如何让AI写出高质量的数据分析报告？DataV-Note的评估体系揭秘

　　本文围绕DataV-Note智能分析创作平台的评估体系建设展开，旨在探索如何在AI技术快速发展的背景下，构建一套科学、可量化、多维度的数据分析报告评估体系。

　　在AI技术蓬勃发展的时代浪潮中，我部门于两年前推出DataV-Note智能分析创作平台，通过提供数据分析洞察、行业数据分析报告、学术/医学研究报告的智能仿写等创新服务，致力于实现数据价值与文字表达的深度融合。

　　随着各类Data/Analyze Agent相继涌现，行业生态面临前所未有的市场压力。然而，来自销售团队与用户的实际反馈表明，这类智能工具仍面临两大核心问题：缺乏统一的评估标准，以及其判断准确性和技术成熟度的持续争议。这种认知差异不仅影响产品价值的有效传达，也给行业规范化发展带来重要挑战。

　　在着手搭建评估模型前，我们先研究现有分析报告的产物，这将有助于更优雅地设计把握模型设计的架构：

　　从上图可以看出，与传统评估模型侧重文字和数值判断不同，我们的评估体系覆盖了更立体的分析维度。评估范围不仅包含文本、图表、代码、表格，还延伸至整体分析框架和方法论。大多数的数据分析产品通常输出PDF、Word、PNG或HTML格式的产物。因此，我们设计的模型既需要识别多模态的内容，也需要支持读取丰富格式的导出产物。

　　经过综合考量，我们选用了Qwen VL模型负责内容提取，Qwen 3模型承担内容评估工作，并据此制定了以下技术架构方案：

　　在搭建评估系统时，我们经历了不少挑战，也摸索出不少改进方法。接下来重点分享其中几个关键细节：

　　虽然市面上已有不少提示词优化工具和教程，但对于涉及视觉识别的任务来说，这些工具往往只能实现70-80分的水平。如下面例子所示，这类任务需要我们特别注意：

　　你是一位专业的图像分析专家，擅长从图片中提取图表、表格、代码和文字等类型的内容，并能够准确描述对应内容的详细信息和数值。

　　、识别图表的**图表类型**，可通过图表展示或者图表的上下文提示来进行识别，如柱状图、折线图、饼图等等

　　、识别图表的**标题**，假如图表上方出现加粗的字体，则为图表的标题，若没有图表上方加粗字体，则输出

　　、识别图表的**元信息**，例如：柱状图需要识别x、y轴信息，饼图需要识别每个扇区的名称等等

　　、识别表格的**元信息**，即表格的头部(columns)信息，数据只允许来源于表格识别，识别不出则输出

　　- 在提取“图表”信息时，确保图表的信息准确性和完整性，必须输出所有内容，不能省略某些信息

　　- 在提取“图表”的“内容”字段信息时，内容可以根据所在章节的上下文进行数值校验，以文字描述为主

　　三心两意，对于打工人“牛马”都做不到，更何况现在“不太聪明”的智能体。因此，智能体必须保持原子性，主要体现到以下两点：

　　功能/角色原子性：每个智能体都是相对独立的功能单元。例：不能让智能体既要做图片识别的工作又要评估的工作。

　　维度/类别原子性：每个智能体都是单独维度、类别的单元。例：在“评估推理大师”的角色中，不能让大模型既要做“归因分析”的评估，又要做“可视化”的评估。

　　常见的误解：在设计智能体时要把握好切分的尺度，过度拆分会导致增加token消耗，又可能导致并发负载过高。举个实际场景，在分析报告时，中位数和平均数这类同属统计维度的概念，完全可以通过同一个智能体完成识别解析，没有必要拆分。

　　千万不要用大模型来做数据清洗工作。大模型虽然擅长搜索和推理，但在处理数据清洗、字段拼接这类操作时效率较低，而且结果往往不如预期理想。

　　遵循最小化原则。如【2】所述，每个智能体都是相对独立的功能单元，通过最小化数据输入既能减少token消耗，也能让模型更专注处理核心内容片段。

　　如下图所示，“归因分析评估智能体”主要聚焦于文本内容分析，“可视化评估智能体”则专注于图表识别。若直接将完整报告内容全部输入，不仅会显著增加各智能体的处理负担，导致token消耗激增，还可能引发模型输出偏差（幻觉）。建议通过内容切片、分类机制，按需输入对应模块所需数据，既能提升处理效率，又能保证分析准确性。

　　在实际体验中，当用户提问数次都未能获得有效反馈时，用户就很可能给这款AI产品判“死刑”。因此，在搭建评估体系时，必须从各个维度全面地评估产品，并且不能忽视大模型的随机性。具体来说，我采用两种评估方式：

　　纵向评估：我会针对同一问题生成5-10份分析报告。以“基础维度”、“可视化维度”、“归因分析维度”来作为评估的维度，并且会给每一份报告打分。

　　值得注意的是：在进行横向对比时，需要特别注意前提条件的严格把控，不能出现“牛头不搭马嘴”的情况。例：当我们比较核心指标时，必须确保统计维度、计算规则和业务背景都保持一致。

　　* 内容：内容中是否存在“基础统计分析”、“分析特征”、“趋势变化分析”等维度进行分析；并输入其上下文

　　* 内容：内容中是否存在“因素相关性”、“交叉分析”、“维度组合分析”、“地理、时间、群体、流程、成本、收益、技术等等维度对比”等维度进行分析；并输入其上下文

　　* 内容：内容中是否存在“数据异常点”、“特殊模式”、“变化拐点”等维度进行分析；并输入其上下文

　　* 内容：内容中是否存在“直接原因”、“根本原因”、“关联因素”等维度进行相关分析；并输入其上下文

　　* 内容：内容中是否存在“问题严重度”、“影响范围”、“持续时间”等维度进行相关分析；并输入其上下文

　　* 内容：内容中是否存在“改进空间”、“优化机会”、“创新点”等维度进行相关分析；并输入其上下文

　　* 内容：内容中是否存在“解决方案”、“实施路径”、“效果评估”等维度进行分析；并输入其上下文

　　* 内容：是否使用了专业数理统计分析理论，如“平均数、标准差、标准误、变异系数率、均方、检验推断、相关、回归、聚类分析、判别分析、主成分分析、正交试验、模糊数学、灰色系统理论、CAGR（复合增长率）、泰尔指数”、“斯皮尔曼相关性”、“皮尔逊相关系数矩阵”等等；并说明使用了什么数理统计分析理论

　　* 内容：各份JSON数据之间的“文字”类型的内容中，是否出现统计维度、计算方法、上下文含义完全相同的核心统计指标不一致；并输出对应文件中具体差异点

　　* 内容：各份JSON数据之间若存在元信息、图表类型、统计维度、标题含义、所在章节含义完全相同的图表，是否存在数值统计不一致的情况；并输出对应文件中具体差异点

　　以下是针对同一个分析任务生成的5份报告，每份报告不仅包含评分结果，还附有具体评分依据的说明：

　　以下是DataV-Note的部分测试结果展示，每个测试案例均基于5份独立生成的报告进行评分：

　　当前我们仍需手动执行跨平台分析任务，并将结果导入评估系统。未来计划接入browser-user实现自动化大规模测试。

　　通过本次评估系统搭建和日常分析报告的评估实践，我们发现尽管大模型展现出强大潜力，但在产品层面实现数据分析的精准把控仍面临诸多挑战。期待大家不吝赐教，共同探讨优化方案。

　　AI 实时音视频互动是一种旨在帮助企业快速构建 AI 与用户之间的视频或语音通话应用的解决方案。用户只需通过白屏化的界面操作，即可快速构建一个专属的AI智能体，并通过视频云 ARTC 网络与终端用户进行实时交互。