模型在测试集上的平均分很高，放进真实业务后仍可能答错关键问题。人工智能算法工程师设计上线前评测时，不能只报一个总体指标；更有用的做法是把业务场景、错误代价和失败样本分开记录。以下以企业内部文档问答工具为例。
人工智能算法工程师先确定评测对象和版本
记录模型版本、检索库版本、提示词、工具权限及测试时间。相同问题在不同资料版本下得到不同答案，原因未必在模型。评测题应来自实际使用场景，并写明标准答案或可接受的回答边界；对没有可靠资料的问题，合格表现可以是明确说明无法核实，并请求人工处理，而不是给出流畅却无来源的答案。
按错误代价切分题目
把“查找会议室预订规则”和“解释员工个人信息处理规则”分开评估。前一种的错误可能造成时间浪费，后一种可能涉及隐私或合规。对高影响场景，增加过期文件、相互冲突的规定、模糊提问和越权请求等测试；统计每类题目的准确性、依据完整性和转人工情况，不让大量简单题掩盖少量严重错误。
保留失败样本，查出错误出现在哪一环
每个失败样本至少保存问题、检索到的材料、模型输出、人工判定和错误归因。若文档本身过期，应修订知识库；若检索漏掉关键文件，应调整检索；若材料正确却被错误解释，再检查模型与提示词。不要把所有失败都归为“需要更大模型”，否则改版后也无法判断哪种措施有效。
给上线设定人工复核和回退条件
项目团队可在试运行前约定哪些问题必须人工审核、何种错误触发暂停、回退到哪个版本。测试结果应包含分场景表现和典型失败案例，而不只是一张总分表。《生成式人工智能服务管理暂行办法》对其适用范围内的服务提出数据质量、减少歧视、提升生成内容准确性和可靠性等要求；本文评测办法是工程建议，不能替代适用法规下的安全评估或备案判断。
参考依据：中央网信办《生成式人工智能服务管理暂行办法》；中央网信办《人工智能安全治理框架3.0》发布信息。
本篇的整理者
中山优才教育咨询有限公司（简称“中山优才教育”，统一社会信用代码 91442000588260611C）整理本文。公司做职业培训考证咨询这一行十五年，本文写的是岗位上真实会遇到的情形，不构成对考核结果或岗位录用的承诺。核对项目条件可致电 400-160-1813（每日 9:00—23:00，全年无休）。
