← 项目档案

作品 / AI Eval Engineering

能运行之外,
还需要知道做得怎样。

离线规则检查 / 已记录响应与版本比较

把已有响应和工具轨迹按规则逐例检查,生成失败原因与版本差异报告。改动提示词或流程后,可以据此追查回归与缺失的证据。

工具不运行模型,机械规则不能判断语义正确性。公开示例为合成数据,没有独立人工真值或模型语义质量成绩。

ARTIFACT / 07AI Eval Engineering 公开项目证据查看结果与说明
已有公开材料 · 范围与来源见正文

01这是什么

适用问题:改了 Prompt、工具或流程之后,需要知道哪些用例改善、哪些发生回归,以及什么还缺少证据。

能交付的内容:案例契约、记录响应评测器、逐例失败原因与版本差异报告,可接入项目 CI。

如何核验:查看公开报告示例,再用固定版本的输入、测试与运行说明复现机械检查;模型语义质量另行评审。

02看结果

下图是既有合成发布门槛示例,展示结构检查与模型质量的区别。新增的记录响应检查与版本比较可在下方源码中核验。

AI Eval Engineering 公开项目证据
沿用项目公开材料;展示样例范围。查看原图 ↗
查看公开材料 ↗

03我做了什么

我实现案例 schema 校验,并将已记录响应与工具轨迹按字面要求、工具清单、人工审核和升级处理规则逐条检查,输出失败原因与 baseline 差异。

展开技术结构

JSONL 案例与响应通过 case_id 对齐;缺失响应或轨迹、未支持的规则会阻塞,重复 ID 和删除基线用例会报错。报告保留输入文件哈希,便于回看当时检查了什么。

评测器与版本比较实现 ↗ · 缺轨迹、禁用工具与回归测试 ↗

04一项关键选择

结构校验、机械契约与模型语义质量分别记录。缺少证据不算通过,单个失败不能被综合分数遮盖。

05成果与限制

已记录响应可以逐例检查和比较,规则失败、证据缺失与回归会分别留在报告中。

机械规则只检查字面内容和记录轨迹,不能独立判断语义真伪或证明真实审批发生。示例为合成数据,没有独立人工真值或模型质量成绩。

没有可报告的模型正确率、延迟、成本或真实业务结果。

06深入查看

2026-10-21 的工程记录检查校验器与合成夹具;模型质量仍为 NOT_RUN。 查看修复与 CI 记录 ↗

2026-10-30 已合并记录响应评测与 baseline 比较。可核对对应提交的 CI ↗;该记录运行离线合成案例,未评价真实模型语义质量。

检查范围与下一步

结构校验器仍输出 MODEL_QUALITY=NOT_RUN;记录响应评测器将 model_quality 与 semantic_correctness 标为 NOT_EVALUATED,production_acceptance 保持 BLOCKED。

由领域人员审核样本,接入实际模型输出并持续记录回归。

已记录响应与工具轨迹评测

在格式校验之外执行字面规则、工具允许/禁止清单和人工门禁检查,输出逐案例失败与 baseline 差异。缺少轨迹或遇到未支持的规则会阻塞;机械规则不代替语义评测。

查看实现、命令与回归范围 ↗

WORK TOGETHER / 合作入口

把改动的判断依据留下来。

带上当前流程、已记录输出与关心的失败情况。先区分软件规则和内容质量,再确定样本、检查项与人工复核方式。

继续翻阅 / NEXT CASEPortable Agent Skills ← 回到项目档案与我交流 ↗