AI 编程工具实战：效果评估的 5 个指标

为什么必须评估

OpenAI 的 Evals 指南强调：没有评估就没有可靠性。尤其在更换模型或优化提示词时，必须用指标衡量，否则只是“主观感觉变好”。

五个核心指标

1. 准确率：输出是否正确
2. 稳定性：相同输入是否一致
3. 可靠性：拒答/幻觉率
4. 成本：token 消耗 + 人工返工
5. 返工率：需要人类修正的比例

评估流程（参考 Evals 思路）

1. 描述任务目标（明确成功标准）
2. 准备测试样本（真实场景输入）
3. 运行评估（对比不同模型/提示词）
4. 分析结果（找差距）
5. 迭代优化（再次评估）

这与行为驱动开发（BDD）非常类似：先定义行为，再验证。

实操建议

• 每次升级模型都跑一次基准
• 提示词调整后必测回归
• 低频高价值任务优先做人工评审

小结

AI 评估不是“学术工作”，而是工程必需品。只要你坚持五项指标，AI 工具就能从“好像不错”变成“可预测、可迭代”。