AI 质量倒退引发关注
大多数公司面临的并非 AI 质量问题，而是 AI 衡量问题。Anthropic 在 Claude Code 上出现了三次质量倒退情况，而其自身的评估却未能察觉。3 月 4 日，团队将 Claude Code 的默认推理强度从高调整为中；3 月 26 日，一项缓存优化功能上线但存在漏洞；4 月 16 日，系统提示导致编码质量下降了 3%。从公司内部来看，这些问题都未触发警示，但用户几乎立刻就开始抱怨了。
摒弃凭感觉发布的做法
Andrej Karpathy 创造了“凭感觉编码”这个术语，对于原型开发来说，这种方法尚可接受，但对于构建生产级软件而言，却是糟糕透顶。评估不应仅仅视为一种花哨的新型测试套件，一个好的评估应该是关于应用程序质量标准的论证。Anthropic 针对智能体的评估指南对 pass@k 和 pass^k 做了有益的区分。曾在 Block 负责 AI 工具和支持工作的 Angie Jones 认为，传统的测试自动化假定“必须提前知道确切的结果”，而在机器学习中，“没有绝对的精确性，只有一系列可能的有效结果”。Anthropic 指南建议将结果、对话记录、工具调用、成本和延迟作为独立的维度进行评估。
改进循环
各供应商的有效改进循环模式正逐渐趋于一致。LangChain 在 4 月的更新中推出了 30 多个评估模板，Karpathy 的自动研究实验也说明了同样的道理。大多数 AI 开发者在衡量方面投入不足，评估就是产出。糟糕的评估会让人产生虚假的信心，比没有信心还要糟糕。Anthropic 事后分析报告中倒退是由合理的改进措施导致的，AI 团队不能再将质量、延迟和成本视为一个单一的混合指标。
具体该怎么做
如果你是技术领导者，面临相关困境，有以下行动指南：将用户投诉作为最有价值的评估输入；编写更少但更好的评估，并阅读每一份对话记录；将产品价值融入评估中；将回归测试作为发布门槛，而非发布报告；在编写提示之前先进行评估。
超越演示阶段
我们在 AI 工程的道路上才刚刚起步，评估是阻止问题被放大的方法。在下一阶段的 AI 工程中取得胜利的团队，是拥有最真实反馈循环的团队，他们会知道自己的智能体何时真的在变得更好。评估或许并不吸引人，但它能带来吸引人的、可用于生产的系统。
