几年前，我参与了一个生成式AI项目，即一个面向客户的AI助手。该公司拥有丰富的数据，并相信AI可以将这些数据转化为有价值的信息。

我们很快做出了一个原型，用户们很兴奋。

每次调整都让AI的表现更好，而且迭代速度很快。

然后我们就卡住了。

我们一直在变来变去，但……真的变好一点了吗？还是只是变得不一样了呢？

我们不知道呢。

初期工作似乎显而易见。我们发现问题并解决，进步明显。但是，突然间，一切进展都突然变得缓慢。

• 有些改动让情况变得更好，但我们并不清楚原因。
• 其他改动让情况变得更糟，但我们无法解释为什么。
• 有时候，感觉事情只是有些不同，并没有真正好起来。

我才意识到花了太长时间：我们不是在迭代，而是在瞎猜。

我们在调整提示，调节检索参数，调整模型……但这一切都没有被测量。我们只是在一些挑选的例子上测试一下，并让自己相信感觉更好。

这正是大多数AI团队停滞不前的原因。

当你接近一个项目时，很容易觉得自己能判断改善。你做了一些测试，测试结果看起来更好。于是你假设自己有进步。

但是,

• 真的在所有方面都有改进吗？
• 在改进的过程中有没有弄坏其他东西？
• 你是在解决用户真正关心的问题，还是仅仅解决你自己注意到的问题？

大多数团队都认为自己在不断改进。实际上，他们只是在漫无目的地摸索方向

这才是真正的问题所在。

大多数团队在遇到这种困境时，也会采取同样的做法：尝试更多的办法。

• 更多的快速调整提示。
• 更多的模型优化。
• 更多的检索调整。

但真正的迭代并不是关于做出改变的。它在于每一步，这些改变是否真的起作用。

要是没有，你就是在瞎子摸象般优化。

通过这个阶段的团队不仅仅做得更好，而且建立起更好的衡量标准，使他们能够定义什么是“更好”。

他们不再依赖直觉，而是：

• 明确有用的答案的标准。什么样的答案才算有用的？
• 系统地衡量变化，而不仅仅是几个精心挑选的例子。
• 确保改进不会破坏现有的功能。

大多数AI团队不是在构建AI上挣扎，而是在改进AI上挣扎。

我就是通过艰难的方式才学会这一点。当我开始把迭代看作是需要明确的反馈回路，而不是靠感觉，一切都变得不同了。

在接下来的文章里，我将解析如何实际衡量AI的进步，避免被误导性的指标误导。

👉 关注我们，获取发布通知。

📌 同时，如果你想了解更多关于 AI 迭代和持续改进的内容，进一步探索我的博客。