Chip Huyen：AI 工程不是会更多模型，而是把系统更稳更能学

今天这期帮 builder 把一句话翻译成工程语言：为什么大多数 AI 应用做了很多，但改进却不明显？

因为我们把注意力放在模型对了什么而不是用户到底需要什么。Chip 说得很直接：先看反馈、数据和流程，再讨论新技术。

她给的第一个观点是“会用户比会模型重要”，听起来很反直觉。

这不是反直觉，是优先级问题。很多团队追新技术花费高，但核心瓶颈其实是输入质量、提示设计和体验。

她还谈到 pre-training、post-training 和 fine-tuning 的区别。这对 builder 有实用含义吗？

有。你可以理解为：底座能力（pre-train）是大环境产物，短期更能拉开差距的是后训练和数据组织。你的工作重点通常不在重训模型，而在构建稳定的任务适配层。

那很多人会直接拿 RLHF、agent、RAG 这类名词当作灵丹妙药。

名词本身没错，但价值在于你如何把“好坏信号”标准化。模型再强，回路没跑通一样会乱飞。

她提到比较一个回答优劣比给绝对分数更容易，这跟评价体系设计有什么关系？

你做评估时最实用的办法之一就是 pairwise 比较。人的认知偏差少，结果可复用；再配上可验证任务，可形成快速迭代指标。

她似乎也不是反对 evals，只是反对“为了 evals 优化每个边角”。

对。要的是 ROI。你先用少量关键评估守住风险、验证质量，别把团队全压在全量覆盖。

那什么是“关键 eval”？Builder 往往很难下定义。

以用户场景定义指标。比如客服、代码、写作，每类问题的失败成本不同。把最关键的高失败成本场景当成主 eval，先把它做稳。

她还强调了“别过早绑定到单一技术栈”，这个适合我们现在的决策吗？

非常适合。你选模型和框架前要问：切换成本？迁移成本？团队学习成本？若答案都很高，那就别为了潮流硬上。

综合下来，对团队最关键的一句话是什么？

把工程复杂度留给真正有收益的环节。对 builder 来说：更强的基础是“数据、反馈、评估系统”，不是堆模型参数。