部署AI智能体的七个实战经验教训

部署AI智能体并非传统的软件发布，需要在实际操作中投入大量工作和规划才能让这些工具发挥生产力。顶层策略包括给予智能体一定的自由度，但不能过度放任，同时还需要重新思考传统的投资回报率衡量标准。

有效的AI开发和管理需要在控制、投资、治理和设计方面做出明智的选择。麻省理工学院斯隆管理学院和波士顿咨询集团的最新研究指出了AI智能体开发者和支持者需要注意的"矛盾"问题。

在整个行业中，人们普遍认为智能体需要超越传统软件开发的新考虑因素。在这个过程中，正在学习新的经验教训。行业领导者分享了他们在迈向智能体AI未来过程中的一些经验。

经验一：自信不等于准确

思科首席工程师Nik Kale领导了一个团队，为超过100,000名用户提供专家级技术指导的智能体。他表示："自信不等于准确。"早期版本的智能体"可能会自信但错误地回应，这要求我们大量投资于通过检索和结构化知识来支撑回应。"

Kale学到的一个重要教训是"治理不能后补"。"当监督和政策控制添加得太晚时，系统往往缺乏支持它们的架构钩子，迫使痛苦的暂停或重新设计。"

从长远来看，信任会加速建立。Kale说："一旦系统表现良好，人类的审查就会减少。如果边界不明确，这就是范围蔓延和意外自主性可能出现的时候。"

Kale敦促AI智能体支持者"根据可逆性而非模型自信度授予自主权。跨多个领域的不可逆操作应该始终有人类监督，无论系统看起来多么自信。"可观察性也是关键，Kale说："能够看到决策是如何达成的，与决策本身同样重要。"

经验二：从狭窄领域开始

Atomic Gravity首席执行官Tolga Tarhan说："对于智能体，我们有意从狭窄领域开始。我们部署的大多数智能体都限定在单一领域内，具有明确的防护栏和可衡量的结果。这可能是工程副驾驶、运营助手，或为高管综合复杂数据集的智能体。"

经验三：数据质量是核心

营销机构Duanex的首席执行官Oleg Danyliuk构建了一个智能体来自动验证网站访客的潜在客户。他说："AI在有质量数据支撑时效果很好。在我们的例子中，为了理解潜在客户对我们是否有趣，我们需要获得尽可能多的数据，最复杂的是获取社交网络数据，因为它们大多不可访问抓取。这就是为什么我们必须实施几个变通方法，只获取数据的公开部分。"

Tarhan同意："数据质量是首要问题。模型的表现只能和它们获得的信息一样好。"

经验四：提前定义成功

Tarhan说："提前定义成功。记录一切。让人类在循环中的时间比感觉必要的更长。早期投资于可观察性和治理。当做得对时，AI智能体可以带来变革。当匆忙推进时，它们就变成了昂贵的演示。区别在于纪律性。"Tarhan的团队将智能体视为具有路线图、反馈循环和持续迭代的项目，"而不是科学实验"。

经验五：采用AgentOps方法

Info-Tech研究集团首席研究总监Martin Bufi说："AI智能体不仅仅依靠模型能力就能成功。"他的团队为企业级功能设计和开发了AI智能体系统，包括财务分析、合规验证和文档处理。帮助这些项目成功的是采用"AgentOps"（智能体运营），专注于管理整个智能体生命周期。

Bufi建议"使用多个专门的智能体来执行分析、验证、路由或通信等功能"，而不是构建单一的全能智能体。此外，Bufi的团队寻求让这些智能体团队模仿人类团队的运作方式，"通过显式的编排模式——用于并行工作的hub-and-spoke，或在深入行动之前必须建立意图和信心的顺序管道。"

经验六：上下文管理是关键挑战

Confluent的AI负责人Sean Falconer在反思他构建的个人智能体时说："即使对于相对有限的单用户智能体，上下文管理也是一个重大障碍，如果处理不当可能导致重大问题。"

"当智能体循环使用工具和迭代交互时，上下文窗口会快速填满。虽然较旧的数据点可能失去相关性，但模型并不总是隐式地优先处理正确的信息。"

为了保持高质量和一致的输出，开发者"花费不成比例的时间来优化如何修剪、总结和注入上下文，以便智能体不会失去原始目标的主线。"

经验七：从第一天就考虑适应性

Falconer解释："从第一天就为适应性而设计。确保你的AI投资是灵活的并且适当抽象。避免供应商或模型锁定，这样你就可以在下一波创新浪潮到来时快速调整。"