HubSpot如何规模化推进AI编码助手应用

news/2025/11/14 19:35:24/文章来源:https://www.cnblogs.com/qife122/p/19223172

上下文是关键：HubSpot如何规模化推进AI应用

这篇文章旨在成为关于赋能产品、UX和工程团队使用AI的系列文章中的第一篇。我们将重点关注我们如何在编写代码的背景下推进和规模化AI的应用。

AI从根本上改变了我们在HubSpot构建软件的方式。在过去两年中，我们从谨慎的实验发展到在整个工程组织中几乎普遍采用AI编码工具。

这种转变并非一夜之间发生。它需要战略投资、组织承诺和学习的意愿。当我们与其他工程领导者分享我们的经验时，我们发现许多团队在将AI应用从概念验证和早期采用者阶段规模化推广时面临着类似的挑战。我们与外部团队的交流使我们相信，我们学到的经验教训可以帮助其他团队更有效地完成这一旅程。

初期：代码补全的起步

我们于2023年夏季开始尝试GitHub Copilot。我们的创始人Dharmesh和Brian为我们提供了启动所需的推动力。Dharmesh最近使用GitHub Copilot构建了ChatSpot并获得了良好的体验，因此他和Brian推动我们对其进行评估，并将我们与行业中其他取得成功的领导者联系起来。

我们的概念验证成功验证了该工具的潜力，以下几个因素促成了我们的成功：

高层支持使其他一切都变得更容易。来自Dharmesh和Brian的支持显著加速了我们的试点过程。这帮助我们的法律、安全和工程团队为实现这一目标拥有相同的目标和紧迫感。
我们运行了一个足够大的试点：我们的策略是包含整个团队，以便他们能够共同采用和学习，这些团队拥有不同的经验水平、不同的任务并在不同的领域工作。我们给了团队两个多月的时间来尝试。
我们投入精力进行赋能。我们举办了设置/培训会议，并创建了一个渠道，供人们提问并分享哪些方法有效、哪些无效。
我们衡量了一切。我们将现有的工程速度测量方法应用于试点。这帮助我们检查自己的偏见。我们起初持怀疑态度，但看到衡量的影响逐渐消除了我们的怀疑。

初步结果令人鼓舞：获得了积极的定性反馈以及可衡量但适度的生产力提升，涵盖了不同任期和资历的工程师。我们最初的收益低于我们在市场上听到的一些非凡说法，但考虑到Copilot当时每个商业用户每月19美元的成本结构，它们仍然意义重大。即使是适度的时间节省也证明了投资的合理性。

利用中央团队的力量

在HubSpot，我们长期以来一直相信中央团队创造的杠杆作用。我们的平台团队构建基础设施、工具和防护栏，使小型自主产品团队能够在保持质量和一致性的同时快速行动。

当生成式AI出现时，我们最初依赖这些领域附近的团队（特别是管理我们GitHub设置的团队）来推动采用。但随着需求激增，待办事项呈指数级增长。我们意识到是时候创建一个专门的团队了。

我们于2024年10月创建了一个开发者体验AI团队，最初专注于：

推动编码工具的采用：一旦我们意识到这些工具的影响，我们希望整个组织尽快加入。
增加AI工具的影响力：HubSpot有一个非常固执己见的技术栈，我们希望我们生成的代码尽可能反映这些观点。这最初从简单地共享Cursor规则文件开始，但很快演变为更复杂的工具，为代理提供关于我们架构、库和最佳实践的深度上下文。
倡导：我们希望通过收集和传播对人们有效的方法来围绕AI建立一个社区。我们创建了一个开放论坛，供人们发布关于AI的内容，并播种内容以推动参与。随着采用的增长，我们看到一个充满活力的社区慢慢兴起。
调整采购以追求速度：我们知道我们想要尝试每一个出现的工具，但我们的采购流程是为长期谈判协议设计的，我们不能总是依赖创始人的推动来推动事情进展。我们想要按月签订的合同并尽快开始。
构建评估能力：我们不想仅仅依赖定性反馈，因此我们想出了运行试点并根据优点比较工具的方法。我们也亲身经历了经验数据如何对抗先入为主的观念和怀疑。

中央基础设施团队在产品团队日常工作的方方面面创造杠杆。AI也不例外。我们开始时规模非常小，只有两名具有基础设施经验并且已经高度参与AI的人员。随着我们扩展到更高级的用例，团队逐渐成长，其中许多用例我们将在本系列中介绍。但创建团队并集中这些工程师为我们的未来成功铺平了道路，而无需大量初始投资。

达到临界点

随着工程师采用这些工具并且我们收集了更多数据，我们越来越确信这些工具会对我们的工程团队产生积极影响。最初，由于经验有限和成本考虑，我们保持了保守的使用规则。用户必须请求许可证并同意遵循严格的防护栏。

我们提取了关于代码审查负担、周期时间、采用前后的速度比较以及生产事件率的指标。

数据 consistently 显示相同的事情：AI采用并没有造成我们最初担心的问题。上方的散点图显示了一个例子，表明AI采用与生产事件之间没有相关性。

2024年5月，我们取消了限制。然后我们主动为每个人提供了一个席位，使其尽可能容易地开始。采用率一夜之间飙升至50%以上。

触及后期大多数

当采用率超过60%时，采用再次放缓。采用的后期阶段是你面临怀疑者、开始更好地理解当前工具的局限性并看到更高水平的变更/风险规避的地方，因此我们不得不改变我们的方法：

同行验证：每当我们听说有人用AI做了有趣的事情，我们就请他们录制视频并分享。我们也开始自己录制每周视频，展示新功能和实际用法。
定量证明：我们分享了高层数据，显示大多数人已经在成功且安全地使用这些工具。我们 deliberately 保持数字宽泛，而不是深入精确细节。虽然数据对于决策很重要，但我们希望人们关注清晰的改进趋势，而不是陷入对确切数字的争论。
提供更好的工具：我们为多个编码助手运行了概念验证，为工程师提供更多选择，认识到不同的工具对于不同的工作流程和偏好效果更好。
精心策划的体验：我们在每台机器上透明地设置了一个本地MCP服务器，带有针对我们的开发环境优化的默认规则和配置。这为每位工程师提供了开箱即用的、针对我们特定技术栈和最佳实践量身定制的体验。我们根据我们对有效使用模式的了解，不断修订和改进此设置。
将AI流畅性作为基线期望：一旦我们达到90%的采用率，我们通过将其添加到职位描述和招聘期望中，使AI流畅性成为工程师的基线期望。到这个时候，很容易看出AI流畅性不仅对HubSpot是正确的，对工程师来说，随着他们在这场转型中持续成长职业生涯，这也是一项必要的投资。这帮助我们在内部和外部明确承诺这项投资。

采用是开始，并为随之而来的一切打开了大门：利用编码代理、创建Sidekick（我们的AI助手，回答平台问题、创建问题、实施更改和审查PR）、开发一种使用我们的设计系统快速原型化UI的方法，以及构建基础设施，导致我们的代理可以在我们的内部、OpenAI和Anthropic MCP服务器上利用400多个工具。