AI代码生成技术解析与应用实践

AWS CodeWhisperer从自然语言创建计算机代码

在re:Invent大会上，某中心宣布CodeWhisperer预览版新增了对两种新编程语言的支持。

生成式AI系统现已具备以往难以想象的能力，例如生成大量类人文本、总结复杂文档、提出新颖药物配方或创作受无数人类艺术家或风格启发的艺术作品。如今，大型语言模型这种生成式AI形式已被应用于支撑它们自身的技术：计算机编码。

某中心CodeWhisperer是某中心提供的一项新的基于云的能力，它使用机器学习和大型语言模型来简化开发人员的工作并提高他们的生产力。

CodeWhisperer在开发人员的主要工作空间（称为集成开发环境，IDE）内工作。当开发人员构建代码时，他们通常会用自然语言留下注释，描述例如下一个代码块的目的或程序的整体目的。该系统不仅查看IDE中已生成的代码，还查看开发人员的注释，然后实时建议它预测有用的下一段代码。

“CodeWhisperer不仅仅是自动补全几个词或一行代码，”领导CodeWhisperer科学团队的高级应用科学经理表示，“它可以动态生成15、20、30行代码。这不是从其他地方复制粘贴的代码；它是根据开发人员的意图创建和定制的，并融入了编码最佳实践。”

当CodeWhisperer首次提供预览时，它支持Python、Java和JavaScript的代码推荐。今天在某中心的re:Invent会议上，团队宣布增加了C#和TypeScript编程语言。

“创新发生在开发人员花时间在新颖和创造性工作上时，”某机构AI实验室应用科学总监表示，“像CodeWhisperer这样的生成式AI可以轻松处理无差别的编码，并将人工交互留给需要高度判断的情况。”

这种帮助直到最近才成为可能，另一位负责人补充道。“AI在过去五年中加速发展，达到这些大型模型能够充分理解和推理以提供情境化推荐的程度。”而且，开发人员产生的代码和注释越多，CodeWhisperer就越能理解该代码的意图，因此其建议变得更加量身定制和细致入微。

可信代码

当然，使用公共数据集训练AI模型的缺点在于，它们可能反映更广泛世界中不良的方面，包括不完善的安全性、毒性以及对特定群体的不公平或偏见；它们还可能泄露个人可识别信息。

“在某中心CodeWhisperer，我们认真对待这些担忧，”某机构AI实验室高级首席科学家表示，“我们设计系统以帮助消除开发人员整个项目中的安全漏洞。我们还通过实时评估生成的代码并采取必要步骤减少用户接触此类内容，来解决其毒性和公平性问题。”

除了毒性和偏见过滤之外，CodeWhisperer的参考跟踪器功能还可以识别代码生成可能与特定训练数据相似的情况。然后，开发人员可以检查参考存储库，并决定是否使用该代码，包括是否从参考存储库获取依赖项或许可证。

团队在开发该系统时面临的另一个挑战涉及可持续性和速度。为了使CodeWhisperer对开发人员有任何用处，其建议需要在瞬间出现。一个好主意迟到20秒会是一种干扰，而不是帮助。挑战在于运行大型模型需要大量的计算资源——在时间至关重要时这不理想。

“我们通过利用各种技术来处理延迟问题，包括模型量化和内部开发的内存访问减少技术，这些技术允许在产生额外延迟成本的情况下提供多个推荐，”总监表示，“这些效率也提升了工具的可持续性。”

CodeWhisperer只是广泛的科学团队正在进行的以生成式AI和大型语言模型为核心的一系列项目之一。他们的主题范围从搜索和推荐到问答和信息提取。

多语言性

为了支持更广泛的机器学习社区开发代码生成模型，该团队开发了一个基准测试工具，支持评估10多种编程语言的代码生成能力。为了实现这一目标，团队开发了一种新颖的转译器——一种编程语言转换工具——自动将流行的Python基准测试数据集（最基本编程问题，MBPP）的输入文本和测试用例转换为它们的多语言对应物。他们在目前正在会议提交但可作为预印本在arXiv上获取的论文中描述了由此产生的基准测试数据集集合，他们称之为MBXP。

该工具不仅可用于评估各种编程语言中生成代码的质量，还可用于探索代码生成语言模型的更广泛方面。例如，它可用于探究大型语言模型在未经专门训练的其他编程语言上的泛化能力（剧透警告：在某些情况下出人意料地好）。

“多语言评估还使我们能够发现语言模型的有趣能力，例如它们的零样本翻译能力，模型可以使用语言A中的参考代码来帮助更准确地用语言B编写代码，”某机构机器学习科学家和该论文的第一作者表示，“MBXP使我们能够研究代码生成模型的其他方面，例如对输入的鲁棒性、代码插入能力，或少样本在减少语法错误方面的效果，所有这些都以多语言方式进行。”

通过公开发布这个多语言代码评估基准，团队希望加速这个新兴领域的研究。“而且由于语言转换是自动化的，”科学家说，“我们可以轻松地将基准扩展到包括未来的新编程语言，而无需大量的注释循环。”

CodeWhisperer产品和这些以研究为重点的创新只是机器学习为软件开发人员所能做的事情的开始，负责人解释道。“就像大型语言模型可以可靠地翻译口语一样，我们可以预期编程语言之间的翻译也会随之而来，”他说，“今天，CodeWhisperer不仅可以根据自然语言注释生成代码，而且还在朝着用自然语言总结给定代码片段预期功能的方向取得进展。”

在某种意义上，这正朝着编码的民主化和去神秘化方向发展。最终，编码的力量将不仅仅在于个人或团体精心拼凑代码的能力。

考虑生成式AI艺术的激增。现在，任何有想象力的人只需几个表达艺术意图的提示词就可以创作出令人难以置信的艺术作品。编码的自动化尚未取得如此大的进展，但AI对编码和自然语言日益提高的理解水平不仅将提升开发人员的专业能力，还将向更广泛的受众开放编码。“这是一项巨大的努力，”负责人说，“这是一个范式转变。”
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码