购物网站后台订单处理流程,网络营销策略分析,杨浦专业网站建设,建设银行流水账网站查询文章主旨#xff1a;研究了Codex自动生成的程序中的错误#xff0c;并探讨了现有的程序修复#xff08;APR#xff09;工具以及新发布的Codex-e是否能够修复自动生成的有缺陷的程序。 现在基于大语言模型#xff0c;输入自然语言#xff0c;生成代码的应用非常普遍。但是… 文章主旨研究了Codex自动生成的程序中的错误并探讨了现有的程序修复APR工具以及新发布的Codex-e是否能够修复自动生成的有缺陷的程序。 现在基于大语言模型输入自然语言生成代码的应用非常普遍。但是生成的代码正确率很低文章以GPT-3模型的后代-Codex模型为例试图利用自动化程序修复APR技术来修复Codex产生的代码错误。 自动化修复技术接受一个有缺陷的程序和一个正确性规范通过稍稍修改程序使其满足给定的规范来生成一个固定的程序。典型的修复工具通过推理程序语义与给定的规范来生成补丁。例如基于语义的修复工具如SemFix、Angelix通过使用符号执行和基于搜索的修复工具如Gen-Prog、TBar在预定义的补丁中搜索正确的补丁。 本文实验方向 本文探讨了两个方向来修复语言模型生成的代码的错误 1.现有的APR技术TBar和Recoder 2.研究探讨了使用Codex-e作为自动化程序修复工具的可能性。 「利用OpenAI最近发布的Codex编辑模式这个新功能可以使现有的程序内容发生改变。」 设计了三种构建Codex-e编辑指令的策略 - Codex-e 告知Codex-e存在程序中的错误并请求其修复。 - Codex-e 利用现有的自动程序修复技术通过统计故障定位Ochiai获取可能修复行的序列作为修复提示提供给Codex-e。 - Codex-e 直接使用可疑语句而不是可疑行号作为指令进一步探究Codex-e的响应。 文章关键内容概述 RQ1: WHAT MISTAKES DO AUTO-GENERATED CODE USUALLY MAKE? 1. 先前关于基于搜索的自动化程序修复技术的研究表明自动生成的修补程序很可能表现出某些反模式这些反模式会导致生成无意义的修补程序。 2. 直觉上像Codex这样的大型语言模型自动生成的代码也可能包含反模式。 3. 因此分析了Codex生成的代码是否犯了LMDefects中的相同常见错误。 4. 对于Codex要解决的LMDefects中的编程任务首先运行五个自动生成的解决方案在公共测试上然后将那些通过公共测试的解决方案提交到LeetCode在线判定平台进行私有测试验证。 5. 如果Codex生成的五个自动解决方案都不能通过所有的测试公共和私有测试则认为是未解决的解决方案。 6. 如果没有一个未解决的解决方案对一个编程任务则认为该编程任务已解决。 7. Codex在简单和中等难度级别上分别产生37个和5个解决问题的编程任务研究剩余71个未解决的编程任务中355个导致编译错误或测试失败的未解决问题的错误。 8. 对于Codex生成的每个未解决的解决方案我们首先参考其他相同编程任务的解决方案来获取修复提示然后通过对现有代码进行最少的修改来构建修复错误的简单修补程序。 9. 我们的目标是构建每个未解决问题的“基准修补程序”以获得和之间的“差异”。 10. 这个“差异”代表了Codex自动生成的程序中的错误或错误。 11. 根据这个“差异”我们手动将每个未解决的解决方案归类到以下类别中对齐算法使用的算法与任务描述中给出的要求不一致。 12. 表2展示了未解决解决方案的缺陷分类以及每个缺陷的示例“示例”列和编程任务的难度级别“简单”和“中等”列以解释每个缺陷。 13. 为了更容易比较缺陷类型我们基于Codeflaws中使用的类别一个包含编程竞赛参与者错误提交的基准导出缺陷分类。 14. 与Codeflaws的缺陷分类相比我们意识到自动生成的代码的错误类型与Codeflaws中的错误类型重叠。 15. 特别是Codeflaws和我们的数据集都包含需要多块或单块修复的缺陷。 16. 此外对于单块修复两个数据集都具有类似的选择突变运算符例如运算符突变和变量突变。 17. 这表明Codex犯了与人类参与者类似的多块或单块修复缺陷。 18.我们认为这是可以预料的因为Codex是用很多可能存在错误的人类编写的程序进行训练的。 19. 表2显示Codex大多数的错误是语法错误和与算法相关的错误。 20. 实际上当编程任务的难度从“简单”增加到“中等”时语法错误和与算法相关的错误数量增加这表明与较低难度级别的较低难度问题相比Codex解决更难的编程任务的可能性较小。 RQ2: HOW EFFECTIVE ARE APR TOOLS IN FIXING THE CODE PRODUCED BY CODEX? 1. Codex的错误与人类编写的解决方案有一些相似之处。 2. 研究现有APR工具修复Codex生成代码的有效性。 3. 现有APR工具通常生成小修补通常是一行或几行修复因此排除无法编译的程序或需要更改整个算法的程序。 4. 知道可以自动修复编译错误的技术但本研究仅评估修复编码错误的工具将修复编译错误工具的评估留作后续工作。 5. 对Codex模型未解决的解决方案排除产生语法错误和算法相关错误的解决方案运行TBar和Recoder以评估它们生成修补程序的能力。 6. 在修补程序验证阶段自动生成的修补程序被归类为以下几种可能的修补程序、正确的修补程序。 7. TBar在容易和中等难度的任务上分别产生12个和8个可能的修补程序但只正确修复了4个容易和2个中等难度的修补程序。 8. 与TBar相比Recoder产生更多可能的修补程序分别在容易和中等难度任务上产生10个和12个以及更多正确的修补程序分别为6个和4个。 9. 如果比较所有生成修补程序中正确修补程序的百分比Recoder仍然优于TBar。 10. 测试用例在修补程序生成中起着重要作用。 11. 限制公共测试用例的数量是阻止APR工具生成更多正确修补程序的原因之一。 12. Table 3显示了TBar和Recoder分别生成的修补程序数量和正确修复的编程任务数量。 13. Table 4显示了使用不同APR工具正确修复的解决方案数量仅考虑单块错误。 14. Recoder修复了八个编程任务而TBar只修复了五个任务。 15. TBar将容易级别任务上解决的程序数量从37增加到40Recoder进一步通过修复另外两个容易级别任务增加这个数字而Recoder将中等级别任务上解决的程序数量从5增加到9。 16. 结合这两个工具APR工具帮助Codex修复了5个和4个容易级别和中等级别的任务。 17. 进一步分析两个APR工具修复的缺陷类型。 18. Table 4显示了每个缺陷类别可以正确修复的解决方案数量其中“TBar”和“Recoder”列显示了相应工具产生的修补程序数量。 19. 对于每个类别修补工具可能不会通过最小化程序更改来修复错误。 RQ3: CAN CODEX EDIT MODE FIX PROGRAM BUGS? 1. OpenAI最近发布了Codex编辑模式的更新这个新功能可以使现有的程序内容发生改变。 2. Codex编辑模式通过输入程序和一个自然语言指令来输出一个经过编辑的程序。 3. 研究探讨了使用Codex-e作为自动化程序修复工具的可能性。 4. 为了减少自然语言描述对Codex-e的影响去除了每个未解决方案中的任务描述。 5. 设计了三种构建Codex-e编辑指令的策略 - Codex-e 告知Codex-e存在程序中的错误并请求其修复。 - Codex-e 利用现有的自动程序修复技术通过统计故障定位Ochiai获取可能修复行的序列作为修复提示提供给Codex-e。 - Codex-e 直接使用可疑语句而不是可疑行号作为指令进一步探究Codex-e的响应。 6. 对于每个未解决的解决方案选择了最可疑的十句话并要求Codex-e为每句话生成五个可能的编辑。 7. 与常规Codex模式下的初始解决方案生成类似设置了温度参数0.8以增加找到正确编辑的可能性。 8. 表5展示了三种策略的结果其中列Codex-e 、Codex-e 和Codex-e 分别显示了使用相应编辑指令的正确补丁数量。 9. 使用Fix bug in the program作为指令时Codex-e 成功产生了15个正确的补丁。 10. 当给出错误的行号作为指令时Codex-e 只修复了六个需要单块修复的解决方案和一个需要多块修复的解决方案。 11. Codex-e 使用程序文本如i - 2;作为指令成功修复了16个有错误的解决方案效果最好。 12. Codex-e 的有效性归功于其使用可能更有助于引导像Codex这样的语言模型匹配相关语句。  实验结果表明 - Codex生成的程序与人类程序员生成的程序有共同的缺陷类别 - 现有的APR技术TBar和Recoder在修复自动生成的程序中的bug表现不佳 - 在适当的指令来自故障定位的信息下Codex-e在代码编辑生成方面显示出初步的潜力通过修复45%更多的错误程序其表现优于TBar和Recoder。 这项研究的影响包括 - 通过传统软件工程技术例如AST信息、故障定位增强语言模型 - 突显了APR技术的局限性尤其是基于模式的approach - 建议APR研究的未来方向例如灵活的故障定位形式。