大型公司网站建设,采集软件,网站方案组成要素,百度浏览官网0 abstract 本文介绍了一项对GitHub Copilot#xff08;一种人工智能编程助手#xff09;的控制实验结果。研究人员招募了软件开发人员#xff0c;要求他们尽可能快地用JavaScript实现一个HTTP服务器。实验组可以访问人工智能编程助手#xff0c;比对照组完成任务的速度快…0 abstract  本文介绍了一项对GitHub Copilot一种人工智能编程助手的控制实验结果。研究人员招募了软件开发人员要求他们尽可能快地用JavaScript实现一个HTTP服务器。实验组可以访问人工智能编程助手比对照组完成任务的速度快55.8%。观察到的异质性效应表明人工智能编程助手有望帮助人们过渡到软件开发职业。 1 实验设计  计算了两个指标作为衡量每个组的表现任务成功率和任务完成时间。 任务成功率是指一个组中成功完成任务的参与者所占的百分比。任务完成时间是从任务开始到结束所需的时间在参与者完成任务后研究者向他们发送了退出调查的链接。 询问了实验组他们在执行任务时发现GitHub Copilot有多有帮助以及他们估计与不使用GitHub Copilot相比他们完成任务的速度提高了多少。还要求对照组估计如果他们使用了GitHub Copilot他们会经历多大的速度提升这是在向他们展示了一分钟的演示视频之后 2 实验对象 95名开发者被随机分配到对照组和实验组实验组45人对照组50人。实验组和对照组各有35名开发者完成了任务和调查大多数参与者的年龄在25-34岁之间来自印度和巴基斯坦。 这组参与者的特点是相对较低的收入与美国标准相比年中位收入在10,000至19,000美元之间但教育水平较高大多数人拥有4年制学位及以上。这个组别的平均编程经验为6年并且平均报告在一个工作日中花费9小时进行编程。 3 实验结果 实验组——使用copilot 对照组——不适用copilot 3.1 完成时间 实验组的平均完成时间为71.17分钟对照组为160.89分钟。 这代表了55.8%的完成时间缩短。t检验的p值为0.0017改善的95%置信区间在[21%, 89%]之间。有四个异常值的完成时间超过300分钟。 所有异常值都在对照组但即使去掉这些异常值我们的结果依然稳健。这一结果表明在我们的实验人群中Copilot显著提高了平均生产力。 3.2 完成时间在不同维度上是否有差异 然后论文调查这种效应在不同维度包括经验、就业状况、收入、教育和软件语言偏好上是否存在异质性。 应用Horvitz-Thomson转换然后对观测到的转换后结果进行回归分析。表1中的估计结果报告了这次回归的系数。 结果显示经验较少的开发者职业编程年数、编码负载较重的开发者每天编程时间、以及年龄较大的开发者年龄在25至44岁之间的开发者从Copilot中获益更多。 3.3 受试对象的体验 进行了一项包含两个问题的退出调查以了解受试对象的体验。 首先要求他们估计Copilot在完成任务方面提供的生产力增益或损失以百分比表示。虽然对照组在执行任务期间没有接触到Copilot但在回答这个问题之前他们观看了教程视频因此了解了Copilot的功能。图7展示了对照组和实验组自我报告的生产力增益估计的分布。 平均而言实验组和对照组的参与者估计生产力增加了35%与他们实际显示的55.8%的增幅相比这是一种低估。 3.4 支付意愿 在第二个问题中参与者被问到他们愿意为获取GitHub Copilot发布通知的最高月价格是多少。这个问题的目的是了解开发者支付Copilot的意愿因为这个问题的答案提供了开发者支付意愿的上限。 图8展示了对照组和实验组分开的无关价格分布。 实验组的平均无关价格为每月27.25美元对照组的平均无关价格为每月16.91美元。这种差异在95%的水平上具有统计学意义。这一结果间接证明了实验组在任务中受益于Copilot因为他们的支付意愿显著高于对照组。