个体工商户在线注册,手机端网站优化排名seo推广,佛山网页设计师,网站程序开发要点来源#xff1a;ScienceAI编辑#xff1a;萝卜皮Facebook 的母公司 Meta 表示#xff0c;它已经建造了一台世界上最快的研究超级计算机。Meta 研究人员 Kevin Lee 和 Shubho Sengupta 在今天的博客文章中写道#xff0c;到今年年中#xff0c;系统的扩展完成后#xff0c… 来源ScienceAI编辑萝卜皮Facebook 的母公司 Meta 表示它已经建造了一台世界上最快的研究超级计算机。Meta 研究人员 Kevin Lee 和 Shubho Sengupta 在今天的博客文章中写道到今年年中系统的扩展完成后速度将是最快的。他们写道人工智能研究超级集群RSC有一天将与具有数万亿参数的神经网络一起工作。神经网络模型中的参数数量一直在迅速增长。例如自然语言处理器 GPT-3 有 1750 亿个参数这样复杂的 AI 预计只会增长。RSC 旨在解决这种增长的关键限制即训练神经网络所需的时间。通常训练涉及针对大型数据集测试神经网络测量它与准确完成工作的距离使用该错误信号来调整网络的参数并重复循环直到神经网络达到所需的准确度水平。大型网络可能需要数周的计算时间这限制了在给定年份可以试用的新网络数量。一些资金雄厚的初创公司如 Cerebras 和 SambaNova部分是为了解决培训时间问题。研究人员写道除其他外Meta 希望 RSC 能够帮助它建立新的神经网络可以对一大群人进行实时语音翻译每个人都说不同的语言。「最终RSC 所做的工作将为构建下一个主要计算平台的技术铺平道路——Meta人工智能驱动的应用程序和产品将在其中发挥重要作用。」「我们为元宇宙构建的体验需要巨大的计算能力每秒千亿次操作RSC 将启用新的人工智能模型可以从数万亿个示例中学习理解数百种语言等等。」Meta 首席执行官 Mark Zuckerberg 在一份声明中说。旧系统22,000 个 Nvidia V100 GPU今天6,080 个 Nvidia A100 GPU2022 年年中16,000 个 Nvidia A100 GPU与 Meta 目前使用的 AI 研究集群设计于 2017 年相比RSC 是所涉及的 GPU 数量、它们的通信方式以及附加到它们的存储的变化。「2020 年初我们决定加速进展的最佳方式是从头开始设计新的计算基础架构以利用新的 GPU 和网络结构技术。我们希望这个基础设施能够在 1 艾字节大的数据集上训练具有超过一万亿个参数的模型——从规模上看这相当于 36,000 年的高质量视频。」旧系统连接了 22,000 个 Nvidia V100 Tensor Core GPU。新的内核切换到 Nvidia 的最新内核 A100该内核在最近的 AI 系统基准测试中占据主导地位。目前新系统是由 760 台 Nvidia DGX A100 计算机组成的集群共有 6,080 个 GPU。计算机集群使用 Nvidia 200-gigabit-per-second Infiniband 网络绑定在一起。该存储包括 46 PB4600 亿字节的缓存存储和 175 PB 的大容量闪存存储。加速计算机视觉20 倍大规模自然语言处理3x与旧的基于 V100 的系统相比RSC 在计算机视觉任务上的速度提高了 20 倍在处理大型自然语言处理方面提高了 3 倍。当该系统在今年年中完成时它将连接 16,000 个 GPULee 和 Sengupta 写道这使其成为同类中最大的之一。届时其缓存和存储容量将达到 1 艾字节10 亿字节能够为系统提供每秒 16 TB 的数据。新系统还将专注于可靠性。这很重要因为非常大的网络可能需要数周的训练时间而且您不希望在任务中途失败这意味着必须重新开始。作为参考在最新一轮 MLPerf 神经网络训练基准测试中测试的最大的生产就绪系统是 Nvidia 部署的 4,320-GPU 系统。该系统可以在不到一分钟的时间内训练自然语言处理器 BERT。然而与 Meta 想要使用的数万亿个参数相比BERT 只有 1.1 亿个参数。RSC 的推出还伴随着 Meta 使用数据进行研究的方式发生了变化「与我们之前仅利用开源和其他公开可用数据集的 AI 研究基础设施不同RSC 还通过允许我们在模型训练中包含来自 Meta 生产系统的真实示例帮助我们确保我们的研究有效地转化为实践。」研究人员写道RSC 将采取额外的预防措施来加密和匿名这些数据以防止泄漏。这些步骤包括 RSC 与更大的互联网隔离——既没有入站连接也没有出站连接。RSC 的流量只能从 Meta 的生产数据中心流入。此外存储和 GPU 之间的数据路径是端到端加密的数据是匿名的并经过审查过程以确认匿名化。相关报道https://spectrum.ieee.org/meta-ai-supercomputer未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。  如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”