自己在线制作logo免费网站,邦邻网站建设熊掌号,wordpress farmer,网络营销方式有哪些视频来源#xff1a;ScienceAI人工智能算法无法以目前的速度保持增长。像深度神经网络这样的算法——它受到大脑的松散启发#xff0c;多层人工神经元通过称为权重的数值相互连接——每年都在变大。但如今#xff0c;硬件改进已无法跟上运行这些海量算法所需的大量内存和处理能力…来源ScienceAI人工智能算法无法以目前的速度保持增长。像深度神经网络这样的算法——它受到大脑的松散启发多层人工神经元通过称为权重的数值相互连接——每年都在变大。但如今硬件改进已无法跟上运行这些海量算法所需的大量内存和处理能力。很快人工智能算法的规模可能会碰壁。即使我们可以不断扩大硬件以满足人工智能的需求还有另一个问题在传统计算机上运行它们会浪费大量能源。运行大型人工智能算法产生的高碳排放已经对环境有害而且随着算法变得越来越庞大情况只会变得更糟。一种称为神经形态计算的解决方案从生物大脑中汲取灵感来创建节能设计。不幸的是虽然这些芯片在节能方面可以超过数字计算机但它们缺乏运行大型深度神经网络所需的计算能力。这让人工智能研究人员很容易忽视它们。这在8月终于改变了当时Weier Wan, H.-S. Philip Wong、Gert Cauwenberghs团队揭示了一种名为 NeuRRAM 的新型神经形态芯片该芯片包括300万个存储单元和数千个内置于其硬件中的神经元用于运行算法。论文链接https://www.nature.com/articles/s41586-022-04992-8它使用一种相对较新的内存类型称为电阻式RAM或RRAM。与以前的RRAM芯片不同NeuRRAM被编程为以模拟方式运行以节省更多的能源和空间。虽然数字存储器是二进制的——存储1或0——但NeuRRAM芯片中的模拟存储单元可以在一个完全连续的范围内存储多个值。这使得芯片可以在相同数量的芯片空间中存储来自大量AI算法的更多信息。因此新芯片可以像数字计算机一样执行复杂的人工智能任务如图像和语音识别作者声称它的能效提高了 1000 倍为微型芯片在以前不适合智能手表和手机等人工智能的小型设备中运行越来越复杂的算法开辟了可能性。未参与这项工作的研究人员对结果印象深刻。「这篇论文非常独特.」香港大学长期RRAM研究员王中锐说,「它在不同的层面做出了贡献——在设备层面、电路架构层面和算法层面。」创造新的回忆在数字计算机中运行AI算法时浪费的大量能源是由一个简单且普遍存在的设计缺陷造成的该缺陷使每一次计算都效率低下。通常情况下计算机的内存——它保存计算过程中处理的数据和数值——被放置在远离处理器的主板上而处理器就是在那里进行计算的。对于通过处理器传输的信息「这有点像你花了八个小时在通勤上但你只做了两个小时的工作。」曾在斯坦福大学工作的计算机科学家Wan说他最近搬到了人工智能初创公司Aizip。图示NeuRRAM芯片可以在其内存中运行计算它存储的数据不是传统的二进制数字而是模拟频谱。来源网页用将内存和计算放在同一个地方的新型一体化芯片来解决这个问题似乎很简单。它也更接近于我们的大脑可能如何处理信息因为许多神经科学家认为计算发生在神经元群体中而记忆是在神经元之间的突触加强或削弱它们的连接时形成的。但事实证明制造这样的设备很困难因为目前的内存形式与处理器中的技术不兼容。几十年前计算机科学家开发了这些材料来制造新的芯片这些芯片可以在存储内存的地方执行计算——一种被称为内存计算的技术。但由于传统的数字计算机表现非常出色这些想法被忽视了几十年。「这项工作就像大多数科学工作一样被遗忘了。」斯坦福大学教授Wong说。事实上第一个这样的设备至少可以追溯到1964年当时斯坦福大学的电气工程师发现他们可以操纵某些称为金属氧化物的材料来打开和关闭其导电能力。这很重要因为材料在两种状态之间切换的能力为传统内存存储提供了支柱。通常在数字存储器中高电压状态对应于1低电压状态对应于0。论文链接https://www.sciencedirect.com/science/article/abs/pii/0038110164901315为了让RRAM设备切换状态这里需要在连接到金属氧化物两端的金属电极上施加电压。通常金属氧化物是绝缘体这意味着它们不导电。但是有了足够的电压电流就会积聚起来最终穿过材料的薄弱环节形成通往另一侧电极的路径。一旦电流突破它就可以沿着该路径自由流动。Wong将这个过程比作闪电当云中积聚了足够多的电荷时它会迅速找到一条低电阻路径并发生雷击。但与路径消失的闪电不同穿过金属氧化物的路径仍然存在这意味着它可以无限期地保持导电。并且可以通过向材料施加另一个电压来擦除导电路径。因此研究人员可以在两种状态之间切换RRAM并使用它们来存储数字存储器。20世纪中叶的研究人员没有认识到节能计算的潜力他们也不需要使用他们正在使用的更小的算法。直到2000年代初随着新金属氧化物的发现研究人员才意识到这种可能性。当时在IBM工作的Wong回忆说一位在RRAM上工作的获奖同事承认他并不完全了解所涉及的物理学。「如果他不明白.」Wong回忆道「也许我不应该尝试去理解它。」但在2004年三星电子的研究人员宣布他们已经成功地将RRAM内存集成在传统计算芯片之上这表明内存计算芯片最终可能成为可能。Wong决定至少尝试一下。用于人工智能的内存计算芯片十多年来像Wong这样的研究人员一直致力于将RRAM技术构建到能够可靠地处理高性能计算任务的地步。大约在2015年左右计算机科学家开始认识到这些节能设备对于大型AI算法的巨大潜力并开始起飞。那一年加州大学圣巴巴拉分校的科学家表明RRAM设备可以做的不仅仅是以一种新的方式存储内存。他们可以自己执行基本的计算任务——包括在神经网络的人工神经元中进行的绝大多数计算这些都是简单的矩阵乘法任务。论文链接https://www.nature.com/articles/nature14441在NeuRRAM芯片中硅神经元内置于硬件中RRAM存储单元存储权重——代表神经元之间连接强度的值。由于NeuRRAM存储单元是模拟的它们存储的权重代表了设备在低电阻状态和高电阻状态之间切换时出现的所有电阻状态。这实现了比数字RRAM存储器更高的能效因为该芯片可以并行运行许多矩阵计算而不是像数字处理版本那样一个接一个地同步运行。但由于模拟处理仍落后于数字处理数十年仍有许多问题需要解决。一是模拟RRAM芯片必须异常精确因为物理芯片上的缺陷会引入可变性和噪声。对于只有两种状态的传统芯片这些缺陷几乎没有那么重要。这使得模拟RRAM设备运行AI算法变得更加困难因为如果RRAM设备的导电状态并非每次都完全相同那么识别图像的准确性就会受到影响。「当我们看到一条照明路径时每次都是不同的。」Wong说「因此RRAM表现出一定程度的随机性——每次对它们进行编程都会略有不同。」Wong的团队证明如果对算法进行训练以适应芯片上遇到的噪音RRAM设备可以存储连续的AI权重并且仍然与数字计算机一样准确这一进步使他们能够生产NeuRRAM芯片。他们必须解决的另一个主要问题涉及支持各种神经网络所需的灵活性。过去芯片设计人员必须将微型RRAM器件排列在较大的硅神经元旁边的一个区域中。RRAM设备和神经元是硬连线的没有可编程性因此只能在一个方向上执行计算。为了支持具有双向计算的神经网络需要额外的电线和电路从而增加了能量和空间需求。因此Wong的团队设计了一种新的芯片架构其中RRAM存储设备和硅神经元混合在一起。这种对设计的微小改动减少了总面积并节省了能源。瑞士苏黎世联邦理工学院的神经形态研究人员Melika Payvand说「我认为 [这种安排] 真的很漂亮……我绝对认为这是一项开创性的工作。」几年来Wong的团队与合作者一起在NeuRRAM芯片上设计、制造、测试、校准和运行AI算法。他们确实考虑使用其他新兴类型的内存这些内存也可以用于内存计算芯片但RRAM具有优势。因为它在模拟编程方面具有优势并且相对容易与传统计算材料集成。他们最近的结果代表了第一个可以运行如此庞大而复杂的AI算法的RRAM芯片——这一壮举以前只能在理论模拟中实现。德雷克塞尔大学计算机科学家Anup Das说「当涉及到真正的硅时这种能力就缺失了……这项工作是第一次演示。」Cauwenberghs曾说过「数字人工智能系统灵活而精确但效率要低几个数量级。」现在Cauwenberghs认为他们灵活、精确和节能的模拟RRAM芯片「首次弥合了差距」。扩大规模该团队的设计使NeuRRAM芯片很小——只有指甲大小——同时压缩了300万个可以用作模拟处理器的RRAM存储设备。虽然它至少可以像数字计算机一样运行神经网络但该芯片也并且是第一次可以运行在不同方向上执行计算的算法。他们的芯片可以向RRAM阵列的行输入电压并从列中读取输出这是RRAM芯片的标准但它也可以从列反向到行因此它可以用于处理不同方向的数据流动的神经网络与RRAM技术本身一样这早已成为可能但没有人想过这样做。「为什么我们以前没有考虑过这个」 Payvand问道「事后看来我不知道。」「这实际上开辟了许多其他机会。」Das说。作为例子他提到了一个简单的系统能够运行多维物理模拟或自动驾驶汽车所需的大量算法。然而尺寸是个问题。最大的神经网络现在包含数十亿个权重而不是新芯片中包含的数百万个权重。Wong计划通过堆叠多个NeuRRAM芯片来扩大规模。在未来的设备中保持较低的能源成本或进一步缩小它们同样重要。实现这一目标的一种方法是更紧密地复制大脑以采用真实神经元之间使用的通信信号电脉冲。这是当细胞内外的电压差达到临界阈值时从一个神经元向另一个神经元发出的信号。「那里有很大的挑战。」伦敦大学学院的纳米技术研究员Tony Kenyon说「但我们可能仍想朝那个方向发展因为……如果您使用非常稀疏的尖峰您可能会获得更高的能源效率。」然而Kenyon指出要在当前的NeuRRAM芯片上运行峰值算法可能需要完全不同的架构。目前该团队在NeuRRAM芯片上运行大型AI算法时实现的能源效率创造了新的希望即内存技术可能代表AI计算的未来。也许有一天我们甚至能够匹配人类大脑的860亿个神经元和连接它们的数万亿个突触而不会耗尽能量。相关报道https://www.quantamagazine.org/a-brain-inspired-chip-can-run-ai-with-far-less-energy-20221110/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。  如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”