原文链接源于 EE Times:https://www.eetimes.com/document.asp?doc_id=1334421#

人工智能需要内存来获得计算的Cozier

作者 加里·希尔森 Gary Hilson 19年3月12日

多伦多——大数据应用已经推动了对架构的需求,使内存更接近计算资源,但是人工智能(AI)和机器学习正在进一步证明硬件和硬件体系结构在成功部署中如何发挥关键作用。但是,一个关键问题是内存将驻留在哪里。

由Micron科技公司委托进行的研究发现,有89%的受访者表示,计算和内存在架构上的紧密联系很重要或至关重要。由Forrester Research进行的调查还发现,内存和存储是当今限制人工智能和机器学习的硬件约束最常被提及的问题。超过75%的受访者认识到需要升级或重新架构其内存和存储,以限制架构限制。

人工智能加剧了大数据和分析需求已经带来的挑战,因为机器学习通过神经网络对海量数据矩阵进行多次累积操作。随着获得更多结果,这些操作将一遍又一遍地重复进行,从而生成每次都是最佳路径和最佳选择的算法-它是从处理数据中学习。

Micron公司企业战略副总裁Colm Lysaght说,由于数据太多,要获得必要工作内存,一个常见解决方案就是添加更多DRAM。这将性能瓶颈从原始计算转移到了数据所在的位置。“内存和存储是数据的来源。” 他说,“我们必须将数据传输至CPU,然后一次又一次地返回,因为这些庞大的数据集正在呗处理。”

Lysaght说,要想让计算和内存更紧密地结合起来,就需要节省功耗,因为数据的传输速度不那么快。“它提高了性能,因为更多的事情可以在需要发生的地方发生。”

Micron认为现有的内存和存储技术(例如DRAM和3D NAND SSD)为AI体系结构提供硬件,但同时也在研究新兴技术(例如内存处理器体系结构),同时为开拓性创业公司提供支持。

Lysaght说,创建更好的体系结构有多种不同的方法。一个示例是神经形态处理器,该处理器在内部使用神经网络并将内核数量分解为大量较小的核。Lysaght说:“因为要处理的数据矩阵很大,所以让更多的核心反复进行相对简单的操作是一个更好的解决方案。”

Crossbar Inc.是一家对开发新架构感兴趣的内存公司。它与Gyrfalcon Technology Inc.,mtes Neural Networks Co.(mtesNN)和RoboSensing Inc.共同组建了SCAiLE(可扩展的边缘学习AI),这是一个致力于提供加速,节能的AI平台的人工智能联盟。

Crossbar战略营销和业务发展副总裁Sylvain Dubois表示,该小组将结合先进的加速硬件,电阻式RAM(ReRAM)和优化的神经网络,以创建现成的,节能的解决方案,并提供无监督的学习和事件识别能力。

Dubois表示,许多公司面临的挑战是他们希望在设备上使用AI,但不知道如何做到这一点,无论是智能扬声器,智能相机还是智能电视。该联盟的目标是提供一个平台,将所有必要的部分组合在一起。

Crossbar的贡献在于内存——特别是ReRAM——将通过大量输入(包括文本,关键字,GPS坐标和来自传感器的可视数据)帮助处理进入机器学习系统的数据,所有这些数据都是非结构化的。

Dubois设想了一种存储阵列,其结构设计成可以通过特定的处理代码以非常广泛和高度并行的方式针对这些实例中的每一个进行读取,在边缘设备中并行读取一千次。

“如果你是对手,那么你就知道该怎么做,”Dubois说。“但是,如果您没有匹配,那么这就是我们所说的学习曲线。”

他举例说,在使用摄像头传感器的情况下,该系统将能够在ReRAM阵列的备用位置存储新事件或一组功能。“下次当您在摄像机前经过类似的事件时,摄像机本身无需云中的任何训练z就可以检测到它,” Dubois说。

杜波依斯说,这提供了一种完全不同的AI方式,因为如果发生需要快速决策的意外事件(例如交通安全问题),它并不依赖于云中庞大的训练能力。

Forrester Research研究表明,更多的公司将在公共云和边缘运行分析,从而在边缘实现更多的机器学习。51%的受访者表示,他们正在公共云中运行分析,预计未来三年该数字将增加到61%。此外,尽管今天有44%的人在边缘进行分析,但Forrester预测到2021年这一比例将增长到53%。

Forrester为基础设施和运营专业人士提供服务的高级分析师Chris Gardner为Micron公司准备了该报告,一开始,他对硬件设备“冒出来”的数量感到惊讶,尤其是存储和内存。

“我希望看到更多有关硬件和治理问题的软件可编程性问题。当然,确实出现了,但是没有其他事情那么严重。”

Gardner说,这项研究还涌现出了如何在内存本身中进行大量工作,同时尽可能避免存储。但是值得注意的是,对内存和存储的需求取决于您的工作。根据Gardner的说法,训练模型需要大量的内存和存储。他说,除此之外,你几乎什么都不需要。

代理AG惠特克

Crossbar最近成立了一个联盟来开发AI平台,它提供针对AI应用的内存产品,例如带有嵌入式ReRAM的P系列MCU。


Gardner说,在一个理想的世界中,公司希望拥有一个巨容纳数百GB(甚至是TB)的RAM的大环境。但实际上,他们将不得不为其构建或支付提供商的费用。他补充说,需要的是硬件方面的范式转变(paradigm shift)。

“我们需要更多以内存为中心的架构,”Gardner说。他补充说,计算需要围绕内存和较小的存储空间,而不是将计算放在中心。

他说:“并不是说今天的计算架构和我们采用的方法很糟糕,但这可能不是进行AI和机器学习的最有效方法。”

Gardner还介绍了Forrester的边缘计算。其中一个场景是一个体育场,一个举办大型体育联赛的体育场里布满了摄像头,产生了大量的数据,需要快速处理以判断是否存在危险情况。“他们可以把数据发送到云端,然后再返回,但他们没有时间这么做,”他说。“他们必须尽快处理。”

将会继续存在一些在云中完成的机器学习,然后再发送回物联网(IoT)设备,但是其中一些设备将变得越来越智能,并进行自己的机器学习,并可以共享回云和然后到其他设备。Gardner说,对于存储器制造商来说,这意味着商品组件制造商将继续转型,并重新编译应用程序,以利用AI和机器学习工作负载所必需的以存储器为中心的架构。

但是我们现在仍处于 实验阶段 ,因为没有任何真正的张量流可以组合在一起,而是使用以内存为中心的体系结构,在实验之外还具有很大的延迟。

Gardner说:“几十年来,我们一直在以一种CPU的心态运行。我们要摆脱这种思维定势的想法非常具有革命性。”

去年秋天,美光科技宣布 成立 一个专注于人工智能的1亿美元风险基金。该公司在实验室中有一个类似DRAM的产品,目计划在2021年进行测试,而其研究人员正在研究处理器对内存架构的影响,这些公司也在探索新产品。