如何压缩图片-标签设计软件

ai内存不足
2023年3月30日发(作者:镭波电脑)

摩尔定律已死,AI万岁?

“摩尔定律已死,人工智能万岁!”(Moore’sLawisdead,longlive

AI.)。这是半导体产业最近的一个新口号,就从日前于美国西部半导

体展(SemiconWest2018)中一场由应用材料(AppliedMaterials)赞助的

全天活动上响起。

应材新市场与联盟事业群资深副总裁SteveGhanayem表示,“半

导体工艺节点的时代列车即将迈入尾声。接下来,从材料到组件——

硬件、软件与系统——都必须以全新途径展开更多的合作。”Steve

Ghanayem原来负责应材的晶体管和互连部门,目前则致力于寻找收

购和结盟的机会,协助该公司朝向摩尔定律(Moore’sLaw)以外的方

向进展。

当然,摩尔定律还没有完全消失;对于几家公司来说,朝向更小

型芯片的竞赛也仍持续进行中。

在SemiconWest的专题演讲中,应材首席执行官GaryDickerson

表示,该公司不久将发布新的晶体管材料,它能将漏电流降低三个数

量级以上。对于芯片制造商而言,这项消息几乎就像2007年英特尔

(Intel)在高k金属闸方面取得进展一样重要。但是,今天这样的进展

只会影响到规模越来越小的设计社群和公司。

根据人工智能(AI)内存处理器(PIM)芯片设计公司Syntiant首席执

行官KurtBusch估计,7纳米(nm)芯片投片大约要花1亿美元,而从

投片到第一款芯片产出大概要拖延到4个月的时间。“只有很少的公

司能负担得起这样庞大的金额。而像我们这样的一家新创公司,可没

办法负担1亿美元的天文数字。”

不久前才离开高通(Qualcomm)的服务器处理器架构师Dileep

Bhandarkar说:“我越来越不那么热衷于最新的工艺节点了。它们对

于像高通这样的公司十分有利,但并不适用于其他所有人。”

伯克利大学荣誉教授DavidPatterson表示,“我认为这大概就是摩

尔定律终结的情况了。”他指出,台积电(TSMC)的晶体管成本持平,

英特尔也在致力于生产10nm芯片,“而有95%的架构师认为未来都

脱离不了专用处理器。”Patterson曾经参与GoogleTPU的设计。

最近才退休的前英特尔资深微技术影专家YanBorodovsky则期望

能从摩尔定律传承火炬至AI,使其成为指引半导体产业未来道路的

一盏明灯。

他说:“我认为超越当今冯·诺伊曼(vonNeuman)的架构将因‘超

越摩尔定律’(morethanMoore)而受益。例如,忆阻器交叉开关可望

成为神经形态运算的基本组成部份……超越摩尔定律的世界很可能

是关于你可以在特定区域放置多少种类的突触以及他们有多么复

杂…。”

应材准备发布可大幅降低漏电的晶体管材料(来源:Applied

Materials)

为嵌入式系统打造超级计算机

致力于宣传所谓“新认知时代”(anewcognitiveera)的IBM认知

解决方案暨研究资深副总JohnKellyIII表示,支持包括AI的2兆美

元业务决策,就建立在1.5兆美元的IT业务之上。

Kelly说:“我经历过摩尔定律的早期阶段,但现在发生的一些事

情将真正改变这个世界,这些都与人工智能有关……这将带来50年

或更久的技术创新,并将推动我们的半导体产业继续向前发展。”

IBM最近为美国政府研究人员打造了13mWSummit系统,这是

第一台专用于处理AI任务的超级计算机,其中并搭载部份的辉达

(Nvidia)GPU。Kelly说:“你不会再看到其他的传统超级计算机了—

—因为它们将在未来的运算中融入AI……。”

事实上,机器学习的一大挑战在于推动推论工作,以及最终在网

络边缘为功耗受限的处理器进行训练任务。对于像百度(Baidu)、

Facebook和Google等巨擘而言,采用当今的GPU可能要花数周的时

间才能完成训练模型任务,这可说是个梦魇。

Syntiant的Busch说:“我们将在五年内看到边缘开始执行一些训

练。一开始先在数据中心处理神经网络的前几层,而最后几层则在边

缘处理——这是不可避免的。”

AI将成为许多产业领域的性能驱动力。针对以30格/秒(f/s)速率

进行高解析(HD)视讯串流进行AI处理,大约需要每秒9.4TFLOS的

运算效能。Nvidia首席科学家BillDally在主题演讲中表示,自动驾

驶车将会需要许多像这样的高性能摄影机。

IBM的Kelly宣传认知运算时代来临(来源:EETimes)

从材料到算法全面思考AI

随着AI设下了更积极的新性能目标,业界也提出了实现这些愿景

的新技术方向,包括在新材料、工艺、电路、架构、封装和算法方面

的研究。简言之,必须为AI重新思考每一件事。

加州大学洛杉矶分校(UCLA)电子工程学系教授JasonWoo说:“我

们一直在考虑将MRAM或ReRAM作为闪存(flash)的替代方案……

但是,AI为采用新兴内存与不同材料的交叉架构开辟了新的亮点,

可用于实现更多的线性模拟微缩,就像可编程的忆阻器一样。”

Woo及其研究团队一直在探索整合逻辑功能的三端比内存数组。

这是Syntiant和Mythic等新创公司以及IBM研究人员希望用于AI

加速器(基于内存内运算)的新型编程组件。

由于AI工作负载的平行本质,也为封装技术带来了绝佳机会。为

数据中心进行训练提供全光罩芯片设计的新创公司CerebrasSystems

首席技术官GaryLauterback说,我们不应该局限于单芯片设计,封

装方面也有很大的潜力,可以克服在Denard微缩中遇到的瓶颈。

许多最新的数据中心芯片都采用了2.5D堆栈的逻辑和内存。同

时,台积电正推出用于智能型手机和其他装置的众多晶圆级扇出封装

版本,工程师还需要一个能因应AI需求的译码器。

Bhandarkar说:“从成本和性能来看,我还找不到任何理想的多芯

片技术。至今见过最好的要算是英特尔的EMIB,但它也并非所有人

都可以使用。”

Dally透过缩减神经网络的大小及其矩阵数学的精度,快速地简化

了算法与任务。他说,采用混合精度数学,超级计算机老将Jack

Dongarra因而能在Summit系统上带来exaFLOPS级的AI性能。

Nvidia的研究人员以低至2位展现浮点运算的愿景,而Imec研究

机构则进一步探索单一位的途径。

Dally补充说,神经网络本身可以从根本上简化,以减少运算量。

他说,即使只使用了10%的神经网络权重和30%的启动效能,其准

确度也不至于降低到让人无法接受。SqueezeNet就是针对嵌入式AI

的案例之一。

Nvidia的Dally说神经网络需要减少一些权重(来源:EE

Times)

量子计算机作为备用方案?

可怕的是必须走出已经熟悉的道路,但这也可能是一件好事。

Dally说:“成为一名计算机架构师是一个非常激动人心的时刻。如今,

就让摩尔定律其自然地发展吧!我们必须真的变得更加智慧。”

IBM的Kelly指出,如果这一切不幸都失败了,那么就得发挥量

子运算的潜力了。IBM的实验室已开发出一套50个量子位(qubit)的

系统了。

他说:“在50到100个量子位之间,系统将在几秒钟内完成运算,

这是当今计算机永远达不到的……除了AI之外,这是我一生中见过

的最重要的事情了——它改变了游戏规则。”

其他人则警告道,针对如何建构和使用量子系统,目前还有许多

的基础研究正在进行中。

美国桑迪亚国家实验室(SandiaNationalLaboratories)首席技术研

究员ConradJames说:“我们知道如何打造深度学习系统,但并不了

解它们如何运作……而且我们现在仍然处于尝试不同技术的起步阶

段。量子研究则恰好相反。我们了解数学和物理,但并不知道如何打

造量子系统。”

随着摩尔定律逐渐式微,量子运算的未来还有很长的路要走。在

指引未来发展方向的道路上,半导体产业几乎没有太多的选择。AI

万岁!

更多推荐

ai内存不足