AI服务器能耗解决方案各显神通

2024-07-30
阅读量 960

美国明尼苏达大学开发出颠覆性的先进存储器CRAM技术,可在存储器中直接进行运算,把AI应用能耗大幅降至现有技术的千分之1、甚至万分之4,有望解决全球缺电问题。

图片

新技术问世,将对电源、散热乃至于绿电储能等产业产生重大影响。

服务器散热解决方案

生成式AI需要强大算力进行训练及推理,也会导致更高能耗,每生成一张图片所需的能量,等同于能把一支手机充满电量,由此可知AI应用消耗的电力有多大。

AI为产业带来无穷的想像空间,也推升源源不绝的电力需求。

比起一般服务器需要2个1kW的电源供应器,一台AI服务器需要搭载6个3kW的电源,功耗则是9KW到10KW,用电量明显暴增。

AI服务器庞大的功耗当中,其中只有2%转为电源的热,98%变成系统的热,所以系统散热非常具挑战,也因此英伟达产品蓝图几乎走向水冷。

新存储技术解决方案

明尼苏达大学科学与工程学院的研究人员,历经长达20多年研究,开发出新世代的相变化存储器,大幅降低AI应用能耗,近期相关研究以「实验展示基于磁性穿隧结(MTJ)的相变化存储器」为题,登上科学期刊 《npj Unconventional Computing》。

该研究开发出一种数据永远不会离开存储器的新型相变化存储器,将AI运算的机器学习推理加速器能源需求降低至少1,000倍、即能耗仅千分之1。

研究显示,与传统方法相比,所节省的能耗甚至高达2,500倍、即能耗仅万分之4。

通常AI运算过程中,会在处理器与存储器间来回移动传输数据,过程中消耗大量的能量,这项技术完全颠覆过去的运算模式,可直接在存储器单元中进行AI运算处理,大幅提升能源使用效率。

存储厂商旺宏在相关技术中领先。

旺宏已与IBM携手投入相变化存储器开发十多年,合作初期有不少厂商加入,但时间流逝,一些厂商陆续退出,目前旺宏是IBM相变化存储器唯一合作伙伴。

旺宏与IBM的相变化存储器共同开发计划以三年为一期,期满后双方视状况再签新约,双方合作方向瞄准AI应用。

新电源解决方案

英飞凌表示,AI服务器能源需求是传统服务器的3倍以上,政府与企业都需要新的电源解决方案。

英飞凌持续开发创新电源解决方案和架构,推出包括AI服务器电源解决方案,以及专为工作站设计的850W和1100W无风扇电源供应器等。

看好AI应用将自云端扩及边缘,预期明年可望有许多边缘设备问世,包括手机、个人电脑及车用等应用都需具备低延迟。

点击此处关注获取最新资讯!

f328f6db93164f84bb23c090c28e7db.png88c1a0acd98aa6023fcbfa1f2ebf421.png

1.本文整理自网络,如有侵权,请联系删除。

2.所刊内容仅代表作者观点,非闪德资讯立场。

我的评论

登录后评论

最新评论

渠道报价
查看更多

D4/32G-DDR 4

  • 一年
  • 半年
  • 三个月
  • 一个月

微信订阅

APP下载

存储未来,赢得先机

18126200184

Copyright©2008-2024 闪德资讯 版权所有 粤ICP备18080549号-1

粤公网安备 44030402002744号