为解决高速运算,内存传输速率受限于DDR SDRAM带宽无法同步成长的问题,高带宽内存(High Bandwidth Memory,HBM)应运而生,革命性传输效率是让核心运算组件充分发挥效能的关键。市调机构研究显示,高阶AI服务器GPU搭载HBM已成主流,2023年全球HBM需求量年增近六成,到2.9亿GB,2024年再成长三成。市调机构预估到2025年,全球若以等同ChatGPT的超大型AIGC产品五款、Midjourney中型AIGC产品有25款,以及80款小型AIGC产品估算,所需运算资源至少145,600~233,700颗NVIDIA A100 GPU,加上新兴应用如超级计算机、8K影音串流、AR/VR等,也同步提高云端运算系统负载, 显示高速运算需求高涨。由于HBM拥有比DDR SDRAM更高带宽和较低耗能,无疑是建构高速运算平台的最佳解决方案,2014与2020年发表的DDR4 SDRAM及DDR5 SDRAM便可究其原因,两者带宽仅相差两倍,且不论DDR5或将来DDR6,追求更高传输效能同时,耗电量也同步攀升,势必拖累运算系统效能表现。若进一步以HBM3与DDR5为例,前者带宽是后者15倍,且能透过增加堆叠颗粒数量提升总带宽。HBM可取代部分GDDR SDRAM或DDR SDRAM,更有效控制耗能。市调机构表示,主要由搭载NVIDIA A100、H100、AMD MI300及大型CSP业者如Google、AWS等自研ASIC的AI服务器成长需求较强劲,今年AI服务器出货量(含搭载GPU、FPGA、ASIC等)出货量预估近120万台,年增率近38%,AI芯片出货量同步看涨,可望成长突破五成。
点击此处关注,获取最新资讯!
我的评论
最新评论