邮箱:A3669372910@163.com
手机:17359299796
电话:17359299796
地址:福建省漳州市龙文区朝阳北路1号办公楼205室
发布时间:2024-07-04 15:22:09 人气:
AI训练数据集正高速增长,与之相适应的不仅是HBM的迭代升级,还有用于处理这些海量数据的服务器内存技术的不断发展。 以经过简化的AI训练管道流程来看,在数据采集进来后的数据存储阶段对主内存的需求以小于1TB来计算(实际应用中一个集群或实例的内存容量会是简化模型的数倍。),这时GPU还无须参与训练中。 到了数据准备阶段,将数据进行整理、验证,此时主内存容量上升到1TB。比如SDXL训练网络架构,在数据准备阶段,所有的图像都要被规整成统一的规格、大小、像素、尺寸,从而更加高效的利用到网络中的这些资源,降低延迟和在空间展示中节省资源。 在AI训练阶段,不仅需要强大的GPU内存,主内存的容量需求会是GPU内存的两倍,且必须有非常高的带宽,才能让GPU本地内存满足数据的吞吐速度。由此可见,DDR5内存对于AI训练的重要性。 Rambus为 DDR5 服务器内存模块提供完整的内存接口芯片组,包含 RCD、PMIC、SPD Hub、温度传感器 IC。Rambus最近推出最先进的全新DDR5 服务器电源管理IC(PMIC)系列,包含适用于高性能应用的业界领先超高电流电源器件,满足AI及其他高级工作负载对最高性能与容量内存模块的需求。 Rambus DDR5服务器PMIC产品特点 PMIC是DDR5内存架构中的关键组件,可实现更多的内存通道、更大容量的模组和更高的带宽。Rambus DDR5服务器PMIC系列包含符合JEDEC超高电流(PMIC5020)、高电流(PMIC5000)和低电流(PMIC5010)规范的产品。 JEDEC定义了三种不同的PMIC,针对不同的电流输出水平。它们都共享相同的封装尺寸、引脚布局,并且大多数寄存器集相同。每种设计的电源效率都针对其目标应用的预期电流水平进行了优化。 极高电流的PMIC 5020目标是约30安培的最大持续直流电流,是这三种服务器PMIC中最新定义的。Rambus是首家提供样品的公司。该PMIC针对的是最高带宽和最高容量的模块。 高电流PMIC 5000一直是主要的PMIC,支持的最大持续直流电流大约为20安培。这款特定的PMIC针对标准到四阶模块,容量为64GB、96GB和128GB。低电流 PMIC 5010 面向容量较低的市场,它支持的最大持续电流约为 12 安培。 大多数速率高达 60,400 MT/s 的 DDR5 RDIMM 都使用 PMIC 5000 高电流版本和 PMIC 5010 低电流版本 PMIC。目前这两种型号正处于大批量生产阶段。 而新发布的PMIC5020,主要用于数据速率达到7200MT/s的第四代DDR5,以及第一代的MRDIMM模组,另外,还包括一些6400MT/s数据速率但容量特别高的如256GB内存模组,也会使用超高电流的PMIC5020。 Rambus内存互连芯片业务部门产品营销副总裁John Eble表示,Rambus提供完整的DDR5 RDIMM芯片组,对于我们的客户、客户的用户,以及整个生态系统是多赢的。对于DDR5 RDIMM完整芯片组,我们是经过预先验证的,可以带给客户具有经过验证的互操作性和非常优秀的时序、功率优化,而且也有足够稳健的供应链供给。 设计挑战 应用DDR5技术的DIMM架构如何实现更高的内存性能。John Eble进行了详细解析。 现在DDR5内存已经开始转移到双通道架构,在展现的DDR5 RDIMM架构在DDR5当中数据流的通道比特率是32,另外加上8位ECC,来保证他们在连接器上有着各自所需的存储和吞吐量以及内存性能。
相关推荐