Uncategorized

a – 全球首个直触液冷!北美最大AI训练基地配备8192块AMD MI325X加速卡、2048TB显存


快科技7月15日消息,AI基础设施企业TensorWave宣布,已经完成了北美地区最大AI训练基地的建设与部署,采用了多达8192块AMD Instinct MI325X AI加速卡。

同时,这也是全球首个已公开的采用直触液冷散热的大型AI数据中心。

8192块放在一个系统内,总的核心数就到了几乎1.6亿个,FP8性能达到恐怖的2100亿亿次浮点每秒。

同时,显存总容量多达2048TB,总带宽超过2PB/s!

单卡功耗就有1000W,满载情况下一个小时就是8000多度电,确实需要配液冷,所有节点的GPU都使用了TensorWave自有的芯片直触液冷循环系统,确保高效带走热量。

这套系统将以云服务的方式,对外提供租赁服务。

这还只是TensorWave更宏大工程的第一阶段,预计今年晚些时候引入AMD MI350X,支持FP4/FP6格式,性能和带宽更猛,但功耗也将最高达到1400W。