大模型训练效率相比上代优化20% 腾讯颁布星脉网络2.0 (大模型训练效率)

腾讯昨日颁布其自研星脉网络 2.0 版本，更新后的星脉网络允许单集群 10 万卡组网，网络通讯效率比上一代优化 60%，大模型训练效率优化 20%，缺点定位从天级降低至分钟级。

媒体得知，腾讯自研替换机从 25.6T 更新到 51.2T，容量优化一倍；自研硅光模块从 200G 更新到 400G，速率优化一倍；搭载自研算力网卡；零件通讯带宽 3.2T，为业界最高。

腾讯自研全新通讯协定 TiTa2.0 的部署位置从替换机转移到了网卡上，拥塞算法也从主动拥塞算法更新为主动拥塞管理算法，将星脉网络的通讯效率优化 30%，让大模型的训练效率优化 10%。

腾讯全新高性能汇合通讯库 TCCL2.0 驳回 NVLINK+NET 异构并行通讯，成功数据的并行传输。Auto-Tune Network Expert 自顺应算法可以依据机型、网络规模、模型算法等差异，智能调整数据包宰割大小、婚配算法等参数。星脉网络通讯性能优化 30%，让大模型的训练效率再优化 10%。

TiTa 与 TCCL 更新带来的成果叠加，让星脉网络的通讯效率共优化 60%，大模型训练效率共优化 20%。