腾讯发布星脉辘集2.0:大模子历练效用比较上代进步20%
TiTa与TCCL升级带来的效用重复,让星脉辘集的通讯效用共进步60%。IT之家 7 月 2 日音问,腾讯昨日发布其自研星脉辘集 2.0 版块,升级后的星脉辘集相沿单集群 10 万卡组网,辘集通讯效用比上一代进步 60%,大模子历练效用进步 20%,故障定位从天级缩小至分钟级。
IT之家获悉,腾讯自研交换机从 25.6T 升级到 51.2T,容量进步一倍;自研硅光模块从 200G 升级到 400G,速度进步一倍;搭载自研算力网卡;整机通讯带宽 3.2T,点牛股股票配资平台门户网为业界最高。
腾讯自研全新通讯公约 TiTa2.0 的部署位置从交换机漂流到了网卡上,拥塞算法也从被迫拥塞算法升级为主动拥塞抵制算法,将星脉辘集的通讯效用进步 30%,让大模子的历练效用进步 10%。
腾讯全新高性能辘集通讯库 TCCL2.0 罗致 NVLINK+NET 异构并行通讯,终了数据的并行传输。Auto-Tune Network Expert 自合乎算法不错凭据机型、辘集限度、模子算法等相反,自动疏导数据包分割大小、匹配算法等参数。星脉辘集通讯性能进步 30%,让大模子的历练效用再进步 10%。
▲ 数据的并行传输(腾讯云)
TiTa 与 TCCL 升级带来的效用重复,让星脉辘集的通讯效用共进步 60%,大模子历练效用共进步 20%。