智能云域名资讯|域名门户|域名新闻中心

新闻资讯频道
云计算领域最新资讯

分类: 大数据

大数据

Llama 3 405B:H200实现BF16精度高效预训练

阅读(129 ) 评论()

Llama 3 405B:H200实现BF16精度高效预训练 Llama 3 405B作为目前最大的开源稠密大语言模型,其BF16精度预训练对显存容量和带宽提出了严苛要求。传统H100集群需要将模型分片到8卡以上才能启动训练,而H200的141GB HBM3e显存让单机内完整容纳405B[……]

Read more

大数据

万亿参数MoE模型:H200单卡完整训练成为可能

阅读(131 ) 评论()

万亿参数MoE模型:H200单卡完整训练成为可能 MoE(混合专家)架构通过激活少量参数实现模型容量的指数级增长,但训练万亿参数模型曾依赖数百甚至上千张GPU的集群通信。H200凭借141GB HBM3e高带宽显存,首次让万亿参数MoE模型的单卡完整训练成为现实。传统方案中,单个专家权重[……]

Read more

大数据

厦门BGP高防服务器IP切换对业务连续性的影响

阅读(663 ) 评论()

厦门BGP高防服务器IP切换对业务连续性的影响 在使用厦门BGP高防服务器时,可能因攻击封堵、线路调整或维护需求触发IP切换。这一过程若处理不当,可能影响业务连续性。以下是关键影响因素及应对策略: DNS解析延迟:IP切换后,DNS记录需全球生效,受TTL(生存时间)影响,部[……]

Read more