智能云域名资讯|域名门户|域名新闻中心

新闻资讯频道
云计算领域最新资讯

分类: 互联网+

互联网+

1.6T 光模块为何成为 B300 标配?

阅读(445 ) 评论()

1.6T 光模块为何成为 B300 标配? 当B300 GPU的运算吞吐量达到新高度时,一个残酷的事实摆在眼前:数据喂不饱计算。1.6T光模块正是为此而生。 B300的FP8算力远超上一代,这意味着它在单位时间内能完成更多操作。但若网络接口仍是800G,GPU将有大量时间等待[……]

Read more

互联网+

H200 CUDA与软件栈:深度优化释放硬件潜力

阅读(509 ) 评论()

H200 CUDA与软件栈:深度优化释放硬件潜力 硬件性能需要软件榨取极致。H200延续了NVIDIA CUDA平台的强大生态,并针对大模型场景推出了深度优化的推理软件栈。TensorRT-LLM为H200专门优化了Attention内核、量化策略与并行解码,在FP8精度下可实现数倍于标[……]

Read more

互联网+

8卡H200集群:万亿模型训练的性能基石

阅读(878 ) 评论()

8卡H200集群:万亿模型训练的性能基石 单个H200 GPU已拥有惊人的141 GB HBM3e高带宽显存,而8卡H200集群更将总算力推至31.6 PFLOPS(FP8精度),总显存达到1.1 TB。这一量级的算力与显存组合,专为万亿参数级大模型训练而设计。训练万亿模型时,模型状态([……]

Read more

互联网+

H200多模态 AI:大显存统一承载图文视频模型

阅读(426 ) 评论()

H200多模态 AI:大显存统一承载图文视频模型 多模态 AI(如文生图、视频理解、视觉问答)往往需要同时运行图像编码器、文本编码器、融合模块等至少两到三个大型子网络。若显存不足,则不得不将部分模型参数与中间特征卸载至 CPU,引入严重延迟。H200 的 141 GB 显存可一次性容纳主[……]

Read more