智能云域名资讯|域名门户|域名新闻中心
128K+超长上下文：H200解锁批量推理新境界
128K+超长上下文：H200解锁批量推理新境界 长上下文场景（如文档总结、代码库分析）对推理系统的主要挑战在于KV Cache的显存占用随序列长度平方增长。当上下文达到128K token时，Llama 2 70B的KV Cache需要超过80GB显存，H100的80GB版本无法在一个[……]
标签： H200价格
推理吞吐提升1.9倍：H200对比H100的优势解析
推理吞吐提升1.9倍：H200对比H100的优势解析 在标准的大语言模型推理测试中（使用Llama 2 13B，批量大小256，输入输出长度1024 token），H200相比H100实现了吞吐量1.9倍的跃升。这背后有三大技术驱动：首先，H200的HBM3e显存带宽提升至4.8 TB/[……]
Llama 2 70B推理：H200打破MLPerf基准纪录
Llama 2 70B推理：H200打破MLPerf基准纪录 在最新一轮MLPerf Inference v4.0评测中，搭载H200的服务器在Llama 2 70B模型推理任务上以绝对优势刷新所有性能纪录。离线场景下，单卡H200每秒可完成112,000个token的生成，较H100提[……]
Llama 3 405B：H200实现BF16精度高效预训练
Llama 3 405B：H200实现BF16精度高效预训练 Llama 3 405B作为目前最大的开源稠密大语言模型，其BF16精度预训练对显存容量和带宽提出了严苛要求。传统H100集群需要将模型分片到8卡以上才能启动训练，而H200的141GB HBM3e显存让单机内完整容纳405B[……]
万亿参数MoE模型：H200单卡完整训练成为可能
万亿参数MoE模型：H200单卡完整训练成为可能 MoE（混合专家）架构通过激活少量参数实现模型容量的指数级增长，但训练万亿参数模型曾依赖数百甚至上千张GPU的集群通信。H200凭借141GB HBM3e高带宽显存，首次让万亿参数MoE模型的单卡完整训练成为现实。传统方案中，单个专家权重[……]