智能云域名资讯|域名门户|域名新闻中心
128K+超长上下文：H200解锁批量推理新境界
128K+超长上下文：H200解锁批量推理新境界 长上下文场景（如文档总结、代码库分析）对推理系统的主要挑战在于KV Cache的显存占用随序列长度平方增长。当上下文达到128K token时，Llama 2 70B的KV Cache需要超过80GB显存，H100的80GB版本无法在一个[……]
标签： 算力服务器租用
推理吞吐提升1.9倍：H200对比H100的优势解析
推理吞吐提升1.9倍：H200对比H100的优势解析 在标准的大语言模型推理测试中（使用Llama 2 13B，批量大小256，输入输出长度1024 token），H200相比H100实现了吞吐量1.9倍的跃升。这背后有三大技术驱动：首先，H200的HBM3e显存带宽提升至4.8 TB/[……]
Llama 2 70B推理：H200打破MLPerf基准纪录
Llama 2 70B推理：H200打破MLPerf基准纪录 在最新一轮MLPerf Inference v4.0评测中，搭载H200的服务器在Llama 2 70B模型推理任务上以绝对优势刷新所有性能纪录。离线场景下，单卡H200每秒可完成112,000个token的生成，较H100提[……]
Llama 3 405B：H200实现BF16精度高效预训练
Llama 3 405B：H200实现BF16精度高效预训练 Llama 3 405B作为目前最大的开源稠密大语言模型，其BF16精度预训练对显存容量和带宽提出了严苛要求。传统H100集群需要将模型分片到8卡以上才能启动训练，而H200的141GB HBM3e显存让单机内完整容纳405B[……]
万亿参数MoE模型：H200单卡完整训练成为可能
万亿参数MoE模型：H200单卡完整训练成为可能 MoE（混合专家）架构通过激活少量参数实现模型容量的指数级增长，但训练万亿参数模型曾依赖数百甚至上千张GPU的集群通信。H200凭借141GB HBM3e高带宽显存，首次让万亿参数MoE模型的单卡完整训练成为现实。传统方案中，单个专家权重[……]
Grant-as-a-Service 算力银行：B300 算力基础设施的新商业模式
Grant-as-a-Service 算力银行：B300 算力基础设施的新商业模式 随着 B300 集群的单位算力成本不断下降，一种新型商业模式正在兴起——Grant-as-a-Service（GaaS，算力银行）。其核心逻辑是：云服务商或大型算力池发行“算力信用”，允许中小团队、学术机[……]
“DeepSeek”等爆款应用如何推动对 B300 大容量显存的算力需求
“DeepSeek”等爆款应用如何推动对 B300 大容量显存的算力需求 2024 年底爆火的 DeepSeek 模型，展示了新一代 AI 应用的共同特征：极长的上下文窗口（百万 token 级别）、复杂的思维链推理、以及多轮交互中的状态保持。这些特性对大容量显存提出了硬性要求——单次推[……]
推理 Token 成本下降的拐点：B300 及后续 Rubin 的经济影响
推理 Token 成本下降的拐点：B300 及后续 Rubin 的经济影响 AI 推理的经济账，核心在于每 token 的成本。B300 的大容量 HBM3e 和高带宽设计，大幅减少推理时的 KV-cache 换入换出，使得批量推理的 token 成本较 H100 下降 50% 以上。以[……]
B300 的长期寿命：预计三到四年，Rubin 问世前的 AI 算力基石
B300 的长期寿命：预计三到四年，Rubin 问世前的 AI 算力基石 B300 并非过渡产品，而是 NVIDIA 产品路线图中承上启下的“长生命期”核心。根据现有架构规划，下一代 Rubin 平台预计于 2027–2028 年面世，这意味着 B300 将拥有至少三到四年的市场主导期。[……]
美国对华管制升级：国内B300出货受阻与H200放行预期
美国对华管制升级：国内B300出货受阻与H200放行预期 美国对华半导体出口管制再度加码。据最新供应链消息，NVIDIA B300 GPU 对中国的批量出货已实质性受阻，涉及数据中心与高性能计算领域。B300 作为 Blackwell 架构的旗舰产品，其 HBM 带宽和 FP8 算力均触[……]