视频生成与多模态 AI:B300 支持即时的复杂推理运算
视频生成与多模态 AI:B300 支持即时的复杂推理运算 视频生成和多模态理解是目前 AI 最具挑战性的方向。一段 1080p、5 秒的视频包含近 3 亿个时空 token,传统 GPU 需要数十秒甚至分钟级的推理时间,且难以在生成过程中进行逻辑调整。B300 的出现,使得“边生成边推理[……]
智能云域名资讯|域名门户|域名新闻中心
视频生成与多模态 AI:B300 支持即时的复杂推理运算 视频生成和多模态理解是目前 AI 最具挑战性的方向。一段 1080p、5 秒的视频包含近 3 亿个时空 token,传统 GPU 需要数十秒甚至分钟级的推理时间,且难以在生成过程中进行逻辑调整。B300 的出现,使得“边生成边推理[……]
药物研发:礼来部署基于 DGX B300 的全球最大 AI 工厂 礼来公司近日宣布,将部署由 1024 套 DGX B300 系统构建的全球最大 AI 算力工厂,专门用于小分子药物发现和蛋白质结构预测。这一设施的总 FP8 算力达到 2.1 ExaFLOPS,HBM3e 内存池超过 64[……]
单 GPU 运行更长的逻辑链条:B300 解决 KV Cache 瓶颈 长思维链推理中最令人头疼的是 KV Cache 的爆炸式增长。传统 GPU 在处理超过 3 万 token 的序列时,KV Cache 会迅速占满显存,导致频繁的缓存逐出与重新计算,严重拖慢推理速度,甚至[……]
万亿至十万亿参数 MoE 模型的训练与微调实践 当模型规模迈向万亿乃至十万亿参数,MoE(混合专家)架构成为唯一可行路径。但训练和微调如此庞大的模型,面临着专家负载不均、通信开销爆炸、显存墙三大难题。B300 的硬件与软件协同设计给出了系统性答案。 在训练层面,B300 集成[……]
B300 为何专为 OpenAI o1 / DeepSeek 等推理大模型量身打造? OpenAI o1、DeepSeek R1 等“推理大模型”的核心特点是:在推理阶段进行长时间的思维链(Chain-of-Thought)展开,通过反复推演、自我纠错来提升答案质量。这类模型的计算模式与[……]
台积电亚利桑那州产能:B300能否实现美国本土制造? 台积电亚利桑那州Fab 21一期工程已于2024年进入N4制程生产,但B300要实现美国本土制造,仍面临三重障碍。首先,亚利桑那工厂目前N4产能有限,据估算月产能不足1万片,优先服务于苹果、AMD等长期客户,英伟达尚未列入首批分配名单[……]
H20到B300:台积电N4制程的架构兼容性与加速量产 从H20到B300,英伟达展现出对台积电N4制程平台惊人的架构复用能力。H20虽受出口管制限制,但其核心逻辑架构基于Hopper世代设计,采用N4制程。而B300属于Blackwell世代,同样落脚于N4而非更新的N3,这并非技术保[……]
模块化SXM Puck设计:英伟达悄然重塑供应链格局 英伟达在B300平台引入的SXM Puck模块化设计,看似只是一次接口规格升级,实则正在重塑整个AI服务器供应链的权力结构。所谓“Puck”,是将GPU裸片与HBM、供电模组、被动元件预先集成在一个小型有机基板上,再插入SXM主板,形[……]
CoWoS-L产能扩张计划:2025-2026年产能预测 台积电CoWoS-L产能正以超预期速度扩张。根据供应链信息,2024年底CoWoS总月产能约为3.5万片,其中CoWoS-L占比不足15%。随着B300量产启动,台积电已规划在2025年底前将CoWoS-L月产能提升至1.5万片以[……]
B300采用台积电4NP工艺与CoWoS-L先进封装的产业影响 英伟达B300 GPU选择台积电4NP工艺与CoWoS-L封装,标志着AI芯片进入更高集成度与性能密度的新阶段。4NP作为4N的优化版本,在相同功耗下提供约6-8%的频率提升,而CoWoS-L则首次在量产级GPU中引入局部硅[……]