Nvidia 推出其第一代 Blackwell B200 系列处理器时碰到了粉碎，原因是产量问题，况且还出现了几份未经证实的管事器过热讲述。但是，据 SemiAnalysis报说念，Nvidia 的第二代Blackwell B300系列处理器似乎 行将问世。它们不仅具有更大的内存容量情色电影，而且性能提高了 50%，而TDP仅加多了 200W。
Nvidia 的 B300 系列处理器遴选了过程大幅调解的野心，仍将遴选台积电的 4NP 制造工艺（针对 Nvidia 进行优化的 4nm 级节点，性能增强），但讲述称，它们的计算性能将比 B200 系列处理器跨越 50%。性能莳植的代价是高达 1，400W 的 TDP，仅比 GB200 高 200W。SemiAnalysis 称，B300 将在 B200 上市梗概半年后上市。
Nvidia B300 系列的第二项要紧订恰是使用 12-Hi HBM3E 内存堆栈，可提供 288 GB 内存和 8 TB/s 带宽。增强的内存容量和更高的计算蒙眬量将罢了更快的历练和推理，推理资本最多可裁汰三倍，因为 B300 不错处理更大的批量大小并支撑膨胀的序列长度，同期处分用户交互中的蔓延问题。
除了更高的计算性能和更大的内存外，Nvidia 的第二代 Blackwell 机器还可能遴选该公司的 800G ConnectX-8 NIC。该 NIC 的带宽是现时 400G ConnectX-7 的两倍，况且有 48 个 PCIe 通说念，而其前代产物唯独 32 个。这将为新管事器提供显著的横向膨胀带宽雠校，这对大型集群来说是一个得手。
B300 和 GB300 的另一个要紧订恰是，与 B200 和 GB200 比拟，Nvidia 据称将重新野心系数这个词供应链。该公司将不再试图销售系数这个词参考主板或系数这个词管事器机箱。相背，Nvidia 将只销售搭载 SXM Puck 模块、Grace CPU 和 Axiado 主机护士适度器 (HMC) 的 B300。因此，将允许更多公司参与 Blackwell 供应链，这有望使基于 Blackwell 的机器更容易得到。
借助 B300 和 GB300，Nvidia 将为其超大限度和 OEM 合营伙伴提供更多野心 Blackwell 机器的摆脱，这将影响它们的订价以致性能。
Nvidia 的圣诞礼物：GB300 和 B300在 GB200 和 B200 发布仅 6 个月后，他们就向商场推出了一款全新的 GPU，名为 GB300 和 B300。诚然名义上听起来仅仅渐进式的，但实质成果远超预期。
这些变化尤其困难，因为它们包括对推理模子推理和历练性能的雄壮莳植。Nvidia 为系数超大限度企业，尤其是亚马逊、供应链中的某些参与者、内存供应商过火投资者准备了一份出奇的圣诞礼物。跟着向 B300 的转换，系数这个词供应链正在重组和更始，为很多赢家带来了礼物，但也有一些输家得到了煤炭。
B300 GPU 是基于 TSMC 4NP 工艺节点的全新流片，也即是说，它是针对计算芯片的微调野心。这使得 GPU 在产物层面上好像提供比 B200高 50% 的 FLOPS。部分性能莳植将来自 200W 的额外功率，GB300 和 B300 HGX 的 TDP 辞别达到 1.4KW 和 1.2KW（而 GB200 和 B200 的 TDP 辞别为 1.2KW 和 1KW）。
其余性能莳植将来自架构增强和系统级增强，举例 CPU 和 GPU 之间的功率浮动。功率浮动是指 CPU 和 GPU 之间动态重新分拨功率
除了 FLOPS 加多外，内存还从 8-Hi 升级到 12-Hi HBM3E，每个 GPU 的 HBM 容量加多到 288GB。但是，引脚速率将保合手不变，因此内存带宽仍为每 GPU 8TB/s。请肃穆，三星正在从圣诞老东说念主那处得到煤炭，因为他们至少在异日 9 个月内无法干涉 GB200 或 GB300。
此外，Nvidia 也因为圣诞节的悔怨，是以订价也极度有道理。这改变了 Blackwell 的利润率，但以后再磋议订价和利润率的问题。发轫要磋议的是性能变化。
为推理模子推理而构建由于长序列长度会加多 KVCache，从而规则要道批次大小和蔓延，因此内存的订恰是 OpenAI O3 立场 LLM 推理历练和推理的要道。
下图深远了 Nvidia 现时几代 GPU 在 1k 输入token、19k 输出token上运行对token经济学的雠校，这肖似于 OpenAI 的 o1 和 o3 模子中的念念路链。这个演示性的屋顶线模拟是在 FP8 的 LLAMA 405B 上运行的，因为它是咱们不错使用 H100 和 H200 GPU（咱们不错拜谒的 GPU）模拟的最好寰球模子。
从 H100 升级到 H200 正直是内存更大、速率更快的升级，有两个成果。
由于内存带宽更大情色电影，系数可比批次大小的交互性辽远提高了 43%（H200 @ 4.8TB/s vs H100 @ 3.35TB/s）。
由于 H200 运行的批处理大小比 H100 大，每秒可生成 3 倍的令牌，因此资本裁汰了约 3 倍。这种互异主若是因为 KVCache 规则了总批处理大小。
更大内存容量带来的动态变化似乎不可比例的克己是雄壮的。关于操作员来说，这两款 GPU 之间的性能和经济互异比纸面上的规格所示意的要大得多：
由于请乞降反映之间恭候本事过长，推理模子的用户体验可能会很差。如果您不错提供更快的推理本事，这将加多用户使用和付费的倾向。
3 倍的资本互异是雄壮的。坦率地说，通过中代内存升级罢了 3 倍性能莳植的硬件是豪恣的，比摩尔定律、黄定律或咱们所见过的任何其他硬件雠校速率齐要快得多。
咱们不雅察到，最苍劲和互异化的模子好像比武艺稍差的模子收取更高的用度。前沿模子的毛利率卓著 70%，但落伍模子的利润率低于 20%。推理模子不消是一条念念路。搜索是存在的，况且不错膨胀以提高性能，就像 O1 Pro 和 O3 中所作念的那样。这使得更智能的模子好像处分更多问题，并为每个 GPU 产生更多收入。
天然，Nvidia 并不是惟逐个家好像加多内存容量的公司。ASIC 不错作念到这极少，事实上，AMD 可能处于故意地位，因为它们的内存容量比 Nvidia 更高，一般来说，MI300X 的内存容量为 192GB，MI325X 的内存容量为 256GB，MI350X 的内存容量为 288GB……不外圣诞老东说念主黄有一只叫作念 NVLink 的红鼻子驯鹿。
当咱们转向 GB200 NVL72 和 GB300 NVL72 时，基于 Nvidia 的系统的性能和资本将大幅莳植。在推理中使用 NVL72 的要道点在于它好像让 72 个 GPU 以极低的蔓延处理归并个问题，分享内存。天下上莫得其他加快用具有全对全交换齐集。天下上莫得其他加快器不错通过交换机完成系数缩减。
Nvidia 的 GB200 NVL72 和 GB300 NVL72 关于罢了很多要道功能至关困难。
更高的交互性使得每个念念路链的蔓延更低。
72 个 GPU 漫步 KVCache，以罢了更长的念念维链（提高智能）。
与典型的 8 GPU 管事器比拟，批量大小膨胀成果更好，从而裁汰了资本。
通过搜索更各种正本处分归并问题，不错提高准确性并最终提高模子性能。
因此，使用 NVL72 的token经济学要好 10 倍以上，尤其是在长推理链上。KVCache 糟践内存对经济来说是致命的，但 NVL72 是将推理长度膨胀到高批次 100k+ token的惟一才略。
Blackwell 供应链为 GB300 重新野心跟着 GB300 的推出，Nvidia 提供的供应链和内容发生了雄壮变化。关于 GB200，Nvidia 提供系数这个词 Bianca 主板（包括 Blackwell GPU、Grace CPU、512GB LPDDR5X、VRM 内容，沿路集成在一个 PCB 上），以及开关托盘和铜背板。
关于 GB300，Nvidia 不会提供系数这个词 Bianca 主板，而是仅提供“SXM Puck”模块上的 B300、BGA 封装上的 Grace CPU 以及来自好意思国初创公司 Axiado 而非 GB200 的 Aspeed 的 HMC。
最终客户面前将径直采购计算板上的剩余组件，第二层内存将是 LPCAMM 模块，而不是焊合的 LPDDR5X。好意思光将成为这些模块的主要供应商。
交换机托盘和铜背板保合手不变，这些组件沿路由 Nvidia 提供。
转向 SXM Puck 为更多 OEM 和 ODM 参与计算托盘提供了契机。往时唯独 Wistron 和 FII 不错制造 Bianca 计算板，面前更多的 OEM 和 ODM 不错制造。Wistron 是 ODM 方面最大的输家，因为它失去了 Bianca 板的份额。关于 FII 来说，Bianca 板层面的份额亏空被他们是 SXM Puck 和 SXM Puck 所依赖的插槽的独家制造商这一事实所对消。Nvidia 正试图为 Puck 和插槽引入其他供应商，但他们尚未下任何其他订单。
另一个要紧更始是 VRM 内容。诚然 SXM Puck 上有一些 VRM 内容，但大部分板载 VRM 内容将由超大限度制造商/OEM 径直从 VRM 供应商处采购。10 月 25 日，咱们向Core Research 订阅者发送了一份讲明，讲明 B300 若何重塑供应链，出奇是围绕电压退换器模块（“VRM”）。咱们出奇指出了单片电源系统将若何因贸易款式的更始而失去商场份额，以及哪些新干涉者正在得到商场份额。在咱们向客户发送说光辉的一个月内，由于商场意志到了咱们率先斟酌中的事实，MPWR 下落了 37% 以上。
Nvidia 还在 GB300 平台上提供 800G ConnectX-8 NIC，在 InfiniBand 和以太网上提供两倍的横向膨胀带宽。Nvidia 不久前取消了 GB200 的 ConnectX-8，原因是上市本事复杂，况且毁掉在 Bianca 板上启用 PCIe Gen 6。
ConnectX-8 比拟 ConnectX-7 有了雄壮雠校。它不仅领有 2 倍带宽，还领有 48 个 PCIe 通说念（而非 32 个 PCIe 通说念），从而支撑私有的架构，举例风冷 MGX B300A。此外，ConnectX-8 还支撑 SpectrumX ，而在之前的 400G 代产物中，SpectrumX 所需的Bluefield 3 DPU 效劳要低得多。
GB300 对超大限度的影响GB200 和 GB300 蔓延对超大限度计算的影响意味着，从第三季度初始，很多订单将转向 Nvidia 新的更崇高的 GPU。摈弃上周，系数超大限度计算公司齐已决定陆续使用 GB300。部分原因是 GB300 的性能因更高的 FLOPS 和更大的内存而提高，但也有一部分原因是他们好像掌控我方的气运。
由于上市本事的挑战以及机架、冷却和电力运送/密度的要紧变化，超大限度企业无法在管事器级别对 GB200 进行太大的改动。这导致 Meta 毁掉了好像从 Broadcom 和 Nvidia 多源获取 NIC 的系数但愿，转而彻底依赖 Nvidia。在其他情况下，举例 Google，他们毁掉了里面 NIC，转而只与 Nvidia 合营。
关于超大限度的数千东说念主组织来说，这就像黑板上的钉子相同，他们习尚于对从 CPU 到网罗，以致螺丝和金属板的系数东西进行资本优化。
最令东说念主胆寒的例子是亚马逊，它选拔了相当次优的成立，与参考野心比拟，TCO 更差。由于使用 PCIe 交换机和效劳较低的 200G Elastic Fabric Adaptor NIC（需要风冷），亚马逊无法部署 NVL72 机架，如 Meta、Google、Microsoft、Oracle、X.AI 和 Coreweave。由于其里面 NIC，亚马逊不得不使用 NVL36，由于背板和交换机内容更多，每个 GPU 的资本也更高。一言以蔽之，由于定制方面的规则，亚马逊的成立不是最优的。
面前，借助 GB300，超大限度数据中心运营商好像定制主板、冷却系统等。这使得亚马逊好像构建我方的定制主板，该主板采汲水冷，并集成了之前遴选风冷的组件，举例 Astera Labs PCIe 交换机。在 25 年第三季度，水冷更多组件以及最终在 K2V6 400G NIC 上罢了 HVM 意味着亚马逊不错重新转向 NVL72 架构并大大改善其 TCO。
不外，有一个很大的辗转，那即是超大限度企业必须进行无数的野心、考据和证明责任。这无疑是超大限度企业有史以来必须野心的最复杂的平台（谷歌的 TPU 系统以外）。某些超大限度企业将好像快速野心，但其他团队速率较慢的企业则落伍了。总体而言，尽管有商场取消讲述，但咱们以为微软是部署 GB300 速率最慢的企业之一，原因是野心速率太快，他们仍在第四季度购买一些 GB200。
奇米777四色影视在线看由于组件从 Nvidia 的利润堆积中抽出，转换到 ODM 身上，因此客户支付的总价钱进出很大。ODM 的收入会受到影响，最困难的是，Nvidia 的毛利率也会在一年内发生变化。
著述开端：半导体行业不雅察情色电影，原文标题：《英伟达GB 300细节曝光，下一代GPU怪兽》
风险指示及免责条目 商场有风险，投资需严慎。本文不组成个东说念主投资提议，也未推敲到个别用户特殊的投资斟酌、财务景况或需要。用户应试虑本文中的任何见解、不雅点或论断是否稳健其特定景况。据此投资，拖累气象。