7月13日, 有个叫SemiAnalysis的半导体研究机构, 在社交平台发了条推文, 大幅褒奖英伟达在vLLM推理引擎方面优化后的性能成果, 此外还清晰指正AMD在vLLM对部分模型的支持方面, 依旧存在颇为显著的追赶距离。
华尔街见闻有所提及, 两周之前, 该机构这么指出过, 英伟达的“CUDA护城河正在遭到缓慢侵蚀”, 公司面临的这个最大竞争压力是什么, 是越来越多超大规模云厂商以及AI模型公司纷纷开始采用自研ASIC, 针对训练, 或者推理这些特定场景去构建专用芯片体系标点。
两则判断把AI芯片竞争的焦点, 从“谁的硬件更强”这一点, 拉回到了一个更加根本的问题, 即在推理时代的规模化部署这种情况下, 软件生态的深度, 可能比单代GPU的硬件领先, 更具决定性。
对于那些每天要运行数十亿次推理调用的人工智能企业来讲"部分像模具一样的东西受到不错的照料"与"全部像模具一样的东西都能稳定地精细化处理"间的差距在规模所带来的效应作用下会被迅猛扩大。
于硬件竞争一天比一天白热化, 自研ASIC持续削减推理份额这样的背景当中, 英伟达在推理软件栈方面的积累深沉程度, 正演变成比硬件参数还要能持久存在的竞争阻碍。
vLLM的差距是生态闭环
vLLM是当前大语言模型推理领域应用最广泛的开源引擎。
把vLLM用作评判基准的是SemiAnalysis, 这本身传递出了一个判断 , 衡量AI芯片真实性能的关键战场正成为开源推理生态。
把Kimi K2.5作为例子而言, 该模型属于一千亿参数级混合专家（MoE）模型, 在这种情况下, 差距显得格外突出。
英伟达GB200 NVL72借助机架级NVLink把72张GPU进行高速互联, 对于宽专家并行, 其支持的规模能达到8至16, 是这样的情况。
这样一种架构, 致使每张 GPU 所承载的专家权重显著地大量减少, HBM 带宽压力跟着随之降低, All-to-All 通信也能够在高速的 NVLink 域范围之内得以完成, 并非是通过较慢的 InfiniBand 网络来达成。
而后, 每一个GPU的吞吐量能够达到超出12,000 token每秒以上。与之相比较而言, AMD MI355X在相同的测试当中表现显著地差劲, 主要的缘由则在于它很难去达成同等规模的专家并行以及机架级互联。
在软件的层面上, 英伟达所推出的Dynamo分布式推理框架, 把vLLM进行了深度集成, 针对MoE模型专门达成了预填充与解码分离（Disaggregated Serving）, 实现了高效KV缓存传输, 还做到了双批次重叠等系列优化。
这套框架于NVL72之上, 可充分施展硬件潜力, 然而AMD这边, 当下依旧主要倚赖标准vLLM以及DISAGG版本, 针对超大MoE模型和宽并行场景的深度优化, 尚未跟上来。
"部分模型"措辞背后的全覆盖鸿沟
SemiAnalysis把AMD的落后设定于“部分模型”方面, 这样的措辞涵盖着两层信息。
首先, AMD不是方方面面都落后。于通用计算的具体情形里, 其MI系列GPU有具有一定的竞争力了，Meta最近签订的金额巨大的采购订单也证实了这个情况。
第二, “部分”这个限定, 然而恰好醒目了当前情况下存在的差距, 在其本质方面, 是全面性这一方面的软件生态所具备的覆盖情况出现了缺失这一情形。
于AI推理情景里头, 企业客户所执意寻觅的乃是稳定且可预期的部署感受。去维系包含两套软件栈从而用以涵盖各种不同模型的成本事项, 常常情形下都是在斟酌决断期间身为决定性的关键元素要点啦。
AMD要是想达成从“部分处于领先状态”到“全面能够被使用”这种跨越, 所需要的软件工程投入跟硬件迭代比起来, 是有可能耗时更长久的。
这并非仅仅是关乎撰写更多驱动以及适配层面的疑问, 它所蕴含的意义在于, 需于数量众多的模型构造框架, 持续发展变化的开源架构体系, 还有散布各处的开发者社群当中, 构建起范围广泛的兼容性以及达成信任。
推理时代，软件才是真正的护城河
在AI产业重心出现从训练朝着推理进行迁移的状况下, 软硬件所具备的战略价值正在产生结构性的重估。
训练任务呈现集中状态, 并且能够做到可控, 硬件性能方面存在的差距由资本投入来进行相应弥补；推理呈现出的是分布式、具备持续性, 微秒级延迟差异在每天达数十亿次调用的情况下作成倍放缩, 进一步切实转化为成本结构产生相对比较显见的分化状貌。
英伟达的软件生态壁垒由三个层面叠加构成：
因三者叠加而产生的迁移成本, 远远超出的是任何单一硬件参数所存在的差距。这一判断跟SemiAnalysis在此两周之前所作的分析构成了呼应。
当时, 那个机构表明, Anthropic构建了一个由谷歌TPU、亚马逊Trainium以及英伟达GPU一同组成的多平台算力架构, 许许多多的Claude模型训练在TPU上运行, Claude Code推理有着越来越多的部署在Trainium上, 并且英伟达GPU的份额正被自家研发的ASIC慢慢地侵蚀着。
然而, 此次出现了对vLLM性能的正面评价, 这表明英伟达在推理软件栈深度优化方面存在的领先幅度这一情况, 并没有随着硬件竞争格局的演变而同时同步地进行收窄。在此处使用。
