标签: Dynamo推理

HBM仅增3%却换来30倍吞吐:深度拆解英伟达全栈协同设计如何击穿AI内存墙

当HBM供应趋紧、价格高企,英伟达用一份技术解读给出反直觉答案:Vera Rubin NVL72在每GPU HBM容量仅增约3%的前提下,每美元智能体吞吐量最高提升30倍。本文从架构师视角拆解NVFP4压缩、NVL72权重分片、Vera LPDDR缓冲、Dynamo上下文迁移与CMX存储五层协同,剖析算力竞争从“显存多少”转向“每字节每瓦特产出多少有效token”的底层逻辑与落地启示。