月之暗面推出的大模型 Kimi K3 采用了线性注意力机制,这曾引发市场担忧:英伟达 GPU、HBM(高带宽内存)及网络设备的销量可能会因此下滑。然而,半导体研究机构 SemiAnalysis 近日提出了相反观点:K3 巨大的参数规模和特殊的推理架构,不仅不会减少高端 AI 硬件的需求,反而可能进一步推高对英伟达顶级 GPU、HBM 以及高速互联设备的依赖。SemiAnalysis 分析指出,K3 的参数规模超过 2.8 万亿,仅模型权重就需要占用超过 1.5TB 的 HBM 空间。即使在用户并发量不大的情况下,其运行所需的临时数据(KV 缓存)依然庞大,必须借助 CPU 的 DDR5 内存和 NVMe 固态硬盘来辅助存储。这意味着英伟达 GB200/GB300、NVL72 等机架此前透露,要高效部署 K3,至少需要由 64 颗芯片组成的大型集群。这种硬件需求与英伟达已有丰富生态高度契合。该机构认为,市场此前认为“线性注意力机制会削弱 GPU 需求”的理解存在偏差。实际情况可能恰恰相反:更高效的模型架构降低了 AI 推理成本,将加速各类应用的普及,从而在长期内刺激对 GPU、HBM、DRAM 以及网络基础设施的更大需求。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...


