英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
站内热度 全站第 8,619
6,251 次浏览
调研机构 SemiAnalysis 报道，英伟达通过 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能较此前提升 1.68 倍。
该优化由英伟达 CentML 工程师完成，通过大规模 Megakernel 融合，使用 Cute DSL 编写解码专用内核。此外，英伟达正同步开展针对 DeepSeek V4.1 等其他模型的优化工作。
—— IT之家
相关文档
评论0
按时间排序 · 回复会嵌套显示还没有评论。有疑问、补充或指正，直接写在下面。
回复