英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
调研机构 SemiAnalysis 报道，英伟达通过 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能较此前提升 1.68 倍。
该优化由英伟达 CentML 工程师完成，通过大规模 Megakernel 融合，使用 Cute DSL 编写解码专用内核。此外，英伟达正同步开展针对 DeepSeek V4.1 等其他模型的优化工作。
—— IT之家
相关文档
评论与补充0
有问题或想补充的，写在下面 · 选中正文文字再点「报告错误」会自动引用还没有评论。有疑问、补充，或者发现错字，都可以写在下面。
回复