DeepSeek开源高性能大规模推理框架DeepInfer
DeepSeek发布开源高性能大规模推理框架DeepInfer，旨在提供大规模生产服务。该框架支持离线推理，并具备大规模部署所需的核心功能。使用前需配置Python 3.12环境。默认检查点为DeepSeek-V4.1-Flash-1017，可通过Hugging Face缓存加载或指定本地路径。该项目在Apache License 2.0下发布，其架构参考了vLLM、SGLang及TensorRT-LLM等项目。
基于该框架，DeepSeek已实现了DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务。此外，DeepSeek承诺未来新模型的推理代码及后续优化也将持续通过该框架进行开源。
—— DeepSeek GitHub , 36氪
相关文档
评论与补充0
有问题或想补充的，写在下面 · 选中正文文字再点「报告错误」会自动引用还没有评论。有疑问、补充，或者发现错字，都可以写在下面。
回复