DeepSeek 发布 DSpark 加速框架,推理速度提升 80%

6 月 27 日,DeepSeek 携手北京大学推出全新推理加速框架”DSpark”,专攻大模型在高并发场景下的速度瓶颈。该框架已应用于 DeepSeek-V4-Flash 及 V4-Pro 的预览服务中,实测显示:在保持相同吞吐量的前提下,单用户的生成速度较旧方案提升了 60% 至 85%。

其核心原理可概括为“化串行为并行”:利用轻量级的“草稿模型”预先批量生成候选内容,再由主模型进行统一校验,从而大幅缩短等待时间。目前,相关论文、代码及模型权重已在 GitHub 的 DeepSpec 项目中完全开源。值得注意的是,DeepSpec 虽提供了从数据准备到评估的全套工具链,但其默认配置所需的缓存空间可能高达 38TB,部署前请务必确认存储资源是否充足。

© 版权声明

相关文章

暂无评论

暂无评论...