DeepSeek 开源 DeepInfer:专为 DeepSeek 模型打造的高性能推理框架

DeepSeek 悄悄开源了一个新项目 DeepInfer,定位是为 DeepSeek 系列模型打造的高性能、大规模推理框架。

DeepSeek DeepInfer 推理框架 GitHub 项目图

项目 10 月 16 日才发布,几天时间 GitHub 星标已经冲到 1.6 万+,在 Hacker News 上也冲到了当日热门前列,是这周 AI 基础设施方向最受关注的开源动作之一。做大模型部署、推理优化的可以重点关注。

站里之前发过 DeepSeek-V4-Flash-Vision-Exp 全量免费开放 的消息,模型加推理框架一起开源,DeepSeek 对开放生态的投入还在加码。

项目地址:GitHub – deepseek-ai/DeepInfer

来源:GitHub @deepseek-ai,原文:https://github.com/deepseek-ai/DeepInfer

请登录后发表评论

    没有回复内容