教程:在 OpenBayes 上使用 SGLang 部署 DeepSeek V3

教程:在 OpenBayes 上使用 SGLang 部署 DeepSeek V3

使用「工作空间集群」启动包含两个节点的 DeepSeek 教程 batch workspace:

  1. 每个 job 都使用 8 x H800 的算力。
  2. 镜像使用 sglang 0.4.1
  3. 数据集绑定 DeepSeek V3 模型

启动成功后,进入 master 容器。

准备以下两个命令,存放在 jupyter 默认开启的 /home 目录下:

执行命令 ,即可启动服务。通过命令 可以查看服务的启动流程和服务的运行状态。

注意 由于 DeepSeek V3 模型较大,启动服务需要较长时间,通常需要 30 – 40 分钟的启动时间,请耐心等待。

当看到如下信息时说明服务启动成功了:

服务的 api 地址在开启 jupyter 服务后右侧边栏的「API地址」中可以看到,这里所使用的 提供一个 OpenAI 兼容的 API 接口,可以参考 OpenAI 的 API 文档进行调用。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/239358.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月16日 上午9:33
下一篇 2026年3月16日 上午9:34


相关推荐

关注全栈程序员社区公众号