开源代码修复新标杆——月之暗面最新开源编程模型Kimi-Dev-72B本地部署教程，自博弈修复 Bug

Kimi-Dev-72B是由月之暗面（Moonshot AI）最新开源的AI编程模型，专为软件工程任务设计，并登顶 SWE-bench Verified 基准测试榜首，超越 DeepSeek-R1 等模型，成为当前开源代码模型的 SOTA：

• Kimi-Dev-72B 在 SWE-bench Verified 测试中达到了 60.4% 的性能。它超越了其他竞争者，在开源模型中树立了新的标杆。
• Kimi-Dev-72B 通过大规模强化学习进行了优化。它能够自主修补 Docker 中的真实仓库，并且只有在所有测试套件通过时才能获得奖励。这确保了解决方案的正确性和鲁棒性，符合实际开发标准。

基础环境最低要求说明：至少需要8张4090

查看系统版本信息

配置 apt 国内源

月之暗面 Kimi 教程

这个命令用于更新本地软件包索引。它会从所有配置的源中检索最新的软件包列表信息，但不会安装或升级任何软件包。这是安装新软件包或进行软件包升级之前的推荐步骤，因为它确保了您获取的是最新版本的软件包。

这个命令用于安装 Vim 文本编辑器。 选项表示自动回答所有的提示为“是”，这样在安装过程中就不需要手动确认。Vim 是一个非常强大的文本编辑器，广泛用于编程和配置文件的编辑。

为了安全起见，先备份当前的  文件之后，再进行修改：

这个命令将当前的  文件复制为一个名为  的备份文件。这是一个好习惯，因为编辑  文件时可能会出错，导致无法安装或更新软件包。有了备份，如果出现问题，您可以轻松地恢复原始的文件。

这个命令使用 Vim 编辑器打开  文件，以便您可以编辑它。这个文件包含了 APT（Advanced Package Tool）用于安装和更新软件包的软件源列表。通过编辑这个文件，您可以添加新的软件源、更改现有软件源的优先级或禁用某些软件源。

在 Vim 中，您可以使用方向键来移动光标， 键进入插入模式（可以开始编辑文本）， 键退出插入模式， 命令保存更改并退出 Vim，或  命令不保存更改并退出 Vim。

编辑  文件时，请确保您了解自己在做什么，特别是如果您正在添加新的软件源。错误的源可能会导致软件包安装失败或系统安全问题。如果您不确定，最好先搜索并找到可靠的源信息，或者咨询有经验的 Linux 用户。

使用 Vim 编辑器打开  文件，复制以下代码替换 里面的全部代码，配置 apt 国内阿里源。

安装常用软件和工具

出现以下页面，说明国内apt源已替换成功，且能正常安装apt软件和工具

• 下载 CUDA Keyring ：

这个命令用于下载 CUDA 的 GPG 密钥环，它用于验证 CUDA 软件包的签名。这是确保软件包安全性的一个重要步骤。

• 安装 CUDA Keyring ：

使用  安装下载的密钥环。这是必要的，以便  能够验证从 NVIDIA 仓库下载的软件包的签名。

• 删除旧的 apt 密钥（如果必要） ：

这一步可能不是必需的，除非您知道  是与 CUDA 相关的旧密钥，并且您想从系统中删除它以避免混淆。通常情况下，如果您只是安装 CUDA 并使用 NVIDIA 提供的最新密钥环，这一步可以跳过。

• 更新 apt 包列表 ：

更新 apt 的软件包列表，以便包括刚刚通过  添加的 NVIDIA 仓库中的软件包。

• 安装 CUDA Toolkit ：

出现以下页面，说明 NVIDIA CUDA Toolkit 12.1 安装成功

注意：这里可能有一个问题。NVIDIA 官方 Ubuntu 仓库中可能不包含直接名为  的包。通常，您会安装一个名为  或  的元包，它会作为依赖项拉入 CUDA Toolkit 的所有组件。请检查 NVIDIA 的官方文档或仓库，以确认正确的包名。

如果您正在寻找安装特定版本的 CUDA Toolkit，您可能需要安装类似  的包（如果可用），或者从 NVIDIA 的官方网站下载 CUDA Toolkit 的  安装程序进行手动安装。

请确保您查看 NVIDIA 的官方文档或 Ubuntu 的 NVIDIA CUDA 仓库以获取最准确的包名和安装指令。

• 出现以上情况，需要配置 NVIDIA CUDA Toolkit 12.1 系统环境变量

编辑 ~/.bashrc 文件

插入以下环境变量

激活 ~/.bashrc 文件

查看cuda系统环境变量

• 下载 Miniconda 安装脚本 ：
  • 使用  命令从 Anaconda 的官方仓库下载 Miniconda 的安装脚本。Miniconda 是一个更小的 Anaconda 发行版，包含了 Anaconda 的核心组件，用于安装和管理 Python 包。
• 运行 Miniconda 安装脚本 ：
  • 使用  命令运行下载的 Miniconda 安装脚本。这将启动 Miniconda 的安装过程。

按下回车键（enter）

输入yes

输入yes

安装成功如下图所示

pip配置清华源加速

加入以下代码

注意事项：

• 请确保您的系统是 Linux x86_64 架构，因为下载的 Miniconda 版本是为该架构设计的。
• 在运行安装脚本之前，您可能需要使用  命令给予脚本执行权限。
• 安装过程中，您将被提示是否同意许可协议，以及是否将 Miniconda 初始化。通常选择 “yes” 以完成安装和初始化。
• 安装完成后，您可以使用  命令来管理 Python 环境和包。
• 如果链接无法访问或解析失败，可能是因为网络问题或链接本身的问题。请检查网络连接，并确保链接是最新的和有效的。如果问题依旧，请访问 Anaconda 的官方网站获取最新的下载链接。

在终端出现中文乱码时，需要设置中文环境

 内容：

使用 modelscope 下载：Kimi-Dev-72B 的开源的模型文件

里我下载到了数据社区，可以在实例中通过路径使用：

Kimi-Dev-72B 使用vLLM进行高吞吐量和内存高效的 LLM 推理和托管引擎 。

建设将vllm和open-webui分到不环境中安装，避免冲突

测试：首先启动vllm，加载数据社区的Kimi-Dev-72B模型，注意：8*24G还是不能完全部署Kimi-Dev-72B，需要量化成fp8 (–quantization fp8)

然后启动open-webui，可以通过网页访问：

使用nginx反向代理，使用8080端口就可以同时使用open-webui和使用Kimi-Dev-72B的api版本；

安装nginx

创建配置文件

3.重新加载 Nginx 配置

创建  ：注意这个脚本需要话根目录下，然后执行 

在容器中心，使用开放端口工具，获取外部访问地址访问，程序启动大概需要3分钟，然后在使用web访问。

第一次登录需要注册账号，邮箱随便填。

注：如果忘记账号密码导致无法登入界面，可以删除账号信息，选择重新注册：

（1）点击文件管理，输入  的路径并进入

（2）删除webui.db 这个文件，然后重新启动即可

可以使用网页端开通的8080端口，访问以下地址查看模型信息，并通过openai格式连接模型；

也可以使用隧道工具开发8080端口，使用连接