1、安装ubuntu24.04操作系统，并安装对应的基础软件，比如输入法等（可以不安装）。
2、安装显卡驱动
- 检查显卡驱动是否已经识别，如果已经识别，则不需要安装：以下表示已经识别
- buntu 24.04可能默认使用开源驱动（），需手动安装闭源驱动：
- 禁用开源驱动（nouveau）
添加以下内容
- 更新initramfs并重启：
- 验证GPU工作状态（已正常工作）
- 使用conda环境隔离安装部署
1、下载并安装conda环境
- 下载 Miniconda 安装脚本：
- 运行安装脚本：
- 按照提示完成安装，然后重新打开终端，Conda 就可以正常使用了
2、创建一个新的 conda 环境
以后所有的模型相关操作都将在该conda环境中运行。
- 根据提示，进行conda升级（可选）
- 激活虚拟环境
- 安装带有 CUDA 12.1 的 vLLM
DeepSeek 教程
1、模型下载
下载 DeepSeek 模型，此处下载 模型
- 模型地址: https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
- 安装 ModelScope 包: ModelScope 是一个模型中心，我们使用它来下载模型。在终端或命令提示符中执行以下命令安装 ModelScope Python 包：
- 下载模型: 使用 命令下载模型。
- –model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B: 指定要下载的模型为 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B。
- –local_dir your_local_path: 指定模型下载后保存的本地路径。请将 your_local_path 替换为您电脑上实际想要保存模型的路径。 例如，如果您想将模型保存在 /home/user/models/deepseek-7b 目录下，则命令应为：
- 关于 ModelScope: ModelScope 是一个模型即服务的开源社区，您可以在上面找到各种预训练模型。您可能需要注册 ModelScope 账号才能下载某些模型，但 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 模型目前是公开的，可以直接下载。
2、模型运行
- /path/to/De
- epSeek-R1-Distill-Qwen-7B：替换为实际的模型路径。
- –max-model-len：设置
- 模型的最大输入长度。
- –port：设置API的端口号。
- –tensor-parallel-size：设置张量并行的GPU数量。
- –trust-remote-code：信任远程代码，用于加载模型。
3、调用 vLLM 推理服务
- 以下是postman调用示vllm推理服务示例：
到这里整个过程就完成了，可以通过dify等应用构建平台对接本地大模型并编排应用，后续将持续更新dify编排应用相关操作和大模型其他信息！
领取方式在文末
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
这里我整理了一份AI大模型入门到进阶全套学习包，包含学习路线+实战案例+视频+书籍PDF+面试题+DeepSeek部署包和技巧，需要的小伙伴文在下方免费领取哦，真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
一、 AI大模型学习路线图
二、AI大模型实战案例
三、视频和书籍PDF合集
四、LLM面试题
五、AI产品经理面试题
六、deepseek部署包+技巧大全
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/235717.html原文链接：https://javaforall.net
