bilibili
DB-GPT支持多种开源以及闭源模型的安装使用，不同模型对环境与资源的需求也不相同。 如果需要进行本地化模型部署，则需要GPU资源进行部署。 通过API代理模型所需要的资源会相对较少，可在CPU机器上进行部署启动。
gpt 教程
:::color3 详细的安装部署教程可参见安装部署，快速开始只介绍基于ChatGPT代理与本地GLM-4模型的部署
:::
:::color2 下载DB-GPT源码
:::
默认数据库使用SQLite，因此默认启动模式下，无需安装数据库。 如果需要使用其他数据库，可以看后面的高级教程。 我们推荐通过conda的虚拟环境来进行Python虚拟环境的安装。关于Miniconda环境的安装，可以参见Miniconda安装教程。
:::color2 创建Python虚拟环境
:::
:::color2 复制环境变量
:::
:::color4 以下两种部署方式二选一即可快速开始体验DB-GPT
:::
:::warning ⚠️ 注意: 需要确保安装了git-lfs
- CentOS安装: yum install git-lfs
- Ubuntu安装: apt-get install git-lfs
- MacOS安装: brew install git-lfs
:::
- 安装依赖
- 下载Embedding 模型
- 配置代理，在.env文件中修改LLM_MODEL, PROXY_API_URL and API_KEY
https://www.modelscope.cn/models/Qwen/Qwen2.5-14B-Instruct
- 硬件需求说明
:::warning 说明: 同样也可以使用qwen2.5系列模型进行部署，优先选择在评测榜单中效果更好的模型。
:::
Quantize
VRAM Size Qwen2.5-7b 4-bit 8GB Qwen2.5-7b 8-bit 12GB Qwen2.5-14b 4-bit 12GB Qwen2.5-14b 8-bit 24GB
- 模型下载
:::danger ⚠️ 注意：如果下载模型有问题，可以使用Huggingface镜像站
:::
- 环境变量配置, 配置LLM_MODEL参数在 文件中
加载默认的测试数据到SQLite数据库中
:::color1 Linux&Unix平台
:::
:::color1 Windows平台
:::
:::danger 特殊说明⚠️: v0.4.3及以前版本运行服务命令为:
:::
:::success 打开浏览器访问 http://localhost:5670
注⚠️： v0.5.4之前版本端口为5000， http://localhost:5000
具体端口配置查看文件中配置
:::
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/241277.html原文链接：https://javaforall.net
