CPU * MEM
GPU 备注 代理模型 4C*8G 代理模型不依赖GPU 本地模型 8C*32G 24G 本地启动最好有24G以上GPU
:::success 下载DB-GPT源码
:::
默认数据库使用SQLite，因此默认启动模式下，无需安装数据库。 如果需要使用其他数据库，可以看后面的高级教程。 我们推荐通过conda的虚拟环境来进行Python虚拟环境的安装。关于Miniconda环境的安装，可以参见Miniconda安装教程。
:::color1 创建Python虚拟环境
:::
DB-GPT可以通过代理模式部署在硬件较低的服务器上，也可以在GPU下进行私有化本地模型的部署。 如果您的硬件配置较低，可以使用第三方大模型API服务，如OpenAI、Azure、通义、文心等进行安装。
:::color3 ⚠️ 注意: 需要确保安装了git-lfs
- CentOS安装: yum install git-lfs
- Ubuntu安装: apt-get install git-lfs
- MacOS安装: brew install git-lfs
:::
:::color3 ⚠️ 注意.env 配置文件内容不要被覆盖 ::: 本地模型 :::warning 说明: 部署时优先选择评测效果更好的模型，推荐Qwen2.5系列 :::
:::success ⚠️ 注: llama.cpp 可以在Mac M1或者Mac M2运行
:::
DB-GPT同时也支持更低成本的推理框架llama.cpp, 可以通过llama-cpp-python 来进行使用
在使用llama.cpp之前，首先需要准备gguf格式的模型文件，有两种方法可以获取，你可以选择一种方法获取对应的文件。
:::color1 方法1: 下载已转换的模型
:::
如果你想使用Vicuna-13b-v1.5，你可以下载已经转换好的文件TheBloke/vicuna-13B-v1.5-GGUF，只需要这一个文件。下载文件并将其放到模型路径, 需要将模型重命名为: ggml-model-q4_0.gguf.
:::color1 方法2: 自己转换文件
:::
你在使用中也可以根据llama.cpp#prepare-data–run中的说明自行转换模型文件，并把转换后的文件放在models目录中，并命名为。
llama.cpp在DB-GPT中是可选安装项, 你可以通过以下命令进行安装
修改.env文件使用llama.cpp, 然后可以通过运行命令进行服务启动
默认值
描述
llama_cpp_prompt_template
None
Prompt template 现在可以支持, 如果是None, 可以根据模型路径来自动获取模型 Prompt template
llama_cpp_model_path
None
模型路径
llama_cpp_n_gpu_layers
要将多少网络层转移到GPU上，将其设置为以将所有层转移到GPU上。如果您的 GPU 内存不足，可以设置较低的数字，例如：10。
llama_cpp_n_threads
None
要使用的线程数量。如果为None，则线程数量将自动确定。
llama_cpp_n_batch
512
在调用llama_eval时，批处理在一起的prompt gpt 教程 tokens的最大数量
llama_cpp_n_gqa
None
对于 llama-2 70B 模型，Grouped-query attention 必须为8。
llama_cpp_rms_norm_eps
5e-06
对于llama-2模型来说，5e-6是一个不错的值。
llama_cpp_cache_capacity
None
模型缓存最大值. 例如: 2000MiB, 2GiB
llama_cpp_prefer_cpu
False
如果有可用的GPU，默认情况下会优先使用GPU，除非配置了 prefer_cpu=False。
当前DB-GPT在元数据与系统数据管理上，支持两种数据库。与 如果是本地测试使用，可以用，如果是生产环境，我们推荐使用, 使用可以跳过此部分内容。
DB-GPT项目默认内置了一部分测试数据，可以通过以下命令加载到本地数据库中进行测试。
:::color1 Linux&Unix平台
:::
:::color1 Windows平台
:::
DB-GPT服务被打包到一个server当中，可以通过如下命令启动整个DB-GPT服务。
:::danger 特殊说明: ⚠️ v0.4.3及以前版本运行服务命令为:
:::
:::info 打开浏览器访问 http://localhost:5670
注⚠️： v0.5.4之前版本端口为5000， http://localhost:5000
具体端口配置查看文件中配置
:::
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/238723.html原文链接：https://javaforall.net
