本教程由HOZO AI社区出品,
一个专注于AI技能实操的社区。
本文主要讲解如何使用Cherry Studio在本地部署AI大模型。(API形式)
这样做的好处是:
- 数据本地储存,无需担心隐私泄露。
- 集成多种AI,不用来回切换网页。
- Cherry Studio 支持多种拓展功能
这也是目前个人部署大模型比较实用的方法。
打开Cherry Studio官网
Cherry Studio – 全能的 AI 助手
点击”下载客户端”

跳转到“下载页面”

MAC系统,下拉页面,可找到对应版本。

火山方舟是由字节跳动旗下火山引擎于 2023 年 6 月 28 日正式发布的一站式大模型服务平台。作为企业级的 Model-as-a-Service(MaaS)平台,它为企业提供模型精调、评测、推理等全方位的 AI 服务。
除火山方舟外,也可以使用其他服务平台进行接入。
火山方舟地址:
https://console.volcengine.com/ark/
登录火山方舟
新用户会送50w额度的Token
- 在左侧找到“在线推理”选项

- 自定义推理接入点,创建新的接入点。

填写名称后,点击添加模型。

选择合适的模型进行接入。

这里有一个小技巧,如果不确定哪个模型是自己想要的。将鼠标移至对应模型处,可以看到详细介绍。

创建好后,选择“API调用”

下拉页面找到“OpenAI SDK调用示例”

获取到API地址,复制下来备用。

然后我们找到 “选择API Key并复制”

点击右上角,“创建API Key”
然后复制 API Key 备用。
注意:这里的key是调用大模型的钥匙,不要把key泄露给他人。

打开 Cherry Studio
点击设置 -> 模型服务 -> 火山引擎

填入刚刚复制好的 Key 和 API 调用地址。
这里强调一点,API地址必须要以 “/” 结尾,否则就会报错。
// 方便复制 https://ark.cn-beijing.volces.com/api/v3/
点击检测

检测时,模型要与创建接入点时一致。

豆包 大模型 教程
教程演示的是豆包1.6的模型。
软件里面是没有对应的模型。
这时候就需要我们自行添加了。
回到“火山方舟”平台,点击“在线推理”。
复制这一串代码。

在cherry 配置界面 下拉,找到“添加按钮”

粘贴到模型ID,然后点击更多设置。

按需勾选模型需要的功能。

回到聊天窗口,选择刚刚配置好的模型。
发送消息,就可以快乐的聊天啦。

教程结束
Cherry Studio 里面还集成了许多功能。
如果您是 AI重度用户,强烈建议您按照本文方法试试。
它还集成了AI知识库、AI智能体、AI绘画等功能。
不仅速度快,还能随时切换不同模型。简直太方便了。
发布者:Ai探索者,转载请注明出处:https://javaforall.net/271240.html原文链接:https://javaforall.net
