使用Python调用LM studio本地部署的大语言模型的API(Windows系统)

使用Python调用LM studio本地部署的大语言模型的API(Windows系统)

        调用AI大模型厂商的API是当今人工智能时代一个比较基础的应用(也是本人掌握的第一个AI技术的应用方式),虽然现在主要的还是在大模型官网()或者大模型市场()申请API密钥(虽然“钥”正确读法应该是yuè,但我就读yGinimi 教程ào),而单位token消耗的费用也降低了不少,但总归还是要付钱的(大多数API提供商都会给新用户免费15元左右的额度),个人认为不适合小白折腾把玩,而本地部署的模型可就不一样了,虽说性能比不上官网或者不能部署满血版,但胜在归你所有,任你折腾。

        前期准备:

        一、下载安装

        二、下载部署大模型

        三、左上角点击第二个“开发者”,等待全部打勾就行使用Python调用LM studio本地部署的大语言模型的API(Windows系统)

        下面是使用Python调用LM studio本地部署的deepseek-r1-distill-qwen-14b模型API的代码示例

(官方API同样适用),支持多轮对话、上下文记忆、流式输出、超参数调整功能。


        其中“api_key”、“base_url”、“model”这三个变量最为重要,分别对应API密钥、访问链接以及模型名称,将这三个变量参数填写完成之后就可以在终端实现和大模型最基础的文字对话功能了。使用Python调用LM studio本地部署的大语言模型的API(Windows系统)

其中由 标签对包裹着的内容就是推理大模型的思考过程。

        如果外部电脑要想访问部署的大模型的话,则需要将变量“base_url”中的“localhost”改为部署了大模型的电脑的IP地址。

        下面是查询Windows系统的IP地址的方法:

        一、Win + R打开cmd

        二、输入命令ipconfig

        三、“Wireless LAN adapter WLAN:”这一栏的“IPv4 Address”显示的就是电脑的IP地址

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/236434.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月16日 下午12:37
下一篇 2026年3月16日 下午12:38


相关推荐

关注全栈程序员社区公众号