QwQ-32B是阿里通义千问团队在3月6日发布的开源大模型，这款仅有320亿参数的模型，在数学、代码、通用能力等核心场景里，几乎跟满血版DeepSeek-R1（6710亿参数）不相上下。可以说实现了开源领域的降维打击。
参数规模与性能对标
QwQ-32B仅拥有320亿参数，但在多项基准测试中性能媲美DeepSeek-R1（6710亿参数，激活370亿），甚至在数学推理（AIME24评分79.5 vs. DeepSeek-R1的79.8）、编程能力（LiveCodeBench评分63.4 vs. 65.9）等任务中表现接近或略优48。其性能远超OpenAI的o1-mini及同尺寸蒸馏模型。
轻量化部署优势
该模型支持消费级GPU单卡（如RTX 3090 Ti）或Mac设备本地部署，量化后最低仅需13GB显存（Q4量化版本约20GB），显著降低了运行门槛。例如，苹果M4 Max笔记本可流畅运行，输出速度达30+ token/s。
强化学习驱动
通过多阶段强化学习（RL）技术优化：
第一阶段：基于数学准确性验证器和代码执行测试反馈，提升数学与编程能力；
第二阶段：引入通用奖励模型增强指令遵循、智能体协作等通用能力，同时保持数学/编程性能稳定。
此存储库包含 QwQ 32B 模型 ，DeepSeek 教程该模型具有以下特点：
- 类型： 因果语言模型
- 训练阶段：预训练和后训练（监督微调和强化学习）
- 架构：具有 RoPE、SwiGLU、RMSNorm 和 Attention QKV 偏置的变压器
- 参数数量：32.5B
- 参数数（非嵌入）：31.0B
- 层数： 64
- 注意头数 （GQA）：Q 为 40 个，KV 为 8 个
- 上下文长度：完整 131,072 个令牌
- 对于长度超过 8,192 个令牌的提示，您必须启用 YaRN，如本节所述。
运行命令进行安装：
设置模型下载地址、开放 ip 及端口：
（可选）如有模型地址更改需求，可用下命令：
设置 ip 地址及端口：
然后记得通过 写入文件
直接运行：
等待运行成功后，可以在另一个终端通过 api 访问：
持久运行（后台模式）
如果你需要 ollama 在后台运行，可以使用：
或者使用 tmux / screen 来保持会话。
等待下载完成后，可以直接进行对话：
可以使用 PowerShell 或 Python 访问它。
✅ PowerShell
如果你想在 PowerShell 里 调用 ollama run qwq:32b-fp16 进行推理 ：
✅ Python
如果你想在 Python 里调用 ：
(1)安装 Open WebUI： 打开终端并运行以下命令以安装 Open WebUI：
运行 Open WebUI： 安装后，您可以通过执行以下命令来启动 Open WebUI：
等待服务启动之后，可以看到出现 的地址，这时我们只需在平台开放端口即可进行访问 open webui 界面
第一次使用需要进行注册账号：
首次登录需要等待一会儿，进入以后界面如下：
注：如果忘记账号密码导致无法登入界面，可以删除账号信息，选择重新注册：
（1）点击文件管理，输入 的路径并进入
（2）删除下面 webui.db 这个文件，然后重新启动即可
正常情况下，进入 open webui 界面中就能自动获取模型，如果没有可以按照下面操作进行：
要在 Open WebUI 中管理您的 Ollama 实例，请执行以下步骤：
- 转到 Open WebUI 中的 管理员设置 。
- 导航到 Connections > Ollama > Manage （单击下载图标）。
在这里，您可以下载模型、配置设置并管理与 Ollama 的连接。
管理屏幕如下所示：
然后返回对话界面即可进行对话：
可以直接从 Model Selector 下载模型。只需输入想要的模型的名称，如果它还不可用，Open WebUI 将提示从 Ollama 下载它。
下面是一个工作原理示例：
如果想跳过 Admin Settings 菜单的导航，直接使用的模型，则此方法非常理想。
发布者：Ai探索者，转载请注明出处：https://javaforall.net/240238.html原文链接：https://javaforall.net
