QwQ-32B是千问于2025年3月6日发布的人工智能大型语言模型。这是一款拥有 320 亿参数的模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。这一成果突显了将强化学习应用于经过大规模预训练的强大基础模型的有效性。QwQ-32B 在一系列基准测试中进行了评估，测试了数学推理、编程能力和通用能力。以下结果展示了 QwQ-32B 与其他领先模型的性能对比，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1。
本实验硬件环境：一台Atlas 800T A2（32G），实际使用四卡。
拉取昇思 MindSpore 推理容器镜像：
下载openmind_hub：
执行以下命令为自定义下载路径 添加白名单：
从魔乐社区下载昇思 MindSpore 版本的 QwQ-32B 文件至指定路径 (包含模型代码、权重、分词模型和示例代码，占用约 62GB 的磁盘空间)：
下载完成的 文件夹目录结构如下：
需要将权重目录和映射文件单独存放
在 中对以下配置进行修改：
mindformers仓上提供一键拉起MindIE脚本，脚本中已预置环境变量设置和服务化配置，仅需输入模型文件目录后即可快速拉起服务。 进入目录下，执行MindIE启动脚本
查看日志：
当log日志中出现，表示服务启动成功。 （如果启动失败，检查 下日千问 Qwen 教程志输出）
直接执行以下命令发送流式推理请求进行测试：
也可以调用带思考过程的接口：
可以通过终止 MindIE 服务，终止前后可以通过显存占用情况。
昇思MindSpore支持QwQ-32B并上线开源社区
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/260254.html原文链接：https://javaforall.net
