大家好，我是 Ai 学习的老章
说实话，我对阿里通义千问十分喜爱，单说私有化部署，成本比 DeepSeek 低很多倍。私有化部署 DeepSeek- V3 或 R1，纯硬件成本保底 150 万（英伟达 H20 141GB 版），如果是国产算力，保底 200 万了。但是 QwQ:32B，只需要 4 张 4090 就行了（成本 10 几个 w），表现非常优异，很多场景可以替代 DeepSeek。
具体参看
Qwen2.5-VL-32B 简介
Qwen2.5-VL-32B 介绍，我就不帮忙吹嘘了，阿里没有给我广告费
关键增强功能：
通过视觉理解：Qwen2.5-VL 不仅擅长识别常见的花朵、鸟类、鱼类和昆虫，而且能够高效地分析图像中的文本、图表、图标、图形和布局。
具有自主性：Qwen2.5-VL 直接扮演视觉代理的角色，能够进行推理并动态指导工具使用，具备计算机使用和手机使用的能力。
理解长视频并捕捉事件：Qwen2.5-VL 能够理解时长超过 1 小时的视频，并且这次它新增了捕捉事件的能力，能够定位相关的视频片段。
Qwen2.5-VL 能够在不同格式下进行视觉定位：Qwen2.5-VL 可以通过生成边界框或点来准确地在图像中定位物体，并可以提供稳定的 JSON 输出以供坐标和属性使用。
生成结构化输出：对于发票扫描件、表格等数据，Qwen2.5-VL 支持其内容的结构化输出，有助于金融、商业等领使用。
大家可以在体验，在上直接选中即可。
大家可以看前文：
或者可以看阿里官方博客的介绍：
本文我们主要介绍 Qwen2.5-VL-32B 本地化部署
下载模型
从 modelscope 下载，毕竟 huggingface 网不通。 模型文件：
安装 modelscope：
下载完整模型库：
将模型下载到指定的本地目录中。
一共 65 个 G
vLLM
安装 vllm：
运行大模型：
我只有 4 张 4090，指定 4
如果安装官方建议的运行脚本，不断报 OOM，不断调低这个参数才跑起来。
使用
直接上
安装：
运行：
浏览器打开
如果是服务器部署，把改为服务器 ip
正常注册登陆
千问 Qwen 教程
右上角点击头像，点击管理员面板
点击设置 – 外部链接，照着抄一下，api key 随便填写
然后回到前端，左上角添加模型那里就可以找到了
上传图片，随便问个问题，回答很精准
速度也还行
卡不够的同学，可以等等量化版或 7B 版本。88
制作不易，如果这篇文章觉得对你有用，可否点个关注。给我个三连击：点赞、转发和在看。若可以再给我加个，谢谢你看我的文章，我们下篇再见！
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/259638.html原文链接：https://javaforall.net
