在Qwen3-Coder模型量化部署过程中，一豆包 大模型 教程个常见报错是：`RuntimeError: Expected all tensors to be on the same device, but found at least two devices: cuda:0 and cpu`。该问题多出现在使用AWQ或GPTQ量化后加载模型时——量化权重被默认加载至CPU，而推理代码（如`model.generate()`）试图在GPU上执行，导致设备不一致。根本原因常为`from_pretrained(…, device_map=”auto”)`未生效，或量化器导出时未指定`use_cuda_kernel=True`；亦可能因HuggingFace Transformers版本与`autoawq`/`optimum`不兼容（如v4.44+对AWQ支持尚不稳定）。解决方案包括：① 显式调用`.to(“cuda”)`并确保tokenizer和inputs同设备；② 升级至`autoawq>=0.2.6`并启用CUDA内核；③ 检查`device_map`是否被`quantize_model`等封装函数覆盖。建议优先复现官方Qwen3-Coder量化示例，并比对`torch.cuda.is_available()`与`model.device`状态。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/285613.html原文链接：https://javaforall.net
