华为Ascend 910B部署Qwen2.5-VL-32B方案

华为Ascend 910B部署Qwen2.5-VL-32B方案

A800 (PCIe/SXM) A100 (PCIe/SXM) Huawei Ascend 910B H800 (PCIe/SXM) H100 (PCIe/SXM) H200 (PCIe/SXM) Year 2022 2020 2023 2022 2022 2024 Manufacturing 7nm 7nm 7+nm

千问 Qwen 教程

4nm 4nm 4nm Architecture Ampere Ampere HUAWEI Da Vinci Hopper Hopper Hopper Max Power 300/400 W 300/400 W 400 W 350/700 W 700W GPU Mem 80G HBM2e 80G HBM2e 64G HBM2e 80G HBM3 80G HBM3 141GB HBM3e GPU Mem BW 1935/2039 GB/s 2/3.35 TB/s 4.8 TB/s GPU Interconnect (one-to-one max bw) NVLINK 400GB/s PCIe Gen4 64GB/s, NVLINK 600GB/s HCCS NVLINK 400GB/s PCIe Gen5 128GB/s, NVLINK PCIe Gen5 128GB/s, NVLINK 900 GB/s GPU Interconnect (one-to-many total bw) NVLINK 400GB/s PCIe Gen4 64GB/s, NVLINK 600GB/s HCCS NVLINK 400GB/s PCIe Gen5 128GB/s, NVLINK PCIe Gen5 128GB/s, NVLINK 900 GB/s FP32 `51 67*` TF32 `156 312*` `756 BF16 `156 312*` `1513 FP16 `312 624*` `1513 FP8 NOT support NOT support `3026 3958*` INT8 `624 1248*` `3026
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:Ai探索者,转载请注明出处:https://javaforall.net/261314.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月12日 下午11:37
下一篇 2026年3月12日 下午11:37


相关推荐

关注全栈程序员社区公众号