本地部署Qwen3开源大模型，纯CPU或GPU混合部署量化版Qwen3

2025年4月29 日阿里巴巴的通义千问3（Qwen3）正式发布，主要版本有：0.6B、1.7B、4B、8B、14B、32B等、其中最强版本为Qwen3-235B -A22B(MOE专家模型架构)，0.6B、1.7B、4B、8B、14B 和 32B 这六款采用Dense架构。在UpHub AI中无需更新和重新安装，即可直接部署Qwen3各版本的量化模型（gguf格式，比如：Q4_K_M等）。

qwen3在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等行业顶尖模型相比，都已经超越，是目前非常强的开源大模型。

qwen3也是一个深度思考大模型，类似于Deepseek。在正式回答用户问题时，会先进行深度思考。其各方面的性能比对如下图：（图片来源于图中的网址）

 

Qwen3-235B-A22B，一个拥有 2350 多亿总参数和 220 多亿激活参数的大模型，以及Qwen3-30B-A3B，一个拥有约 300 亿总参数和 30 亿激活参数的小型 MoE 模型。此外，六个 Dense 模型也已开源，包括 Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B，均在 Apache 2.0 许可下开源。

 

Qwen3 支持了 119 个语种和方言。如图所示：

 

在UpHub AI 大模型本地部署管理方案中，可以直接安装和部署Qwen3各个版本的大模型，不需要重新安装推理软件，直接下载大模型相应版本即可本地运行Qwen3各版本。本文以运行Qwen3-4B版，在纯CPU中运行Q4_K_M为例说明在UpHub AI本地部署软件中的Qwen3安装部署和对话方式。

（1） 下载Qwen3大模型

在modelscope中找到要下载的Qwen3 gguf版本，进入模型仓库页面，复制网址。然后在UpHub AI中，点击右上角的M，把网址粘贴到下载框中，点击下载大模型即可，等待下载完成4B版有2.5GB ，网络还行的话，几分钟就好了。上面列表可以看到进度。

（2）运行大模型qwen3

勾选要运行的大模型（如图），点击运行大模型即可。

（3） 开始在本地部署的Qwen3和Qwen3对话

如图所示，输入提示词，选择Qwen3大模型。

 

本文资料参考：https://qwenlm.github.io/zh/blog/qwen3/

 

本地部署Qwen3，可选部署方案：UpHub AI、Ollama、vLLM等

 

下载本地大模型部署推理软件UpHub AI（纯CPU部署Qwen3 4B, 8B等32B以下版），请点击这里。

 

Qwen3大模型各版本官方原始权重官方（在modelscope中）下载地址：

Qwen3-235B-A22B (专家架构)

https://www.modelscope.cn/models/Qwen/Qwen3-235B-A22B

Qwen3-30B-A3B (专家架构)

https://www.modelscope.cn/models/Qwen/Qwen3-30B-A3B

QWen3-32B：

https://www.modelscope.cn/models/Qwen/Qwen3-32B/summary

QWen3-14B：

https://www.modelscope.cn/models/Qwen/Qwen3-14B/summary

QWen3-8B：

https://www.modelscope.cn/models/Qwen/Qwen3-8B/summary

QWen3-4B：

https://www.modelscope.cn/models/Qwen/Qwen3-4B/summary

QWen3-1.7B：

https://www.modelscope.cn/models/Qwen/Qwen3-1.7B/summary

QWen3-0.6B：

https://www.modelscope.cn/models/Qwen/Qwen3-0.6B/summary