随着由阿里巴巴通义千问Qwen3大模型（LLM，大语言模型）的发布和开源，考虑数据安全与隐私。其卓越的性能表现、推理效果较好，越来越多的企业、事业单位开始着手准备硬件实现本地部署Qwen3，根据企业不同需求和业务场景部署不同的Qwen3的版本。Qwen3有多个版本：Qwen3-235B-A22B，一个拥有 2350 多亿总参数和 220 多亿激活参数的大模型，以及Qwen3-30B-A3B，一个拥有约 300 亿总参数和 30 亿激活参数的小型 MoE 模型。此外，六个 Dense 模型也已开源，包括 Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B，均在 Apache 2.0 许可下开源。本文从本地部署Qwen3的最低可运行推理的配置出发，做一个在本地部署（独立部署Qwen3）运行各版本Qwen3简单的配置介绍。
本地化部署AI大模型（不管是开源、自己训练）都是为了企业使用便捷、满足企业业务级需求；自建RAG知识库；保护企业数据安全；保护企业客户资料隐私；保护企业商业信息不外泄。
Qwen-0.6B （6亿参数）
CPU：4核心以上；
内存：16GB以上（DDR4以上）；
硬件：M2 SSD高速固态硬盘，64GB以上，普通HDD和SSD就不建议，加载会非常慢；
GPU：可以纯CPU推理。已经在一台i5+8GB内存+M2SSD 2TB的PC电脑上测试（没有GPU），同时一个推理，每秒大概在15Tokens。
一套成本仅硬件部分应该在0.6万左右，实际部署中还需要多套或更高配置进行并行计算、分布式管理软件等支撑。
Qwen-1.7B （17亿参数）
CPU：8核心以上；
内存：32GB以上（DDR4以上）；
硬件：M2 SSD高速固态硬盘，256GB以上，普通HDD和SSD就不建议部署了，加载会非常慢；
GPU：可以纯CPU推理。
一套成本仅硬件部分应该在0.8万左右，实际部署中还需要多套或高配置进行并行计算、分布式管理软件等支撑。
已经在一台i7+64GB内存+M2SSD 2TB的PC电脑上测试（没有GPU），同时一个推理，每秒大概在20Tokens。
Qwen-4B （40亿参数）
CPU：8核心以上；
内存：32GB以上（DDR4以上）；
硬件：M2 SSD高速固态硬盘，256GB以上，普通HDD和SSD就不建议部署，加载会非常慢；
GPU：可以纯CPU推理，有条件可以使用8GB以上的GPU卡，比如：3050，3060等。
一套成本仅便件部分应该在1.5万以上，实际部署中还需要多套或高配置进行并行计算、分布式管理软件等支撑。
已经在一台i7+64GB内存+M2SSD 2TB的PC电脑上测试（没有GPU），同时一个推理，每秒大概在12Tokens。
Qwen-8B （140亿参数）
CPU：12核心以上；
内存：64GB以上（DDR4以上）；
硬件：M2 SSD高速固态硬盘，512GB以上，普通HDD和SSD就不建议部署了，加载会非常慢；
GPU：可以纯CPU推理，有条件可以使用16GB以上的GPU卡，比如：3090,4080,4090等。
一套成本仅硬件部分应该在5万以上，实际部署中还需要多套或高配置进行并行计算、分布式管理软件等支撑。
已经在一台i7+64GB内存+M2SSD 2TB的PC电脑上测试（没有GPU），同时一个推理，每秒大概在5Tokens。
如图为在UpHub AI中本地部署Qwen3-8B大模型，纯CPU运行效果，5tokens/s，代码能力很强，基本可满足常规编码需要
Qwen-14B （140亿参数）
CPU：16核心以上；
内存：96GB以上（DDR4以上）；
硬件：M2 SSD高速固态硬盘，512GB以上，普通HDD和SSD就不用部署了，加载会非常慢；
GPU：A10，A16。有条件可以A100。
一套成本仅硬件部分应该在30万以上，实际部署中还需要多套进行并行计算、分布式管理软件等支撑。
已经在一台i7+64GB内存+M2SSD 2TB的PC电脑上测试（没有GPU），同时一个推理，每秒大概在1Tokens。
Qwen-32B （320亿参数）
CPU：20核心以上；
内存：128GB以上（DDR4以上）；
硬件：M2 SSD高速固态硬盘，1TB以上，普通HDD和SSD就不用部署了，加载会非常慢；
GPU：A100 x 2以上。H2等。
一套成本仅硬件部分应该在40万以上，实际部署中还需要多套进行并行计算、分布式管理软件等支撑。
Qwen3-235B （2350亿参数）
CPU：48核心以上；
内存：768GB以上（DDR5以上），1.5TB为推荐配置；
硬件：M2 SSD高速固态硬盘，2TB以上，普通HDD和SSD就不用部署了，加载会非常慢；
GPU：A100 x 4(4卡或8卡机)，显存建议在512GB以上；
机房：专用、水冷等。
一套成本仅硬件部分应该在150万以上，实际部署中还需要多套进行并行计算、分布式管理软件等支撑。
了解UpHub AI本地部署，请点击网址：https://www.zhetao.com/ai.html
点我咨询