UpHub本地部署AI大模型 - 个人免费版 - Windows(64位)版下载

运行量化版大模型，下载前检查运行环境和前提：

如何查看：windows系统：开始菜单——点击设置（齿轮图标）——点击“系统”（第一个）——点击“关于”。

 

操作系统：Windows 10、Windows 11、Windows Server 2022、Windows Server 2025；

系统版本：x64 （64位），（intel、AMD）x86架构（注意：暂不支持arm）；

物理内存：16GB及以上，DDR4及以上，推荐32GB内存以上，不同模型参数要求不同，单并发建议内存如下：

1.  2B以下，建议 16GB以上内存（比如部署Deepseek 1.5B）；
2. 3B-6B，建议32GB以上内存(比如部署Gemma 3 4B)，上下文按4K（4096）计算，上下文增加，内存需要对应成倍增加；
3. 6B-10B，建议64GB以上内存（比如部署Deepseek 7B , 8B），上下文按4K（4096）计算，上下文增加，内存需要对应成倍增加；
4. 10B-15B，建议96GB以上内存（比如部署Deepseek 14B, Gemma3 12B），上下文按4K（4096）计算，上下文增加，内存需要对应成倍增加；
5. 32B，建议128GB以上内存（比如部署Deepseek 32B），上下文按4K（4096）计算，上下文增加，内存需要对应成倍增加；
6. 70B，建议256GB内存（比如部署Deepseek 70B），上下文按4K（4096）计算，上下文增加，内存需要对应成倍增加；

CPU核心数：1.5B 建议 4核心及以上（intel i5）；2B以上，比如：4B、7B，8B 建议 8核心以上(intel i7)；8B以上，建议 12核心以上（推荐20核以上, i9-14900K等），32B： 20核心以上；70B：建议至强金牌20核48线程以上处理器。越多越快。

 

本参数为运行量化版Q4_K_M的推荐参数。个人版基本够用。本版本为纯CPU本地部署推理AI，不需要GPU。如果有GPU，可以进行多模态推理（比如图片描述）。

 

安装视频教程：https://www.zhetao.com/content1606.html

如果您有英伟达GPU，可下载GPU版（点击这里查看安装要求和下载CUDA版）：https://www.zhetao.com/content1626.html 

 

重要提示：下载安装包正式发布，请点击下方按钮下载。在安装过程中遇到问题，请在线客服留言。谢谢。