Windows系统如何安装UpHub AI实现AI大模型本地化部署与推理？

UpHub AI的windows版主要提供以下两个版本：

（1） 纯CPU推理版（无需显卡）；

（2） CUDA推理版（需要英伟达显卡，并安装：CUDA12.8版本）。

 

 

下载本地大模型部署推理软件UpHub AI，请点击这里。

 

 

一、纯CPU推理版安装

（1）首先确认您的电脑是否满足安装UpHub AI Windows版的条件，不同发行版本，配置要求不同。纯CPU适用运行8B及以下的量化模型，配置建议：内存32GB、M2.SSD 100GB及以上、x86_64架构的CPU（比如：Intel i5, i7, i9等）、系统为Windows 10及以上。

（2）首先从上海哲涛网站上获得纯CPU版的安装包（个人免费版可在网站上直接下载）——uphubai-pfe-setup-cpu.exe 。

（3）双击：uphubai-pfe-setup-cpu.exe 进行安装，按提示点下一步、选择安装目录、下一步，请待安装完成即可。

（4） 安装完成后，安装程序会自动打开本地部署后的UpHub AI对话界面，首次使用需要设置一个登录密码，以后使用这个密码登录（注：个人免费版，只需设置一个密码即可）；

（5） 点击UpHub AI右上角的“M”下载你要运行的大模型，下载完成后，运行大模型，即可开始对话。

 

 

二、GPU-CUDA推理版安装(NVIDIA GPU)

（1）首先确认您的电脑是否满足安装UpHub AI Windows版的条件，不同发行版本，配置要求不同。GPU版适用运行大于8B的大模型，系统为Windows 10及以上或Windows Server 2022及以上、x86_64架构的CPU（比如：Intel i5, i7, i9等），不同模型要求不同，请根据自己的显卡条件适配，CUDA版为英伟达兼容GPU版本。

（2）下载安装CUDA12.8及显卡驱动程序，CUDA tooltik下载网址：https://developer.nvidia.com/cuda-downloads。

（3）首先从上海哲涛网站上获得CUDA版的安装包（个人免费版可在网站上直接下载）——uphubai-pfe-setup-cuda.exe 。

（4）双击：uphubai-pfe-setup-cuda.exe 进行安装，按提示点下一步、选择安装目录、下一步，请待安装完成即可。

（5） 安装完成后，安装程序会自动打开本地部署后的UpHub AI对话界面，首次使用需要设置一个登录密码，以后使用这个密码登录（注：个人免费版，只需设置一个密码即可）；

（6） 点击UpHub AI右上角的“M”下载你要运行的大模型，下载完成后，运行大模型，即可开始对话。