UpHub AI专为AI大模型本地部署而开发，具有便捷部署、安全、保护隐私、网页Chat(AI对话)、知识库、SKILL、本地化运行大模型、企业级AI推理部署。让企业轻构实现本地运行AI大模型(Deepseek、Gemma3、Gemma4、Qwen3.5、llama等)，让AI计算资源（GPU等）跑起来，助力个人或企事业单位快速、可视化部署AI大模型，构建本地知识库和AI助手LAB（自编SKILL及管理、测试），全程WEB-UI操作。
Windows纯CPU版：在Windows 系统中本地部署Deepseek、Gemma4、Qwen3.5等开源大模型：0 命令行，0 代码，0 配置文件。去下载》》
Windows GPU版（英伟达CUDA）：兼容CUDA12.8及以上，适用消费级显卡和计算级显卡，0 命令行，0 代码，0 配置文件。去下载》》
Mac OS M芯片版：Mac版已经发布，支持苹果M2-M5芯片，一条命令即可快速安装。去安装》》
最近更新日期：2026-06-21，默认推理组件更新至llama.cpp 2026-06-21版。
UpHub AI(AI推理)版本主要有个人版（UpHub AI PSE，基础对话功能免费），企业精简版（UpHub AI ESE），分布式企业版（UpHub AI DHE），不同的版本也满足不同用户群体的需求。个人版主要用于个人使用比如：个人自由AI创作，高级功能有知识库、SKILL管理、SKill开发与测试（含AI助理LAB功能）；企业精简版主要面向小微企业（硬件资源有限）；分布式企业版则面向硬件资源充足的企业，该版本支持可扩展的推理节点，分布式部署，可用于高并发、有较多推理节点或满血版AI大模型的推理场景。
适用于个人使用。
企业精简版，适用于中小企业AI推理方案。
分布式部署方案，适用于硬件资源充足，需要分布式方案。
UpHub AI文档主要介绍在UpHub AI中如何进行大模型私有化部署并安全、高效运行。
不用GPU（纯CPU）在UpHub AI中运行DeepSeek-R1 7B、8B版本
使用UpHub AI在纯CPU上运行Gemma3 12B（4B）大模型进行对话
使用UpHub AI在纯CPU上运行Gemma3 4B多模态大模型（Vision）对图片进行描述
使用UpHub AI在纯CPU上运行Google的Gemma3 4B大模型，生成元素周期表示意图
本地部署Qwen3开源大模型，纯CPU或GPU混合部署量化版Qwen3
Qwen3本地化部署，实现企业的往来合同审查、起草、修改、建议，为企业法务、律师提高效率
Deepseek-R1-0528开源大模型本地部署与运行
UpHub AI 已经支持Gemam4各版本运行，深度思考、Vision
个人使用UpHub AI在普通PC电脑上运行大模型实现知识问答解决方案
企业使用UpHub AI在普通PC或消费级显卡中实现AI大模型推理与知识问答解决方案
基于RAG（检索增强生成）生成式AI优化方法，在UpHub AI中实现企业或个人知识库，不需要微调大模型
基于UpHub AI构建高并发的本地化AI大模型部署
本地部署AI大模型（Deepseek等）如何选择推理软件和方案：UpHub AI、Ollama、llama.cpp、vLLM？
本地部署AI大模型，实现课程知识图谱构建，在教改中发挥AI技术作用
Windows系统如何安装UpHub AI实现AI大模型本地化部署与推理？
实施AI大模型本地化部署和推理需要准备什么硬件和资源？需要什么条件？
在UpHub AI本地部署推理过程中如何使用网站的 llms.txt
UpHub AI是一款面向Windows、MacOS、Linux系统的大模型本地私有化部署工具，支持0命令行、0代码、0配置文件可视化部署开源大模型，可实现纯CPU或英伟达GPU推理，主打数据隐私本地可控，提供网页对话、向量知识库、API、分布式推理等能力。
支持Deepseek、Gemma3/Gemma4、Llama3.2、Qwen3系列开源模型，同时支持nomic-embed-text等向量嵌入模型，兼容Q4、Q8、FP16、FP32等GGUF量化格式权重。
可以，UpHub AI内置基于llama.cpp改造的Turnllama.cpp推理后端，完整支持纯CPU环境部署运行各类量化大模型；搭配英伟达CUDA显卡时可启用GPU加速，支持多模态图文对话。
共三个版本：1.个人版PSE，面向个人用户，基础对话免费，知识库、AI助理LAB等高级功能按月订阅；2.企业精简版ESE，面向小微企业，开放API、知识库，单推理节点；3.分布式企业版DHE，面向硬件充足企业，支持多节点分布式、模型微调、高可用部署。
个人版仅支持单用户、单推理节点，无原生API，不支持自训练模型与微调；企业精简版不限用户、开放API，支持向量知识库；分布式企业版支持扩展推理节点、多知识库管理、模型微调训练、高可用集群部署。
可以。个人版知识库为按月订阅功能；企业精简版原生内置向量知识库；分布式企业版支持自主管理多套独立知识库，基于RAG检索增强生成，无需对大模型微调即可搭建本地私有知识库问答系统。
个人版PSE不提供API；企业精简版ESE、分布式企业版DHE均完整开放API接口，可供业务系统对接本地化大模型推理能力。
Windows环境下无需命令行、无需编写代码、无需手动修改配置文件，全程可视化图形界面完成安装、模型下载、推理启动与对话交互。
DHE支持可横向扩展的多推理节点分布式部署、多独立向量知识库管理、原始权重模型推理、自有训练模型加载、大模型微调训练选配、集群高可用部署，适配高并发、大规模本地推理场景。
全版本均支持Vision多模态图文对话，纯CPU环境可运行但推理速度较慢，建议搭配英伟达CUDA显卡GPU以获得流畅图文识别、图片描述能力。
点我咨询
