LOGO
UpHub AI- 解决企业内部使用AI隐私安全、MAAS级AI-API对接、大模型私有化部署。
Run LLM: Locally, Security, Easy Install

UpHub AI
Windows CPU版
Windows CUDA版
Mac OS M芯版

UpHub AI是企业级的AI大模型和智能休本地部署解决方案,目标是快速安装AI推理环境和部署,实现保护隐私、企业资料不外流、可以内网或外网安全地使用AI大模型。UpHub AI专为AI大模型本地部署而开发的AI本地推理引擎,具有便捷部署和安装、安全、保护隐私、网页Chat(AI对话)、知识库、SKILL技能管理、本地化运行大模型,UpHub AI是企业级AI推理部署引擎。让企业轻构实现本地运行AI大模型(Deepseek、Gemma3、Gemma4、Qwen3.5、llama等),让AI计算资源(GPU等)跑起来,助力个人或企事业单位快速、可视化部署AI大模型,构建本地知识库和AI助手LAB(自编SKILL及管理、测试),全程WEB-UI操作。

Windows纯CPU版:在Windows 系统中本地部署Deepseek、Gemma4、Qwen3.5等开源大模型:0 命令行,0 代码,0 配置文件。去下载》》

Windows GPU版(英伟达CUDA):兼容CUDA12.8及以上,适用消费级显卡和计算级显卡0 命令行,0 代码,0 配置文件。去下载》》

Mac OS M芯片版:Mac版已经发布,支持苹果M2-M5芯片,一条命令即可快速安装。去安装》》

本地推理支持哪些硬件:UpHub AI默认推理组件基于llama.cpp开发,广泛支持各厂商的硬件,比如:英伟达GPU、摩尔线程GPU、AMD GPU、苹果arm Metal GPU等,需要相关版本请资源客服人员。

UpHub AI支持哪些操作系统:UpHub AI支持Windows、Linux、Mac OS、Ubuntu等主流操作系统本地部署AI大模型和个人助理。

最近更新日期:2026-09-06,默认推理组件更新至llama.cpp 2026-09-06(b10819版。

Windows CPU版适用于X86_64架构的Windows 10及以上的桌面或服务器系统,属于纯CPU部署AI大模型,适用于简单的对话、本地知识库。
Windows CUDA版适用于X86_64架构的Windows 10及以上的桌面或服务器系统,通过英伟达GPU部署AI大模型,适用于企业内部GPU算力共享、API支持、AI知识库、AI助手,企业级AI智能体运行与支持。
本文介绍UpHub AI在苹果arm芯片中的安装方法。Mac OS M芯片版适用于苹果M2、M3、M4、M5等arm64芯片。常见部署设备比如:Mac Book Pro、Mac Mini等M芯片的苹果系统。部署UpHub AI在苹果M芯片,实现AI大模型本地化部署。
AI大模型私有化部署

AI大模型私有化部署

AI大模型私有化部署是使用AI大模型时保护企业数据安全、隐私的重要方式,通过私有化部署AI大模型(LLM),可以在企业内部(或内网)中安全地使用AI大模型进行推理,构建企业内部知识库等重要AI工具与应用系统。
一键安装

一键安装

在Windows系统中私有化部署AI大模型,一键安装,0命令行,0配置,可视化安装和部署开源大模型Deepseek、Gemma3等。同时支持苹果mac os M芯片的安装和部署。
支持纯CPU部署AI

支持纯CPU部署AI

UpHub AI支持多种后端(backends)进行AI大模型推理,包括纯CPU方案(llama.cpp)。随UpHub AI安装包,我们提供了Turnllama.cpp(基于llama.cpp开发的推理后端),以协助您快速本地化部署AI大模型。
支持GPU推理

支持GPU推理

UpHub AI的后端除了纯CPU推理量化版AI大模型外,对有条件的用户还提供CUDA(英伟达GPU开发与运行环境)版本,这部分用户可以借助GPU运行多模态大模型,比如Gemma3等。
Skill设计、开发与管理

Skill设计、开发与管理

SKILL(AI技能)是AI与实际应用、AI助手对接的重要手段,让AI变得聪明有用是Skill的重要作用。UpHub AI可以进行Skill设计、开发、测试和管理。支持本地部署在线Skill,随时调试和验证SKILL。
轻松搭建本地知识库

轻松搭建本地知识库

UpHub AI中无需安装向量数据库,无需复杂部署和配置,只需要把文档上传到UpHub AI(就在你的本地电脑上,无需上传云端),立即就可以构建本地知识库,实现隐私保护,本地知识库快速落地。

Windows 系统

UpHub AI 适用于部署在纯CPU的 Windows 系统,最低版本Windows 10,同时支持Windows Server版本。

Mac OS (ARM)系统

UpHub AI适用于arm版MAC OS系统,支持M1及以上芯片本地部署AI大模型。

Windows 系统+CUDA环境

Windows 系统+CUDA环境是使用英伟达(Nvidia)消费级显卡(GPU)本地部署的选择之一,也是性能表现比较好的本地部署系统组合。

Ubuntu 系统

UpHub AI支持Ubuntu操作系统本地部署AI大模型,通过组合AI算力推理GPU获得较高的性能,适用企业级本地部署AI大模型,比如Nvidia H200、A100显卡等算力卡。

企业级AI平台

UpHub AI不仅支持个人版,同时还支持企业级AI本地化实施落地,可以在企业级算力卡上部署AI大模型,实现AI任务调度。UpHub AI内置MQ、缓存、向量数据库,可视化部署,实施部署成本低。

支持7X24小时不间断运行

UpHub AI采用多进程设计,可保障UpHub AI主进程持续工作,自动重启,实现7X24小时不间断运行。为实现企业级任务调度、并发处理和服务稳定性提供多重保障。

成熟的AI落地方案

UpHub AI企业版本本地部署是成熟的AI本地化部署落地方案。UpHub AI管理端内置AI网关、AI任务队列、多用户户管理、知识库按权限隔离、多AI助手管理、审计日志、计量计费等模块,解决"谁可用,用什么、权限最小化、用多少、易部署、怎么管"的问题。

企业版适用场景

UpHub AI企业版适用预算适中、希望快速上生产、缺乏专业运维团队(或只有极少的运维人员)、对数据安全有硬性要求的企业。不仅适合中小企业,也适合大型企业的AI合理、分级使用原则。
Deepseek

Deepseek

支持本地部署开源大模型Deepseek各版本,比如:7B、8B、14B、70B等。
Gemma 3/Gemma 4

Gemma 3/Gemma 4

支持本地部署Google公司开源的Gemma3、Gemma4大模型的各版本(4B、12B等)。
Llama3.2

Llama3.2

支持Meta公司开源的Llama3.2各版本本地部署,比如:1B、3B
Qwen3

Qwen3

支持阿里巴巴开源的Qwen3各版本(Qwen3.6、Qwen3.7、Qwen3.8等),各种参数量:0.6B、1.7B、4B、8B等均支持。
Embedding

Embedding

UpHub AI支持embedding部署,比如:nomic-embed-text等。
其它量化版本大模型

其它量化版本大模型

在UpHub AI可以支持Q4、Q8、FP16、FP32等量化版大模型部署。
Qwen3.5 0.8B/2B/4B/9B全系

Qwen3.5 0.8B/2B/4B/9B全系

Qwen3.5本地部署,硬件资源有限,优先选择小权重版本,比如:0.8B/2B/4B/9B。
本地部署LLM显存估算器

本地部署LLM显存估算器

快速根据需要本地部署LLM的参数、上下文、并发等参数估算所需显存、内存、CPU核心数。本工具完全免费使用。

版本

UpHub AI(AI推理)版本主要有个人版(UpHub AI PSE,基础对话功能免费),企业精简版(UpHub AI ESE),分布式企业版(UpHub AI DHE),不同的版本也满足不同用户群体的需求。个人版主要用于个人使用比如:个人自由AI创作,高级功能有知识库、SKILL管理、SKill开发与测试(含AI助理LAB功能);企业精简版主要面向小微企业(硬件资源有限);分布式企业版则面向硬件资源充足的企业,该版本支持可扩展的推理节点,分布式部署,可用于高并发、分级权限管理、多用户AI助手、有较多推理节点或满血版AI大模型的推理场景。

UpHub AI PSE

适用于个人使用。

请咨询客服

功能

  • 支持的AI大模型
    仅开源大模型
  • AI文本对话
  • 多模态Vision对话
    是(建议有GPU)
  • 未加密HTTP访问
  • 加密HTTP访问
    自备证书
  • 用户数上限
    1
  • 并发推理节点上限
    1
  • 单机线程并发数上限
    不限(视自身硬件)
  • 单线程模拟并发数上限
    不限(视自身硬件)
  • GGUF格式量化大模型推理
    支持
  • 知识库(向量)
    按月订阅
  • AI助理LAB
    按月订阅
  • Skill技能
    按月订阅
  • API支持
    不支持
  • 原始权重大模型推理
    不支持
  • 自训练AI大模型推理
    不支持
  • AI大模型微调与训练
    不支持
  • 高可用部署
    不支持

服务与支持

  • 在线咨询
    不提供
  • 上门服务
    不提供
  • 付费支持

UpHub AI ESE

企业精简版,适用于中小企业AI推理方案。

请咨询客服

功能

  • 支持的AI大模型
    开源或自训练
  • AI文本对话
  • 多模态Vision对话
    是(建议有GPU)
  • 未加密HTTP访问
  • 加密HTTP访问
    自备证书
  • 用户数上限
    不限
  • 并发推理节点上限
    1
  • 单机线程并发数上限
    不限(视自身硬件)
  • 单线程模拟并发数上限
    不限(视自身硬件)
  • GGUF格式量化大模型推理
    支持
  • 知识库(向量)
    支持
  • AI助理LAB
    支持
  • Skill技能
    支持
  • API支持
    支持
  • 原始权重大模型推理
    不支持
  • 自训练AI大模型推理
    不支持
  • AI大模型微调与训练
    不支持
  • 高可用部署
    不支持

服务与支持

  • 在线咨询
    免费
  • 上门服务
    可选
  • 付费支持

UpHub AI DHE

分布式部署方案,适用于硬件资源充足,需要分布式方案。

请咨询客服

功能

  • 支持的AI大模型
    开源或自训练
  • AI文本对话
  • 多模态Vision对话
    是(建议有GPU)
  • 未加密HTTP访问
  • 加密HTTP访问
    自备证书
  • 用户数上限
    不限
  • 并发推理节点上限
    可扩展
  • 单机线程并发数上限
    不限(视自身硬件)
  • 单线程模拟并发数上限
    不限(视自身硬件)
  • GGUF格式量化大模型推理
    支持
  • 知识库(向量)
    可自主管理多个
  • AI助理LAB
    支持
  • Skill技能
    支持
  • API支持
    支持
  • 原始权重大模型推理
    支持
  • 自训练AI大模型推理
    支持
  • AI大模型微调与训练
    可选
  • 高可用部署
    支持

服务与支持

  • 在线咨询
    免费
  • 上门服务
    可选
  • 付费支持

UpHub AI 文档

UpHub AI文档主要介绍在UpHub AI中如何进行大模型私有化部署并安全、高效运行。

UpHub AI API

>> 查看更多
UpHub AI - FAQ - 常见问题,列出了UpHub AI的常见问题。

电话图标 点我咨询
菜单 关闭