LOGO
更多内容...

支持GPU推理

UpHub AI的后端除了纯CPU推理量化版AI大模型外,对有条件的用户还提供CUDA(英伟达GPU开发与运行环境)版本,这部分用户可以借助GPU运行多模态大模型,比如Gemma3等。

对于已经具有英伟达GPU的用户(注:兼容CUDA12.8的硬件均可),可以使用GPU版本,从而实现更快速的推理或可在本地运行多模态AI大模型(比如:Gemma3、Qwen2.5-VL、Gemma4、Qwen3.5、Qwen3.6等)。

除了Windows版外,本软件还支持MacOS M芯片,Metal GPU。

电话图标 点我咨询