支持GPU推理 UpHub AI的后端除了纯CPU推理量化版AI大模型外,对有条件的用户还提供CUDA(英伟达GPU开发与运行环境)版本,这部分用户可以借助GPU运行多模态大模型,比如Gemma3等。 UpHub AI的后端除了纯CPU推理量化版AI大模型外,对有条件的用户还提供CUDA(英伟达GPU开发与运行环境)版本,这部分用户可以借助GPU运行多模态大模型,比如Gemma3等。 对于已经具有英伟达GPU的用户(注:兼容CUDA12.8的硬件均可),可以使用GPU版本,从而实现更快速的推理或可在本地运行多模态AI大模型(比如:Gemma3、Qwen2.5-VL等)。