企业级AI平台
UpHub AI打造企业级AI平台
UpHub AI打造企业级AI平台
UpHub AI支持从个到到大型企业的AI本地化部署方案建设,为不同规模的企业、单位提供不同的版本。其中对于打造企业级AI,UpHub AI不仅支持普通消费级显卡比如RTX 4090、RTX 5090,更是支持企业级算力卡比如A10、A100、H200等主流AI硬件,同时,默认推下组件还支持国产硬件推理。通过UpHub AI可以快速实现AI大模型的本地化部署和实施,无需编程、开箱即用。
UpHub AI在企业级生产环境具有较高的稳定性、并发能力、可扩展和管理的整体解决方案能力,特别是UpHub AI采用开放架构(turnllm)的五层分布式部署架构,实现集群分布式、硬件分布式、进程分布式、线程分布式、上下文共享等环节的并发架构,基于多层MQ实现Turnllm任务模式AI处理。通过Trunllm方式,全实现AI大模型与实际业务的解耦,不需要强关联,这样企业身身的ERP、管理系统、边缘设备等接入AI时不需要大量改造,降低企业引入AI的传统系统改造成本。
UpHub AI还支持与哲涛智能体编排平台无缝对接,实现企业级AI的角色分离、多AI助手统一调度和运行、实现企业知识库按权限隔离,以实现企业的知识分权使用,避免知识窜流。