支持7X24小时不间断运行
UpHub AI采用多进程设计,可保障UpHub AI主进程持续工作,自动重启,实现7X24小时不间断运行。为实现企业级任务调度、并发处理和服务稳定性提供多重保障。
UpHub AI主要进程及工作内容:
- 主控进程:实现UpHub AI各进程的管理;
- Turnllm推理进程:实现AI大模型的推理(支持Q4、Q8、FP16、FP32等量化版本推理),注:Trunllm推理是可选项,企业还可以根据自身情况选择其它符合标准的推理方案,比如vLLM等;
- 更新进程:实现各程序的更新;
- AI助手运行进程:实现exec、fetch等技能的运行;
- 内置向量知识库数据库:系统内置有向量数据库,自动实现高速向量查询,不需要额外部署向量数据库,减轻企业AI实施成本和部署的复杂度;
- 任务队列:系统自动带有MQ队列,全自动队列调度,不需要额外安装其它队列程序,无需配置。