支持本地部署深度求索公司开源的Deepseek版本:7B、8B、14B、70B等。
支持本地部署Google公司开源的Gemma3、Gemma4大模型的各版本(4B、12B等)。
支持Meta公司开源的Llama3.2各版本本地部署,比如:1B、3B
支持阿里巴巴开源的Qwen3各版本,比如:0.6B、1.7B、4B、8B等
UpHub AI支持embedding部署,比如:nomic-embed-text等。
在UpHub AI可以支持Q4、Q8、FP16、FP32等量化版大模型部署。