Qwen3.5 有多种权重版本,本地部署,硬件资源有限,优先选择小权重版本。
0.8B / 2B:3GB内存,不用GPU就能跑。
4B(Q4 量化):推荐8GB以上内存,MacBook M1 8GB、其它PC电脑、3050、3060等普通消费级显卡。
9B(Q4 量化):推荐10GB以上内存,MacBook Pro 16GB或显存8GB以上即可(实测3050可跑64KB上下文)。
其它版本,通过UpHub AI,也是可以轻松部署各尺寸的量化版,包括但不限于Q4、Q3、Q5、Q6、Q8、FP16、FP32等。