网上资料显示，可以用ollama、lmstudio安装

本地跑7b32b的蒸馏模型感觉实际意义不大，不是很聪明，调用api会好很多，而且api价格低的离谱，不过1.5b的模型可以拿来给一些应用内置个小ai，吸引客户感觉挺好的