量化部署

• 

  模型量化部署：GPTQ、AWQ 与 GGUF 怎么选

  大模型又大又吃显存，量化把它压小压快，让普通机器也能跑。GPTQ、AWQ、GGUF是三种常见路线，选错要么掉精…

  2026年1月27日

  标签：模型量化、量化部署