MiniCPM3.0 量化指南
输入“/”快速插入内容
💥MiniCPM3.0 量化指南
MiniCPM3.0 量化指南
用户309用户3092024年9月26日修改
👇
适合人群：有量化需求，需要基本的python和bash基础即可量化
1.
AutoGPTQ
设备要求：至少存在一张的Nvidia 20系以上显卡，需要12g以上显存
方法1:直接获取量化后的gptq权重（推荐）
代码块
git clone https://huggingface.co/openbmb/MiniCPM3-4B-GPTQ-Int4
方法2:自行量化（进行sft后需要量化推荐）
1.
获取Minicpm模型权重
代码块
git clone https://huggingface.co/openbmb/MiniCPM3-4B
2.
获取量化脚本
代码块
git clone https://github.com/OpenBMB/MiniCPM
3.
安装Autogptq分支：
这里获取我fork的分支代码。（已经提了pr）
代码块
git clone https://github.com/LDLINGLINGLING/AutoGPTQ.git
cd Autogptq
git checkout minicpm3
pip install e .
4.
开始量化:
代码块
cd Minicpm/quantize
#以下代码中no_quantized_path修改为MiniCPM3权重保存的地址，save_path3为量化模型保存的地址
python gptq_quantize.py --pretrained_model_dir no_quant_model_path --quantized_model_dir quant_save_path --bits 4
AutoAWQ（速度略低，请优先gptq）
设备要求：至少存在一张Nvidia 20系以上显卡，量化4b需要12g显存
1.
获取MiniCPM开源代码：
代码块
git clone https://github.com/OpenBMB/MiniCPM
2.
安装AutoAWQ分支
代码块
git clone https://github.com/LDLINGLINGLING/AutoAWQ.git
cd AutoAWQ
checkout minicpm3
pip install e .
3.
获取MiniCPM模型权重，以MiniCPM3-4b为例：
代码块
git clone https://huggingface.co/openbmb/MiniCPM3-4B
4.
修改脚本配置参数：
在MiniCPM/quantize/awq_quantize.py 文件中根据注释修改配置参数：
1.
提供alpaca、wikitext、自定义数据集三种方式
2.
如果使用alpaca，quant_data_path修改成MiniCPM/quantize/quantize_data/alpaca的绝对路径
3.
如果使用wikitext，quant_data_path修改成MiniCPM/quantize/quantize_data/wikitext的绝对路径
4.
使用自定义数据集，按照示例补充custom_data即可
代码块
model_path = '/root/ld/ld_model_pretrained/minicpm3' # model_path or model_id
quant_path = '/root/ld/ld_model_pretrained/minicpm3_awq' # quant_save_path
quant_data_path='/root/ld/ld_project/pull_request/MiniCPM/quantize/quantize_data/alpaca'# 写入自带wikitext或者alpaca地址
quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" } # "w_bit":4 or 8
quant_samples=512 # how many samples to use for calibration
custom_data=[ # first custom data 如果要使用自定义数据集，根据以下格式修改
[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "assistant", "content": "你好，有什么我可以帮助你的吗？"},
{"role": "user", "content": "我想了解如何编写Python代码。"},
], # second custom data
[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "assistant", "content": "你好，有什么我可以帮助你的吗？"},
{"role": "user", "content": "我想了解如何编写Python代码。"},
]
#....more custom data
]