【边端部署教程】MiniCPM2.0
输入“/”快速插入内容
【边端部署教程】MiniCPM2.0
【边端部署教程】MiniCPM2.0
用户309用户309
用户6987用户69872024年9月29日修改
💡
适合人员：需要对minicpm进行边端部署，且有linux和编译基础
模型简介
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。经过 SFT 后，MiniCPM-2B 在公开综合性评测集上与 Mistral-7B 表现相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
设备：linux，mac
1.
代码块
git clone https://github.com/ggerganov/llama.cpp
2.
编译llama.cpp
代码块
cd llama.cpp
make
3.
获取MiniCPM的gguf模型
方法2：（与3为可选操作）.自行转换MiniCPM模型为gguf
a.
创建llama.cpp/models/Minicpm路径
代码块
cd lama.cpp/models
mkdir Minicpm
b.
下载[MiniCPM pytorch模型](https://huggingface.co/openbmb/MiniCPM-2B-sft-bf16)所有文件(也可以是训练后的模型)并保存到llama.cpp/models/Minicpm
c.
将模型转换为gguf格式：
在这之前检查llama.cpp/convert-hf-to-gguf.py文件，如果class MiniCPMModel(Model)下存在：
代码块
def _reverse_hf_permute(self, weights: Tensor, n_head: int, n_kv_head: int | None = None) -> Tensor:
if n_kv_head is not None and n_head != n_kv_head:
n_head //= n_kv_head
将其替换为：
代码块
@staticmethod
def permute(weights: Tensor, n_head: int, n_head_kv: int | None):
if n_head_kv is not None and n_head != n_head_kv:
n_head = n_head_kv
return (weights.reshape(n_head, 2, weights.shape[0] // n_head // 2, *weights.shape[1:])
.swapaxes(1, 2)
.reshape(weights.shape))
def _reverse_hf_permute(self, weights: Tensor, n_head: int, n_kv_head: int | None = None) -> Tensor:
if n_kv_head is not None and n_head != n_kv_head:
n_head //= n_kv_head
然后运行：
代码块
python3 -m pip install -r requirements.txt
#将pytorch模型转化为fp16的gguf
python3 convert-hf-to-gguf.py models/Minicpm/
#完成以上步骤，llama.cpp/models/Minicpm目录下有一个ggml-model-f16.gguf的模型文件
4.
将fp16的gguf文件进行量化，若是下载的本身就是量化文件，可省略。
如果你需要更高精度的llamacpp量化模型，请看更高精度的gguf量化
代码块
#使用本行代码执行成功后，/models/Minicpm/下将存在 ggml-model-Q4_K_M.gguf的4bit量化文件
./llama-quantize ./models/Minicpm/ggml-model-f16.gguf ./models/Minicpm/ggml-model-Q4_K_M.gguf Q4_K_M
代码块
#如果找不到llama-quantize，可以尝试以下方法
cd llama.cpp
make llama-quantize