MiniCPM 4 部署&微调教程

输入“/”快速插入内容

💥
MiniCPM 4 部署&微调教程

用户5856

用户2839

2025年7月8日修改

教程持续补充中...

Github仓库地址：https://github.com/OpenBMB/MiniCPM

模型下载

模型类型

模型名称

最低资源要求

推理支持

下载地址

基础模型

MiniCPM4-8B

18G

transformers / vLLM / SGLang / CPM.cu

HF / MS

MiniCPM4-0.5B

transformers / vLLM / SGLang

HF / MS

加速模型

MiniCPM4-8B-Eagle-FRSpec

CPM.cu / SGLang

HF / MS

MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu

CPM.cu

HF / MS

MiniCPM4-8B-Eagle-vLLM

vLLM

HF / MS

MiniCPM4-8B-marlin-Eagle-vLLM

vLLM

HF / MS

量化版本

MiniCPM4-8B-marlin-cpmcu

CPM.cu

HF / MS

MiniCPM4-8B-marlin-vLLM

vLLM

HF / MS

MiniCPM4-8B-mlx

MLX

HF / MS

三元量化版本

BitCPM4-0.5B

transformers

HF / MS

BitCPM4-1B

transformers

HF / MS

工具版本

MiniCPM4-Survey

18G

transformers / vLLM / SGLang / CPM.cu

HF / MS

MiniCPM4-MCP

18G

transformers / vLLM / SGLang / CPM.cu

HF / MS

模型部署

CPM.cu

📒

CPM.cu 是一个针对端侧大模型推理设计的轻量、高效的 CUDA 推理框架，核心支持稀疏架构、投机采样 和低位宽量化等前沿技术创新，能够完全发挥 MiniCPM 4.0 的效率优势。​

仓库地址：https://github.com/OpenBMB/CPM.cu

环境配置

i.
创建conda环境​

代码块

conda create -n minicpm

ii.
下载并安装CPM.cu​

代码块

git clone https://github.com/OpenBMB/CPM.cu.git --recursive​
cd CPM.cu​
pip install -e .​
#构建需要一些时间，请耐心等待。​

模型下载

i.
创建文件夹，用于存放模型​

代码块

mkdir MiniCPM4​
cd MiniCPM4​

ii.
下载模型​

使用CPM.cu推理模型需要下载基础模型与加速模型，将模型权重下载至本地您创建完成的文件夹中。​

代码块

#下载基础模型​
git clone https://huggingface.co/openbmb/MiniCPM4-8B-marlin-cpmcu​
#下载加速模型​
git clone https://huggingface.co/openbmb/MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu​

下载完成后，文件目录结构如下：

代码块

MiniCPM4/​
├── MiniCPM4-8B-marlin-cpmcu/​
│   └── 模型权重​
└── MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu/​
    └── 模型权重​