MiniCPM-V 2.6 部署指南
输入“/”快速插入内容
🔥MiniCPM-V 2.6 部署指南
MiniCPM-V 2.6 部署指南
🙌
如果您有任何问题，请在GitHub上给我们提issue，技术同学会集中解答
当前，MiniCPM-V 2.6 已支持vllm、llama.cpp、Ollama、transformers多卡推理，教程如下。点击目录名称👇直接跳转
模型 | 设备 | 资源 | 操作系统 | 推理支持 | 速度 | 简介 | 下载地址 |
MiniCPM- V 2.6 | GPU | 17G | Linux | vllm transformers | vllm比较快 | 最新版本，提供最佳的端侧单图、多图、视频理解能力。 | |
MiniCPM- V 2.6 gguf | CPU | 6G | Mac linux | Llamacpp ollama | cpu速度较慢 | gguf 版本，更低的内存占用和更高的推理效率。 | |
MiniCPM- V 2.6 int4 (bnb量化) | GPU | 7G | linux | transformers | transformer上 速度低于非量化版本 | bnb int4量化版， 更低显存占用。 | |
MiniCPM-V 2.6 int4 (awq量化) | GPU | 7G | linux | vllm transformers | 支持vllm，vllm上速度很快，高并发，transformer上速度和bnb量化差不多，比非量化版慢 | awq int4量化版，vllm速度最快，目前已经制作好，pr中，敬请期待 | HF MS |
模型下载
1.
找到存放模型的路径，输入以下代码(请先安装git-lfs)
渠道1: huggingface
代码块
git clone https://huggingface.co/openbmb/MiniCPM-V-2_6
渠道2: Modelscope
代码块
git clone https://www.modelscope.cn/models/openbmb/minicpm-v-2_6
一、vllm 推理
笔者的pip list（awq，fp16，vllm都能跑）：
vllm | transformers | torchvision | torch | triton | trl | autoawq_kernels |
0.5.4 | 4.44.0 | 0.19.0 | 2.4.0 | 3.0.0 | 0.9.6 | 0.0.6 |
vllm部署int4模型请看MiniCPM-V 2.6量化教程速度提升一倍、显存减少一半以上
方法1: 使用python调用vllm推理
1.
代码块
git clone https://huggingface.co/openbmb/MiniCPM-V-2_6
也可以下载量化后的awq模型，速度快一倍，显存只要7G
代码块
git clone https://www.modelscope.cn/models/linglingdan/MiniCPM-V_2_6_awq_int4
# 安装Autoawq的分支，已经提了pr，等官方合并
git clone https://github.com/LDLINGLINGLING/AutoAWQ.git
cd AutoAWQ
git checkout minicpmv2.6
pip install e .
fp16 和awq使用vllm 简单对比(4090单卡）
| Awq int4 | fp16 | |
Input image | | ||
prompt | 这张图片描述了什么 | | |
speed | input: 172.74 toks/s, output: 28.21 toks/s | input: 113.63 toks/s, output: 32.49 toks/s | |
Time use | 00:07 | 00:12 | |
output | 这幅图片展示了一架商用客机在晴朗的蓝天下飞行。这架飞机是一架空中客车A330-300，可以通过其双发配置、翼尖小翼和机身长度来识别。机身上的中文字符表明这架飞机属于中国南方航空公司，这是一家总部位于中国广州的航空公司。这架飞机的涂装包括蓝色和白色的配色方案，尾翼上有一个红色的标志，这是中国南方航空公司的标志。这幅图片可能是在飞机起飞或降落时拍摄的，因为起落架是可见的。 | 这幅图片展示了一架商用客机在晴朗的蓝天下飞行。飞机的涂装和标志表明它属于中国南方航空公司，这是一家总部位于中国的航空公司。飞机的机型是空中客车A330-300，这是一款中远程宽体双发喷气式客机。飞机的起落架已展开，表明它要么正在起飞，要么正在降落。晴朗的天空和良好的能见度表明飞行条件良好 | |
Memory use of model | 7Gb | 16gb | |
Max length of 24g memory | 2048*3 | 2048 | |
Max batch_size Of 24g memory | 52 | 2 | |