【训练教程】MiniCPM-Llama3-V 2.5
输入“/”快速插入内容
【训练教程】MiniCPM-Llama3-V 2.5
【训练教程】MiniCPM-Llama3-V 2.5
用户309用户309
用户6987用户69872024年8月27日修改
🙌
适合人员：对linux有基本认识，python能看懂基本脚本，并修改参数和处理数据
一、模型介绍[minicpmv2.5官方代码微调]
MiniCPM-Llama3-V 2.5是MiniCPM-V系列的最新、性能最佳模型。总参数量8B，多模态综合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用闭源模型，OCR 能力及指令跟随能力进一步提升，并支持超过30种语言的多模态交互。通过系统使用模型量化、CPU、NPU、编译优化等高效推理技术，MiniCPM-Llama3-V 2.5 可以实现高效的终端设备部署。
二、模型下载：
1.
安装git lfs
a.
ubuntu安装git lfs:
代码块
apt-get install git-lfs
b.
mac安装git lfs
代码块
brew install git-lfs
c.
centos安装git lfs
代码块
yum install git-lfs
2.
下载模型
方法一：使用git命令在huggingface下载
代码块
git clone https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5
方法二 :使用git命令在modelscope下载
代码块
git clone https://modelscope.cn/models/OpenBMB/MiniCPM-Llama3-V-2_5
3.
获取minicpmv的github代码：
代码块
git clone https://github.com/OpenBMB/MiniCPM-V.git
三、官方代码模型训练：
1.
安装依赖包
代码块
cd MiniCPM-V
pip install -r requirements.txt
## deepspeed推荐去官方下载最新版并且pip install e . 安装
2.
处理数据集
1.
处理数据集成以下形式：
a.
id值不可重复
b.
<image>\n应该出现在每个数据集对话数据的开头
c.
"image"对应的地址需要存在图片
d.
每个conversations对应的列表中是一个多轮对话，content代表对话内容，role对应user代表用户输入，role对应assistant代表模型输出
e.
每条数据仅包含一张图片
代码块
[
{ "id": "0",
"conversations": [
{
"content": "<image>\nWho are they?",
"role": "user"
},
{
"content": "They're Kane and Gretzka from Bayern Munich.",
"role": "assistant"
},
{
"content": "What are they doing?",
"role": "user"
},
{
"content": "They are celebrating on the soccer field.",
"role": "assistant"
}
],
"image":
"/root/ld/ld_project/LLaMA-Factory/data/mllm_demo_data/1.jpg"
}
...以上是单个条数据，列表中可存在多个相同格式的数据
]