【混合模态训练】MiniCPM-V-2_6
输入“/”快速插入内容
🔥【混合模态训练】MiniCPM-V-2_6
【混合模态训练】MiniCPM-V-2_6
用户309用户3092024年9月26日修改
🙌
适合人员：代码使用需要对linux有基本认识，python能看懂基本脚本，并修改参数和处理数据，后面理论部分需要一点多模态基础
显存需求：混合模态数据与图文对训练显存基本相同，纯文本数据占用更少显存
代码应用
应广大用户朋友的需求，开发了纯文本和图文对的混合数据训练代码。
以终为始，先说怎么用。有兴趣再看后面的理论。
1.
下载MiniCPMV-2_6的模型
代码块
git clone https://huggingface.co/openbmb/MiniCPM-V-2_6
# 您的star是我们前进的动力
2.
下载混合模态训练的分支(demo级)
代码块
git clone https://github.com/OpenBMB/MiniCPM-CookBook.git
# 您的star是我更新的动力
3.
进入MiniCPM-CookBook/agent_auto_plan/finetune_language/replace_file路径
代码块
cd MiniCPM-CookBook/agent_auto_plan/finetune_language/replace_file
4.
将replace_file路径下的modeling_minicpmv.py对MiniCPM-V-2_6下的同名文件替换
代码块
cp ./modeling_minicpmv.py minicpmv2_6/modeling_minicpmv.py
5.
制作数据集：(暂时仅支持单张图片)
可以将以下两种数据存入一个json文件，也可以在json文件中只存在一种数据
1.
纯语言数据：
代码块
[
{
"id": "85801",
"conversations": [
{
"role": "user",
"content": "我当前33岁，面部已出现大量雀斑，我推测这可能是遗传因素所致。我对此表示忧虑，雀斑的形成确有遗传倾向吗？有何治疗方法？"
},
{
"role": "assistant",
"content": "通常，雀斑的产生与体内内分泌失调及新陈代谢状态不佳有关，而非单纯的遗传因素。您与您的母亲在生活环境中以及日常习惯上的相似之处，可能共同促成了雀斑的生成。建议您注重规律作息，避免过度疲劳，减轻心理压力，并定期敷用面膜，以助于减轻雀斑的显现。"
},
{
"role": "user",
"content": "应当预约哪个科室进行诊疗？涉及的病症名称是什么？"
},
{
"role": "assistant",
"content": "应预约皮肤性病科进行就诊，相关病症可能为雀斑。"
}
]
}
]
2.
图文对数据：
代码块
[
{
"id": "7432",
"conversations": [
{
"content": "<image>\n能否协助我辨认这张图片展示的内容？",
"role": "user"
},
{
"content": "石家庄通史·古代卷\n加强封建专制统治。\n徙六国贵族及富商于川鄂\n秦灭赵， 徙赵王迁于房陵①（今湖北房县）， 将赵国贵族和富商大贾迁往关中及 巴蜀等地。 其目的主要有二个： 一是防范赵国旧贵族在故土从事反秦活动； 二是利用 迁徙贵族及其移民， 开疆拓土、 屯田实边。 前者属于政治移民； 后者是军事和屯种的 移民， 都带有强制性质。\n这些移民对迁入地的经济发展和文化产生了重要影响。 如 “蜀卓氏之先， 赵人 也， 用铁治富。 秦破赵， 迁卓氏……致之临邛， 大喜， 即铁山鼓铸……倾滇蜀之民，富致僮千人”②。 他们把先进的生产技术和经营方法带入巴蜀地区。 同时， 大规模的 移民迁徙， 也促进了赵地文化的传播。 有学者认为， 秦始皇从赵国的迁民， 主要集中 在赵都邯郸及其附近。 而实际上， 秦始皇从赵国强制迁民， 也涉及到恒山郡及其 属县。\n“使黔首自实田”， 确立土地私有制\n秦始皇三十一年 （公元前 ２１６ 年）， 诏令 “使黔首自实田”， 即令全国的百姓如 实呈报自己占有的田地。 以此确立土地的私有权。 这种封建土地私有制度的推行， 有 助于促进新兴地主经济和小农经济的发展。\n统一文字、 货币、 度量衡\n战国时期， 是中国文字多元发展的重要阶段， 各诸侯国的文字存在很大差异。 秦 始皇统一全国之后， 颁诏使用统一的文字， 规定以秦国的小篆为统一的书体， 对原来 六国的文字进行改造， “罢其不与秦文合者”③， 通过李斯、 赵高等人整理的标准文字 范本， 推行小篆， 促进了全国文字交流， 促进了政治、 经济、 文化的发展。\n秦始皇统一后， 废除原来六国的货币， 以原来秦国流行的方孔圆钱作为通用货 币， 并规定以黄金为上币， 以镒为单位； 以铜 （ 半两钱） 为下币， 以半两为单位。克服了战国时期诸侯货币混乱、 交换困难的局面， 便利了全国各地经济往来和商品交 易。 在石家庄市长安区东古城秦代恒山郡故城遗址， 出土过秦朝半两铜钱， 证明秦代 半两钱在这一地区广泛使用。\n秦始皇统一后， 废除六国原有的度量衡， 而统一推行原来秦国的度量衡， 还制定 标准的度量衡器， 铭刻诏书， 颁发全国。 诏书全文： “二十六年， 皇帝尽并兼天下诸 侯， 黔首大安， 立号为皇帝。 乃诏丞相状、 绾， 法度量则不一， 嫌疑者皆明一之。④”在河北， 先后发现了刻有秦始皇统一度量衡诏书的铁权， 是秦始皇统一度量衡的实物 证据。\n北驱匈奴， 修筑长城， 移民实边\n匈奴是我国北方一个游牧民族， 商代称鬼方， 西周称独吞犭严狁， 战国始称匈奴。\n①《淮南子·泰族训》， 中华书局 １９８９ 年版， 第 ６９３ 页。\n②《史记》 卷 １２９ 《货殖列传·卓氏》。\n③［汉］ 许慎： 《说文解字·叙》。\n④《史记》 卷 ６ 《秦始皇本纪》。\n·１ ３ ２·\n",
"role": "assistant"
}
],
"image": "/root/ld/ld_dataset/30k_data/61569317/150.jpg"
}
]