在Streamlit+Ollama上体验MiniCPM-V 2.6部署指南
输入“/”快速插入内容
🤖在Streamlit+Ollama上体验MiniCPM-V 2.6部署指南
在Streamlit+Ollama上体验MiniCPM-V 2.6部署指南
❤️
MiniCPM-V 2.6 是 MiniCPM-V 系列中最新、性能最佳的模型。MiniCPM-V 2.6 性能提升显著，并引入了多图和视频理解的新功能。MiniCPM-V 2.6 可以通过多种方式轻松使用：llama.cpp 和 ollama 支持在本地设备上进行高效的 CPU 推理。而官方没有提供Ollama的例子，为此做了一个，并开源。
作者：pnews88
简介：喜欢大数据，大模型
个人主页/社交媒体账号：https://www.zhihu.com/people/yiqi-51（好久没用过知乎了，以前都潜水白嫖看别人文章，这次写了一篇，所以说出来混迟早要还的，也是真喜欢MiniCPM-V这个模型。也许以后不会写，也许以后还会继续写。）
第一步：安装及编译Ollama
可以根据官方提供的教程去编译，微信群里有的大佬编译成功了，我没有，就只好下载别人编译好的，可以去Ollama官网中搜索，千万别用Ollama官网的程序啊，因为不能加载MiniCPM-V 2.6 。
在Ollama官网上搜索时候可以直接输入MiniCPM，然后找2.6的，我这边找了一个aiden_lu/minicpm-v2.6:Q4_K_M，做了量化的，Ollama也是在其下方介绍中下载的。
✍️
注：这个不是官方，不建议用啊，自己做个测试，体验一下minicpm-v2.6还行啊。
下载后，我用的是ubuntu 22.4
然后chmod +x ollama
运行./ollama serve
第二步：下载模型
方法一：可以用ollama run aiden_lu/minicpm-v2.6:Q4_K_M下载并运行模型，然后就可以看第三步了。
再次提醒啊，这个不是官方，不建议用啊，自己做个测试，体验一下minicpm-v2.6还行啊
方法二：或者在Openbmb官网中下载gguf文件，然后自己用Ollama create。
官网gguf模型下载如下：
代码块
git lfs install
创造模型：Create a file named Modelfile
Modelfile内容如下：
代码块
FROM ./MiniCPM-V-2_6/ggml-model-Q4_K_M.gguf
FROM ./MiniCPM-V-2_6/mmproj-model-f16.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}
{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>{{ end }}
<|im_start|>assistant<|im_end|>
{{ .Response }}<|im_end|>"""
PARAMETER stop "<|endoftext|>"
PARAMETER stop "<|im_end|>"
PARAMETER num_ctx 8192
按上面编写好Modefile后执行如下命令：
代码块
ollama create minicpm-v2.6 -f Modelfile
ollama run minicpm-v2.6
Ollama运行后及模型加载后，可以看到，我是用的Nvidia 的T4卡，显存8G，只配运行量化的模型。