【边端部署】MiniCPM-Llama3-V 2.5
输入“/”快速插入内容
【边端部署】MiniCPM-Llama3-V 2.5
【边端部署】MiniCPM-Llama3-V 2.5
飞书用户309
飞书用户69872024年7月19日修改
👇
适合人员：对linux系统较为熟悉，对安卓手机的文件管理有基本认识
一、下载app直接部署
设备要求：安卓手机，最好是骁龙8以上芯片
1.
下载apk
2.
手机安装apk文件。
3.
手机打开面壁智能app，选择miniCPM-V-2.5的模型下载
4.
等待下载完成可以选择图片进行对话
二、llama.cpp 安卓部署[minicpmv安卓部署.mp4]
设备要求：量化版模型需要10g内存，非量化模型需要20g以上内存
1.
获取openbmb的llama.cpp分支：
代码块
git clone -b minicpm-v2.5 https://github.com/OpenBMB/llama.cpp.git
2.
获取Minicpmv2.5的gguf权重，
a.
首先前往huggingface或者modelscope下载pytorch权重：
代码块
git clone https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5
#or
git clone https://modelscope.cn/models/OpenBMB/MiniCPM-Llama3-V-2_5.git
b.
使用上述llama.cpp将模型权重转化为gguf文件：
代码块
# 第一行为获得模型中间输出，为转换为gguf作准备
python ./examples/minicpmv/minicpmv-surgery.py -m ../MiniCPM-Llama3-V-2_5
# 将siglip模型转换为gguf
python ./examples/minicpmv/minicpmv-convert-image-encoder-to-gguf.py -m ../MiniCPM-Llama3-V-2_5 --minicpmv-projector ../MiniCPM-Llama3-V-2_5/minicpmv.projector --output-dir ../MiniCPM-Llama3-V-2_5/ --image-mean 0.5 0.5 0.5 --image-std 0.5 0.5 0.5
# 将语言模型转换为gguf
python ./convert.py ../MiniCPM-Llama3-V-2_5/model --outtype f16 --vocab-type bpe
c.
手机端，需要对语言模块进行量化：
代码块
./quantize ../MiniCPM-Llama3-V-2_5/model/model-8B-F16.gguf ../MiniCPM-Llama3-V-2_5/model/ggml-model-Q4_K_M.gguf Q4_K_M
3.
4.
下载解压后进入llama.cpp,创建新文件夹build_android
代码块
cd llama.cpp
mkdir build_android
5.
编译环境的部署
代码块
cd build_android
export NDK=/your_ndk_path
# 上面这行的示例：export NDK=/root/ld/ld_project/llama.cpp/build_android
#使用cmake配置构建环境
cmake -DCMAKE_TOOLCHAIN_FILE=$NDK/build/cmake/android.toolchain.cmake -DANDROID_ABI=arm64-v8a -DANDROID_PLATFORM=android-23 -DCMAKE_C_FLAGS=-march=armv8.4a+dotprod ..
6.
此时编译llama.cpp：
代码块
make