【端侧GPT-4V】MiniCPM-V 2.6
输入“/”快速插入内容
【端侧GPT-4V】MiniCPM-V 2.6
【端侧GPT-4V】MiniCPM-V 2.6
面壁「小钢炮」 MiniCPM-V 2.6 ，重磅发布💥
再次刷新端侧多模态天花板
能在 iPad、手机上全面跑起来的 GPT-4V 来了！
不到 6B 内存，快至 18tokens/s，丝滑舒适
多项功能，首次上端
单图、多图、实时视频理解 3 SOTA！
依然高效！图像信息密度高达GPT-4o 2倍
👏🏻 GPT-4V级、三合一最强端侧多模态
很多社区朋友在问我们如何体验iPad demo或者如何将模型部署到ios上，这块的教程暂时未开源，敬请期待
模型 | 设备 | 资源 | 操作系统 | 推理支持 | 速度 | 简介 |
MiniCPM- V 2.6 | GPU | 17G | Linux | vllm transformers | vllm比较快 | 最新版本，提供最佳的端侧单图、多图、视频理解能力。 |
MiniCPM- V 2.6 gguf | CPU | 6G | Mac linux | Llamacpp ollama | cpu速度较慢 | gguf 版本，更低的内存占用和更高的推理效率。 |
MiniCPM- V 2.6 int4 (bnb量化) | GPU | 7G | linux | transformers | transformer上 速度低于非量化版本 | bnb int4量化版，更低显存占用。 |
MiniCPM-V 2.6 int4 (awq量化) | GPU | 7G | linux | vllm transformers | 支持vllm速度很快，transformer上速度和bnb量化差不多，比非量化版慢 | awq int4量化版，vllm速度最快，目前已经制作好，pr中，敬请期待 |
参与互动 🎉 小彩蛋
欢迎大家将自己的实操体验发布在知乎上，发布后联系小助手即可有机会加入「面壁小钢炮的朋友们」开发者计划，获取小钢炮限量周边🤩
1️⃣ 推荐话题1: 面壁「小钢炮」系列上新最强端侧多模态模型MiniCPM-V 2.6，其性能如何，有哪些应用场景？
2️⃣ 推荐话题2：如果本地要装大模型，建议哪个开源大模型？
也欢迎大家投稿好玩的case：一起来玩！MiniCPM-V 2.6 体验集
We ❤️ developers!