爆火！开源多模态大模型在手机端进行本地部署！

news2025/1/12 10:40:34

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

总结链接如下：

《AIGC 面试宝典》(2024版) 正式发布！

喜欢记得点赞、收藏、关注。更多技术交流&面经学习，可以文末加入我们。

大家好，今天继续聊聊科技圈发生的那些事。

一、MiniCPM-V

我们能把 GPT 本地部署到手机上了！不是用 API，而是完全本地化！

MiniCPM-V，这是一款端侧可用的 GPT-4V 级多模态大模型。MiniCPM 是一个大系列的模型，通常来说，大模型都是部署在服务器上，或是 PC 本地部署的。而 MiniCPM 将大模型部署到了手机上！（当然，苹果手机肯定是用不了的）

系列有两个值得关注的模型，一个是 MiniCPM，一个是 MiniCPM-V，二者的区别主要在于，MiniCPM-V 侧重于图像处理。而今天我们分享的内容，主要关于 MiniCPM-V。

对于这样一款侧重图像分析的模型，我们只需要提供一张图片作为输入，再提供一些文本指示需要根据图片生成的内容，模型就会在很快的时间内提供输出。比如，你可以让它帮你把图片中的内容转成 Markdown 格式，或是分析图上讲了什么。

MiniCPM-V 拥有超级优秀的 OCR 能力。MiniCPM-Llama3-V 2.5 可接受 180 万像素的任意宽高比图像输入，在OCRBench 得分达到 725，超越 GPT-4o、GPT-4V、Gemini Pro、Qwen-VL-Max 等商用闭源模型，遥遥领先！

借助最新的 RLAIF-V 对齐技术，MiniCPM-Llama3-V 2.5 具有更加可信的多模态行为，幻觉率已经显著低于 GPT-4V-1106，来到了开源模型的 TOP1 宝座。

无论你使用的是 Windows、Mac 还是手机，MiniCPM-V 都能兼容你的设备提供本地部署方案。当然，Huggingface 的在线体验 demo 也已经发布。感兴趣的小伙伴，可以根据条件自行试试。

在线体验地址：

https://huggingface.co/spaces/openbmb/MiniCPM-V-2

项目地址：

https://github.com/OpenBMB/MiniCPM-V

二、VirtualWife

VirtualWife，虚拟老婆？一个令人激动，又有一点害羞的名字，事实上，这是一款虚拟数字人项目。基于 Python 开发，运用了自然语言处理（NLP）和机器学习技术，你可以创建属于自己的 AI 伴侣。

不知道大家是否有了解过前些年大火的游戏《主播女孩重度依赖》？在游戏中，玩家作为男友陪伴患有心理疾病的主播女友，不断攻略发展，最终走向不同的结局。

即使拥有20多种不同的结局和拉满的小细节，游戏的内容始终是人们设定好的。现在，VirtualWife 项目可以让我们真正的实现虚拟伴侣，不再是类似 Galgame 的交互，而是配合人工智能技术，实现你本人“私人订制”的伴侣。

实现 VirtualWife 的核心是 NLP 技术。NLP 即 Natural language processing，自然语言处理。这使得 AI 可以通过自然语言输入进行语义的理解和分析，并且能给出相应的输出。同时，随着交互越来越深入，VirtualWife 会通过持续的学习，生成更具个性化的回复。

于是，经过一段时间的培养，一个可以陪伴你日常生活，听你倾诉，有问必答的虚拟伴侣就诞生了。下至生活琐碎，上至天文地理，对你的 VirtualWife 来说都不在话下。

如果你愿意的话，通过 VirtualWife 创造的虚拟伴侣可以支持B站直播，你可以在直播间的弹幕里发信息，它会像一个真正的虚拟主播一般回复你。