早期痛点
识别图片中的物体，早期可以使用Yolo
但是缺点也很明显：
- 训练时间长
- 成本高
- 泛华性能差
- 通用识别领域覆盖有限
优点：
- 特殊领域识别
大模型出现
大模型出现后，一些大模型对接了图片识别相关的模型，实现了图片识别，然后转换成文本再返回给大模型。
这样，基本实现了识别图片中存在的物体，但是仍然无法代替一般的Yolo应用，因为它无法提供物体在图片中的坐标信息。
因为图片模型“转换成文本再返回给大模型”，丢失了很多信息，无法完成这样的需求。
多模态大模型如何代替Yolo
主要逻辑是这样的：
- 建立坐标系
- 使用prompt规范模型输出
建立坐标系
-
先对图片进行预处理，在图片上覆盖一层浅白色的遮罩
-
然后用绿色的线条，将图片划分为网格，比如18x18
-
然后在网格的边缘添加红色的数字代表坐标
-
输出处理后的图片
使用prompt规范模型输出
- 要求模型输出json
- 要求识别图片中特定物体，然后输出其坐标系
有时间我会更新ipynb到文章
Deng-Xian-Sheng. (2024). 【多模态大模型】的正确打开方式——图片 [The correct way to open [multimodal large models] - pictures]. CSDN. https://blog.csdn.net/Deng_Xian_Sheng/article/details/141820139
