微软开发的 Florence-2 系列模型,使用提示(prompt-based approach)来处理不同的视觉任务。
通过改变提示,模型可以执行不同的任务,例如:
- 描述(Caption)
- 详细描述(Detailed Caption)
- 更详细描述(More Detailed Caption)
- 描述到短语定位(Caption to Phrase Grounding)
- 目标检测(Object Detection)
- 密集区域描述(Dense Region Caption)
- 区域提议(Region proposal)
- 光学字符识别(OCR)
- 带区域的 OCR(OCR with Region)
可以在 HF Space 上免费使用, 也有一个非官方的 ComfyUI 节点实现