参考:
- 使用SA模型
https://ai.meta.com/research/publications/segment-anything/
- 讲解生物学意义
https://www.nature.com/articles/s41593-024-01714-3#Sec13
x.0 workflow
- 图像分割方法识别出重要的ROI区域
- 计算ROI区域个数(需要计算机算法,参考论文OpenCV可以做到)
- 用交并比知识计算两个ROI区域的重合度,大于一定值则算叠加态
x.1 使用 segmentation anything 尝试解决
网址https://segment-anything.com/demo
meta自带方式解决,
问题:红色图像信噪比很差很难分割出来;绿色图像背景信噪比较高;
解决方案:增加阈值法;高斯滤波;背景扣除;形态性滤波;
x.2 优化
- 使用聚类
识别数量1,不佳;
- 使用otsu阈值法,形态性去除背景法
彩色识别的区域数量明显上升,但是仍然有很多需要黑色的地方未识别出来。
信噪比好的图片不做处理效果也很好;
x.3 改进方法
可能原因:
查阅论文 https://ai.meta.com/research/publications/segment-anything/
虽然训练数据集高达1 billion,但是缺少医学相关数据,且对色彩饱和度照片效果好,对信噪比较差的如生物成像效果差;
改进方法:
- 增加标注工作制作专用数据集
- 寻找更多的数据处理方法,如增加信噪比优化的方法
- 实验过程中增加信噪比(最立竿见影的方法),如曝光时间