Meta发布的SAM之后,Meta的Segment Anything模型(可以分割任何对象)体验过感觉很棒,既然能够在图片上面使用,那肯定能够在视频中应用,毕竟视频就是一帧一帧的图片的组合。
果不其然浙江大学就发布了这个SAMTrack,就是在SAM基础上的能够分割视频中的对象而且能够实时追踪,开源地址:Segment-and-Track-Anything 看来在AI领域真的是日新月异啊,技术的更新迭代之快前所未有。
上传图片或视频之后会识别里面的所有对象,也可以进行单个与多个的选择和取消
代码的执行如下:
#克隆SAMTrack仓库
!git clone https://github.com/z-x-yang/Segment-and-Track-Anything.git
%cd /content/Segment-and-Track-Anything
#安装相关依赖库
!bash script/install.sh
#下载ckpt
!mkdir ./ckpt
!bash script/download_ckpt.sh
#运行WEB界面
!pip install gradio
#最后执行python文件之后,将出现URL地址进行测试
!python app.py
然后就是上传视频,进行任何对象的分割与追踪了,还可以将转换之后的视频进行下载!
这里对视频的处理,所以对硬件会有一定的要求,一般的配置估计都比较老火,最好在云上面运行,里面有直接在谷歌云中进行上传处理的界面,需科学上网!
最后来看个直观的视频,看下这个分割与追踪的效果
浙大的SAMTrack视频分割对象和实时追踪