浙大的SAMTrack,自动分割和跟踪视频中的任何内容

news2024/11/28 22:51:02

Meta发布的SAM之后,Meta的Segment Anything模型(可以分割任何对象)体验过感觉很棒,既然能够在图片上面使用,那肯定能够在视频中应用,毕竟视频就是一帧一帧的图片的组合。

果不其然浙江大学就发布了这个SAMTrack,就是在SAM基础上的能够分割视频中的对象而且能够实时追踪,开源地址:Segment-and-Track-Anything 看来在AI领域真的是日新月异啊,技术的更新迭代之快前所未有。

上传图片或视频之后会识别里面的所有对象,也可以进行单个与多个的选择和取消

 

 

 

代码的执行如下:

#克隆SAMTrack仓库
!git clone https://github.com/z-x-yang/Segment-and-Track-Anything.git
%cd /content/Segment-and-Track-Anything

#安装相关依赖库
!bash script/install.sh

#下载ckpt
!mkdir ./ckpt
!bash script/download_ckpt.sh


#运行WEB界面
!pip install gradio

#最后执行python文件之后,将出现URL地址进行测试
!python app.py

然后就是上传视频,进行任何对象的分割与追踪了,还可以将转换之后的视频进行下载!

这里对视频的处理,所以对硬件会有一定的要求,一般的配置估计都比较老火,最好在云上面运行,里面有直接在谷歌云中进行上传处理的界面,需科学上网!

最后来看个直观的视频,看下这个分割与追踪的效果

浙大的SAMTrack视频分割对象和实时追踪

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/474234.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

编译预处理以及相关面试

编译预处理 1、宏定义1.1、 无参宏定义1.2、使用宏定义的优点1.3、宏定义注意点1.4、带参数的宏(重点)1.5、条件编译1.6、宏定义的一些巧妙用法(有用)1.7、结构体占用字节数的计算原则(考题经常考,要会画图)1.8、#在宏定义中的作用&#xff0…

[Android Studio Tool]如何将AS的gradle文件迁移到D盘

解决学习安卓的过程中,使用Android Studio来进行开发导致的C盘空间占用的问题。 首先,找到C盘中的.gradle文件的位置 一般会在我们的系统盘的用户文件下。 然后把一整个.gradle文件剪切,粘贴到其它盘(比如D盘)的根目录下 打开Androdi Stu…

QT菜单样式Ribbon Control for Qt, Office ribbon control

基于Qt(最低要求Qt5,支持C11的编译器)开发的一个轻量级的Ribbon控件(Office样式UI) 使用Qt Creator直接打开SARibbon.pro,并编译即可,会编译出SARibbonBar库和一个(目前只有一个例子)例子&#…

7.0、Java继承与多态 - 多态的特性

7.0、Java继承与多态 - 多态的特性 面向对象的三大特征:封装性、继承性、多态性; extends继承 或者 implements实现,是多态性的前提; 用学生类创建一个对象 - 小明,他是一个 学生(学生形态)&…

nginx(七十二)nginx中与cookie相关的细节探讨

背景知识铺垫 一 nginx中与cookie相关 ① Cookie请求头内容回顾 cookie的形式和属性 ② nginx获取cookie值的两种方法 1) $http_cookie -->获取Cookie请求头"所有值"2) $COOKIE_flag -->获取Cookie请求头的"某个key"[1]、脱敏场景在日志中只…

【操作系统复习】第6章 虚拟存储器 1

前面所介绍的各种存储器管理方式,有一个共同特点:作业全部装入内存后方能运行 问题: ➢ 大作业装不下 ➢ 少量作业得以运行 解决办法: ➢ 方法一:从物理上增加内存容量,成本高 ➢ 方法二:…

Android Input系统事件分发分析

“本文基于Android13源码,分析Input系统中,事件分发的实现原理“ 整个事件分发到事件的确认过程很长,如果读者只是想大概了解一下,可以直接看末尾总结部分的流程图。 1. 前言 在文章之前,有必要提一下InputReader。其…

创建NAT模式KVM虚拟机

创建NAT模式KVM虚拟机 1 添加脚本执行权限(上传脚本文件至root目录)。 首先需要给脚本赋予执行权限。 # chmod x qemu-ifup-NAT 2 启动虚拟机。 通过命令启动虚拟机。(记得安装net-tools) # yum install net-tools -y # qemu-kvm -m 1024 -drive fi…

注解-Annotation

一. 注解解析 1.1 注释和注解的区别?(掌握) 共同点:都可以对程序进行解释说明。不同点:注释,是给程序员看的。只在Java中有效。在class文件中不存在注释的。当编译之后,会进行注释擦除。 注释…

了解标量、向量和点积

数据科学基础数学:线性代数简介 了解标量、向量和点积 机器只能按着算法理解和处理数据结构存储的数字. 例如创建垃圾邮件检测器,则首先必须将文本数据转换为数字(通过单词嵌入)。 两个句子之间的余弦相似性 两个句子之间的余弦相似性可以通过它们的向量…

【软件相关】Proteus仿真STM32记录

文章目录 0 前期教程1 前言2 先说说建议的流程3 需要注意的事项3.1 供电网配置不要忘了3.2 ADC模块的使用3.3 元器件查询手册 4 一些小技巧 0 前期教程 【软件相关】Proteus 8入门教程 1 前言 最近接了一个项目,是基于Proteus仿真STM32的,虽然此前有听…

软件开发过程中,前期准备的重要性

需求人员,有时候,一开始,并不完全确定自己想要的是什么 因此,值得花费时间,找出他们真正想要的东西 因为,改动的代价,可能代价会是巨大的 构建之前清除一个错误的成本 ( 1 10 ∼ 1 100 ) 开发过…

Mysql 触发器 -> 监控 -> 表 修改前后的 数据 -> 日志

0. 课程视频 https://www.bilibili.com/video/BV1Kr4y1i7ru?p116&spm_id_frompageDriver&vd_sourceff8b7f852278821525f11666b36f180a 1. 简介 1.1 是对象->与表有关 1.2 校验数据完整性 -> 日志记录 1.3 在 insert / update /delete 前后触发 1.4 支持行…

权限提升:Mysql 数据库 .(UDF || 启动项 || 反弹)

权限提升:Mysql 数据库. 权限提升简称提权,由于操作系统都是多用户操作系统,用户之间都有权限控制,比如通过 Web 漏洞拿到的是 Web 进程的权限,往往 Web 服务都是以一个权限很低的账号启动的,因此通过 Web…

〖ChatGPT实践指南 - 零基础扫盲篇⑨〗- OpenAI API 的数据使用政策以及使用限制

文章目录 ⭐ OpenAI API 数据使用政策⭐ 关于 API 数据的一些通用型问题⭐ OpenAI API 数据使用政策的限制 该章节为各位小伙伴介绍以下 OpenAI 的API 数据使用政策,这部分的内容是 OpenAI 官方为我们提供的一份文档,这份文档说明了官方在为我们提供的AP…

Python小姿势 - ## 一、Python多进程编程

一、Python多进程编程 在上一节,我们学习了Python的多线程编程,这节我们学习一下Python的多进程编程。 多进程和多线程比较类似,区别在于多进程是指在一个应用程序中同时运行多个进程,而多线程是指在一个进程中同时运行多个线程。…

ovs-vsctl 命令详解

ovs-vsctl 命令详解 网桥Bridge 创建 Bridge ovs-vsctl add-br br0 删除 Bridge ovs-vsctl del-br br0 列出 Bridge ovs-vsctl list-br 显示详情 ovs-vsctl show 端口 Port 添加端口 ovs-vsctl add-port br0 p1 其中br0 为上面添加的bridge p1可以是物理端口或者vN…

50道web前端工程师面试题及答案解析,你学会了吗

简介:本文包含了50个实用的前端面试题及答案解析,涵盖了HTML、CSS、JavaScript、DOM、Ajax、MVC、模块化、ES6、SPA、Webpack、Babel、Virtual DOM、响应式设计、移动优先设计、响应式图片、CSS 预处理器、后处理器、模块化、布局、盒模型、浮动、定位、…

国民技术N32G430开发笔记(5)- 基本定时器TIM6的使用

基本定时器TIM6的使用 1、设置一个定时器,100ms一次去开关LED灯 2、tim6的初始化代码: 大部分代码来自官方demo /****************************************************************************** Copyright (c) 2019, Nations Technologies Inc.** …

python毕业设计之django+vue专业手语翻译工作室预约管理系统

发起预约:用户选定某翻译员发起预约,进行预约信息填写,主要内容有联系电话、工作方式、场合、时间段;或发起预约,填写预约信息,筛选翻译员,可按关键词筛选或等级筛选。发起预约时间需至少提前服…