该论文介绍了 BackTAL,这是一种利用背景点击监督进行弱监督时序动作定位的新方法。 它将焦点从动作帧转移到背景帧,通过强调背景错误来改进定位。 BackTAL 包含分数分离模块和亲和力模块,增强了位置和特征建模。
Background-Click的说明
Click 点击级别监督的说明:如上图(a)动作点击监督(橙色显示)在每个动作实例中随机点击一次,记录时间戳和分类标签,是SF-Net使用的。(b)本文使用的背景点击监督(红色显示)在每个背景段内随机点击一次,并记录时间戳。
Score Separation Module 分数分离模块
分数分离模块旨在解决传统弱监督动作本地化范式的局限性。 具体来说,该模块旨在改进 top-k 聚合过程和帧级监督分类,这在以前的方法中区分动作和背景帧不够有效。 下面深入介绍一下分数分离模块的功能和机制:
- 解决传统方法的局限性:传统的弱监督动作定位范式依赖于 top-k 聚合过程,该过程无法明确影响混乱的帧,从而导致定位不太准确。 此外,像 SF-Net 这样的帧级监督分类