声音事件检测metric：PSDS

论文；A FRAMEWORK FOR THE ROBUST EVALUATION OF SOUND EVENT DETECTION

Abstract

这项工作为多声道声音事件检测（SED）系统的性能评估定义了一个新的框架，它克服了传统的collar-based事件决定、事件F-cores和事件错误率的限制。拟议的框架引入了对事件检测的定义，该定义对标签的主观性更为稳健。它还采用了多声道接收器操作特性（ROC）曲线，以提供比F1分数更全面的系统性能洞察力，并建议将这些曲线简化为单一的多声道声音检测分数（PSDS），这允许系统独立于操作点（OPs）进行比较。所提出的方法还能更好地了解不同声音类别的数据偏差和分类稳定性。此外，它可以根据不同的应用进行调整，以满足各种用户体验要求。通过重新评估DCASE 2019年任务4中的baseline和两个表现最好的系统，证明了拟议方法的好处。

Introduction

在[9,10]中提出了按事件划分的错误率和按段划分的错误率，并在最近的DCASE版本[5-8]中部署，作为以前基于帧的衡量标准[4]的一个进步。然而，他们目前的形式仍然忽略了以下关键问题。

对操作点的依赖性：在同一指标下，具有不同决策阈值的同一系统可能得到不同的性能排名。换句话说，这种指标将声音事件建模的评价与操作点调整的评价混为一谈[11]。这个问题在信号检测理论中得到了很好的研究，特别是在二元分类、关键词识别和说话人识别中[12-14]，其中ROC曲线[15]、检测误差权衡（DET）曲线[16]或曲线下面积 (AUC)指标[17]被用来评估一个给定系统在一系列操作点上的整体性。然而，这种做法还没有被SED界广泛采用。

声音事件的定义：[9、10] 中定义的基于事件的指标依赖于collar，collar是对检测到的事件相对于标记的ground truth事件 [5-8] 的开始和结束时间的约束。 collar的使用本质上非常强调声音事件的开始和结束时间，而这些时间可能在人类标注员的主观反馈。因此，为了模型的稳定性，评估标准应该为解释实时ground truth和检测时间的时间结构留出足够的空间。在这方面，[18] 提议通过依赖实时ground truth和检测到的事件之间的交集百分比来决定时间序列数据异常检测的真阳性（TPs）和误报（FPs）

多类系统中的先验概率、假阳性和交叉触发器：交叉触发器（CTs）cross-trigger是与多类系统中另一个标记的类别相匹配的假阳性子集。将CTs的行为与FPs的原始数量区分开来，可以深入了解数据的偏差，对于声学上相似的声音类别尤其如此。事实上，多类评估数据集可能会变得有偏见，即对某些目标类的TP进行可靠评估所需的数据量可能会与现场先验不一致。例如，破窗玻璃在实践中很少发生，然而对破窗玻璃的TP的可靠评价需要大量的阳性类样本，这又可能人为地增加其他冲击性类的FP计数。因此，对CT的核算有助于分析FP是否是由数据偏差而非声学模型缺陷造成的。

Background

2.1 声音事件检测的定义

Definition1(Event-Based SED Evaluation Task)

$Y=U_{c∈C } Y_c$ 是一个数据集，它是每个类别c∈C的ground truth子集的联合
定义为 $Y_c = \{y_i = (t_{s,i}, t_{e,i}, c_i): c_i = c\}$
其中每个真实标签 $y_i$ 是由其类别 $c_i$ 、开始时间 $t_{s,i}$ 和结束时间 $t_{e,i}$ 定义。
$X^{∗} = U_{c∈C} {X^∗_c}$ 是一个检测集合，是每个类别c∈C的检测子集的联合，定义为 $X^∗_c = \{xj = (t_{s,j}, t_{e,j}, c_j): c_j = c\}$ ，其中每个检测 $x_j$ 由其类别 $c_j$ 、开始时间 $t_{s,j}$ 和结束时间 $t_{e,j}$ 定义，其中星级符号∗表示对操作点参数 $\tau_c$ 的依赖。
SED评价任务被定义为衡量系统在给定的 $Y$ 下输出 $X^∗$ 的性能。

重要的是，评估中的SED系统是在给定工作点（OP）参数 $\tau_c$ , ∀c∈C的情况下发出检测集合。一般来说， $\tau_c$ 的作用是调整SED系统的容许性（permissiveness）。例如，对于发出分类分数的SED系统，如类别概率， $\tau_c$ 可能是一组与类别相关的阈值，其中较高的阈值会使系统更有控制性，即发出系统更有信心的声音检测，而较低的阈值会让更多的检测通过，从而使系统更有容许性。这里可以采用各种优化策略：一些系统可能会选择在将框架决策纳入事件检测之前优化框架分类，而其他系统可能会在优化事件级阈值之前形成事件分数。本文提出的评估方法旨在涵盖所有操作点可以改变的SED系统，无论其颗粒度如何。

2.2 传统collar-based方法的限制

collar-based方法中对于 $y_i$ 被正确检出的标准是：
$\exists x_i \in X^*_c$ such that $t_{s,i} − t_c) ≤ t_{s,j} ≤ (t_{s,i} + t_c)$
$(t_{e,i} − \bar t_c) ≤ t_{e,j} ≤ (t_{e,i} + \bar t_c)$
$t_c$ : collar duration
$\bar t_c$ : collar duration 和预定义比例的 ground truth duration

即：检测出的start和end在collar的限定范围内

然而，collar引入了一个限制，可能会阻碍系统评估。事实上，SED的现场应用经常遇到这样的情况：由于对声音事件的时间结构的主观解释，一个声音可以被合理地标记为一种以上的方式。例如，一只狗反复吠叫，人类听众可以合理地解释为一只狗的吠叫事件，也可以解释为几只单独的狗的吠叫事件，详尽的标签规格在实践中难以定义和执行。使用collar的效果是迫使这些解释中的一个或另一个产生分类错误，而更理想的是SED评估在设计上对这种合理的groundtruth标记的变化变得稳健。

3. PROPOSED EVALUATION FRAMEWORK

3.1 对SED任务的TPs、FPs和CTs的更有力的定义

Definition 2 (Detection Tolerance Criterion - DTC)

请添加图片描述
$X^*_{DTC,c}$ :检出的事件的检测结果与ground truth的重合部分 / 检测结果的duration >= 阈值
False Positive: 个类别 $\bar X^*_{DTC,c}$ 的集合， $\bar X^*_{DTC,c}$ 定义为 $X^*_{c}$ 中排除 $KaTeX parse error: Undefined control sequence: \X at position 1: \̲X̲^*_{DTC,c}$ 的部分，即未达到阈值的部分。

Definition 3 (Ground Truth intersection Criterion - GTC)

请添加图片描述
GTC创建了一个正确检测到的ground truth事件集
$Y^*_{GTC,c}$ DTC和ground truth的重合部分 / ground truth duration >= 阈值

DTC和GTC计算ground truth标签和检测到的事件之间的交集百分比。我们的方法的不同之处在于，在计算最终的性能数字之前，对交叉点进行阈值计算，以计算TPs/FPs。在我们的工业数据集上观察到，标签者之间的分歧主要发生在事件的边界，例如，声音事件逐渐消失或由边界有待解释的单元组成，基于交集公差而不是边界领的方法本质上更稳健，如图2a所示。
回到定义2，一些FP可能是由于特定的数据偏差，可能会浮现为目标声音类别之间的混淆。因此，定义4中引入了交叉触发容忍度准则（CTTC），允许单独计算CT，如图2b所示。
请添加图片描述

Definition 4 (Cross-Trigger Tolerance Criterion - CTTC)

请添加图片描述
事件i的ground truth与事件j的检出的重合 / 事件j的检出duration >= 阈值（i不等于j）

3.2. Performance metrics relevant to user experience

用户体验会收到FPs出现频率的影响请添加图片描述
其中 $T_y$ 是数据集所有音频的 total duration
TP的性能是以检测到的事件的比例来衡量的，而FP和CT的性能是每单位时间的比率。
针对已识别的声音类的交叉触发可能会引发更多的负面用户体验，effective FP rate (eFPR)：请添加图片描述
参数 $\alpha_ct$ 代表CT在评估的SED应用中对用户体验的成本。
系统行为可能无法保证每个操作点都形成凸的或单调的类相关ROC曲线，可能会有一些操作点会较其他操作点在更高的 eFPR 生成更低的 TP 比率。

如果相邻的点能提供更好的权衡，这些点将永远不会被选为产品的实际操作，这些操作点最后会被丢弃掉以形成一个最大的best case操作点集合： $\hat O_c = O_c - \bar O_c$