让我们应用我们的第一条经验法则。我们产品的用户期望为每个文档正确分配部门标签。但是，有跨学科的论文，所以也许每个文件都没有一个正确的答案。这在正确和不正确之间创建了一个有点模糊的界限。我们可以定义一些简单的规则来合理地约束问题。物理论文将始终包含数学内容，但哲学和教学论文可能除外。然而，这并不意味着每篇带有物理标签的论文都应该有数学标签。事实上，假阳性的扩散比假阴性的扩散要糟糕得多。像这样的应用程序的用户可能正在搜索或浏览论文。如果几乎每篇物理论文都有数学标签，那么看数学论文的人将需要浏览所有物理论文。如果我们不支持多个标签，则意味着跨学科论文的可发现性会降低。我们可以通过与标签间协议和迭代标签技术相关的技术来解决后一个问题。不过，就目前而言，我们应该在我们的指南中明确指出，不允许贴标人指定多个标签。相反，我们将指示贴标者选择与给定文档最匹配的部门。我们应该在我们的指南中明确指出，贴标者不得指定多个标签。相反，我们将指示贴标者选择与给定文档最匹配的部门。我们应该在我们的指南中明确指出，贴标者不得指定多个标签。相反，我们将指示贴标者选择与给定文档最匹配的部门。

第二条经验法则是不要不自然地限制任务。似乎我们已经按照第一条规则做到了这一点。我们通过确保不止一个人看到每篇论文来开始减少这个问题。这确实意味着工作量将增加一倍或更多，具体取决于我们希望每篇论文有多少眼睛。

因此，我们的指南将指导我们的贴标者为每个文档选择最佳的部门标签。它会警告他们歧义是可能的。我们还需要在指南中包含示例。我通常喜欢展示几个标签容易辨别的清晰例子和一个模棱两可的例子。例如，将爱因斯坦关于狭义相对论的论文“论动体的电动力学”作为物理学论文的一个明显例子。您希望尽早为您的标注员做好准备以应对模棱两可的情况，这样他们在遇到模棱两可的示例时就不会脱轨。

即使使用外部贴标机（为不同组织工作的贴标机），最好在内部测试指南。我建议从你的团队中找一些人，让他们阅读指南并判断一些例子。在此之后，与您的产品负责人一起查看示例，如果可能的话，与利益相关者一起查看这些示例。写作指南迫使你写下你的许多假设。通过让其他人使用您的指南并评估结果，您可以检查这些假设。

贴标商间协议的另一个用途是找到在任务上有困难的贴标商，或者没有努力实际贴标的贴标商。如果您发现某个贴标商与其他贴标商的一致率较低，您可能需要查看他们的工作。对此可以有许多可能的解释。以下是一些可能的原因：

• 您的指导方针含糊不清
• 他们对指南的解释与其他贴标者不同
• 他们在这件事上拥有不同的专业知识，导致他们得出不同的结论
• 他们没有阅读指南，也可能没有在标签上付出努力

在跳入恶意之前，您可能应该排除其他解释。如果它是前两种解释之一，您可以适当地调整您的指南。如果是第三种解释，那么你应该考虑他们的结论是否对你的产品有效。如果是这样，那么标签很好，但问题可能比您最初想象的要困难。如果结论无效，那么您应该在指南中提供有关此类示例的指导。如果您认为这是出于恶意，那么您应该丢弃这些标签，因为它们会给您的数据添加噪音。

可能对标签之间协议最有用的用例是找到模棱两可的例子。在您查看了标签之间的协议并认为标签质量良好后，我们可以考虑使用不同的标签作为示例，以表明它是否有歧义。首先，我们应该找到它的普遍性。如果四分之一的研究论文有多个标签，那么您可能希望将其视为多标签问题而不是多类问题。如果只有少数文档有多个标签，那么您可以简单地采用具有多数支持的标签，或者如果捆绑则随机。或者，您也可以将多个标签保留在验证集和保留集中。这将使您的训练数据保持一致，但不会因为您推荐有效的替代方案而受到惩罚。我们可以用来处理标签歧义的另一种技术是迭代标记。这让我们可以使用贴标机匿名检查彼此的工作。

迭代标记

第一项任务是将研究论文发送给了解论文语言的本科生贴标员。然后将论文发送给第一个标注员指定的部门的研究生，该研究生也知道该语言。第二个贴标者，即毕业生，只会验证第一个贴标者的工作。这有一些优点和缺点。这意味着可能更昂贵的毕业生的工作量更少，这为我们节省了钱。这也意味着分配给部门的研究论文由部门中的某人进行审查。缺点是它要求每个部门语言对都有一个研究生，这可能是不可能的。您可以通过允许研究生自愿​​代表他们熟悉的部门来缓解这一要求。例如，

迭代标记也可用于将复杂任务简化为一系列简单任务。这在与文本相关的标签中特别有用。让我们看一下与文本相关的标签的一些特殊注意事项。

标记文本

清单

考虑有关您的项目的以下问题：