ABSTRACT

  在当今时代，社交网络被用作分享个人思想和观点的重要媒介。其背后的主要原因是，它可以轻松地在公众中快速传播信息，并且访问成本非常低。这导致在线社交媒体成为鼓励虚假内容并影响公众舆论及其决策的垫脚石之一。谣言是社交媒体上误导性信息的主要形式之一，应尽早发现，以避免其产生重大影响。由于这些原因，研究人员在过去几年中对开发有效的谣言检测框架产生了浓厚的兴趣。在本文中，我们主要关注了六个主要方面。首先，我们从现有技术中考虑的定义角度讨论谣言，并描述谣言检测的广义模型。其次，我们讨论如何从不同的社交媒体平台获取数据，并提出各种最先进的方法来收集这些数据以及公开可用的数据集。第三，我们描述了谣言检测方法中考虑的一组不同的特征。第四，我们深入了解用于谣言检测的各种方法及其对多媒体数据（文本和图像）的准确性评估，并具有一些实际意义。而在第五方面，讨论了研究的局限性。最后，我们得出了有用的发现并提出了未来的方向。

关键词：在线社交媒体谣言检测、评论真实性

1.Introduction

  随着互联网和技术的出现，大量的信息内容以多媒体数据（文本、音频/语音、图像）的形式呈现。这些内容以积极、消极和中性的方式影响人们的心态。由于恶作剧（故意捏造的信息）、虚假新闻/谣言等形式的虚假内容的存在，在线社交媒体上呈现的内容有时会误导人们。

图 1. 社交网络上呈现的误导性多媒体内容示例。

图 1 展示了社交媒体和网络上发布的一些误导性多媒体内容的示例。图1(a)显示了美国总统选举期间WTOE 5News传播的假新闻故事之一，图1(b)显示了福克斯新闻报道的布拉德·皮特的虚假死亡故事，图1(c)显示美国一场重大飓风后发布的假鲨鱼图像示例，图 1（d）显示了与 Sonali Bender 之死相关的恶作剧在社交媒体上传播。因此，内容的可信度是社交网络上最大的问题之一，需要对这些内容进行科学分析。虚假信息在社交媒体上以多种不同形式呈现（Zannettou、Sirivianos、Blackburn 和 Kourtellis，2019）；其中最突出的形式之一就是谣言。谣言可以被定义为通过互联网传播的任何其真实性尚未被证实的信息，无论是真实的、虚假的还是未经证实的。

在 1.1 节中，我们详细讨论了谣言的各种最先进的定义。多媒体内容谣言研究是重要的研究领域之一，原因如下：

• 为了维护社交媒体内容的可靠性，每个人都希望得到真实的数据，由于虚假信息的传播，社交媒体平台失去了用户的信任。

• 减少人们因错误信息而产生的争议。 • 有时发布内容是为了引诱用户打开文章，但内容与标题信息不匹配，从而降低了用户体验。 • 虚假信息在情感上阻碍公众情绪（Shen 等，2019）。

• Twitter、新浪微博、Facebook、博客、微博和意见分享网站等社交网站的广泛使用使得人们可以自由地表达他们对任何事件的想法、情感和感受。

• 社交媒体平台被广泛用于传播突发新闻和热门对话，其中可能包含与现实世界中发生的事件相关的未经证实的内容。

• 网络互连的出现导致高风险（Moya, Chica, Sez-Lozano, & Cordn, 2017; Sun, Zhang, Kang, Zhu, & Fu, 2016; Fu, Christakis, & Fowler, 2017）谣言、病毒等危险对社会造成有害影响。 2010 年智利地震就是例子之一，社交网站上的谣言传播造成了人们的混乱和混乱。

• 2018 年 8 月第二个周末在芝加哥发生的最新虚假信息事件涉及 600 起谋杀案，给社会带来了破坏性的严重负面影响（Zhang、Alim、Li、Thai 和 Nguyen，2016），并带来了恐惧和焦虑人们之间。

• 如今，人们经常从在线社交媒体上寻找与医疗保健相关的信息和知识，但并非所有这些来源都能提供可靠的信息，从而导致谣言的传播。

• 用户之间的在线信息共享在社交网络上产生大量数据。这允许用户直接发布他们的想法和意见，而无需任何可信的外部控制，因此它是鼓励错误信息或谣言的垫脚石之一。
从以上几点可以看出，早期发现谣言是关键任务之一。为了减少误导性多媒体内容的传播，在线社交媒体平台可以采取以下建议。

• 在第一个提案中，社交媒体平台应实施未经政府核实不得发布任何内容的政策真实来源。该提案对于打击假货很有用，但灵活性非常差，因为现在人们无法自由表达自己的想法，而这是社交网络的重要目标之一。因此，它可能会被社交媒体平台拒绝。

• 在第二个提案中，社交媒体平台本身应采取在发布之前首先对内容进行检查的政策。所发布的内容无害或包含虚假信息。

   检测社交媒体上的虚假信息是新兴的研究领域之一。虚假信息的一些主要形式是谣言和假新闻。

图2. 历年用户对谣言和假新闻的搜索次数（https://trends.google.com/trends/explore?date =today%205-y&q=%2Fm% 2F01lp7x,Fake%20news ）。

图2显示了过去5年人们对假新闻和谣言主题的网络搜索的比较趋势分析。从图2可以看出，从2015年到2020年，人们对谣言的认知度比假新闻更高，然而，2016年美国总统大选后，随之而来的争议引发了人们对假新闻的巨大兴趣。过去两年。近年来发表了许多与谣言检测相关的研究。然而，这项调查纳入了该领域的一些著名著作。过去七年中考虑参与该研究的文章百分比如图 3 所示。

图 3. 过去 7 年谣言分析文章的百分比

1.1. Rumours: From definition perspective

  在本节中，我们将讨论最先进的谣言定义的各种定义。据观察，一些作者错误地定义了谣言（Cai、Wu 和 Lv，2014）。 Liang、He、Xu、Chen 和 Zeng (2015) 的作者将谣言定义为被认为是虚假的信息。然而，他们中的许多人将谣言定义为发布时未经证实的信息（Yang，Wang，Zhang，Zhang，＆Zhang，2015）。在本文中，我们将谣言定义为任何在互联网上传播且其真实性尚待验证的信息，无论是真实的、虚假的还是未经证实的。谣言可以被定义为可能引起争议且其事实的陈述。需要验证（Zhao，Resnick，＆Mei，2015），而（DiFonzo＆Bordia，2007）的作者将谣言定义为未经验证的信息，以三种方式之一结束；要么得出正确或错误的结论，要么仍然悬而未决。谣言也被定义为在社交网络上迅速传播的未经证实的信息。它可能会在紧急事件的整个谣言活跃期（之前、之后和之后）传播错误信息（无效信息）或虚假信息（故意不准确的信息）（Kumar＆Shah，2018）。在（Zubiaga、Liakata、Procter、Bontcheva 和 Tolmie，2015a）中，作者采用了（Zubiaga、Liakata、Procter、Bontcheva 和 Tolmie，2015c）中提供的谣言定义，作为在社交网络上传播的怀疑其真实性的故事，这是值得信赖的，但难以验证，并会导致产生足够的怀疑或不安。表 1 显示了最先进技术提供的一些重要定义，许多其他研究人员正在遵循这些定义。

1.2.谣言检测和真实性评估的通用模型

  这里讨论最先进的谣言检测和准确性评估所采用的通用模型。一般来说，这些问题是相互关联的，首先，模型需要从帖子集合中识别出哪个主题或帖子是谣言，然后需要确定谣言的真实性。从真实性来看，我们的意思是谣言帖子要么是真的，要么是假的，要么是未经证实的。

图 4. 社交网络中谣言检测和真实性评估的流程。

图 4 给出了谣言检测和准确性评估过程的图示。第一步是数据收集，大多数最先进的技术都采用两种不同的来源进行数据收集，要么通过社交媒体平台（Twitter、Facebook、YouTube、新浪微博等），要么通过谣言揭穿/事实检查网站（即 Snopes、事实检查等）。在下一阶段，应用数据预处理以使文本相关且精确。此外，提取特征，随后用于训练模型并将问题分类为二元类分类，以确定给定的帖子/主题是否是谣言，随后，可以验证内容的准确性是真实、错误或未经证实。该论文详细描述了在线社交媒体平台中的谣言检测。检测谣言是一项智能任务，因为它使用谣言检测框架/工具/插件自动分析网页内容，并开发智能警告机制，帮助自动向用户报告内容的可信度。本文主要关注谣言检测过程的三个关键阶段，即数据收集、特征提取和分类模型/技术。由此，对早期最先进技术进行了系统回顾，做出了以下主要贡献：

• 以表格形式找出并概述了先前审查工作的缺点。

• 这项调查的新颖之处之一是它涵盖了多媒体数据（文本和图像）的谣言检测（RD）和真实性评估（VA）。真正专门针对多媒体数据的谣言分析的文献有限。

• 这项调查的另一个新颖之处是它纳入了最新技术的重要发现，代表了主题/帖子可能成为谣言的情况，并且所有调查结果均以表格形式概述。

• 概述并讨论了有关谣言数据收集过程的关键因素，例如检测级别、利用的社交媒体平台、检测模型和事件类型。 • 这项调查涵盖了基于三种模型（传统、混合和深度学习）的最先进谣言检测和准确性评估的分类。所有这些类别主要根据以下因素（检测类型、特征、采用的方法和检测模型）进行分析，并设计出主题分类法。

• 确定了公开可用的数据集，并列出了它们的参数设置和挑战。 • 探索了早期的谣言检测和真实性分析方法，并讨论了它们的优点和缺点。

• 严格给出了在线社交网络中谣言检测和谣言真实性评估技术的当前挑战和可能的未来方向。

• 这项调查的优点在于，它为读者提供了一种简单的方法来从谣言检测和准确性评估所考虑的因素中收集知识。

  本文的整体结构按以下方式组织。第 1 节讨论引言，第 2 节讨论现有调查。第 3 节介绍了数据收集策略，第 4 节介绍了用于谣言分析的特征的简要描述，而第 5 节描述了文本和图像数据上的谣言分析（技术/分类模型）的详细分类，第 6 节描述了各种可用于谣言分析的服务和工具，而第 7 节讨论了该研究的局限性，最后，我们总结了以下方面的挑战和未来方向：

2.Previous reviews

   近年来，据观察有几项工作（Shelke & Attar，2019；Zubiaga、Aker、Bontcheva、Liakata 和 Procter，2018；Bondielli & Marcelloni，2019；Cao 等，2018；Gravanis，Vakali， Diamantaras, & Karadais, 2019；Meel & Vishwakarma, 2019）报告了谣言检测的研究。这些作品主要关注最先进的技术、功能和数据收集方法。 (Zubiaga et al., 2018) 的作者提供了最近关于谣言检测和解决的文献综述之一。作者研究了社交媒体上的谣言问题，并概述了用于遇到未经验证的信息的技术，以开发谣言分类系统，该系统由谣言检测、谣言跟踪、谣言立场分类和谣言准确性分类等组件组成。基于每个组件所采用的技术，对这四个组件进行了详细的探索和讨论。曹等人提供了另一篇评论。 (2018)，他们将谣言检测方法分为基于手工特征、基于传播的方法和基于神经网络的方法的三种范式。然而，Shelkeand Attar (2019) 给出了与该领域相关的另一篇综述，涵盖了社交网络中的源检测方法。现有文献对于提供有关谣言检测及其准确性评估的技术和其他重要措施的良好理解做出了足够的贡献，但具有以下限制和缺点，这些限制和缺点激励了我们的工作，如表 2 和图 5 所示。

表 2 强调了先前审查工作的贡献和局限性。

图 5. 比较图突出了现有技术的缺点

  我们的工作如表 2 和图 5 所示。图 5 简要显示了所提出的工作的新颖性，以及所提出的方案与其他最先进的调查的不同之处。任何不忠实代表其所指事件的内容都被称为误导性内容。社交媒体上存在不同形式的误导性内容，其中一些突出的形式是谣言、假新闻、恶作剧、点击诱饵。许多研究人员提供了关于检测误导性内容（包括不同形式）的概括性研究。据观察，关于谣言检测的具体研究很少，大多考虑文本数据分析。然而，非常有限的研究结合了图像和文本上的谣言检测的概念，这对拟议的调查做出了重大贡献。表 2 还强调了现有调查中发现的局限性及其贡献。拟议的文献调查克服了给定的局限性，并从以下几个方面对谣言检测和准确性评估方法进行了系统回顾：

• 这项调查的优点在于，它为读者提供了一种简单的方法，从谣言检测和准确性评估所考虑的关键因素（检测类型、功能、平台、事件类型、检测级别和检测模型）中收集知识。

• 这项调查涵盖了基于三种模型（传统、混合和深度学习）的最先进谣言检测和准确性评估的分类。所有这些类别主要根据以下因素（检测类型、特征、采用的方法、检测模型）进行分析，并设计出主题分类法。据我们所知，之前的调查都没有考虑到这些因素。

• 这项调查的另一个新颖之处在于，它结合了之前作品中的重要发现，这些发现代表了主题/帖子可能成为谣言的情况，并且所有发现都以表格形式概述，这提供了一种简单的方法来了解存在谣言的可能性得出一些重要的结论。

• 该调查纳入了各种应用并确定了主要的开放研究问题。

• 这项调查的新颖之处之一是它涵盖了文本和图像的谣言检测和准确性评估。以前很少有真正针对考虑多媒体数据的谣言分析的工作

接下来的部分详细介绍了最先进的谣言数据收集策略，考虑了一些关键因素，如检测级别（主题/帖子）、检测模型（传统、深度和混合机器学习模型）、使用的平台和事件类型的详细信息。

3.谣言数据收集策略

 社交媒体平台如今很流行，因为它们为用户提供了一种简单的方式来表达对任何事件的个人看法，这也可能成为传播谣言的垫脚石之一，这就是为什么从社交媒体平台收集大量数据使得谣言研究。社交媒体平台提供了一个简单且通过应用程序编程接口 (API) 收集和存储数据的快速方法（Lomborg & Bechmann，2014）。然而，数据收集不仅限于通过 API。从社交媒体和网络平台收集数据可以有不同的方法。

3.1. Access to social media data

  从社交媒体网站访问数据的方式有很多种；一些重要的数据访问方法如图 6 所示。

图 6. 从社交媒体访问数据的主要方式。

访问数据的方法之一是通过 API。 Twitter、新浪微博、Facebook 等在线社交媒体平台提供了旨在供其他软件应用程序访问的 API。 API 提供的明确定义的方法，应用程序可以使用该方法请求数据访问。每个平台都提供了完整的文档，让用户了解如何请求感兴趣的数据，例如 Twitter、1 新浪微博、2 和 Facebook。 3 谣言传播是社交媒体平台的一个重要问题，这是利用社交媒体数据进行谣言分析的关键。主要有三个突出的关键平台（Facebook、新浪微博和 Twitter），其中通过不同的最新技术进行了研究/分析（Zubiaga 等人，2018）。从 Twitter 报告中可以看出，其用户每天发布了近 9500 万条推文，这使得 Twitter 成为鼓励错误信息的垫脚石之一（Qazvinian 等，2011）。与 Twitter 一样，新浪微博也是最受欢迎的中国微博平台之一，但其某些方法受到限制（Liu & Xu，2016）。此外，新浪微博还提供官方辟谣服务，这是许多其他社交媒体平台所不提供的。访问社交媒体内容的其他方式是通过废弃网络（Python 中一些著名的库是 beautifulsoap、scrapy 等）或通过自动测试工具（如 selenium web 驱动程序）。

3.2. State-of-the-Art data collection approaches

  人们注意到，需要仔细的数据收集策略来建立具有相关信息的良好数据集，以开发有效的谣言检测系统。为了进行实验和评估，大多数作者使用 Twitter、新浪微博、YouTube 和 Facebook 等主要社交媒体平台或谣言揭穿网站（Snopes、Politifact、Fact Check 等）来收集数据（Zubiaga 等，2018），其中他们中的许多人应用基于关键字的过滤方法来收集与事件相关的数据（Driscoll＆Walker，2014）。表3显示了通过各种最新技术采用的数据收集方法的详细描述。关于谣言数据收集过程，考虑了四个关键因素，

如图7所示。第一个因素是检测描述采用哪种学习算法的模型（传统机器学习（TML）、深度学习（DL）或混合学习算法），第二个因素是检测级别，显示谣言检测是在个人帖子级别还是主题级别。在主题级方案中，已检查与特定主题相关的帖子集以确定该主题是否是谣言。在帖子级别，帖子内的信息已被检查以确定是否是谣言。第三个因素显示哪个平台已被利用，最后一个因素描述了数据收集所考虑的事件。

从表3可以看出，大多数研究人员都从事主题级别方案的研究，很少有工作被报道为后期级别方案。然而，也可以注意到，近两年来，研究人员正在向后期计划迈进。同样，可以发现，以往的研究大多采用Twitter平台进行数据收集，因为Twitter平台数据获取方便，所有内容都是公开的，而其他平台则存在一些限制。从表3还可以发现，早期的TML是广泛采用的学习机制，但由于手工制作的特征对于谣言分析不太有效且劳动密集，因此近两年研究也转向深度学习方法，以从文本数据中获取隐藏的表示并提取更有价值的信息。随着数据方案的收集，一些可用于检测谣言的著名现有数据集及其对多媒体数据的准确性评估如表4所示，从中可以看出，可用于谣言检测的标准数据集非常少，特别是在图像上，需要进一步关注。

4.Features used for rumor analysis

  特征提取是任何机器学习模型的关键阶段之一，在准确分类中发挥着重要作用。现有最先进的多媒体数据谣言分析常用的一些特征及其详细描述分别如表 5 和表 6 所示。

在表 5 中，我们提供了一些最近的工作，其中有 15 个不同的突出使用的特征类别（基于消息、基于用户、基于主题、基于传播、基于内容、基于网络、基于 Twitter、语言、时间） 、用户行为、扩散、结构、社交、视觉和统计特征）对应于特征编号 F1、F2、F3....... F15 被考虑用于谣言检测（RD）和准确性评估（VA）多媒体数据。

下面的表 6 讨论了属于不同类别的特征集的详细描述。从表 5 中可以看出，与其他作品相比，大多数作品都采用了内容（F2）和基于用户（F5）的特征。用于谣言和真实性评估的特征，并且它们的使用仍在延续，这反映出它们对于谣言检测任务是有效的。从表8的研究结果也可以证明，从表中可以看出，基于内容和基于用户的特征对于化解谣言是有效的。来自 Yang 等人提供的研究。 （2015）；高桥和井方 (2012)；马修达基斯和库达斯 (2010)；张、张、董、熊和程 (2015)；祖比亚加等人。 （2016）；卡兹维尼安等人。 （2011），据观察，基于内容的特征在谣言检测任务中发挥着重要作用。 Qazvinian 等人的作者。 (2011) 报道称，谣言推文中使用的主题标签与其他推文不同，而相信和传播谣言的人使用的主题标签也不同于否认谣言的人。据报道，URL 在信息传播中也起着至关重要的作用，使用内容语言模型计算的特征可以有效地获得高精度和召回率。然而，基于用户的特征也被广泛用于谣言检测。 Takahashi 和 Igata（2012）的作者报告说，转发率是一个有效的线索，可以表明谣言正在传播。正常转发率为8.03%，超过则视为谣言。

5.Rumor analysis approaches for multimedia data

  这里详细讨论了多媒体数据谣言分析的分类法，

如图8所示。对于多媒体数据，我们主要考虑基于文本和图像内容的方法。我们基于文本进行谣言分析的组件是谣言检测（RD）和真实性评估（VA）。根据所采用的学习算法，这些组件进一步分为三个子类别（传统使用手工制作的特征、深度学习和混合机器学习算法）。另一方面，我们考虑的基于图像的谣言分析的组件是对操纵图像和文本附加图像的检测。属于每个类别的方法都得到了很好的探索，并在第 5.1 和 5.2 节中进行了详细介绍。

5.1. Detection of rumor in OSNs based on text

  详细描述了基于文本的传统、混合和深度机器学习模型中采用的谣言检测方法。每个模型都进行了详细讨论，包括各种衡量标准（性能、使用的分类器、采用的方法、优点、缺点、检测类型和未来方向）。谣言检测问题可以定义为：社交媒体帖子集作为输入 p = p1, p2, p3⋯p(n)，模型需要识别的是每个给定的帖子，pi 是谣言或非谣言，通常表述为二元分类问题。

5.2. Rumor detection based on traditional Machine learning (TML), deep learning model (DL) and hybrid model

  谣言检测是社交网络中最重要和最关键的问题之一。许多研究人员对分析社交媒体中的谣言表现出了浓厚的兴趣，并提供了各种处理谣言的方法（Agichtein、Castillo、Donato、Gionis 和 Mishne，2008；Yang 等人，2012；Armstrong 和 McAdams，2009）。 Qazvinian 等人的作者。 （2011）通过探索以下三类特征（网络、内容和微博特定模因）正确检测谣言的生产力，解决了微博中的谣言检测问题。基于内容的特征包括一元词、词汇特征、基于一元词的词性，其中已经分析了用户行为模式以进行网络特征分析，其中包括一组与推文和转发用户相关的特征。而 Twitter 的特定功能则被视为主题标签和 URL。他们将信息检索的排名模型与其他基线进行了比较。使用各种指标评估系统的性能，包括平均精度 (MAP)、准确度、精度、召回率、F = 1、胜/负比，据观察，平均精度 (MAP) 已达到 0.95 以上通过检索模型，使用不同特征进行信念分类的精度为94.4。鉴于 Takahashi 和 Igata (2012) 的作者考虑了 3 月 11 日日本海啸和地震期间通过 Twitter 传播的两个谣言实例。推文纠正策略已被用来对抗谣言。为防止谣言传播，作者建议发布推文进行更正。已完成的主题作为谣言的过滤是基于关键字“虚假谣言”。据观察，如果在一天内，发布的包含虚假谣言关键字的推文检测。真正的挑战是找到来源信息，有时可能无法获得基于来源的信息，因此需要以不降低分类准确性的方式处理丢失的数据。为了解决这一挑战，作者提出了一种基于融合的方法，将出处的知识与文本本身结合起来。这将增强模型在缺少来源知识的情况下的稳健性。

   谣言检测的一些研究采用了基于传统手工特征和基于深度神经网络（混合模型）的两种分类模型。对于单条推文分类，Nguyen（2017）开发了两种传统的手工特征分类模型和基于神经网络的分类模型，并在谣言开始时采用与个人作者相关的推文的隐藏表示。经过一段时间（谣言传播时间），对不同类型的低级和高级特征性能进行了研究。他们提出了一个两步模型的单一推文可信度模型，其中第一步提取与事件相关的推文，然后识别推文可信度。在管道的上部，使用预先训练的可信度模型识别了推文的可信度，并确定了单个推文的预测概率，随后在管道的下部，从推文中提取特征并与信用相结合-score 以时间序列结构构建特征向量，称为动态时间序列模型，进一步用于训练分类器为谣言或非谣言。

表 7 和表 9 显示了最近报告的考虑所有三种提到的算法（传统、深度和混合学习）的工作，以及表 8 中的一些重要发现。

5.3. Veracity assessment based on traditional machine learning (TML), deep learning model (DL)

  谣言真实性评估是与谣言相关的另一个关键问题。在确定该帖子是谣言还是非谣言之后，另一个重要的任务就是鉴定其真实性。真实性评估任务的主要目的是验证给定的谣言是否可以被断定为真、假或仍然需要解决。从给定的 n 个与谣言相关的帖子集合中，任务是为谣言分配以下标签之一：真、假或未经验证。一些事实核查网站已被用来验证这一说法（Snopes、Politifact.etc）。 Politifact 验证政客的言论，并根据言论的准确性将其分为六类：正确、半正确、大部分错误、错误、裤子着火、大部分正确。大多数研究人员使用传统的机器学习模型来解决准确性评估问题。这项工作假设谣言已经被识别或作为用户的输入给出，并且许多研究人员直接进入准确性评估部分，并将候选谣言识别为准确性评估系统的输入。准确性评估领域的第一项工作是由 Castillo 等人发起的。 （2011）关于现实世界的事件。然而，作者并没有直接将其作为真实性评估问题来处理，而是将其视为可信度评估的观点。在卡斯蒂略等人中。 (2011) 作者评估了 Twitter 上的信息可信度。采用了监督学习（SVM、决策树、决策规则和贝叶斯网络）。已考虑四组功能，包括基于主题、基于消息、基于传播、基于用户。对于特征提取，已考虑帖子的文本内容及其发布和转发行为。 TP 率、FP 率、Precision、Recall 和 F1 分数已被用作性能评估的衡量标准。所提出的模型达到了 89% 的准确率。鉴于 Kwon 等人。 (2013) 作者提出了三个新颖的特征（时间特征、结构特征和语言特征）用于准确性评估。所提出的用于对谣言进行分类的特征的准确度为 87%，优于其他基线方法。同时，Vosoughi 等人。 （2017）处理与三组特征（例如语言、面向用户和时间）相关的准确性评估任务。这些特征的时间序列分析是从谣言中收集的，由 HMM（隐马尔可夫模型）生成，用于 Twitter 上的准确性预测。从实验结果来看，该模型比任何其他公共来源更快地预测了 75% 谣言的真实性。与 Twitter 一样，一些研究人员也利用新浪微博平台（中国流行的微博服务之一）来评估其准确性（Yang 等人，2012 年；Liang、Yang 和 Xu，2016 年）。

  由于传统机器学习模型存在的局限性，大多数研究人员对用于准确性评估的深度学习模型表现出了浓厚的兴趣。根据 Poddar 等人的说法。 (2018) 现有的工作都没有利用推文的对话上下文来进行谣言预测并确定其准确性。在波达等人。 (2018) 提出了一种基于神经网络的新颖架构，它依赖于人们在 Twitter 上关于谣言的对话中所持的立场，以识别其真实性。据观察，该模型在谣言真实性预测方面优于其他现有技术。当考虑所有三个实际可用信号（目标推文、对话序列、时间）时，所提出的 CT-Stance 模型（立场预测模型）实现了最佳性能，准确度为 79.86%，而 CT-Veracity（准确性预测模型）实现了考虑输入信号（推文文本、推文立场）的最佳性能，准确度为 57.14%，优于现有技术。表 7 显示了基于文本的 OSN 中早期最先进的谣言分析。

  与文字一样，图像在新闻传播过程中也发挥着重要作用。由于文本长度的限制，图像是一种更方便、更有效的附加图像的新闻报道方式。在下一节中，我们将介绍基于图像的谣言检测中已报道的工作。

5.4. Detection of rumor in OSNs based on image

  为了识别社交媒体和网络上新闻的可信度，多媒体内容非常重要。在本节中，我们讨论了新闻验证器在检测基于多媒体内容的误导性/虚假帖子方面所做的突出工作。大部分工作被认为是基于文本的特征，而忽略了基于图像的特征。研究发现，图像在新闻传播中发挥着重要作用，需要进行探索，原因如下（金，曹，张等，2017）。

• 在线社交媒体上呈现大量多媒体数据。

• 由于文本长度的限制，图像是一种更方便、更有效的方式来讲述带有图像的新闻报道。

• 据观察，在一些社交媒体平台上，平均有一半的推文带有图片。

• 图像比文本数据更能吸引用户的注意力。

  如果多媒体内容/帖子不能确实描述其声称的事件，则该多媒体内容/帖子将被视为具有误导性/虚假。现有工作在检测误导性多媒体内容方面包含以下值得注意的方面（Boididou 等人，2017）。

• 操纵图像：通过应用图像篡改技术（如图像拼接、复制移动图像篡

改等）操纵的任何多媒体内容/帖子均被视为操纵图像。图像处理通常由考虑各种数字编辑操作。图像伪造是图像处理的一种具体类型，用于伪造某些已发生的事实。图像伪造的类别之一是图像篡改，图像篡改是指图像的某些特定区域被篡改。图像处理是社交媒体的关键问题之一。自动化软件已被用来篡改图像的特定部分并在社交媒体上发布虚假报告，如图 9 (b) 和 (c) 所示的示例。图 9 (b) 是经过处理的图像的示例，它在 2012 年桑迪飓风期间的照片上显示了一条拼接鲨鱼，其中 9 (c) 显示了经过修改以描绘桥梁倒塌的假新闻图像。由于这些问题，多媒体取证成为一个重要的研究领域。多媒体取证分为以下几个分支（Lin et al., 2019）。

复制移动：在复制移动攻击中，剪切图像的一个或多个部分并粘贴到同一图像中的其他部分。

拼接：在拼接中，剪切图像的某些部分并将其添加到其他图像中。

• 文本附加图像：与图像本身所描述的事件一起发布的任何多媒体内容/帖子。我们将图像视为文本附加图像，不通过应用图像篡改技术来操纵，但在图像上添加了一些文本数据。故意用虚假文字伪造以冒充真实的图像被视为恶作剧图像。社交媒体上的恶作剧图像检测也是关键问题之一。图 9 (a) 是布拉德·皮特假死亡报告的示例，其中使用 OCR（光学字符识别）技术从图像中提取文本，并进行进一步处理以进行分析。

表 8 和表 9 分别详细描述了现有技术中用于检测误导性多媒体数据的重要发现和方法。

6.Services and tools used for rumor analysis: application perspective

从之前的文献中可以看出，构建一个自动化系统来测量社交网络上内容的完整性是可行的。最近，印第安纳大学的研究人员推出了 Truthy6 服务，用于收集、评估和可视化与“热门话题”相关的推文传播情况（Castillo 等，2011）。许多研究人员致力于内容可信度的实时评估（Alrubaian、Al-Qurishi、Hassan 和 Alamri，2018），这样的系统包括 Tweet Cred（Gupta 等人，2014）和 Twitter-trails（Metaxas、Finn、和穆斯塔法拉吉，2015）。用于谣言分析的服务和工具的详细描述（Fact Check、5 Snopes、6 Politifact、7 Emergent、8 Claim Buster、9 Hoaxy、10 Una Hakika、11 Twitter Trails12）如表 10 所示。

7.Constraints of the study

  本次调查中提供的研究存在一定的局限性，为进一步研究提供了方向。确定了约束条件，包括两个阶段。在第一阶段，我们讨论了与数据收集相关的限制。而在第二阶段，将详细报告和定义在特征工程阶段识别的约束。除此之外，我们还在以下小节中提到了这些限制如何影响我们的研究结果。

7.1. Analysis phase: data-collection

  数据收集阶段是分析的重要阶段之一。这一阶段存在一些可以进一步改进的限制。约束1：在数据收集阶段，我们提供的研究的约束是对一些特定的主要使用的社交媒体平台（Twitter、新浪微博、谣言揭穿网站）的分析，并且大多数文献认为主要是在Twitter上Twitter 平台用于数据收集，因为检索数据很容易。然而，该研究并没有很好地涵盖其他平台。对研究结果的影响：您将检索和用于分析的数据的类型和数量会对结果产生影响。与 Twitter 一样，您将能够获得适量的内容来提取特定声明的文本和上下文特征。然而，在 YouTube 上，情况可能并非如此，因为给定声明的标题长度很少有用于提取文本和上下文特征的单词。换句话说，我们可以说，研究结果可能因平台而异，可以从其中一项研究结果来理解，该研究结果显示微博在中国的使用方式和推特在其他国家的使用方式，发现人们在微博上发帖倾向于披露更多有关自己的个人信息并且更积极地对其他人做出反应的帖子。13 Twitter 上的人们发布的主题与行业和公司更相关。然而，新浪微博避免谈论政治背景。这样，可以看出，平台的使用会限制您可以从平台中有效提取哪些类型的特征进行分类。如果将该模型应用于其他平台，可能会给出更有效的结果。

约束2（样本大小）：谣言检测问题是近两年来广泛出现的，研究处于成长阶段，因此缺乏公开的数据集。很少有大型公开数据集可用于谣言检测，尤其是多模态数据（以图像、音频、视频的形式）。该研究是在当前可用的数据集上提供的。然而，该研究可以扩展到在不同应用环境（如医疗保健、自然灾害、恐怖、选举等）的跨网络平台上构建大型通用数据集。 对研究结果的影响：结果也会对样本量产生影响。如果样本量太小，则无法进行统计检验能够预测数据集中的重要关系。更大样本量的研究可能会产生更准确的结果。

7.2. Analysis phase: feature engineering

数据收集阶段是分析的重要步骤之一。这一阶段存在一定的限制，可以进一步改进，特征提取也是关键步骤之一，它极大地影响模型的性能。本阶段研究存在一定的局限性，有待进一步完善。约束：本研究中考虑的特征基于文本和图像数据。本研究不包括用于谣言分析的音频和视频方面，可以进一步探讨。对研究结果的影响：有效的特征提取是构建有效的谣言检测模型的基石之一，对结果影响很大。据观察，仅依靠手工制作的特征并不利于谣言预测，应添加深度学习方面，并且由于大多数数据以图像、音频、视频的形式发布或声明附有多媒体内容，由于文本长度限制，因此，分析应应用于多模态数据。相反，不应仅分析文本特征，还应包括视觉和语音特征并对其进行更多探索，以便更好地解释结果。

8.Conclusion and future directions

 由于互联网技术的进步，人们越来越热衷于社交媒体平台和互联网资源来收集信息，而不是传统的新闻媒体。社交媒体平台允许用户公开分享他们的意见/想法，由于平台的这种开放性，人们发布谣言，由于未经证实的信息传播而导致引起许多社会问题。本文献综述总结了谣言分析系统发展的最新研究报告，详细描述了现有谣言分析系统采用的方法和其他重要措施（检测类型、事件、特征、平台）。文本和图像数据的谣言检测和准确性评估阶段的文献。由于社交媒体作为收集信息的平台的激增，该领域的研究取得了实质性进展。研究人员采用了许多不同的方法来更好地理解和表征社交媒体谣言。这种多样化有助于将重点放在谣言分析系统的未来增强上。尽管研究领域取得了重大进展，但仍然存在需要进一步研究的开放研究问题。我们的研究结果表明需要进一步研究，包括以下几个方面：

• 从大多数研究中可以看出，谣言检测问题已被解决为二元类（谣言或非谣言）分类问题，而多分类方面的探索较少。

• 谣言检测领域可用的标准数据集非常少；可用的大部分来自 Twitter 网络平台。然而，Facebook、YouTube 等其他平台的探索较少。除此之外，缺乏图像、音频和视频形式的公开数据集，需要进一步关注。

• 为了促进谣言检测，应针对无监督机器学习模型研究未标记数据，因为数据标记是劳动密集型的。

• 社交媒体上存在不同形式的误导性内容（Zannettou 等人，2019），并且可以互换使用关于不同的上下文。在所有不同类别中，据观察，恶作剧是最少被关注的领域，需要进一步关注

• 研究表明，多媒体数据（图像、音频、视频）在新闻传播中发挥着重要作用，因为图像、视频或音频是通过附加图像来讲述新闻报道的更方便、更有效的方式由于文本长度限制。然而，很少有工作涉及考虑多媒体数据，特别是视频和音频的谣言检测问题。因此，该领域有必要进行进一步的研究。

• 社交媒体上的可用数据是不同语言的，需要解决多语言内容的谣言检测问题。

以上几个方面提供了谣言检测领域的当前知识状况，通过在多模态数据上构建谣言检测模型，用户可以轻松识别任何形式的内容的可信度，而不仅仅是带有文字。最近，在新型冠状病毒肺炎（COVID-19）的案例中，出现了一些传播音频和视频信息误导人们关于冠状病毒的信息。 Narayan Health 董事长兼创始人 Devi Shetty 博士的一段音频片段在 WhatsApp 上疯传，并在 Twitter 和 YouTube 上广泛传播，建议每个人“感染冠状病毒或疑似感染冠状病毒的人不要去接受检测”14 ”，后来证明这是假的。这在公众中造成了很多误解。普通用户无法验证新闻，因为没有实时工具或扩展可用于分析多模态数据。然而，有一些工具可用于处理文本。15 有多种应用程序需要实现有效的谣言检测框架。一些关键领域包括选举、医疗保健、自然灾害、恐怖主义等。最近的一个 COVID-19 大流行的例子是，许多与健康相关的谣言正在传播，假装是由一些政府官员发布的。 16 在这种情况下，当人们关注与新冠相关的任何新闻公告时，恶意用户就会利用这个机会，最近的新闻报道之一称，恶意用户正在发送声称来自人力资源部门、高管和卫生组织的电子邮件17，并利用人类心理来制造他们相信邮件来自某个政府组织。这些领域仍然有待研究。

  另一件事是分类，大多数研究人员都将问题作为二类分类问题来解决，如果对文本进行更多探索，也可以预测多类，具体取决于内容呈现的真实程度并将其分为多个级别。在互联网和科技时代，用户将社交媒体平台作为良好的信息来源之一，并为影响者在社交媒体上传播虚假信息提供了开放的机会，从而导致制造危机和其他社会问题，使社交网络上的谣言检测是需要解决的重要问题之一。与可信度评估和检测社交网络上信息的真实性相关的一些挑战（Alrubaian 等，2018）是：

由于网络复杂，识别对可信度研究有用的资源非常困难。

• 不断影响用户可信度的各种因素，例如用户行为、偏好和背景。

• 社交网络平台上正在发生大量恶意和垃圾邮件活动，这导致使用某些自动化软件或通过使用第三方服务来抬高用户受欢迎程度。

• 识别从 Twitter 收集的谣言推文的挑战之一是，很难以一种可以通过输入查询轻松直接检索的方式来表征谣言的内容。

• 由于缺乏公开数据集等资源问题，许多研究人员受到限制。

  社交网络上的谣言分析是新兴领域之一；大多数研究人员对此表现出了浓厚的兴趣。根据 Alrubaian 等人的说法。 (2018) 从 Twitter 等社交媒体网站提取的信息的验证已成为一项需要解决的非常具有挑战性的任务。识别社交媒体信息的真实性是具有挑战性的问题之一，也是一个新兴的研究领域。从现有的研究来看，未来的发展方向如下。

• 为了检测在线社交网络中的谣言传播者，Castillo 等人已观察到这一点。 （2011）通过将用户属性等信息集成到结构神经模型中可以进一步增强工作。 • 未来的工作可以通过探索更多有助于确定主题可信与否的关键因素来扩展（Agichtein 等，2008）。

• 此前，许多作者利用谣言揭穿网站（About.Coms、Urban Legends 等）来有效检索谣言实例，据观察，识别新出现的谣言是一项具有挑战性的任务。根据 Qazvinian 等人的说法。 （2011），通过确定给定的热门话题是否是谣言，可以进一步增强这项工作。

• 研究发现，除Twitter 外，其他社交媒体平台在数据收集方面的探索较少。未来的工作可以通过纳入其他社交媒体平台和实验来源来加强。

• 根据Floos (2016)，可以通过扩展数据集来增强工作，以获得更准确和精确的结果，并使用不同的配置进行实验。

• 宋等人。 （2018）据报道，对于早期谣言检测，除了微博转发信息之外，还可以包含其他重要信息，例如发布者简介和传播结构，这也可能是未来的方向之一。

• 根据 Nguyen（2017）的说法，非常需要改进基于神经网络的谣言检测方法的质量，利用各种来源而不仅仅是文本内容。

• 根据Ardizzone 等人的说法。 （2015）为了恢复一些丢失的匹配，例如填充三角形之间的孔，可以开发一些后处理技术。这也将有助于提高方法的召回率。