[27] F. Zhou, T. Wang, T. Zhong, and G. Trajcevski, “Identifying user geolocation with hierarchical graph neural networks and explainable fusion,” Inf. Fusion, vol. 81, pp. 1–13, 2022. （用层次图、神经网络和可解释的融合来识别用户的地理定位）
论文地址：https://doi.org/10.1016/j.inffus.2021.11.004
ABSTRACT
从各种基于位置的应用程序中确定用户地理的位置至关重要——从改进运输/供应管理，通过提供个性化服务和有针对性的营销，到更好的整体用户体验。
以往的方法依赖于用户发布内容与邻近节点的相似性进行用户地理定位，存在以下问题：
(1)网络表示学习的位置不可知，阻碍了其预测精度的性能；
(2)采用平面图嵌入方法导致有噪声和不稳定的用户关系融合。
这项工作提出了层次图神经网络（HGNN），一种新的位置感知协同用户方面数据融合和位置预测的方法。它结合了用户的地理位置信息和区域的聚类效应，可以在保持其相对位置的同时捕获拓扑关系。
HGNN通过层次图学习对区域的结构和特征进行编码，可以主要缓解有噪声和不稳定信号融合的问题。
我们进一步设计了一种关系机制来连接个体用户和集群之间的连接，它不仅利用了以前方法中无用的孤立节点的信息，而且还捕获了未标记节点和标记子图之间的关系。
此外，我们引入了一种稳健的统计方法，通过在预测用户的位置时识别数据样本的重要性，来解释我们的模型的行为。它对模型的行为和输出提供了有意义的解释，克服了以前将用户地理定位视为“黑盒”建模和缺乏可解释性的方法的缺点。对真实世界的Wwitter数据集的综合评估验证了该模型的优越性能和解释用户地理定位结果的能力。
Keywords
User geolocation（用户地理定位）、Social information fusion （社会信息融合）、Graph Neural Networks （图神经网络）、Interpretable fusion （可解释的融合）、Influence function（影响函数）
1. Introduction
在线社交网络（OSN）使日常活动中的新奇互动成为可能——例如，分享与产品描述和交通堵塞相关的事件通知；在Instagram和Facebook上分享个人经历；在推特上阅读新闻和流行话题；在研究门建立学术联系，等等。这些不仅改变了我们的交流、阅读和社会活动的方式，而且还产生了前所未有的异构数据，反过来促进了商业创新和新兴的工业机会[1]。在各种应用程序中，从学术界和工业界确定用户的地理位置接收持久的兴趣已经成为许多工业服务的基本互联网服务，如基于位置的有针对性的广告，紧急位置识别、政治选举、物质使用监测，当地事件/地方推荐和自然灾害应对[2–4]。
[1] A. Diez-Olivan, J.D. Ser, D. Galar, B. Sierra, Data fusion and machine learning for industrial prognosis: Trends and perspectives towards industry 4.0, Inf. Fusion 50 (2019) 92–111, http://dx.doi.org/10.1016/j.inffus.2018.10.005. （工业预测的数据融合和机器学习：工业的趋势和展望4.0）
[2] X. Zheng, J. Han, A. Sun, A survey of location prediction on twitter, IEEE Transactions on Knowledge and Data Engineering (TKDE) 30 (9) (2018) 1652–1671, http://dx.doi.org/10.1109/TKDE.2018.2807840. （在推特上的位置预测调查，IEEE知识和数据工程交易（TKDE））
[3] M.F.G. nazú, V. Cortés, C.F. Ibáñez, J.D. Velásquez, Employing online social networks in precision-medicine approach using information fusion predictive model to improve substance use surveillance: A lesson from Twitter and marijuana consumption, Inf. Fusion 55 (2020) 150–163, http://dx.doi.org/10. 1016/j.inffus.2019.08.006. （在精确医学方法中使用在线社交网络，使用信息融合预测模型来改善药物使用监测：来自推特和大麻消费的一个教训）
[4] F. Zhou, L. Li, K. Zhang, G. Trajcevski, Urban flow prediction with spatial–temporal neural ODEs, Transp. Res. C 124 (2021) 102912. （使用时空神经常微分方程进行城市流量预测）
细粒度定位，如各种基于传感器的资产和过程跟踪，已经在多个工业应用中得到了应用。然而，在更广泛的地理设置中，由于蜂窝访问限制、高测量开销和不可靠的客户端响应时间[5]，存在不准确的问题。与此相补充的是，社交媒体服务（如推特、脸书和Instagram）的日益普及提供了丰富而及时的元数据，如已发布的信息内容、提及标签和关注/关注关系。这些信息可以有效地及时对在线社交网络（OSN）用户进行地理定位——这最近激发了人们对OSN[6–9]中的用户地理定位（UG）问题的研究兴趣。例如，美国疾病控制与预防中心（疾病控制和预防中心）一直在利用社交媒体，帮助流行病学调查应对导致COVID-19 [10]的病毒。
[5] I. Poese, S. Uhlig, M.A. Kaafar, B. Donnet, B. Gueye, Ip geolocation databases: Unreliable? Computer Communication Review 41 (2011) 53–56, http://dx.doi. org/10.1145/1971162.1971171. （Ip地理定位数据库：不可靠吗？）
[6] B. Han, P. Cook, T. Baldwin, Geolocation prediction in social media data by finding location indicative words, in: Proceedings of the International Conference on Computational Linguistics, COLING, 2012, pp. 1045–1062. （通过寻找位置指示性词来预测社交媒体数据中的地理位置）
[7] T.H. Do, D.M. Nguyen, E. Tsiligianni, B. Cornelis, N. Deligiannis, Multiview deep learning for predicting Twitter users’ location, 2017, arXiv preprint arXiv: 1712.08091. （通过多视图深度学习来预测推特用户的位置）
[8] Y. Miura, M. Taniguchi, T. Taniguchi, T. Ohkuma, Unifying text, metadata, and user network representations with a neural network for geolocation prediction, in: Proceedings of the Annual Meeting of the Association for Computational Linguistics, ACL, 2017, pp. 1260–1272. （将文本、元数据和用户网络表示与神经网络统一起来，以进行地理定位预测）
[9] A. Rahimi, T. Cohn, T. Baldwin, Semi-supervised user geolocation via graph convolutional networks, in: Proceedings of the Annual Meeting of the Association for Computational Linguistics, ACL, 2018, pp. 2009–2019. （通过图形卷积网络实现的半监督用户地理定位）
[10] S.-H. Wang, V.V. Govindaraj, J.M. Górriz, X. Zhang, Y.-D. Zhang, Covid-19 classification by fgcnet with deep feature fusion from graph convolutional network and convolutional neural network, Inf. Fusion 67 (2021) 208–229. （FGCNet 通过图卷积网络和卷积神经网络的深度特征融合进行 Covid-19 分类）
在线用户地理定位是一个被动的人群感知问题，需要混合信息融合，从许多用户活动和感知数据中洞察，以提取知识和细化预测结果。[6,11]早期的工作主要集中于从用户发布的内容中挖掘指示性信息，这些信息依赖于基于各种自然语言处理技术（例如，主题模型和统计模型），可以将用户链接到他们的家乡。例如，术语频率-逆文档频率（TF-IDF [12]）是测量位置词[6]分布的常用方法。最近的努力融合了用户交互的协作感知和提高地理位置精度——例如，节点2vec[13]用于学习用户[7]的表示，结合通过doc2vec [14]的文本表示，以端到端方式预测用户位置。[8]中还使用了具有注意机制的递归神经网络（RNNs）来建模用户tweet内容，进一步结合了时区和自声明配置文件等元数据来预测用户位置。[9]最近的一项工作使用GCNs [15]来学习具有图卷积和池化操作的网络结构。
[11] S. Roller, M. Speriosu, S. Rallapalli, B. Wing, J. Baldridge, Supervised text-based geolocation using language models on an adaptive grid, in: Proceedings of the Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, EMNLP-CoNLL, 2012, pp. 1500–1510. （在自适应网格上使用语言模型来监督基于文本的地理定位）
[12] K.S. Jones, A statistical interpretation of term specificity and its application in retrieval, J. Doc. 28 (1972) 11–21, http://dx.doi.org/10.1108/ 00220410410560573. （对术语特异性的统计学解释及其在检索中的应用）
[13] A. Grover, J. Leskovec, node2vec: Scalable feature learning for networks, in: Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, SIGKDD, 2016, pp. 855–864. （node2vec：网络的可扩展特征学习）
[14] Q. Le, T. Mikolov, Distributed representations of sentences and documents, in: Proceedings of the International Conference on Machine Learning, ICML, 2014, pp. 1188–1196. （句子和文件的分布式陈述）
[15] T.N. Kipf, M. Welling, Semi-supervised classification with graph convolutional networks, in: Proceedings of the International Conference on Learning Representations, ICLR, 2017. （基于图卷积网络的半监督分类）
广义地说，现有的最先进的方法使用深度学习技术来学习用户交互和内容表示——而没有充分利用用户地理定位任务中的特定约束。在学习用户交互时，通常使用图形表示方法（如GCN [15]、GAT [16]、node2vec [13]、GraphSAGE [17]）——然而，这些方法是通用的、未加权的和位置无关的图形学习方法，而不考虑节点（用户）的地理位置/位置。由于图嵌入方法不是专门为用户地理定位任务定制的，现有的方法忽略了节点之间很强的地理位置依赖性，因此不能捕获任何一对节点之间的相对距离。此外，现有的基于图的用户地理定位（UG）方法本质上是平面图学习模型，不能捕获区域级特征，因此对局部网络结构非常敏感。例如，同质性假设，即在线互动意味着更高的地理接近概率，在许多情况下并不存在[2,18]。
[16] P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Liò, Y. Bengio, Graph attention networks, in: Proceedings of the International Conference on Learning Representations, ICLR, 2018. （图关注网络）
[17] W. Hamilton, Z. Ying, J. Leskovec, Inductive representation learning on large graphs, in: Advances in Neural Information Processing Systems, 2017, pp. 1024–1034. （在大图上的归纳表示学习）
[18] R. Ding, X. Wang, K. Shang, F. Herrera, Social network analysis-based conflict relationship investigation and conflict degree-based consensus reaching process for large scale decision making using sparse representation, Inf. Fusion 50 (2019) 251–272, http://dx.doi.org/10.1016/j.inffus.2019.02.004. （基于社会网络分析的冲突关系调查和基于冲突程度的共识达成过程的大规模决策）
我们的主要动机是基于观察到，现有文献中的方法没有利用联合考虑识别用户的拓扑结构以及来自不同地区的人群的影响的好处。虽然前者通常是有噪声和不稳定的，但后者可能为地理定位提供一个更鲁棒的信号。此外，现有的模型，特别是基于深度神经网络的模型，往往缺乏透明度，不能解释模型的行为和定位结果。因此，它们在安全关键领域的适用性受到了限制。例如，在确定有特定紧急情况（例如，covid-19的传播）的区域时，更应该是解释为什么和如何做出这样的预测，而不是仅仅显示预测结果[19–21]。
[19] A. Holzinger, C. Biemann, C.S. Pattichis, D.B. Kell, What do we need to build explainable AI systems for the medical domain? 2017, arXiv preprint arXiv: 1712.09923. （我们需要什么来为医疗领域构建可解释的人工智能系统？）
[20] L. Longo, R. Goebel, F. Lécué, P. Kieseberg, A. Holzinger, Explainable artificial intelligence: Concepts, applications, research challenges and visions, in: Proceedings of the International Cross-Domain Conference for Machine Learning and Knowledge Extraction, CD-MAKE, 2020, pp. 1–16. （可解释的人工智能：概念、应用、研究挑战和愿景）
[21] A.B. Arrieta, N.D. Rodríguez, J.D. Ser, A. Bennetot, S. Tabik, A. Barbado, S. García, S. Gil-Lopez, D. Molina, R. Benjamins, R. Chatila, F. Herrera, Explainable artificial intelligence (XAI): concepts, taxonomies, opportunities and challenges toward responsible AI, Inf. Fusion 58 (2020) 82–115, http://dx.doi.org/10.1016/ j.inffus.2019.12.012. （可解释的人工智能（XAI）：对负责任的人工智能提出的概念、分类法、机遇和挑战）
为了解决上述以往工作的局限性，我们提出了一种新的多视图用户地理定位框架，称为层次图神经网络（HGNN），以融合用户生成的内容和网络信息，以协作用户地理定位。它从以下几个方面提高了用户的地理定位性能。
首先，它结合了每个节点到网络中其他节点（簇）的相对距离，使模型能够区分具有相似拓扑结构但位于不同区域的节点。
其次，我们提出的层次特征融合方法通过学习和区分来自不同地理区域的人群效应，提供了粗粒度和细粒度的图表示。
第三，我们的模型自然地利用未标记和孤立的节点进行上下文信息聚合，这在以前的UG模型中是没有的。
第四，信息融合的可解释性使我们能够理解训练后的地理位置模型的行为，以及它如何受到训练样本聚合的信息（即所有网络内用户及其相关特征）的影响。
在所提方法的新颖性方面，这项工作的主要贡献是四方面的。具体来说，我们提出：
•一种新的位置感知节点关系学习模型，在进行非线性变换和特征聚合时考虑了地理位置和相对距离，不仅保留了网络拓扑结构，还对相对于其他节点和/或集群的节点位置进行了编码。
•一种新的分层GNN框架，它可以学习区域级和节点级特征，以进行鲁棒的特征聚合和传播，它可以以端到端方式与任何图形学习方法相结合。与现有UG方法中的平面节点级嵌入相比，我们能够减轻噪声交互的影响和离群节点的影响。
•一个新的通用框架来解释用户地理定位模型的行为和预测结果。我们主动使用影响函数[22]来量化网络内用户和相应特征对预测结果的影响。
•对三个基准推特数据集的广泛评估。结果表明，我们的方法显著优于最先进的基线，同时提供了对模型行为和检测结果的解释。
[22] P.W. Koh, P. Liang, Understanding black-box predictions via influence functions, in: Proceedings of the International Conference on Machine Learning, ICML, 2017, pp. 1885–1894. （通过影响函数来理解黑盒预测）
在本文的其余部分中，第2节回顾了相关的工作，然后是第3节，它将问题形式化，并提出了必要的背景。在第4节中，我们给出了该方法的细节，以及解释用户方面的数据融合和位置预测的方法。在第5节中进行了量化我们的方法的好处的实验评估。我们在第6节中总结了这项工作，并在第6节中概述了未来的工作方向。
2. Related work
第2节回顾了相关的工作
在之前的在线社交网络地理定位研究中，根据用于进行预测的数据类型，这些模型可以大致分为三组。我们现在回顾相关的工作，并在现有文献的背景下定位我们的论文。
2.1. Content-based approaches
用户生成的内容（UGC），如文本帖子和照片，可能会随意地附加到实时位置，促进了gps装备设备的日益流行。然而，这些带有地理标记的推文非常稀疏，例如，不超过1%的已发布的推文被标记为地理位置[23]。大量的工作[6,11,24-26]已经研究了利用教资会来定位用户的可能性。这些方法通过使用各种分类模型从与位置相关的词中推断位置来解决地理定位问题。因此，识别有意义的指示性词是实现准确用户地理定位的重要一步，TFIDF [12]是文献中广泛采用的文本内容表示方法[6,9,27-29]。例如，已经使用逆位置/城市频率来测量内容[6,27]中的位置词。相比之下，概率模型通常被用来表征用户的位置分布w.r.t.他们发表的UGC，然而，这需要大量的手工标记与位置相关的词，以取得令人满意的结果。
[23] Z. Cheng, J. Caverlee, K. Lee, You are where you tweet: a content-based approach to geo-locating twitter users, in: Proceedings of the International Conference on Information and Knowledge Management (CIKM), ACM, 2010, pp. 759–768. （你在哪里发推文：一种基于内容的 Twitter 用户地理定位方法）
[24] E. Amitay, N. Har’El, R. Sivan, A. Soffer, Web-a-where: geotagging web content, in: Proceedings of the ACM SIGIR Conference on Research and Development in Information Retrieval, 2004, pp. 273–280. （网络的位置：地理标记网络内容）
[25] B.P. Wing, J. Baldridge, Simple supervised document geolocation with geodesic grids, in: Proceedings of the Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, ACL, 2011, pp. 955–964. （具有测地线网格的简单监督文档地理定位）
[26] B. Han, P. Cook, T. Baldwin, Text-based twitter user geolocation prediction, J. AI Research (JAIR) 49 (2014) 451–500, http://dx.doi.org/10.1613/jair.4200. （基于文本的推特用户地理定位预测）
[27] K. Ren, S. Zhang, H. Lin, Where are you settling down: Geo-locating Twitter users based on tweets and social networks, in: Proceedings of the Asia Information Retrieval Societies Conference, AIRS, 2012, pp. 150–161. （你在哪里定居下来：基于推文和社交网络对推特用户进行地理定位）
[28] A. Rahimi, T. Cohn, T. Baldwin, Twitter user geolocation using a unified text and network prediction model, in: Proceedings of the Annual Meeting of the Association for Computational Linguistics, ACL, 2015, pp. 630–636. （推特用户的地理定位使用一个统一的文本和网络预测模型）
[29] A. Rahimi, T. Baldwin, T. Cohn, Continuous representation of location for geolocation and lexical dialectology using mixture density networks, in: Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP, 2017, pp. 167–176. （利用混合密度网络进行地理位置和词汇方言的连续表示）
受深度学习在自然语言处理中应用的最新进展的启发，一些研究转向用各种基于神经网络的模型对用户的文本内容进行建模，以端到端方式[7,8,30,31]学习tweet表示。在这些方法中，doc2vec [14]和递归神经网络（RNNs）是学习纹理内容向量表示的简单而有效的选择。例如，在[7]中，提出了结合TF-IDF和doc2vec表示来提高预测性能。[8]使用带有注意机制[33]的GRU [32]对用户推文内容建模并获得时间轴表示。虽然doc2vec和基于RNN的方法可以学习TF-IDF中捕获的位置指示词，[34]在最近的一项研究中发现，TF-IDF始终优于doc2vec。
[30] A. Rahimi, D. Vu, T. Cohn, T. Baldwin, Exploiting text and network context for geolocation of social media users, in: Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT, 2015, pp. 1362–1367. （利用文本和网络上下文对社交媒体用户进行地理定位）
[31] A. Rahimi, T. Cohn, T. Baldwin, A neural model for user geolocation and lexical dialectology, in: Proceedings of the Annual Meeting of the Association for Computational Linguistics, ACL, 2017, pp. 209–216. （一种用于用户地理定位和词汇方言学的神经模型）
[32] J. Chung, C. Gulcehre, K. Cho, Y. Bengio, Empirical evaluation of gated recurrent neural networks on sequence modeling, 2014, arXiv preprint arXiv:1412.3555. （门控递归神经网络对序列建模的实证评价）
[33] D. Bahdanau, K. Cho, Y. Bengio, Neural machine translation by jointly learning to align and translate, in: Proceedings of the International Conference on Learning Representations, ICLR, 2015. （神经机器翻译通过联合学习来对齐和翻译）
[34] P. Hamouni, T. Khazaei, E. Amjadian, TF-MF: Improving multiview representation for Twitter user geolocation prediction, in: Proceedings of the International Conference on Advances in Social Networks Analysis and Mining, ASONAM, 2019, pp. 543–545. （TF-MF：改进Twitter用户地理定位预测的多视图表示）
我们目前的工作使我们具有比现有文献更好的位置意识，特别是HGNN区分了来自不同地理区域的人群效应。
2.2. Network-based methods
在同质性假设[35–38]下，在线社交关系也是用户地理定位的重要指标，即人们更喜欢与附近地区的他人互动。[35]等人在脸书上研究了用户的地理邻近度和在线友谊之间的关系，发现任何用户对之间的关系的可能性作为距离的函数单调下降。越来越多的作品并不是仅仅依赖于友谊，而是利用各种类型的联系，比如共同提及标签和非朋友之间的提及，来构建除友谊[2,31]之外的更紧密的社交互动。这样，就可以从这种隐式网络中检索到用户之间的相似兴趣，从而提高地理定位精度[30,39,40]。此外，研究人员还发现了一些可能会降低预测性能的噪声交互因素。例如，名人的社会影响是一个分散注意力的因素，它可能会混淆预测，因此被从构建的用户网络[30,41]中删除。
[35] L. Backstrom, E. Sun, C. Marlow, Find me if you can: improving geographical prediction with social and spatial proximity, in: Proceedings of the International Conference on World Wide Web Conferences, WWW, 2010, pp. 61–70. （如果可以的话，找我：用社会和空间邻近性改善地理预测）
[36] C.A. Davis Jr., G.L. Pappa, D.R.R. de Oliveira, F. de L. Arcanjo, Inferring the location of twitter messages based on user relationships, Transactions GIS 15 (6) (2011) 735–751, http://dx.doi.org/10.1111/j.1467-9671.2011.01297.x. （根据用户关系推断推特消息的位置）
[37] L. Kong, Z. Liu, Y. Huang, Spot: Locating social media users based on social network context, Very Large Data Bases Conferences (VLDB) 7 (13) (2014) 1681–1684, http://dx.doi.org/10.14778/2733004.2733060. （Spot：基于社交网络上下文定位社交媒体用户）
[38] E. Rodrigues, R. Assunção, G.L. Pappa, D. Renno, W. Meira Jr., Exploring multiple evidence to infer users’ location in Twitter, Neurocomputing 171 (2016) 30–38, http://dx.doi.org/10.1016/j.neucom.2015.05.066. （探索多种证据来推断用户在推特上的位置）
[39] J. McGee, J. Caverlee, Z. Cheng, Location prediction in social media based on tie strength, in: Proceedings of the International Conference on Information and Knowledge Management, CIKM, 2013, pp. 459–468. （基于领带强度的社交媒体位置预测）
[40] D. Jurgens, That’s what friends are for: Inferring location in online social media platforms based on social relationships, in: Proceedings of the International Conference on Weblogs and Social Media, ICWSM, 2013. （这就是朋友的作用：基于社交关系推断在线社交媒体平台上的位置）
[41] R. Li, S. Wang, H. Deng, R. Wang, K.C.-C. Chang, Towards social user profiling: unified and discriminative influence model for inferring home locations, in: Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD, 2012, pp. 1023–1031. （面向社会用户分析：推断家庭位置的统一和歧视性的影响模型）
虽然现有的方法已经解决了明确地建模社会连接用户之间的位置依赖关系的方面，但一些挑战还没有得到正确的解决——即地理标记用户的稀疏性和不准确的标签传播。更重要的是，朋友们的位置通常是相互矛盾的，这阻碍了这些作品的实际适用性。相比之下，我们的HGNN同时学习区域级和节点级的特征，并以一种提供更好的可理解性的方式聚合它们。
2.3. Multi-information fusion based models
最近的研究利用了深度图形学习方法，通过融合用户生成的内容和各种元数据来建模用户交互网络，如用户配置文件、推特时间和用户时区。例如，MENET [7]利用节点2vec[13]来学习用户表示，并结合doc2vec学习的文本表示，来预测用户的位置。[9]的另一项工作是使用GCNs [15]，通过图的卷积和池化操作来学习网络结构，这已经实现了最先进的地理定位性能。[34]最近的一项工作研究了几种图嵌入方法，
