Embedding Temporal Network via Neighborhood Formation
Abstract
作者发现，在现有的研究中，以节点间顺序交互事件为特征的网络的完整时间形成过程还很少被建模，在这边文章中，作者引入邻域形成序列的概念来描述节点的演化，序列中的邻域之间存在时间激励效应，因此提出了一种基于Hawkes过程的时间网络嵌入(HTNE)方法，并且在实验上都取得了较好的结果。
1.Introduction
网络嵌入是近年来研究的一个热点
年，旨在通过将节点映射到低维空间来表示大规模网络。
但是，在此之前，关于网络嵌入方法的研究通常关注静态网络结构，一个重要但经常被忽视的假设是，节点的邻居是无序的;换句话说，链路形成历史被省略了。
作者提出，节点的邻域并不是同时形成的，观测到的快照网络结构是一定时间段内邻域的累积。比如下图研究报告。
从图一来看，我们只能看到最新的共同作者，而节点如何以及何时连接仍然未知。在大多数真实网络中，节点之间的边一般是由连续事件建立的，这就构成了所谓的时间网络。图中每条边都标注了节点1与其邻居按时间顺序共同撰写的几篇论文。因此，自我时间网络可以根据事件的时间展开为特定于节点的邻居序列，定义为邻居形成序列，如图1b所示。
另外，在表示节点时，邻域形成序列确实包含比静态网络快照丰富得多的信息。
直接模拟邻域形成序列仍然是一个巨大的挑战，为了应对这个挑战，作者提出了提出了一种基于Hawkes过程的时间网络嵌入(HTNE)方法。
方法的大概描述：
首先从序列事件驱动的网络结构中推导出邻域形成序列，由于Hawkes过程[11]很好地捕捉了连续事件之间的激动人心的效应，特别是历史对当前事件的影响，我们将其用于邻域形成过程的建模。
然后，为了从Hawkes过程中获得节点嵌入，通过将低维向量分别映射到基准率和历史影响，将低维向量馈入Hawkes过程。
此外，历史邻居对当前邻居形成的影响会随着节点的不同而不同，因此我们进一步采用注意力机制来增强邻居形成历史对当前邻居形成事件影响的表现力。
为了处理大规模网络，HTNE模型是通过优化邻域形成序列的似然而不是条件强度函数来解决的
2.preliminaries
2.1 Neighborhood Formation Sequence
网络形成可以看作是一个添加节点和边的动态过程，它编码了节点如何相互连接和在网络中进化的底层机制。
然而，以往对网络嵌入的研究大多集中在网络快照上，而不考虑网络是如何形成的，大多数网络嵌入方法仅基于静态邻域来表示节点，因此在本文中，作者通过跟踪每个节点的邻域形成来追溯网络的形成过程。
时序网络的定义
领域形成序列的定义
2.2 Problem Definition
给定大尺度时间网络G =< V, E;A >，每个节点x∈V的邻居和相应的时间事件可以通过跟踪x与其邻居交互的所有时间戳事件诱导成一个邻居形成序列hx。然后，时间网络嵌入的目的是学习一个D维向量来表示每个节点，这实际上是在学习一个映射函数φ: V→RD，其中D≪|V|。
3. Methodology
3.1 Hawkes Process
条件强度函数描述了连续事件的到达率，可以定义为给定所有历史事件H(t)，在一个小时间窗口[t, t+∆t)内发生的事件数量。
Hawkes过程是一个典型的时间点过程，条件强度函数定义如下:
3.2 Modeling Neighborhood Formation Sequence via Multivariate Hawkes Process
节点的邻域形成序列实际上是一个计数过程，当前目标节点受到历史事件的影响，在序列x中目标y到达事件的条件强度函数可以表示为:
由于λy |x (t)作为单位时间的速率时，应取正值，故应用指数函数将条件强度率转化为正实数，即д: R→R+。然后，我们可以将邻居的条件强度函数定义为:
3.3 Attention for Sequence Formation
考虑条件强度函数，将历史事件的影响分解为历史节点与当前目标节点的亲和力。直观地说，历史记录和目标节点之间的亲和性应该取决于源节点，我们使用Softmax单位定义源节点与其历史节点之间的权重，如下所示：
3.4 Model Optimization
利用多元Hawkes过程对邻域形成序列进行建模，可以从条件强度推断当前邻域形成事件。那么，给定节点x在时间t之前的邻域形成序列，记为hs (t)，通过条件强度，可以推断出x与目标邻居y在t时刻形成连接的概率为：
网络中所有节点的邻域形成序列的log似然可写成：
则计算t时刻源x与历史目标节点y之间的边的目标函数为:
4. Experiment Setup
4.1 Dataset
4.2 Baseline Methods
LINE、DeepWalk、node2vec
5.Experiment Results
5.1 Evaluation of Node Embeddings
Node classification results
Link prediction results
5.2 Evaluation of the Conditional Intensity Function
6. Conclusion
本文提出了一种基于Hawkes过程的时间网络嵌入(HTNE)方法。HTNE通过将时间网络的邻域形成序列表述为Hawkes过程，实现了节点嵌入的学习，同时捕捉历史邻域对当前邻域形成的影响。通过在Hawkes过程的影响率中插入注意机制，HTNE获得了决定历史邻居中哪些部分更有影响力的能力。在三个大型真实网络上的大量实验证明了我们的方法优于领先的网络嵌入方法。
