- 文献综述(或调研报告):
图神经网络旨在解决在大数据的飞速发展下,当前时代许多数据都存在于非欧式空间中且高度相互依赖的数据。如社交网络,商业联系,论文引用等[1].普通神经网络由于理论原因无法计算此类数据的问题。而且机器学习的核心假设是实例之间相互独立[1]。然而对于图数据,这种假设显然不成立。所以为了使机器学习算法可以适应当前的数据,需要使用新的方法来满足当前的需求。
图神经网络分类
根据Wu Z, Pan S, Chen F, et al.的研究,当前前沿的图神经网络可以分类为四类:循环图神经网络(Recurrent Graph Neural Networks);卷积图神经网络(Convolutional Graph Neural Networks);图自编码器(Graph Autoencoders)以及空变图神经网络(Spatial-Temporal Graph Neural Networks).
循环图神经网络基于不动点原理,假设图上的节点会与其邻居互相交换信息,在多次交换后,每个节点的信息会趋于稳定[2]。
卷积图神经网络又可细分为基于空间域的卷积图神经网络和基于频域的图神经网络[1],但是其二者的中心思想都是将图上每一个节点的邻居节点的信息进行汇集,最终产生对整个图的表示。基于频域的图神经网络借鉴了卷积神经网络的思想,开发了一套基于图的傅立叶变换方法[3][4][5].使在节点数不确定,每个节点的邻居不确定的图上进行卷积运算成为可能。与循环图神经网络最大的不同是,循环图神经网络每一个时间步运算时网络使用的是相同的参数。而卷积图神经网络每层卷积运算使用是不同的参数。
基于空域的卷积图神经网络无需使用图傅立叶变换,直接利用图上节点直接的相对位置关系来进行卷积操作。这类图神经网络借鉴了循环图神经网络信息传递的的思想[1]。A.Micheli等人最早提出了一种基于空域的图神经网络:Neural Network for Graphs(NN4G)[6]。NN4G的卷积思想非常简单,只是将每个节点的邻居的信息进行加和。具体公式如下:
其中f是激活函数,W和是可学习参数。N(v)代表节点v的所有邻居。
之后随着关于基于空域的图卷积神经网络研究的深入,又产生了许多整合图上节点及其邻居节点的方式。如Diffusion Convolutional Neural Network(DCNN)[7]使用了节点之间的转移概率来表示信息的流动了。Partition Graph Convolutiona (PGC-DGCNN)使用图上最短路径的方法增加了与节点相聚较远节点对本节点信息的贡献[7]。
图自编码器的主要目的是生成图的向量表示(graph embedding),类似与序列模型,图自编码器使用了一个编码器来产生图的向量表示,并且使用一个解码器来保留原始的图结构[1]。编码器用于减少节点及其邻居间的距离来保留图上的邻接信息[9]。解码器让通过图向量还原出的图结构更加接近原始的图结构。
图神经网络在自然语言处理上的应用
以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。