基于多平台的网络事件流行度预测方法与系统
本发明涉及网络信息技术领域，特别涉及一种基于多平台的网络事件流行度预测方法与系统。
背景技术：
随着互联网的普及，网络已经融入了人们生活中，并扮演了很重要的角色。与此同时，网络上表达的各种正式与非正式观点，产生了层出不穷的网络事件。
在此，需要指出的是，网络事件是指由多篇文档构成的特定话题，属于比较精细的话题。根据生命周期理论，一个网络事件周期将会经历潜伏、发展、高峰、衰落、消逝五个阶段。相应的，一个网络事件的处理过程分为五个阶段，即发现、分析、预测、预警、引导。部分网络事件可能引发重大网络舆论，针对这些网络事件的进行分析与预测，能够为网络舆情的引导提供依据，从而降低隐患与损失。
网络事件流行度预测是根据网络事件历史时刻的输入来预测未知时刻网络事件的关注量，例如根据事件前期的发文量预测未来时刻的发文量等。网络事件流行度预测研究旨在分析事件内在的传播特征与变化规律，预测其未来发展走向，从而提升人们对网络事件传播规律的认识。
网络事件流行度预测对人们的生产与生活影响重大，尤其在社会安全方面有重要的应用,例如在舆情监测上，及早发现相关的事件，可以做到尽早预防，并将危害降到最低；在公共管理上，对灾害性事件的趋势做出早期预测并预警，则可以最大限度地减少灾害损失；在商业决策上，把握社会事件的当前趋势，有利于未来的商业布局与决策。因此，有必要对网络事件流行度预测进行深入研究。同时，网民在互联网上针对网络事件发表的言论为预测事件的趋势提供了基础数据。
在数据表示方面，数据表示算法作为一种特征表示，主要分为离散数据、网络数据、文本、图像、异构数据五种。离散数据表示目标是如何数值化，而高维的文本、网络数据、图像与异构数据的表示目标则是如何将高维稀疏、多样的原始信息表示转换到低维稠密的实数语义空间。目前的数据表示都是基于神经网络进行表示，因为其高效的表达，在此基础上如何进行融合又是重点与难点。
流行度预测方法主要分为两类：基于特征与基于生成式。
基于特征的预测方法又可以分为数理统计与机器学习两类。
第一小类以数理统计的方法为代表。在特征方面，预测的值与时间的关系呈对数相关性。在模型方面,对于时序预测非常普遍，常用的模型有线性回归模型、自回归移动平均、序列回归模型等。对于非平稳序列，常用的方法有差分整合移动平均自回归模型(autoregressiveintegratedmovingaveragemodel,arima)，prophet模型考虑了趋势、季节、假期以及其他突变点对预测目标所带来的影响。
第二小类以传统的机器学习与深度学习的机器学习算法为代表，对目标值做分类与回归。常用的特征包括时序特征、文本的话题、词数、链接、文本情感、网络中的节点的度、聚集系数、重要度等结构，以及图片的基本特征等特征进行预测。
基于生成式的预测方法主要分两种，基于传播扩散过程与基于点过程。
基于传播扩散过程的方法，基于传染病模型建模了传播速率与当前的已有感染与未感染的节点数的关系，典型的是si理论，其变体spikem模型在传播速率公式中考虑了传播过程中的信息的幂律分布和周期分布。基于概率图模型预测事件中运用隐性马尔可夫模型预测事件的发展状态。
基于点过程预测方法中，当前事件的发生概率受历史影响，传播过程的发生概率由三个因素决定：消息本身的特质、消息传播的相互影响(积极、消极)、时间衰减性质。点过程需要根据这三个因素定义一个强度函数代表事件发生的概率。点过程类中的泊松过程、霍克斯过程通常被用于事件的流行度预测，同时霍克斯过程也被用于事件序列的预测，即对事件的相关指标进行预测。上面的点过程方法都要显式定义强度函数并学习强度函数，神经网络的引入能从历史序列中学习得到参数，不需要显式定义强度函数。用循环神经网络基于最大似然概率学习到当前序列与历史序列的关系，从而学习到强度函数。而对抗生成网络则不用是非最大似然学习，定义的沃瑟斯坦距离相比于kl散度受噪声影响较小，能够得到数据的几何信息。图神经网络将点过程预测下一时刻问题转化成链接概率问题。
基于特征的预测方法可以利用领域知识，且对某一特定时刻预测时精度高，缺点在于特征的构建复杂，难度大。基于生成式的预测方法不需要构建复杂特征，可解释性强，但对模型假设强，泛化性能相对弱。
另外，在数据表示方面，缺乏多源数据研究。网络事件融合的数据设计多源平台，现有的研究缺乏多源数据的研究，在网络流行度预测方面并未考虑多源平台之间的互补性，从而降低了预测的准确性。
技术实现要素：
针对现有技术的不足，本发明的目的在于提出一种基于多平台的网络事件流行度预测方法与系统。
为了实现上述目的，本发明提出了一种基于多平台的网络事件流行度预测方法，包括：步骤1，分别获取多个平台的网络事件的流行度预测序列，并融合所述多个流行度预测序列形成所述网络事件的流行度联合预测序列；步骤2，分别获取所述多个平台的网络事件的流行度历史序列，并融合所述多个流行度历史序列形成所述网络事件的流行度联合历史序列；步骤3，利用生成式对抗网络将所述流行度联合预测序列与所述流行度联合历史序列进行对齐，得到所述网络事件的流行度最终预测序列。
为了实现上述目的，本发明还提出了一种基于多平台的网络事件流行度预测系统，包括：单平台预测模块，用于分别获取多个平台的网络事件的流行度预测序列，并融合所述多个流行度预测序列形成所述网络事件的流行度联合预测序列；单平台历史模块，用于分别获取所述多个平台的网络事件的流行度历史序列，并融合所述多个流行度历史序列形成所述网络事件的流行度联合历史序列；多平台预测模块，用于利用生成式对抗网络将所述流行度联合预测序列与所述流行度联合历史序列进行对齐，得到所述网络事件的流行度最终预测序列。
由以上方案可知，本发明的优点在于：本发明提出的基于多平台的网络事件流行度预测方法与系统，引入了联合学习与序列对齐两种学习策略，从而利用不同数据源辅助预测；基于联合学习对多源数据的目标进行预测，针对多源数据间的相似关系，设计了生成对抗网络，利用生成对抗网络建模不同平台间的概率分布，使用历史序列标签进行对抗学习，从而对齐不同的平台数据，最终能够提高预测准确性。
附图说明
图1为本发明一实施例的基于单平台的网络事件流行度预测方法的流程图。
图2为网络事件的层级结构的示意图。
图3为fasttext文本表示的示意图。
图4为卷积神经网络捕获事件片段的示意图。
图5为注意力网络对权重选取的示意图。
图6为循环神经网络捕获时序关系的示意图。
图7为编码器-解码器模型架构的示意图。
图8为孪生网络示意图。
图9为gan网络对齐示意图。
图10为判别器模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的基于多平台的网络事件流行度预测方法与系统作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在网络事件多源表示方面。当前的数据表示缺乏多源的研究，而网络事件的数据来源是多个平台的。不同平台的发文量在统计上是相关的，特征融合可以提高预测的准确率，同时可以对多个平台的预测目标进行联合表示，从而提升预测的准确度。因此,本发明提出多源平台联合表征网络。首先是对单源平台特征进行表示，同时用孪生网络对多源数据进行表示，从而学得差异化特征，然后用多头注意力机制进行初次融合，最后输出的目标是所要预测的平台所有目标。这个方法能够学习到多源数据的特征。
在网络事件的多源学习方面。不同平台的发文量在统计上是相关的，如果将多源数据当作同一平台信息进行单点预测的判别式学习，会忽略平台间在事件层面上的相关性，因此发明的目标是建模网络事件在平台间的相关性，提高流行度预测的准确率。因此本发明提出数据源的对齐算法，对于网络事件联合表征网络得到的序列输出，用生成对抗网络进行对齐，即设计判别器网络对输出目标进行对齐，从而提升预测准确率。
针对现有网络事件流行度预测缺乏融合多源特征，进而影响网络事件的多平台的流行度预测性能的问题，本发明提出一种基于多平台的网络事件流行度预测方法与系统。本发明提出的方法与系统具有以下关键点：
关键点1，网络事件的多源表示：本发明充分考虑了网络事件来源多源。用深度学习理论来学习表示网络事件的多源特征表示，从而刻画网络事件的内部数据规律，提高预测准性。本发明把网络事件表示分成两个过程，包括单源网络事件表示、多源特征融合。具体表示时，先单平台表示，同时进一步用孪生网络构建不同源的差异特征，再用多头注意力机制多平台融合，最后在目标上联合发文量表示。
关键点2，网络事件的多源学习：本发明充分考虑了网络事件的多源数据间的相关性。首先利用平台间预测目标的相关性，作融合预测，其次利用多源平台在预测目标间时序上有一定的相关性，设计对齐算法对多源平台间的历史序列标签进行对齐。具体学习时，对于生成的流行度序列，用判别器与真实的发文量序列进行对抗学习，从而进一步的学习到数据源之间的关系，提升预测准确率。
参见图1所示，本发明的实施例提出了一种基于多平台的网络事件流行度预测方法。该预测方法包括以下步骤：
步骤s10，分别获取多个平台的网络事件的流行度预测序列，并融合多个流行度预测序列形成网络事件的流行度联合预测序列。
在本实施例中，针对多个平台，首先可以分别获取每一单个平台的网络事件的流行度预测序列，然后再将获取的多个流行度预测序列进行融合以形成网络事件的流行度联合预测序列。
其中，具体的，针对单个平台的网络事件的流行度预测序列获取可以采用如下的方法：
步骤11，将各个平台的网络事件在时序上按照固定时间间隔进行划分以形成多个事件片段，并提取各个事件片段的多个维度特征。
在本实施例中，多个平台例如均具有相同的网络事件，一个网络事件具有自上而下的结构，如图2所示，从时序上看，一个网络事件由连续的多个时间片段组成，每一个时间片段可构成网络事件的一个事件片段。同时，每一个事件片段由多篇文档构成，每篇文档又包括文本内容、传播信息等。因此，本发明的实施例提出的基于单平台的网络事件流行度预测方法乃是基于层级结构来动态表示网络事件的方法，即自下而上构建整个网络事件，先表示网络事件的一个事件片段，然后由多个事件片段组合成一个网络事件，即一个序列。
网络事件的特征具有异构、动态等特性，需要进行融合。在融合之前首先需要对不同特征进行向量化表示。在本实施例中，以一个平台的网络事件为例，例如推特数据，描述多个维度特征的向量化表示方法，所应理解的是，还有其他多个平台，例如微博、今日头条等。如表1所示，推特数据例如可以分别从功能、所属层级和数据类型这3个层次，对特征进行分类。其中，在功能方面，例如将特征分为5类，分别为发文量、用户特征、传播特征、内容特征和时间特征；在所属层级方面，例如将特征分为2类，分别为事件层级和文档层级；在数据类型方面，例如将特征分为实数型、文本型和离散型，对应的每种数据类型的表示方式，分别为数值表示、语言模型和独热表示。而对于网络事件流行度的度量方式包括发文、阅读、转发、点赞、评论等的数量，本发明采取发文量作为网络事件流行度的度量指标，因为发文量易获得并且易采集，发文量可以不需要实时采集；而阅读、转发、点赞、评论等不是所有平台都有设置，但本发明对此并不限制，可根据实际情况对网络事件流行度的度量指标进行调整。
表1
对于实数型特征，除了情绪特征之外，其他特征使用数值表示是很自然的事情。这里重点描述如何将情绪特征用数值表示。本发明使用自然语言处理库nltk提取文本情感，使用vader算法实现情绪特征的数值表示，vader算法基于规则提取4种情感，包括积极、消极、中性与复杂，其中复杂情感衡量了文本中包含情感的数量，提取后数值区间在-1到1，而积极、消极、中性情感提取后的数值区间都是0到1。vader算法基于自己构建的情感词典，并加上标点、大小写、程度副词、连词、否定词等词法与句法来设计情感提取规则。
一种离散数据的处理是网络事件的时间特征。对于时间特征的表示，将网络事件的发文时间进行向量化。因为一天中不同时间段对应的活跃度不一样，例如白天相对深夜高，所以对应的发文概率也是不一样的，因此对于时间特征的表示例如以小时为时间间隔较为合理。在本实施例中，以小时为粒度将网络事件的发文时间进行向量化，即一个长度为24的一维二值化序列，位置0为1代表发文时间在00:00到1:00，可依次类推。
对于文本类型的数据,本实施例采用语言模型fasttext进行特征表示。与其它文本表示模型相比较，fasttext的优点在于大幅提高处理速度的同时并不会太大地降低准确率。这是因为和其它语言模型不同，fasttext是基于字符级别的n-gram特征，这样能够学得比单词更低层次的字符级别的语义。如图3所示，本发明采用fasttext，词向量采取词袋模型与2-gram，对于得到的词表示，求平均，然后用全连接网络进行连接，从而实现高效的文本表示。
对于输入的一个网络事件样本，其内含有例如k个步长的时间数据，每一个步长也即每一个事件片段里面含有一系列推文(文档)对应的特征，目标是将这一系列的推文特征提取出来表示成一维向量。对此，卷积神经网络可以利用其卷积核自动构建特征，因此本发明采用卷积神经网络(convolutionalnetwork，cnn)来捕获事件片段的多个维度特征。
针对一个事件片段的特征，其是一个二维矩阵，每一行对应着一个推文数值特征。如图4所示，在本实施例中，使用大小分别为1、2与3的一维卷积核进行卷积，因为一维卷积核能够在时间序列长度上捕捉推文特征的整体动态变化，再进行最大池化操作，从而降了两维，一个网络事件判断是一维向量表示。然后，经过自注意力机制学习进一步降维，相比全连接层，使用自注意力机制使得网络能够较好的获得与位置无关的特征。如图5所示，注意力机制能够对不同维度特征的权重进行学习，用一个全连接网络计算权重，对其进行归一化，从而计算得到最后的输出，如下式所示：
其中，上述公式表示为注意力网络，用线性网络eij表示权重，即网络参数w，输入为多个维度特征表示的输出hi，αij为经过softmax归一化函数，
步骤s12，分别提取各个事件片段的多个维度特征中的相同维度特征以形成多个维度时序特征，并融合多个维度时序特征得到网络事件的统一特征。
对于每一个网络事件样本，其不仅包括每一个维度特征的每一个事件片段的表示，还有它对应的历史信息。在本发明中，在网络事件层面包括需要预测的发文量历史信息和当前的事件片段时间信息。目标是学习到序列的长距离与短距离表示关系。循环自回归神经网络在序列学习中有重要的应用，同时注意力网络可以更好的捕获序列中长距离的依赖。因此，本实施例采用循环神经网络lstm与注意力机制学习时间序列的表示。
如图6所示，循环神经网络是常用的用来解决序列预测问题的一种模型结构，是一类模型的统称，其变体长短期记忆网络(longshort-termmemory，lstm)缓解了梯度消失的问题，结构上引入了遗忘门，能够捕捉序列间的依赖关系，模型lstm如以下公式所示，输入门为it，遗忘门为ft，隐状态为ht，从中可以看出，增加了遗忘门，可以忘记过去的值，及时更新当前的状态。本发明利用lstm模型获得网络事件的短时依赖关系，从而捕获网络事件的动态变化。
ft＝σ(wf·[ht-1,xt]+bf)
it＝σ(wi·[ht-1,xt]+bi)
其中，上述公式表示为lstm模型，输入门为it，遗忘门为ft，隐状态为ht，σ为sigmoid函数，ct是最终的输出，其它为根据数据拟合的神经网络参数。
因此，本发明利用循环神经网络来提取各个事件片段的多个维度特征中的相同维度特征，从而形成多个维度时序特征；同时，循环神经网络中的多个维度时序特征要经过注意力机制计算得到对应的权重，权重计算通过以下所示公式进行：
ui＝tanh(wshi+bs)
hi+1＝∑iαihi。
其中，上述公式这表示注意力网络的公式，输入为lstm各个单元的输出ht，us为全局的状态，ui为lstm隐层输出状态，αi为经过softmax归一化函数，hi+1是最终的输出，αij代表特征i对于输出j的权重，其它为根据数据拟合的神经网络参数。
经过上述步骤的特征分别学习与表示，本发明的目标是对于每一个平台上的网络事件获得一个统一特征表示，任务就变成了如何获取各个维度时序特征的权重，同样的注意力机制能够较好的学习到相应的权重，在本实施例中采样多头注意力机制学习统一特征表示。当使用多头注意力机制进行学习时，在多个维度时序特征的重要性度量方面上，直接用一个全连接网络计算权重，计算公式如下所示：
然后进行归一化处理
得到最后的输出
其中，上述公式表示多头注意力网络，用线性网络表示权重eij，即网络参数w，输入为各个维度特征表示的输出hi，||代表拼接，k为k头注意力机制，αij为经过softmax归一化函数，
步骤s13，根据统一特征得到网络事件的流行度预测序列。
经过上述步骤的表示学习得到每一个平台的网络事件的一个统一特征表示，在编码器-解码器模型架构中，网络事件特征表示是编码部分，如图7所示，接下来需要对这个统一特征表示进行解码，也即如何学习目标输出。本发明采用两层的全连接网络得到网络事件的流行度预测序列。
其中，针对融合多个流行度预测序列形成网络事件的流行度联合预测序列，在本实施例中，同样例如采取多头注意力机制对各个平台的网络事件的流行度预测序列进行融合，从而得到融合后的网络事件的流行度联合预测序列。
另外，除了融合特征外，本发明还采用孪生网络表示不同源(不同平台)的差异特征，孪生网络用来比较不同输入之间的差别，如图8所示，不同数据源的发文量历史序列都将用同一个网络进行表示，并与其它特征进行融合，孪生网络同样采用lstm表示序列间依赖关系，并利用注意力机制学习不同的权重。不同数据源发文量具有相关性，所以同时预测多个平台比预测一个平台会有更高的准确性能，因此可以做联合学习。
步骤20，分别获取多个平台的网络事件的流行度历史序列，并融合多个流行度历史序列形成网络事件的流行度联合历史序列。其中，网络事件的流行度历史序列是真实的数据，例如在上述步骤10中对网络事件的数据采集中已经获取，同时例如也可采取多头注意力机制对各个平台的网络事件的流行度历史序列进行融合，从而得到融合后的网络事件的流行度联合历史序列。
步骤30，利用生成式对抗网络将流行度联合预测序列与流行度联合历史序列进行对齐，得到网络事件的流行度最终预测序列。
在基于多源数据(多个平台)联合学习中，为了进一步利用多个平台发文量序列间的关系，本发明额外加入学习平台之间目标相似性的任务，即通过对齐多个平台的网络事件的流行度预测序列与流行度历史序列，实现多源数据融合，进而提高预测准确率。本发明利用已经观测到的目标值进行对齐学习，得到两者的概率分布。因此整个对齐过程是一个生成式算法，即如何用数据源生成要对齐的观测值。
本发明是基于发文量的历史时间序列对未来时刻的发文量做预测。不同平台的网络事件传播规律虽然存在差异，但网络事件发文量在时间维度上的序列之间是相关的，因此从预测目标来看可以做联合预测，让两者在联合预测的过程中相互提高预测准确性，从融合手段可以是特征直接融合和对多源预测序列进行对齐。
在联合学习的基础上，通过序列对齐来提高预测的准确率。要解决基于序列相关性的对齐问题，直接学习数据源序列分布是一个重要的手段，因此将序列对齐作为生成任务，生成已经观测的序列，用来对齐两个数据源。本发明生成对齐模型在gan(生成式对抗网络)框架下进行，如图9所示，该模型针对来自两个数据源的特征序列进行联合学习，例如用多源平台的发文量同时进行序列对齐，而发文量标示流行度，即用这些特征生成多源平台的发文量序列(即流行度预测序列)，与真实的发文量序列(即流行度历史序列)进行对抗，从而完成序列对齐与提高预测准确率，进而得到网络事件的流行度最终预测序列。其中，在此以发文量为例作为流行度的度量指标。
对于多个平台按时序对齐后的时刻t特征为ft,对应的发文量值为yt,预测值为yt+1,即建模(ft,yt,yt+1)的分布，可以用wasserstein距离来度量生成数据与目标数据的差别，因此可以引入gan框架来做对齐，本发明采用更为稳定的wgan-gp网络，并且对该网络主要做了以下三点简单的改动：(1)最后一层去掉sigmoid函数；(2)生成器与判别器损失不取对数，作回归任务，最后两者都会稳定在0附近(3)梯度惩罚。这样，能有效缓解gan训练的不稳定。本发明采用此wgan来训练生成网络，从而生成序列。
设计判别器就是求解在用wasserstein距离度量下的距离最大化
其中，x是预测的多平台的流行度，y为真实的多平台流行度；fθ为判别器网络；
其中x与y分别为两种分布数据，需要将一种分布数据对齐到另一种分布，这里采用多源平台特征对齐到发文量。
判别器模型如图10所示,对于生成或者真实的多源平台发文量值用卷积核大小分别1和2的一维卷积，卷积核大小为1是获得单个数据源的特征，大小为2是获得两个平台数据源可能共有的特征或者差异，最后用两层全连接层进行判别输出判别是否是真实的数据。
判别器与生成器的博弈过程如下式所示，最终达到纳什均衡，也就是判别器无法分辨是否是生成序列。
其中，上述表示gan工作公式，yt为多源平台真实的发文量，xt为多源平台输入数据特征，gw为生成器，fθ为判别器，gw(xt)为生成器生成的预测值，x是yt和gw(xt)插值，第一项为wasserstein距离，第二项李普希兹约束，用梯度惩罚的形式，第三项为mse项，保证gan的稳定运行，u、λ为先验参数，需要根据测试获取。
除了可以用判别器学习多源数据，同时考虑对齐的均方误差损失以加快对齐过程。对齐阶段最后总的损失函数为：
其中，上述公式表示对齐部分的损失函数，yt为多源平台真实的发文量，xt为多源平台输入数据特征，gw为生成器，fθ为判别器，gw(xt)为生成器生成的序列预测值,第一项为判别器损失，第二项为mse项，u为先验参数，需要根据测试获取。
因此总的损失函数为：
j(xt,yt,yt+1)＝(gw(xt)-yt+1)2+λd(xt,yt)
其中，上述公式表示最后的损失函数，yt+1为未来时刻多源平台真实的发文量，yt为多源平台真实的历史序列发文量，xt为多源平台输入数据特征，gw为生成器，gw(xt)为生成器生成的预测值，λ为先验参数，需要根据测试获取。
以下为与上述方法实施例对应的系统实施例，本实施例的系统可与上述实施例的方法互相配合实施。上述实施方式中提到的相关技术细节在本实施例的系统中依然有效，为了减少重复，在此不再赘述。
本发明的实施例提出一种基于多平台的网络事件流行度预测系统，包括：单平台预测模块，用于分别获取多个平台的网络事件的流行度预测序列，并融合所述多个流行度预测序列形成所述网络事件的流行度联合预测序列；单平台历史模块，用于分别获取所述多个平台的网络事件的流行度历史序列，并融合所述多个流行度历史序列形成所述网络事件的流行度联合历史序列；多平台预测模块，用于利用生成式对抗网络将所述流行度联合预测序列与所述流行度联合历史序列进行对齐，得到所述网络事件的流行度最终预测序列。
于一实施方式中，所述生成式对抗网络采用wgan-gp网络。
于一实施方式中，所述单平台预测模块包括：片段特征提取模块，用于将各个所述平台的所述网络事件在时序上按照固定时间间隔进行划分以形成多个事件片段，并提取各个所述事件片段的多个维度特征；事件特征获取模块，用于分别提取各个所述事件片段的所述多个维度特征中的相同维度特征以形成多个维度时序特征，并融合所述多个维度时序特征得到所述网络事件的统一特征；事件流行度预测模块，用于根据所述统一特征得到所述网络事件的流行度预测序列。
于一实施方式中，所述单平台预测模块包括：预测序列融合模块，用于利用多头注意力机制计算得到各个所述流行度预测序列的权重，根据所述权重融合所述多个流行度预测序列形成所述网络事件的流行度联合预测序列。
- 还没有人留言评论。精彩留言会获得点赞！