一种基于事件链的网络舆情关联推演预测分析方法

1.本发明涉及图书推荐系统的技术领域，特别涉及一种基于事件链的网络舆情关联推演预测分析方法。


背景技术：

2.微博舆情是互联网舆情表现的新形式，已成为影响国家安全和社会稳定的不确定性因素。研究网络舆情突发事件微博讨论内容的变化，挖掘事件发展过程中的舆情演化规律，对于辅助网络舆论的引导工作以及预测类似事件的宏观发展方向具有现实意义。然而，面对海量的舆情信息如何对其有效组织一直是近年来的研究热点。传统的网络舆情分析往往只关注舆情整体在社交媒体中的内容演化，却忽略了事件的细粒度强度演化过程，致使用户很难捕捉事件不同方面的演化过程。而且面对愈加庞大的数据信息也限制了对舆情演化的解读。在这种情况下，如何在海量的数据中发现并跟踪事件的产生、演变，挖掘事件的态势走向，成为舆情分析中的一个重要问题。
3.发明专利cn201910120187.1提出了一种网络舆情演化结果的预测方法，获取网络舆情传播所有个体信息，并根据所述个体信息构建有向加权网络；从所述个体信息中提取个体初始意见，根据所述初始意见和所述有向加权网络计算网络舆情随时间演化的预测结果；发明专利cn201910452142.4提供一种提出了一种基于连续马尔科夫的双层网络舆情信息传播预测方法，能够根据线上和线下双层网络节点预测舆情状况；发明专利cn201610096775.2给出了一种基于lda主题模型来分析和预测网络舆情的方法，从训练结果中得到各lda主题模型强度随时间的变化趋势，实现网络舆情的动态分析和预测功能。发明专利cn202010668147.3公开了一种舆情传播的稳定条件的预测方法、装置及设备，用于精确判断在目标社交平台中舆情传播的稳定条件。
4.上述的发明专利，并没有对话题内容的联系和发展过程进行深入分析，致使用户不能清楚的掌握事件的主要内容和演变历程。基本思路是提取事件在不同发展阶段的内容信息，并按时间顺序展示给用户。但关键在于提取哪些事件最主要，事件之间是否具有演化关系，以及以何种方法能预测类似网络舆情的态势走向，传统的演化研究并没有做深入的回答。


技术实现要素：

5.针对现有技术中存在的不足之处，本发明的目的是提供一种基于事件链的网络舆情关联推演预测分析方法，弥补了复杂舆情事件中子事件的提取、关联、与预测，并充分考虑了专家介入的人机互动标签方法，适用于舆情推演分析定位与精准预测。为了实现根据本发明的上述目的和其他优点，提供了一种基于事件链的网络舆情关联推演预测分析方法，包括：
6.s1、通过elmo模型对微博训练集语料进行预训练，得到预训练模型后对测试集进行词向量处理；
7.s2、通过one
‑
pass聚类算法合并相似微博数据，得到节点事件集合；
8.s3、对步骤s2中的节点事件集合的关键词再次使用预训练模型向量化处理，得到节点集合的向量化表示；
9.s4、通过active learning进行少标签数据学习，为每个节点贴标；
10.s5、通过seq2pat发现标签之间转移对数；
11.s6、通过马尔科夫链构建节点事件之间关联，并生成关联树；
12.s7、通过n步马尔科夫链预测每个节点事件的舆情发展趋势。
13.优选的，所述步骤s1还包括对微波文本进行数据预处理，包括以下步骤：
14.s11、通过textrank算法对分词后的博文词汇集进行关键词提取，得到博文关键词词汇集，构建在emlo模型；
15.s12、使用一个双向的lstm语言模型，将elmo直接当做特征拼接到具体任务模型的词向量输入或者是模型的最高层表示上，对测试集语料中词向量化。
16.优选的，所述步骤s2包括对于每条向量化后的博文进行余弦相似性计算，通过one
‑
pass聚类，得到节点事件。
17.优选的，所述步骤s3包括以下步骤：
18.s31、通过步骤s1得到的预训练模型，再次进行词向量化；
19.s32、随后进行语义消歧任务，使用semcor3.0语料库，利用bilms来计算语料库中所有的词汇向量表示；
20.s33、再利用1近邻法求这个词汇可能的位置及向量化。
21.优选的，所述步骤s4中通过基于池的采样(pool
‑
based sampling)的active learning对节点事件进行标注。
22.优选的，所述步骤s5中使用seq2pat基于约束的顺序模式挖掘算法，使用多值决策图(mdd)的顺序数据库表示方法，通过利用对称性对项目序列及其属性进行紧凑编码。
23.优选的，所述步骤s6中，根据节点事件的先验概率和转移概率，计算得到马尔科夫链模型，并生成事件链状态转移概率树
24.优选的，所述步骤s7中，通过n步马尔科夫链，计算达到稳态，并生成每个子节点事件演化概率图。
25.本发明与现有技术相比，其有益效果是：。
附图说明
26.图1为根据本发明的基于事件链的网络舆情关联推演预测分析方法的流程框图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.参照图1，一种基于事件链的网络舆情关联推演预测分析方法，包括：s1、通过elmo模型对微博训练集语料进行预训练，得到预训练模型后对测试集进行词向量处理；
29.s2、通过one
‑
pass聚类算法合并相似微博数据，得到节点事件集合；
30.s3、对步骤s2中的节点事件集合的关键词再次使用预训练模型向量化处理，得到节点集合的向量化表示；
31.s4、通过active learning进行少标签数据学习，为每个节点贴标；
32.s5、通过seq2pat发现标签之间转移对数；
33.s6、通过马尔科夫链构建节点事件之间关联，并生成关联树；
34.s7、通过n步马尔科夫链预测每个节点事件的舆情发展趋势。
35.进一步的，所述步骤s1还包括对微波文本进行数据预处理，包括以下步骤：
36.s11、通过textrank算法对分词后的博文词汇集进行关键词提取，得到博文关键词词汇集，构建在emlo模型；
37.s12、使用一个双向的lstm语言模型，将elmo直接当做特征拼接到具体任务模型的词向量输入或者是模型的最高层表示上，对测试集语料中词向量化。
38.进一步的，所述步骤s2包括对于每条向量化后的博文进行余弦相似性计算，通过one
‑
pass聚类，得到节点事件。
39.进一步的，所述步骤s3包括以下步骤：
40.s31、通过步骤s1得到的预训练模型，再次进行词向量化；
41.s32、随后进行语义消歧任务，使用semcor3.0语料库，利用bilms来计算语料库中所有的词汇向量表示；
42.s33、再利用1近邻法求这个词汇可能的位置及向量化。
43.进一步的，所述步骤s4中通过基于池的采样(pool
‑
based sampling)的active learning对节点事件进行标注。
44.进一步的，所述步骤s5中使用seq2pat基于约束的顺序模式挖掘算法，使用多值决策图(mdd)的顺序数据库表示方法，通过利用对称性对项目序列及其属性进行紧凑编码。
45.进一步的，所述步骤s6中，根据节点事件的先验概率和转移概率，计算得到马尔科夫链模型，并生成事件链状态转移概率树
46.进一步的，所述步骤s7中，通过n步马尔科夫链，计算达到稳态，并生成每个子节点事件演化概率图。
47.实施例方式如下：
48.步骤s1 elmo模型词向量化。(1)文本预处理。在对数据预处理的基础上进一步对文本进行处理。其中包含了许多与事件无关的特殊符号、表情、链接等。如频繁出现的词语“转发”、“微博”、“@用户”以及标记性符号等，如果不去掉对之后的文本分析会造成干扰。其中“#话题#”的文字内容直观表达了一个话题内容，因此需要保留。对处理后的微博文本内容进行分词处理，这里使用jieba分词工具。并对分词后的微博文本去除停用词、拟声词、特殊符号。如“的”、“地”、“啊”等词以及无用的标点符号，得到每条博文词汇集；(2)关键词提取。为了快速获取文本的核心内容，高度凝练文本的主题，首先对文本进行关键词提取。通过textrank算法对分词后的博文词汇集进行关键词提取，得到博文关键词词汇集；(3)构建在emlo模型，使用的一个双向的lstm语言模型，由一个前向和一个后向语言模型构成，每层的lstm cell拥有4096个单元和512维度映射，目标函数就是取这两个方向语言模型的最大似然。在预训练好这个语言模型之后，把这个双向语言模型的每一中间层进行一个求和，使
用最高层的表示来作为elmo。(4)进行有监督的nlp任务时，将elmo直接当做特征拼接到具体任务模型的词向量输入或者是模型的最高层表示上，对测试集语料中词向量化。
49.步骤s2 one
‑
pass聚类。对于每条向量化后的博文进行相似性计算。
①
初始时从数据集读入一个新的博文；
②
以这个博文构建一个新的簇；
③
若达到数据集末尾，则转6，否则读入一个新的博文；计算它与每个已有簇之间的距离，并选择与它距离最小的簇。
④
若最小距离超过给定的阈值，转
②
；
⑤
否则将对象并入该簇，并更新簇心，转
③
；
⑥
结束。在本算法中，采用的是余弦距离公式计算节点与簇心之间的距离。一次网络舆情对应着多个不同阶段以及相关的衍生舆情事件，记为节点事件，根据提取的舆情事件簇概括性描述出其发展阶段对应的节点事件。例如9.11恐怖袭击事件包含“袭恐发生”、“政府紧急应对”、“伤亡人员抚恤”、“遇难者哀悼”和“嫌疑人抓捕”等发展阶段，即为节点事件。节点事件表述衍生舆情事件的核心含义，可以作为事件的摘要帮助我们刻画事件包含哪些侧面或分析角度，不同的侧面也对应了舆论不同的关注点。
50.步骤s3节点事件向量化。根据s2的聚类，每个节点事件包含了若干显示博文，对每个簇中的博文博文词汇集求并集，得到节点事件的综合表达。通过文本聚类已将海量的舆情事件降低到人工可判读的数量级，同时有助于获得相互独立的节点事件。仅仅将节点事件的表示视为一个简单的词袋不便于之后的演化分析，因此对得到的节点事件簇关键词集合结合原数据对应的文本内容，概括性描述出舆情事件摘要。对于每个节点事件，通过s1得到的预训练模型，再次进行词向量化。随后进行语义消歧任务，使用semcor3.0语料库，这是一个标注了多义的预料库，库中的每个词汇都对应着wordnet的一个位置。基于该预料库进行计算的方法是，先利用bilms来计算出了语料库中所有的词汇向量表示。然后将位于wordnet相同位置的词汇的向量取了平均。测试的时候，对于一个给出的目标博文中的目标词，利用bilm得出结果后，利用训练时获得的每个wordnet位置中的词汇的初始向量,，再利用1近邻法求这个词汇可能的位置。
51.步骤s4人机交互贴标。通过基于池的采样(pool
‑
based sampling)的active learning对节点事件进行标注。
①
将数据分为“池”和测试集；
②
从池中为初始训练选择k个样本设置并标记它们，其余数据将成为验证集；
③
对所有集合进行归一化；
④
使用训练集以平衡的权重训练模型；
⑤
将训练好的模型与验证集一起使用，获得每个样本的概率；
⑥
将训练好的模型与测试集一起使用，获得性能指标；
⑦
根据每个样本的概率选择k个最有信息的样本，即模型关于其标记最不确定的那些样本；
⑧
将这k个样本从验证集中移到训练集中，并查询其标签；
⑨
对所有数据集进行逆归一化；
⑩
根据停止标准停止，否则转到
③
。在贴标过程从，需要注意以下几点：(1)所选算法的完全监督性能通常是上限，需要建议尝试几种算法，如带有线性核的支持向量机(svm)，随机森林(rf)和逻辑回归(log)。(2)从验证集中删除样本后，必须颠倒所有集合的归一化并再次进行标准化，因为在新的验证集和新的训练集中，我们的样本分布都发生了变化。(3)样本选择功能依赖于从训练后的模型得出的测试样本概率，因此，我们只能使用提供访问样本概率的算法。(4)k是一个超参数。提出了四个已知的选择函数：a.随机选择——从验证集中选择k个随机样本；b.熵选择——选择熵最高的k个样本；c.保证金选择—我们选择k个样本，其两个最高类别概率之间的差异最小，即对于模型非常确定为一个类别的样本，将给出一个较高的数字，而对于类别概率非常大的样本，将给出一个较高的数字相似的。
52.步骤s5 seq2pat关联挖掘。seq2pat是用于基于约束的顺序模式挖掘算法，使用多值决策图(mdd)的顺序数据库表示方法，通过利用对称性对项目序列及其属性进行紧凑编码。mdd表示用约束特定的信息来扩充，以便在挖掘算法期间保证或强制满足约束。首先，约束满足只执行一次，而不是像预投影算法那样对每个投影数据库执行一次。其次，可以同时考虑几个约束条件，这与单独考虑每个约束条件并导致较大计算成本的迭代方法相反。最后，强加约束导致较小的mdd，并因此降低了对挖掘算法的计算要求。如果mdd是前缀单调的或前缀反单调的，则可以直接对其施加约束条件。通过不在它们各自的节点之间创建弧来防止这种约束的不可行扩展。对于序列s，算法从节点相关开始对应于位置s[j]处的项目s[j]:j＝|s|，并检查该项目是否可用于扩展以序列的任何先前项目i∈lj
′
<lj结束的模式。只要扩展是可行的，就会在mdd的各个项目节点之间创建一个弧(u，v)。然后，算法对j
‑
1位置的项目递增并重复相同的过程。通过上面的构造，一个节点连接到所有节点，表示相对于强加的约束的可行扩展。因此，挖掘算法只需要搜索节点u∈u的子节点来扩展以u结尾的任何模式。如果s[j]处的项i到s[j’]处的项的扩展是不可行的，则保证i到项s[k]:k≥j
′
的任何扩展也是不可行的。如果一个约束是非单调的，需要检查它对于所有可能的扩展的满足性，这只有在所有单调和反单调约束都满足的情况下才能完成。各种约束类型包括：平均——此约束指定模式中所有事件的属性平均值；差距——这个约束指定的图案中每两个连续事件的属性值之间的差异；中位数——此约束指定模式中所有事件中属性的中位数；跨度——此约束指定模式中所有事件中属性的最大值和最小值之间的差。
[0053]
步骤s6～7将构建的事件链图中的舆情事件以节点事件对的形式两两结合进行存储，每个事件对代表着网络舆情事件链节点之间的可能演化。计算出各节点事件的先验概率，然后再利用条件概率公式计算出事件对间的演化概率。在构建的事件链图上添加对应的事件间的演化概率即为事件内容演化图。与事件内容演化对应的是事件生命周期内不同时间片上的强度演化过程，揭示了用户的关注点逐渐转移的变化过程。强度演化过程通过计算不同时间片上事件的强度值，来反应该事件所受到的关注度从高潮到低潮或从低潮到高潮的变化过程。依据强度演化图可以考察一段时间内舆论对于同一事件关注角度的变化以及事件本身的发展过程。而事件的强度主要通过关于所发生事件的语料文本集合中所占的比例来衡量,用来表示时间片k上事件t的强度马尔可夫是预测事件发生概率的一种有效方法。在该过程中，过去(即当期以前的历史状态)对于预测将来(即当期以后的未来状态)是无关的，即下一状态的概率分布只能由当前状态决定。针对舆情演化而言，首先，舆情的发展可以看作是一个非平稳的时间序列，并且其时间划分和状态划分都可以描述为离散的过程；其次，舆情的演化受当前时刻状态的影响非常强烈，即t+1时刻的状态只与t时刻的状态有关，而与过去的状态无关；最后，从一个状态到另一个状态的转移过程是随机的。这些特点正好满足马尔可夫的无后效性应用条件。因此，采用马尔可夫对每一衍生舆情事件的强度演化趋势进行预测。根据演化概率构建马尔可夫状态转移矩阵p，利用初始状态向量和状态转移矩阵来预测以后舆情强度的状态概率，通过n步转移公式，得到马尔可夫链的平稳分布。该稳态概率反应了系统达到稳定时处于某一状态的可能性。同时呈现每个节点事件的演化概率图。
[0054]
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
[0055]
尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。