一种Spark云服务环境下面的复杂网络社团发现方法与流程

文档序号:20437785发布日期:2020-04-17 22:11阅读:来源:国知局

技术特征:

1.一种spark云服务环境下面的复杂网络社团发现方法,其特征在于,所述spark云服务环境下面的复杂网络社团发现方法包括以下步骤:

步骤一,通过基于节点权重的改进型pagerank算法进行复杂网络社团的探测:以点对的形式输入网络数据,利用图的数据结构保存网络数据,并形成网络图;

步骤二,使用改进型pagerank算法计算网络中节点的影响力;利用层次聚类方法得到骨干社团结构;使用扩展方法,将骨干社团扩展到全网得到整体网络的社团结构;

步骤三,基于多种关系网络进行异构网络信息的融合;利用检测程序检测复杂网络社团异常;通过主机控制各个模块正常工作;

步骤四,通过隶属度传播模型对复杂网络社团进行挖掘:建立社团种子节点的选取框架,以社团种子节点的基本特征为依据,确定种子节点选取的测试顺序,所述节点为网关节点;

步骤五,构建网络节点之间的隶属度传播模型,将种子节点的社团隶属度传播至非种子节点;以优化社团划分结果的模块度为目标,确定社团种子节点的选准则;

步骤六,当社团种子节点选取完毕后,通过调整节点社团属性以及合并社团的方式,对模块度进行进一步优化,并修正各节点的社团隶属度,得到最终的模糊社团挖掘结果;

步骤七,确定复杂网络社团;获取所述复杂网络中每个节点的权重值;依据所述复杂网络中每个节点的权重值,获取复杂网络中每个节点的局部重心性数值;

步骤八,依据每个节点的局部重心性数值确定目标局部重心点;确定分别以每个所述目标局部重心点为重心的初始社团;确定所述初始社团中的网络社团;

步骤九,利用划分程序对复杂网络社团进行划分;利用扩展程序对复杂网络社团进行扩展;利用优化程序对复杂网络社团进行优化;利用spark云服务技术对复杂网络社团进行大数据计算处理;

步骤十,通过存储芯片存储探测的复杂网络社团及检测复杂网络社团异常情况的实时数据;利用显示器显示探测的复杂网络社团及检测复杂网络社团的异常情况。

2.如权利要求1所述spark云服务环境下面的复杂网络社团发现方法,其特征在于,步骤一中,所述通过基于节点权重的改进型pagerank算法进行复杂网络社团的探测的方法包括:

(1)以点对的形式输入网络数据,利用图的数据结构保存网络数据,并形成网络图g(v,e);

(2)使用基于节点权重的改进型pagerank算法(wp)计算网络g(v,e)中节点的影响力(wp值);根据节点的wp值对网络节点进行排序;按照节点排序结果选取骨干节点;

(3)创建骨干网络,将所有的骨干节点以及两个端点均为骨干节点的边加入骨干网络;

(4)在骨干网络中运行层次聚类方法,得到骨干社团结构;

(5)使用扩展方法,将骨干社团扩展到全网,得到整体网络的社团结构。

3.如权利要求2所述spark云服务环境下面的复杂网络社团发现方法,其特征在于,所述基于节点权重的改进型pagerank算法(wp)的计算公式为:

其中,wvi是节点vi的度,是整个网络中所有节点的度值的总和,wp(vj)是节点vj的wp值。

4.如权利要求2所述spark云服务环境下面的复杂网络社团发现方法,其特征在于,所述的扩展方法的具体步骤如下:

1)为整体网络的社团集合cs赋初始值为骨干网络的社团集合:cs=ks;

2)对于每个非骨干节点v,遍历其所有邻居节点,如果邻居节点u包含在社团集合cs,那么计算节点v和节点u所在的社团之间的密切度;

3)比较节点v和其所有邻居社团之间的密切度,将节点v加入密切度最大的社团;所述节点和社团的密切度计算公式为:

其中,等号右边分子部分表示在社团c中与节点v有直接边联系的所有节点的wp值的总和与节点v的wp值之和,分母为社团c的所有节点的wp值的总和与节点v的wp值之和。

5.如权利要求1所述spark云服务环境下面的复杂网络社团发现方法,其特征在于,步骤四中,所述通过隶属度传播模型对复杂网络社团进行挖掘的方法如下:

(1)建立社团种子节点的选取框架,以社团种子节点的基本特征为依据,确定种子节点选取的测试顺序,所述节点为网关节点;

(2)构建网络节点之间的隶属度传播模型,在传播过程中,社团种子节点的隶属度向量保持不变,而非种子节点的隶属度向量则进行迭代更新,通过这种方式,将种子节点的社团隶属度传播至非种子节点;

(3)在此基础上,以优化社团划分结果的模块度为目标,确定社团种子节点的选准则,即:若某节点被标记为种子节点后,社团划分结果的模块度没有减小,则将该节点接受为新的种子节点;

(4)当社团种子节点选取完毕后,通过调整节点社团属性以及合并社团的方式,对模块度进行进一步优化,并修正各节点的社团隶属度,得到最终的模糊社团挖掘结果。

6.如权利要求5所述spark云服务环境下面的复杂网络社团发现方法,其特征在于,所述确定社团种子节点选取的测试顺序的过程为:在社团种子节点的选取过程中,按照度从大到小的顺序测试节点是否为种子节点,对于同度节点,则考虑其邻居节点度之和,即按照邻居节点度之和从小到大的顺序进行测试;

所述隶属度传播的过程为:社团种子节点的隶属度向量保持不变,而非种子节点的隶属度向量则进行迭代更新,当所有非种子节点的隶属度向量收敛至稳定状态时,传播过程结束;

所述非种子节点隶属度向量迭代更新的实现为:在每次更新计算中,根据边的权重,将非种子节点的隶属度向量取为其邻居节点的隶属度向量的加权平均;

所述社团种子节点的选取准则为:将某节点标记为种子节点,并进行隶属度传播,然后将传播结果转化为非重叠社团划分结果;利用模块度对该划分结果进行评价,若模块度减小,则将该节点重新标记为非种子节点;

所述社团种子节点的选取准则还包括:每当接受一个新的种子节点后,需对已有种子节点进行筛选。

7.如权利要求1所述spark云服务环境下面的复杂网络社团发现方法,其特征在于,步骤七中,所述确定复杂网络社团的方法如下:

(1)复杂网络包括多个节点,每个所述节点分别与至少一个区别于自身节点的节点相连,相连节点之间的边具有两个边方向,且每个边方向具有各自的边权值,利用获取所述复杂网络中每个节点的权重值;

其中,wij为所述复杂网络中节点vi指向节点vj的边方向的边权值,wji为节点vj指向节点vi的边方向的边权值,r为边权值wji中与边权值wij相关联的数值,hi为所述复杂网络中节点vi所属的邻域节点,λ、β为参数,wi为所述复杂网络中节点vi的权重值;

(2)依据所述复杂网络中每个节点的权重值,利用获取所述复杂网络中每个节点的局部重心性数值;其中,wj为所述复杂网络中节点vj的权重值,act(vi)为所述节点vi的局部重心性数值;

(3)依据每个节点的局部重心性数值,在所述复杂网络中确定至少一个节点作为目标局部重心点;

(4)在所述复杂网络中,确定分别以每个所述目标局部重心点为重心的初始社团;确定所述初始社团中的网络社团。

8.如权利要求7所述spark云服务环境下面的复杂网络社团发现方法,其特征在于,所述依据每个节点的局部重心性数值,在所述复杂网络中确定至少一个节点作为目标局部重心点,包括:

获取局部重心性数值大于预设第一数值的节点作为初始局部重心点;在所述复杂网络中,确定分别以每个所述初始局部重心点为重心的初始局部社团;

分别在每个所述初始局部社团中,确定到该初始局部社团中其他节点的距离之和最小的节点作为目标局部重心点。

9.如权利要求7所述spark云服务环境下面的复杂网络社团发现方法,其特征在于,所述依据每个节点的局部重心性数值,在所述复杂网络中确定至少一个节点作为目标局部重心点,包括:

分别确定每个所述节点的邻域所组成社团各自的社团密度值;获取每个所述节点的局部重心性数值与该节点对应的社团密度值的乘积;确定所述乘积大于预设第二数值的节点作为目标局部重心点;

所述在所述复杂网络中,确定分别以每个所述目标局部重心点为重心的初始社团,包括:

对所述目标局部重心点依据其各自的局部重心性数值的大小进行排序;依次分别确定以排序后的每个所述目标局部重心点为重心的初始社团。

10.一种应用如权利要求1-9任一项所述spark云服务环境下面的复杂网络社团发现方法的spark云服务环境下面的复杂网络社团发现系统,其特征在于,所述spark云服务环境下面的复杂网络社团发现系统包括:

社团探测模块、异常检测模块、主控模块、社团挖掘模块、社团确定模块、社团划分模块、扩展模块、优化模块、云服务模块、数据存储模块、显示模块;

社团探测模块,与主控模块连接,用于通过基于节点权重的改进型pagerank算法进行复杂网络社团的探测;

异构网络信息融合模块:与主控模块连接,用于通过基于多种关系的网络进行异构网络信息的融合;

异常检测模块,与主控模块连接,用于通过检测程序检测复杂网络社团异常;

主控模块,与社团探测模块、异构网络信息融合模块、异常检测模块、社团挖掘模块、社团确定模块、社团划分模块、扩展模块、优化模块、云服务模块、数据存储模块、显示模块连接,用于通过主机控制各个模块正常工作;

社团挖掘模块,与主控模块连接,用于通过隶属度传播模型对复杂网络社团进行挖掘;

社团确定模块,与主控模块连接,用于确定复杂网络社团;

社团划分模块,与主控模块连接,用于通过划分程序对复杂网络社团进行划分;

扩展模块,与主控模块连接,用于通过扩展程序对复杂网络社团进行扩展;

优化模块,与主控模块连接,用于通过优化程序对复杂网络社团进行优化;

云服务模块,与主控模块连接,用于通过spark云服务技术对复杂网络社团进行大数据计算处理;

数据存储模块,与主控模块连接,用于通过存储芯片存储探测的复杂网络社团及检测复杂网络社团异常情况的实时数据;

显示模块,与主控模块连接,用于通过显示器显示探测的复杂网络社团及检测复杂网络社团的异常情况。


技术总结
本发明属于网络社团发现技术领域,公开了一种Spark云服务环境下面的复杂网络社团发现方法,通过改进型PageRank算法进行复杂网络社团的探测;基于多种关系网络进行异构网络信息的融合;利用检测程序检测复杂网络社团异常;通过隶属度传播模型对复杂网络社团进行挖掘;利用划分程序对复杂网络社团进行划分;利用扩展程序对复杂网络社团进行扩展、优化、大数据计算处理、存储、显示。本发明通过社团挖掘模块突破了现有技术所通常受到的限制;在稳定性、鲁棒性、以及各种评价指标方面效果好;通过社团确定模块确定整个复杂网络中的目标局部重心点,进而确定初始社团,再经过对初始社团的筛选得到准确率较高的网络社团。

技术研发人员:闫光辉;罗浩;武昱;李鹏;裴华艳;李宗仁;包峻波;李俊成;张萌;刘婷;殷朗;王珊;周毅;卢彬炜;李世魁
受保护的技术使用者:兰州交通大学
技术研发日:2019.12.04
技术公布日:2020.04.17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1