复杂网络的关系图谱挖掘分析平台、方法及存储介质与流程

本发明涉及计算机技术领域，特别是涉及一种大规模复杂网络的关系图谱挖掘分析平台、方法及计算机可读存储介质。

背景技术：

随着互联网时代的快速发展，各类复杂网络层出不穷，通过搭建一个完整的复杂网络挖掘平台，构造一个从底层数据获取、网络拓扑结构的构建、网络信息挖掘以及结果应用展示，对实际真实业务的模拟重现、潜在功能分析以及未来业务策略的订制具有重大的作用。同时，复杂网络是各类实际应用场景数据大规模的叠加，复杂网络成体系的挖掘比互联网时代单一的推荐系统具有更大的价值。

当前复杂网络研究大多数利用微信、qq等客户端类聊天软件的联系，微博、网络bbs、新闻媒体的评论信息和互动交流，以及购物类网站的购物关联和评论信息构建通用的网络格式数据。目前复杂网络研究平台大多数基于开源类软件cytoscape、gephi、networkx、pajek和graphx等，或者在其基础之上构建挖掘平台。当前的开源类复杂网络分析软件包含各类组件支撑，支持大多种类的静态网络的导入，对网络进行基本的节点度、网络分布情况等统计分析以及深度的网络结构的挖掘，同时支撑网络自身的展示和网络挖掘出来结果的展示分析，整个网络分析方案以及挖掘的结果可以保存以便后续再次进行分析。

目前的复杂网络系统的深度分析大多基于x86单服务器进行网络挖掘和分析，并行方式主要解决部分简单的统计分析和应用展示和发布。现有复杂网络分析系统对服务器硬件资源要求较高，尤其是cpu和内存资源占用较多，系统i/o的并发吞吐实时交换数据量较大、交换非常频繁，后台任务调度要求非常高。

技术实现要素：

本发明提供了一种大规模复杂网络的关系图谱挖掘分析平台、方法及计算机可读存储介质，以解决现有技术中复杂网络系统的深度分析困难的问题。

一方面，本发明提供了一种大规模复杂网络的关系图谱挖掘分析平台，包括：

多数据源接入模块，用于采用分布式并行处理方法，在空间上将大规模网络进行分区，各个分区块对应不同的任务，分散在不同的服务器上并行化处理并整合；

网络专题库的构建模块，用于对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建，临时数据信息直接在各个服务器上进行专题库构建，主服务器上的汇集数据进行分片分散到各个服务器上进行分片，并行化构建各个专题库，最后对分片结果进行整合；

构造模块，用于构造标签，构造网络的拓扑结构或者构造融合的网络拓扑结构；

网络挖掘与分析，用于对在逻辑上可拆分的任务进行分片，将任务分配到不同的服务器进行分布式计算并进行结果的整合；对在逻辑上不可拆分业务，使用资源较为强大的服务器或者graphchi磁盘交换技术进行单任务处理；对于耗费巨大硬件资源的计算任务，采用gpu进行加速，以快速挖掘网络的有效信息。

可选地，所述多数据源接入模块还用于，对一些脏数据进行清洗工作和特征提取，创建为可复用的数据源接入模板。

可选地，所述网络专题库的构建模块进一步地包括：

标签信息的构造模块，用于对于未知标签，通过主动学习、对抗学习技术挖掘复杂网络中隐含的标签信息；

网络拓扑结构的构造模块，用于对于不需要进行多网络融合的场景，利用节点的相似度或者直接链接快速构造网络的拓扑结构，对于需要多网络融合的场景，可以利用加权相似度等技术构造融合的网络拓扑结构。

可选地，该平台还包括：结果可视化展示模块，，用于对复杂网络的结果信息进行展示。

另一方面，本发明提供了一种大规模复杂网络的关系图谱挖掘分析方法，应用上述任一种所述的关系图谱挖掘分析平台，包括：

采用分布式并行处理方法，在空间上将大规模网络进行分区，各个分区块对应不同的任务，分散在不同的服务器上并行化处理并整合；

对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建，临时数据信息直接在各个服务器上进行专题库构建，主服务器上的汇集数据进行分片分散到各个服务器上进行分片，并行化构建各个专题库，最后对分片结果进行整合；

构造标签，构造网络的拓扑结构或者构造融合的网络拓扑结构；

对在逻辑上可拆分的任务进行分片，将任务分配到不同的服务器进行分布式计算并进行结果的整合；对在逻辑上不可拆分业务，使用资源较为强大的服务器或者graphchi磁盘交换技术进行单任务处理；对于耗费巨大硬件资源的计算任务，采用gpu进行加速，以快速挖掘网络的有效信息。

可选地，分散在不同的服务器上并行化处理并整合之后，对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建之前，还包括：

对一些脏数据进行清洗工作和特征提取，创建为可复用的数据源接入模板。

可选地，构造标签，包括：

对于未知标签，通过主动学习、对抗学习技术挖掘复杂网络中隐含的标签信息。

可选地，构造网络的拓扑结构或者构造融合的网络拓扑结构，包括：

对于不需要进行多网络融合的场景，利用节点的相似度或者直接链接快速构造网络的拓扑结构，对于需要多网络融合的场景，可以利用加权相似度等技术构造融合的网络拓扑结构。

可选地，该方法还包括：对复杂网络的结果信息进行展示。

再一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现上述中任意一种大规模复杂网络的关系图谱挖掘分析方法。

本发明有益效果如下：

为了解决当前复杂网络深度挖掘遇到多源异构数据融合问题等带来的大规模应用分析困难的问题，本发明从复杂网络体系角度出发解决大规模网络的分析挖掘问题，构造了“研图”关系网络挖掘分析平台，同时针对已有的业务方面，本发明提供了实际的网络关键节点检索、多源数据融合、网络关键节点和隐藏节点挖掘等复杂网络的实际应用分析与展示。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例的大规模复杂网络的关系图谱挖掘分析平台的结构示意图；

图2是本发明实施例的大规模复杂网络的关系图谱挖掘分析方法的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明第一实施例提供了大规模复杂网络的关系图谱挖掘分析平台，参见图1，包括：

多数据源接入模块，用于采用分布式并行处理方法，在空间上将大规模网络进行分区，各个分区块对应不同的任务，分散在不同的服务器上并行化处理并整合；

网络专题库的构建模块，用于对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建，临时数据信息直接在各个服务器上进行专题库构建，主服务器上的汇集数据进行分片分散到各个服务器上进行分片，并行化构建各个专题库，最后对分片结果进行整合；

构造模块，用于构造标签，构造网络的拓扑结构或者构造融合的网络拓扑结构；

网络挖掘与分析，用于对在逻辑上可拆分的任务进行分片，将任务分配到不同的服务器进行分布式计算并进行结果的整合；对在逻辑上不可拆分业务，使用资源较为强大的服务器或者graphchi磁盘交换技术进行单任务处理；对于耗费巨大硬件资源的计算任务，采用gpu进行加速，以快速挖掘网络的有效信息。

本发明构造构造一套完整的复杂网络挖掘平台——研图，包括多源数据的接入、模型多源专题库的建立、网络标签信息的构造和网络拓扑结构的建立、网络分析与挖掘功能组件以及挖掘结果的可视化展示等。本发明的技术框架能够融合多源异构数据，支持大数据平台的并行化能力以及不可拆分成并行任务的单机解决能力。因此，该平台可以针对很多的应用场景解决实际的业务需求。

本发明实施例中，为了减轻服务器的负担，所述多数据源接入模块还用于，对一些脏数据进行清洗工作和特征提取，创建为可复用的数据源接入模板，从而减轻服务器的负担。

本发明实施例中，所述网络专题库的构建模块进一步地包括：

标签信息的构造模块，用于对于未知标签，通过主动学习、对抗学习技术挖掘复杂网络中隐含的标签信息；

具体来说，本发明实施例对于已经存在的标签信息，可直接在算法中使用标签。对于标签无法直接获取等未知标签情况，引入主动学习、对抗学习技术挖掘复杂网络中隐含的标签信息，如朋友关系网络中可以利用传递关系和阈值条件往往可以进一步挖掘出朋友关系。

网络拓扑结构的构造模块，用于对于不需要进行多网络融合的场景，利用节点的相似度或者直接链接快速构造网络的拓扑结构，对于需要多网络融合的场景，可以利用加权相似度等技术构造融合的网络拓扑结构。

也就是说，对于不需要进行多网络融合的场景，可以利用节点的相似度或者直接链接快速构造网络的拓扑结构；对于需要多网络融合的场景，可以利用加权相似度等技术构造融合的网络拓扑结构。

本发明实施例中，该方法还包括：

结果可视化展示模块，，用于对复杂网络的结果信息进行展示。

具体来说，对复杂网络的结果信息，结合cytoscape、gephi、echart等组件进行可视化展示，展示结果同时支持用户的互动操作，进一步查找或者详细信息进一步挖掘等。

本发明可对大规模复杂网络中的部分应用挖掘分析。

首先，本发明可实现对网络关键节点检索，具体包括：在复杂网络中，需要快速检索出网络的关键节点信息以及关键节点的附加信息。针对这一场景，将获得的原始网络数据进行分片，分片信息发送到各个不同的服务器，进而在毫秒级实现快速并行化检索。本发明的研究平台可以实现数百万节点在5毫秒以内快速检索。

其次，本发明可实现对多源数据融合，具体包括：复杂系统的个体节点往往参与到多个实际的网络中，如一个体可以参与家庭关系网、朋友关系网、社会爱好活动网络等，对于这一场景，可以依据各个体在社交过程中的影响力权重，计算个体间的综合加权相似度，进而对各个网络进行融合。在系统实现层面，可以先计算各个提在不同网络的相似度，进行汇聚结果进行最终相似度的计算。

另外，本发明实施例可进行社团挖掘与隐藏节点挖掘，具体包括：复杂网络中往往存在一些特定的团体，团体内部连接紧密，团体之间连接稀疏。利用复杂网络的社团发现算法(模块度、图聚类、非负矩阵分解算法等)可以挖掘出具有相同特征的团体，如网络爱好者社团、犯罪团伙等。同时，网络中的一些节点隐式地参与到多个社团的活动中，利用重叠社区挖掘算法，可以发现网络中的隐藏节点。在系统层面，需要依据算法自身是否可以逻辑拆分的特点选择并行化解决方案和单机解决方案。

本发明针对大规模复杂网络挖掘遇到的任务并行化挖掘问题，以及多源异构数据融合问题等带来的大规模应用分析困难，研发了大规模网络的分析挖掘平台。在数据源层面构建了灵活的配置模块进行并行化接入处理，在分析层面该平台对复杂网络挖掘算法进行逻辑上拆分，进而分配到不同的服务器上进行分片执行。该发明能够很好地对多源异构数据进行融合，同时利用网络的标签信息挖掘网络的结构信息和关键节点信息。

与目前复杂网络挖掘系统相比，本发明构建的挖掘平台能够更有效地对大规模网络进行挖掘分析。当网络规模达到千万级节点数量时，现有的平台仿真效率较低、算法挖掘所需时间较长；本发明的平台能够在毫秒级快速地检索千万级规模的网络，同时该平台可以大大地降低网络的复杂度，增加仿真的精度和算法的运行效率。

相对于图1，本发明实施例还提供了一种大规模复杂网络的关系图谱挖掘分析方法，参见图2，本发明实施例所述的方法应用上述任一种所述的关系图谱挖掘分析平台，包括：

s201、采用分布式并行处理方法，在空间上将大规模网络进行分区，各个分区块对应不同的任务，分散在不同的服务器上并行化处理并整合；

s202、对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建，临时数据信息直接在各个服务器上进行专题库构建，主服务器上的汇集数据进行分片分散到各个服务器上进行分片，并行化构建各个专题库，最后对分片结果进行整合；

s203、构造标签，构造网络的拓扑结构或者构造融合的网络拓扑结构；

s204、对在逻辑上可拆分的任务进行分片，将任务分配到不同的服务器进行分布式计算并进行结果的整合；对在逻辑上不可拆分业务，使用资源较为强大的服务器或者graphchi磁盘交换技术进行单任务处理；对于耗费巨大硬件资源的计算任务，采用gpu进行加速，以快速挖掘网络的有效信息。

本发明实施例所述的方法能够融合多源异构数据，支持大数据平台的并行化能力以及不可拆分成并行任务的单机解决能力，可以针对很多的应用场景解决实际的业务需求。

为了减轻服务器的负担，本发明实施例中，分散在不同的服务器上并行化处理并整合之后，对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建之前，还包括：对一些脏数据进行清洗工作和特征提取，创建为可复用的数据源接入模板。

具体实施时，本发明实施例所述构造标签，包括：对于未知标签，通过主动学习、对抗学习技术挖掘复杂网络中隐含的标签信息。

对于已经存在的标签信息，可直接在算法中使用标签。对于标签无法直接获取等未知标签情况，引入主动学习、对抗学习技术挖掘复杂网络中隐含的标签信息，如朋友关系网络中可以利用传递关系和阈值条件往往可以进一步挖掘出朋友关系。

本发明实施例所述构造网络的拓扑结构或者构造融合的网络拓扑结构，包括：对于不需要进行多网络融合的场景，利用节点的相似度或者直接链接快速构造网络的拓扑结构，对于需要多网络融合的场景，可以利用加权相似度等技术构造融合的网络拓扑结构。

也就是说，对于不需要进行多网络融合的场景，可以利用节点的相似度或者直接链接快速构造网络的拓扑结构；对于需要多网络融合的场景，可以利用加权相似度等技术构造融合的网络拓扑结构。

本发明实施例所述对复杂网络的结果信息进行展示。

具体来说，对复杂网络的结果信息，结合cytoscape、gephi、echart等组件进行可视化展示，展示结果同时支持用户的互动操作，进一步查找或者详细信息进一步挖掘等。

为了解决当前复杂网络深度挖掘遇到的大规模分析任务并行化问题，以及多源异构数据融合问题等带来的大规模应用分析困难，本发明从复杂网络体系角度出发解决大规模网络的分析挖掘问题，构造了“研图”关系网络挖掘分析平台。同时针对已有的业务方面，本发明提供了实际的网络关键节点检索、多源数据融合、网络关键节点和隐藏节点挖掘等复杂网络的实际应用分析与展示。

本发明实施例的相关部分可参见系统实施例进行理解，在此不做详细赘述。

本发明第三实施例，提供一种提供计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：

采用分布式并行处理方法，在空间上将大规模网络进行分区，各个分区块对应不同的任务，分散在不同的服务器上并行化处理并整合；

对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建，临时数据信息直接在各个服务器上进行专题库构建，主服务器上的汇集数据进行分片分散到各个服务器上进行分片，并行化构建各个专题库，最后对分片结果进行整合；

构造标签，构造网络的拓扑结构或者构造融合的网络拓扑结构；

对在逻辑上可拆分的任务进行分片，将任务分配到不同的服务器进行分布式计算并进行结果的整合；对在逻辑上不可拆分业务，使用资源较为强大的服务器或者graphchi磁盘交换技术进行单任务处理；对于耗费巨大硬件资源的计算任务，采用gpu进行加速，以快速挖掘网络的有效信息。

本发明实施例的相关部分可参见方法实施例进行理解，在此不做详细赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的分布式文件系统数据导入装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。