一种图数据的处理方法、装置及计算机可读存储介质与流程

本文涉及计算机技术，尤指一种图数据的处理方法、装置及计算机可读存储介质。

背景技术：

在实际应用中，用户往往对复杂关系构成的图数据进行计算处理后得到的计算结果很难形成直观的认识，因此需要将计算结果以图的形式展示出来，以方便用户形成直观的认识。

相关技术中，通常使用高性能的nosql图形数据库neo4j进行图数据处理以得到可展示的图文件。

然而，由于neo4j自身的限制，图数据的处理效率较低，并且无法一次性处理数据量较大的图数据。

技术实现要素：

本申请提供了一种图数据的处理方法、装置及计算机可读存储介质，能够提高图数据处理效率，并且能够一次性处理大量的图数据。

本申请提供了一种图数据的处理方法，包括：

获取待处理图数据；

利用分布式图处理框架sparkgraphx处理所述待处理图数据，得到图实例文件；

将所述图实例文件的图数据格式转换为与图数据可视化工具gephi对应的图数据格式；

利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件。

所述待处理图数据来源于分布式文件系统中的多个节点。

所述经过图数据格式转换的图实例文件包括：图配色文件和图绘制文件；所述利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件，包括：

利用所述本地图数据可视化工具调用gephi并加载所述图配色文件；

根据所述图绘制文件和经过加载的图配色文件，并利用调用的gephi进行图绘制，得到所述图展示文件。

所述利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件之后，还包括：

将所述图展示文件上传至分布式文件系统中的多个节点进行保存。

所述将图展示文件上传至分布式文件系统中的多个节点进行保存之后，还包括：

接收图展示文件的展示请求；

从所述分布式文件系统中获取与所述展示请求对应的图展示文件；

展示获得的图展示文件。

本申请还提供了一种图数据的处理装置，包括：

获取模块，用于获取待处理图数据；

处理模块，用于利用分布式图处理框架sparkgraphx处理所述待处理图数据，得到图实例文件；

所述处理模块，还用于将所述图实例文件的图数据格式转换为与图数据可视化工具gephi对应的图数据格式；

所述处理模块，还用于利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件。

所述待处理图数据来源于分布式文件系统中的多个节点。

所述经过图数据格式转换的图实例文件包括：图配色文件和图绘制文件；所述处理模块具体用于：

利用所述本地图数据可视化工具调用gephi并加载所述图配色文件；

根据所述图绘制文件和经过加载的图配色文件，并利用调用的gephi进行图绘制，得到所述图展示文件。

本申请还提供了一种图数据的处理装置，包括：处理器和存储器，其中，存储器中存储有以下可被处理器执行的命令：

获取待处理图数据；

利用分布式图处理框架sparkgraphx处理所述待处理图数据，得到图实例文件；

将所述图实例文件的图数据格式转换为与图数据可视化工具gephi对应的图数据格式；

利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件。

本申请还提供了一种计算机可读存储介质，所述存储介质上存储有计算机可执行命令，所述计算机可执行命令用于执行以下步骤：

获取待处理图数据；

利用分布式图处理框架sparkgraphx处理所述待处理图数据，得到图实例文件；

将所述图实例文件的图数据格式转换为与图数据可视化工具gephi对应的图数据格式；

利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件。

与现有技术相比，本申请包括：获取待处理图数据；利用分布式图处理框架sparkgraphx处理所述待处理图数据，得到图实例文件；将所述图实例文件的图数据格式转换为与图数据可视化工具gephi对应的图数据格式；利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件。由于利用了sparkgraphx和gephi，因此提高了图数据处理效率，并且实现了大量图数据的一次性处理。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书、权利要求书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例提供的一种图数据处理方法的流程示意图；

图2为本申请实施例的一种图数据处理装置的结构示意图；

图3为本申请实施例的另一种图数据处理装置的结构示意图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

本申请实施例提供一种图数据的处理方法，如图1所示，该方法包括：

步骤101、获取待处理图数据。

步骤102、利用分布式图处理框架sparkgraphx处理待处理图数据，得到图实例文件。

步骤103、将图实例文件的图数据格式转换为与图数据可视化工具gephi对应的图数据格式。

在一种示例性实例中，与图数据可视化工具gephi对应的图数据格式是后缀为.gexf的图实例文件。

步骤104、利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件。

在一种示例性实例中，待处理图数据来源于分布式文件系统中的多个节点。

在一种示例性实例中，分布式文件系统可以是hadoop分布式文件系统(hadoopdistributedfilesystem，hdfs)。

在一种示例性实例中，经过图数据格式转换的图实例文件包括：图配色文件和图绘制文件。

在一种示例性实例中，利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件，包括：

首先、利用本地图数据可视化工具调用gephi并加载图配色文件。

其次、根据图绘制文件和经过加载的图配色文件，并利用调用的gephi进行图绘制，得到图展示文件。

在一种示例性实例中，利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件之后，还包括：

将图展示文件上传至分布式文件系统中的多个节点进行保存。

在一种示例性实例中，将图展示文件上传至分布式文件系统中的多个节点进行保存可以更好地保存图展示文件，避免因一个节点故障而造成图展示文件丢失的情况。

在一种示例性实例中，将图展示文件上传至分布式文件系统中的多个节点进行保存之后，还包括：

首先、接收图展示文件的展示请求。

其次、从分布式文件系统中获取与展示请求对应的图展示文件。

最后、展示获得的图展示文件。

本申请实施例提供的图数据处理方法，由于利用了sparkgraphx和gephi，因此提高了图数据处理效率，并且实现了大量图数据的一次性处理。

本申请实施例还提供一种图数据的处理装置，如图2所示，该图数据的处理装置2包括：

获取模块21，用于获取待处理图数据。

处理模块22，用于利用分布式图处理框架sparkgraphx处理待处理图数据，得到图实例文件。

处理模块22，还用于将图实例文件的图数据格式转换为与图数据可视化工具gephi对应的图数据格式。

处理模块22，还用于利用本地图数据可视化工具和gephi处理经过图数据格式转换的图实例文件，得到图展示文件。

在一种示例性实例中，待处理图数据来源于分布式文件系统中的多个节点。

在一种示例性实例中，经过图数据格式转换的图实例文件包括：图配色文件和图绘制文件。

在一种示例性实例中，处理模块22具体用于：

利用本地图数据可视化工具调用gephi并加载图配色文件。

根据图绘制文件和经过加载的图配色文件，并利用调用的gephi进行图绘制，得到图展示文件。

在一种示例性实例中，处理模块22，还用于将图展示文件上传至分布式文件系统中的多个节点进行保存。

在一种示例性实例中，处理模块22还用于：

接收图展示文件的展示请求。

从分布式文件系统中获取与展示请求对应的图展示文件。

展示获得的图展示文件。

本申请实施例提供的图数据处理装置，由于利用了sparkgraphx和gephi，因此提高了图数据处理效率，并且实现了大量图数据的一次性处理。

在实际应用中，获取模块21和处理模块22均位于图数据处理装置中的中央处理器(centralprocessingunit，cpu)、微处理器(microprocessorunit，mpu)、数字信号处理器(digitalsignalprocessor，dsp)或现场可编程门阵列(fieldprogrammablegatearray，fpga)等实现。

本申请实施例还提供一种图数据的处理装置，如图3所示，该图数据的处理装置3包括：格式转换工具31、本地可视化工具32、图形持久化工具33和网络可视化工具34。

格式转换工具31，用于将sparkgaphx对图数据进行复杂计算操作后得到的图实例文件进行格式转换，得到后缀为.gexf的图实例文件并持久化到hdfs文件系统中。

在一种示例性实例中，格式转换工具31具体用于：

首先、使用sparkgraphx对图数据进行复杂的算法操作，得到图实例文件。

其次、将图实例文件作为参数传入到图数据格式转换工具中进行图数据格式转换，得到后缀为.gexf格式的图实例文件。

最后、将后缀名为.gexf格式的图实例文件持久化到hdfs文件系统中，如果文件数据量不大，则同时持久化到本地磁盘中。

本地可视化工具32，用于调用脚本将后缀为.gexf格式的图实例文件导入到gephi软件中进行三维绘图并在gephi软件中配色和展示，同时将得到的图展示文件提交给图形持久化工具进行相应处理。

在一种示例性实例中，本地可视化工具32具体用于：

首先、加载绘图配色方案。

其次、使用脚本将配色方案和记录文件调用gephi软件打开。

最后、利用gephi软件根据配色方案和记录文件进行绘图操作。

图形持久化工具33，用于调用脚本将得到的图案文件上传到hdfs文件系统中进行持久化操作。

网络可视化工具34，用于在接收到客户端访问请求时，将持久化到hdfs文件系统上的图案通过网络传输在客户端进行远程展示。

在一种示例性实例中，网络可视化工具利用actor网络编程模型，在接收到客户端访问请求时，将持久化到hdfs文件系统上的图案文件通过网络传输在客户端调用客户端网页浏览器(internetexplorer，ie)、客户端gephi、客户端画图等等其他软件进行远程展示。

在一种示例性实例中，网络可视化工具34具体用于：

首先、接收到客户端请求后，读取hdfs文件系统上的图案文件到内存中。

其次、将内存中的图案文件利用网络io将结果返回到客户端进行展示。

本申请实施例提供的图数据处理装置，实现了灵活的一站式操作，可视化展示分为本地可视化和远程可视化，极大方便了不同用户的使用，以及为用户根据可视化的结果做出模型调整或决策提供了直观依据，同时本申请实施例提供的图数据处理装置中使用的均为开源软件，降低了用户使用成本，提高了工作效率。

本申请实施例还提供一种图数据处理装置，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，处理器执行计算机程序时实现上述实施例中任意一种图数据处理方法。

本申请实施例还提供一种计算机可读存储介质，存储介质上存储有计算机可执行命令，计算机可执行命令用于执行如上述实施例中任意一图种数据处理方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。