一种电力行业非结构化元数据关联方法及系统与流程

本发明涉及在电力领域，具体是一种电力行业非结构化元数据关联方法及系统。

背景技术：

随着社会经济发展进入“互联网+”时代，数据已被业界公认为企业最宝贵的资产之一，如何管好数据，挖掘数据资产价值已成为当前公司加快业务创新、提高精细化管理和科学决策水平的重要基础工作之一。企业数据类型包括结构化数据、非结构化数据、海量数据、gis数据等，对大量的企业信息资产进行深入分析，挖掘有益信息，为智能决策服务，打破数据流转和共享的壁垒，实现企业各类型数据有效整合，需开展四类数据存储设计，并进行关联模型设计。其中非结构化数据与结构化数据在数据类型方面存在较大的差异，尤其在电力行业，非结构化数据存在范围广、存在形式多样化、数据资源缺乏统一管理，无法实现非结构化数据与结构化数据的高度融合，因此本专利提出了一种电力行业非结构化元数据关联方法及系统。

技术实现要素：

本发明旨在提供一种电力行业非结构化元数据关联方法及系统，以解决现有技术方案中的无法实现非结构化数据与结构化数据的融合。

根据本发明的一方面，本发明提供了一种电力行业非结构化元数据关联方法，包括以下步骤：

结构化数据中心建立结构化数据表，用于存放设备信息以及对应的文档编码；

非结构化数据管理平台建立非结构化数据表，用于存放设备的文档信息及对应的文档编码；

当非结构化数据管理平台有文档上传时，获取文档的元数据，对每一个上传的文档都分配一个唯一的文档编码，并将文档编码及对应的元数据存放到非结构化数据元数据表中；同时将该文档编码添加到结构化数据表中，用以通过文档编码将非结构化数据中的数据关联到结构化数据表中。

进一步的，所述元数据包括文档路径和文档名称。

进一步的，所述文档路径为通过设定ip方式定义的网络位置。

进一步的，所述元数据还包括文档数据大小、文档类型、文档修改时间、文档数据存储方式、文档数据的生产者和文档数据的传播方式。

进一步的，当文档被复制到多个位置时，非结构化数据元数据表中存储多个文档路径。

根据本发明的另一方面，本发明提供了一种电力行业非结构化元数据关联系统，包括：

结构化数据模块，用于存放设备信息以及对应的文档编码；

非结构化数据模块，用于存放设备的文档信息及对应的文档编码；

关联模块，用于当非结构化数据管理平台有文档上传时，存储上传的文档并获取文档的元数据，对每一个上传的文档都分配一个唯一的文档编码，并将文档编码及对应的元数据存放到非结构化数据元数据模块中；将该文档编码添加到结构化数据模块中，用以通过文档编码将非结构化数据中的数据关联到结构化数据模块中。

进一步的，所述元数据包括文档路径和文档名称。

进一步的，所述文档路径为通过设定ip方式定义的网络位置。

进一步的，所述元数据还包括文档数据大小、文档类型、文档修改时间、文档数据存储方式、文档数据的生产者和文档数据的传播方式。

进一步的，当文档被复制到多个位置时，非结构化数据元数据表中存储多个文档路径。

通过实施本发明可以取得以下有益技术效果：当非结构化数据管理平台有文档上传时，获取文档的元数据，分配唯一的文档编码，并将文档编码及对应的元数据存放到非结构化数据元数据表中，同时将该文档编码添加到结构化数据表中，通过文档编码实现非结构化数据表与结构化数据表的关联。

附图说明

图1为本发明一种电力行业非结构化元数据关联方法的流程图；

图2为本发明一种电力行业非结构化元数据关联方法的实例图；

图3为本发明一种电力行业非结构化元数据关联系统的连接图。

具体实施方式

为了便于本领域技术人员的理解，下面结合具体实施例对本发明作进一步的说明：

实施例1：

如图1所示，本发明一种电力行业非结构化元数据关联方法，包括以下步骤：

s1：结构化数据中心建立结构化数据表，用于存放设备信息以及对应的文档编码；

s2：非结构化数据管理平台建立非结构化数据表，用于存放设备的文档信息及对应的文档编码；

s3：当非结构化数据管理平台有文档上传时，存储上传的文档并获取文档的元数据，对每一个上传的文档都分配一个唯一的文档编码，并将文档编码及对应的元数据存放到非结构化数据元数据表中；同时将该文档编码添加到结构化数据表中，用以通过文档编码将非结构化数据中的数据关联到结构化数据表中。

本发明通过唯一编码实现结构化数据表中信息与非结构化数据元数据表中信息的关联，实现非结构化数据与结构化数据的融合。

非结构化数据分别以实体文档与元数据(metadata)的形式存在着，元数据包含版本号，每个文档可以有多个文档版本，每个文档版本有独立的一对一的访问权限数据和公共元数据；元数据包含文档路径，当文档被复制到多个位置时，非结构化数据元数据表中存储多个文档路径，客户端访问文档时，就近访问文档。文档路径可以为设定ip方式定义的网络位置；即通过ip地址+具体路径的方式定义网络位置。

非结构化数据管理平台可以通过如下方法实现就近访问文档，当客户端访问文档时，非结构化数据管理平台获取该文档对应的所有文档路径和该客户端的ip地址，获取所有文档路径对应的ip地址，通过文档路径对应的ip地址获取该文档路径的所有物理位置和对应的网络供应商(移动、联通等)，通过客户端的ip地址获取客户端的物理位置和网络供应商；计算文档路径的各个物理位置与客户端的物理位置之间的距离di，di表示客户端与文档路径i之间的物理距离，文档路径i的优先级p通过p＝pi＝di÷(s×m)计算，s为距离参数，可选择5km，或根据实际情况设定，m为网络供应商参数，如果客户端的网络供应商与文档路径对应的网络供应商相同，则m＝2；如果客户端的网络供应商与文档路径对应的网络供应商不同，则m＝1，对p进行降序排序，获取p值最高的文档路径作为该客户端访问该文档的访问路径，进而实现就近访问文档，提高访问速度。当客户端访问文档路径时，获取客户端对访问速度的反馈，该反馈可以通过人工反馈，反馈包括快、较快、较慢、慢；如果反馈是快，则对该文档路径的优先级p进行加一处理，即pi＝pi+1，如果反馈较快，则不对该文档路径的优先级p做处理，如果反馈较慢，则对该文档路径的优先级p进行减一处理，即pi＝pi+1，如果反馈较快，则对该文档路径的优先级p进行置零处理，即pi＝0，通过处理后的文档路径优先级作为该客户端下次获取该文件时，该文档路径的优先级。

该方法无需读取其他文档路径，相比于每个路径进行下载测速，选择下载测速速度最快的文档路径作为读取路径要方便，因为选择下载测速速度最快的文档路径作为读取路径需要测试每个文档路径的下载速度，而且当其中某个文档路径与客户端无法通讯时，会大幅度增加下载测速的所需的时间。而采用本发明的方法，无需进行下载速度测试，大大提高了访问速度。

元数据还包含:文档内容的拥有者、版本号、建入日期、数据大小、类型、修改时间、存储位置、数据存储方式、数据的生产者、数据的传播方式等。

为了更好的一种电力行业非结构化元数据关联方法做进一步描述，举一个简单的例子：如图2所示，结构化数据表中包括开关的信息、断路器的信息和导线的信息；其中开关的信息包括：开关id、手册文档id等；断路器的信息包括：断路器id、合同文档id等；导线包括导线id、合同文档id等，其中手册文档id是开关手册的唯一编码，合同文档id是合同文档的唯一编码；当业务应用向结构化数据中心发送请求查询断路器的信息及合同文档时，结构化数据中心将断路器的信息和合同文档id发回至业务应用，业务应用根据合同文档id向非结构化数据管理平台发送请求，查询断路器相关合同文档信息，查找到合同文档的ftp路径(即文档路径)，根据ftp路径获取文档。非结构化数据管理平台根据业务应用的请求，通过合同文档id获取相关文档，并返回给业务应用。

为实现对文档的全文检索，建立支持对文档内容、文档元数据等的全文检索的搜索引擎，以支持各种文件的搜索，文件格式可以包括word、excel、ppt、wps、pdf、html/xml、tif、text等常见文件格式，也可以包括实现音频和视频文件的元数据。

非结构化数据按照ieccim标准设计，以规范非结构化数据存储。

实施例2：

如图3所示，一种电力行业非结构化元数据关联系统，包括：

结构化数据模块1，用于存放设备信息以及对应的文档编码；

非结构化数据模块2，用于存放设备的文档信息及对应的文档编码；

关联模块3，用于当非结构化数据管理平台有文档上传时，存储上传的文档并获取文档的元数据，对每一个上传的文档都分配一个唯一的文档编码，并将文档编码及对应的元数据存放到非结构化数据元数据模块中；将该文档编码添加到结构化数据模块中，用以通过文档编码将非结构化数据中的数据关联到结构化数据模块中。

非结构化数据分别以实体文档与元数据(metadata)的形式存在着，元数据包含版本号，每个文档可以有多个文档版本，每个文档版本有独立的一对一的访问权限数据和公共元数据；元数据包含文档路径和文档名称，当文档被复制到多个位置时，非结构化数据元数据表中存储多个文档路径，可以通过判断文档路径的加权信息判断哪个文档离客户端最近，实现就近访问。文档路径为通过可以设定ip方式定义的网络位置。

元数据还包含:文档内容的拥有者、版本号、建入日期、数据大小、类型、修改时间、数据存储方式、数据的生产者、数据的传播方式等。

以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。