基于非结构化平台的跨系统文件共享系统及方法与流程

本发明涉及非结构化平台领域，尤其涉及基于非结构化平台的跨系统文件共享系统及方法。

背景技术：

企业中的数据资产按类型可以分为结构化数据和非结构化数据。其中结构化数据是指可以用二维表表示并使用关系数据库处理的数据；而非结构化数据则是无法像结构化数据一样使用二维表表示也无法用关系数据库处理的数据。其中非结构化数据约占企业数据总量的70％。非结构化数据管理平台是将公司所包含非结构化数据的业务应用系统进行统一集成整合的数据中心，对各业务应用系统上传的所有非结构化数据进行集中存储，流转，管理以及综合应用的数据管理平台。其优点如下：

1.非结构化数据的统一存储：通过非结构化数据管理平台，实现了企业内部大数据量的非结构化数据存储，定制存储优化策略，优化存储结构，提高存储资源利用率。

2.非结构化数据的统一管理：通过制定各种非结构化数据管理标准，实现了企业内非结构化数据的统一管理。统一了企业内部内容元数据管理；统一了业务应用系统间数据的共享与交换。实现了非结构化数据管理规范化，流程化，自动化。

3.开放性和统一对外提供基本公共服务：能够对外提供基本公共服务，包括但不限于内容存储服务，内容访问服务，内容管理服务，运行监控服务以及各类工具(数据分析及挖掘工具等)，能够对企业内部相关业务应用系统提供统一的非结构化数据利用服务。

4.支持多种开发平台的业务应用系统接入：平台具有对企业内多样化的业务系统有序，规范介入的能力，可以为不同类型的业务应用系统提供整体接入解决方案以及与之配套的相关接入规范。

然而，在相互独立的系统中，共享较大的非结构化文件，会极大地影响系统性能，增加开销，并且，单纯的用第三方库做数据中转，在新的文件被上传后，消费方无法在第一时间得到消息，频繁的发送请求服务器压力又会很大，因此，需要进行改进。

技术实现要素：

有鉴于此，本发明的目的在于提出一种基于非结构化平台的跨系统文件共享系统及方法，以解决跨系统传输过程中，大文件传输会影响系统性能的问题，并且能够实现消息的及时传递。

基于上述目的，本发明提供了基于非结构化平台的跨系统文件共享系统，包括非结构化数据文件；

a系统，作为主系统用于非结构化数据文件的存储，上传，发送消息；

b系统，非结构化数据传输的目标对象；

消息存储平台，包括总部消息存储平台和二级消息存储平台，用于消息传递的数据交换平台，进行两级数据贯通；

非结构化平台，包括总部非结构化平台和二级非结构化平台，用于对非结构化数据的传输、存储、管理和统一对外提供基本公共服务。

优选的，该方法包括以下步骤：

2.1、由a系统将非结构化数据文件上传到总部非结构化平台，并发送数据分发指令；

2.2、再由总部非结构化平台将文件分发到不同的二级非结构化平台；

2.3、分发成功后，非结构化平台向a系统返回分发成功消息；

2.4、a系统向消息存储平台发送指令信息，附件信息；

2.5、b系统接收消息，当有新的文件上传完成时，b系统到消息存储平台消费消息；

2.6、b系统根据指令消息以及附件信息在二级非结构化平台中下载相应的非结构化文件，完成一次数据共享。

优选的，a系统中非结构化数据上传包括以下步骤：

3.1、非结构化平台对非结构化数据文件的上传、下载、删除操作进行支持；

3.2、非结构化数据文件上传后，将数据存储在总部非结构化平台；

3.3、再由总部非结构化平台将数据分发到二级非结构化平台；

3.4、操作成功后，非结构化平台返回处理结果给a系统。

优选的，消息传递和下载流程包括以下步骤：

4.1、当有新的非结构化数据文件需要上传时，通过调用二级消息存储平台，将消息发送到总部消息存储平台消息队列中；

4.2、总部消息存储平台将数据下发到二级消息存储平台消息队列；

4.3、b系统到消息存储平台订阅消息；

4.4、当有新消息到达时，b系统到二级消息存储平台消费消息，接受贯通消息；

4.5.、b系统根据所消费消息到非结构化平台下载对应文件，完成数据共享。

优选的，消息存储平台消息传递模式为：持久化订阅，即使订阅者当前不在线，其订阅之后，发送方发送的消息，也会在持久化订阅者再次上线的时候完成消费，不会丢失消息。

优选的，消息存储平台消息传递模式为：队列模式，实现点对点的通信模式，每条消息只能被一个消费者接收。

优选的，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，，所述处理器执行所述程序时实现如权利要求2至任意一项所述的方法。

优选的，一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求2至任一所述方法。

从上面所述可以看出，本发明提供了基于非结构化平台的跨系统文件共享系统及方法，其具有以下有益效果：

本发明将非结构化数据管理平台与消息存储平台结合使用，实现大的非结构化数据的共享。两个相互独立的系统，a系统需要将数据与b系统共享，通过将较大的非结构化数据上传到第三方的非结构化数据管理平台，同时向消息存储平台发送指令及附件信息，b系统在消息存储平台订阅消息，当有新的消息到达时，b系统去消息存储平台中消费消息，下载相应数据。由于在非结构化数据的共享过程中，大文件的传输不会直接通过a系统和b系统完成，因此不会出现因为传输占用系统资源而影响系统性能的问题。通过非结构化管理平台作为数据存储中间库，消息存储平台作为消息传递中转，实现数据的共享。同时消息存储平台的设置和使用，能够使得消息得到及时准确地传递。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明a、b两系统间数据共享完整流程图；

图2为本发明b系统接收消息下载数据流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明的是实施例：基于非结构化平台的跨系统文件共享系统及方法。

该共享系统包括非结构化数据文件，本实施例中指的是gim，gim是国网公司根据从信息技术和工程技术的角度系统的分析输变电工程信息化过程中各个阶段的应用，重点结合数字化技术应用情况而提出的电网信息模型(gridinformationmodel,gim)概念。

a系统，作为主系统用于非结构化数据文件的存储，上传以及消息传递；b系统，非结构化数据传输的目标对象。

消息存储平台，包括总部消息存储平台和二级消息存储平台，用于消息传递的数据交换平台，进行两级数据贯通。本实施例中消息存储平台指的是uep，本实施例中总部消息平台指的是总部uep平台，二级消息存储平台指的是省级uep平台。uep是电网公司用于消息传递的数据交换平台，进行两级数据贯通，本文中主要使用了uep的即时消息总线技术。

非结构化平台，包括总部非结构化平台和二级非结构化平台，即本实施例中的网省非结构化平台，用于对非结构化数据的传输、存储、管理和统一对外提供基本公共服务。

以下对非结构化平台，gim和uep进行简单介绍：

非结构化平台：企业中的数据资产按类型可以分为结构化数据和非结构化数据。其中结构化数据是指可以用二维表表示并使用关系数据库处理的数据；而非结构化数据则是无法像结构化数据一样使用二维表表示也无法用关系数据库处理的数据。其中非结构化数据约占企业数据总量的70％。非结构化数据管理平台是将公司所包含非结构化数据的业务应用系统进行统一集成整合的数据中心，对各业务应用系统上传的所有非结构化数据进行集中存储，流转，管理以及综合应用的数据管理平台。

其优点如下：1.非结构化数据的统一存储：通过非结构化数据管理平台，实现了企业内部大数据量的非结构化数据存储，定制存储优化策略，优化存储结构，提高存储资源利用率。2.非结构化数据的统一管理：通过制定各种非结构化数据管理标准，实现了企业内非结构化数据的统一管理。统一了企业内部内容元数据管理；统一了业务应用系统间数据的共享与交换。实现了非结构化数据管理规范化，流程化，自动化。3.开放性和统一对外提供基本公共服务：能够对外提供基本公共服务，包括但不限于内容存储服务，内容访问服务，内容管理服务，运行监控服务以及各类工具(数据分析及挖掘工具等)，能够对企业内部相关业务应用系统提供统一的非结构化数据利用服务。4.支持多种开发平台的业务应用系统接入：平台具有对企业内多样化的业务系统有序，规范介入的能力，可以为不同类型的业务应用系统提供整体接入解决方案以及与之配套的相关接入规范。

gim：gim是国网公司根据从信息技术和工程技术的角度系统的分析输变电工程信息化过程中各个阶段的应用，重点结合数字化技术应用情况而提出的电网信息模型(gridinformationmodel,gim)概念。gim是依托地理信息系统(geographicinformnationsystem,gis)将电网的组成元素数字化，以信息模型为载体，实现信息的高效、全面准确地应用，电网信息模型的载体就是gim文件。

gim具有以下优点：1.虚拟性：从输变电工程设计之初开始建立实体模型，并作为信息的载体，推进工程全过程的可视化，虚拟化。目前的技术已经具备建立数字化三维虚拟模型，同时电网自身特点也需要与地理信息系统相关模型数据与gis实现分层显示。2.关联性：按照不同需求，确定建立统一的模型接口和信息分层，实现工程建设中不同信息需求各方之间信息协同，共享，推进协同设计。作为开放式的信息载体，可以实现设计，建管，物资，运行等各单位之间信息传递和共享，解决数据断层，实现工程数据一次录入多次采用。建立以gim为基础的承载信息的数据库，实现跨平台共享及信息采集。3.仿真性：采用gim技术，可以实现输变电工程模拟施工，模拟抢修，模拟漫游等功能，同时具备在线监测信息的关联接口，可以为生产部门提供结构化和非结构化的工程数据。4.全寿命周期性：利用gim技术，可以大幅提高数据采集的能力，利用gim的共享知识信息资源，可以为设备从采购到报废的全生命周期中的所有决策提供可靠依据。5.安全性：根据电力系统等级保护要求，gim属于非控制区，作为信息模板，按照“标准先行，试点应用”的原则进行安全防护，按照分阶段、分区域设置不同的查询和应用等级，确保工程信息安全可靠。

uep：uep是电网公司用于消息传递的数据交换平台，进行两级数据贯通，本文中主要使用了uep的即时消息总线技术。该系统是实现了满足jms1.1规范面向消息型数据交换的中间件，用于在应用程序之间或分布式系统中互发消息，支持高达80000条/秒吞吐的高效异步通信。本系统一般用作企业级高性能数据集成总线，通信应用无需知道彼此物理位置使得应用集成实现松耦合，无需知道彼此间怎样建立通信从而简化应用底层通信复杂度，无需同时处于运行状态由总线保障消息的可靠到达，无需在同样的操作系统或网络环境下运行实现跨平台跨系统通信。系统支持一对一、一对多、请求应答三种通信模式，提供了java、c/c++等常见编程语言的api。系统节点可以单机部署，也可以分布式多级部门部署并组网形成横纵向数据交换网络。

从a系统向b系统传输gim文件的具体方法步骤如下：

一、a、b两系统间数据共享完整流程：如图1所示

1.由a系统将gim文件上传到总部非结构化平台，并发送数据分发指令。

2.再由总部非结构化平台将文件分发到不同的网省非结构化平台。

3.分发成功后，非结构化平台向a系统返回分发成功消息。

4.a系统向消息存储平台发送指令信息，附件信息。

5.b系统订阅消息，当有新的文件上传完成时，b系统到消息存储平台消费消息。

6.b系统根据指令消息以及附件信息在网省非结构化平台中下载相应的非结构化文件，完成一次数据共享。

二、a系统中文件上传流程：

1.非结构化平台对数据文件的上传、下载、删除提供支持。

2.gim文件上传后，将数据存储在总部非结构化平台。

3.再由总部非结构化平台将数据分发到不同的网省非结构化平台。

4.操作成功后，非结构化平台返回处理结果给a系统。

三、消息传递和下载流程：如图2所示

1.当有新的gim文件需要上传时，通过省级应用服务器调用省级uep平台，将消息发送到总部uep平台消息队列中。

2.由总部uep平台将数据下发到省级uep平台消息队列。

3.b系统到消息存储平台订阅消息。

4.b系实时接收消息，当有新消息到达时，b系统到存消息储平台消费消息，接受贯通消息。

5.到非结构化平台下载对应文件，完成数据共享。

此外，在本实施例中消息存储平台消息传递模式如下：

a.持久化订阅，即使订阅者当前不在线，其订阅之后，发送方发送的消息，也会在持久化订阅者再次上线的时候完成消费，不会丢失消息。适用场景：a系统通过uep推送数据到b系统。通过发布订阅的消息传送模型。由于涉及到的数据比较重要：比如是关于资金、交易、股票价格的信息。要保证b系统一定收到a系统发送的消息，考虑b系统会断电重启之类异常，故设置持久订阅模式。可以保证在b订阅a主题后，因为断电，订阅者状态变为不活动的。在b系统重启后，依然可以收到消息。

b.队列模式，实现点对点的通信模式，每条消息只能被一个消费者接收。适用场景：队列模式下，一条消息只能被一个消费者接收。比如一个购物网站的订单系统，前台用户下一个订单的时候，会通过uep发送一条消息给后台处理，每个订单只能被处理一次，这种场景下可以使用点对点的队列模式。

最后，该实施例中涉及一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时用以实现我们上述提到的共享方法。还涉及一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行我们上述提到的共享方法。上面提到的两种，都可作为本实施例的相应的拓展。

综上所述，本发明将非结构化数据管理平台与消息存储平台结合使用，实现大的非结构化数据的共享。两个相互独立的系统，a系统需要将数据与b系统共享，通过将较大的非结构化数据上传到第三方的非结构化数据管理平台，同时向消息存储平台发送指令及附件信息，b系统在消息存储平台订阅消息，当有新的消息到达时，b系统去消息存储平台中消费消息，下载相应数据。由于在非结构化数据的共享过程中，大文件的传输不会直接通过a系统和b系统完成，因此不会出现因为传输占用系统资源而影响系统性能的问题。通过非结构化管理平台作为数据存储中间库，消息存储平台作为消息传递中转，实现数据的共享。同时消息存储平台的设置和使用，能够使得消息得到及时准确地传递。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。