一种数据标准化方法和系统与流程

本发明涉及计算机领域，尤其涉及一种数据标准化方法和系统。

背景技术：

近些年,面向服务的体系结构(Service-oriented architecture,SOA)已经广泛应用。它将应用程序功能作为服务发送给最终用户或者其他服务。它可以根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。服务层是SOA的基础，可以直接被应用调用，从而有效控制系统中与软件代理交互的人为依赖性。

然而大数据时代，受体系结构的局限，信息技术领域长期存在的问题在大数据时代愈发突出：系统间的信息难以共享；已建系统的功能扩展困难；海量、异构、多源、动态、实时变化和爆发式增长的大数据难管理，难分析，难挖掘；面向业务的软件工程开发过程复杂，维护困难，生命周期短；信息安全关系到国家安全、社会稳定、企业利益和个人隐私，在互联网开放环境下，问题更为突出；数据提供者的利益得不到保障等。即便是SOA所提供的松散耦合的方式也无法满足大数据时代的需求。

其原因在于，SOA架构下，数据的管理依然采用异构的管理方式，导致数据共享性受到限制。如果不解决数据标准化的问题，就无法从根本上解决数据耦合所带来的上述种种问题。

技术实现要素：

本发明实施例提供了一种数据标准化方法和系统，数据完全解耦合，便于数据共享。应用调用数据时可通过接口管理模块直接从数据管理模块中调用相应数据，以实现不同的功能应用，系统功能的扩展不受传统数据之间耦合的关系限。应用该方法的业务系统，维护成本低，扩展性好。

第一方面，本发明实施例提供了一种数据标准化方法，包括：

接口管理模块识别面向数据的体系结构DOA资源总线上传输的待存储数据；

接口管理模块根据数据存储逻辑生成所述待存储数据的路由信息；

所述接口管理模块根据所述路由信息在多个数据接口中确定用于捕获所述待存储数据的第一数据接口；

所述第一数据接口从所述DOA资源总线上获取所述待存储数据，封装为标准化数据结构的数据；

所述第一数据接口将所述数据发送到与所述第一数据接口相连接的数据管理模块进行存储。

优选的，在所述接口管理模块根据数据存储逻辑生成所述待存储数据的路由信息之前，所述方法还包括：

所述接口管理模块从数据注册中心获取所述数据存储逻辑。

优选的，在所述接口管理模块识别DOA资源总线上传输的待存储数据之前，所述方法还包括：

所述接口管理模块面向所述数据管理模块配置相应的数据接口。

优选的，所述方法还包括：

所述接口管理模块根据接收到的数据请求信息得到被请求数据的路由信息；所述数据请求信息中包括发起所述数据请求信息的应用的属性信息；

所述接口管理模块根据所述被请求数据的路由信息确定相应的第二数据接口；

所述第二数据接口根据所述路由信息获取存储在与所述第二数据接口相连接的数据管理模块中的被请求数据，并根据所述属性信息对所述被请求数据进行编译处理，得到所述应用支持的数据结构的数据；

所述DOA资源总线将所述编译处理得到的数据传输到所述应用。

优选的，所述方法还包括：

通过数据权限中心对存储的所述数据进行权限管理。

优选的，所述方法还包括：

通过数据异常控制中心对所述多个数据管理模块中存储的数据的数据一致性进行处理。

优选的，所述方法还包括：

通过应用接口单元接收所述应用发送的数据请求信息，并将所述数据请求信息发送到所述接口管理模块。

优选的，所述接口管理模块捕获所述数据管理模块上线的信息。

优选的，所述接口管理模块获取所述数据管理模块下线的信息。

第二方面，本发明实施例还提供了一种数据标准化系统，包括上述第一方面所述的接口管理模块、多个数据接口、DOA资源总线和数据管理模块。

本发明实施例提供的数据标准化方法，数据完全解耦合，便于数据共享。应用调用数据时可直接调用数据，以实现不同的功能应用，系统功能的扩展不受传统数据之间耦合的关系限。应用该方法的业务系统，维护成本低，扩展性好。

附图说明

图1为本发明实施例提供的数据标准化方法流程图；

图2为本发明实施例提供的将标准化的数据进行使用的过程流程图；

图3为本发明实施例提供的数据标准化系统的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。

下面以图1为例详细说明本发明实施例提供的数据标准化方法。

如图1所示，本实施例的数据标准化方法包括如下步骤：

步骤110，接口管理模块识别面向数据的体系结构DOA资源总线上传输的待存储数据；

具体的，DOA为面向数据的体系结构(Data Oriented Archi tecture)，DOA资源总线上传输的待存储数据可以是应用产生的数据。

步骤120，接口管理模块根据数据存储逻辑生成所述待存储数据的路由信息；

具体的，数据存储逻辑可以由系统中专门的模块进行管理，比如数据注册中心。接口管理模块从数据注册中心获取所需要的数据存储逻辑，并且可以根据数据存储逻辑生成该待存储的路由信息。路由信息中包括有该带存储数据的存储位置信息，比如存储该数据的数据管理模块、以及在数据管理模块中存储区域的信息。

步骤130，接口管理模块根据路由信息在多个数据接口中确定用于捕获待存储数据的第一数据接口；

具体的，接口管理模块管理和配置多个数据接口，每个数据接口对应一个存储数据的数据管理模块。通过路由信息，接口管理模块确定需要进行存储数据的数据管理模块，并根据该数据管理模块确定所用数据接口。

步骤140，第一数据接口从DOA资源总线上获取待存储数据，封装为标准化数据结构的数据；

具体的，所确定的数据接口根据路由信息，从DOA资源总线上获取该待存储数据，并将其封装为标准化数据结构的数据。

步骤150，第一数据接口将所述数据发送到与所述第一数据接口相连接的数据管理模块进行存储。

具体的，第一数据接口根据路由信息将封装好的数据发送到与第一数据接口相连接的数据管理模块进行存储。

进一步的，在步骤110接口管理模块识别DOA资源总线上传输的待存储数据之前，需要预先面向数据管理模块配置相应的数据接口。

本实施例中，数据的存储完全是独立的，数据间完全解耦。通过接口管理模块配置数据接口，由数据接口从DOA资源总线获取需要存储的数据，并进行数据封装，以标准格式的数据形式进行数据存储。

以上过程为向数据管理模块中存储数据时进行数据标准化的过程。

下面所述为将标准化的数据进行使用的过程，如图2所示,包括如下步骤：

步骤210，接口管理模块根据接收到的数据请求信息得到被请求数据的路由信息；

其中，所述数据请求信息中包括发起所述数据请求信息的应用的属性信息；

步骤220，接口管理模块根据所述被请求数据的路由信息确定相应的第二数据接口；

步骤230，第二数据接口根据所述路由信息获取存储在与所述第二数据接口相连接的数据管理模块中的被请求数据，并根据所述属性信息对被请求数据进行编译处理，得到应用支持的数据结构的数据；

步骤240，DOA资源总线将所述编译处理得到的数据传输到所述应用。

本实施例中，数据的存储完全解耦。通过接口管理模块配置数据接口，由数据接口从数据管理模块中获取相应的数据资源，通过DOA资源总线进行数据的传输，实现数据到应用可识别数据的转换。

在本实施例提供的数据标准化方法中，通过数据权限中心对存储在所述数据统一进行权限管理。权限管理的范围可以包括：数据安全属性定义、数据合法性鉴别、数据访问权限定义、用户权限认证、应用授权和用户授权。

此外，在本实施例提供的数据标准化方法中，通过数据异常控制中心对多个数据管理模块中存储的数据的数据一致性进行处理。

在数据异常控制中心设定异常情况识别机制和处理机制，从而能够侦测各种异常情况，并根据设定的处理机制对异常情况作出相应的异常处理动作。

其中，异常处理动作可以包括发出异常信号、使用预备数据替换异常数据，及请求数据注册中心刷新相应信息等等。

在本方法中，还采用应用接口单元作为DOA资源总线到应用的接口。

在应用请求数据时，通过应用接口单元接收应用发送的数据请求信息，并将数据请求信息发送到所述接口管理模块；

在向应用发送数据时，DOA资源总线将编译处理得到的数据通过应用接口单元传输到应用。

在本实施例提供的方法中，还可以通过接口管理模块解决数据管理模块上下线的管理。

当系统中如果需要增加数据存储空间，加入了新的数据管理模块时，接口管理模块捕获数据标准化方法和系统中数据管理模块上线的信息。

比如，当一个数据管理模块在系统中上线时，会发送上线提示消息到DOA资源总线，接口管理模块获取在DOA资源总线传送的上线提示消息，从而得到该数据管理模块上线的信息。接口管理模块对该数据管理模块的进行数据接口配置，面向该接口管理模块配置相应的数据接口。

在系统中如果某数据管理模块发生故障等情况下线时，接口管理模块获取数据标准化方法和系统中数据管理模块下线的信息。

在一种具体的实现方式中，接口管理模块定期向系统中的各个数据管理模块轮询发送消息，并接收各个数据管理模块的反馈信息，当在设定时间内收不到数据管理模块的反馈信息时，判定该数据管理模块下线。为避免误判，在设定时间内，可以向该数据管理模块多次发送消息。

当接口管理模块判定一个数据管理模块下线时，生成并记录该数据管理模块中存储的数据失效的信息。

本实施例提供的数据标准化方法，通过接口管理模块实现数据的完全解耦合，便于数据共享。应用调用数据时可通过接口管理模块直接从数据管理模块中调用相应数据，以实现不同的功能应用，系统功能的扩展不受传统数据之间耦合的关系限。应用该方法的业务系统，维护成本低，扩展性好。

相应的，本实施例还提供了一种数据标准化系统，用以实现上述方法。如图2所示，系统包括：

数据资源池1，其中包括多个数据管理模块1-1、1-2……1-N，用于对数据进行存储。每个资源管理模块可以是一个或一组数据存储服务器、或数据存储服务器集群构成。

管理中心2，包括接口管理模块21和多个数据接口20-1、20-2……20-N，每个数据接口对应一个数据管理模块；

其中，接口管理模块21用于面向所述数据管理模块配置相应的数据接口，并且在应用请求数据时，根据数据请求信息得到被请求数据的路由信息；数据请求信息中包括发起数据请求信息的应用的属性信息。

在一个具体实现方式中，路由信息被接口管理模块21发送到相应的数据接口，比如路由信息指向数据管理模块1-2，则路由信息发送到数据接口20-2。

数据接口用于，根据路由信息获取存储在数据管理模块中的被请求数据，并根据发起数据请求信息的应用的属性信息对所述被请求数据进行编译处理，得到所述应用支持的数据结构的数据；

DOA资源总线3，通过所述数据接口与所述数据管理模块相连接，用于将所述编译处理得到的数据传输到所述应用。

因此，通过管理中心2实质上实现了应用和数据之间的隔离，无论应用支持的数据结构是怎样，数据的存储都是基于标准化语言的数据的数据结构的，所以系统内存储的数据是能够被不同的应用所共享使用的。数据与数据时间是离散解耦的，相互之间没有耦合关系，因此在系统中增减应用时，数据存储不会受到影响。

在系统中如果需要增加数据存储空间，加入了新的数据管理模块时，接口管理模块21捕获数据标准化方法和系统中数据管理模块上线的信息。

比如，当数据管理模块10-2在系统中上线时，会发送上线提示消息到DOA资源总线3，接口管理模块21获取在DOA资源总线3传送的上线提示消息，从而得到数据管理模块10-2上线的信息。

接口管理模块21对数据管理模块10-2的进行数据接配置，面向接口管理模块21配置数据接口20-2。

在系统中如果某数据管理模块发生故障等情况下线时，接口管理模块21获取数据标准化方法和系统中数据管理模块下线的信息。

在一种具体的实现方式中，接口管理模块21定期向系统中的各个数据管理模块轮询发送消息，并接收各个数据管理模块的反馈信息，当在设定时间内收不到数据管理模块的反馈信息时，判定该数据管理模块下线。优选的，在设定时间内，可以向该数据管理模块多次发送消息。

当接口管理模块21判定一个数据管理模块下线时，生成并记录该数据管理模块中存储的数据失效的信息。

此外，管理中心2还包括：数据注册中心23、数据权限中心24、数据异常控制中心25和应用接口单元26。下面逐一对这些模块进行介绍。

数据注册中心23用于构建数据资源池的数据存储逻辑。

接口管理模块21与数据注册中心23相连接。

在向数据管理模块中存入数据时，接口管理模块21识别DOA资源总线3上传输的待存储数据；接口管理模块21从数据注册中心23获取数据存储逻辑，并根据数据存储逻辑生成待存储数据的路由信息。

在多个数据接口中，根据路由信息确定用于捕获待存储数据的第一数据接口；第一数据接口从DOA资源总线3上获取待存储数据，封装为标准化数据结构的数据，发送到与第一数据接口相连接的数据管理模块进行存储。

数据权限中心24，用于对数据进行权限管理。

权限管理的范围可以包括：数据安全属性定义、数据合法性鉴别、数据访问权限定义、用户权限认证、应用授权和用户授权。

对数据进行权限管理可以是在数据向数据管理模块中写入的同时完成，也可以是直接对数据管理模块中的数据进行操作。

数据异常控制中心25，用于对多个数据管理模块中存储的数据的数据一致性进行处理。

具体的，数据异常控制中心能够用于侦测各种异常情况，并根据设定的处理机制对异常情况作出相应的异常处理动作。

其中，异常处理动作包括发出异常信号、使用预备数据替换异常数据，及请求数据注册中心23刷新相应信息等等。

应用接口单元26，用于提供面向应用的接口。

应用接口单元26与接口管理模块21相连接，接收应用发送的数据请求信息，并将数据请求信息发送到接口管理模块21。

本发明实施例提供了一种数据标准化方法和系统架构，系统资源池中的数据完全解耦，便于数据共享。应用调用数据时可通过接口管理模块直接从数据管理模块中调用相应数据，以实现不同的功能应用，系统功能的扩展不受传统数据之间耦合的关系限制，维护成本低，扩展性好。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明实施例的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明实施例的具体实施方式而已，并不用于限定本发明实施例的保护范围，凡在本发明实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。