基于应用框架的异构数据接入服务组件的制作方法

本发明涉及数据库管理系统的数据接入领域，特别涉及一种基于应用框架的异构数据接入服务组件。

背景技术：

在信息化社会，充分有效地管理和利用各类信息资源，是各组织、企事业单位和团体进行生产、经营、研究和管理的前提条件，是信息系统、自动化系统、各类支持系统等信息系统的核心部分，是进行生产活动的重要技术手段。随着技术和市场的发展，数据库系统也不再是单纯的存储数据，而转变为使用者所需要的各种数据管理的方式。至此，数据库从简单的存储各种表格，发展成为能够进行存储、统计分析、综合扩展应用的综合系统。

由此，市场上也出现了大量的数据库管理系统产品，如：oracle、sqlserver、db2、sybase、informix、mysql、postgresql、sqlite、nosql等，使用这些数据库管理系统来存储数据、分析数据的应用软件也不计其数。例如：当前大多数的停车场系统后台数据库就通常使用sqlserver、mysql或文件数据格式，嵌入控制系统多使用sqlite、nosql等；虽然数据库管理系统的多样化，造就了市场的繁荣和产品的优化更新，也为使用者提供了更多的选择；但同时，多样化也使得各家的产品在相应的软硬件系统之间不能很好的相互协调工作，往往会出现用了a，就不能用b，或者用了a再用b就可能需要花费较高的人力和财力成本。

在数据库管理系统的数据接入方面，这种数据格式的兼容性矛盾可能更加突出，例如：a应用只能接入sqlserver数据格式，b应用只能接入mysql或oracle数据格式，c应用只能接入nosql数据格式等，应用和数据的对应关系如图1所示。如此以往，应用越多，接口越多；接口越多，对应的应用也会越多，至此，使用者需要管理和维护的工作量，无论是前台应用，还是后台系统都会急剧增长和膨胀。

又如，某城市某区域有三个停车场a、b、c，其三个停车场和数据的对应示意图如图2所示。某用户想查找上述三家停车场中哪个会有剩余车位以方便停车，但由于这三家停车场可能是有三个不同的供应商提供了相关查询应用功能，则此用户要查询空位信息，可能需要使用三种不同的方法才能实现他的愿望。

一段时间后，此区域又开始建设了二座新停车场，其五个停车场和数据的对应示意图如图3所示。此用户如何方便的在此区域方便的停车出行呢？继续使用新停车场提供的新应用功能吗？综上，使用者对多种异构数据的访问方式较为麻烦，且传统接入系统的管理方式也比较复杂。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种可实现对多种异构数据接入的轻松访问、同时也可实现同多个或多种异构数据系统进行交互式操作、从而简化接入系统的管理方式的基于应用框架的异构数据接入服务组件。

本发明解决其技术问题所采用的技术方案是：构造一种基于应用框架的异构数据接入服务组件，用于连接商业数据系统和工业控制器数据存储装置，包括自下而上依次设置的驱动层、处理层和管理层，所述驱动层用于至少提供数据格式的驱动程序、数据格式的说明文件和通讯协议；所述处理层用于实现异构数据的实际接入，所述异构数据的实际接入至少包括数据类型的转换、数据格式的转换、数据长度大小的更改、底层存储空间、文件或裸磁盘设备路径、数据目录及审计类型信息；所述管理层用于为atombaseframe框架提供符合sql标准的数据结构。

在本发明所述的基于应用框架的异构数据接入服务组件中，当要接入一种新的数据格式时，在所述驱动层中增加新驱动，在所述处理层中增加新的格式转换，并将所述新的格式加载到所述管理层中。

在本发明所述的基于应用框架的异构数据接入服务组件中，所述商业数据系统至少包括标准sqlserver、sybase、mysql、postgresql、sqlite、nosql、amazon、azure、xml标准格式、access文件格式、foxpro文件格式和兼容odbc/jdbc的数据源。

在本发明所述的基于应用框架的异构数据接入服务组件中，所述工业控制器数据存储装置的存储器数据格式至少包括abbac500/700系列、siemenss7-200/300/1200/1500系列、omronnx/nj/cj/cs系列或兼容以太网协议、mudbus协议、兼容rs232/485端口协议的工业通讯装置和plc存储器。

在本发明所述的基于应用框架的异构数据接入服务组件中，设有标准的图形界面接口，通过所述图形界面接口，按照指定格式来查询相关数据和结构，导入导出选定的数据，支持标准的sql等操作语句。

在本发明所述的基于应用框架的异构数据接入服务组件中，所述指定格式兼容至少sql等标准。

在本发明所述的基于应用框架的异构数据接入服务组件中，在相应的驱动层、处理层或/和管理层中建立需要接入的数据系统类型以及对应的连接关系，对于新建立的关系书写新的标识含义和流程后，完成主流关系型数据库系统的接入。

在本发明所述的基于应用框架的异构数据接入服务组件中，对于名称冲突的数据系统，自动重新命名，命名规则遵循sql等标准，对于数据系统中自定义的属性信息，则自动添加数据系统标识的扩展信息。

在本发明所述的基于应用框架的异构数据接入服务组件中，对于存在格式冲突的数据类型，支持定义数据系统之间的映射关系，并自定义别名。

在本发明所述的基于应用框架的异构数据接入服务组件中，如果两种数据系统之间的数据定义结构不同，则重新定义其中一个数据系统的实体属性和关联关系。

实施本发明的基于应用框架的异构数据接入服务组件，具有以下有益效果：由于设有驱动层、处理层和管理层，驱动层用于至少提供数据格式的驱动程序、数据格式的说明文件和通讯协议；处理层用于实现异构数据的实际接入；管理层用于为atombaseframe框架提供符合sql等标准的数据结构，该基于应用框架的异构数据接入服务组件是一种通用的数据异构接口服务，用于连接现有各主要商业数据系统及部分工业控制器数据存储装置系统，通过datainterface服务，使用者可实现对多种异构数据接入的轻松访问、同时也可实现同多个或多种异构数据系统进行交互式操作、从而简化接入系统的管理方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为背景技术中应用和数据的对应关系示意图；

图2为背景技术中三个停车场和数据的对应示意图；

图3为背景技术中五个停车场和数据的对应示意图；

图4为本发明基于应用框架的异构数据接入服务组件一个实施例中的结构示意图；

图5为所述实施例中多种异构数据接入的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明基于应用框架的异构数据接入服务组件实施例中，其基于应用框架的异构数据接入服务组件的结构示意图如图4所示。该基于应用框架的异构数据接入服务组件即datainterface组件，是atombaseframe应用框架下通用的异构数据库管理系统接入工具和异构数据客户端驱动组件。数据接入(或数据采集)过程中的“混杂性”和“多样性”是不可避免的问题，也是不因意志而转移的。

datainterface组件在atombaseframe应用框架中相当于实际应用和底层数据的一个中间层，该中间层分成三个部分，自下向上依次为驱动层drivers、处理层process和管理层manage，驱动层drivers用于至少提供数据格式的驱动程序、数据格式的说明文件和通讯协议等；处理层process用于实现异构数据的实际接入，异构数据的实际接入至少包括数据类型的转换、数据格式的转换、数据长度大小的更改、底层存储空间、文件或裸磁盘设备路径、数据目录及审计类型信息等；管理层manage用于为atombaseframe框架提供符合sql标准的数据结构。

该基于应用框架的异构数据接入服务组件使用三层的构架，是为了更好地提供datainterface组件的扩展性，当需要新接入一种新数据格式时，无需把原系统全部推翻，仅需要在上述三层结构中的驱动层drivers中增加新驱动，处理层process中增加新的格式转换，并将新的格式加载到管理层manage中即可。

例如，现在需要新接入一款监测pm2.5的物联网传感器，这款设备具备本地的局部数据存储功能，可以保留10日内的空气检测指数，datainterface组件仅需执行如下步骤：(1)在驱动层drivers中加载该设备数据的驱动，注意不是设备硬件的驱动，而是数据格式的驱动，比如文本格式文件；(2)处理层process中已经包含了文本格式的处理层，不用任何修改；(3)管理层manage中包含了文本格式的xml表现形式，可以直接解析并显示。

datainterface组件除了接入商业数据格式外，也支持部分控制类设备数据结构。比如siemens模块化控制器s7-200，支持约80路数字量或10路模拟量的i/o，可以保存显示约80条的记录信息，每条信息4个变量状态，通过modbus协议或opc驱动，datainterface组件可实时抽取该工业模块的通讯信息。

该基于应用框架的异构数据接入服务组件是一种通用的数据异构接口服务，用于连接现有各主要商业数据系统及部分工业控制器数据存储装置系统，通过datainterface服务，使用者可实现对多种数据异构接入的轻松访问、同时也可实现同多个或多种数据异构系统进行交互式操作、从而简化接入系统的管理方式。

图5为本实施例中多种数据异构接入的示意图，该基于应用框架的异构数据接入服务组件支持的商业数据系统主要包括标准sqlserver、sybase、mysql、postgresql、sqlite、nosql、amazon、azure、xml标准格式、access文件格式、foxpro文件格式或兼容odbc/jdbc的数据源。支持部分可读型工业装置中的存储器数据格式；如：abbac500/700系列，siemenss7-200/300/1200/1500系列，omronnx/nj/cj/cs系列，或兼容以太网协议、mudbus协议、兼容rs232/485端口协议的工业通讯装置和plc存储器。

该datainterface组件包含了一套标准的图形界面接口，通过此图形界面接口，按照指定格式(该指定格式兼容sql等标准)可用于查询相关数据和结构、导入导出选定的数据，并支持标准的sql操作语句。只读型工业硬件设备不支持内置存储数据的写、更新、修改或删除类型的操作。

在大多数情况下，数据异构主要表现在三个方面：1)异构的应用：企业业务系统、数据库系统甚至操作系统之间的不同，形成了异构系统或异构应用；2)数据存储模式：表示各种实际应用使用的后台数据源在存储模式上的不同，比如：当前的主流存储模式是关系型数据库，但各产品之间、各厂商之间的数据结构、数据关系、数据类型等由于多种原因不可能保持一模一样；3)数据的来源：企业的数据不可能仅仅应用于单位内部，或多或少的需要同外部的各种数据之间进行交互。

datainterface组件为数据存储模式和数据的来源提供接入支持，如下：

1)支持主流关系型数据库系统接入，接口种类丰富且扩展方便；由于datainterface组件采用了三层构架(驱动层drivers、处理层process和管理层manage)，在相应的层中建立需要接入的数据系统类型，并在层中建立连接关系(新建立的关系需要书写新的标识含义和流程)，即可完成接入；对于常用的数据系统，datainterface组件中已包含相应的驱动层drivers、数据格式处理和对应关系，可以直接使用。

2)在实际的数据转换过程中，要想实现严格的等价转换是非常困难的，datainterface组件使用多种保障手段来尽量避免转换过程的问题：

对于名称冲突问题，某种数据系统中的标识符可能是另外一种数据系统的的保留字，或者a系统的属性名称和b系统的属性名称相同，datainterface组件会自动重新命名，命名规则遵循sql等标准，对于数据系统中自定义的属性信息，会自动添加数据系统标识的扩展信息；

对于格式冲突问题：同一数据类型可能有不同的表示方法或差异，如char(8)、varchar(8)、varchar2(8)、string(8)等可能都表示8个单位的字符串，此时datainterface组件支持定义数据系统之间的映射关系，并可自定义别名：

alias:newstringtype:char＝varchar＝varchar2＝string。

对于数据结构冲突问题，如果两种数据系统之间的数据定义结构不同，如a属于关系模型，b属于目录层次模型，datainterface组件可以重新定义a或b的实体属性和关联关系。以哪种数据结构为基础进行修改，没有固定的约定公式，可以根据数据结构的比例灵活判断，如数据系统中关系模型占到了80％的比例，目录模型只占20％，显而易见，修改20％的目录模型可以减少工作量。

3)datainterface组件可以支持部分工业控制领域的plc系统数据接入。当前，主要侧重于兼容以太网、mudbus、rs232/485、opc的工业通讯装置，比如常见的abbac500/700系列，siemenss7-200/300/1200/1500系列，omronnx/nj/cj/cs系列等；可以接入的数据类型涵盖模拟量、开关量、字符量、报警等四种。

总之，本实施例中，该基于应用框架的异构数据接入服务组件支持标准sql、sybase、mysql、postgresql、sqlite、nosql、amazon、azure、xml、兼容odbc/jdbc的商业数据系统，主流plc数据接口(abb、siemens、omron、mudbus等)和部分物联网数据接口；datainterface组件同时提供了一套标准的图形界面编辑器用于查看数据、查询关系结构，执行标准的sql等语句或外部脚本，并可以导入、导出数据到指定位置；通过数据接入服务datainterface，可在atombaseframe应用框架下整合接入由不同供应商提供的商业数据库软件产品、工业数据产品或设备设施(如：abbac500/700系列、siemenss7-200/300/1200/1500系列、omronnx/nj/cj/cs系列或兼容以太网协议、mudbus协议、兼容rs232/485端口协议的工业通讯装置和plc存储器等)。本发明可实现对多种异构数据接入的轻松访问、同时也可实现同多个或多种异构数据系统进行交互式操作、从而简化接入系统的管理方式。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。