数据服务发布系统及方法与流程

1.本发明涉及大数据技术领域，尤其涉及一种数据服务发布系统及方法。


背景技术：

2.企业级数据涉及业务系统众多，不同业务系统采用的技术实现手段、数据标准千差万别，管理难度大，沟通成本高，很难掌握企业级数据的整体情况。现有的数据服务发布的缺点是：异构的业务系统间各自发布数据服务，数据服务格式不统一，调用不方便。权限没有控制或者控制方式不统一，不利于数据资产监管。


技术实现要素：

3.本发明实施例提出一种数据服务发布系统，用以实现统一格式的数据服务发布，权限控制方便，该系统包括：
4.数据传输模块，用于获取业务系统的数据，所述业务系统的数据是业务系统通过调用数据同步服务接口推送至数据传输模块的；
5.数据加工模块，用于将数据加工生成符合数据格式要求的数据，基于符合数据格式要求的数据生成数据服务接口；
6.数据服务发布模块，用于基于企业服务总线的配置要求，对数据服务接口进行数据服务统一格式配置，对配置好的数据服务进行发布；
7.权限管理模块，用于在接收到业务系统的数据服务接口调用请求时，判断业务系统是否有权限进行数据服务接口调用，若有，向业务系统返回数据服务接口。
8.本发明实施例提出一种数据服务发布方法，用以实现统一格式的数据服务发布，权限控制方便，该方法包括：
9.获取业务系统的数据，所述业务系统的数据是业务系统通过调用数据同步服务接口推送至数据传输模块的；
10.将数据加工生成符合数据格式要求的数据，基于符合数据格式要求的数据生成数据服务接口；
11.基于企业服务总线的配置要求，对数据服务接口进行数据服务统一格式配置，对配置好的数据服务进行发布；
12.在接收到业务系统的数据服务接口调用请求时，判断业务系统是否有权限进行数据服务接口调用，若有，向业务系统返回数据服务接口。
13.本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据服务发布方法。
14.本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据服务发布方法的计算机程序。
15.在本发明实施例中，数据传输模块，用于获取业务系统的数据，所述业务系统的数
据是业务系统通过调用数据同步服务接口推送至数据传输模块的；数据加工模块，用于将数据加工生成符合数据格式要求的数据，基于符合数据格式要求的数据生成数据服务接口；数据服务发布模块，用于基于企业服务总线的配置要求，对数据服务接口进行数据服务统一格式配置，对配置好的数据服务进行发布；权限管理模块，用于在接收到业务系统的数据服务接口调用请求时，判断业务系统是否有权限进行数据服务接口调用，若有，向业务系统返回数据服务接口。在上述过程中，同步获取异构的业务系统的数据，利用企业服务总线，形成数据服务统一格式的数据服务，并发布，从而极大提升了数据服务的标准化，方便业务系统使用，也方便实现统一管理访问权限，从而充分直观地实现了数据资产的共享、管控和增值。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
17.图1为本发明实施例中数据服务发布系统的示意图；
18.图2为本发明实施例中数据服务发布系统的原理图；
19.图3为本发明实施例中数据服务发布方法的流程图；
20.图4为本发明实施例中数据服务发布方法的另一流程图；
21.图5为本发明实施例中计算机设备的示意图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
23.在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
24.首先对本发明涉及到的术语进行解释。
25.数据资产：能给企业及组织带来未来经济利益的数据资源。
26.数据治理：对数据资产管理行使权力和控制的活动集合。
27.数据服务：提供数据采集、数据传输、数据存储、数据处理(包括计算、分析、可视化等)、数据交换、数据销毁等数据各种生存形态演变的一种信息技术驱动的服务。数据服务作为数据资产的重要组成部分，需要统筹管理。
28.数据治理平台：用于进行数据治理的软件系统。
29.数据同步服务：通过技术手段将同构和异构数据库中的数据进行同步的服务。
30.图1为本发明实施例中数据服务发布系统的示意图，如图1所示，该系统包括：
31.数据传输模块101，用于获取业务系统的数据，所述业务系统的数据是业务系统通过调用数据同步服务接口推送至数据传输模块的；
32.数据加工模块102，用于将数据加工生成符合数据格式要求的数据，基于符合数据格式要求的数据生成数据服务接口；
33.数据服务发布模块103，用于基于企业服务总线的配置要求，对数据服务接口进行数据服务统一格式配置，对配置好的数据服务进行发布；
34.权限管理模块104，用于在接收到业务系统的数据服务接口调用请求时，判断业务系统是否有权限进行数据服务接口调用，若有，向业务系统返回数据服务接口。
35.具体实施时，图2为本发明实施例中数据服务发布系统的原理图，具体实施时，业务系统数据调用数据传输模块提供的数据同步服务接口，将业务系统的数据推送至数据服务发布系统，
36.在一实施例中，数据加工模块具体用于：
37.对获取的业务系统的数据进行统一、合并后形成基础数据；
38.按主题对所述基础数据进行整理；
39.基于预先配置的数据格式要求将整理后的数据进行加工，获得符合数据格式要求的数据。
40.在上述实施例中，基础数据指对业务系统传入的数据进行了标准化加工后具有统一性唯一性且易于用户理解的数据。由于银行各业务系统数据标准及数据格式千差万别，同一数据在不同业务系统中的存储格式、存储字段也不尽相同，各级银行机构的业务系统对同一种类型数据进行管理时使用的业务系统和在业务系统中的管理方式也不尽相同，用户想使用这些数据时不仅需要从不同业务系统中获取，获取成本高，而且同一数据从不同业务系统中获取加工后产生的数据也可能存在由于不规范产生的数据偏差。本发明实施例提出的系统的目的就是将各业务系统中的异构多出处数据统一进行管理，用户在使用时只需要使用通过本系统获得数据服务即可。基础数据就是对各业务系统中异构多出处的数据进行统一、合并后产生的数据以及用户根据实际需要使用统一、合并后的数据生成的数据。
41.然后，按主题对所述基础数据进行整理，主题是业务人员事先确定的，预先配置的数据格式要求包括数据格式(有哪些字段)、数据含义、数据来源，例如主题为绩效计量的数据，需梳理这类数据都来源哪些业务系统，有哪些字段，每个字段的含义等。上述字段可以包括创建时间、创建人、修改时间、修改人等基本信息字段。
42.需要说明的是，用户还可以对上述按主题整理的数据在进行一次整理加工，可根据实际情况而定。
43.基于符合数据格式要求的数据生成数据服务接口主要是进行代码级别封装，形成接口的过程，在一实施例中，所述数据服务接口为soap接口或restful接口。当然，可以理解的是，还可以有其他接口形式，相关变化例均应落入本发明的保护范围。
44.具体实施时，数据服务发布模块基于企业服务总线的配置要求，对数据服务接口进行数据服务统一格式配置，其中数据服务统一格式指通过企业服务总线的配置要求后对外发布的数据服务格式，即http://ip或域名:端口号/服务名称或https://ip或域名:端口
号/服务名称。这里的ip或域名指企业服务总线所在服务器的ip或域名，服务名称为在企业服务总线配置中配置的服务名称。例如，需要发布的数据服务接口为http://22.11.89.10:8084/cmdb/querymaindataservice，通过企业服务总线的配置后对外发布的数据服务为http://dp.boc:80/querymaindataservice。
45.企业服务总线除了包含配置要求，可进行数据服务统一格式配置外，还包括安全配置，用于统一保障数据的安全性，开发人员无需额外考虑权限及数据安全的问题。
46.在一实施例中，数据服务发布模块还用于：
47.对配置好的数据服务进行审核，对审核通过的数据服务进行发布。
48.在上述实施例中，数据服务接口本质上会将业务系统的数据对外暴露。而银行业务系统多数为金融数据，具有保密性质，对外暴露需谨慎。由于不同的业务数据归属不同主题，不同主题下的数据归属不同的业务部门进行管理，在业务系统提出使用某些主题数据时，需经过主题数据归属业务部门的同意，开发人员才会将这部分数据封装成可对外暴露的数据服务接口并通过企业服务总线对外发布。通过企业服务总线对外发布时，管理人员也就是主题数据的归属业务部门要对这部分待发布接口会对外暴露的数据进行审核，看是否与提出需求时申请获得的数据一致，这部分数据是否能对外暴露，有没有违反保密性规则，以及能暴露给哪些业务系统进行调用等。管理人员通过查看该接口在数据服务总线中的配置要求获得上述信息，如果满足数据安全要求及系统权限要求即可审核通过，如果存在不可暴露数据或者超出可业务系统可调用范围则审核不通过。
49.具体实施时，权限管理模块，用于在接收到业务系统的数据服务接口调用请求时，判断业务系统是否有权限进行数据服务接口调用，若有，向业务系统返回数据服务接口，具体的判断方法为：
50.接收到业务系统的数据服务接口调用请求时，判断该业务系统是否在可调用业务系统范围内且申请使用的数据范围是否符合数据安全性要求并在该业务系统可使用的数据范围内，若是，向业务系统返回数据服务接口，否则退回申请。
51.综上所述，在本发明实施例提出的系统中，数据传输模块，用于获取业务系统的数据，所述业务系统的数据是业务系统通过调用数据同步服务接口推送至数据传输模块的；数据加工模块，用于将数据加工生成符合数据格式要求的数据，基于符合数据格式要求的数据生成数据服务接口；数据服务发布模块，用于基于企业服务总线的配置要求，对数据服务接口进行数据服务统一格式配置，对配置好的数据服务进行发布；权限管理模块，用于在接收到业务系统的数据服务接口调用请求时，判断业务系统是否有权限进行数据服务接口调用，若有，向业务系统返回数据服务接口。在上述过程中，同步获取异构的业务系统的数据，利用企业服务总线，形成数据服务统一格式的数据服务，并发布，从而极大提升了数据服务的标准化，方便业务系统使用，也方便实现统一管理访问权限，从而充分直观地实现了数据资产的共享、管控和增值。
52.本发明实施例还提出一种数据服务发布方法，其原理与数据服务发布系统类似，这里不再赘述。
53.图3为本发明实施例中数据服务发布方法的流程图，具体包括：
54.步骤301，获取业务系统的数据，所述业务系统的数据是业务系统通过调用数据同步服务接口推送至数据传输模块的；
55.步骤302，将数据加工生成符合数据格式要求的数据，基于符合数据格式要求的数据生成数据服务接口；
56.步骤303，基于企业服务总线的配置要求，对数据服务接口进行数据服务统一格式配置，对配置好的数据服务进行发布；
57.步骤304，在接收到业务系统的数据服务接口调用请求时，判断业务系统是否有权限进行数据服务接口调用，若有，向业务系统返回数据服务接口。
58.在一实施例中，将数据加工生成符合数据格式要求的数据，包括：
59.对获取的业务系统的数据进行统一、合并后形成基础数据；
60.按主题对所述基础数据进行整理；
61.基于预先配置的数据格式要求将整理后的数据进行加工，获得符合数据格式要求的数据。
62.在一实施例中，所述数据服务接口为soap接口或restful接口。
63.图4为本发明实施例中数据服务发布方法的另一流程图，在一实施例中，所述方法还包括：
64.步骤305，对配置好的数据服务进行审核，对审核通过的数据服务进行发布。
65.综上所述，在本发明实施例提出的方法中，获取业务系统的数据，所述业务系统的数据是业务系统通过调用数据同步服务接口推送至数据传输模块的；将数据加工生成符合数据格式要求的数据，基于符合数据格式要求的数据生成数据服务接口；基于企业服务总线的配置要求，对数据服务接口进行数据服务统一格式配置，对配置好的数据服务进行发布；在接收到业务系统的数据服务接口调用请求时，判断业务系统是否有权限进行数据服务接口调用，若有，向业务系统返回数据服务接口。在上述过程中，同步获取异构的业务系统的数据，利用企业服务总线，形成数据服务统一格式的数据服务，并发布，从而极大提升了数据服务的标准化，方便业务系统使用，也方便实现统一管理访问权限，从而充分直观地实现了数据资产的共享、管控和增值。
66.本发明的实施例还提供一种计算机设备，图5为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的数据服务发布方法中全部步骤，所述计算机设备具体包括如下内容：
67.处理器(processor)501、存储器(memory)502、通信接口(communications interface)503和通信总线504；
68.其中，所述处理器501、存储器502、通信接口503通过所述通信总线504完成相互间的通信；所述通信接口503用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输；
69.所述处理器501用于调用所述存储器502中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的数据服务发布方法中的全部步骤。
70.本发明的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的数据服务发布方法中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的数据服务发布方法的全部步骤。
71.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序业务系统。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面
的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序业务系统的形式。
72.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序业务系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
73.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
74.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
75.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。