一种集成多异构业务系统的数据处理方法及装置与流程

1.本发明涉及数据处理技术领域，特别涉及一种集成多异构业务系统的数据处理方法及装置。


背景技术：

2.随着企业的发展，各类信息化系统已经成为企业经营过程中必不可少的工具，例如人力资源管理系统(hr)、协同办公系统(oa)、企业资源计划系统(erp)、生产制造执行系统(mes)等，这些系统互不连通，出现了“数据鸿沟”，形成一个个的“数据孤岛”。随着企业的进一步分化，开设各类分支机构，逐步形成集团型企业，其组织结构更加复杂，为了加强管理，提高信息的准确性与及时性，采取由集团总部对各信息化系统进行重构与统一部署，从而实现全集团自上而下的系统与数据的贯通。但是由于各信息化系统之间有各自管理职能或业务的适用领域，又会形成之间的横向隔离，从而又形成“数据烟囱”。为了实现各信息化系统之间数据的互联互通，逐步形成以企业门户为展现形式，无缝对接集团内部多套系统，打造交互界面统一，业务场景完整，统一接入安全的一站式办公平台的解决方案，其中对“待处理信息数据”的集成是该解决方案的重要组成部分。“待处理信息数据”包括待办流程、待查看的通知公告、待处理的业务事项等。
3.如图6所示，目前常见的数据集成方法为：
4.1)建立“待处理信息数据集成模块”，创建统一的“待处理信息数据表”来存储数据，定义数据结构与接口规范；
5.2)各异构系统按照“待处理信息数据集成模块”要求的统一规范，通过统一标准的接口或消息的方式，推送数据到“待处理信息数据集成模块”，保存在“待处理信息数据表”中；
6.3)“待处理信息数据集成模块”提供“待处理信息数据表”数据查询接口，供调用查询“待处理信息数据表”中的数据进行展现。
7.但上述技术方案存在以下缺点：
8.缺点1：“待处理信息数据集成模块”对各异构系统的数据进行统一存储，为保证“待处理信息数据表”与异构系统数据的一致性，在异构系统中对数据的增加、修改、删除操作时，都需要推送数据到“待处理信息数据集成模块”，“待处理信息数据集成模块”再解析推送过来的数据，增加、修改或删除“待处理信息数据表”的数据。此方案对异构系统改造工作量大，系统复杂度高。每个异构系统都需要实现增加数据接口、修改数据接口、删除数据接口。异构系统越多，工作量越大。
9.缺点2：“待处理信息数据集成模块”同时处理多个异构系统的数据推送，会对系统产生很大的数据处理压力。


技术实现要素：

10.(一)要解决的技术问题
11.为了解决现有技术的上述问题，本发明提供一种集成多异构业务系统的数据处理方法及装置，降低异构系统改造工作量和数据处理压力。
12.(二)技术方案
13.为了达到上述目的，本发明采用的技术方案为：
14.一种集成多异构业务系统的数据处理方法，包括步骤：
15.获取需要在数据展示区域中显示的数据数量n；
16.遍历与数据展示区域对接的所有异构系统，从每一个异构系统中获取与所述数据数量n对应的待展示数据；
17.从所有所述待展示数据中筛选出n条待展示数据，以显示在所述数据展示区域。
18.进一步地，所述遍历与数据展示区域对接的所有异构系统，从每一个异构系统中获取与所述数据数量n对应的待展示数据包括：
19.预先将所述数据展示区域所配置的所有异构系统的对接接口信息放入接口数组；
20.遍历与数据展示区域对接的接口数组，使用异步通信方式从所述接口数组中的每一个接口获取与所述数据数量n对应的待展示数据，并保存在内存中。
21.进一步地，还包括：
22.将内存中所保存的所有待展示数据进行缓存，并设定缓存时长；
23.若在所述缓存时长内再次调用接口来获取待展示数据时，直接从缓存中获取对应的待展示数据。
24.进一步地，还包括：
25.从每一个接口中获取待展示数据时，对出现的异常进行日志记录并直接跳过出现异常的接口。
26.进一步地，所述异构系统的对接接口为标准接口，则还包括：
27.从每一个接口中获取待展示数据时，通过标准接口对异构的待展示数据进行标准化处理，得到标准格式的待展示数据。
28.进一步地，所述从每一个异构系统中获取与所述数据数量n对应的待展示数据具体为从每一个异构系统中获取n条待展示数据。
29.进一步地，所述从所有所述待展示数据中筛选出n条待展示数据包括：
30.按照预设的排序规则对所有所述待展示数据进行排序，得到排序前n位的待展示数据。
31.进一步地，所述数据展示区域按照预设时间频率刷新数据。
32.进一步地，所述从所有所述待展示数据中筛选出n条待展示数据，以显示在所述数据展示区域还包括：
33.若所获取的所有所述待展示数据的数量低于n，则将所获取的所有所述待展示数据显示在所述数据展示区域。
34.为了达到上述目的，本发明采用的另一种技术方案为：
35.一种集成多异构业务系统的数据处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种集成多异构业务系统的数据处理方法。
36.(三)有益效果
37.本发明的有益效果在于：一种集成多异构业务系统的数据处理方法及装置，通过直接从所有异构系统中获取自己所需的待展示数据，不重复保存冗余数据，实现数据来源的唯一性，此时，就算异构系统数据发生变动时，通过接口重新获取到的即为最新数据，保证了数据的准确性与及时性，这样各异构系统就无需进行原有功能模块改造，只需按照接口规范实现数据查询接口，整体开发工作量小，对接成本低，系统的复杂度低，扩展性高。且也不需要处理多个异构系统的数据推送，降低了系统的数据处理压力，因此，本发明能降低异构系统改造工作量和数据处理压力。
附图说明
38.图1为本发明实施例的一种集成多异构业务系统的数据处理方法的主要流程示意图；
39.图2为本发明实施例的一种集成多异构业务系统的数据处理方法的整体流程示意图；
40.图3为本发明实施例涉及的门户首页的设计界面示意图；
41.图4为本发明实施例涉及的数据展示区域的界面示意图；
42.图5为本发明实施例的一种集成多异构业务系统的数据处理装置的结构示意图；
43.图6为现有技术的流程示意图。
44.【附图标记说明】
45.1：一种集成多异构业务系统的数据处理装置；
46.2：处理器；
47.3：存储器。
具体实施方式
48.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
49.实施例一
50.本实施例通过直接从各个异构系统中直接获取待展示数据，并将获取到的待展示数据进行整合处理，得到最终要在数据展示区域内所要展示的数据数量，按需获取，无需对数据进行统一存储。
51.请参照图1至图4，一种集成多异构业务系统的数据处理方法，包括步骤：
52.s1、获取需要在数据展示区域中显示的数据数量n；
53.如图2所示，在本实施例中，在数据展示区域中需要显示n条数据，数据记录来源于m个异构系统，其中n和m均为大于或等于1的正整数。
54.在一个具体的示例中，如图3中的门户首页中的“待办流程”，主要对如何进行“待办流程”的数据获取以及排序规则、计算逻辑、并在企业门户首页中展现进行说明。
55.如图3所示，在门户首页设计时，定义“待办流程”在门户上的数据展示区域、对应组件、区域别名、区域刷新频率(秒)、组件属性(如配置maxcount:8表示最大显示8条，cashtime:3表示缓存时间为3秒)、样式等，即本实施例中n为8。
56.s2、遍历与数据展示区域对接的所有异构系统，从每一个异构系统中获取与数据
数量n对应的待展示数据；
57.其中，步骤s2包括：
58.s21、预先将数据展示区域所配置的所有异构系统的对接接口信息放入接口数组；
59.即在首页门户加载时，“待办流程”组件获取配置的异构系统对接接口信息，放入接口数组。
60.s22、遍历与数据展示区域对接的接口数组，使用异步通信方式从接口数组中的每一个接口获取与数据数量n对应的待展示数据，并保存在内存中。
61.在一个具体的示例中，循环遍历接口数组，异步调用每个接口获取8条待办流程数据，放入待办流程数组中。获取到的待办流程数据内容包括：记录id、流程标题、流程到达时间和流程状态名称等。
62.在本实施例中，异步通信方式是指计算机多线程的异步处理，与同步方式相对，异步方式不用阻塞当前线程来等待处理完成，而是允许后续操作，直至其它线程将处理完成，并回调通知此线程，保证了当前线程的正常运行。
63.其中，步骤s22包括：
64.s221、从每一个接口中获取待展示数据时，对出现的异常进行日志记录并直接跳过出现异常的接口。
65.即本实施例中增加了异常处理机制，防止获取某个异构系统的数据出错时，影响其他系统数据的获取。其中，异常种类包括：网络异常、授权异常、接口参数异常、对接口返回数据进行数据转换时异常(如把字符串解析成json格式时异常)等。
66.s222、从每一个接口中获取待展示数据时，通过标准接口对异构的待展示数据进行标准化处理，得到标准格式的待展示数据。
67.其中，异构系统的对接接口为标准接口，因此，从异构系统获取的异构数据经过标准接口之后变成了标准数据。
68.如图2所示，从每一个异构系统中获取与数据数量n对应的待展示数据具体为从每一个异构系统中获取n条待展示数据，这样异构系统包括业务系统1至业务系统m，每一个业务系统得到n条待展示数据，就得到m
×
n条数据。即如果数据展示区域需要8条待展示数据，则从每一个异构系统中都获取8条待展示数据来进行展示。
69.其中，从每个异构系统获取n条记录的原因是：假设某区域仅要显示n条记录，且该区域就是专门显示一个异构系统中的数据，那么从该异构系统仅需获取n条记录即可满足需求。但是要从多个异构系统去获取，由于无法100％保证调用每个异构系统的接口不会出现异常且不清楚多个异构系统是否有足够数量的待展示数据，因此，本实施例从每个异构系统中都去获取n条数据，只要有一个系统获取正常，且有数据，即可保证显示区域有内容显示，不至于显示空白。在考虑接口异常的情况下，可能的场景如表1所示。
70.表一、数据获取情况列表
[0071][0072]
这种情况下，不考虑接口异常，那获取的记录数最少＝0，最多＝m
×
n＝2个系统
×
每个8条＝16条。
[0073]
其中，如上表1只是示例说明，实际上，在异构系统a和b都小于8条的情况下还有一种情况就是二者合起来大于或等于8条，比如异构系统a有5条，异构系统b有6条，这样，在异构系统a和b都正常的情况下，获得超过8条的待展示数据，则从11条数据中筛选出8条进行显示即可。
[0074]
在一个具体的示例中，异构系统为3个异构的业务系统，则变成从3个异构的业务系统中获取8条“待办流程”，对单个业务系统而言，存在4种场景：
[0075]
1)业务系统的待办流程大于8条，由于只需要显示8条记录，所以获取8条记录。
[0076]
2)业务系统的待办流程大于1条，且小于或等于8条，则全部获取。
[0077]
3)业务系统无待办流程，则获取到的数据为空。
[0078]
4)调用获取接口时，出现异常，记录日志，则获取到的数据为空。
[0079]
s3、从所有待展示数据中筛选出n条待展示数据，以显示在数据展示区域。
[0080]
其中，步骤s3包括：
[0081]
s31、按照预设的排序规则对所有待展示数据进行排序，得到排序前n位的待展示数据，以显示在数据展示区域。
[0082]
其中，基于业务场景，设计某一排序规则，对保存在内存中的m
×
n条数据按照此规则进行排序，为每条记录标识一个序号值x，第一条记录的序号x＝1，第二条记录序号x＝2，
……
，以此类推。
[0083]
其中，不同的业务场景，对数据的排序规则不一样，常见的有按时间维度、按数值大小、按程度状态等。时间维度比如制单时间、审批时间等，数值大小比如数量、金额、排名等，程度状态比如紧急程度等。
[0084]
此时，将满足序号值x≤n的记录，按照序号值x从小到大进行排序，显示在数据展示区域中，对于n+1至n+m的数据不进行展示了。
[0085]
在一个具体的示例中，对循环结束获取到的待办流程数组中的数据，按流程到达时间从大到小进行排序，得到排序后的待办流程数组，之后获取排序后的待办流程数组前8条记录在门户中展示出来，得到如图4所示的界面。
[0086]
s32、若所获取的所有待展示数据的数量低于n，则将所获取的所有待展示数据显示在数据展示区域。
[0087]
其中，如果所获取的所有待展示数据的数量低于n，则只需要把所获取的所有数据进行展示即可。同样，如果异构系统的待展示数据的数量低于n，则全部获取即可。
[0088]
因此，对于所有异构系统而言，存在以下3个场景：
[0089]
1)从3个业务系统中获取到的“待办流程”合计数大于8条，由于只需要显示8条记录，所以基于排序规则处理，只对满足排序规则的前8条记录进行展示。
[0090]
2)从3个系统中获取到的“待办流程”合计数不足8条，则全部进行展示。
[0091]
3)从3个系统获取到的“待办流程”合计数为0，则展示数据为空。
[0092]
在本实施例中，数据展示区域按照预设时间频率刷新数据，即按照预设时间频率重复执行步骤s1至步骤s3，以实现数据的自动刷新。
[0093]
实施例二
[0094]
请参照图1至图4，一种集成多异构业务系统的数据处理方法，在实施例一的基础上，还包括：
[0095]
将内存中所保存的所有待展示数据进行缓存，并设定缓存时长；
[0096]
若在缓存时长内再次调用接口来获取待展示数据时，直接从缓存中获取对应的待展示数据。
[0097]
即在本实施例中，获取数据时增加缓存机制，将内存中的m
×
n条记录进行缓存，如保存到浏览器缓存中。同时设定一个缓存时长，如3秒，表示若在3秒内重复调用接口获取“待展示数据”，直接从缓存中获取，减小对异构业务系统频繁访问的压力，缓存时长结束后，清除缓存。
[0098]
实施例三
[0099]
请参照图5，一种集成多异构业务系统的数据处理装置1，包括存储器3、处理器2及
存储在存储器3上并可在处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现上述实施例一或二中的步骤。
[0100]
由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
[0101]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0102]
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
[0103]
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
[0104]
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0105]
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0106]
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。