一种基于云平台的批量业务批处理方法及装置与流程

1.本技术涉及数据处理技术领域，特别是涉及一种基于云平台的批量业务批处理方法及装置。


背景技术：

2.在银行将批量业务由云下平台向云平台迁移重构的过程中，通常采用整体迁移的方式来进行。在批量业务的整体规模较小时，整体迁移的方式能够一次性完成所有业务的迁移重构，但当批量业务整体规模较为庞大复杂时，其无法一次性完成全部批量业务的迁移重构，会出现云平台与云下平台各遗存有一部分处理业务的情况。但在云平台上已经完成迁移重构的业务与云下平台上尚未迁移重构的业务可能存在依赖关系，而现有技术中通常在批量业务全部重构完成后才会继续进行批量业务的处理，因而会影响批量业务的处理进程，影响处理效率。
3.因此，如何兼容云平台与云下平台批量业务的同步处理成为本领域技术人员急需解决的技术问题。


技术实现要素：

4.基于上述问题，为了兼容云平台与云下平台批量业务的同步处理，本技术提供了一种基于云平台的批量业务的批处理方法及装置。
5.本技术实施例公开了如下技术方案：
6.第一方面，一种基于云平台的批量业务的批处理方法，包括：
7.将云平台批量业务封装成批量微服务，以用于接收微服务调度请求；
8.若云下平台批量业务的执行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求；
9.根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果。
10.可选的，所述若云下平台批量业务的执行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求之前，还包括：
11.根据所述云下平台批量业务的执行状态，调度所述云下平台批量业务。
12.可选的，所述根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果之后，还包括：
13.根据所述执行结果，执行所述云下平台批量业务；
14.若所述云下平台批量业务执行完毕，则结束所述云下平台批量业务处理。
15.可选的，所述根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果之后，还包括：
16.将与所述微服务调度请求所对应的采集文件转发至云平台共享目录和云下共享目录。
17.可选的，所述将云平台批量业务封装成批量微服务之前，还包括：
18.设置云平台业务数据分库，所述云平台业务数据分库用于存储具有目标数据的云平台的批量业务，所述具有目标数据的云平台批量业务通过水平切分的方式存储于所述云平台业务数据分库中；
19.设置云平台业务数据汇总库，所述云平台业务数据汇总库用于存储不具有目标数据的云平台批量业务。
20.第二方面，本技术公开了一种基于云平台的批量业务批处理装置包括：
21.批量业务封装模块，用于将云平台批量业务封装成批量微服务，以用于接收微服务调度请求；
22.云批量交互模块，用于在云下平台批量业务的执行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求；
23.云批量微服务模块，用于根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果。
24.可选的，还包括：
25.云下批量交互模块，用于根据所述云下平台批量业务的执行状态，调度所述云下平台批量业务。
26.可选的，还包括云下批量业务结束模块，具体用于：
27.根据所述执行结果，执行所述云下平台批量业务；
28.若所述云下平台批量业务执行完毕，则结束所述云下平台批量业务处理。
29.可选的，还包括：
30.文件转发模块，用于将与所述微服务调度请求所对应的采集文件转发至云平台共享目录和云下共享目录。
31.可选的，还包括：
32.存储模块，用于设置云平台业务数据分库，所述云平台业务数据分库用于存储具有目标数据的云平台批量业务，所述具有目标数据的云平台批量业务通过水平切分的方式存储于所述云平台业务数据分库中；设置云平台业务数据汇总库，所述云平台业务数据汇总库用于存储不具有目标数据的云平台批量业务。
33.相较于现有技术，本技术具有以下有益效果：本技术公开了一种基于云平台的批量业务批处理方法及装置，通过将云平台批量业务封装成微服务，以用于接收微服务调度请求；若云下平台批量业务的执行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求；根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果。使得在批量业务进行迁移重构的过程中，位于云平台上已完成迁移的批量业务，依然能够兼容位于云下平台未进行迁移的批量业务进行业务的同步处理，解决了在批量业务由云下平台迁移至云平台时需要所有批量业务全部迁移完毕才能继续进行业务处理所导致的处理效率低下的问题。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
35.图1为本技术实施例提供的一种基于云平台的批量业务批处理方法流程图；
36.图2为本技术实施例提供的一种基于云平台的批量业务批处理装置结构图。
具体实施方式
37.正如前文描述，目前在银行进行批量业务由云下平台向云平台迁移重构的过程中，通常采用整体迁移的方式来进行。当批量业务整体规模较大时，其无法一次性完成所有批量业务的迁移重构，会出现云平台与云下平台各遗存有一部分处理业务的情况。但云平台上已完成迁移重构的批量业务与云下平台上尚未完成迁移重构的批量业务可能存在依赖关系，而现有技术中只能在所有的批量业务全部完成迁移重构后才会继续进行批量业务的处理，因而批量业务的处理进程会受到影响，处理效率低下。
38.发明人经过研究，提供了一种基于云平台的批量业务批处理方法及装置，通过将云平台批量业务封装成微服务，以用于接收微服务调度请求；若云下平台批量业务的执行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求；根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果。使得在批量业务进行迁移重构的过程中，位于云平台上已完成迁移的批量业务，依然能够兼容位于云下平台未进行迁移的批量业务进行业务的同步处理，解决了在批量业务由云下平台迁移至云平台时需要所有批量业务全部迁移完毕才能继续进行业务处理所导致的处理效率低下的问题。
39.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
40.参见图1，该图为本技术实施例所提供的一种基于云平台的批量业务的批处理方法的流程图。
41.步骤s101：将云平台批量业务封装成批量微服务，以用于接收微服务调度请求。
42.在本实施例中，通过将云平台中的批量业务封装成批量微服务即把原来只具有单体服务的批量业务切割成多个小的服务，并为所述批量微服务提供http服务，使其能够接受来自云下平台的微服务调度请求。微服务不仅仅是把http请求分到不同的服务器上，而是从逻辑和具体的功能上进行切割，将单体服务的批量业务封装成具有多个附属功能的微服务，例如订单服务、产品服务等。根据微服务具体所属的功能，能够与云下平台中部分批量业务的执行条件所对应，使得在云下平台批量业务与云平台中的批量业务存在依赖关系时，能够根据微服务具体所属的功能，并基于http协议发送对应的微服务调度请求给云平台从而实现微服务的调度，同时云平台也能够基于http协议向云下平台反馈微服务的执行结果，以便云下平台自身批量业务的处理。
43.步骤s102：若云下平台批量业务的执行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求。
44.在云下平台批量业务处理的过程中，会实时监控并记录批量业务的执行状态，并
根据其批量业务具体的执行状态，调度执行云下平台批量业务。若批量业务的执行状态满足预设云平台批量微服务执行条件，则会向云平台发起微服务调度请求。其中，预设云平台批量微服务执行条件可由用户自行设定，例如可以设定为，当云下平台某批量业务完成时，调度指定云平台中与其对应的微服务同步运行。
45.根据云下平台批量业务的执行状态以对云平台微服务的调度，实现了基于云下平台批量业务的执行状态以完成云平台批量微服务的灵活调度，使得在批量业务由云下平台向云平台迁移重构的过程中能够兼顾业务的处理，迁移重构过程更为平稳且不会影响批量业务的处理效率。
46.步骤s103：根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果。
47.云平台在接收到微服务调度请求后，根据微服务调度请求，完成云下平台所指定的微服务，并返回执行结果。可以通过分布式调度引擎完成微服务的调度，本实施例对此调度的方式不作具体限定。
48.在一种可选的实施方式中，在步骤s103之后，还包括：
49.根据所述执行结果，执行所述云下平台批量业务。
50.若所述云下平台批量业务执行完毕，则结束所述云下平台批量业务处理。
51.在另一种可选的实施方式中，在步骤s103之后，还包括：
52.将与所述微服务调度请求所对应的采集文件转发至云平台共享目录和云下共享目录。
53.将采集文件转发至云下共享目录，可以通过ftp协议将采集文件转发至云下平台所指定的云下共享目录中，并且在预设时间内对云下共享目录进行扫描，当出现新文件时对其进行备份并将其传送至外部数据平台。
54.将采集文件转发至云平台共享目录可以由用户手动配置云平台共享目录，选择性的将云下平台收到的文件转发推送到云平台共享目录中。
55.通过建立云平台共享目录和云下共享目录，能够实现数据文件的共享存储以及数据源的传递。
56.在另一种可选的实施方式中，在步骤s101之前，还包括：
57.设置云平台业务数据分库，所述云平台业务数据分库用于存储具有目标数据的云平台的批量业务，所述具有目标数据的云平台批量业务通过水平切分的方式存储于所述云平台业务数据分库中。
58.设置业务数据汇总库，所述业务数据汇总库用于存储不具有目标数据的云平台批量业务。
59.其中，目标数据可以由用户自行设定，用户可以根据自身判断批量业务数据中的关键数据，并将其确定为目标数据。
60.在设置云平台业务数据分库时，将具有目标数据，即用户所设定的具有关键数据的批量业务通过水平切分的方式存储于所述云平台业务数据分库中，并将不具有目标数据的云平台批量业务存储于云平台业务数据汇总库中。
61.由此可见，本实施例公开了一种基于云平台的批量业务批处理方法及装置，通过将云平台批量业务封装成微服务，以用于接收微服务调度请求；若云下平台批量业务的执
行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求；根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果。使得在批量业务进行迁移重构的过程中，位于云平台上已完成迁移的批量业务，依然能够兼容位于云下平台未进行迁移的批量业务进行业务的同步处理，解决了在批量业务由云下平台迁移至云平台时需要所有批量业务全部迁移完毕才能继续进行业务处理所导致的处理效率低下的问题。
62.下面对本技术实施例提供的一种基于云平台批量业务的批处理装置进行介绍，下文描述的一种基于云平台批量业务的批处理装置与上文描述的一种基于云平台的批量业务的批处理方法可相互对应参照。
63.参见图2，该图为本技术实施例提供的一种基于云平台批量业务的批处理装置的结构示意图，如图2所示，该装置包括：
64.批量业务封装模块100，用于将云平台批量业务封装成批量微服务，以用于接收微服务调度请求。
65.云批量交互模块200，用于在云下平台批量业务的执行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求。
66.云批量微服务模块300，用于根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果。
67.可选的，还包括：
68.云下批量交互模块，用于根据所述云下平台批量业务的执行状态，调度所述云下平台批量业务。
69.可选的，还包括云下批量业务结束模块，具体用于：
70.根据所述执行结果，执行所述云下平台批量业务。
71.若所述云下平台批量业务执行完毕，则结束所述云下平台批量业务处理。
72.可选的，还包括：
73.文件转发模块，用于将与所述微服务调度请求所对应的采集文件转发至云平台共享目录和云下共享目录。
74.可选的，还包括：
75.存储模块，用于设置云平台业务数据分库，所述云平台业务数据分库用于存储具有目标数据的云平台批量业务，所述具有目标数据的云平台批量业务通过水平切分的方式存储于所述云平台业务数据分库中；设置云平台业务数据汇总库，所述云平台业务数据汇总库用于存储不具有目标数据的云平台批量业务。
76.本技术实施例公开了一种基于云平台的批量业务批处理方法及装置，通过将云平台批量业务封装成微服务，以用于接收微服务调度请求；若云下平台批量业务的执行状态满足预设云平台批量微服务执行条件，则向所述云平台发起所述微服务调度请求；根据所述微服务调度请求，执行所述云平台批量微服务，并在所述云平台批量微服务执行完毕后向所述云下平台返回执行结果。使得在批量业务进行迁移重构的过程中，位于云平台上已完成迁移的批量业务，依然能够兼容位于云下平台未进行迁移的批量业务进行业务的同步处理，解决了在批量业务由云下平台迁移至云平台时需要所有批量业务全部迁移完毕才能继续进行业务处理所导致的处理效率低下的问题。
77.需要说明的是，本本技术公开了一种基于云平台的批量业务批处理方法及装置，可应用于分布式领域。上述仅为示例，并不对本发明提供的一种基于云平台的批量业务批处理方法及装置的应用领域进行限定。
78.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置及方法实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及方法实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
79.以上所述，仅为本技术的一种具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。