一种基于定时任务的数据对接方法、设备、存储介质与流程

1.本申请涉及服务开发技术领域，尤其涉及一种基于定时任务的数据对接方法、设备、存储介质。


背景技术：

2.随着国内it产业的飞速发展，智慧城市已经成为了国内各个城市的发展目标之一，政务服务更是智慧城市建设的重要内容之一。
3.为了提升用户在政务服务的体验，政务服务推出平台化业务办理，近些年全国各地的政府机关都在加大移动端服务和政务服务的投入。
4.但政务服务因受困于早期互联网服务平台建设的技术限制，所提供的数据服务较现在流行的互联网移动端服务，响应速度和数据运载效率都低了不少，有些政务服务在对接移动端服务后无法承受高访问量而频繁宕机。


技术实现要素：

5.本申请提供了一种基于定时任务的数据对接方法、设备、存储介质，解决政务服务因访问量高访问量而频繁宕机，移动端服务与政务端在数据对接时效率低、响应时间长，从而影响政务服务平台移动端服务的建设速度和质量的问题。
6.一种基于定时任务的数据对接方法，包括：
7.确定移动端服务的定时任务对应的政务服务数据对接标准；
8.根据所述政务服务数据对接标准，确定所述定时任务的执行时间、执行周期和数据对接方式；
9.按照所述执行时间、执行周期、数据对接方式执行所述定时任务，获取相应的政务服务数据，实现移动端服务的政务服务数据对接。
10.在本申请的一种实施例中，确定移动端服务的定时任务对应的政务服务数据对接标准，具体包括：根据移动端服务的定时任务对应的数据量和数据更新情况，确定相应的政务服务数据对接标准中的实时性要求和稳定性要求。
11.在本申请的一种实施例中，根据所述政务服务数据对接标准，确定所述定时任务的执行时间、执行周期和数据对接方式，具体包括：根据所述实时性要求大于稳定性要求的政务服务数据对接标准，确定所述定时任务采用的第一执行时间、第一执行周期、数据库中间库对接方式；其中，所述第一执行时间为预设的日间时间，所述第一执行周期小于预设周期。
12.在本申请的一种实施例中，根据所述政务服务数据对接标准，确定数据对接采用的执行时间、执行周期和数据对接方式，具体包括：根据所述实时性要求小于稳定性要求的政务服务数据对接标准，确定所述定时任务采用的第二执行时间、第二执行周期、远程接口调用对接方式；其中，所述第二执行时间为预设的夜间时间，所述第二执行周期大于所述第一执行周期。
13.在本申请的一种实施例中，根据所述政务服务数据对接标准，确定数据对接采用的执行时间、执行周期和数据对接方式，具体包括：根据所述实时性要求小于稳定性要求的政务服务数据对接标准，确定所述定时任务采用的第二执行时间、第二执行周期、远程接口调用对接方式；其中，所述第二执行时间为预设的夜间时间，所述第二执行周期大于所述第一执行周期。
14.在本申请的一种实施例中，执行所述定时任务之后，所述方法还包括：根据所述定时任务的执行结果，确定是否存在执行错误；根据所述执行错误，采用执行策略中的异常处理策略，对所述执行错误进行处理；所述异常处理策略包括重试、忽略、回滚。
15.在本申请的一种实施例中，确定所述定时任务的执行时间之后，所述方法还包括：根据所述定时任务的内容，确定执行所述定时任务所需的执行时长；若所述执行时长超过所述执行时间的范围，对所述任务内容进行划分，得到对应的多个子任务；分别确定所述多个子任务对应的执行时间。
16.在本申请的一种实施例中，根据执行策略中的特殊时间策略，确定不在特殊时间内执行所述定时任务；若所述执行时间属于所述特殊时间，默认将所述执行时间延后至第二日的相同时间。
17.在本申请的一种实施例中，按照所述执行时间、执行周期、数据对接方式执行所述定时任务，具体包括：所述移动端服务根据数据库中间库对接方式，通过内网访问政务端的数据库中间库，获取政务服务数据；或者所述移动端服务根据远程接口调用对接方式，通过互联网或外网调用远程数据接口，获取政务服务数据。
18.一种基于定时任务的数据对接设备，包括：
19.至少一个处理器；以及，
20.与所述至少一个处理器通信连接的存储器；其中，
21.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
22.确定移动端服务的定时任务对应的政务服务数据对接标准；
23.根据所述政务服务数据对接标准，确定所述定时任务的执行时间、执行周期和数据对接方式；
24.按照所述执行时间、执行周期、数据对接方式执行所述定时任务，获取相应的政务服务数据，实现移动端服务的政务服务数据对接。
25.一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
26.确定移动端服务的定时任务对应的政务服务数据对接标准；
27.根据所述政务服务数据对接标准，确定所述定时任务的执行时间、执行周期和数据对接方式；
28.按照所述执行时间、执行周期、数据对接方式执行所述定时任务，获取相应的政务服务数据，实现移动端服务的政务服务数据对接。
29.本申请提供了一种基于定时任务的数据对接方法、设备、存储介质，至少包括以下有益效果：减轻了移动端服务流量因为访问量增多、直接访问数据服务器产生的压力，提高了政务服务整体的可靠性和可用性；降低了可能因选型问题导致的对接成本，丰富了对接
方案的选择，可以让技术开发人员面对不同的对接环境，准确的选择自己需要的对接方案，快速的完成对接过程；提高了政务服务的效率，提高了用户使用政务服务的体验。
附图说明
30.此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
31.图1为本申请实施例提供的一种基于定时任务的数据对接方法步骤流程图；
32.图2为本申请实施例提供的远程接口调用对接方式的总体架构图；
33.图3为本申请实施例提供的数据库中间库对接方式的总体架构图；
34.图4为本申请实施例提供的对应于图1的一种基于定时任务的数据对接方法的设备的一种结构示意图。
具体实施方式
35.为了使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例对本申请进行清楚、完整的描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
36.移动端服务与政务服务进行数据对接，是每个面向政务服务的移动端服务需要处理的必要课题之一，这个对接过程包括双方技术人员拟定对接方式和技术选型，程序开发、测试和上线，最后提供给移动端服务的用户使用。
37.政务服务因受困于早期互联网服务平台建设的技术限制，所提供的数据服务较现在流行的互联网移动端服务，响应速度和数据运载效率都低了不少，有些政务服务在对接移动端服务后无法承受高访问量而频繁宕机。在移动端服务建设过程中，如何快速高效的完成政务服务数据对接，将间接影响到了整个政务服务平台移动端服务的建设速度和质量。
38.本申请提出的方法是基于定时任务进行政务端与移动端服务数据对接，具体应用与实际对接环境和对接需求密切相关。对于要求数据实时性高且数据量大的对接需求，可以采用全天执行的短定时任务的数据库中间库对接方式；对于数据量小但业务复杂度高，且容易影响线上使用的对接需求，可以采用夜间执行的长定时任务远程接口调用对接方式。对于业务内容的重要性高低，可以对定时任务增加执行策略进行回滚和异常处理。开发人员可以根据对接环境自行选择合适的对接方案。
39.图1为本申请实施例提供的一种基于定时任务的数据对接方法步骤示意图，可以包括以下步骤：
40.s101：确定移动端服务的定时任务对应的政务服务数据对接标准。
41.政务端根据移动端服务用户的需求确定数据对接标准，根据数据对接标准选取定时任务，数据对接标准包括对数据的实时性要求的标准和对数据的稳定性要求的标准。如果对数据实时性的要求高那么采用数据对接实时性高的定时任务，如果对数据的实时性要求低，但是数据量大的对接需求，那么采用数据对接稳定的定时任务。
42.定时任务，是指在指定时间或指定周期执行的一种任务，使用在需要特定时间执
行或重复执行任务的场合，通过这种方式达到特定的执行效果。定时任务执行的任务具有延时性，通常具有任务内容的密集性和结果的可预判性和可控性。
43.使用定时任务进行数据对接，通过在一段时间内对一批数据进行获取和落地后，再对数据进行处理使用，比起直接调用对方的数据服务的方式，在一定程度上损失了移动端服务展示的数据的实效性，但是大幅度增加了数据服务的可靠性和可用性。
44.在本申请的一种实施例中，确定移动端服务的定时任务对应的政务服务数据对接标准，具体包括：根据移动端服务的定时任务对应的数据量和数据更新情况，确定相应的政务服务数据对接标准中的实时性要求和稳定性要求。比如对于数据量较大且对数据更新的实时性要求低的数据，说明该项定时任务对数据对接标准中的数据稳定性要求高，而数据实时性要求低，由此确定要求数据稳定性高实时性低的数据对接标准。
45.s102：根据政务服务数据对接标准，确定定时任务的执行时间、执行周期和数据对接方式。
46.对接方式选型包括远程接口调用对接方式和数据库中间库对接方式。
47.远程接口调用指政务服务的数据服务提供可远程调用的接口，移动端服务通过调用接口的方式获取数据；使用远程接口调用对接的优点：(1)可拓展性高，数据服务可以快速的定制移动端服务需要的数据内容，屏蔽敏感数据，或者对不同移动端服务提供不同的数据服务内容。(2)响应速度快，单次请求内容的时间可控制在200ms以下。(3)界面友好，数据服务出现错误时可以给出详细的问题描述，让移动端服务更方便的处理问题。(4)高安全性，数据服务可以设置网关、防火墙和白名单等防护措施，保证数据安全不泄露。(5)搭建成本低，数据接口服务往往只需要搭建一个简单的远程服务调用后台即可实现对接任务。
48.如图2所示为远程接口调用对接方式的总体架构图，用户通过移动端服务请求获取数据，进行数据对接，政务服务端通过在互联网或外网访问其他数据库，并直接从该数据库中获取数据，将数据发送给服务端。
49.数据库中间库对接指政务服务的数据服务提供可连接的数据库服务作为中间库，数据服务提供方将移动端服务所需要的数据更新到中间库中，移动端服务则需要从中间库中抽取需要的数据，完成对接过程。使用数据库中间库对接的优点：(1)数据吞吐量大，每秒可以达到百兆级别数据量的同步。(2)服务可靠性高，数据库在保证数据量的前提下，提供更加可靠的连接池供移动端服务进行使用，降低故障率。(3)兼容性高，移动端服务可以在给定的数据内容中任意获取需要的数据格式。
50.如图3所示为数据库中间库对接方式的总体架构图，用户通过移动端服务请求获取数据，进行数据对接，政务服务端通过在内网下从其他数据库获取数据到数据库中间库，然后响应服务端的指令将数据发送给服务端。
51.定时任务选型包括执行时间和执行周期两部分。定时任务执行时间是指执行指定任务的时间的选择，需要考虑包括执行策略、任务内容等因素，执行时间包括执行开始时间、执行结束时间、执行时长；定时任务执行周期是指任务在开始执行后多久再次重复执行，需要考虑包括周期长度，执行频次等因素。为了保证本方法的通用性和可移植性，这里不再区分定时任务执行的操作系统和运行环境等因素。
52.在本申请的一种实施例中，根据政务服务数据对接标准，确定定时任务的执行时间、执行周期和数据对接方式，具体包括：根据实时性要求大于稳定性要求的政务服务数据
对接标准，确定定时任务采用的第一执行时间、第一执行周期、数据库中间库对接方式；其中，第一执行时间为预设的日间时间，第一执行周期小于预设周期。
53.移动端服务用户在咨询政务服务app的咨询界面咨询问题时，常常需要对用户提问的问题及时反馈，同时需要将用户提问的问题及回复结果在公告栏内滚动公示，用户一般在日间办理业务咨询问题，设置定时任务的第一执行时间是在日间，且对问题的实时性要求较高，一个月甚至一星期之前的问题也许对当前情况并没有帮助，所以需要问题实时更新，采用较短的第一执行周期进行更新，比如设置更新周期为5分钟，1分钟。由于该定时任务要求实时性，所以采用数据库中间库对接方式，数据库中间库对接方式数据吞吐量大，速度快、效率高，更容易满足定时任务实时性的要求。
54.用户登录移动端服务访问咨询专区时，可以在咨询界面进行问题的提交，用户咨询的问题会在该界面进行滚动展示，这就对咨询界面数据的实时性要求较高，通过设置定时任务，可以设置执行时间设置在工作时间内，比如早9：00
‑
晚5：00的日间，设置预设周期为一天或几个小时，执行周期设置为一分钟一更新或五分钟一更新的执行周期，当超过预设周期是自动停止执行。由于对数据的实时性要求较高，采取数据库中间库对接方式，通过数据库直连的方式获取数据。
55.根据所述政务服务数据对接标准，确定数据对接采用的执行时间、执行周期和数据对接方式，具体包括：根据所述实时性要求小于稳定性要求的政务服务数据对接标准，确定所述定时任务采用的第二执行时间、第二执行周期、远程接口调用对接方式；其中，所述第二执行时间为预设的夜间时间，所述第二执行周期大于所述第一执行周期。
56.当政府下发文件时，政务端往往需要接收政府文件然后在移动端服务显示，由于接收文件并不需要用户参与，所以设置定时任务的第二执行时间是在夜间，且对文件的实时性要求较低，为了降低成本，采用较长的第二执行周期进行更新，比如设置更新周期为每一晚一更新或每两晚一更新。由于该定时任务对实时性的要求低，所以采用远程接口调用对接方式，远程接口调用对接方式搭建成本低，可拓展性强，可调用不同类型的文件，更容易满足定时任务接收到内容不一致的要求。
57.任务执行期间，移动端服务和政务服务的数据服务的资源使用量往往会急剧增加，这将会影响到其他服务的正常使用。因此，定时任务的执行开始时间往往选择其他服务使用较少的夜间时段；执行结束时间一般是预估的，为了不影响服务的正常使用，需要在将执行结束时间规定在其他服务使用较多的时间之前。
58.例如大量的政府文件在下载时，政务端的资源有限无法支持骤增的用户访问，这就会影响其他服务的使用。为了不影响其他服务使用，所以将下载任务选择在夜间执行，执行开始时间与执行结束时间根据数据量进行设置，比如早晨6：00时用户访问量开始上升，那么设置执行结束时间在早晨6：00前。
59.若确定的数据对接标准为对数据的实时性要求较低，但是需要获取的数据量较大，那么定时任务的执行时间设置较长，比如政务端的网站上的政府文件，对数据实时性的要求较低，那么该项定时任务即为长定时任务，执行时间的时长较长，比如一月更新一次或一周更新一次，当用户在移动端服务查询时，展示更新后的文件，由于对数据的实时性要求较低，数据量较大，数据对接方式采用远程接口调用的对接方式。
60.执行策略主要包括以下几点：异常处理策略、节假日禁止执行等，执行策略聚焦的
是任务内容能否在指定时间段完成和对不同结果的处理，
61.在本申请的一种实施例中，执行定时任务之后，方法还包括：根据定时任务的执行结果，确定是否存在执行错误；根据执行错误，采用执行策略中的异常处理策略，对执行错误进行处理；异常处理策略包括重试、忽略、回滚。
62.异常处理策略指执行过程中遇到错误时的处理方法，如重试、忽略或回滚等；重试任务可能会延迟任务结束时间，忽略和回滚任务可能会导致任务未执行或执行不完整引发的一系列问题，这些需要在对接实施时仔细斟酌。
63.在本申请的一种实施例中，根据执行策略中的特殊时间策略，确定不在特殊时间内执行定时任务；若执行时间属于特殊时间，默认将执行时间延后至第二日的相同时间。
64.当遇到节假日时，设置节假日禁止执行任务，在运维资源较少的日期里不再执行任务，防止在出现问题时不能及时处理问题，同样可以在指定的特殊日期执行该策略，例如第一天系统维护，那么第一天的定时任务自动顺延至第二天的相同时间执行定时任务。
65.任务内容也是影响执行时间选择的一大重要因素，有些情况下任务执行前后会导致数据更新，为了防止用户在使用服务时出现不同时间段的数据不一致的情况，这样的任务内容不会安排在白天服务使用量大的时间段进行。
66.在本申请的一种实施例中，确定定时任务的执行时间之后，方法还包括：根据定时任务的内容，确定执行定时任务所需的执行时长；若执行时长超过执行时间的范围，对任务内容进行划分，得到对应的多个子任务；分别确定多个子任务对应的执行时间。通过设置多个子任务，既定时完成了任务的更新，又不影响其他服务的执行。
67.当定时任务过多时，比如要获取中央下发的文件，设置执行时长为4个小时，但是4个小时无法完全将文件下载完毕，执行时间超出执行结束时间的限制，这时就要对任务内容进行划分，缩短单次任务执行的时长，通过多次执行定时任务将文件下载完毕发送到移动端服务中显示。
68.s103：按照执行时间、执行周期、数据对接方式执行定时任务，获取相应的政务服务数据，实现移动端服务的政务服务数据对接。
69.政务端在执行定时任务的过程中从数据库或远程数据库获取政务服务数据，将获取的数据发送到移动端服务，实现政务端与移动端服务的数据对接。通过采取不同的数据对接方式，能够以最低成本、最高效的方式完成数据对接服务，降低成本的同时不影响效率。在本申请的一种实施例中，按照执行时间、执行周期、数据对接方式执行定时任务，具体包括：移动端服务根据数据库中间库对接方式，通过内网访问政务端的数据库中间库，获取政务服务数据；或者移动端服务根据远程接口调用对接方式，通过互联网或外网调用远程数据接口，获取政务服务数据。
70.以上为本申请实施例提供的一种基于定时任务的数据对接方法，基于同样的发明思路，本申请实施例还提供了相应的一种基于定时任务的数据对接设备，如图4所示。
71.本申请的一些实施例提供的一种基于定时任务的数据对接设备，包括：
72.至少一个处理器；以及，
73.与至少一个处理器通信连接的存储器；其中，
74.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
75.确定移动端服务的定时任务对应的政务服务数据对接标准；
76.根据政务服务数据对接标准，确定定时任务的执行时间、执行周期和数据对接方式；
77.按照执行时间、执行周期、数据对接方式执行定时任务，获取相应的政务服务数据，实现移动端服务的政务服务数据对接。
78.基于同样的思路，本申请的一些实施例还提供了上述方法、设备对应的介质。
79.本申请的一些实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：
80.确定移动端服务的定时任务对应的政务服务数据对接标准；
81.根据政务服务数据对接标准，确定定时任务的执行时间、执行周期和数据对接方式；
82.按照执行时间、执行周期、数据对接方式执行定时任务，获取相应的政务服务数据，实现移动端服务的政务服务数据对接。
83.本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
84.本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。
85.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
86.以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。