基于浏览器数据获取技术的跨平台数据同步方法、系统以及设备与流程

本发明涉及计算机领域，尤其涉及一种基于浏览器数据获取技术的跨平台数据同步方法、系统以及设备。

背景技术：

1、在软件应用过程中大多数时候需要两个系统之间进行数据同步，以达到数据在两个或多个系统间的数据一致性。有时需要a系统在录入数据的同时，需要在b系统中录入相同的数据。遇到这种情况，如果在技术允许的情况下，则可以通过接口进行a系统与b系统间的数据同步，如果技术不允许建立接口情况下，就需要手动在a系统与b系统进行多次重复录入的过程，如果数据量过大，则无法在短时间内完成。

2、现有技术中有以下缺点：

3、(一)手动操作工作量大

4、在系统间无法进行接口调用的情况下(系统闭源无法进行改造，或者改造成本高)，则需要人工手动在多个系统上多次录入重复的数据，耗费重复性工作量。在数据量比较大的情况，单纯利用人工基本无法完成相关工作。

5、(二)需要双方系统进行接口化改造

6、需要多个系统间进行接口化处理，分别根据数据场景进行相关接口的设计与改造工作。往往因为技术与其他因素的限制，无法对系统进行改造，这样就很难进行自动化接口数据同步。

7、(三)数据一致性确认过程复杂

8、无论是通过接口还是手动重复录入，都无法通过自动化方式进行数据一致性确认，需要在多个系统中进行单独确认，同样增加重复性工作量。

技术实现思路

1、本发明的目的之一在于提供一种基于浏览器数据获取技术的跨平台数据同步方法、系统以及设备，通过对配置文件进行配置，明确源系统与目标系统的同步信息，软件自动对源系统进行数据抓取并将数据自动录入进目标系统，能够摆脱接口对接的限制，实现跨平台系统间的数据同步功能。

2、本发明的目的之一在于提供一种基于浏览器数据获取技术的跨平台数据同步方法、系统以及设备，能够有效解决b/s架构跨平台数据同步需要进行二次开发的问题，平台可以实现在不进行系统改造的前提下，通过可视化配置，完成多个系统间的自动化数据同步，并可以简单有效的进行数据同步验证工作。

3、为了实现本发明的至少一个发明目的，本发明提供了一种基于浏览器数据获取技术的跨平台数据同步方法，包括以下步骤：

4、通过配置器进行源系统与目标系统的配置；

5、读取配置信息；

6、创建任务；

7、创建执行器，调用执行器对源系统进行页面解析获取源系统数据；

8、调用自动化控制器进行目标系统自动化录入；以及

9、执行自动化数据校验；

10、其中，所述创建执行器步骤还包括以下步骤：

11、执行器构建的执行单元调用页面解析器对源系统页面进行页面解析，解析后生成结构化代码；

12、调用数据抓取器对结构代码进行数据提取，同时生成结构化数据；以及

13、将结构化数据在数据存储层的缓存数据库进行存储。

14、在一些实施例中，其中通过配置器进行源系统与目标系统的配置时，针对于需要同步的系统进行配置，包括源系统页面地址，字段，账号信息，目标系统页面地址，字段匹配关系，账号信息，其中配置信息存储在业务数据库中进行永久保存。

15、在一些实施例中，其中所述读取配置信息步骤还包括步骤：任务管理器读取配置器中的配置信息，进行任务单元编排，同时根据配置信息进行源系统与目标系统的验证工作；如果验证不通过则提示给操作用户错误信息，如果通过则进行所述创建任务步骤。

16、在一些实施例中，其中所述创建任务步骤还包括步骤：根据提取的配置信息进行任务整体编排。

17、在一些实施例中，其中所述基于浏览器数据获取技术的跨平台数据同步方法还包括步骤：自动化录入完毕后，将整个过程的记录数据与结果数据保存在数据持久层的业务数据库中。

18、在一些实施例中，其中所述基于浏览器数据获取技术的跨平台数据同步方法还包括步骤：通过自动化数据校验单元对同步数据执行自动化验证与比对。

19、根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时执行所述的基于浏览器数据获取技术的跨平台数据同步方法的步骤。

20、根据本发明的另一方面，还提供了一种基于浏览器数据获取技术的跨平台数据同步设备，包括：存储器，用于存储软件应用程序，处理器，用于执行所述软件应用程序，所述软件应用程序的各程序相对应地所述的基于浏览器数据获取技术的跨平台数据同步方法中的步骤。

21、根据本发明的另一方面，还提供了一种基于浏览器数据获取技术的跨平台数据同步系统，包括页面解析器、自动化控制器、数据抓取器、数据校验器、执行器、任务管理器、配置器以及数据持久层，其中所述配置器用于源系统与目标系统信息的配置，所述任务管理器用于数据同步任务的管理，所述执行器用于运行时读取配置器中的配置信息，根据配置信息调用其他单元进行数据同步工作，所述数据抓取器通过解析后的页面结构通过结构提取语法与算法进行数据提取并结构化，所述数据校验器通过对目标系统录入后的结果页面进行自动化数据抓取与所述数据持久层进行自动化比对，所述页面解析器用于对系统页面进行代码化解析，并进行代码结构化，所述自动化控制器用进行浏览器模拟化自动操作。

22、在一些实施例中，所述数据持久层包括业务数据库与缓存数据库，所述业务数据库用于保存平台业务数据与操作数据，所述缓存数据库用于保存中间结果数据。

技术特征：

1.一种基于浏览器数据获取技术的跨平台数据同步方法，其特征在于，所述基于浏览器数据获取技术的跨平台数据同步方法包括以下步骤：

2.如权利要求1所述的基于浏览器数据获取技术的跨平台数据同步方法，其中通过配置器进行源系统与目标系统的配置时，针对于需要同步的系统进行配置，包括源系统页面地址，字段，账号信息，目标系统页面地址，字段匹配关系，账号信息，其中配置信息存储在业务数据库中进行永久保存。

3.如权利要求1所述的基于浏览器数据获取技术的跨平台数据同步方法，其中所述读取配置信息步骤还包括步骤：任务管理器读取配置器中的配置信息，进行任务单元编排，同时根据配置信息进行源系统与目标系统的验证工作；如果验证不通过则提示给操作用户错误信息，如果通过则进行所述创建任务步骤。

4.如权利要求1所述的基于浏览器数据获取技术的跨平台数据同步方法，其中所述创建任务步骤还包括步骤：根据提取的配置信息进行任务整体编排。

5.如权利要求1所述的基于浏览器数据获取技术的跨平台数据同步方法，其中所述基于浏览器数据获取技术的跨平台数据同步方法还包括步骤：自动化录入完毕后，将整个过程的记录数据与结果数据保存在数据持久层的业务数据库中。

6.如权利要求1至5中任一所述的基于浏览器数据获取技术的跨平台数据同步方法，其中所述基于浏览器数据获取技术的跨平台数据同步方法还包括步骤：通过自动化数据校验单元对同步数据执行自动化验证与比对。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时执行权利要求1至6中任一所述的基于浏览器数据获取技术的跨平台数据同步方法的步骤。

8.一种基于浏览器数据获取技术的跨平台数据同步设备，其特征在于，包括：

9.一种基于浏览器数据获取技术的跨平台数据同步系统，其特征在于，所述基于浏览器数据获取技术的跨平台数据同步系统包括页面解析器、自动化控制器、数据抓取器、数据校验器、执行器、任务管理器、配置器以及数据持久层，其中所述配置器用于源系统与目标系统信息的配置，所述任务管理器用于数据同步任务的管理，所述执行器用于运行时读取配置器中的配置信息，根据配置信息调用其他单元进行数据同步工作，所述数据抓取器通过解析后的页面结构通过结构提取语法与算法进行数据提取并结构化，所述数据校验器通过对目标系统录入后的结果页面进行自动化数据抓取与所述数据持久层进行自动化比对，所述页面解析器用于对系统页面进行代码化解析，并进行代码结构化，所述自动化控制器用进行浏览器模拟化自动操作。

10.如权利要求9所述的基于浏览器数据获取技术的跨平台数据同步系统，其中所述数据持久层包括业务数据库与缓存数据库，所述业务数据库用于保存平台业务数据与操作数据，所述缓存数据库用于保存中间结果数据。

技术总结
一种基于浏览器数据获取技术的跨平台数据同步方法，包括以下步骤：通过配置器进行源系统与目标系统的配置；读取配置信息；创建任务；创建执行器，调用执行器对源系统进行页面解析获取源系统数据；调用自动化控制器进行目标系统自动化录入；以及执行自动化数据校验；其中，所述创建执行器步骤还包括以下步骤：执行器构建的执行单元调用页面解析器对源系统页面进行页面解析，解析后生成结构化代码；调用数据抓取器对结构代码进行数据提取，同时生成结构化数据；以及将结构化数据在数据存储层的缓存数据库进行存储。

技术研发人员：付鹏鹭,赵刚,李瀚
受保护的技术使用者：北京润霖汽车科技有限公司
技术研发日：
技术公布日：2024/1/14