技术特征：
1.一种数据同步方法，其特征在于，应用于数据同步系统，所述方法包括：基于预先配置的数据源，获取用于获取待同步数据所需的参数；利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，所述数据获取器基于所述数据同步系统的获取器接口定义的；利用所述数据同步系统中的数据处理器，对所述待同步数据包括的每条数据进行同步处理，得到所述每条数据的同步处理结果，所述数据处理器基于所述数据同步系统的处理器接口定义的。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：初始化所述数据同步系统，并获取所述数据同步系统中的数据获取器和数据处理器；对所述数据获取器进行初始化，使所述数据获取器与对应的数据源进行关联；对所述数据处理器进行初始化，使所述数据处理器与对应的数据源进行关联。3.根据权利要求1所述的方法，其特征在于，所述基于预先配置的数据源，获取用于获取待同步数据所需的参数，包括：基于预先配置的数据源，确定所述数据源的类型，所述数据源的类型包括数据库，redis缓存和es；当所述数据源的类型为数据库或es时，获取用于获取待同步数据所需的搜索字段和搜索空间；所述利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，包括：基于所述搜索字段，利用所述数据获取器在所述搜索空间中进行es搜索，得到符合所述搜索字段条件的搜索数据；将所述搜索数据确定为待同步数据。4.根据权利要求3所述的方法，其特征在于，所述基于预先配置的数据源，获取用于获取待同步数据所需的参数，还包括：当所述数据源的类型为redis缓存时，获取用于获取待同步数据所需的搜索字段、匹配规则和搜索空间；所述利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，包括：基于所述搜索字段，利用所述数据获取器在所述搜索空间中进行es搜索，得到符合所述搜索字段条件的搜索数据；将所述匹配规则与所述搜索数据进行融合，得到缓存关键字；基于所述缓存关键字，利用所述数据获取器在所述搜索空间中进行es搜索，得到待同步数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述每条数据的同步处理结果生成所述每条数据的日志数据；将所述每条数据的日志数据记录至es日志文件中。6.根据权利要求5所述的方法，其特征在于，所述基于所述每条数据的同步处理结果生成所述每条数据的日志数据，包括：基于预设规则生成所述每条数据的同步标识；
基于所述每条数据的同步处理结果，获取所述每条数据的状态信息；将所述每条数据在数据源中的数据标识、所述同步标识、所述同步处理结果和所述状态信息确定为所述每条数据的日志数据。7.根据权利要求6所述的方法，其特征在于，所述同步处理结果包括用于表征数据同步处理成功的第一标识和用于表征数据同步处理失败的第二标识；所述方法还包括：基于所述同步标识和所述第二标识，在所述es日志文件中进行es搜索，得到目标数据标识，所述目标数据标识对应的数据同步处理失败；利用所述数据处理器，对所述目标数据标识对应的数据进行二次同步处理，得到同步处理失败的各条数据的二次同步处理结果；基于所述同步处理失败的每条数据的二次同步处理结果，生成所述同步处理失败的每条数据的日志数据；将所述同步处理失败的每条数据的日志数据记录至es日志文件中。8.根据权利要求1所述的方法，其特征在于，所述利用所述数据同步系统中的数据处理器，对所述待同步数据包括的每条数据进行同步处理，得到所述每条数据的同步处理结果之前，所述方法还包括：判断是否接收到用于开始进行同步处理的操作指令；当接收到所述操作指令时，从所述数据同步系统中的多个数据处理器中确定与所述参数对应的数据处理器。9.一种数据同步装置，其特征在于，应用于数据同步系统，所述装置包括：第一获取模块，用于基于预先配置的数据源，获取用于获取待同步数据所需的参数；第二获取模块，用于利用所述参数和所述数据同步系统中的数据获取器，从数据源中获取所述待同步数据，所述数据获取器基于所述数据同步系统的获取器接口定义的；同步处理模块，用于利用所述数据同步系统中的数据处理器，对所述待同步数据包括的每条数据进行同步处理，得到所述每条数据的同步处理结果，所述数据处理器基于所述数据同步系统的处理器接口定义的。10.一种数据同步设备，其特征在于，包括：处理器；以及存储器，用于存储可在所述处理器上运行的计算机程序；其中，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。11.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令配置为执行权利要求1至8任一项所述方法的步骤。
技术总结
本申请提供一种数据同步方法、装置、设备及计算机可读存储介质，应用于数据同步系统，包括：基于预先配置的数据源获取用于获取待同步数据所需的参数；利用参数和数据同步系统中的数据获取器，从数据源中获取待同步数据，数据获取器基于数据同步系统的获取器接口定义的；利用数据同步系统中的数据处理器，对待同步数据包括的每条数据进行同步处理，得到每条数据的同步处理结果，数据处理器基于数据同步系统的处理器接口定义的。当增加新的数据源、或者需要新的数据获取逻辑、处理逻辑时，仅需增加对应的获取器类和处理器类，如此根据定义的数据获取器和数据处理器进行数据同步，实现数据同步系统的高度复用性，能够减少代码开发量、降低开发成本。降低开发成本。降低开发成本。
技术研发人员：张力也 王芳
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2021.06.07
技术公布日：2021/9/17