数据处理转换方法及装置与流程

本申请涉及视频数据处理，尤其涉及数据处理转换方法及装置。

背景技术：

1、目前信息系统大部分报表都是直接采用数据仓库进行的数据查询，并没有对数据按照各业务线进行区分处理，各业务线烟筒式开发自己需要展示的报表信息导致基于doris的报表查询会因为各业务的演化越来越复杂，导致不方便维护，同时输出结果数据的效率越来越低，响应时长也越来越长，重复的数据查询占用的系统资源也会越来越多，各个业务线底层所依赖基础元数据大多数是相同的数据维度，但是由于并没有抽象出层次的概念，很多报表都存在重复使用相同的查询语句进行数据组装的情况，导致数据仓库在业务高峰期压力非常大，客户的用户体验感受也越来越不如意。

技术实现思路

1、鉴于此，本申请实施例提供了数据处理转换方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷。

2、本申请的一个方面提供了一种数据处理转换方法，包括：

3、根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据；其中，各类所述源数据库包括：ods层、dwd层和dws层各自对应的数据库，且所述数据库包括doris数据库和/或mysql数据库，各个所述数据层为用户预先基于所述目标业务线进行垂直切分分层处理后生成的，各个所述数据层中存储的数据类型为用户预先对所述目标业务线进行水平切分处理后确定的；

4、将所述抽取数据转化为所述目标任务的展示数据模型对应的分层展示数据。

5、在本申请的一些实施例中，在所述根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据之前，还包括：

6、接收针对目标任务的数据处理请求，其中，该数据处理请求为数据调度系统在收到以mq消息通信发出的当前数据调度任务链中的当前任务的处理完成状态时异步调起所述数据调度任务链中的目标任务时发出的，所述目标任务为所述当前任务的后一任务；

7、基于所述目标任务的数据处理请求获取该目标任务对应的数据源信息、数据抽取模型和展示数据模型。

8、在本申请的一些实施例中，在所述根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据之前，还包括：

9、对获取到的所述目标任务对应的数据源信息、数据抽取模型和展示数据模型进行完整性及合规性的预校验；

10、若所述目标任务对应的数据源信息、数据抽取模型和展示数据模型均通过预校验，则应用线程池的异步线程启动针对所述目标任务的处理数据转换。

11、在本申请的一些实施例中，在所述接收针对目标任务的数据处理请求之前，还包括：

12、接收用户针对目标任务对应的数据处理转换配置信息，并基于该数据处理转换配置信息配置所述目标任务的数据源信息、数据抽取模型和展示数据模型。

13、在本申请的一些实施例中，所述根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据，包括：

14、根据所述目标任务对应的数据源信息、数据抽取模型和预获取的数据映射关系，判断所述目标业务线对应的各类源数据库中是否包含有抽取数据，若有，则基于所述目标任务对应的数据源信息和所述数据抽取模型自各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据。

15、在本申请的一些实施例中，所述基于所述目标任务对应的数据源信息和所述数据抽取模型自各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据，包括：

16、判断所述目标任务对应的抽取数据的数据量是否大于预设阈值，若是，则基于用户自定义的数据抽取模型参数类型，采用预设的代理中间层对各类源数据库各自对应的多个数据层进行分页抽取，以得到对应的抽取数据。

17、在本申请的一些实施例中，所述数据源信息包括：访问源数据库的用户名、密码和连接方式。

18、本申请的另一个方面提供了一种数据处理转换装置，包括：

19、分层抽取模块，用于根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据；其中，各类所述源数据库包括：ods层、dwd层和dws层各自对应的数据库，且所述数据库包括doris数据库和/或mysql数据库，各个所述数据层为用户预先基于所述目标业务线进行垂直切分分层处理后生成的，各个所述数据层中存储的数据类型为用户预先对所述目标业务线进行水平切分处理后确定的；

20、转换展示模块，用于将所述抽取数据转化为所述目标任务的展示数据模型对应的分层展示数据。

21、本申请的第三个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的数据处理转换方法。

22、本申请的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据处理转换方法。

23、本申请提供的数据处理转换方法，通过根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据；其中，各类所述源数据库包括：ods层、dwd层和dws层各自对应的数据库，且所述数据库包括doris数据库和/或mysql数据库，各个所述数据层为用户预先基于所述目标业务线进行垂直切分分层处理后生成的，各个所述数据层中存储的数据类型为用户预先对所述目标业务线进行水平切分处理后确定的；将所述抽取数据转化为所述目标任务的展示数据模型对应的分层展示数据，本申请通过对数据按照各业务线进行垂直水平切分分层处理，抽象出层次的概念，能够有效提高用户查找自己需要展示的数据信息的便捷性及效率，能够有效降低各业务线开发自己需要展示的报表信息时的报表查询复杂度，并能够有效提高维护便捷性，同时能够提高输出展示结果数据的效率，有效缩短响应时长，还能够有效降低数据查找所需的系统资源占用率及数据仓库在业务高峰期的压力，能够降低重复的数据查询占用的系统资源，有效提高用户进行数据转换展示的用户体验。

24、本申请的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

25、本领域技术人员将会理解的是，能够用本申请实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。

技术特征：

1.一种数据处理转换方法，其特征在于，包括：

2.根据权利要求1所述的数据处理转换方法，其特征在于，在所述根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据之前，还包括：

3.根据权利要求2所述的数据处理转换方法，其特征在于，在所述根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据之前，还包括：

4.根据权利要求2所述的数据处理转换方法，其特征在于，在所述接收针对目标任务的数据处理请求之前，还包括：

5.根据权利要求1所述的数据处理转换方法，其特征在于，所述根据当前数据调度任务链中的目标任务对应的数据源信息和数据抽取模型，在目标业务线对应的各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据，包括：

6.根据权利要求5所述的数据处理转换方法，其特征在于，所述基于所述目标任务对应的数据源信息和所述数据抽取模型自各类源数据库各自对应的多个数据层中分别映射抽取对应的抽取数据，包括：

7.根据权利要求1至6任一项所述的数据处理转换方法，其特征在于，所述数据源信息包括：访问源数据库的用户名、密码和连接方式。

8.一种数据处理转换装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据处理转换方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据处理转换方法。

技术总结
本申请提供一种数据处理转换方法及装置，方法包括：根据数据调度任务链中的目标任务的数据源信息和数据抽取模型，在各类源数据库各自的多个数据层中分别映射抽取对应的抽取数据；各类源数据库包括：ODS层、DWD层和DWS层的数据库，数据库包括DORIS数据库和/或MYSQL数据库，各个数据层为预先基于目标业务线进行垂直切分分层处理后生成的，数据层中存储的数据类型为预先对目标业务线进行水平切分处理后确定的；将抽取数据转化为目标任务的展示数据模型的分层展示数据。本申请能够有效提高用户查找自己需要展示的数据信息的便捷性及效率，并能够有效降低数据查找所需的系统资源占用率及数据仓库在业务高峰期的压力。

技术研发人员：王明志
受保护的技术使用者：中企云链（北京）金融信息服务有限公司
技术研发日：
技术公布日：2024/1/14