多源异构数据的自动化转换方法和装置与流程

本申请的实施例一般涉及数据管理，并且更具体地，涉及多源异构数据的自动化转换方法和装置。

背景技术：

1、在大数据管理系统中，需要对各类原始输入数据进行读取和转换。由于这些数据往往都是多源异构的数据，即不仅来源不同且结构也不一样，所以往往需要大量的人工进行预先分析处理。人工处理方式不仅效率低下，而且经常会进行重复性的工作，造成人力成本的浪费，同时也不利于对数据的管理。

技术实现思路

1、有鉴于此，本申请的实施例，提供了一种多源异构数据的自动化转换方法和装置，用于对输入的数据进行自动识别和转换。

2、在本申请的第一方面，提供一种多源异构数据的自动化转换方法，包括：

3、接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；

4、对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；

5、根据所述编码，确定对应的转换规则；

6、根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。

7、在一些实施例中，所述对所述当前数据的格式类型进行识别，确定对应的编码，包括：

8、使用统一接口定义识别方式，对数据的格式类型进行识别，确定对应的编码。

9、在一些实施例中，所述根据所述编码，确定对应的转换规则，包括：

10、将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则。

11、在一些实施例中，所述转换规则库中存储有不同的编码标识以及与编码标识对应的转换规则；

12、所述将所述编码与转换规则库中的转换规则进行匹配，将匹配成功的转换规则确定为所述编码的转换规则，包括：

13、将所述编码与转换规则库中的编码标识进行匹配，若匹配成功，则将匹配成功的转换规则确定为所述编码的转换规则。

14、在一些实施例中，还包括：

15、若匹配不成功，则由人工确定所述编码的转换规则，并将所述编码的编码标识和转换规则存储在所述转换规则库中。

16、在一些实施例中，所述数据的数据结构包括json格式、txt格式、xls格式和csv格式。

17、在一些实施例中，在所述对所述当前数据的格式类型进行识别，确定对应的编码之后，所述方法还包括：

18、将识别后的数据按照编码划分为多个类别，然后按照类别对数据的格式进行转换。

19、在本申请的第二方面，提供一种多源异构数据的自动化转换装置，包括：

20、数据接收模块，用于接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；

21、格式类型识别模块，用于对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；

22、转换规则确定模块，用于根据所述编码，确定对应的转换规则；

23、格式转换模块，用于根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。

24、在本申请的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

25、在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

26、通过本申请的多源异构数据的自动化转换方法，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率，降低数据转换的成本。

27、
技术实现要素：
部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。

技术特征：

1.多源异构数据的自动化转换方法，其特征在于，包括：

2.根据权利要求1所述的自动化转换方法，其特征在于，所述对所述当前数据的格式类型进行识别，确定对应的编码，包括：

3.根据权利要求2所述的自动化转换方法，其特征在于，所述根据所述编码，确定对应的转换规则，包括：

4.根据权利要求3所述的自动化转换方法，其特征在于，所述转换规则库中存储有不同的编码标识以及与编码标识对应的转换规则；

5.根据权利要求4所述的自动化转换方法，其特征在于，还包括：

6.根据权利要求5所述的自动化转换方法，其特征在于，所述数据的数据结构包括json格式、txt格式、xls格式和csv格式。

7.根据权利要求6所述的自动化转换方法，其特征在于，在所述对所述当前数据的格式类型进行识别，确定对应的编码之后，所述方法还包括：

8.多源异构数据的自动化转换装置，其特征在于，包括：

9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1~7中任一项所述的方法。

技术总结
本申请提供了一种多源异构数据的自动化转换方法和装置，涉及数据管理技术领域，其中，所述方法包括：接收多个数据源发送的数据，其中，所述数据的数据结构包括多种格式；对于其中的一种格式的当前数据，对所述当前数据的格式类型进行识别，确定对应的编码；根据所述编码，确定对应的转换规则；根据所述转换规则对所述当前数据的格式进行转换，输出标准化数据。以此方式，能够对输入的数据进行自动识别和转换，从而能够提高数据转换的效率，降低数据转换的成本。

技术研发人员：郝伟,沈传宝,李宏发,纪文,刘文亮,沈立翔
受保护的技术使用者：安徽华云安科技有限公司
技术研发日：
技术公布日：2024/1/14