一种多格式数据自适应分发方法及系统与流程

本发明涉及数据处理，特别涉及一种多格式数据自适应分发方法及系统。

背景技术：

1、在供货链中，数据可能来自不同的数据源，这些数据源的数据质量可能不同。由于供货链的数据量非常大，处理这些数据可能需要耗费大量的时间和资源。因此需要供货数据进行系统性分析。

2、由于供货数据来自不同的来源，涉及多个业务流程，因此需要解决数据集成的问题。如果数据集成不当，会导致数据不一致、重复或缺失等问题。而且，供货数据处理系统需要使用多种技术，包括数据库、编程语言、数据分析工具等。对于非专业的用户，这些技术可能过于复杂和难以掌握，影响系统的使用和维护。此外，供货数据通常包含敏感信息，如交易细节和财务信息，因此，需要确保系统的安全性，以保护这些敏感数据不被未经授权的访问和攻击泄露。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提供一种多格式数据自适应分发方法及系统，能够确保系统能够处理供货链中的大量数据，并提供准确、可靠、安全和高效的服务。

2、第一方面，本发明实施例提供了一种多格式数据自适应分发方法，其中，包括：

3、接收业务端输入的业务数据，通过ai模糊匹配对输入的所述业务数据进行数据分类。

4、对每条分类后的业务数据分别进行预处理，得到标准格式数据。

5、将得到的每条所述标准格式数据进行存储，接收客户端的读取特定数据的请求，读取对应所述标准格式数据的数据读取代码。

6、根据读取的所述数据读取代码，生成适应客户端格式的数据。

7、将处理后得到的适应客户端格式的数据进行输出。

8、结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述接收业务端输入的业务数据，通过ai模糊匹配对输入的所述业务数据进行数据分类包括：

9、从第三方平台采集业务数据的样本。

10、确定所述业务数据的分类类别，所述分类类别包括价格、库存、名称和品牌。

11、对采集到的所述业务数据的样本进行向量化预处理，转换为向量格式数据。

12、将预处理后的所述向量格式数据和对应类别的标签输入机器模型中训练ai模型，得到训练好的ai模型。

13、接收业务端输入的业务数据，将所述业务数据输入所述训练好的ai模型中，将所述业务数据与所述分类类别进行匹配。

14、结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对每条分类后的业务数据分别进行预处理，得到标准数据格式，包括：

15、根据所述业务数据的特点，将每条所述业务数据用avro提供的模式语言进行定义，avro格式的数据结构包括字段名、默认值、字段的文档描述、字段的顺序和字段的别名。

16、将每条所述业务数据的类别分别与所述avro格式数据中的数据类型结合。

17、得到每条分类后的业务数据对应的标准格式数据。

18、结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述将得到的每条所述标准格式数据进行存储，接收客户端的读取特定数据的请求，读取对应所述标准格式数据的数据读取代码包括：

19、对得到预处理后的每条所述标准格式数据编写数据读取代码。

20、将每条所述标准格式数据与其对应所述数据读取代码进行存储。

21、结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述接收客户端的读取特定数据的请求，读取对应所述标准格式数据的数据读取代码包括：

22、接收客户端的读取特定数据的请求，该请求中包含选定特征。

23、得到与所述选定特征对应的所述标准格式数据的数据读取代码。

24、结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述根据读取的所述数据读取代码，生成适应客户端格式的数据包括：

25、根据不同的客户端，选择对应的输出格式。

26、根据对应的输出格式，选择对应的库和方法读取所述数据读取代码。

27、使用对应的库和方法将读取的所述标准格式数据转换成对应的数据结构和格式。

28、对转换后的数据结构和格式进行加工处理，得到适应对应客户端格式的数据。

29、第二方面，本发明实施例还提供了一种多格式数据自适应分发方法，其中，包括：

30、分类模块，用于接收业务端输入的业务数据，通过ai模糊匹配对输入的所述业务数据进行数据分类。

31、预处理模块，用于对每条分类后的业务数据分别进行预处理，得到标准格式数据。

32、数据存储模块，用于将得到的每条所述标准格式数据进行存储，。

33、自适应处理模块，用于接收客户端的读取特定数据的请求，读取对应所述标准格式数据的数据读取代码，根据读取的所述数据读取代码，生成适应客户端格式的数据。

34、输出模块，用于将处理后得到的适应客户端格式的数据进行输出。

35、结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述分类模块包括：

36、样本采集单元，用于从第三方平台采集业务数据的样本。

37、类别确定单元，用于确定所述业务数据的分类类别，所述分类类别包括价格、库存、名称和品牌。

38、向量化单元，用于对采集到的所述业务数据的样本进行向量化预处理，转换为向量格式数据。

39、训练单元，用于将预处理后的所述向量格式数据和对应类别的标签输入机器模型中训练ai模型。

40、类别匹配单元，用于接收业务端输入的业务数据，将所述业务数据输入训练好的所述ai模型中，将所述业务数据与所述分类类别进行匹配。

41、结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述预处理模块包括：

42、模式定义单元，用于根据所述业务数据的特点，将每条所述业务数据用avro提供的模式语言进行定义，avro格式的数据结构包括字段名、默认值、字段的文档描述、字段的顺序和字段的别名。

43、类别定义单元，用于将每条所述业务数据的类别分别与所述avro格式数据中的数据类型结合。

44、标准格式数据输出单元，用于得到每条分类后的业务数据对应的标准格式数据。

45、结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述数据存储模块包括：

46、代码编写单元，用于对得到预处理后的每条所述标准格式数据编写数据读取代码。

47、代码匹配单元，用于将每条所述标准格式数据与其对应所述数据读取代码进行存储。

48、特征提取单元，用于接收客户端的读取特定数据的请求，该请求中包含选定特征。

49、代码读取单元，用于得到与所述选定特征对应的所述标准格式数据的数据读取代码。

50、结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述自适应处理模块包括：

51、输出格式选择单元，用于根据不同的客户端，选择对应的输出格式。

52、标准格式数据读取单元，用于根据对应的输出格式，选择对应的库和方法读取所述数据读取代码。

53、数据转换单元，用于使用对应的库和方法将读取的所述标准格式数据转换成对应的数据结构和格式。

54、数据处理单元，用于对转换后的数据结构和格式进行加工处理，得到适应对应客户端格式的数据。

55、本发明实施例的有益效果是：

56、本发明的多格式数据自适应分发方法及系统，主要用于处理供货数据、库存数据、销售数据等信息。将所需求的数据进行标准化处理后转化为标准格式数据，解决了数据形式上不统一、数据标准不同的问题，进一步将标准格式数据存储至预设的数据库中，便于对目标数据的提取以及推送，提升了数据采集的效率；

57、本发明通过avro格式进行数据的存储和读取，avro格式的数据可以被压缩成较小的文件，可以减少存储和传输成本，加速处理数据；avro格式的数据可以在不同的编程语言之间进行互操作，有助于在不同的平台之间进行数据传输。