一种数据集的生成方法、装置、设备和介质与流程

本申请涉及数据处理领域，具体而言，涉及一种数据集的生成方法、装置、设备和介质。

背景技术：

1、随着社会的进度，人们所使用的办公软件越来越智能化，其中自动生成报表也逐渐进入的人们的视野，在自动生成报表之前，用于填充报表的数据集是需要人工整理，并还需要人工将数据集中的数据导入到报表中，在导入数据的过程中需要人工对数据集中的每个数据进行审核，来保证数据填充的准确度，但数据集中的数据量太大，很容易出现漏检的情况，进而导致表中的数据填充准确率低。

技术实现思路

1、有鉴于此，本申请的目的在于提供一种数据集的生成方法、装置、设备和介质，用于解决现有技术中如何减少线下部署的复杂度的问题。

2、第一方面，本申请实施例提供了一种数据集的生成方法，包括：

3、在发送数据获取请求后，接收所述数据获取请求对应的api接口；所述api接口中携带有用于生成数据集的参数的参数属性和与数据获取请求所匹配的请求参数；

4、通过预检机制对api接口的参数属性进行合法性校验；

5、若api接口的参数属性合法，则通过api签名规则对所述请求参数进行验证，判断api接口的安全性；

6、若api接口安全，则获取api接口所输出的用于生成数据集的参数数据包；

7、根据预设限流规则，为接收到的符合预设线路规则的参数数据包设置通行令牌；

8、对设置有通行令牌的参数数据包进行字段解析，生成数据集。

9、可选的，对设置有通行令牌的参数数据包进行字段解析，生成数据集，包括：

10、对设置有通行令牌的参数数据包进行字段类型分析，确定每个字段的字段类型；所述字段类型包括以下类型中的任意一种或多种：字符串类型、数值类型、图片类型、布尔值类型；

11、基于设置有通行令牌的参数数据包中每个字段的字段类型，生成数据集。

12、可选的，所述方法还包括：

13、若设置有通行令牌的参数数据包中包含有字符串类型的字段，利用文字识别模型将设置有通行令牌的参数数据包中字符串类型的英文字段转换为中文字段。

14、可选的，所述方法还包括：

15、若设置有通行令牌的参数数据包中包含有图片类型的字段，则在设置有通行令牌的参数数据包中图片类型的字段处标记图标。

16、可选的，通过预检机制对api接口的参数属性进行合法性校验，包括：

17、判断所述api接口的参数属性中的参数类型是否与所述数据集的参数类型匹配，得到第一匹配结果；

18、判断所述api接口的参数属性中的各个参数值是否符合标准要求，得到第二匹配结果；

19、判断所述api接口的参数属性中的各个参数值是否符合所述数据集的业务规则，得到第三匹配结果；

20、若所述第一匹配结果、所述第二匹配结果和所述第三匹配结果均符合预设要求，则所述api接口的参数属性合法。

21、可选的，所述标准要求包括以下要求中的任意一种或两种：

22、参数值不能为空、参数值的字符串长度不能超过预设长度。

23、可选的，所述业务规则包括以下规则中的任意一种或两种：

24、参数开放权限符合当前业务规则的权限、参数加密方式符合当前业务规则的加密要求。

25、第二方面，本申请实施例提供了一种数据集的生成装置，包括：

26、接收模块，用于在发送数据获取请求后，接收所述数据获取请求对应的api接口；所述api接口中携带有用于生成数据集的参数的参数属性和与数据获取请求所匹配的请求参数；

27、第一校验模块，用于通过预检机制对api接口的参数属性进行合法性校验；

28、第二校验模块，用于若api接口的参数属性合法，则通过api签名规则对所述请求参数进行验证，判断api接口的安全性；

29、获取模块，用于若api接口安全，则获取api接口所输出的用于生成数据集的参数数据包；

30、设置模块，用于根据预设限流规则，为接收到的符合预设线路规则的参数数据包设置通行令牌；

31、生成模块，用于对设置有通行令牌的参数数据包进行字段解析，生成数据集。

32、第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。

33、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一项所述的方法的步骤。

34、本申请实施例提出的数据集的生成方法，首先，在发送数据获取请求后，接收所述数据获取请求对应的api接口；所述api接口中携带有用于生成数据集的参数的参数属性和与数据获取请求所匹配的请求参数；其次，通过预检机制对api接口的参数属性进行合法性校验；再次，若api接口的参数属性合法，则通过api签名规则对所述请求参数进行验证，判断api接口的安全性；若api接口安全，则获取api接口所输出的用于生成数据集的参数数据包；根据预设限流规则，为接收到的符合预设线路规则的参数数据包设置通行令牌；对设置有通行令牌的参数数据包进行字段解析，生成数据集。

35、在某些实施例中，在获取到数据获取api接口后，会先对api接口中的参数进行合法性验证，只有在参数验证成功的情况下，才会对api接口的安全性进行验证，通过上述两种验证方式保证了获取数据的安全性，在数据安全的情况下，还会对获取的参数数据包进行限流，进一步的保证了数据解析的准确度。

36、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种数据集的生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对设置有通行令牌的参数数据包进行字段解析，生成数据集，包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，通过预检机制对api接口的参数属性进行合法性校验，包括：

6.根据权利要求5所述的方法，其特征在于，所述标准要求包括以下要求中的任意一种或两种：

7.根据权利要求5所述的方法，其特征在于，所述业务规则包括以下规则中的任意一种或两种：

8.一种数据集的生成装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-7中任一项所述的方法的步骤。

技术总结
本申请提供了一种数据集的生成方法、装置、设备和介质，所述方法包括：在发送数据获取请求后，接收所述数据获取请求对应的API接口；所述API接口中携带有用于生成数据集的参数的参数属性和与数据获取请求所匹配的请求参数；通过预检机制对API接口的参数属性进行合法性校验；若API接口的参数属性合法，则通过API签名规则对所述请求参数进行验证，判断API接口的安全性；若API接口安全，则获取API接口所输出的用于生成数据集的参数数据包；根据预设限流规则，为接收到的符合预设线路规则的参数数据包设置通行令牌；对设置有通行令牌的参数数据包进行字段解析，生成数据集。

技术研发人员：廖政,贾新,胡道光,郝康
受保护的技术使用者：北京拓普丰联信息科技股份有限公司
技术研发日：
技术公布日：2024/1/13