算法模型转换的文件抓取和配置方法和系统与流程

本发明涉及人工智能的领域，尤其涉及算法模型转换的文件抓取和配置方法和系统。

背景技术：

1、为了适应不同场合的运算需求，算法模型进行实际运算任务处理之前需要对算法模型进行转换，而算法模型的转换涉及到算法模型内部代码的编辑，为此需要用户具有相应的代码编写经验才能实现，这样增加了算法模型的转换难度和成本。此外，不同编程人员在算法模型转换过程中具体编写的代码存在差异，无法对算法模型的转换进行统一规范的代码配置，降低算法模型的转换成功率和可靠性，不能保证算法模型转换的效率和准确性。

技术实现思路

1、本发明的目的在于提供算法模型转换的文件抓取和配置方法和系统，其基于算法模型在平台端的转换进度信息，预测算法模型在转换过程中所需的文件属性信息，以此向所有服务端发送文件抓取广播消息，确定合适的服务端；从合适的服务端抓取文件数据并形成相应的文件数据包，筛选与算法模型的转换匹配的文件数据包并添加至待配置文件队列，为算法模型转换提供可靠的文件配置支持；基于算法模型的转换日志，从待配置文件队列提取相应的文件，生成与算法模型的转换匹配的代码数据，以此对算法模型进行代码层面的转换配置，还基于转换配置结果，调整平台端对算法模型的处理状态，对算法模型的转换进行统一规范的代码配置，提高算法模型的转换成功率和可靠性，保证算法模型转换的效率和准确性。

2、本发明是通过以下技术方案实现：

3、算法模型转换的文件抓取和配置方法，包括：

4、获取算法模型在平台端的转换进度信息，基于所述转换进度信息，预测所述算法模型在转换过程中所需的文件属性信息；基于所述文件属性信息，向所述平台端连接的所有服务端发送文件抓取广播消息，以此确定能够提供相应文件的所有服务端；

5、基于能够提供相应文件的所有服务端各自的文件状态信息，从每个服务端抓取相应的文件数据，并向所述平台端返回相应的文件数据包；对所述平台端接收的文件数据包进行识别处理，筛选与所述算法模型的转换操作匹配的文件数据包，并将筛选的文件数据包添加到待配置文件队列；

6、基于所述算法模型的转换日志，从所述待配置文件队列提取相应的文件，并对提取的文件进行解析处理，生成与所述算法模型的转换匹配的代码数据，以此对所述算法模型进行转换配置；基于所述算法模型的转换配置结果，调整所述平台端对所述算法模型的处理状态。

7、可选地，获取算法模型在平台端的转换进度信息，基于所述转换进度信息，预测所述算法模型在转换过程中所需的文件属性信息；基于所述文件属性信息，向所述平台端连接的所有服务端发送文件抓取广播消息，以此确定能够提供相应文件的所有服务端，包括：

8、对平台端的算法模型转换程序进行监测，得到所述算法模型转换程序执行算法模型转换任务的转换进度信息；将所述转换进度信息与预设算法模型转换日历进行对比，预测相应算法模型在当前转换过程中所需的文件类型属性信息；

9、基于所述文件类型属性信息，向所述平台端连接的处于活跃状态的所有服务端发送文件抓取广播消息；对所有服务端各自关于所述文件抓取广播消息返回的文件目录进行识别，判断所述服务端是否包含所述算法模型转换所需的文件；若包含，则将相应服务端确定为能够提供相应文件的服务端；若不包含，则将相应服务端确定为不能提供相应文件的服务端。

10、可选地，基于能够提供相应文件的所有服务端各自的文件状态信息，从每个服务端抓取相应的文件数据，并向所述平台端返回相应的文件数据包；对所述平台端接收的文件数据包进行识别处理，筛选与所述算法模型的转换操作匹配的文件数据包，并将筛选的文件数据包添加到待配置文件队列，包括：

11、基于能够提供相应文件的所有服务端各自的文件存储位置信息，从每个服务端抓取相应的文件数据，并将抓取的文件数据压缩形成文件数据包后返回至所述平台端；

12、对所述平台端接收的文件数据包进行文件数据完整性识别处理，判断所述文件数据包是否存在数据缺失情况，并将不存在数据缺失情况的文件数据包作为与所述算法模型的转换操作匹配的文件数据包；再基于与所述算法模型的转换操作匹配的文件数据包在所述转换操作对应的配置时间顺序信息，将与所述算法模型的转换操作匹配的文件数据包添加到待配置文件队列的相应位置。

13、可选地，将抓取的文件数据压缩形成文件数据包后返回至所述平台端，包括：

14、步骤s1，利用下面公式(1)，对所述抓取的文件数据进行第一压缩，

15、g116＝[y16<<len(g16)]-(1<<y16)   (1)

16、在上述公式(1)中，g116表示对所述抓取的文件数据以第一压缩后的16进制数据；g16表示所述平台端的固定信息数据的16进制形式；len()表示求取括号内16进制数据的数据总位数；g16表示所述抓取的文件数据的16进制形式；<<表示左移；

17、步骤s2，利用下面公式(2)，对所述抓取的文件数据进行第二压缩，

18、g216＝[g16<<len(y16)]-(y16<<1)   (2)

19、在上述公式(2)中，g216表示对所述抓取的文件数据以第二压缩后的16进制数据；

20、先将第一压缩后的16进制数据发送，再第二压缩后的16进制数据发送；

21、步骤s3，当所述平台端接收到第一压缩和第二压缩后的16进制数据时，利用下面公式(3)，对第一压缩和第二压缩后的16进制数据进行解压和校验，

22、

23、在上述公式(3)中，中g116表示对接收到的第一压缩后的16进制数据进行解压后的16进制形式；g216表示对接收到的第二压缩后的16进制数据进行解压后的16进制形式；g1′16表示接收到的第一压缩后的16进制数据；g2′16表示接收到的第二压缩后的16进制数据；>>表示右移；表示循环左移；f()表示判断函数，若括号内的算式成立，则判断函数的函数值为1，若括号内的算式不成立，则判断函数的函数值为0；e表示校验值；

24、若e＝1，则表示校验成功；

25、若e＝0，则表示校验失败，则需要重新将抓取的文件数据压缩形成文件数据包后返回至所述平台端。

26、可选地，基于所述算法模型的转换日志，从所述待配置文件队列提取相应的文件，并对提取的文件进行解析处理，生成与所述算法模型的转换匹配的代码数据，以此对所述算法模型进行转换配置；基于所述算法模型的转换配置结果，调整所述平台端对所述算法模型的处理状态，包括：

27、对所述算法模型的转换日志进行分析，确定所述算法模型的实时转换进程，从所述待配置文件队列提取相应的文件；对提取的文件进行解析处理，生成与所述算法模型的转换匹配的代码数据，并将所述代码数据记载至所述算法模型中，以此对所述算法模型进行转换配置；

28、基于所述算法模型的转换配置结果，判断所述算法模型是否成功执行当前的转换进程，若是，则保持所述平台端对所述算法模型的转换进程不变；若否，则重新执行所述平台端对所述算法模型的转换进程。

29、算法模型转换的文件抓取和配置系统，包括：

30、文件属性确定模块，用于获取算法模型在平台端的转换进度信息，基于所述转换进度信息，预测所述算法模型在转换过程中所需的文件属性信息；

31、文件查找模块，用于基于所述文件属性信息，向所述平台端连接的所有服务端发送文件抓取广播消息，以此确定能够提供相应文件的所有服务端；

32、文件抓取处理模块，用于基于能够提供相应文件的所有服务端各自的文件状态信息，从每个服务端抓取相应的文件数据，并向所述平台端返回相应的文件数据包；

33、文件数据筛选处理模块，用于对所述平台端接收的文件数据包进行识别处理，筛选与所述算法模型的转换操作匹配的文件数据包，并将筛选的文件数据包添加到待配置文件队列；

34、算法模型转换配置模块，用于基于所述算法模型的转换日志，从所述待配置文件队列提取相应的文件，并对提取的文件进行解析处理，生成与所述算法模型的转换匹配的代码数据，以此对所述算法模型进行转换配置；

35、算法模型处理调整模块，用于基于所述算法模型的转换配置结果，调整所述平台端对所述算法模型的处理状态。

36、可选地，所述文件属性确定模块用于获取算法模型在平台端的转换进度信息，基于所述转换进度信息，预测所述算法模型在转换过程中所需的文件属性信息，包括：

37、对平台端的算法模型转换程序进行监测，得到所述算法模型转换程序执行算法模型转换任务的转换进度信息；将所述转换进度信息与预设算法模型转换日历进行对比，预测相应算法模型在当前转换过程中所需的文件类型属性信息；

38、所述文件查找模块用于基于所述文件属性信息，向所述平台端连接的所有服务端发送文件抓取广播消息，以此确定能够提供相应文件的所有服务端，包括：

39、基于所述文件类型属性信息，向所述平台端连接的处于活跃状态的所有服务端发送文件抓取广播消息；对所有服务端各自关于所述文件抓取广播消息返回的文件目录进行识别，判断所述服务端是否包含所述算法模型转换所需的文件；若包含，则将相应服务端确定为能够提供相应文件的服务端；若不包含，则将相应服务端确定为不能提供相应文件的服务端。

40、可选地，所述文件抓取处理模块用于基于能够提供相应文件的所有服务端各自的文件状态信息，从每个服务端抓取相应的文件数据，并向所述平台端返回相应的文件数据包，包括：

41、基于能够提供相应文件的所有服务端各自的文件存储位置信息，从每个服务端抓取相应的文件数据，并将抓取的文件数据压缩形成文件数据包后返回至所述平台端；

42、所述文件数据筛选处理模块用于对所述平台端接收的文件数据包进行识别处理，筛选与所述算法模型的转换操作匹配的文件数据包，并将筛选的文件数据包添加到待配置文件队列，包括：

43、对所述平台端接收的文件数据包进行文件数据完整性识别处理，判断所述文件数据包是否存在数据缺失情况，并将不存在数据缺失情况的文件数据包作为与所述算法模型的转换操作匹配的文件数据包；再基于与所述算法模型的转换操作匹配的文件数据包在所述转换操作对应的配置时间顺序信息，将与所述算法模型的转换操作匹配的文件数据包添加到待配置文件队列的相应位置。

44、可选地，所述算法模型转换配置模块用于基于所述算法模型的转换日志，从所述待配置文件队列提取相应的文件，并对提取的文件进行解析处理，生成与所述算法模型的转换匹配的代码数据，以此对所述算法模型进行转换配置，包括：

45、对所述算法模型的转换日志进行分析，确定所述算法模型的实时转换进程，从所述待配置文件队列提取相应的文件；对提取的文件进行解析处理，生成与所述算法模型的转换匹配的代码数据，并将所述代码数据记载至所述算法模型中，以此对所述算法模型进行转换配置；

46、所述算法模型处理调整模块用于基于所述算法模型的转换配置结果，调整所述平台端对所述算法模型的处理状态，包括：

47、基于所述算法模型的转换配置结果，判断所述算法模型是否成功执行当前的转换进程，若是，则保持所述平台端对所述算法模型的转换进程不变；若否，则重新执行所述平台端对所述算法模型的转换进程。

48、与现有技术相比，本发明具有如下有益效果：

49、本技术提供的算法模型转换的文件抓取和配置方法和系统基于算法模型在平台端的转换进度信息，预测算法模型在转换过程中所需的文件属性信息，以此向所有服务端发送文件抓取广播消息，确定合适的服务端；从合适的服务端抓取文件数据并形成相应的文件数据包，筛选与算法模型的转换匹配的文件数据包并添加至待配置文件队列，为算法模型转换提供可靠的文件配置支持；基于算法模型的转换日志，从待配置文件队列提取相应的文件，生成与算法模型的转换匹配的代码数据，以此对算法模型进行代码层面的转换配置，还基于转换配置结果，调整平台端对算法模型的处理状态，对算法模型的转换进行统一规范的代码配置，提高算法模型的转换成功率和可靠性，保证算法模型转换的效率和准确性。