机器学习框架的风险检测方法、装置、设备及存储介质与流程

本发明涉及信息安全，尤其涉及一种机器学习框架的风险检测方法、装置、设备及存储介质。

背景技术：

1、近年来，国外厂商发布了一系列云端机器学习框架，如tensorflow、pytorch以及mxnet等，该云端机器学习框架在工业界和学术界均得到了广泛的应用，故掀起了一股机器学习框架的自研热潮，包括国内的较多知名厂商也纷纷加入，但是无论是国外还是国内厂商，在研发过程中关注更多的是机器学习框架的功能、性能以及面向开发者的易用性，从而导致对机器学习框架本身实现层面的安全性缺乏充分考虑，随之而来的就是机器学习框架及其依赖组件暴露出较大的漏洞，因此，如何快速、高效地检测机器学习框架所蕴含的风险是当前的首要任务，而目前对机器学习框架检测的常用技术方案是依赖于该方面专家的经验，但是人工检测少量的机器学习框架还行，一旦数量增加，导致检测过程中难免出现或多或少的错误，造成检测的准确性大大降低。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种机器学习框架的风险检测方法、装置、设备及存储介质，旨在解决现有技术检测机器学习框架风险的准确性较低，造成风险对网络空间的威胁性增加的技术问题。

2、为实现上述目的，本发明提供了一种机器学习框架的风险检测方法，所述方法包括以下步骤：

3、获取机器学习框架的源码信息；

4、根据所述源码信息生成计算型算子库；

5、根据所述计算型算子库生成算子测试模板库；

6、根据预设测试策略和所述算子测试模板库构建目标测试用例；

7、通过所述目标测试用例对所述机器学习框架进行风险检测。

8、可选地，所述根据所述源码信息生成计算型算子库，包括：

9、根据预设静态分析策略、预设文档解析策略以及所述源码信息确定计算型算子；

10、基于所述计算型算子生成计算型算子库。

11、可选地，所述根据预设静态分析策略、预设文档解析策略以及所述源码信息确定计算型算子，包括：

12、根据预设静态分析策略对所述源码信息进行分析，得到第一计算型算子信息；

13、根据预设文档解析策略对目标算子文档进行解析，得到第二计算型算子信息；

14、基于所述第一计算型算子信息和第二计算型算子信息生成计算型算子。

15、可选地，所述根据预设静态分析策略对所述源码信息进行分析，得到第一计算型算子信息，包括：

16、根据预设静态分析策略对所述源码信息进行检测，得到算子源码信息；

17、提取所述算子源码信息的算子实际操作和计算复杂度；

18、根据所述算子实际操作和计算复杂度生成第一计算型算子信息。

19、可选地，所述根据所述计算型算子库生成算子测试模板库，包括：

20、对所述计算型算子库中的计算型算子进行实时执行，得到执行报错信息和覆盖率信息；

21、根据所述执行报错信息和覆盖率信息得到对应的模板修正内容；

22、基于所述模板修正内容生成算子测试模板库。

23、可选地，所述根据所述变异参数和变异临界值执行通过所述目标测试用例对所述机器学习框架进行风险检测的步骤之后，还包括：

24、对风险检测结果进行实时监测，得到异常执行信息；

25、基于所述异常执行信息确定安全风险信息。

26、可选地，所述基于所述异常执行信息确定安全风险信息之后，还包括：

27、对所述安全风险信息进行分类；

28、对不同类别的安全风险信息进行评估，得到风险危害等级；

29、根据风险危险等级依次对所述安全风险信息对应的漏洞进行修复。

30、此外，为实现上述目的，本发明还提出一种机器学习框架的风险检测装置，所述机器学习框架的风险检测装置包括：

31、获取模块，用于获取机器学习框架的源码信息；

32、生成模块，用于根据所述源码信息生成计算型算子库；

33、所述生成模块，还用于根据所述计算型算子库生成算子测试模板库；

34、构建模块，用于根据预设测试策略和所述算子测试模板库构建目标测试用例；

35、检测模块，用于通过所述目标测试用例对所述机器学习框架进行风险检测。

36、此外，为实现上述目的，本发明还提出一种机器学习框架的风险检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机器学习框架的风险检测程序，所述机器学习框架的风险检测程序配置为实现如上文所述的机器学习框架的风险检测方法的步骤。

37、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有机器学习框架的风险检测程序，所述机器学习框架的风险检测程序被处理器执行时实现如上文所述的机器学习框架的风险检测方法的步骤。

38、本发明通过获取机器学习框架的源码信息；根据所述源码信息生成计算型算子库；根据所述计算型算子库生成算子测试模板库；根据预设测试策略和所述算子测试模板库构建目标测试用例；通过所述目标测试用例对所述机器学习框架进行风险检测；由于本发明是通过机器学习框架的源码信息生成计算型算子库，并根据计算型算子生成的算子测试模板库与预设测试策略构建的目标测试用户对机器学习框架进行风险检测，相较于现有技术通过依赖专家经验检测机器学习框架的风险，能够有效提高检测机器学习框架风险的准确性，进而降低风险对于网络空间的威胁。

技术特征：

1.一种机器学习框架的风险检测方法，其特征在于，所述机器学习框架的风险检测方法包括以下步骤：

2.如权利要求1所述的机器学习框架的风险检测方法，其特征在于，所述根据所述源码信息生成计算型算子库，包括：

3.如权利要求2所述的机器学习框架的风险检测方法，其特征在于，所述根据预设静态分析策略、预设文档解析策略以及所述源码信息确定计算型算子，包括：

4.如权利要求3所述的机器学习框架的风险检测方法，其特征在于，所述根据预设静态分析策略对所述源码信息进行分析，得到第一计算型算子信息，包括：

5.如权利要求1所述的机器学习框架的风险检测方法，其特征在于，所述根据所述计算型算子库生成算子测试模板库，包括：

6.如权利要求1所述的机器学习框架的风险检测方法，其特征在于，所述根据所述变异参数和变异临界值执行通过所述目标测试用例对所述机器学习框架进行风险检测的步骤之后，还包括：

7.如权利要求6所述的机器学习框架的风险检测方法，其特征在于，所述基于所述异常执行信息确定安全风险信息之后，还包括：

8.一种机器学习框架的风险检测装置，其特征在于，所述机器学习框架的风险检测装置包括：

9.一种机器学习框架的风险检测设备，其特征在于，所述机器学习框架的风险检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机器学习框架的风险检测程序，所述机器学习框架的风险检测程序配置有实现如权利要求1至7中任一项所述的机器学习框架的风险检测方法。

10.一种存储介质，其特征在于，所述存储介质上存储有机器学习框架的风险检测程序，所述机器学习框架的风险检测程序被处理器执行时实现如权利要求1至7中任一项所述的机器学习框架的风险检测方法。

技术总结
本发明涉及信息安全技术领域，公开了一种机器学习框架的风险检测方法、装置、设备及存储介质，所述方法包括：根据机器学习框架的源码信息生成计算型算子库；根据计算型算子库生成算子测试模板库；根据预设测试策略和算子测试模板库构建目标测试用例；通过目标测试用例对所述机器学习框架进行风险检测；由于本发明是通过机器学习框架的源码信息生成计算型算子库，并根据计算型算子生成的算子测试模板库与预设测试策略构建的目标测试用户对机器学习框架进行风险检测，相较于现有技术通过依赖专家经验检测机器学习框架的风险，能够有效提高检测机器学习框架风险的准确性，进而降低风险对于网络空间的威胁。

技术研发人员：邹权臣,刘昭,张德岳,王旋,于恬
受保护的技术使用者：北京奇虎科技有限公司
技术研发日：
技术公布日：2024/1/12