一种模型训练推理一致性的保障方法及系统与流程

本发明涉及工厂质检中的深度学习领域，尤其涉及一种模型训练推理一致性的保障方法及系统。

背景技术：

1、目前，深度学习在工厂质检领域应用中，存在一个训练和推理之间的不一致问题。比如在pytorch框架下，训练过程中，数据的前处理方法没有直接保存在深度学习模型的权重文件中(pt文件)，使得推理服务的前处理方法在服务器中的代码不得不固定或手动修改代码，当模型更换时如果对应的质检机器中的前处理代码没有做出相应的修改，会造成错误的推理结果，甚至推理失败，手动修改模型的前处理给很多量产项目场景造成了负担和隐患。

2、针对现有技术中所存在的问题，提供一种模型训练推理一致性的保障方法及系统具有重要意义。

技术实现思路

1、为解决上述问题，本发明提供一种模型训练推理一致性的保障方法及系统。

2、为实现上述目的，本发明的一种模型训练推理一致性的保障方法，所述方法具体包括以下步骤：s1对产品数据进行训练，生成训练模型，并同时生成记录所述训练模型的处理信息的第一配置文件；s2，将所述训练模型及所述第一配置文件合并为第二配置文件；s3，调取所述第二配置文件，并读取所述第二配置文件中的所述处理信息；s4，根据所述处理信息，对数据进行处理；

3、进一步地，所述处理信息包括处理方法及前后顺序信息，所述步骤s3具体为：s3，调取所述第二配置文件，并读取所述第二配置文件中的所述处理方法及所述前后顺序信息；

4、进一步地，所述步骤s4具体包括以下子步骤：s4.1，对所述处理方法相对应的类进行实例化，生成实例化的对象；s4.2，对所述对象进行初始化；s4.3，根据所述前后顺序信息，将所述对象按照顺序放入列表中；s4.4，按照顺序对所述对象的数据进行处理；

5、进一步地，所述步骤s2具体为：s2，将所述训练模型及所述第一配置文件集中合并存储于一个pickle文件中，并将所述pickle文件作为第二配置文件；

6、进一步地，所述第一配置文件还存储有模型信息、模型处理的光学面图片信息、模型对应的权重文件路径、最大并行推理线程数、模型输出的置信度阈值和iou阈值信息。

7、本发明还提供了一种模型训练推理一致性的保障系统，包括训练模块，配置信息模块，注册模块及推理模块；所述训练模块具体用于对产品数据进行训练，生成训练模型，并同时生成记录所述训练模型的处理信息作为第一配置文件存储至配置信息模块；所述配置信息模块具体用于存储所述第一配置文件，并将所述训练模型及所述第一配置文件合并为第二配置文件；所述注册模块具体用于调取所述第二配置文件，并读取所述第二配置文件中的所述处理信息；所述推理模块具体用于根据所述处理信息，对数据进行处理；

8、进一步地，所述处理信息具体为处理方法及前后顺序信息；所述注册模块具体用于调取所述第二配置文件并读取所述第二配置文件中的所述处理方法及所述前后顺序信息；

9、进一步地，所述推理模块具体用于对所述处理方法相对应的类进行实例化，生成实例化的对象、对所述对象进行初始化、根据所述前后顺序信息，将所述对象按照顺序放入列表中并按照顺序对所述对象的数据进行处理；

10、进一步地，所述推理模块对所述对象的数据进行处理具体包括resize处理、继承处理及noramalize处理；

11、进一步地，所述第一配置文件具体还存储有模型信息、模型处理的光学面图片信息、模型对应的权重文件路径、最大并行推理线程数、模型输出的置信度阈值和iou阈值信息。

12、本发明的一种模型训练推理一致性的保障方法及系统，通过在训练阶段同时生成并存储一个记录模型全部前后处理信息的一级配置文件，并将该一级配置文件和训练模型合并为一个二级配置文件，存储于一个pickle文件中，替代多个文件分别部署的方案，不仅能够为模型部署提供便利，还能够让深度学习模型相关的前后处理方法和模型形成整体，保障模型训练和部署后的结果一致性，为项目现场的工程师减少甚至取消代码调试的工作，有效避免了因反复手动修改模型的前处理给量产项目场景造成了负担和隐患。

技术特征：

1.一种模型训练推理一致性的保障方法，其特征在于，所述方法具体包括以下步骤：

2.如权利要求1所述的模型训练推理一致性的保障方法，其特征在于，所述处理信息包括处理方法及前后顺序信息，所述步骤s3具体为：

3.如权利要求2所述的模型训练推理一致性的保障方法，其特征在于，所述步骤s4具体包括以下子步骤：

4.如权利要求1所述的模型训练推理一致性的保障方法，其特征在于，所述步骤s2具体为：

5.如权利要求1所述的模型训练推理一致性的保障方法，其特征在于，所述第一配置文件还存储有模型信息、模型处理的光学面图片信息、模型对应的权重文件路径、最大并行推理线程数、模型输出的置信度阈值和iou阈值信息。

6.一种模型训练推理一致性的保障系统，其特征在于，包括训练模块，配置信息模块，注册模块及推理模块；

7.如权利要求6所述的模型训练推理一致性的保障系统，其特征在于，所述处理信息具体为处理方法及前后顺序信息；

8.如权利要求7所述的模型训练推理一致性的保障系统，其特征在于，所述推理模块具体用于对所述处理方法相对应的类进行实例化，生成实例化的对象、对所述对象进行初始化、根据所述前后顺序信息，将所述对象按照顺序放入列表中并按照顺序对所述对象的数据进行处理。

9.如权利要求8所述的模型训练推理一致性的保障系统，其特征在于，所述推理模块对所述对象的数据进行处理具体包括resize处理、继承处理及noramalize处理。

10.如权利要求6所述的模型训练推理一致性的保障系统，其特征在于，所述第一配置文件具体还存储有模型信息、模型处理的光学面图片信息、模型对应的权重文件路径、最大并行推理线程数、模型输出的置信度阈值和iou阈值信息。

技术总结
本发明公开了一种模型训练推理一致性的保障方法及系统。包括：S1，对产品数据进行训练，生成训练模型，生成记录所述训练模型的处理信息的第一配置文件；S2，将训练模型及所述第一配置文件合并为第二配置文件；S3，调取所述第二配置文件并读取所述第二配置文件中的所述处理信息；S4，根据所述处理信息对数据进行处理。采用本发明的型训练推理一致性的保障方法及系统通过在训练阶段同时生成并存储一个记录处理信息的一级配置文件，并与训练模型合并为二级配置文件，替代多个文件分别部署的方案，让深度学习模型相关的处理方法和模型形成整体，保障模型训练和部署的结果一致性，避免因反复手动修改模型的前处理给量产项目场景造成了负担和隐患。

技术研发人员：戴猛,马元巍,潘正颐,侯大为,童竹勍
受保护的技术使用者：常州微亿智造科技有限公司
技术研发日：
技术公布日：2024/1/12