基于视觉识别的翻转机锁紧监测报警方法及系统与流程

本发明涉及设备监测及图像分析，具体涉及一种基于视觉识别的翻转机锁紧监测报警方法及系统。

背景技术：

1、翻转机用于将汽车外壳等汽车设备从一种位置翻转到另一种位置，以便于后续的处理、检查或装载；在翻转过程中或翻转后，需确保汽车设备锁紧并保持在预定的位置，防止其意外移动或滑落。

2、现有技术中，需通过人工分时段的进行现场监测，该监测方法过于耗费人力且无法保证监测的时效性和准确性。

技术实现思路

1、为此，本发明提供一种基于视觉识别的翻转机锁紧监测报警方法及系统，用于解决无法精确监测翻转机锁紧机构、过量耗费人力、增大人力成本等问题。

2、为了实现上述目的，本发明提供如下技术方案：基于视觉识别的翻转机锁紧监测报警方法及系统，获取训练图像数据，根据所述训练图像数据组建数据集，对所述数据集进行标注并分为训练数据集和测试数据集；使用所述训练数据集训练基础卷积神经网络模型，得到应用卷积神经网络模型，使用所述测试数据集测试所述应用卷积神经网络模型，得到测试结果，比对所述测试结果和实际结果，若所述测试结果不符合所述实际结果，则对所述应用卷积神经网络模型进行增量训练，若所述测试结果符合所述实际结果，则将所述应用卷积神经网络模型进行生产现场的部署；在所述生产现场获取实时生产数据，将所述实时生产数据输入所述应用卷积神经网络模型，获得检测结果，将所述检测结果标注在数据图像上并进行所述数据图像的展示。

3、作为本发明的一种优选技术方案，图像标注：根据翻转机锁紧状态筛选训练图像，使用矩形框并通过标签进行手工标注；图像向量化：读取所述训练图像，将所述训练图像转换为三维数组；图像标准化：调整所述三维数组的维度顺序，将通道数调至第一位；所述训练图像的像素值均除以255，将所述训练图像归一化；统一所述训练图像的分辨率大小。

4、作为本发明的一种优选技术方案，将所述翻转机锁紧状态区分为上锁紧、上未锁预警、上未锁、下锁紧和下未锁，其中所述上锁紧、上未锁预警和上未锁设置为锁紧钩状态，所述下锁紧和下未锁设置为反向止动杆状态；根据所述翻转机锁紧状态进行所述训练图像的筛选，各个状态的对应图像数量不少于200张。

5、作为本发明的一种优选技术方案，所述标签包括类别class、中心点x轴坐标cx、中心点y轴坐标cy、矩形框高度h和矩形框宽度w；所述数据集根据5:1比例分为所述训练数据集和所述测试数据集。

6、作为本发明的一种优选技术方案，记录所述基础卷积神经网络模型的训练过程，采用准确率、召回率、平均精度和损失值作为评定数据，所述评定数据均达到数值0.99以上并保持50次迭代后，确定所述应用卷积神经网络模型训练完成，并得到模型输出，对所述模型输出进行解释。

7、作为本发明的一种优选技术方案，设置置信度阈值为0.01，筛除所述置信度不足0.01的预测框；设置lou阈值为0.5，所述lou值大于0.5的预测框们视为对应同一个物体；使用非极大值抑制来消除重叠的预测框，留存所述置信度最大的预测框作为最佳预测框；得到最佳预测框后，使用argmax(softmax(a0,a1,a2,a3,a4))得到所述类别class。

8、所述类别class的计算公式为：

9、

10、式中：表示模型输出各类别可能性大小的指数和，采用指数函数保证指数和不为0，表示模型预测类别为0的概率，其余分数以此类推，argmax函数是返回中具有最大值的元素的索引，索引与元素值对应类别相同，class表示最大概率的类别；

11、比较所述测试结果的计算公式为：计算测试集的准确率p = 模型预测正确的数量/ 测试集总数。

12、基于视觉识别的翻转机锁紧监测报警系统，包括：获取单元，用于获取训练图像数据，根据所述训练图像数据组建数据集，对所述数据集进行标注并划分为训练数据集和测试数据集；训练单元，使用所述训练数据集训练基础卷积神经网络模型，得到应用卷积神经网络模型，使用所述测试数据集测试所述应用卷积神经网络模型，得到测试结果；应用展示单元，在生产现场获取实时生产数据，将所述实时生产数据输入所述应用卷积神经网络模型，获得检测结果，将所述检测结果标注在数据图像上并进行所述数据图像的展示。

13、作为本发明的一种优选技术方案，一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述内容1至7条任意一项所述的基于视觉识别的翻转机锁紧监测报警方法。

14、作为本发明的一种优选技术方案，一种电子设备，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权上述内容1至7条任意一项所述的基于视觉识别的翻转机锁紧监测报警方法。

15、与现有技术相比，本发明提供了一种，具备以下有益效果：通过视觉相机进行实拍获得现场图像，将现场图像和训练模型相结合并通过系统处理完成高速且精确的现场图像判断，实现对翻转机锁紧的监测及报警，在大大提高监测精度的同时降低人力成本。

技术特征：

1.基于视觉识别的翻转机锁紧监测报警方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于视觉识别的翻转机锁紧监测报警方法，其特征在于，所述获取训练图像数据，根据所述训练图像数据组建数据集，对所述数据集进行标注并分为训练数据集和测试数据集包括：

3.根据权利要求2所述的基于视觉识别的翻转机锁紧监测报警方法，其特征在于：

4.根据权利要求3所述的基于视觉识别的翻转机锁紧监测报警方法，其特征在于：

5.根据权利要求4所述的基于视觉识别的翻转机锁紧监测报警方法，其特征在于，所述使用所述训练数据集训练基础卷积神经网络模型，得到应用卷积神经网络模型包括：

6.根据权利要求5所述的基于视觉识别的翻转机锁紧监测报警方法，其特征在于：

7.根据权利要求6所述的基于视觉识别的翻转机锁紧监测报警方法，其特征在于：

8.基于视觉识别的翻转机锁紧监测报警系统，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的基于视觉识别的翻转机锁紧监测报警方法。

10.一种电子设备，其特征在于，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至7中任意一项所述的基于视觉识别的翻转机锁紧监测报警方法。

技术总结
本发明涉及设备监测及图像分析领域，且公开了一种基于视觉识别的翻转机锁紧监测报警方法及系统，通过获取训练图像数据，并将训练图像数据和基础卷积神经网络模型结合，经过训练后获得应用卷积神经网络模型，将应用卷积神经网络模型应用至生产现场，结合实际情况获得检测结果，并将检测结果进行显示。解决了无法精确监测翻转机锁紧机构、过量耗费人力、增大人力成本的问题，优点在于通过视觉相机进行实拍获得现场图像，将现场图像和训练模型相结合并通过系统处理完成高速且精确的现场图像判断，实现翻转机锁紧的监测及报警。

技术研发人员：吕朋辉,林涛,赵剑,齐江飞,黄鹏,高瑞
受保护的技术使用者：中国汽车工业工程有限公司
技术研发日：
技术公布日：2024/9/12