一种基于深度学习的检测门把手归位和弯曲的方法与流程

本发明涉及图像识别技术领域，特别涉及一种基于深度学习的检测门把手归位和弯曲的方法。

背景技术：

随着世界贸易的快速发展，港口已成为这条贸易的关键节点，而集装箱作为载体发挥至关重要的作用，门把手作为集装箱最为关键的保护因素具有防盗保护货物的功能，在物流运输中起到重要的作用，到目前判断门把手是否归位或者是否弯曲是通过人工目测来判断，但人工成本太高，并且人工判断不准确。因此有必要对门把手归位和弯曲的检测提出一种新的方法。

技术实现要素：

本发明的目的在于提供一种基于深度学习的检测门把手归位和弯曲的方法，用以解决现有技术中通过人工目测来判断，人工成本太高且判断不准确等缺陷。

一种基于深度学习的检测门把手归位和弯曲的方法，包括以下步骤：

1.基于目标检测模型和语义分割模型，获取门把手掩膜；

2.获取掩膜最小外接矩形，得到矩形的宽度w、高度h，矩形的宽与x轴正方形的角度θ；

3.设定角度阈值θ_thresh，获取门把手正常位置的最小外接矩形宽与x轴正方向的夹角θ_origin，并设定高宽比阈值ratio，分别判断门把手归位及发生变形弯曲情况：当|θ-θ_origin|>θ_thresh，说明门把手未归位，反之则已归位；当w/h<ratio则说明门把手发生变形弯曲，反之则没有。

进一步地，本发明所述检测门把手归位和弯曲的方法中：所述目标检测模型构建方法为：采集标准门图像，标注门把手区域及轮廓，然后基于图像和门把手区域标签并训练门把手目标检测模型。

进一步地，本发明所述检测门把手归位和弯曲的方法中：所语义分割模型构建方法为：采集标准门图像，标注门把手区域及轮廓，裁剪并生成门把手轮廓的标注，然后对裁剪图像和对应的标签训练门把手语义分割模型。

进一步地，本发明所述检测门把手归位和弯曲的方法中：所述步骤1中获取门把手掩膜的过程为：对裁剪图像进行语义分割，分割出门把手区域的0-1二值掩膜，对掩膜进行连通域分析，实例化出每个门把手区域。

相对于现有技术，本发明的有益效果为：

1.本发明将深度学习应用到门把手检测中，能够高效的判断门把手的归位和弯曲状况。

2.本发明将通过先检测后分割，克服了仅单一的目标检测或者语义分割造成检测结果或者分割结果不够准确、不能够直接通过检测结果判断门把手一些具体特性等缺陷，从而能准确分割出门把手区域的mask，通过mask从而对门把手的状态进行准确判断。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明基于深度学习的检测门把手归位和弯曲的方法流程图。

具体实施方式

为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。

本发明提出的一种基于深度学习的检测门把手归位和弯曲的方法，包括以下步骤：

1.基于目标检测模型和语义分割模型，获取门把手掩膜；

2.获取掩膜最小外接矩形，得到矩形的宽度w、高度h，矩形的宽与x轴正方形的角度θ；

3.设定角度阈值θ_thresh和高宽比阈值ratio，分别判断门把手归位及发生变形弯曲情况：当|θ|>θ_thresh，说明门把手未归位，反之则已归位；当w/h<ratio则说明门把手发生变形弯曲，反之则没有。

在本发明中，检测门把手归位和弯曲的方法中：目标检测模型构建方法为：采集标准门图像，标注门把手区域及轮廓，然后基于图像和门把手区域标签并训练门把手目标检测模型。

在本发明中，检测门把手归位和弯曲的方法中，语义分割模型构建方法为：采集标准门图像，标注门把手区域及轮廓，裁剪并生成门把手轮廓的标注，然后对裁剪图像和对应的标签训练门把手语义分割模型。

在本发明中，检测集装箱门把手归位和弯曲的方法中：获取门把手掩膜的过程为：对裁剪图像进行语义分割，分割出门把手区域的0-1二值掩膜，对掩膜进行连通域分析，实例化出每个门把手区域。

在本发明中，角度阈值θ_thresh和高宽比阈值ratio根据具体的情况可以选择设定值，以满足门把手归位和弯曲识别度的需要。

以下以集装箱门把手为例，阐述一种基于深度学习的检测门把手归位和弯曲的方法，具体如下：

1.从现场采集1000张集装箱箱面图像，，并用lableimg标注门把手区域，用labelme标注门把手轮廓，随机600张作为训练集，200张作为测试集，200张作为训练集。

2.用yolov5s目标检测模型训练门把手区域检测，其中训练周期设置为300，并采用coco数据集上的预训练模型。

3.裁剪门把手区域图像，并生成门把手轮廓的标签，用unet语义分割模型训练门把手分割模型。

4.通过吊具绳长信号取现场摄像头的视频帧输入检测模型，取置信度大于0.6的检测框得到门把手区域，再把门把手区域图像输入语义分割模型中，取阈值大于0.5的像素点得到门把手的mask。

5.通过门把手的mask进行连通域分析实例化每个门把手，得到其最小外接矩形的两个边长a，b，令矩形的宽w＝max(a,b)，矩形的长h＝min(a,b)，并且取矩形的宽与x轴正向的夹角θ。

6.取ratio＝5，当w/h>ratio时，说明门把手未弯曲，反之则说明门把手弯曲。

7.取θ_thresh＝10°，同时获取门把手正常位置的最小外接矩形宽与x轴正方向的夹角θ_origin，当|θ-θ_origin|<θ_thresh时，说明门把手已归位，反之说明门把手未归位。

目前通过上述方法判断门把手是否正常比直接通过yolov5s检测门把手是否弯曲或变形的准确率有很大的提升。

本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

技术特征：

1.一种基于深度学习的检测门把手归位和弯曲的方法，包括以下步骤：

步骤1.基于目标检测模型和语义分割模型，获取门把手掩膜；

步骤2.获取掩膜最小外接矩形，得到矩形的宽度w、高度h，矩形的宽与x轴正方形的角度θ；

步骤3.设定角度阈值θ_thresh，获取门把手正常位置的最小外接矩形宽与x轴正方向的夹角θ_origin，并设定高宽比阈值ratio，分别判断门把手归位及发生变形弯曲情况：当|θ-θ_origin|>θ_thresh，说明门把手未归位，反之则已归位；当w/h<ratio则说明门把手发生变形弯曲，反之则没有。

2.根据权利要求1所述的检测门把手归位和弯曲的方法，其特征在于，所述目标检测模型构建方法为：采集标准门图像，标注门把手区域及轮廓，然后基于图像和门把手区域标签并训练门把手目标检测模型。

3.根据权利要求1所述的检测门把手归位和弯曲的方法，其特征在于，所语义分割模型构建方法为：采集标准门图像，标注门把手区域及轮廓，裁剪并生成门把手轮廓的标注，然后对裁剪图像和对应的标签训练门把手语义分割模型。

4.根据权利要求1所述的检测门把手归位和弯曲的方法，其特征在于，所述步骤1中获取门把手掩膜的过程为：对裁剪图像进行语义分割，分割出门把手区域的0-1二值掩膜，对掩膜进行连通域分析，实例化出每个门把手区域。

技术总结
本发明涉及到图像处理技术领域，具体公开了一种基于深度学习的检测门把手归位和弯曲的方法。步骤1：基于目标检测模型和语义分割模型，获取门把手掩膜；步骤2.获取掩膜最小外接矩形，得到矩形的宽度w、高度h，矩形的宽与x轴正方形的角度θ；步骤3.设定角度阈值θ_Thresh和高宽比阈值Ratio，分别判断门把手归位及发生变形弯曲情况。本发明将深度学习应用到门把手检测中，能够高效的判断门把手归位和弯曲的状况。此外，本发明结合检测后分割，能准确分割出门把手区域的mask，通过mask从而对门把手的状态进行准确判断。

技术研发人员：赵准登;彭智浩
受保护的技术使用者：聚时科技(上海)有限公司
技术研发日：2021.05.13
技术公布日：2021.07.23