基于目标检测和图像处理的抓斗卸船机碰撞预警系统

本发明涉及一种港口作业领域的技术，具体涉及一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统。

背景技术：

1、现有港口碰撞预警技术大多需要借助一些额外的定位设备实现，例如红外探测器，雷达探测器，通过在待检测物体上安装定位设备，根据设备获取的数据，在物体之间距离较近时给出警报。这类方法不适合本专利所述场景，一方面抓斗上不方便安装定位设备，另一方面，抓斗和车辆的相对位置是动态变化的，无法通过某个固定位置的定位设备实现距离检测。

技术实现思路

1、本发明针对现有技术存在的上述不足，提出一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统，通过多目标检测，同时检测视频中的车辆和抓斗位置，并在两者水平位置接近时，给出报警。此外，本发明使用图像处理方法提取了视频中的防撞辅助线，并在车辆或抓斗接近防撞辅助线时给出预警，进一步提高了碰撞预警的可靠性的同时，使用形态学处理、霍夫变换图像处理方法提取出了图像中的防撞辅助线。

2、本发明是通过以下技术方案实现的：

3、本发明涉及一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统，包括：图像采集模块、模型训练模块、模型识别模块、图像处理模块以及碰撞预警模块，其中：图像采集模块使用摄像头采集场景照片，用于制作训练数据集或在实际工作时用作识别预测模块的输入；模型训练模块使用采集到的图片训练目标检测模型；模型识别模块基于训练的到的模型，在给定图像输入后输出图片中检测到的目标位置和类别；图像处理模块用于提取图像中的防撞辅助线；碰撞预警模块会结合模型识别模块和图像处理模块提供的信息，给出碰撞预警。

4、本发明涉及一种基于上述系统的基于目标检测和图像处理的抓斗卸船机碰撞预警方法，在卸船工作进行时持续接收设置于抓斗上方的摄像头拍摄的视频，并对采集到的视频进行预处理，制作成训练数据集后用于训练目标检测模型，当模型经过调优准确率达标之后，再将实际工作状态下的视频输入模型，模型会获取到视频中车辆以及抓斗的矩形包围框位置，再结合图像处理算法提取出场景中的防撞辅助线，通过判断是否有碰撞的风险，并给出相应警告信号。

5、所述的采集数据是指：港口卸船场景下，由设置于抓斗正上方的摄像头拍摄到的目标场景的视频片段，采集到的视频应包含抓斗以及车辆。同时，视频应涵括各种可能在工作时出现的光照条件，包含白天和黑夜。视频也应涵括各种可能出现的天气状况，包括晴天、雨天、阴天。收集到视频应有足够长的长度，确保能制作出图片数量足够的数据集。

6、所述的数据集是指：通过对采集到的视频做筛选，提取出具有训练价值的视频片段，随后对视频进行截取得到足够数量的图片，再在图片中标注出欲检测目标，最后将得到的数据集划分为测试集和训练集，用于训练模型。

7、所述的具有训练价值的视频片段是指：包含抓斗和车辆的视频片段。

8、所述的图片截取过程是指：根据采集到的视频时间长短，选定某一截取频率，定时截取视频中的画面得到图片，所选择频率应确保最终截取到的图片数量大于300张。

9、所述的图片标注是指：借助图片标注工具，将图中的抓斗和车辆用矩形包围框框选出来，并在获得的包围框上加上目标的标签。

10、所述的数据集划分是指：将数据集划分为训练集和测试集两部分，训练集图片数量占总数70％，测试集占30％。

11、所述的训练是指：基于faster-rcnn目标检测模型，结合fpn特征提取网络进行训练，将数据集中的图片作为输入参数，同时将输出的检测目标包围框位置和目标标签作为输出参数，不断地对神经网络参数进行迭代优化，该神经网络参数包括：批量大小batch_size、学习率learning rate。

12、所述的训练采用sgd算法对训练过程进行优化，基于训练数据迭代地更新faster-rcnn网络和fpn网络的权重，直到模型收敛或损失函数达到要求。

13、优选地，所述的训练采用平均精确度map指标对训练好的模型性能进行评估，其含义是指模型在各个检测类别上，在各个召回率下的识别准确率的平均值，map越大，则模型预测值与实际值越接近，性能越好。

14、所述的防撞辅助线是指：在待检测场景中，人工牵引设置的一条绳索，绳索上规则地分布有彩色三角旗帜，该辅助线将场景分为两个区域，场景中的车辆和抓斗在工作时应确保分别处于不同的区域中。

15、所述的图像处理算法是指：对于摄像头拍摄到的画面，依次进行二值化、形态学处理、连通域分析、直线提取流程，提取出画面中的防撞辅助线。

16、所述的二值化处理是指：将输入图像转化为只有前景和背景两部分的过程。对于平均亮度较高的图片，使用大津法进行二值化处理，对于平均亮度较低的图片，使用自适应阈值算法进行二值化。在二值化之后，辅助线将会保留在前景中，同时前景中还残留有其他亮度较高的杂质。

17、所述的形态学处理是指：先试用形态学开操作，尝试去除辅助线中的绳索部分，只保留彩旗。随后应用形态学闭操作填充图像中的空洞，将前景中可能存在的杂质尽可能连接起来。经过此步处理之后，除彩旗之外的其他杂质会被连为整体。

18、所述的连通域分析是指：对于二值图像中的连通域，按照面积进行筛选，将面积大于某一阈值的连通域去掉，经过该处理后，前景中基本只剩下彩旗。

19、所述的直线提取是指：使用霍夫变换算法，在二值图像中提取出直线，并对提取出的多条直线取平均，最终保留一条直线作为最后输出的防撞辅助线。

20、所述的碰撞预警是指：当检测到车辆和抓斗的矩形包围框之间的水平距离小于某一阈值时，通过声音以及画面给出给出预警。同时，当检测到车辆或抓斗的矩形包围框与防撞辅助线相交时，通过声音以及画面给出另一种类型的预警。

21、技术效果

22、相比只实现了对抓斗的单个目标识别，本发明基于目标检测算法的同时识别挖斗和工作车辆的目标检测模块、基于图像处理实现的防撞辅助线提取模块以及结合目标包围框和防撞辅助线位置实现的碰撞预警模块，通过加入图像处理方法，降低了人工误判的概率以及碰撞风险。

技术特征：

1.本发明涉及一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统，其特征在于，包括：图像采集模块、模型训练模块、模型识别模块、图像处理模块以及碰撞预警模块，其中：图像采集模块使用摄像头采集场景照片，用于制作训练数据集或在实际工作时用作识别预测模块的输入；模型训练模块使用采集到的图片训练目标检测模型；模型识别模块基于训练的到的模型，在给定图像输入后输出图片中检测到的目标位置和类别；图像处理模块用于提取图像中的防撞辅助线；碰撞预警模块会结合模型识别模块和图像处理模块提供的信息，给出碰撞预警。

2.一种基于权利要求1所述系统的基于目标检测和图像处理的抓斗卸船机碰撞预警方法，其特征在于，在卸船工作进行时持续接收设置于抓斗上方的摄像头拍摄的视频，并对采集到的视频进行预处理，制作成训练数据集后用于训练目标检测模型，当模型经过调优准确率达标之后，再将实际工作状态下的视频输入模型，模型会获取到视频中车辆以及抓斗的矩形包围框位置，再结合图像处理算法提取出场景中的防撞辅助线，通过判断是否有碰撞的风险，并给出相应警告信号；

3.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的视频片段包括抓斗以及车辆，且涵括各种可能在工作时出现的光照条件、天气状况。

4.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的训练是指：基于faster-rcnn目标检测模型，结合fpn特征提取网络进行训练，将数据集中的图片作为输入参数，同时将输出的检测目标包围框位置和目标标签作为输出参数，不断地对神经网络参数进行迭代优化，该神经网络参数包括：批量大小batch_size、学习率learning rate。

5.根据权利要求2或4所述的抓斗卸船机碰撞预警方法，其特征是，所述的训练采用sgd算法对训练过程进行优化，基于训练数据迭代地更新faster-rcnn网络和fpn网络的权重，直到模型收敛或损失函数达到要求；

6.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的防撞辅助线是指：在待检测场景中，人工牵引设置的一条绳索，绳索上规则地分布有彩色三角旗帜，该辅助线将场景分为两个区域，场景中的车辆和抓斗在工作时应确保分别处于不同的区域中。

7.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的图像处理算法是指：对于摄像头拍摄到的画面，依次进行二值化、形态学处理、连通域分析、直线提取流程，提取出画面中的防撞辅助线；

8.根据权利要求2所述的抓斗卸船机碰撞预警方法，其特征是，所述的碰撞预警是指：当检测到车辆和抓斗的矩形包围框之间的水平距离小于某一阈值时，通过声音以及画面给出给出预警；当检测到车辆或抓斗的矩形包围框与防撞辅助线相交时，通过声音以及画面给出另一种类型的预警。

技术总结
一种基于目标检测和图像处理的抓斗卸船机碰撞预警系统，包括：图像采集模块、模型训练模块、模型识别模块、图像处理模块以及碰撞预警模块，图像采集模块使用摄像头采集场景照片，用于制作训练数据集或在实际工作时用作识别预测模块的输入；模型训练模块使用采集到的图片训练目标检测模型；模型识别模块基于训练的到的模型，在给定图像输入后输出图片中检测到的目标位置和类别；图像处理模块用于提取图像中的防撞辅助线；碰撞预警模块会结合模型识别模块和图像处理模块提供的信息，给出碰撞预警。本发明使用图像处理方法提取了视频中的防撞辅助线，并在车辆或抓斗接近防撞辅助线时给出预警，进一步提高了碰撞预警的可靠性的同时，使用形态学处理、霍夫变换图像处理方法提取出了图像中的防撞辅助线。

技术研发人员：吕旭晖,吴刚
受保护的技术使用者：上海交通大学
技术研发日：
技术公布日：2024/1/13