一种基于多通道图像的防溺水检测方法、系统及存储介质与流程

本发明涉及计算机视觉领域，尤其涉及一种基于多通道图像的防溺水检测方法、系统及存储介质。

背景技术：

1、近年来，溺水已经成为全国主要的意外死亡因素之一，特别是在儿童和青少年群体中，这一问题尤为突出。很多情况下，这些不幸事件都是由于缺乏高效和可靠的防溺水报警机制，从而导致救助不及时，最终酿成悲剧。

2、当前，防溺水的主要手段依赖于人工巡查，这一方法存在几个明显的缺陷。首先，人工巡查效率低下，需要大量的人力物力投入，并且经常出现时间和地域的空档期，无法实现全面覆盖。其次，缺乏实时监测和告警机制，这在一定程度上阻碍了对溺水事件的及时发现和救助，从而增加了潜在风险。

3、此外，虽然目前有些技术尝试通过目标检测和电子围栏等手段进行危险水域的监控，如专利cn 116246417 a和cn 116527850 a，但这些方法通常由于没有结合人员与危险水域的实际距离信息，导致检测精度不高，容易出现误判和漏检。

4、综上所述，解决如何准确、高效地进行溺水风险的实时监测与预警，以减少意外事故，提高公共安全，是目前计算机视觉与公共安全领域内技术人员亟待解决的问题。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供一种基于多通道图像的防溺水检测方法、系统及存储介质。

2、第一方面，本发明提供一种基于多通道图像的防溺水检测方法，包括：

3、利用语义分割模型，对采集的水域场景的rgb图像进行水面分割，生成区分rgb图像水面和非水面的水面掩膜；

4、通过深度估计模型计算水域场景的rgb图像每个像素点的深度，利用所述水面掩膜、深度和相机内参计算每个背景像素距离最近水面的距离，并生成水体距离信息图像；

5、将rgb图像与水体距离信息图像拼接，得到多通道图像；

6、通过训练好的防溺水检测模型，对输入的多通道图像进行防溺水检测。

7、更进一步地，制作水面语义分割数据集，所述水面语义分割数据集包含多种环境和条件下水域场景的rgb图像和对应rgb图像的水面掩膜标签；

8、以水面语义分割数据集中水面掩膜标签和语义分割模型生成的水面掩膜的iou最大为目标，通过所述水面语义分割数据集训练语义分割模型，生成的语义分割模型对采集的水域场景的rgb图像进行水面分割，生成区分rgb图像水面和非水面的水面掩膜。

9、更进一步地，制作深度估计数据集，所述深度估计数据集包含多种环境和条件下的rgb图像和深度标签；

10、利用所述深度估计数据集训练用于估计图像中每个像素的深度值单目深度估计模型。

11、更进一步地，利用所述水面掩膜获、深度和相机内参计算每个背景像素距离最近水面的距离包括：

12、利用深度图像素的深度值、像素坐标和采集图像的相机内参计算各个像素点的三维坐标，其中所述相机内参包括相机的焦距和光心坐标；

13、利用所述水面掩膜获取水面边沿；

14、利用三维坐标和水面边沿计算每个背景像素距离最近水面的距离。

15、更进一步地，对于深度图中的一个像素点(u,v)，其深度值为d，像素点的三维坐标(x,y,z)，则转换公式如下：

16、

17、

18、z＝d；

19、其中，fx fy是相机的焦距，cx cy是光心坐标。

20、更进一步地，对多通道图像中rgb图像进行人员入侵检测标注，即将靠近水面的人员标注为隐患人员，其余标注为正常人员，得到检测数据集标签；

21、修改目标检测模型的输入通道数为4，使其支持多通道图像的输入；

22、使用多通道图像和标签组成的防溺水数据集训练防溺水检测模型。

23、第二方面，本发明提供一种基于rgb图像与水体距离信息的防溺水检测系统，实现所述的基于多通道图像的防溺水检测方法，包括：

24、图像采集模块，所述图像采集模块采集水面场景的rgb图像；

25、图像分割模块，所述图像分割模块利用语义分割模型，对采集的水域场景的rgb图像进行水面分割，生成区分rgb图像水面和非水面的水面掩膜；

26、深度估计模块，所述深度估计模块通过深度估计模型计算水域场景的rgb图像每个像素点的深度，

27、水体距离信息图像生成模块，所述水体距离信息图像生成模块利用所述水面掩膜、深度和相机内参计算每个背景像素距离最近水面的距离，并生成水体距离信息图像；

28、多通道图像构建模块，所述多通道图像构建模块将rgb图像与水体距离信息图像拼接，得到多通道图像；

29、检测模块，所述检测模块通过训练好的防溺水检测模型，对输入的多通道图像进行防溺水检测。

30、第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时，实现所述的基于多通道图像的防溺水检测方法。

31、本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

32、本发明利用语义分割模型将输入的rgb图像进行水面分割，得到水面掩膜。其次，通过深度估计模型计算图像中每个背景像素的深度，利用深度、水面掩膜和相机内参计算每个背景像素距离最近水面的距离，并生成水体距离信息图像。然后，将rgb图像与距离信息图像进行拼接，得到多通道图像，并基于这种多通道图像构建防溺水目标检测数据集。最后，使用该数据集进行防溺水检测模型的训练，并用训练好的模型对新的多通道图像进行防溺水检测。本发明的多通道图像包含rgb特征和距离特征，基于多通道图像训练防溺水检测模型，通过在输入层融合水面距离信息和人员信息，该方法能更准确地捕捉人员与水面之间的关系，从而提高告警准确性。

技术特征：

1.一种基于多通道图像的防溺水检测方法，其特征在于，包括：

2.根据权利要求1所述的基于多通道图像的防溺水检测方法，其特征在于，制作水面语义分割数据集，所述水面语义分割数据集包含多种环境和条件下水域场景的rgb图像和对应rgb图像的水面掩膜标签；

3.根据权利要求1所述的基于多通道图像的防溺水检测方法，其特征在于，制作深度估计数据集，所述深度估计数据集包含多种环境和条件下的rgb图像和深度标签；

4.根据权利要求1所述的基于多通道图像的防溺水检测方法，其特征在于，利用所述水面掩膜获、深度和相机内参计算每个背景像素距离最近水面的距离包括：

5.根据权利要求4所述的基于多通道图像的防溺水检测方法，其特征在于，对于深度图中的一个像素点(u,v)，其深度值为d，像素点的三维坐标(x,y,z)，则转换公式如下：

6.根据权利要求1所述的基于多通道图像的防溺水检测方法，其特征在于，对多通道图像中rgb图像进行人员入侵检测标注，即将靠近水面的人员标注为隐患人员，其余标注为正常人员，得到检测数据集标签；

7.一种基于rgb图像与水体距离信息的防溺水检测系统，实现权利要求1-6任一所述的基于多通道图像的防溺水检测方法，其特征在于，包括：

8.一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的基于多通道图像的防溺水检测方法。

技术总结
本发明涉及一种基于多通道图像的防溺水检测方法、系统及存储介质，涉及计算机视觉技术领域。本发明利用语义分割模型将输入的RGB图像进行水面分割，得到水面掩膜。通过深度估计模型计算图像中每个背景像素的深度，利用深度、水面掩膜和相机内参计算每个背景像素距离最近水面的距离，并生成水体距离信息图像。将RGB图像与距离信息图像进行拼接，得到多通道图像，并基于多通道图像构建防溺水目标检测数据集，以进行防溺水检测模型的训练。训练好的模型进行防溺水检测。多通道图像包含RGB特征和距离特征，通过在输入层融合水面距离信息和人员信息，该方法能更准确地捕捉人员与水面之间的关系，从而提高告警准确性。

技术研发人员：王硕,刘治财,梁艳艳,王志文,王壮,马明普,史卫中
受保护的技术使用者：山东智洋上水信息技术有限公司
技术研发日：
技术公布日：2024/4/17