水下镜头污渍的检测方法和水下机器人与流程

本申请涉及水下机器人领域，具体而言，涉及一种水下镜头污渍的检测方法和水下机器人。

背景技术：

光学相机是水下机器人执行观测任务时的常用设备。由于水中存在泥沙、动植物碎屑等大量悬浮物，水下相机的镜头极易沾染污渍，导致图像中出现暗斑，降低成像质量。

对于无缆型水下机器人，受水下无线通信带宽的限制，图像数据无法实时上传，人眼检测镜头污渍完全不可行。对于有缆型水下机器人，图像数据虽然能够实时上传，但人眼凝视图像检测镜头污渍费时费力，效率低下。

同时，在水下机器人镜头污渍的检测过程中，由于镜头污渍在图像中保持静止，而拍摄对象会随着与相机的相对运动而在图像中移动，常用的污渍检测技术大多利用运动学原理来检测污渍，然而在很多水下任务中，要求水下机器人处于悬停状态，例如携带机械手作业，对水文环境进行定点测量等。此时，拍摄对象与相机几乎相对静止，导致基于上述原理的检测方法不可用。

现有基于图像的镜头污渍检测方法一般是利用污渍和拍摄对象在图像上的运动差异性，例如专利cn112037188a公开的方法，先选取视频帧序列中的一帧图像作为检测帧，并在该检测帧提取候选区域；在后续帧中，采用图像跟踪算法对候选区域进行跟踪，并获取运动特征；然后对各类运动特征进行分析，确定非污渍区和可疑区。这种方法有两个缺点：一是要求图像中的污渍和拍摄对象发生明显的相对运动，这一条件在相机与拍摄对象相对静止时无法满足；二是需要拍摄一段时间的视频后才能进行污渍检测，因此不具有实时性。

因此，需要一种水下机器人镜头污渍的自动检测方法，能够在水下机器人处于悬停状态时实时检测镜头污渍。

在所述背景技术部分，公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术信息。

技术实现要素：

本申请旨在提供一种水下镜头污渍的检测方法，能够在水下机器人处于悬停状态时实时检测镜头污渍。

根据本申请的一方面，提出一种水下镜头污渍的检测方法，所述方法包括：

设置曝光时间，待检测相机进行拍摄得到待检测相机图像；

控制辅助相机以相同的曝光时间曝光，所述辅助相机进行拍摄得到辅助相机初始图像，其中，所述辅助相机相邻设置于所述待检测相机；

将所述辅助相机初始图像以所述辅助相机相对于所述待检测相机的方向进行至少两次平移，得到至少两张辅助相机对比图像；

分别计算所述至少两张辅助相机对比图像与所述待检测相机图像的像素灰度值差值，得到至少两张差值图像；

分别对所述至少两张差值图像的像素灰度值求和，并找出和最小的差值图像；

对所述和最小的差值图像进行黑白阈值处理，生成二值图像；

以结构元对所述二值图像进行形态学开运算，去除因相机视差产生的白像素，生成开运算图像；

找出所述开运算图像中白像素的连通域，计算所述连通域在所述开运算图像中的面积和重心位置；

剔除面积小于第一阈值的所述连通域，得到处理后的连通域。

将所述处理后的连通域作为镜头污渍，输出污渍面积和污渍重心位置。

根据一些实施例，在待检测相机附近设置至少一个辅助相机。

根据一些实施例，所述辅助相机与所述待检测相机的基本参数设置相同。

根据一些实施例，所述设置曝光时间，待检测相机进行拍摄得到待检测相机图像之前还包括步骤：

将待检测相机和辅助相机进行参数初始化。

根据一些实施例，所述控制辅助相机以相同的曝光时间曝光，所述辅助相机进行拍摄得到辅助相机初始图像，其中，所述辅助相机相邻设置于所述待检测相机之后还包括步骤：

对比所述辅助相机初始图像与所述待检测相机图像。

根据一些实施例，所述至少两次平移的平移量不同。

根据一些实施例，所述结构元的形状为圆形或矩形。

根据一些实施例，所述第一阈值为1%所述开运算图像的面积。

根据本申请的另一方面，提出一种水下机器人，包括：

机器人本体；

待检测相机，设置于所述机器人本体；

辅助相机，设置于所述机器人本体；

移动模块，用于移动所述机器人本体的位置；

污渍检测模块，用于实现上述任一所述的方法。

根据本申请的一些实施例，检测原理是基于多相机同时刻图像的对比，不依赖镜头污渍与拍摄对象的相对运动，因此可实现在相机和拍摄对象相对静止时检测镜头污渍。

根据本申请的一些实施例，通过相机即时拍摄对比，无需等待录制一定时长的视频，因此可逐帧实时检测镜头污渍。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。

图1示出根据本申请示例实施例的水下镜头污渍的检测方法流程图。

图2示出根据本申请一些实施例的水下镜头污渍的检测方法流程图。

图3示出根据本申请一些实施例的待检测相机图像。

图4示出根据本申请一些实施例的辅助相机初始图像。

图5示出根据本申请一些实施例的第一辅助相机对比图像。

图6示出根据本申请一些实施例的第二辅助相机对比图像。

图7示出根据本申请一些实施例的第三辅助相机对比图像。

图8示出根据本申请一些实施例的第四辅助相机对比图像。

图9示出根据本申请一些实施例的第一差值图像。

图10示出根据本申请一些实施例的第二差值图像。

图11示出根据本申请一些实施例的第三差值图像。

图12示出根据本申请一些实施例的第四差值图像。

图13示出根据本申请一些实施例的二值图像。

图14示出根据本申请一些实施例的开运算图像。

图15示出根据本申请一些实施例的连通域图像。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有这些特定细节中的一个或更多，或者可以采用其它的方式、组元、材料、装置或等。在这些情况下，将不详细示出或描述公知结构、方法、装置、实现、材料或者操作。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本申请提出一种水下镜头污渍的检测方法，能够在水下机器人处于悬停状态时实时检测镜头污渍。

根据本申请的技术构思，检测原理是基于多相机同时刻图像的对比，不依赖镜头污渍与拍摄对象的相对运动，因此可实现在相机和拍摄对象相对静止时检测镜头污渍。通过相机即时拍摄对比，无需等待录制一定时长的视频，因此可逐帧实时检测镜头污渍。

下面将参照附图，对根据本申请实施例的水下镜头污渍的检测方法进行详细说明。

图1示出根据本申请示例实施例的水下镜头污渍的检测方法流程图。

如图1所示，本申请示例实施例的水下镜头污渍的检测方法包括如下步骤：

在s101，得到待检测相机图像。

设置曝光时间，待检测相机进行拍摄得到待检测相机图像。

根据示例实施例，所述曝光时间为1/1000秒～1/40秒。

在s103，得到辅助相机初始图像。

控制辅助相机以相同的曝光时间曝光，所述辅助相机进行拍摄得到辅助相机初始图像，其中，所述辅助相机相邻设置于所述待检测相机。

在s105，平移得到辅助相机对比图像。

将所述辅助相机初始图像以所述辅助相机相对于所述待检测相机的方向进行至少两次平移，得到至少两张辅助相机对比图像。

根据示例实施例，所述每次平移的平移量为1个像素～20个像素。

根据示例实施例，得到辅助相机对比图像后，将平移产生的与所述辅助相机初始图像无重叠的区域记为边界空白区域。

根据本申请实施例，平移图像中的边界空白区域在差值计算中会被忽略，理论上像素灰度值可设为0～255之间的任意值。本申请实施例的平移图像中为显示美观，边界空白区的每列像素取值都与原图像最左列的像素相同。

在s107，得到差值图像。

分别计算所述至少两张辅助相机对比图像与所述待检测相机图像的像素灰度值差值，得到至少两张差值图像。

根据本申请实施例，将差值图像中对应所述边界空白区域中的所有像素灰度值赋值为0。

在s109，找出和最小的差值图像。

分别对所述至少两张差值图像的像素灰度值求和，并找出和最小的差值图像。

在s111，生成二值图像。

对所述和最小的差值图像进行黑白阈值处理，生成二值图像。

根据一些实施例，除了黑白阈值处理外，也可以选用其他能区分边界范围的颜色用于阈值处理。

在s113，生成开运算图像。

以结构元对所述二值图像进行形态学开运算，去除因相机视差产生的白像素，生成开运算图像。

在s115，得到连通域的面积和重心位置。

找出所述开运算图像中白像素的连通域，计算所述连通域在所述开运算图像中的面积和重心位置。

在s117，处理连通域。

剔除面积小于第一阈值的所述连通域，得到处理后的连通域。

在s119，输出污渍的面积和重心位置。

将所述处理后的连通域作为镜头污渍，输出污渍面积和污渍重心位置。

根据本申请的示例实施例，通过相机即时拍摄对比，无需等待录制一定时长的视频，因此可逐帧实时检测镜头污渍。

图2示出根据本申请一些实施例的水下镜头污渍的检测方法流程图。

如图2所示，本申请一些实施例的水下镜头污渍的检测方法包括如下步骤：

在s201，参数初始化。

将待检测相机和辅助相机进行参数初始化。

根据一些实施例，在待检测相机附近设置至少一个辅助相机。

根据一些实施例，所述辅助相机与所述待检测相机的基本参数设置相同。

在s203,得到待检测相机图像。

设置曝光时间，待检测相机进行拍摄得到待检测相机图像。

在s205，得到辅助相机初始图像。

控制辅助相机以相同的曝光时间曝光，所述辅助相机进行拍摄得到辅助相机初始图像，其中，所述辅助相机相邻设置于所述待检测相机。

在s207，平移得到辅助相机对比图像。

将所述辅助相机初始图像以所述辅助相机相对于所述待检测相机的方向进行至少两次平移，得到至少两张辅助相机对比图像。

根据一些实施例，所述至少两次平移的平移量不同。

在s209，得到差值图像。

分别计算所述至少两张辅助相机对比图像与所述待检测相机图像的像素灰度值差值，得到至少两张差值图像。

在s211，找出和最小的差值图像。

分别对所述至少两张差值图像的像素灰度值求和，并找出和最小的差值图像。

在s213，生成二值图像。

对所述和最小的差值图像进行黑白阈值处理，生成二值图像。

在s215，生成开运算图像。

以结构元对所述二值图像进行形态学开运算，去除因相机视差产生的白像素，生成开运算图像。

根据一些实施例，所述结构元的形状为圆形或矩形。

在s217，得到连通域的面积和重心位置。

找出所述开运算图像中白像素的连通域，计算所述连通域在所述开运算图像中的面积和重心位置。

在s219，处理连通域。

剔除面积小于第一阈值的所述连通域，得到处理后的连通域。

根据一些实施例，所述第一阈值为1%所述开运算图像的面积。

在s221，输出污渍的面积和重心位置。

将所述处理后的连通域作为镜头污渍，输出污渍面积和污渍重心位置。

根据本申请的一方面，本申请的检测原理是基于多相机同时刻图像的对比，不依赖镜头污渍与拍摄对象的相对运动，因此可实现在相机和拍摄对象相对静止时检测镜头污渍。

图3示出根据本申请一些实施例的待检测相机图像。

参见图3，设置所述待检测相机的曝光时间，得到待检测相机图像，如图3所示。

图4示出根据本申请一些实施例的辅助相机初始图像。

参见图4，通过控制所述辅助相机以与所述主相机相同的曝光时间曝光，使主相机与辅助相机拍摄图像平均灰度值基本一致，得到辅助相机初始图像，如图4所示。

图5示出根据本申请一些实施例的第一辅助相机对比图像。图6示出根据本申请一些实施例的第二辅助相机对比图像。图7示出根据本申请一些实施例的第三辅助相机对比图像。图8示出根据本申请一些实施例的第四辅助相机对比图像。

参见图5～图8，将辅助相机初始图像向右平移20次，每次平移量为4个像素，依次得到平移量为20像素时的第一辅助相机对比图像，如图5所示；平移量为36像素时的第二辅助相机对比图像，如图6所示；平移量为60像素时的第三辅助相机对比图像，如图7所示；平移量为80像素时的第四辅助相机对比图像，如图8所示。

图9示出根据本申请一些实施例的第一差值图像。图10示出根据本申请一些实施例的第二差值图像。图11示出根据本申请一些实施例的第三差值图像。图12示出根据本申请一些实施例的第四差值图像。

参见图9～图12，分别计算辅助相机对比图像与所述待检测相机图像的差值，依次得到平移量为20像素时的第一差值图像，如图9所示；平移量为36像素时的第二差值图像，如图10所示；平移量为60像素时的第三差值图像，如图11所示；平移量为80像素时的第四差值图像，如图12所示。

图13示出根据本申请一些实施例的二值图像。

参见图13，对各差值图像的所有像素灰度值求和，找出和最小的差值图像，一些实施例中以平移量为36像素时的第二差值图像为例。对和最小的差值图像进行黑白阈值处理，生成二值图像，如图13所示。

图14示出根据本申请一些实施例的开运算图像。

参见图14，以圆形或矩形结构元对所述二值图像进行形态学开运算，去除因相机视差产生的白像素，生成开运算图像，如图14所示。

图15示出根据本申请一些实施例的连通域图像。

参见图15，找出所述开运算图像中白像素的连通域，得到连通域图像，如图15所示，计算所述连通域在所述开运算图像中的面积和重心位置。剔除面积小于1%所述开运算图像的面积的所述连通域，得到处理后的连通域。将所述处理后的连通域作为镜头污渍，输出污渍面积和污渍重心位置。

综上，本申请的检测原理是基于多相机同时刻图像的对比，不依赖镜头污渍与拍摄对象的相对运动，因此可实现在相机和拍摄对象相对静止时检测镜头污渍。本申请通过相机即时拍摄对比，无需等待录制一定时长的视频，因此可逐帧实时检测镜头污渍。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。