基于边缘检测提示的高效超低光照视频分割方法和装置

本公开涉及计算机技术，具体地，涉及一种基于边缘检测提示的高效超低光照视频分割方法和装置。

背景技术：

1、深度学习(deep learning)在计算机视觉领域取得了突破性进展，尤其是在图像分割任务方面。图像分割的目的是将图像中的每个像素划分为不同的类别，这对于理解图像内容至关重要。

2、尽管深度学习在图像分割方面取得了巨大成功，但在一些恶劣情况下仍面临挑战。其中之一就是极低光照条件下的图像分割。在这种情况下，图像中的光照极度不足，导致图像质量急剧下降，因为缺乏足够的光照，很难捕捉到重要的视觉特征。这种情况经常发生在夜间监控、森林野生动物追踪和太空探索任务中。极低光照条件下的图像分割对于确保自动驾驶汽车的安全、提高夜间监控设备的性能以及支持太空探索任务至关重要。

技术实现思路

1、本公开的目的是提供一种基于边缘检测提示的高效超低光照视频分割方法、装置、介质及电子设备，该基于边缘检测提示的高效超低光照视频分割方法，大大提高了在极弱光视频中的分割性能和效率。

2、为了实现上述目的，本公开提供一种基于边缘检测提示的高效超低光照视频分割方法，包括：获取目标视频；基于低光边缘检测模型，检测目标视频中各个视频帧的低光边缘信息；将目标视频和上述低光边缘信息输入至预先训练的语义分割模型，得到上述语义分割模型输出的分割蒙版；基于上述分割蒙版，对上述目标视频进行处理。

3、可选地，上述基于低光边缘检测模型，检测目标视频中各个视频帧的低光边缘信息，包括：将目标视频分为多个视频子序列；基于低光边缘检测模型，提取视频子序列的第一帧边缘信息，并将第一帧边缘信息作为运动补偿的基础信息；使用视频子序列中第一帧之后的每帧的运动矢量，以及根据运动矢量获取每帧相对于第一帧的运动信息，其中，运动矢量包含了物体运动的位移和方向信息；根据每帧对应的运动信息调整作为基础信息的第一帧边缘信息，得到每帧的边缘信息。

4、可选地，上述低光边缘检测模型包括编码器、解码器和损失函数；其中编码器包括第一卷积块，每个第一卷积块包括卷积层和leakyrelu激活函数，以及最大池化层；解码器包括第二卷积块，每个第二卷积块包括转置卷积层、卷积层和leakyrelu激活函数；上述低光边缘检测模型的损失函数为二元交叉熵损失函数。

5、可选地，上述低光边缘检测模型的数据集包含在低光条件下拍摄的原始图像和相应的高质量图像；以及上述低光边缘检测模型的训练步骤包括：针对上述数据集中的高质量图像生成边缘注释信息；基于原始图像和边缘注释信息，训练初始的低光边缘检测模型，得到训练完成的低光边缘检测模型。

6、可选地，上述将目标视频和上述低光边缘信息输入至预先训练的语义分割模型，得到上述语义分割模型输出的分割蒙版，包括：提取目标视频中物体的物体边缘信息；根据低光边缘信息和提取的物体边缘信息，生成分割蒙版序列，其中，分割蒙版序列与目标视频中的视频帧一一对应。

7、可选地，上述低光边缘信息包括用于构成轮廓的连续的点；以及上述方法还包括：针对每个物体的轮廓，生成包围该轮廓的最小矩形，作为提示边界框。

8、可选地，上述提示边界框为上述语义分割模型的引导输入或者直接输入。

9、第二方面，本公开提供了一种基于边缘检测提示的高效超低光照视频分割装置，包括：获取单元，用于获取目标视频；检测单元，用于基于低光边缘检测模型，检测目标视频中各个视频帧的低光边缘信息；生成单元，用于将目标视频和上述低光边缘信息输入至预先训练的语义分割模型，得到上述语义分割模型输出的分割蒙版；处理单元，用于基于上述分割蒙版，对上述目标视频进行处理。

10、第三方面，本公开提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一可选方式所示方法的步骤。

11、第四方面，本公开提供了一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行上述存储器中的上述计算机程序，以实现上述第一方面任一可选方式所示方法的步骤。

12、通过上述技术方案，基于低光边缘检测模型，检测目标视频中各个视频帧的低光边缘信息；将目标视频和上述低光边缘信息输入至预先训练的语义分割模型，得到上述语义分割模型输出的分割蒙版；基于上述分割蒙版，对上述目标视频进行处理，将语义分割模型与边缘检测相结合，语义分割模型利用低光边缘检测模型的低光边缘信息作为sam的引导输入，从而生成高分辨率、高精度的分割蒙版，不仅提高了处理超低光视频的准确性，还为其他具有挑战性的环境中的视频分割提供了强大的支持。

13、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种基于边缘检测提示的高效超低光照视频分割方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于低光边缘检测模型，检测目标视频中各个视频帧的低光边缘信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述低光边缘检测模型包括编码器、解码器和损失函数；其中

4.根据权利要求1所述的方法，其特征在于，所述低光边缘检测模型的数据集包含在低光条件下拍摄的原始图像和相应的高质量图像；以及

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述将目标视频和所述低光边缘信息输入至预先训练的语义分割模型，得到所述语义分割模型输出的分割蒙版，包括：

6.根据权利要求1所述的方法，其特征在于，所述低光边缘信息包括用于构成轮廓的连续的点；以及

7.根据权利要求6所述的方法，其特征在于，所述提示边界框为所述语义分割模型的引导输入或者直接输入。

8.一种基于边缘检测提示的高效超低光照视频分割装置，其特征在于，包括：

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

技术总结
本公开涉及一种基于边缘检测提示的高效超低光照视频分割方法和装置，获取目标视频；基于低光边缘检测模型，检测目标视频中各个视频帧的低光边缘信息；将目标视频和所述低光边缘信息输入至预先训练的语义分割模型，得到所述语义分割模型输出的分割蒙版；基于所述分割蒙版，对所述目标视频进行处理。由此，提高了处理超低光视频的准确性，还为其他具有挑战性的环境中的视频分割提供了强大的支持。

技术研发人员：韩宇星,王智韬,温江涛
受保护的技术使用者：清华大学深圳国际研究生院
技术研发日：
技术公布日：2024/5/10