一种基于半监督学习的轻量级监控视频去雨方法

1.本发明涉及底层计算机视觉去噪技术领域，特别是一种基于半监督学习的轻量级监控视频去雨方法。


背景技术：

2.当前，随着监控视频的普及，监控中目标的识别和跟踪技术得到了广泛的应用。然而，在雨天环境下，必然导致监控中目标的模糊、遮挡等，已经严重影响到目标识别算法的精度和效果，在这些监控场景下去除恶劣雨天带来的视频模糊，实现清晰的视频监控有着强烈的需求。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于半监督学习的轻量级监控视频去雨方法，较采用其他监控视频去雨方法相比在准确率性能上表现最好，并且处理速度达到针对不同运行环境的实时要求，优势明显。
4.为实现上述目的，本发明采用如下技术方案：一种基于半监督学习的轻量级监控视频去雨方法，包括如下步骤：
5.步骤s1：对监控场景进行分析，确定所需处理视频流的分辨率和帧率，确定算法运行的频率，获取参考背景帧信息；
6.步骤s2：采用门控卷积模块，提取并融合当前视频帧的雨纹特征和历史背景特征，得到雨纹分布和背景特征的融合输入特征；
7.步骤s3：采用递归残差网络进行多层级处理和递归密集学习，通过跨不同级联块的参数共享，使得在轻量级网络下提升去雨效果；
8.步骤s4：利用半监督学习方式训练网络，来增强轻量级监控视频去雨方法的泛化性能；将监控视频去雨结果和原始视频对比，并执行模型运行时间，验证算法的可靠性。
9.在一较佳的实施例中，所述步骤s1具体实现如下：
10.步骤s11：获取监控视频流，分析监控视频流的分辨率和帧率；
11.步骤s12：若监控的历史视频流中有无雨背景图，则保存当前监控场景中某一时刻中无雨的背景信息图i作为网络的其中一个输入；
12.步骤s13：根据视频分辨率大小和帧率，确定视频流中每秒处理的帧数α；将获取到的视频流按每秒α帧的平均间隔输入到算法当中。
13.在一较佳的实施例中，所述步骤s2具体实现如下：
14.步骤s21：通过雨纹提取模块reb提取出当前帧t的雨纹特征r1、上一帧t-1的背景特征r2；
15.步骤s221：如果背景信息图i存在，则利用雨纹提取模块reb提取出当前场景中无雨的背景特征r3，再通过背景融合模块bfb融合r2和r3得到r4，作为接下来的输入；
16.步骤s222：如果背景信息图i不存在，则将步骤s21中所提取的上一帧t-1的背景特
征r2作为接下来的输入；
17.步骤s23：将步骤s22得到的r1和r4组合或r1和r2组合送入gru门控循环单元对提取的特征进行融合，输出融合特征r0；
18.步骤s24：保留背景特征r2或r4作为网络另一个支路的输入。
19.在一较佳的实施例中，所述步骤s3具体实现如下：
20.步骤s31：将步骤s2得到的特征r0输入到递归残差网络rrn中进行多层级处理mtp和递归密集学习rdl；
21.步骤s32：在步骤s3 1中，通过跨不同级联块cb以及递归密集模块rdb的参数重利用，使得网络在轻量级的条件下提升去雨的效果，输出特征rt；
22.步骤s33：将步骤s2中得到的r2或r4和步骤s32输出的特征rt经过gru门控循环单元对特征进一步筛选后，得到当前帧的去雨结果图；反复运行算法直到视频流截止。
23.在一较佳的实施例中，所述步骤s4具体实现如下：
24.步骤s41：将均方根损失mse、结构相似性损失ssim和感知损失perceptual loss作为模型有监督学习supervised learning支路的训练损失，将总变分损失tv loss作为模型无监督学习unsupervised learning支路的训练损失，对模型训练过程进行实时评价，实时保存训练模型和数据；
25.步骤s42：引入有参考的性能评价指标psnr和ssim对任务完成情况进行评价：
26.步骤s43：引入运行时间runtime和模型参数量parameter numbers作为模型复杂度的评价指标；引入目标检测算法作为评价指标。
27.与现有技术相比，本发明具有以下有益效果：本发明方法提供了基于半监督学习的轻量级监控视频去雨方法，有效地提高了视频处理的速度、降低了模型复杂度，具有非常广泛的应用前景。
附图说明
28.图1是本发明优选实施例过程中的整体工作流程图；
29.图2是本发明优选实施例中的gcb和rrn网络模型图；
30.图3是本发明优选实施例中的去雨前后对比图；
31.图4是本发明优选实施例中的雨图、全监督学习去雨图和半监督学习去雨图；
32.图5是本发明优选实施例中的去雨前后目标检测精度对比图。
具体实施方式
33.下面结合附图及实施例对本发明做进一步说明。
34.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
35.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
36.本实施例提供一种基于半监督学习的轻量级监控视频去雨方法，参考图1至5，包括以下步骤：步骤s1：对监控场景进行分析，确定所需处理视频流的分辨率和帧率，确定算法运行的频率，获取参考背景帧信息；步骤s2：采用门控卷积模块，提取并融合当前视频帧的雨纹特征和历史背景特征，得到雨纹分布和背景特征的融合输入特征；步骤s3：采用递归残差网络进行多层级处理和递归密集学习，通过跨不同级联块的参数共享，使得在轻量级网络下提升去雨效果；步骤s4：利用半监督学习方式训练网络，来增强轻量级监控视频去雨方法的泛化性能。将监控视频去雨结果和原始视频对比，并执行模型运行时间，验证算法的可靠性。
37.在本实施例中，所述步骤s1，对监控场景进行分析，确定算法运行的频率，获取参考背景帧信息，具体包括以下步骤：
38.步骤s11：获取监控视频流，分析监控视频流的分辨率和帧率。
39.步骤s12：若监控的历史视频流中有无雨背景图，则保存当前监控场景中某一时刻中无雨的背景信息图i作为网络的其中一个输入。
40.步骤s13：根据视频分辨率大小和帧率，确定视频流中每秒处理的帧数α；将获取到的视频流按每秒α帧的平均间隔输入到算法当中。
41.gcb框架模型如图2所述：在本实施例中，门控卷积模块gcb用于融合当前视频帧的雨纹特征和历史背景特征。本实施例中，步骤s2：采用门控卷积模块，提取并融合当前视频帧的雨纹特征和历史背景特征，得到雨纹分布和背景特征的融合输入特征，具体包括以下步骤：
42.步骤s21：通过雨纹提取模块reb提取出当前帧t的雨纹特征r1、上一帧t-1的背景特征r2。
43.步骤s221：如果背景信息图i存在，则利用雨纹提取模块reb提取出当前场景中无雨的背景特征r3，再通过背景融合模块bfb融合r2和r3得到r4，作为接下来的输入。
44.步骤s222：如果背景信息图i不存在，则将步骤s21中所提取的上一帧t-1的背景特征r2作为接下来的输入。
45.步骤s23：将步骤s22得到的r1和r4组合或r1和r2组合送入gru门控循环单元对提取的特征进行融合，输出融合特征r0。
46.步骤s24：保留背景特征r2或r4作为网络另一个支路的输入。
47.rrn框架模型如图2所述：在本实施例中，递归残差网络rrn用于多层级处理和递归密集学习。本实施例中，步骤s3：采用递归残差网络进行多层级处理和递归密集学习，通过跨不同级联块的参数共享，使得在轻量级网络下提升去雨效果，具体包括以下步骤：
48.步骤s3 1：将步骤s2得到的特征r0输入到递归残差网络rrn中进行多层级处理mtp和递归密集学习rdl。
49.步骤s32：在步骤s3 1中，通过跨不同级联块cb以及递归密集模块rdb的参数重利用，使得网络在轻量级的条件下提升去雨的效果，输出特征rt。
50.步骤s33：将步骤s2中得到的r2或r4和步骤s32输出的特征rt经过gru门控循环单元对特征进一步筛选后，得到当前帧的去雨结果图。反复运行算法直到视频流截止。
51.利用半监督学习方式训练网络，来增强轻量级监控视频去雨方法的泛化性能。将监控视频去雨结果和原始视频对比，并执行模型运行时间，验证算法的可靠性。具体包括以
下步骤：
52.步骤s41：将均方根损失mse、结构相似性损失ssim和感知损失perceptual loss作为模型有监督学习supervised learning支路的训练损失，将总变分损失tv loss作为模型无监督学习unsupervised learning支路的训练损失，对模型训练过程进行实时评价，实时保存训练模型和数据。
53.步骤s42：引入有参考的性能评价指标psnr和ssim对任务完成情况进行评价。
54.步骤s43：引入运行时间runtime和模型参数量parameter numbers作为模型复杂度的评价指标；引入目标检测算法作为评价指标。
55.以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。