一种镜头付着物的检测系统、终端和存储介质的制作方法

本发明涉及汽车电子技术领域，特别是涉及一种镜头付着物的检测系统、终端和存储介质。

背景技术：

在现有技术中，“自动代客泊车”(autovaletparking)成为自动驾驶领域的热门技术之一，同样也将是自动驾驶量产道路上的一个重要里程碑。作为一套完整的自动无人驾驶汽车系统，avp系统以低速驾驶汽车或将汽车停在有限的区域内，如停车场或周围道路。此外，作为泊车辅助的一种功能扩展，也会是最早商业化的全自动驾驶功能之一。

车辆行驶过程中，经常遇到路况、天气等偶然原因，会引起镜头存在污渍、雨水遮挡的情况，这些情景对avp系统的正常运行存在破坏性影响。所以，在车辆行驶中，需要对摄像头画面进行检测，判断成像效果是否可信。

技术实现要素：

为了解决上述的以及其他潜在的技术问题，本发明提供了一种镜头付着物的检测系统、终端和存储介质，为保证辅助系统的正常运行，保证用户车身安全，需要对镜头受到不同形态的水滴遮挡，例如凝聚水滴、模糊水渍，或者镜头受到深色污迹、光斑、折射光等遮挡污染问题进行检测，及时报警。

一种镜头付着物的检测方法，包括以下步骤：

s01：图像分割：对输入图像进行疑似区域分割；

s02：特征提取：提取因附着物造成模糊的轮廓区域，并对轮廓内的一种或几种评价指标进行统计计算，综合指标结果判定区域是否为附着物；

s03：预警判断：对判定区进行累计标记，累计次数超过报警阈值的处理结果进行预警触发。

进一步地，所述步骤s01中，图像分割方式可以采用疑似区域分割算法实现或采用深度学习方式实现。

进一步地，所述步骤s01中，图像分割方式采用疑似区域分割算法包括以下步骤：

s011：图像分割降采样，

s012：提取模糊差分图，

s013：并进行多图叠加；

s014：利用二值化、滤波、形态学、阈值中的一种或几种操作以实现疑似区域图像分割。

进一步地，所述步骤s011中，图像分割降采样的操作为以下表述：假设原捕获图像是一张像素值为n*m的图像，假设降采样系数为k，降采样操作是在原捕获图像中每行每列每隔k个像素点取一个点组成一幅降采样图像，降采样图像的作用是减小图像处理的计算量，保证图像处理的实时性。

进一步地，所述步骤s012中，提取模糊差分图的操作为以下表述：对捕获图像用滤波算子进行模糊处理，将原图和模糊处理之后的图像相减，取绝对值，获得模糊差分图。

假设xsrc为原图，xblur为模糊平滑得到的图像，定义当前模糊差分图像为：deltax＝|xsrc-xblur|。提取模糊差分图的作用是，利用雨水附着的图像区域模糊特性，对滤波平滑算法不敏感；相比无雨水附着区域变化少，得以区分出附着雨水的图像区域。

deltax是当前帧模糊差分图，xsrc是当前帧原图，xblur是当前帧图像滤波平滑处理后的图。

所述模糊处理可以为高斯滤波、中值滤波、均值滤波中的一种或几种进行平滑处理。

其中使用高斯滤波、中值滤波、均值滤波和滤波核的尺寸关系如下表1所示，：

表1

优选地，由表1可知在当前图像尺寸情况下，当滤波核尺寸为5时，使用均值滤波的效果最好。

进一步地，所述步骤s013中进行多图叠加的操作为以下表述：对s012中得到模糊差分图进行n帧累计xaccum＝delatxk+deltaxk+n

xaccum为多帧累加得到的融合特征图，为k帧到k+n帧的累加结果，deltaxk为第k帧时刻的模糊差分图，deltaxk+n为第k+n帧时刻的模糊差分图。

累加得到融合特征图的作用是，短时间内雨水形态位置分布变换较少，累积连续多帧模糊差分图能够增强雨水附着模糊区域与背景的对比度，突出图像上的雨水附区域。

进一步地，所述步骤s014利用二值化处理、邻域滤波处理、形态学处理的操作为以下表述：

在多帧累加得到的融合特征图上二值化作用是，利用自动阈值划分算法，将灰度图转换为二值图，将图像分割为疑似附着物的感兴趣区域和无附着物的区域；

邻域滤波作用是统计二值图邻域内像素分布情况，剔除孤立噪点，以减小噪点对附着物感兴趣区域的影响；

形态学滤波作用是对二值图进行腐蚀操作去除较小的噪声区域、膨胀操作填充提取疑似区域中存在的空洞，修复疑似区域面积。

进一步地，所述步骤s01中，图像分割方式采用深度学习方式包括以下步骤：

预处理：将图像下采样到m*n尺寸，对图像数据存储格式进行转换为三通道bgr格式。

图像分割：将输入图像数据送入语义分割卷积神经网络，经过正向传播，输出每个像素点的分类，获得疑似附着物区域的像素点集合。

进一步地，所述采用深度学习方式获取图像分割结果时，使用的网络模型为语义分割的卷积神经网络，其特征提取的主干网络可以采用resnet18，squeezenet1.1，mobilenent等网络；语义分割反卷积部分采用了pspnet的框架，融合主干网络最后4层不同尺度的特征图，最终输出与原图大小一致的分割结果图。

进一步地，所述步骤s02特征提取中，提取区域提取轮廓的具体表述为：

轮廓提取作用是，对处理后的融合特征图进行轮廓提取，得到不同轮廓的像素集合，用于针对不同轮廓区域进行特征提取计算，评价各集合的清晰度与判定为雨水附着区域的可信程度。

进一步地，所述步骤s02特征提取中，对轮廓内的多种清晰度评价指标进行统计计算的具体表述为：

利用图像统计特征、形状纹理特征、清晰度评价特征中的一种或几种，对划分出的轮廓进行统计计算，得到不同种类的评价指标数值。

图像统计特征：gray、grads梯度、laplas二次梯度、mean/variance/max/min数学统计、均值方差、最大值、最小值

形状纹理特征：round/area圆度和面积、wavelet_f小波变换算子、

清晰度评价特征：variance、eva、hist、laplas

value＝f(area,vector)。

进一步地，所述步骤s02中对划分出的轮廓进行统计计算得到不同种类的评价指标数值时，包括两种评价方式：可信度值累加评价方式和利用分类器对轮廓区域分类判断。

进一步地，当利用分类器对轮廓区域分类判断时，对某一轮廓区域，计算得到n种评价指标数值，将n中评价指标数值整合为为该区域的特征向量；统计得到雨水区域的特征向量作为训练样本送入分类器进行训练。分类器可以选择决策树、svm、bp网络等，实现对分割出的轮廓区域进行分类判别是否为雨水区域。

进一步地，当利用可信度值累加评价方式进行判断时，对某一轮廓区域，设置有n中评价指标，每一种评价指标均设置评判选择阈值，该评判选择阈值用于表述某一轮廓区域的评价指标数值是否可以被认定为是雨水区；

对轮廓区域分别计算每一种评价指标得到n种评价指标数值，将每一种评价指标分别与该评价指标对应的评判选择阈值作比较，若超过该评价指标的评判选择阈值，则给该轮廓区域可信度加一分；若不超过该评价指标的评判选择阈值，则剔除掉该轮廓区域或者该轮廓区域可信度不加分；

最后统计图像中评价指标高于评判选择阈值的轮廓区域，并将这些区域的位置和面积信息标注出来。

进一步地，所述步骤s03中判定区累计标记的具体方式为：对检测画面网格化，划分为mxn网格；将多帧累积的输出结果映射到对应网格位置，统计网格被附着物附着数量情况，给出定量的遮挡情况。

一种镜头付着物的检测系统，包括以下模块：

图像分割模块，所述图像分割模块用于对捕获图像进行下采样、模糊和差分处理，以区分出图像中疑似因附着物造成模糊的轮廓区域与疑似未因附着物造成模糊的轮廓区域；

特征提取模块，所述特征提取模块用于提取疑似因附着物造成模糊的轮廓区域，并对轮廓内的多种清晰度评价指标进行统计计算，综合多种指标结果判定区域是否为附着物；

预警判断模块，所述预警判断模块用于统计特征提取模块判定区域并标记累计值，将累计次数超过报警阈值的判定区域进行触发报警。

进一步地，所述图像分割模块还包括降采样模块、模糊处理模块、叠加模块、后处理模块；

所述降采样模块用于减小图像像素，保证图像处理的实时性；

所述模糊处理模块用于对捕获图像用滤波算子进行模糊处理，将原图和模糊处理之后的图像相减，取绝对值，获得模糊差分图，所述模糊差分图以区分出图像中疑似因附着物造成模糊的轮廓区域与疑似未因附着物造成模糊的轮廓区域；

所述叠加模块用于将多帧连续的模糊差分图特征融合，形成融合特征图，所述叠加模块的作用是短时间内附着物形态位置分布变换较少，累积连续多帧模糊差分图能够增强附着物模糊区域与背景的对比度，突出图像上的附着物轮廓；

所述后处理模块包括二值化模块、邻域滤波模块、形态学处理模块，后处理模块用于剔除孤立噪点、去除较小的噪声区域、膨胀操作填充空洞、修复区域面积。

一种移动终端，其可以是车载终端或手机移动终端，

所述车载终端可以执行如上述镜头付着物的检测方法或搭载如上述镜头付着物的检测系统；

所述手机移动终端可以执行如上述镜头付着物的检测方法或搭载如上述镜头付着物的检测系统。

一种计算机存储介质，其是依照如上述镜头付着物的检测方法所编写的计算机程序。

如上所述，本发明的具有以下有益效果：

在雨天行驶过程中，雨水以不同形式附着在摄像头表面，也存在污渍遮挡镜头、镜头内部缺陷等情况。该情况下，不仅影响摄像头成像效果，并且降低了算法的正确性和有效性。为保证avp系统的正常运行，保证用户车身安全，需要对镜头受到遮挡污染问题进行检测，及时报警。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为背景技术中遇到问题几种情形的图像。

图2显示为本发明图像经过图像分割步骤的流程示意图。

图3显示为本发明预警步骤的示意图。

图4显示为本发明邻域滤波的示意图。

图5显示为图2中局部区域轮廓的放大图和空洞填充后的对比图。

图6显示为图2经过特征提取之后的示意图。

图7显示为本发明方法应用在无聚焦情形下镜头附着物检测结果示意图。

图8显示为本发明方法应用在具有水雾情形下镜头附着物检测结果示意图。

图9显示本发明方法应用在具有污渍情形下镜头附着物检测结果示意图。

图10显示本发明方法应用在聚焦情形下镜头附着物检测结果示意图。

图11显示本发明方法应用在大面积场景下镜头附着物检测结果示意图。

图12显示本发明方法流程中使用深度学习作为图像分割方法时，相同帧图像的原图、特征融合图、特征提取图、特征提取图的对比展示图。

图13显示为另一实施例中本发明方法流程中使用深度学习作为图像分割方法时，相同帧图像的原图、特征融合图、特征提取图、特征提取图的对比展示图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

参见图1～图13，

一种镜头付着物的检测方法，包括以下步骤：

s01：图像分割：对输入图像进行疑似区域分割；

s02：特征提取：提取因附着物造成模糊的轮廓区域，并对轮廓内的多种清晰度评价指标进行统计计算，综合多种指标结果判定区域是否为附着物；

s03：预警判断：对判定区进行累计标记，累计次数超过报警阈值的处理结果进行预警触发判定。

作为优选实施例，所述步骤s01中，图像分割方式可以采用疑似区域分割算法实现或采用深度学习方式实现。

作为优选实施例，所述步骤s01中，图像分割方式采用疑似区域分割算法包括以下步骤：

s011：图像分割降采样，

s012：提取模糊差分图，

s013：并进行多图叠加；

s014：利用滤波、形态学、阈值中的一种或几种操作以实现疑似区域图像分割。

作为优选实施例，所述步骤s011中，图像分割降采样的操作为以下表述：假设原捕获图像是一张像素值为n*m的图像，假设降采样系数为k，降采样操作是在原捕获图像中每行每列每隔k个像素点取一个点组成一幅降采样图像，降采样图像的作用是减小图像处理的计算量，保证图像处理的实时性。

作为优选实施例，所述步骤s012中，提取模糊差分图的操作为以下表述：对捕获图像用滤波算子进行模糊处理，将原图和模糊处理之后的图像相减，取绝对值，获得模糊差分图。

假设xsrc为原图，xblur为模糊平滑得到的图像，定义当前模糊差分图像为：deltax＝|xsrc-xblur|。提取模糊差分图的作用是，利用雨水附着的图像区域模糊特性，对滤波平滑算法不敏感；相比无雨水附着区域变化少，得以区分出附着雨水的图像区域。

deltax是当前帧模糊差分图，xsrc是当前帧原图，xblur是当前帧图像滤波平滑处理后的图。

所述模糊处理可以为高斯滤波、中值滤波、均值滤波中的一种或几种进行平滑处理。

其中使用高斯滤波、中值滤波、均值滤波和滤波核的尺寸关系如下表1所示：

表1

优选地，由表1可知在当前图像尺寸情况下，当滤波核尺寸为5时，使用均值滤波的效果最好。

作为优选实施例，所述步骤s013中进行多图叠加的操作为以下表述：对s012中得到模糊差分图进行n帧累计xaccum＝delatxk+deltaxk+n

xaccum为多帧累加得到的融合特征图，为k帧到k+n帧的累加结果，deltaxk为第k帧时刻的模糊差分图，deltaxk+n为第k+n帧时刻的模糊差分图。

累加得到融合特征图的作用是，短时间内雨水形态位置分布变换较少，累积连续多帧模糊差分图能够增强雨水附着模糊区域与背景的对比度，突出图像上的雨水附区域。

作为优选实施例，所述步骤s014利用二值化处理、邻域滤波处理、形态学处理的操作为以下表述：

在多帧累加得到的融合特征图上二值化作用是，利用自动阈值划分算法，将灰度图转换为二值图，将图像分割为雨水附着的感兴趣区域和无雨水区域；邻域滤波作用是统计二值图邻域内像素分布情况，剔除孤立噪点；形态学滤波作用是对二值图进行腐蚀操作去除较小的噪声区域、膨胀操作填充空洞，修复区域面积。

作为优选实施例，所述步骤s01中，图像分割方式采用深度学习方式包括以下步骤：

预处理：将图像下采样到mxn尺寸，对图像数据存储格式进行转换为3通道bgr格式。

图像分割：将输入图像数据送入语义分割卷积神经网络，经过正向传播，输出每个像素点的分类，获得疑似雨水区域的像素点集合。

作为优选实施例，所述采用深度学习方式获取图像分割结果时，使用的网络模型为语义分割的卷积神经网络，其特征提取的主干网络可以采用resnet18，squeezenet1.1，mobilenent等网络；语义分割反卷积部分采用了pspnet的框架，融合主干网络最后4层不同尺度的特征图，最终输出与原图大小一致的分割结果图。

作为优选实施例，所述步骤s02特征提取中，提取区域提取轮廓的具体表述为：

轮廓提取作用是，对处理后的融合特征图进行轮廓提取，得到不同轮廓的像素集合，用于针对不同轮廓区域进行特征提取计算，评价各集合的清晰度与判定为雨水附着区域的可信程度。

作为优选实施例，所述步骤s02特征提取中，对轮廓内的多种清晰度评价指标进行统计计算的具体表述为：

利用图像统计特征、形状纹理特征、清晰度评价特征中的一种或几种，对划分出的轮廓进行统计计算，得到不同种类的评价指标数值。

图像统计特征：灰度(gray)、梯度(grads)、二次梯度(laplas)、数学统计、均值方差、最大值、最小值(mean/variance/max/min)

形状纹理特征：圆度和面积(round/area)、小波变换算子(wavelet_f)、

清晰度评价特征：均值(variance)、eva、hist、二次梯度(laplas)

value＝f(area,vector)。

作为优选实施例，所述步骤s02中对划分出的轮廓进行统计计算得到不同种类的评价指标数值时，包括两种评价方式：可信度值累加评价方式和利用分类器对轮廓区域分类判断。

作为优选实施例，当利用分类器对轮廓区域分类判断时，对某一轮廓区域，计算得到n种评价指标数值，将n中评价指标数值整合为为该区域的特征向量；统计得到雨水区域的特征向量作为训练样本送入分类器进行训练。分类器可以选择决策树、svm、bp网络等，实现对分割出的轮廓区域进行分类判别是否为雨水区域。

作为优选实施例，当利用可信度值累加评价方式进行判断时，对某一轮廓区域，设置有n中评价指标，每一种评价指标均设置评判选择阈值，该评判选择阈值用于表述某一轮廓区域的评价指标数值是否可以被认定为是雨水区；

对轮廓区域分别计算每一种评价指标得到n种评价指标数值，将每一种评价指标分别与该评价指标对应的评判选择阈值作比较，若超过该评价指标的评判选择阈值，则给该轮廓区域可信度加一分；若不超过该评价指标的评判选择阈值，则剔除掉该轮廓区域或者该轮廓区域可信度不加分；

最后统计图像中评价指标高于评判选择阈值的轮廓区域，并将这些区域的位置和面积信息标注出来。

作为优选实施例，所述步骤s03中判定区累计标记的具体方式为：对检测画面网格化，划分为mxn网格；将多帧累积的输出结果映射到对应网格位置，统计网格被附着物附着数量情况，给出定量的遮挡情况。

一种镜头付着物的检测系统，包括以下模块：

图像分割模块，所述图像分割模块用于对捕获图像进行下采样、模糊和差分处理，以区分出图像中疑似因附着物造成模糊的轮廓区域与疑似未因附着物造成模糊的轮廓区域；

特征提取模块，所述特征提取模块用于提取疑似因附着物造成模糊的轮廓区域，并对轮廓内的多种清晰度评价指标进行统计计算，综合多种指标结果判定区域是否为附着物；

预警判断模块，所述预警判断模块用于统计特征提取模块判定区域并标记累计值，将累计次数超过报警阈值的判定区域进行触发报警。

作为优选实施例，所述图像分割模块还包括降采样模块、模糊处理模块、叠加模块、后处理模块；

所述降采样模块用于减小图像像素，保证图像处理的实时性；

所述模糊处理模块用于对捕获图像用滤波算子进行模糊处理，将原图和模糊处理之后的图像相减，取绝对值，获得模糊差分图，所述模糊差分图以区分出图像中疑似因附着物造成模糊的轮廓区域与疑似未因附着物造成模糊的轮廓区域；

所述叠加模块用于将多帧连续的模糊差分图特征融合，形成融合特征图，所述叠加模块的作用是短时间内附着物形态位置分布变换较少，累积连续多帧模糊差分图能够增强附着物模糊区域与背景的对比度，突出图像上的附着物轮廓；

所述后处理模块包括二值化模块、邻域滤波模块、形态学处理模块，后处理模块用于剔除孤立噪点、去除较小的噪声区域、膨胀操作填充空洞、修复区域面积。

作为优选实施例，镜头付着物的检测系统的技术参数如表2所示：

表2

作为优选实施例，镜头付着物的检测系统的配置要求：

镜头付着物的检测系统可以配置后台独立运行，或配合有其他算法运行时触发运行，采用多帧间隔检测方法。镜头付着物的检测输入包括：四路摄像头图像原图，车身can信号：车速speed，环境亮度信息brightness。当车体运动时，触发镜头付着物的检测系统对四路摄像头图像检测。

作为优选实施例，镜头付着物的检测系统的检测报警性能要求：

(1)适用范围：在室内外环境、不同路况，对不同形态雨滴及污渍均能实现检测，对较为严重的水雾、镜头缺陷有一定检测能力；

(2)稳定性：不受天气、环境变化等因素影响，具备较好的可靠性；

(3)算法运行时间、所占资源满足需求。

作为优选实施例，镜头付着物的检测系统的具体应用场景、特殊场景说明如下表3所示：

表3

一种移动终端，其可以是车载终端或手机移动终端，

所述车载终端可以执行如上述镜头付着物的检测方法或搭载如上述镜头付着物的检测系统；

所述手机移动终端可以执行如上述镜头付着物的检测方法或搭载如上述镜头付着物的检测系统。

一种计算机存储介质，其是依照如上述镜头付着物的检测方法所编写的计算机程序。

作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式云端、刀片式云端、塔式云端或机柜式云端(包括独立的云端，或者多个云端所组成的云端集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的镜头付着物的检测方法实施更多或者更少的组件。

作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的镜头付着物的检测方法程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、云端、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于镜头付着物的检测方法程序，被处理器执行时实现镜头付着物的检测方法程序实施例中的镜头付着物的检测方法。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。