一种摄像机异常检测方法及装置与流程

本发明涉及计算机视觉领域，特别涉及一种摄像机异常检测方法及装置。

背景技术：

在基于视觉的无人驾驶车辆、机器人等应用场景中，通常由装载在自动驾驶车辆、高级辅助驾驶车辆、机器人等上的摄像机拍摄周边的环境，再由决策控制单元根据摄像机拍摄的图像进行决策并控制自动驾驶车辆、高级辅助驾驶车辆、机器人等。因此，摄像头拍摄的图像质量对决策控制单元进行决策起着至关重要的作用。

然而，在实际应用中，摄像机由于出现一些异常情况导致拍摄的图像质量较差，从而会影响决策控制单元作出决策的准确性，例如：摄像机镜头上有虫子尸体、粘稠液体污损、雨滴、镜头的曝光装置出现问题导致图像过曝光或欠曝光等异常情况。如图1a、图1b、图1c、图1d、图1e和图1f所示，分别为摄像机拍摄得到的异常图像，依次为包含不透明污损图像、包含雨滴图像、包含透明污损图像、包含昆虫液体图像、过曝光图像和欠曝光图像。因此，如何能够实时的检测出摄像机异常并进行报警则成为亟待解决的技术问题。

技术实现要素：

鉴于上述问题，本发明提供一种摄像机异常检测方法及装置，通过计算机视觉方法实时检测摄像机是否发生异常，并在检测发生异常时进行报警。

本发明实施例，一方面，提供一种摄像机异常检测方法，该方法包括：

根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型；

将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息；

根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。

本发明实施例，还提供一种摄像机异常检测装置，包括：

训练单元，用于根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型；

信息获取单元，用于将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息；

异常检测单元，用于根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。

本发明实施例，本发明实施例，一方面，能够实现实时检测摄像机是否异常以及在异常时进行报警，以便操作人员及时获知摄像机发生异常，并对摄像机进行及时处理；另一方面，通过异常图像集和正常图像集对神经网络进行训练，能够提高训练得到的语义分割模型的健壮性和准确性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1a～图1f为摄像机拍摄的异常图像；

图2为本发明实施例中摄像异常检测方法的流程图；

图3为本发明实施例中训练神经网络得到语义分割模型的示意图之一；

图4为本发明实施例中训练神经网络得到语义分割模型的示意图之二；

图5为本发明实施例中根据连续多帧图像对应的特征信息确定摄像机是否异常的示意图之一；

图6a～图6c为图5所示方法的一个具体实例的过程示意图；

图7a～图7c为图5所示方法的另一个具体实例的过程示意图；

图8为本发明实施例中根据连续多帧图像对应的特征信息确定摄像机是否异常的示意图之二；

图9为本发明实施例中根据一帧图像对应的特征信息判断摄像机是否异常的示意图之一；

图10为本发明实施例中根据一帧图像对应的特征信息判断摄像机是否异常的示意图之二；

图11为本发明实施例中摄像异常检测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明实施例提供的摄像机异常检测方法主要适用于自动驾驶车辆、高级辅助驾驶车辆、机器人等人工智能设备上。

实施例一

参见图2，为本发明实施例中摄像机异常检测方法的流程图，该方法包括：

步骤201、根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型。

第一示例，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型为有污损。

第二示例，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型包括透明污损和不透明污损。

第三示例，所述异常图像集包括过曝光图像和欠曝光图像，所述异常类型包括过曝光、欠曝光，所述正常类型为正常曝光。

第四示例，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括有污损、无污损、过曝光和欠曝光。

第五示例，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括透明污损、不透明污损、无污损、过曝光和欠曝光。

本发明实施例中，异常图像集、正常图像集、异常类型和正常类型，并不仅限于第一示例～第五示例，在此不再穷举。

本发明实施例中，异常图像集可预先通过镜头包含不同污损物的同类型摄像机(即后续被判断是否异常的摄像机同类型)分别采集图像得到。正常图像集可预先通过镜头上无污损的同类型摄像机采集图像得到。本申请不做详细描述。

用于训练语义分割模型的神经网络可以是具有语义分割功能的任意一种神经网络模型，本申请不做严格限定。

步骤202、将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息。

步骤203、根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。

在一个实施例中，前述步骤201中，具体可通过图3所示的流程实现，包括：

步骤201a、采用异常图像集对所述神经网络进行训练，得到初级语义分割模型。

步骤201b、将正常图像集中的正常图像输入所述初级语义分割模型中，输出正常图像对应的语义分割结果，并将语义分割结果有误的正常图像加入所述异常图像集中，以得到新的异常图像集。

由于正常图像与异常图像相比，其采集难度更低，为了提高语义分割模型的训练效率，本发明实施例仅将通过初级语义分割模型后输出的检测有误的正常图像添加到异常图像集中。

步骤201c、采用新的异常图像集对所述初级语义分割模型进行训练，得到语义分割模型。

本发明实施例中，在通过异常图像集训练得到初始语义分割模型之后，还通过正常图像集对初始语义分割模型进行测试，将错误检测的图像(即正样本)挑选出来并为该图像的每个像素打上正常类型的标签，加入到异常图像集中；并基于新的异常图像集对初始语义分割模型进行训练得到语义分割模型，这样做的目的是，希望通过添加错误检测的正样本，提高语义分割模型的健壮性和降低语义分割模型的错误检测率。

优选地，为进一步提高训练得到的语义分割模型的健壮性和准确性，本领域技术人员还可以基于图3所示流程的启示，得到如图4所示的替代方案来实现步骤201，方法包括：

步骤201a’、采用异常图像集对所述神经网络进行训练，得到初级语义分割模型。

步骤201b’、将正常图像集中的正常图像输入初级语义分割模型中，输出正常图像对应的语义分割结果。

步骤201c’、确定语义分割错误的正常图像的数量，并根据所述数量判断是否满足预置的停止迭代条件，若否则执行步骤201d’，若是则执行步骤201f’。

本发明实施例中，停止迭代条件可以为所述数量小于预置的数量阈值，还可以是所述数量与输入初始语义分割模型的正常图像总数量的比值小于预置的比例阈值。本申请不作严格限定，本领域技术人员可以根据实际需求进行灵活设置。

步骤201d’、将语义分割错误的正常图像添加到所述异常图像集中得到新的异常图像集，并基于新的异常图像集对初始语义分割模型进行训练，得到中级语义分割模型。

步骤201e’、将所述中级语义分割模型作为初始语义分割模型，执行所述步骤201b’。

步骤201f’、将初级语义分割模型确定为语义分割模型。

本发明实施例中，前述步骤202～步骤203的具体实现可通过但不仅限于以下任意一种方式(方式1～方式2)实现：

方式1

步骤202、将摄像机拍摄的连续多帧图像输入语义分割模型中，得到每帧图像对应的特征信息；

步骤203、根据所述多帧图像对应的特征信息判断摄像机是否异常，并在确定异常时报警。

在实际应用中，若摄像机发生异常则会导致在一段时间内连续拍摄的图像均会存在异常，因此该方式1结合连续多帧图像对应的特征信息判断摄像机是否异常更准确。

在一个实施例中，所述特征信息为所述语义分割模型softmax层输出的各像素所属类型；即将图像输入语义分割模型之后，将该语义分割模型的softmax层输出各像素所属类型作为特征信息。方式1中，所述步骤203中，根据所述多帧图像对应的特征信息判断所述摄像机是否异常具体实现可如下：将多帧图像中位于同一位置的多个像素拟化成一个虚拟像素，并根据所述多个像素所属类型确定所述虚拟像素所属类型，将所述虚拟像素作为语义分割结果图中相应位置的一个像素，依此得到语义分割模型；在判断所述语义分割结果图中包含所属类型为异常类型的像素的数量大于等于预置的数量阈值时，确定所述摄像机异常。所述数量阈值根据经验值确定，例如可根据引起异常类型的污损物确定，例如可通过实验，采用不同尺寸的污损物对摄像头镜头造成不同尺寸的污损区域，判断摄像机在不同尺寸的污损区域下拍摄得到的图像对决策控制单元作出决策的影响程度，根据影响程度达到预置影响程度的最小尺寸的无损区域确定数量阈值。如图5所示、连续n帧图像p1、p2、…、pn输入语义分割模型之后，从语义分割模型的softmax层输出对应的n个语义分割结果g1、g2、…、gn，根据语义分割结果g1、g2、…、gn得到语义分割结果图。以下以两个具体实例进行描述。

实例1、假设异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型为有污损，语义分割模型对输入图像中的每个像素打类别标签，例如，像素所属类型为无污损则对应类别标签为0，像素所述类型为有污损则对应类别标签为1。以摄像头连续拍摄的4帧尺寸为4*4的图像为例，该4帧图像分别用p1、p2、p3和p4表示，如图6a所示，将该p1、p2、p3和p4中的像素按照从左到右、从上到下的顺序依次编号为x1、x2、…、x16。将p1、p2、p3和p4分别输入到语义分割模型中得到如图6b所示的语义分割结果，则将图p1、p2、p3和p4中的相同位置(即编号相同)的像素虚拟成一个像素，得到虚拟像素x1’、x2’、…、x16’；针对每个虚拟像素，则根据虚拟化该虚拟像素的4个像素所属类型确定所述虚拟像素所属类型。例如，方式1、统计该4个像素中所属类型为0的个数n1与所属类型为1的个数n2，将n1与n2中取值大于预置数值(该数值一般设置为n的1/2，以连续n帧图像为10帧为例，则该10帧图像中10个x1像素中为0的个数超过5时则确定相应的虚拟像素所属类型为0)的数量对应的类型作为虚拟像素所属类型.方式2，将n1与n2取值大的类型作为该虚拟像素所述类型，以像素x1’为例，该像素x1’对应的四个像素所属类型分别为0001，因此该像素x1’所属类型为0(即无污损)。依此得到如图6c所示的语义分割结果图。

实例2、假设异常图像集包括透明污损图像、不透明污损图像、欠曝光图像和过曝光图像，所述正常类型为无污损、正常曝光，所述异常类型为有污损、过曝光和欠曝光，语义分割模型对输入图像中的每个像素打类别标签，例如，所属类型为无污损则对应类别标签为0，所属类型为有污损则对应类别标签为1，所属类型为过曝光则对应的类别标签为2，所属类型为欠曝光则对应的类别标签为4。以摄像头连续拍摄的6帧尺寸为4*4的图像为例，该6帧图像分别用p1、p2、p3、p4、p5、p6表示，如图7a所示，将该p1、p2、p3、p4、p5、p6中的像素按照从左到右、从上到下的顺序依次编号为x1、x2、…、x16。将p1、p2、p3、p4、p5、p6分别输入到语义分割模型中得到如图7b所示的语义分割结果，则将图p1、p2、p3、p4、p5、p6中的相同位置(即编号相同)的像素虚拟成一个像素，得到虚拟像素x1’、x2’、…、x16’；针对每个虚拟像素，则根据虚拟化该虚拟像素的6个像素所属类型确定所述虚拟像素所属类型，例如，统计该6个像素中所属类型为0的个数n1、所属类型为1的个数n2、所属类型为2的个数n3、所属类型为3的个数n4，将n1、n2、n3、n4中取值大的类型作为该虚拟像素所述类型，以像素x1’为例，该像素x1’对应的6个像素所属类型分别为0、1、1、1、2、3，因此该像素x1’所属类型为1(即有污损)，依此得到如图7c所示的语义分割结果图。

在另一个实施例中，所述特征信息为所述语义分割模型中softmax层的前一层神经网络卷积层输出的特征图；即将图像输入语义分割模型之后，将语义分割模型的softmax层的前一层神经网络卷积层输出的特征图作为特征信息。方式1中，所述步骤203中根据所述多帧图像对应的特征信息判断所述摄像机是否异常具体实现可如下：将所述多帧图像对应的特征图进行合并后输入到预置的第一后处理模型中，得到所述摄像机是否异常的结果。本发明实施例中，可以是通过异常图像集和正常图像集训练得到语义分割模型之后，根据样本图像(样本图像可以是所述异常图像集中的图像，也可以不是所述异常图像集中的图像，本申请不做严格限定)和训练好的语义分割模型对神经网络模型进行训练得到第一后处理模型，即在训练过程中语义分割模型保持不变。或者，还可以是通过异常图像集和正常图像集对用于训练语义分割模型的神经网络模型和用于训练第一后处理模型的神经网络模型进行联合训练，得到语义分割模型和第一后处理模型。训练方式可采用现有的神经网络训练方式，例如梯度下降方式，本申请不做严格限定。其中用于训练后处理模型的神经网络模型可以为全连接层网络或者卷积层网络，本申请不做严格限定。具体可如图8所示，多帧图像p1、p2、…、pn输入语义分割模型之后，从语义分割模型的softmax层的前一层神经网络卷积层输出对应的n个特征图t1、t2、…、tn，将特征图t1、t2、…、tn按照预置的顺序合并成一个三维空间的特征信息并输入到第一后处理模型中，得到摄像机是否正常的结果信息。当然，本领域技术人员也可以将语义分割模型中softmax层之前的任意一个神经网络卷积层输出的特征图作为本发明实施例中的特征信息，并按照如图8所示的方式得到语义分割结果图，本申请不做严格限定。

所述预置的顺序可以是多帧图像被采集的时间先后顺序。所述预置的顺序与前期训练后处理模型所采用的顺序相同。

方式2

步骤202、将摄像机拍摄的一张图像输入语义分割模型中，得到该一张图像分别对应的特征信息；

步骤203、根据所述一张图像对应的特征信息判断所述摄像机是否正常。

方式2可实现每拍摄一帧图像即进行一次摄像机异常判断，无需等待连续多帧图像完成拍摄后再进行一次摄像机异常判断，与方式1相比该方式2实时性更强。本领域技术人员可以根据实际的需求选择方式1还是方式2，本申请不做严格限定。

在一个实施例中，所述特征信息为所述语义分割模型softmax层输出的各像素所属类型；即将图像输入语义分割模型之后，将该语义分割模型的softmax层输出各像素所属类型作为特征信息。方式2中，所述步骤203中，根据所述一张图像对应的特征信息判断所述摄像机是否异常，具体包括：判断所述一张图像中所属类型为异常类型的像素的数量是否大于等于预置数量阈值，若是则确定所述摄像机异常，若否则确定所述摄像机正常。所述数量阈值根据经验值确定，例如可根据引起异常类型的污损物确定。例如可通过实验，采用不同尺寸的污损物对摄像头镜头造成不同尺寸的污损区域，判断摄像机在不同尺寸的污损区域下拍摄得到的图像对决策控制单元作出决策的影响程度，根据影响程度达到预置影响程度的最小尺寸的无损区域确定数量阈值。如图9所示，图像p输入语义分割模型之后，从语义分割模型的softmax层输出图像p对应的语义分割结果g，根据语义分割结果g得到摄像机是否正常的结果信息。

在另一个实施例中，所述特征信息为所述语义分割模型中softmax层的前一层神经网络卷积层输出的特征图；即将图像输入语义分割模型之后，将语义分割模型的softmax层的前一层神经网络卷积层输出的特征图作为特征信息。方式2中，所述步骤203中根据所述一张图像对应的特征信息判断所述摄像机是否异常，具体包括：将所述一张图像对应的特征图输入到预置的第二后处理模型中，得到所述摄像机是否异常的结果。本发明实施例中，可以是通过异常图像集和正常图像集训练得到语义分割模型之后，根据样本图像(样本图像可以是所述异常图像集中的图像，也可以不是所述异常图像集中的图像，本申请不做严格限定)和训练好的语义分割模型对神经网络模型进行训练得到第二后处理模型，即在训练过程中语义分割模型保持不变。或者，还可以是通过异常图像集和正常图像集对用于训练语义分割模型的神经网络模型和用于训练第一后处理模型的神经网络模型进行联合训练，得到语义分割模型和第一后处理模型。训练方式可采用现有的神经网络训练方式，例如梯度下降方式，本申请不做严格限定。其中用于训练后处理模型的神经网络模型可以为全连接层网络或者卷积层网络，本申请不做严格限定。具体可如图10所示，图像p输入语义分割模型之后，从语义分割模型的softmax层的前一层神经网络卷积层输出对应的特征图t，将特征图t输入到第二后处理模型中，得到摄像机是否正常的结果信息。当然，本领域技术人员也可以将语义分割模型中softmax层之前的任意一个神经网络卷积层输出的特征图作为本发明实施例中的特征信息，本申请不做严格限定。

本发明实施例一提供的摄像机异常检测方法，一方面，能够实现实时检测摄像机是否异常以及在异常时进行报警，以便操作人员及时获知摄像机发生异常，并对摄像机进行及时处理；另一方面，通过异常图像集和正常图像集对神经网络进行训练，能够提高训练得到的语义分割模型的健壮性和准确性。

实施例二

基于前述实施例一提供的一种摄像机异常检测方法的相同构思，本发明实施例二提供一种摄像机异常检测装置，该装置的结构如图11所示，包括训练单元11、信息获取单元12、异常检测单元13，其中：

训练单元11，用于根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型。

异常图像集、正常图像集、异常类型和正常类型的具体信息可如前实施例一中的第一示例～第五示例，在此不再赘述。

信息获取单元12，用于将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息。

异常检测单元13，用于根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。

前述信息获取单元12和异常检测单元13具体实现可通过但不仅限于以下两种方式：

方式1

所述信息获取单元12，具体用于：将摄像机拍摄的连续多帧图像输入所述语义分割模型中，得到每帧图像对应的特征信息；

所述异常检测单元13具体用于：根据所述多帧图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。

在一个示例中，所述特征信息为所述语义分割模型中softmax层输出的各像素所属类型；异常检测单元13根据所述多帧图像对应的特征信息判断所述摄像机是否异常，具体包括：将多帧图像中位于同一位置的多个像素拟化成一个虚拟像素，并根据所述多个像素所属类型确定所述虚拟像素所属类型，将所述虚拟像素作为语义分割结果图中相应位置的一个像素，依此得到语义分割结果图；以及，在判断所述语义分割结果图中包含所属类型为异常类型的像素的数量大于等于预置的数量阈值时，确定所述摄像机异常。

在另一个示例中，所述特征信息为所述语义分割模型中softmax层的前一层神经网络卷积层输出的特征图；异常检测单元13根据所述多帧图像对应的特征信息判断所述摄像机是否异常，具体包括：将所述多帧图像对应的特征图进行合并后输入到预置的第一后处理模型中，得到所述摄像机是否异常的结果；其中，所述第一后处理模型为预先采用样本图像和所述语义分割模型对神经网络模型进行训练得到。

方式2

所述信息获取单元12，具体用于：将摄像机拍摄的一张图像输入所述语义分割模型中，得到所述一张图像对应的特征信息；

所述异常检测单元13，具体用于：根据所述一张图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。

在一个示例中，所述特征信息为所述语义分割模型中softmax层输出的各像素所属类型；异常检测单元13根据所述一张图像对应的特征信息判断所述摄像机是否异常，具体包括：判断所述一张图像中所属类型为异常类型的像素的数量是否大于等于预置数量阈值，若是则确定所述摄像机异常，若否则确定所述摄像机正常。

在另一个示例中，所述特征信息为所述语义分割模型中softmax层的前一层神经网络卷积层输出的特征图；异常检测单元13根据所述一张图像对应的特征信息判断所述摄像机是否异常，具体包括：将所述一张图像对应的特征图输入到预置的第二后处理模型中，得到所述摄像机是否异常的结果；其中，所述第二后处理模型为预先采用样本图像和所述语义分割模型对神经网络模型进行训练得到。

所述训练单元11具体用于：采用异常图像集对所述神经网络进行训练，得到初级语义分割模型；将正常图像集中的正常图像输入所述初级语义分割模型中，输出正常图像对应的语义分割结果，并将语义分割结果有误的正常图像加入所述异常图像集中，以得到新的异常图像集；采用新的异常图像集对所述初级语义分割模型进行训练，得到语义分割模型。

前述训练单元11具体实现还可以通过如图4所示的流程，在此不再赘述。

本发明技术方案，带来以下技术效果：

技术效果1、在通过预置的异常图像集训练神经网络模型得到初始语义分割模型之后，还通过正常图像集对初始语义分割模型进行测试，将检测错误的正常图像(即正样本)加入到异常图像集中得到新的异常图像集，再基于该新的异常图像集对初始语义分割模型进行训练。本发明实施例，自动将正常图像集中检测有误的正常图像添加到异常图像集中，由于检测有误的正常图像具有反映初始语义分割模型检测错误的典型性，因此检测有误的正常图像能够形成很好的训练正样本，将训练正样本添加到异常图像集中不仅能够自动扩充异常图像集，降低人力成本，而且基于新的异常图像集训练得到的语义分割模型具有更强的健壮性和更低的错误检测率。

技术效果2、在实际应用中若摄像头发生异常则会导致在一段时间内连续拍摄的图像均会存在异常，因此结合连续多帧图像对应的特征信息判断摄像机是否异常更准确。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。