基于语义分割的异常区域检测方法、系统及相关组件与流程
本发明涉及图像处理技术领域，特别是涉及一种基于语义分割的异常区域检测方法、系统及相关组件。
背景技术：
图像的语义分割，表示的是利用计算机根据图像的语义来进行分割。例如，输入的图片中存在房屋，树木，道路，通过语义分割，输出结果中将房屋，树木，道路用不同颜色进行标注，即划分出各自的轮廓。语义分割在地理信息系统，无人车驾驶，医疗影像分析等领域均有广泛的应用，并且作为计算机视觉的核心问题之一，重要性也越来越突出。
在利用语义分割技术进行轮廓的分割时，需要预先为不同的事物设置不同的标签，例如在训练神经网络时分别为房屋，树木，道路设置不同的标签，使得训练后的神经网络能够识别并分割出待测图像中的房屋，树木和道路。而如果需要利用语义分割技术将异常区域分割出，自然需要为异常区域添加标签并进行训练，但是，由于实际应用中，发生的异常情况的种类非常多，如果某一种异常情况没有设置标签进行训练，便无法将该种异常情况发生时的异常区域分割出，也即增大了漏检率，此外，标签过多在一定程度上也不利于准确识别。因此，目前的语义分割通常是针对具有已知的固定特征的事物进行的分割。
而传统方案中进行遥感图像的异常检测时，相关研究较少，主要是通过提取目标光谱，再根据数据库中的先验信息进行检测，检测的标准性、速度、实用性等都远不及采用机器学习的语义分割技术。
综上所述，如何在利用语义分割技术进行异常区域的检测时，避免只能检测有限种类的异常区域的情况，降低漏检概率，是目前本领域技术人员急需解决的技术问题。
技术实现要素：
本发明的目的是提供一种基于语义分割的异常区域检测方法、系统及相关组件，以避免只能检测有限种类的异常区域的情况，降低漏检概率。
为解决上述技术问题，本发明提供如下技术方案：
一种基于语义分割的异常区域检测方法，包括：
获取样本图像，并提取出每一张所述样本图像的显著性图；
将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对所述卷积神经网络模型进行训练；其中，每个所述训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；
将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型的输出结果，并根据所述输出结果中的标签确定出所述待测图像中的异常区域。
优选的，所述提取出每一张所述样本图像的显著性图，包括：
通过rc算法提取出每一张所述样本图像的显著性图。
优选的，所述通过rc算法提取出每一张所述样本图像的显著性图，包括：
针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；
通过
其中，s(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；dr(rk,ri)为区域rk与区域ri的颜色距离，
优选的，所述通过rc算法提取出每一张所述样本图像的显著性图，包括：
针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；
通过
其中，s(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；dr(rk,ri)为区域rk与区域ri的颜色距离，
优选的，所述获取样本图像，并提取出每一张所述样本图像的显著性图，包括：
获取初始图像，并将每一张所述初始图像切割为预设的目标大小；
利用切割后的一张或多张初始图像进行图像增广；
将通过图像增广获取到的各张图像以及切割后的初始图像构成的图像集合，作为获取到的样本图像，并提取出每一张所述样本图像的显著性图。
优选的，在将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型之前，还包括：
通过全零填充将所述待测图像的大小变为所述目标大小的正整数倍；
将全零填充后的所述待测图像进行切割，使得切割后的每张子图像的大小均等于所述目标大小；
所述将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型的输出结果，包括：
依次将各张子图像以及该子图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型针对各张子图像的输出结果；
将各张子图像的输出结果放置在各自对应的位置，并将通过全零填充而增加的像素位置进行切割，切割后的结果作为获取到的针对所述待测图像的输出结果。
一种基于语义分割的异常区域检测系统，包括：
样本图像显著性图提取模块，用于获取样本图像，并提取出每一张所述样本图像的显著性图；
模型训练模块，用于将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对所述卷积神经网络模型进行训练；其中，每个所述训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；
异常区域检测模块，用于将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型的输出结果，并根据所述输出结果中的标签确定出所述待测图像中的异常区域。
优选的，所述样本图像显著性图提取模块，具体用于：
获取样本图像，并通过rc算法提取出每一张所述样本图像的显著性图。
一种基于语义分割的异常区域检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现上述任一项所述的基于语义分割的异常区域检测方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于语义分割的异常区域检测方法的步骤。
应用本发明实施例所提供的方案，实现了基于语义分割技术的异常区域检测。具体的，本申请除了将添加了标签的样本图像输入进卷积神经网络模型，还提取出了每一张样本图像的显著性图，显著性图能够反映区域间的颜色差异，而各类的异常区域通常具有一个共同的特征，即为通过显著性图体现出的异常区域与其他区域的颜色差异。因此，将添加了标签的样本图像以及该样本图像的显著性图输入进卷积神经网络模型，卷积神经网络模型经过训练之后，当待测图片中存在异常区域时，基于语义分割的卷积神经网络模型便能够识别并分割出该异常区域。可以看出，由于本申请中添加了显著性图作为用于语义分割的卷积神经网络模型的输入，因此，在利用语义分割技术进行异常区域的检测时，可以避免只能检测有限种类的异常区域的情况，即降低了漏检概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中一种基于语义分割的异常区域检测方法的实施流程图；
图2为本发明中一种基于语义分割的异常区域检测系统的结构示意图。
具体实施方式
本发明的核心是提供一种基于语义分割的异常区域检测方法，可以避免只能检测有限种类的异常区域的情况，即降低了漏检概率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，为本发明中一种基于语义分割的异常区域检测方法的实施流程图，该基于语义分割的异常区域检测方法可以包括以下步骤：
步骤s101：获取样本图像，并提取出每一张样本图像的显著性图。
通常，可以建立用于提取显著性图的神经网络模型，并在经过训练之后，利用该神经网络模型提取显著性图。
在本发明的一种具体实施方式中，考虑到如果建立用于提取显著性图的神经网络模型，后续步骤中需要通过卷积神经网络模型进行语义分割，即方案需要两个神经网络，计算量非常大，计算耗时较长，而在进行异常区域的检测时，检测速度低，没有及时地确定出异常区域，不利于及时进行异常情况处理，因此，该种实施方式中采用rc算法提取显著性图，即步骤s101可以具体为：通过rc算法提取出每一张样本图像的显著性图，有利于降低获取显著性图的耗时。
rc算法也存在多种，考虑到降低耗时的目的，在本发明的一种具体实施方式中，通过rc算法提取出每一张样本图像的显著性图，可以具体包括以下两个步骤，计算较为方便。
第一个步骤：针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；
第二个步骤：通过
其中，s(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；dr(rk,ri)为区域rk与区域ri的颜色距离，
在将样本图像分割成多个区域时，基本分割思想是将每个像素点作为无向图的顶点，两个像素点之间的不相似度作为边的权重，连接相同区域内的两个顶点的边的最大权重要求小于不同区域的顶点的边的最小权重，在迭代过程中进行顶点归纳与区域合并。
对于分割出的每一个区域，都可以计算出该区域的显著值，区域rk可以是任意一个区域。ω(ri)表示区域ri的权值，用区域ri中的像素数来强调大区域的颜色对比度，此处描述的像素数即为区域ri中的权值ω(ri)，此处描述的大区域是指样本图像分割成的多个区域中，面积较大的区域，即对于区域rk而言，其显著值s(rk)的取值受到其他区域的影响，并且ω(ri)较大的区域，影响程度也较高。
f(ck,p)为第p种颜色ck,p在第k个区域rk中的nk种颜色种类中出现的概率；f(ci,q)为第q种颜色ci,q在第i个区域ri中的ni种颜色种类中出现的概率，即本申请的该种实施方式中，用区域的颜色直方图中各种颜色的出现概率作为相应的权值，以强调主要颜色之间的区别。
在本发明的一种具体实施方式中，通过rc算法提取出每一张样本图像的显著性图，可以包括以下两个步骤：
步骤一：针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；
步骤二：通过
其中，s(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；dr(rk,ri)为区域rk与区域ri的颜色距离，
该种实施方式中，考虑到不同区域有各自的空间特征，引入空间特征进行显著值的计算，有利于提高计算出的显著值的合理性。具体的，对于任一区域，其近邻的区域应该增大影响，较远的区域则减少影响。
σs为预设的空间权值影响参数，即控制着空间权值的强度，σs设置地越大，空间权值的影响就越小，会导致较远区域的对比度会对当前区域的显著值做出较大的贡献，通常可以将
步骤s102：将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对卷积神经网络模型进行训练；其中，每个训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图。
具体的，可以是用于语义分割的基于seg-net的卷积神经网络模型，卷积神经网络模型的具体构成可以根据实际需要进行设定和调整。例如，在一种具体实施方式中，用于语义分割的卷积神经网络模型由编码器和解码器构成，输入部分包括rgb通道和一个显著性图通道，即构成四通道输入。编码器部分可以由两组(卷积层-卷积层-最大池化层)和三组(卷积层-卷积层-卷积层-最大池化层)构成，解码器部分可以由一组(上采样层-卷积层-卷积层-卷积层)、一组(上采样层-卷积层-卷积层)以及一组(上采样层-卷积层-卷积层-softmax多分类器)构成。当然，在其他实施方式中，可以根据需要调整卷积神经网络模型，并不影响本发明的实施。
在本发明的一种具体实施方式中，考虑到实际应用中采集到的待测图像可能存在各种各样的情况，例如图像模糊，存在噪声等情况，为了使得卷积神经网络模型也能够准确地对这样的待测图像进行语义分割，确定出异常区域，在训练时便可以添加这样的图片作为训练样本，即步骤s101可以具体包括：
获取初始图像，并将每一张初始图像切割为预设的目标大小；
利用切割后的一张或多张初始图像进行图像增广；
将通过图像增广获取到的各张图像以及切割后的初始图像构成的图像集合，作为获取到的样本图像，并提取出每一张样本图像的显著性图。
可以理解的是，在对卷积神经网络模型进行训练时，输入至卷积神经网络模型中的每一张样本图像需要为相同的大小。而实际应用中，拍摄出的图像通常会远大于输入至卷积神经网络模型所需的大小，因此，可以将拍摄出的图像进行切割。
目标大小即为输入至卷积神经网络模型所需的大小。例如一种具体实施方式中，输入至卷积神经网络模型所需的图像大小为256*256，则可以在排除了边缘点之后，在初始图像中随机生成x，y坐标，并以该坐标为中心，切割下256*256的图像，排除边缘点可以防止切割下的图像超出初始图像的范围的情况。
图像增广可以包括对图像进行旋转操作，翻转操作，模糊处理，光照调整以及添加噪声等操作中的一项或多项的组合。
步骤s103：将待测图像以及待测图像的显著性图输入至经过训练的卷积神经网络模型中，获取卷积神经网络模型的输出结果，并根据输出结果中的标签确定出待测图像中的异常区域。
不同的异常情况具有不同的特征，但是，本申请考虑到异常情况发生时具有一个共性，即异常区域与周围区域存在明显的颜色区别，而该共性可以通过显著性图进行体现，因此，利用添加了标签的样本图像以及样本图像的显著性图对卷积神经网络模型进行训练之后，卷积神经网络模型便可以基于该共性特征进行异常区域的识别。当待测图像中存在异常区域时，输出结果便会标示出异常区域的轮廓。
可以理解的是，待测图像也可能存在图像大小不等于输入至卷积神经网络模型所需的图像大小的情况，因此，在本发明的一种具体实施方式中，在步骤s103之前，还可以包括：
步骤一：通过全零填充将待测图像的大小变为目标大小的正整数倍；
步骤二：将全零填充后的待测图像进行切割，使得切割后的每张子图像的大小均等于目标大小；
该种实施方式中，步骤s103描述的：将待测图像以及待测图像的显著性图输入至经过训练的卷积神经网络模型中，获取卷积神经网络模型的输出结果，可以具体为：
依次将各张子图像以及该子图像的显著性图输入至经过训练的卷积神经网络模型中，获取卷积神经网络模型针对各张子图像的输出结果；
将各张子图像的输出结果放置在各自对应的位置，并将通过全零填充而增加的像素位置进行切割，切割后的结果作为获取到的针对待测图像的输出结果。
目标大小即为输入至卷积神经网络模型所需的图像大小，例如前述实施例中设置为256*256的大小。当然，需要说明的是，当待测图像的大小恰好等于目标大小时，则可以直接输入至卷积神经网络模型中，当待测图像的大小大于目标大小，但等于目标大小的正整数倍时，可以无需全零填充，直接执行步骤二的切割操作。
将全零填充后的待测图像进行切割，得到的每张子图像有着各自的在原待测图像中所属的位置，因此，获取卷积神经网络模型针对各张子图像的输出结果之后，将各张子图像的输出结果放置在各自对应的位置，再切割掉此前通过全零填充而增加的像素位置，便可以获取到针对待测图像的输出结果。
例如，在对待测图像进行全零填充之后，可以生成一个同等大小的全零图像图a，依次将各张子图像以及该子图像的显著性图输入至经过训练的卷积神经网络模型中，获取卷积神经网络模型针对各张子图像的输出结果，对于任意一张子图像的输出结果，将其放置在图a的相应位置，即可得出检测完毕的图b，将图b切割为原待测图像的大小，输出的结果即为针对待测图像的输出结果。
应用本发明实施例所提供的方案，实现了基于语义分割技术的异常区域检测。具体的，申请人考虑到，当发生异常情况时，虽然异常情况的种类多种多样，但当某区域发生某种异常情况时，异常区域与正常区域之间的颜色通常会有较为明显的差别，例如森林中起火时，起火区域和非起火区域会存在明显的颜色区别。因此，本申请除了将添加了标签的样本图像输入进卷积神经网络模型，还提取出了每一张样本图像的显著性图，显著性图能够反映区域间的颜色差异。可以理解的是，对于发生了不同异常情况的训练样本，为每个异常区域均添加标签，表示该区域为异常区域，虽然这些异常区域的类型不同，但是却具有一个共同的特征，即通过显著性图体现出的，这些区域与其他区域的颜色差异，因此，将添加了标签的样本图像以及该样本图像的显著性图输入进卷积神经网络模型，卷积神经网络模型经过训练之后，当待测图片中存在异常区域时，基于语义分割的卷积神经网络模型便能够识别并分割出该异常区域，即可以根据输出结果中的标签确定出待测图像中的异常区域。可以看出，由于本申请中添加了显著性图作为用于语义分割的卷积神经网络模型的输入，因此，在利用语义分割技术进行异常区域的检测时，可以避免只能检测有限种类的异常区域的情况，即降低了漏检概率。
相应于上面的方法实施例，本发明实施例还提供了一种基于语义分割的异常区域检测系统，可与上文相互对应参照。
参见图2所示，为本发明中一种基于语义分割的异常区域检测系统的结构示意图，包括：
样本图像显著性图提取模块201，用于获取样本图像，并提取出每一张样本图像的显著性图；
模型训练模块202，用于将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对卷积神经网络模型进行训练；其中，每个训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；
异常区域检测模块203，用于将待测图像以及待测图像的显著性图输入至经过训练的卷积神经网络模型中，获取卷积神经网络模型的输出结果，并根据输出结果中的标签确定出待测图像中的异常区域。
在本发明的一种具体实施方式中，样本图像显著性图提取模块201，具体用于：
获取样本图像，并通过rc算法提取出每一张样本图像的显著性图。
在本发明的一种具体实施方式中，样本图像显著性图提取模块201，具体用于：
针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；
通过
其中，s(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；dr(rk,ri)为区域rk与区域ri的颜色距离，
在本发明的一种具体实施方式中，样本图像显著性图提取模块201，具体用于：
针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；
通过
其中，s(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；dr(rk,ri)为区域rk与区域ri的颜色距离，
在本发明的一种具体实施方式中，样本图像显著性图提取模块201，具体用于：
获取初始图像，并将每一张初始图像切割为预设的目标大小；
利用切割后的一张或多张初始图像进行图像增广；
将通过图像增广获取到的各张图像以及切割后的初始图像构成的图像集合，作为获取到的样本图像，并提取出每一张样本图像的显著性图。
在本发明的一种具体实施方式中，还包括待测图像预处理模块，用于：
通过全零填充将待测图像的大小变为目标大小的正整数倍；
将全零填充后的待测图像进行切割，使得切割后的每张子图像的大小均等于目标大小；
异常区域检测模块203，具体用于：
依次将各张子图像以及该子图像的显著性图输入至经过训练的卷积神经网络模型中，获取卷积神经网络模型针对各张子图像的输出结果；
将各张子图像的输出结果放置在各自对应的位置，并将通过全零填充而增加的像素位置进行切割，切割后的结果作为获取到的针对待测图像的输出结果，并根据输出结果中的标签确定出待测图像中的异常区域。
相应于上面的方法和系统实施例，本发明实施例还提供了一种基于语义分割的异常区域检测设备和一种计算机可读存储介质，可与上文相互对应参照。
该基于语义分割的异常区域检测设备可以包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现上述任一实施例中的基于语义分割的异常区域检测方法的步骤。
计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中的基于语义分割的异常区域检测方法的步骤。这里所说的计算机可读存储介质包括随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！