图像差异检测方法、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像差异检测方法、电子设备及计算机可读存储介质。


背景技术：

2.显著对象可以是任何可以被定义的、状态可能发生变化的实体，例如是货架上放置的零食、厨房的油渍、传送带上放置的工业品等等。在诸多应用场景下，需要确定指定区域的显著对象在不同时间点的变化状态。例如在消防的应用场景下，可以确定消防区域是否堆叠不相干物品；在安防的应用场景下，可以确定指定区域内物品是否丢失、遗留、位置改变等等。
3.现有技术中，需要通过人工定时在现场查看，或者通过不同时间点拍摄的现场图像进行对比查看，确定显著对象的变化状态。因此现有的方法不仅需要耗费过多的人力成本，效率还不够高，还会出现漏检、误检的情况。


技术实现要素：

4.本技术提供一种图像差异检测方法、电子设备及计算机可读存储介质，能够自动确定显著对象的变化状态。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种图像差异检测方法。该方法包括：在待检测图像和对应的背景图像中，确定差异度大于差异度阈值的目标区域对，其中，目标区域对包括待检测图像的第一目标区域和背景图像的第二目标区域；获取目标区域对的特征匹配度；基于特征匹配度，确定目标区域对中显著对象的变化状态。
6.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
7.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
8.通过上述方式，本技术在待检测图像和对应的背景图像中，确定差异度大于差异度阈值的目标区域对，其中，目标区域对包括待检测图像的第一目标区域和背景图像的第二目标区域；获取目标区域对的特征匹配度；基于特征匹配度，确定目标区域对中显著对象的变化状态。由于待检测图像和对应的背景图像中的区域对之间的差异度足够大(大于差异度阈值)，意味着该区域对存在显著对象、为显著对象相关的区域对。因此将该区域对作为目标区域对，且根据目标区域对的特征匹配度，可以确定显著对象在目标区域对的变化状态。从而，本技术提供的方法能够实现自动确定显著对象的变化状态，降低人力成本、提高变化状态的确定效率和精度。
附图说明
9.图1是本技术图像差异检测方法一实施例的流程示意图；
10.图2是本技术图像差异检测方法另一实施例的流程示意图；
11.图3是本技术图像差异检测方法又一实施例的流程示意图；
12.图4是图3中s31的具体流程示意图；
13.图5是本技术图像差异检测方法具体实例的一流程示意图；
14.图6是待检测图像和背景图像的示意图；
15.图7是目标区域对的示意图；
16.图8是本技术图像差异检测方法具体实例的另一流程示意图；
17.图9是二值化结果1和二值化结果2的示意图；
18.图10是第一显著对象区域和第二显著对象区域的示意图；
19.图11是本技术图像差异检测方法具体实例的又一流程示意图；
20.图12是本技术电子设备一实施例的结构示意图；
21.图13是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
24.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
25.图1是本技术图像差异检测方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
26.s11：在待检测图像和对应的背景图像中，确定差异度大于差异度阈值的目标区域对。
27.其中，目标区域对包括待检测图像的第一目标区域和背景图像的第二目标区域。
28.待检测图像和背景图像是在不同的时间点、用同样的拍摄参数，对同一地理位置拍摄得到的。拍摄参数可以包括拍摄角度、拍摄距离等等。后文也称拍摄待检测图像的时间点为第一时间点，拍摄背景图像的时间点为第二时间点。
29.待检测图像中的第一图像区域和该第一图像区域在背景图像中对应的第二图像区域，共同组成一个图像区域对，因此同一个图像区域对中的第一图像区域在待检测图像中的位置和第二图像区域在背景图像中的位置相同。可以分别对待检测图像和背景图像之
间的多个图像区域对进行差异度计算，将差异度大于差异度阈值的图像区域对作为目标区域对，将差异度大于差异度阈值的图像区域对中的第一图像区域作为第一目标区域，第二图像区域作为第二目标区域。
30.第一目标区域和第二目标区域中对应像素值的差异度大于差异度阈值，第一目标区域和第二目标区域可以视为显著对象相关的区域，也可以视为显著对象的粗定位区域。
31.例如，背景图像和待检测图像为对厨房拍摄得到的，在拍摄背景图像时厨房中某指定区域没有油渍，在拍摄待检测图像时某指定区域有油渍，那么该指定区域在待检测图像中对应的区域被确定为第一目标区域，在背景图像中对应的区域被确定为第二目标区域，第一目标区域和第二目标区域为显著对象“油渍”相关的区域。
32.又如，背景图像和待检测图像为对商品货架拍摄得到的，在拍摄背景图像时商品货架上的指定区域有正向放置的商品1，在拍摄待检测图像时商品货架上的指定区域有斜向放置的商品1，那么该指定区域在待检测图像中对应的区域被确定为第一目标区域，在背景图像中对应的区域被确定为第二目标区域，第一目标区域和第二目标区域为显著对象“商品1”相关的区域。
33.s12：获取目标区域对的特征匹配度。
34.在一些实施例中，可以分别对第一目标区域和第二目标区域进行特征点提取、特征点匹配，将匹配上的特征点数量作为特征匹配度。特征点提取的算法包括但不限于sift算法。
35.在一些实施例中，为了提高特征匹配度的准确度，可以在目标区域对的基础上进行精定位，得到显著对象的精定位结果；再基于精定位结果获取特征匹配度。具体实现过程请参考后面实施例的说明。
36.s13：基于特征匹配度，确定目标区域对中显著对象的变化状态。
37.目标区域对中显著对象的变化状态，是指显著对象在第二目标区域(背景图像)和第一目标区域(待检测图像)之间的变化状态，或者说，是指显著对象从第二时间点到第一时间点的变化状态。
38.显著对象的变化状态分为改变和未改变，未改变的情况又分为出现和消失。例如，第二目标区域油渍存在，第一目标区域油渍存在，则显著对象的变化状态为改变；第二目标区域油渍不存在，第一目标区域油渍存在，则显著对象的变化状态为出现；第二目标区域油渍存在，第一目标区域油渍不存在，则显著对象的变化状态为消失。
39.通过本实施例的实施，本技术中，由于待检测图像和对应的背景图像中的区域对之间的差异度足够大(大于差异度阈值)，意味着该区域对存在显著对象、为显著对象相关的区域对。因此将该区域对作为目标区域对，且根据目标区域对的特征匹配度，可以确定显著对象在目标区域对的变化状态。从而，本技术提供的方法能够实现自动确定显著对象的变化状态，降低人力成本、提高变化状态的确定效率和精度。
40.图2是本技术图像差异检测方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例是对s11的进一步扩展，如图2所示，本实施例中，s11可以包括：
41.s21：获取待检测图像和背景图像之间的差分图像。
42.在一些实施例中，可以直接将待检测图像减去背景图像，得到差分图像。即，将待
检测图像和背景图像中对应像素差值的绝对值，作为差分图像中对应的像素值。
43.在一些实施例中，可以分别对待检测图像进行多次不同角度的旋转操作和/或不同方向的平移操作，得到多张前景图像；对于每张前景图像，获取前景图像与背景图像之间的差分图像。由此，得到的差分图像有多张。可以理解的是，在拍摄待检测图像时摄像设备发生抖动，会导致待检测图像和背景图像的拍摄参数、拍摄位置等存在差异，为后续处理带来误差。本方式通过对待检测图像的旋转、平移操作得到多张前景图像，并将多张前景图像应用于第一二值化图像的计算，能够减小甚至消除因抖动引起的误差。
44.例如，记待检测图像为fg，背景图像为bg。对fg从-5至5
°
，每隔2
°
进行旋转操作；分别在水平方向以fg的图像宽度的1％对fg进行左平移、右平移，分别在竖直方向以fg的图像宽度的1％对fg进行上平移、下平移，平移后空缺像素补0。由此得到第i张前景图像fg
′i∈{fg
′1,fg
′2...,fg
′2},n＝10。将fg
′i减去bg，得到第i张差分图像subi＝|fg
i-bg|。
45.s22：对差分图像进行二值化处理，得到第一二值化图像。
46.在仅一张差分图像的情况下，可以直接对该张差分图像进行二值化处理，得到第一二值化图像。在多张差分图像的情况下，可以分别对多张差分图像分别进行二值化处理，得到多张第二二值化图像；对多张第二二值化图像中对应的像素值进行与运算，得到第一二值化图像。
47.s23：基于第一二值化图像，确定目标区域对。
48.第一二值化图像可以视为显著对象的粗分割掩膜。
49.在一些实施例中，可以确定第一二值化图像中的目标连通域；将目标连通域的外接矩形框作为变化区域；将变化区域在待检测图像中对应的区域作为第一目标区域，以及将变化区域在背景图像中对应的区域作为第二目标区域。
50.在一些实施例中，可以在确定第一二值化图像中的目标连通域之前，对第一二值化图像进行膨胀操作和腐蚀操作，以更新第一二值化图像。可以理解的是，通过膨胀操作、腐蚀操作不仅能够去除第一二值化图像中的噪点，还可以优化目标连通域的边界。
51.在一些实施例中，可以在将目标连通域的外接矩形框作为变化区域之前，将目标连通域的外接矩形框进行扩大处理。扩大处理后的外接矩形框不超出第一二值化图像的边界。可以理解的是，若在得到第一二值化图像的过程中进行了与运算、膨胀操作和腐蚀操作，可能会导致目标连通域的面积小于实际连通域面积，进而导致外接矩形框的面积小于实际矩形框面积。因此将扩大处理后的外接矩形框作为变化区域，能够减小变化区域的误差。
52.下面以扩大比例为外接矩形框原尺寸宽、高的5％为例，对扩大处理进行说明：
53.记外接矩形框为[x
ul y
ul x
rd y
rd
]，其中(x
ul
，y
ul
)表示左上顶点坐标，(x
rd
，y
rd
)表示右下顶点坐标，宽度为w，高度为h。
[0054]
记扩大处理后的外接矩形框为[x
′
ul y
′
ul x
′
rd y
′
rd
]，其中(x
′
ul
，y
′
ul
)表示扩大处理后的左上顶点坐标，(x
′
rd
，y
′
rd
)表示扩大处理后的右下顶点坐标：
[0055]
[0056][0057][0058][0059]
图3是本技术图像差异检测方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本实施例中s31～s32是对s12的进一步扩展，s33～s35是对s13的进一步扩展。如图3所示，本实施例可以包括：
[0060]
s31：确定第一目标区域的第一显著对象区域、以及第二目标区域的第二显著对象区域。
[0061]
第一显著对象区域可以视为第一目标区域中显著对象的精定位区域，第二显著对象区域可以视为第二目标区域中显著对象的精定位区域。
[0062]
可以提取第一目标区域的第一显著性特征图和第二目标区域的第二显著性特征图；基于第一显著性特征图得到第一显著对象区域，以及基于第二显著性特征图得到第二显著对象区域。
[0063]
其中，可以对第一/第二目标区域进行显著性检测，得到第一/第二显著性特征图。显著性检测的算法可以是lc算法、hc算法、ac算法、ft算法等等。第一/第二显著性特征图可以但不限于是对比度特征图、频率协调特征图。
[0064]
lc算法中对比度特征图的获取方式为：依次将图像中每个像素值作为当前像素值，分别计算当前像素值与其他像素值的差值的绝对值之和，将该和作为当前像素值在对比度特征图中对应的像素值c(im)：
[0065][0066]
其中，i1表示待检测图像/背景图像，im表示当前像素值，in表示其他像素值。
[0067]
ft算法中频率协调特征图的获取方式如下：
[0068]
①
对图像进行滤波处理(为了去除噪声，在一些实施例中可以不进行
①
而直接进入
②
)。滤波处理的方式包括但不限于高斯滤波。例如，用5*5的高斯核对图像进行高斯滤波。
[0069]
②
将图像的颜色空间从rgb转换到cielab，得到l、a、b三个通道的图像。
[0070]
③
分别计算l、a、b三个通道的图像(称l通道图像中像素为l，a通道图像中像素为a，b通道图像中像素为b)中的像素平均值。
[0071]
④
分别计算l、a、b同其所属的通道的像素平均值之间的距离，得到l、a、b三个通道的频率协调特征图。
[0072]
针对某通道，频率协调特征图可以依据如下公式得到：
[0073]
f(in)＝||i
n-i
μ
||；
[0074]
其中，i
μ
表示像素平均值，in表示某通道图像中的当前像素值，f(in)表示当前像素
值在频率协调特征图中对应的像素值。
[0075]
结合参阅图4，若第一显著性特征图包括第一对比度特征图和第一频率协调特征图，第二显著性特征包括第二对比度特征图和第二频率协调特征图，则s31可以包括以下子步骤：
[0076]
s311：对第一对比度特征图和第一频率协调特征图进行融合得到第一融合特征图，以及对第二对比度特征图和第二频率协调特征图进行融合得到第二融合特征图。
[0077]
在融合之前可以对第一/第二对比度特征图、第一/第二频率协调特征图进行归一化处理。
[0078]
以第一融合特征图为例，可以基于如下的计算公式实现融合：
[0079][0080]
其中，s(im)表示当前像素值在第一融合特征图中对应的像素值，c
min
、c
max
分别表示第一对比度特征图中的最小像素值、最大像素值，f
min
、f
max
分别表示第一频率协调特征图中的最小像素值、最大像素值，α和β表示权重(例如α和β设定为0.3、0.7)。
[0081]
s312：基于第一融合特征图得到第一显著对象区域，基于第二融合特征图得到第二显著对象区域。
[0082]
可以分别对第一融合特征图进行二值化处理，得到二值化结果1，以及对第二融合特征图进行二值化处理，得到二值化结果2。二值化结果1可以视为第一目标区域中显著对象的精分割掩膜，二值化结果2可以视为第二目标区域中显著对象的精分割掩膜。由此，可以基于二值化结果1在第一目标区域中确定第一显著对象区域，以及基于二值化结果2在第二目标区域中确定第二显著对象区域。
[0083]
s32：对第一显著对象区域和第二显著对象区域进行特征点匹配，将匹配上的特征点数量作为特征匹配度。
[0084]
s33：判断特征匹配度是否大于匹配度阈值。
[0085]
若是则执行s34；否则执行s35。
[0086]
s34：确定显著对象的变化状态为未改变。
[0087]
s35：确定显著对象的变化状态为改变。
[0088]
改变的情况分为出现和消失两种。若第一显著对象区域的特征点数量大于第二显著对象区域的特征点数量，则视第二显著对象区域不存在显著对象，第一显著对象区域存在显著对象，显著对象的变化状态为出现；否则视第二显著对象区域存在显著对象，第一显著对象区域不存在显著对象，确定显著对象的变化状态为消失。
[0089]
如下结合图5～以一个例子的形式对本技术提供的方法进行说明：
[0090]
1)获取待检测图像和背景图像之间的目标区域对。待检测图像和背景图像的示例见图6。图6中左图代表待检测图像，右图代表背景图像。目标区域对的示例见图7。图7中左图的a代表第一目标区域，右图的b代表第二目标区域。
[0091]
结合图8，对1)进行详细说明：
[0092]
①
旋转、平移变化。对待检测图像进行旋转和平移操作，得到4张前景图像。
[0093]
②
减去背景。分别用4张前景图像减去背景图像，得到4张差分图像。
[0094]
③
去差值图片交集。分别对4张差分图像进行二值化处理，得到4张第二二值化图
像，对4张第二二值化图像进行与运算，得到第一二值化图像。
[0095]
④
形态学运算。对第一二值化图像进行膨胀操作和腐蚀操作，以更新第一二值化图像(变化区域二值图)。
[0096]
⑤
外扩截取。确定变化区域二值图中的目标连通域，对目标连通域的外界矩形框进行扩大处理，得到变化区域；将变化区域在待检测图像中对应的区域作为第一目标区域；将变化区域在背景图像中对应的区域作为第二目标区域。图8中最右侧图所示为第二目标区域。
[0097]
2)分别对第一目标区域和第二目标区域进行显著性检测，对应得到第一显著性特征图和第二显著性特征图。
[0098]
3)分别对第一显著性特征图和第二显著性特征图进行二值化处理，对应得到二值化结果1和二值化结果2。二值化结果1和二值化结果2的示例见图9。图9中左图代表二值化结果1，右图代表二值化结果2，其中白色部分代表显著对象。
[0099]
4)基于二值化结果1在第一目标区域确定第一显著对象区域，基于二值化结果2在第二目标区域确定第二显著对象区域。第一显著对象区域和第二显著对象区域的示例见图10。图10中左图表示第一显著对象区域，右图表示第二显著对象区域。
[0100]
5)基于第一显著对象区域和第二显著对象区域，确定显著对象的变化状态。
[0101]
结合图11，对5)进行详细说明：
[0102]
①
分别对第一显著对象区域(前景抠取图片)和第二显著对象区域(背景抠取图片)进行sift特征点提取、特征点匹配，确定匹配的特征点数量。
[0103]
②
若匹配的特征点数量大于阈值，则确定显著对象状态未改变。
[0104]
③
若匹配的特征点数量不大于阈值，则比较第一显著对象区域和第二显著对象区域的特征点数量；若第一显著对象区域的特征点数量(前景特征)较多，则确定显著对象状态为出现；若第二显著对象区域的特征点数量(背景特征)较多，则确定显著对象状态为消失。
[0105]
图12是本技术电子设备一实施例的结构示意图。如图12所示，该电子设备包括处理器21、与处理器21耦接的存储器22。
[0106]
其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为cpu(central processing unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0107]
本实施例提及的电子设备可以是接入管理节点，也可以是与接入管理节点建立有连接的其他设备。
[0108]
图13是本技术计算机可读存储介质一实施例的结构示意图。如图13所示，本技术实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本技术上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述
的计算机可读存储介质30包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0109]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0110]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。