一种基于稳健主成分分析法的图像差异检测方法与流程

本发明属于图像处理技术领域，特别涉及一种基于稳健主成分分析法的图像差异检测方法。

背景技术：

基于无人机平台的图像差异检测系统在军事和民用上具有重要的使用价值和广阔的应用前景，是新一代无人监测技术研究的热门领域，其通过对多视角、多时相无人机平台获取的图片或视频信息进行差异检测，可以发现潜在感兴趣区域的变化及目标的移动，实现对区域的特征提取及描述，并为进一步决策提供有力依据。

现有差异检测方法主要以图像灰度图或颜色变化等实现图像的差异化描述，该类方法对于固定视角采集的图像有较高的检测性能，可以较好的实现对差异区域的发现及识别。然而，实际应用中，尤其以无人机为代表的新一代无人监测平台的发展及普及，要求在不同时间不同视角甚至不同监测设备的条件下，实现对差异区域的监测。因此，如果仍然采用以图像灰度图为基础的检测方法，其视角差异、光照条件等非理想因素会严重恶化检测性能，使得差异检测结果存在大量虚警，无法用于判断真实差异区域。

为了更好的适应新一代无人平台监测需求，尤其是可满足多幅图像同时检测的应用需求，此时传统的基于两幅图差异化检测的方法不再适用，需要采用自适应背景结构及信息提取技术，通过对多幅图像背景特性的分析及优化求解，将满足一定相关特性的背景图像统一识别并提取，并结合图像处理方法，实现对差异区域的自适应检测。

技术实现要素：

本发明的目的在于提出一种基于稳健主成分分析法的图像差异检测方法。本发明利用多幅图像间的背景相关性，减少由于时间、视角和光照等非理想因素造成的颜色扰动，自适应的提取差异区域的特性，提高识别稳健性，降低虚警点，实现多时相、多视角下的无人平台自适应差异检测。

为实现上述技术目的，本发明采用如下技术方案予以实现。

一种基于稳健主成分分析法的图像差异检测方法包括以下步骤：

s1：利用光学相机获取不同时间、不同视角、同一场景的多幅图像，获取图像的个数为m；

s2：对m幅图像进行几何配准，得到配准后的图像数据表示为矩阵x1至xm或xi，i取值1至m，xi表示第i幅图像配准后的图像数据的矩阵；

s3：分别对矩阵x1至xm进行列向量化处理，得到列向量η1至ηm，然后将列向量η1至ηm组合成矩阵x，x＝[η1,...,ηm]；

s4：利用稳健主成分分析法对所述矩阵x进行分解，得出对应的包含差异点信息的稀疏矩阵s0；

s5：将所述稀疏矩阵s0的每一列重新拉成与xi维数相同的矩阵，s0的第i列拉成的矩阵记为i取值1至m，拉成的矩阵为各幅图像的差异点信息；

s6：对进行杂噪点滤除，将同一区域相连接的差异点合并为一个差异区域，并对滤除后的各个差异区域依次进行标记，记为至或l取值1至li，li为第i幅图像中得到的差异区域的个数，表示第i幅图像中的第l块差异区域；

s7：对每块差异区域进行计算，得出差异区域(i＝1,...,m，l＝1,...,li)对应的中心坐标(mi_l,ni_l)、长度lengthi_l和高度heighti_l，并标记该差异区域的差异区域信息为xi_out_l＝[mi_l,ni_l,lengthi_l,heighti_l](i_out_l＝i_out_1,...,i_out_li，i＝1,...,m)；

s8：利用xi_out_l(i_out_l＝i_out_1,...,i_out_li，i＝1,...,m)得到第i幅图像的差异区域信息矩阵(i＝1,...,m)，将该差异区域信息矩阵对应的差异区域标注在配准后的图像xi中。

在一些实施例中，在所述步骤s2中，对m幅图像进行几何配准，得到配准后的图像数据表示为矩阵x1至xm或xi，i取值1至m，xi表示第i幅图像配准后的图像数据的矩阵，包括如下步骤：对所述m幅图像进行几何配准，以第一幅图像为基准，利用sift算子或其改进算法对其他图像依次进行几何配准，将所述其他图像变换到与所述第一幅图像一致的视角和场景大小，配准后的图像数据记为矩阵x1至xm或xi，i取值1至m，xi表示第i幅图像配准后的图像数据的矩阵。

在一些实施例中，在所述步骤s4中，利用稳健主成分分析法对所述矩阵x进行分解，得出对应的包含差异点信息的稀疏矩阵s0，具体包括以下步骤：

矩阵x的分解模型为：x＝l0+s0+n0，其中，l0、s0和n0为分解后的三个子矩阵，l0是低秩矩阵，n0表示剩余噪声，s0为稀疏矩阵，矩阵s0与矩阵x的维数相同；根据最优化模型提取出l0、s0和n0：

min||l0||*+μ||s0||1

s.t.||x-l0-s0||f<δ

其中，||·||1表示求1-范数，||·||f表示求f-范数，||·||*表示求核范数，δ为设定的常数，μ表示权因子且μ>0，min表示最小化，s.t.为subjectto的简写表示“约束为”，整个方程的含义为在满足约束条件为||x-l0-s0||f<δ的条件下，使得目标函数||l0||*+μ||s0||1的值最小。

在一些实施例中，在所述步骤s5中，将所述稀疏矩阵s0的每一列重新拉成与xi维数相同的矩阵，s0的第i列拉成的矩阵记为i取值1至m，拉成的矩阵为各幅图像的差异点信息，所述步骤具体包括以下步骤：对于所述稀疏矩阵s0的第i列s0(i)，将s0(i)按照从上到下的顺序划分b个列向量，b为图像xi对应的横轴的长度，所述b个列向量的元素个数均为a，a为图像xi对应的纵轴的长度，将所述b个列向量按划分顺序组合为对应的矩阵其中，i取值1至m。

在一些实施例中，在所述步骤s6中，对进行杂噪点滤除，将同一区域相连接的差异点合并为一个差异区域，并对滤除后的各个差异区域依次进行标记，记为至或所述步骤具体包括以下步骤：

设定图像先验门限t，该门限设定的准则为：t为配准后m幅图像中待检测感兴趣目标类型的尺寸所对应分辨单元个数的最小值；

对于第i(i＝1,...,m)个拉成的矩阵依次执行如下三个步骤：

s1：对进行candy算子边缘检测，检测后对边缘进行闭合曲线确认；

s2：对于属于闭合曲线的边缘，对其进行填充处理，并计算其像素点个数，当填充后该闭合曲线内的像素点个数大于等于门限t时，定义该闭合曲线内的所有差异点为一个差异区域；

s3：对于非闭合曲线或闭合曲线但像素点个数小于门限t，将其边缘信息或差异区域信息置零，即滤除，对于滤除后保留的剩余的各个差异区域依次记为至或表示第i幅图像中的第l块差异区域，l取值1至li，li为第i幅图像中得到的差异区域的个数。

在一些实施例中，在所述步骤s7中，对每块差异区域进行计算，得出差异区域对应的中心坐标(mi_l,ni_l)、长度lengthi_l和高度heighti_l，并标记该差异区域的差异区域信息为xi_out_l＝[mi_l,ni_l,lengthi_l,heighti_l]，所述步骤具体包括以下步骤：

对每块差异区域进行计算，对于差异区域(i＝1,...,m，l＝1,...,li)，得到该差异区域的横轴最大值和最小值分别为bi_l_max和bi_l_min，该差异区域的纵轴最大值和最小值分别为ai_l_max和ai_l_min；

按如下定义，计算所述差异区域的中心坐标(mi_l,ni_l)、长度lengthi_l和高度heighti_l：

mi_l＝(bi_l_max+bi_l_min)/2

ni_l＝(ai_l_max+ai_l_min)/2

lengthi_l＝bi_l_max-bi_l_min

heighti_l＝ai_l_max-ai_l_min

标记所述差异区域的差异区域信息为xi_out_l：

xi_out_l＝[mi_l,ni_l,lengthi_l,heighti_l]

本发明的有益效果为：1)现有技术主要采用图像像素相减的方法，在理想情况下可以具有较好的差异区域检测效果，然而在实际应用中，对同一区域图像采集视角的差异、光照等非理想条件的差异以及多幅图像间的基准选择差异，都会造成检测性能的急剧下降，产生大量杂波虚警，无法用于后续图像差异区域信息的判决。本发明利用图像间背景杂波在结构以及色彩信息分布的强相关性，可以自适应的同时提取多幅图像的杂波背景，降低由于非理想误差造成的虚警。2)传统方法主要基于两幅图像的图像差异检测，若需多幅图像对比，需要以此遍历，且由于基准图像的选择不同，造成结果差异较大。本发明利用低秩矩阵特性，在计算能力许可的条件下，可同时处理大量图像，对一次问题只需一次整体求解过程，避免了数据遍历等问题，同时无需选择基准图像，而是得到所有图像共有部分作为背景图像，进而得到的差异区域相对于其他所有图像具有普适性。3)本发明在实现过程未增加任何硬件约束条件，同时具有更强的实用范围，在变化平台、多视角、多时相观测条件以及无人智能系统上等均可满足应用。

附图说明

图1为本发明的一种基于稳健主成分分析法的图像差异检测方法的流程图；

图2a为无人机平台获取的一幅场景图像a；

图2b为无人机平台于获取图像a多天后获取的同一场景图像b；

图3为图像a与图像b的特征点配准结果；

图4a为图像a配准后的图像；

图4b为图像b以图像a为基准的配准后的图像；

图5为本发明所采用的主成分分析法得到的图像差异检测结果；

图6为图像差异点的边缘检测结果；

图7为边缘检测后对闭合区域的填充结果；

图8a为对填充结果进行非闭合区域去除以及杂噪点滤除后的结果；

图8b为将图8a的差异区域结果标注于配准后的图像a中；

图9a为采用传统方法得到的差异区域检测结果；

图9b为将图9a的差异区域结果标注于配准后的图像a中。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

参照图1，为本发明的一种基于稳健主成分分析法的图像差异检测方法的流程图。该基于稳健主成分分析法的图像差异检测方法包括以下步骤：

步骤101，利用光学相机获取不同时间、不同视角、同一场景的多幅图像，获取图像的个数为m。

利用光学相机在不同时间、不同视角下获取同一场景的多幅图像，获取图像的个数为m，各个图像的图像信息分别表示为矩阵xorg_1至xorg_m或xorg_i，i取1至m，xorg_i表示光学相机第i次所获取的图像的图像信息。

其中，每幅图像的图像信息xorg_i(i＝1,...,m)的数据格式为一个三维数组a×b×c，其中第一维a为图像的几何纵轴长度，第二维b为图像的几何横轴长度，第三维c为图像颜色信息。

步骤102，对m幅图像进行几何配准，得到配准后的图像数据表示为矩阵xi。

对上述m幅图像xorg_1至xorg_m进行配准，首先选取图像的特征点，以第一幅图像xorg_1为基准，利用sift算子或其改进算法分别计算其他各幅图像到第一幅图像的投影矩阵，并做相应的几何变换，得到配准后的数据表示为矩阵x1至xm或xi，xi表示第i幅图像配准后的图像数据的矩阵，i取1至m。

配准后的图像数据的矩阵xi与配准前图像数据的矩阵xorg_i的维度相同，其数据格式仍然为三维数组a×b×c，且此时各幅图像间对应坐标下所反映物体的几何关系和尺度信息是一致的，即视角和场景大小是一致的。然而经过几何配准，图像被投影到第一幅图像xorg_1的视角和图像尺寸结构上，此时部分原图像数据因为几何旋转而丢失，同时，配准后的部分图像数据为零。

在本实施例的一些可选的实现方式中，对上述m幅图像进行几何配准，可以选取上述m幅图像中的任何一幅图像作为基准，利用sift算子或其改进算法对其他图像依次进行几何配准，将上述其他图像变换到与所选取的基准图像一致的视角和场景大小，配准后的图像数据记为矩阵x1至xm。

步骤103，分别对矩阵x1至xm进行列向量化处理，得到列向量η1至ηm，然后将列向量η1至ηm组合成矩阵x，x＝[η1,...,ηm]。

矩阵xi(i＝1,...,m)在纵轴维上的长度为a，矩阵xi在横轴维的长度为b；也就是说，矩阵xi的行数为a，列数为b。对矩阵xi进行列向量化处理包括以下步骤：将矩阵xi(i＝1,...,m)的每一列抽取出来，然后按照各列在矩阵xi中的顺序，将矩阵xi的每一列组合到一列中，形成列向量ηi(i＝1,...,m)；显而易见的是，a×b维的矩阵xi经列向量化处理之后，转换成了ab×1维的列向量ηi，所以矩阵x＝[η1,...,ηm]的维数为ab×m。

由矩阵x的组成可知，矩阵x是包含有所有图像信息的矩阵。如果原场景中所有物体在不同观测图像中均没有发生变化，即x1≈x2…≈xm，其中，约等于符号的出现原因是：无人机平台的抖动影响、噪声影响以及光照、吹风、视角等差异造成的图像信息偏差，那么，此时矩阵x是一个近似秩为1的低秩矩阵；如果原场景在不同图像间发生变化，那么x可以认为是由两部分构成，一个是由静止场景得到的低秩矩阵，另一个是包含有变化区域的稀疏矩阵(变化区域相对场景而言具有稀疏性)。

步骤104，利用稳健主成分分析法对矩阵x进行分解，得出对应的包含差异点信息的稀疏矩阵s0。

稳健主成分分析法(rpca，robustprincipalcomponentanalysis)用于对多幅图像进行变化区域和非变化区域的分离。在稳健主成分分析法中，矩阵x的分解模型为：

x＝l0+s0+n0

其中，l0、s0和n0为分解后的三个子矩阵，s0为稀疏矩阵，l0是低秩矩阵，n0表示剩余噪声。

然后，根据最优化模型提取出l0、s0和n0：

min||l0||*+μ||s0||1

s.t.||x-l0-s0||f<δ

其中，||·||1表示求1-范数，||·||f表示求f-范数，||·||*表示求核范数，具体地说，||l0||*表示l0中所有奇异值的和，δ为设定的常数，μ表示权因子且μ>0。上式中，min表示最小化，s.t.为subjectto的简写表示“约束为”，整个方程的含义为在满足约束条件为||x-l0-s0||f<δ的条件下，使得目标函数||l0||*+μ||s0||1的值最小。

步骤105，将所述稀疏矩阵s0的每一列重新拉成与xi维数相同的矩阵，s0的第i列拉成的矩阵记为i取值1至m，拉成的矩阵为各幅图像的差异点信息。

通过分析可知，步骤104中得到的s0包含有差异点信息，它的每一列即对应了不同图像间的变化点分布情况，通过与步骤103相反的逆变化，即s0中的每一列重新拉成为与xi维数相同的矩阵，即得到了各幅图像的差异点信息。具体地，稀疏矩阵s0的第i列为s0(i)，将s0(i)按照从上到下的顺序划分b个列向量，b为图像xi对应的横轴的长度，所述b个列向量的元素个数均为a，a为图像xi对应的纵轴的长度，将所述b个列向量按划分顺序组合为对应的矩阵其中，i取值1至m。

步骤106，对进行杂噪点滤除，将同一区域相连接的差异点合并为一个差异区域，并对滤除后的各个差异区域依次进行标记，记为

设定图像先验门限t，该门限设定的准则为：t为配准后m幅图像中待检测感兴趣目标类型的尺寸所对应分辨单元个数的最小值。

对于第i(i＝1,...,m)个拉成的矩阵依次执行如下三个步骤：

s1：对进行candy算子边缘检测，得到差异点的边缘信息，根据差异点的边缘信息对边缘进行闭合曲线确认。由于地物变化造成的差异点往往具有一定的几何结构且可聚类为闭合区域，因此可以对其进行边缘信息提取，对非闭合曲线进行滤除。

s2：对于属于闭合曲线的边缘，对其进行填充处理，并计算其像素点个数(面积)，由于相比于杂波扰动引起的图像差异点，地物变化造成的差异区域较大，因此，当填充后该闭合曲线内的像素点个数(面积)大于等于门限t时，定义该闭合曲线内的所有差异点属于一个差异区域，即该闭合曲线的曲线内区域为一个差异区域。

s3：对于非闭合曲线或闭合曲线但像素点个数小于门限t，将上述非闭合曲线或像素点个数(面积)小于门限t的闭合曲线的边缘信息或差异区域信息置零，即滤除，对于滤除后保留的剩余的各个差异区域依次记为至或l取值1至li，li为第i幅图像中得到的差异区域的个数，表示第i幅图像中的第l块差异区域，i取1至m。

步骤107，对每块差异区域进行计算，得出差异区域对应的中心坐标(mi_l,ni_l)、长度lengthi_l和高度heighti_l，并标记该差异区域的差异区域信息为xi_out_l＝[mi_l,ni_l,lengthi_l,heighti_l]。

对每块差异区域进行计算，对于差异区域(i＝1,...,m，l＝1,...,li)，得到该差异区域的横轴最大值和最小值分别为bi_l_max和bi_l_min，该差异区域的纵轴最大值和最小值分别为ai_l_max和ai_l_min。

按如下定义，计算上述差异区域的中心坐标(mi_l,ni_l)、长度lengthi_l和高度heighti_l：

mi_l＝(bi_l_max+bi_l_min)/2

ni_l＝(ai_l_max+ai_l_min)/2

lengthi_l＝bi_l_max-bi_l_min

heighti_l＝ai_l_max-ai_l_min

标记上述差异区域的差异区域信息为xi_out_l：xi_out_l＝[mi_l,ni_l,lengthi_l,heighti_l]。

步骤108，利用xi_out_l得到第i幅图像的差异区域信息矩阵将该差异区域信息矩阵对应的差异区域标注在配准后的图像xi中。

利用xi_out_l得到第i幅图像的差异区域信息矩阵其数据维度为li×4，根据该差异区域信息矩阵，进而，将该差异区域信息矩阵对应的差异区域标注在原配准后的图像xi中。标注的差异区域是每幅图像与背景图像的差异部分，而背景图像指上述m图像的共有部分(场景中的静止背景)。

根据上述分析可知：本发明主要解决了多幅图像在不同视角、不同时相以及不同光照等非理想条件下的差异区域检测问题。本发明将多幅图像的数据向量化，并将多幅图像向量化的数据放在一起构成一个新的矩阵，由于场景中静止背景在多幅图像中具有较强的色彩和结构相关性，因此可以认为其构成的部分在新的矩阵中表现为一个低秩矩阵，而差异区域构成的部分为一个稀疏矩阵，利用这样的特性，采用稳健的主成分分析方法对数据进行处理，分离得到包含有差异信息的稀疏矩阵，最终实现对多幅图像差异变化的有效检测。

本发明的优点可以通过以下实测数据进行说明：

利用无人机平台对同一场景进行观测，前后两次获取的图像如图2所示(此处为表述直观，图像个数为2，本发明方法同样可以用在多幅图像对比中)，其中，图2a和图2b获取的时间间隔为两天，所用采集设备完全一致。可以看到两幅图像间存在一定的视角差异且图像的光照条件存在明显差异。对比图2a和图2b，可以看出，图中存在多处地物变化，例如，路上汽车。

为了是实现对图像的差异化检测，需要对图像进行配准，通常采用基于sift算子及其改进算法进行图像特征点匹配，如图3所示，房屋、汽车等特征较明显的目标所对应的特征点匹配性能较好。在利用特征点得到图像间的转化矩阵后，对图像进行投影变换。此处配准是以图像a为基准，因此对图像b进行投影变换，变化后的图像如图4b所示。图4a为图像a配准后的图像，由于图像a配准以该图自身为基准，所以没有投影操作，图4b为图像b以特征点配准为基准进行投影转换，可以看出，图像b投影转换后的图像与图像a在几何关系上完全一致，但由于旋转及变化，左上和右上角存在部分图像数据缺失，同时原图像数据中的左上、右上和右下角部分图像数据丢失，为了使图像a和转换后的图像b完全配准，对图像a做同样的数据丢失处理，如图4a左上和右上角所示。

采用本发明的方法，即利用稳健主成分分析法对多幅图像进行处理，得到包含有差异区域的稀疏矩阵，将稀疏矩阵的第一列取出，并将该列向量重新变化为与原图像a维度一致的图像，得到其图像结果如图5所示，该图即差异检测结果。通过将该图与原图像a对比，可以看出，其中包含的区域主要是由图像a和图像b的差异区域所构成，这一点验证了本发明方法的有效性。

为了进一步提高差异区域检测性能，对图像进行处理，首先对其检测得到的差异区域进行边缘信息提取，如图6所示。其次，利用地物变化造成的差异点往往具有一定的几何结构且可聚类为闭合区域、闭合区域的边缘信息为闭合曲线的特点，对像素点个数大于等于150个像素点的闭合曲线的边缘进行填充，如图7所示。最终，对其非闭合边缘曲线进行滤除并将闭合曲线中像素点个数小于150个像素点的差异区域进行滤除(此处门限设定为150，其数值大小为一辆典型小车的三分之一所占的像素单元的个数，因此可实现对汽车量级目标的差异变化的检测与提取)，其滤除后的图像如图8a所示。为更好地对检测结果进行验证，将图8a中的检测结果重新标注在配准后的图像a中，如图8b中的椭圆实线标注所示，可以看出，其差异区域全部被检测并标注。为进一步实现对比，图9a为采用传统的帧间差法得到的差异区域检测结果，图9b为将图9a的差异区域结果标注于配准后的图像a中，其中，图9b中用点化线将错误的结果框出，可以看出，存在明显的图像漏检和错检结果，这主要是由于无人机平台视角差异引起的图像颜色差异的扰动引起。

综上所述，本发明利用多幅图像间静止场景在颜色和几何结构的强相关性，减少由于视角、时相、平台、采集条件等因素造成的扰动，减少漏检和错检，提高目标自适应检测性能，提高稳健的差异区域检测性能。

显然，本领域的技术人员可以对本发明专利进行各种改动和变型而不脱离本发明的精神和范围。这样倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。