基于偏振成像的场景变化检测方法及其工作流程

本发明属于计算机视觉分析方法，具体涉及基于偏振成像的场景变化检测方法，还涉及该检测方法的工作流程。

背景技术：

1、场景变化检测是指从相同区域、不同时相场景图片中检测出感兴趣的变化信息，广泛应用遥感测绘、环境监测、灾害评估等领域。由于受光照变化、成像质量和环境干扰的影响，特征描述的准确性和特征分类的鲁棒性是影响场景变化检测性能的重要因素。传统特征描述方法通常提取边缘、轮廓、纹理等图像底层或中层特征信息，导致特征表达能力有限，难以满足复杂地物分布或环境信息多样情况下场景变化检测需求。当前基于深度学习的变化检测方法能够有效提取图像深层特征信息，具有强大的特征表征能力和较高的特征分类准确性，但需要大量训练样本，且仍存在资源消耗大、精度不足的问题。

技术实现思路

1、本发明的第一个目的是提供基于偏振成像的场景变化检测方法，解决了现有特征描述方法的特征表达能力有限或资源消耗大、精度不足的问题。

2、本发明的第二个目的是提供基于偏振成像的场景变化检测方法的工作流程

3、本发明所采用的第一种技术方案为：基于偏振成像的场景变化检测方法，首先进行场景偏振成像预处理，通过对采集的偏振图像进行图像去噪、图像增强、辐射校正预处理；再进行场景变化区域预检测，采用灰度共生矩阵提取场景偏振图像的纹理特征，通过模糊聚类算法将整个图像划分为变化区域、不变区域和待定区域；最后进行场景变化定位，采用基于fast-pcanet的场景变化检测方法，实现场景变化定位。

4、本发明所采用的第一种技术方案的特征还在于：

5、进一步的，基于偏振成像的场景变化检测方法，具体按以下步骤实施：

6、步骤1、场景偏振成像预处理，对于变化前/后场景偏振成像图片，进行图像去噪、图像配准、辐射校正和偏振融合预处理；

7、步骤2、场景变化区域预检测，对步骤1预处理后的图片，采用灰度共生矩阵描述偏振度图像、偏振角图像和红外光强图像的纹理特征，计算多张图像纹理特征的差分图像，通过模糊聚类算法将整个差分图像分为变化区域、不变区域和待定区域三类；

8、步骤3、场景变化定位，采用基于fast-pcanet的场景变化检测算法，对划分好区域的差分图像滤除伪变化点，获取变化检测结果。

9、进一步的，步骤1具体操作方法如下：

10、步骤1.1、图像去噪，采用加权中值滤波消除噪声干扰，保留不同时相偏振图像的纹理和边缘信息；

11、步骤1.2、图像配准，采用mser-surf解决成像角度差异较大时的配准难题，并采用ransac剔除误匹配点，采用nms降低冗余计算量和提升模型迭代效率；

12、步骤1.3、辐射校正，采用相对辐射畸变校正方法实现基准图像与待校正图像的最优匹配；

13、步骤1.4、偏振融合，将场景的强度图像、偏振度图像、偏振角图像融合生成红外偏振融合图像，增强图像的对比度和信杂比。

14、进一步的，步骤1.4红外偏振融合图像的生成方法如下：

15、首先，将场景的偏振度图像和偏振角图像按照公式(1)进行融合，得到偏振融合图像ia&d(i,j)，从而获得清晰的目标边缘和轮廓特征、突出表面细节信息；

16、

17、其中，idolp表示偏振度图像，iaolp表示偏振角图像；σdolp表示偏振度图像中局部区域像素点灰度方差，σaolp表示偏振角图像中局部区域像素点灰度方差，这两个参数反映了局部区域内细节变化程度；权值α和β反映了两类偏振特征对于偏振融合图像ia&d(i,j)的贡献度，这里α+β＝1,α,β∈[0,1]；

18、其次，信息熵用于度量每一类图像变化程度即局部能量分布，可根据公式(2)得到，为避免单像素点随机干扰和提高处理速度，在处理时按固定尺寸将整幅图像进行分割；#(nblock)表示图像分块区域的数量；

19、

20、其中，a&d指偏振融合图像，i指红外光强图像；

21、最后，充分利用红外光强和偏振特征的互补信息，将偏振特征图像ia&d(i,j)与红外光强图像ii(i,j)按照公式(3)做进一步的融合，获得对比度好、信杂比高的红外偏振图像；

22、

23、其中，nblock表示图像分块区域的数量，指红外强度图像的熵，指偏振融合图像的熵。

24、进一步的，步骤1.4中，优选的α＝0.75，β＝0.25。

25、进一步的，步骤2具体操作方法如下：

26、步骤2.1，对于变化前/后场景图像的强度特征、偏振度特征和偏振角特征，分别计算其灰度共生矩阵特征量之间的相似度d(u,v)；

27、图像纹理变换越缓慢，则灰度共生矩阵对角线上的数值就会比较大；图像纹理变换越快，则灰度共生矩阵对角线上的数值就会越小、两侧的数值会增大；灰度共生矩阵的特征参数按公式(4)计算：

28、

29、其中，∑i∑jp(i,j|d,θ)表示图像灰度共生矩阵中所有元素之和；

30、由于灰度共生矩阵的数据量通常比较大，这里提取矩阵的几类特征量来描绘图像特征信息，所选取的特征量具体包括如下几类：

31、熵：反映了图像灰度分布的复杂程度，熵值越大则图像越复杂，具体按公式(5)计算：

32、

33、逆差矩：反映了图像纹理局部变化的大小，若图像纹理的不同区域之间较为均匀，变化缓慢，那么逆方差的值会比较小，具体按公式(6)计算：

34、

35、相关性：反映了图像纹理的一致性。如果图像中有水平方向的纹理，则0°灰度共生矩阵的相关性会大于其他几个角度方向的灰度共生矩阵的相关性，具体按公式(7)计算：

36、

37、采用欧氏距离来描述图像间细节信息的相似度，具体如公式(8)所示；

38、

39、其中，t1和t2分别表示变化前/后的两时相图像，d(i,j)表示以位置点(i,j)为中心的邻域内灰度共生矩阵特征量之间的欧氏距离，数值越大，时相图像上某区域的相似性越小，则该区域变化程度越大；

40、步骤2.2，考虑到变化前/后场景变化主要集中在局部范围，采用反映全局变化程度的熵ent、反映局部变化程度的逆差矩idm、反映方向性变化的相关性cor的组合特征来描述场景变化信息，组合特征相似度dmf(i,j)按公式(9)计算：

41、

42、其中，dk(i,j)和ωk分别表示各特征参数的相似度及其权重；

43、步骤2.3，将场景图像强度特征、偏振度特征和偏振角特征三类特征的相似度dmf(i,j)进行融合，采用信息熵ec确定融合权重ωcfused，衡量三类特征对场景变化的贡献程度，减少单一类型特征对场景变化区域分类的影响，信息熵ec具体由公式(10)计算；

44、

45、其中，dolp指偏振度，aop指偏振角，i指红外强度图像，特征种类nc＝3，三类特征所对应的融合权重ωcfused如公式(11)所示：

46、

47、步骤2.4，根据场景图像组合特征相似度dmf(i,j)和三类特征的融合权重ωcfused，可以得到融合后相似度df(i,j)，具体如公式(12)所示：

48、

49、通过分类阈值t将图像划分为变化、不变和待定三类区域，当df(i,j)≥t时，该区域为变化区域；当t≥df(i,j)≥λ·t时，该区域为待定区域；当λ·t>df(i,j)时，该区域为不变区域，其中，调节比例λ<1。

50、进一步的，步骤3中场景变化精确定位的具体步骤为：

51、步骤3.1、图像块提取和筛选；将时相差分图像中每个像素点的邻域构建为k1×k1大小的图像块，对图像块中像素进行粗筛选，剔除未变化以及变化微小的像素点，获取候选变化点图像块；

52、步骤3.2、建立fast-pcanet检测模块，该模块由两个pca卷积层和一个输出层构成，pca卷积层1和卷积层2的特征图合并后没有丢失浅层信息，能更有效的表征像素点的变化情况；在输出层不做二值化处理和哈希编码，减少计算消耗；训练集正、负样本生成过程中，变化前/后差分图像采样后的不变点的数据分布与采样前的数据分布大体相同，且高值区域不变点的占比有所提升，有效提高了负样本的泛化性能；

53、步骤3.3，对于检测过程中出现目标区域断裂或零星噪点情况，采用形态学闭操作方法进行区域自动填充，采用中值滤波去除变化区域噪点并修正误检点。

54、进一步的，步骤3.1具体实现流程如下：

55、(1)将经过预处理的变化前图像、变化后图像按通道维数进行差分，得到场景变化前/后的差分图像；

56、(2)将差分图像中每个像素点的邻域，包含红外可见光通道，构建k1×k1大小的图像块，对不足k1×k1大小的图像块做补零处理；

57、(3)将差分图像中大部分不变点进行粗筛并滤除，方法如下：

58、将差分图像按通道维求和，得到每个像素点变化值矩阵依据变化值的大小对二值化，具体按公式(13)计算：

59、

60、其中，中“0”为不变点，“1”为变化点，tdiff为变化阈值；

61、把值为1的点作为候选变化点，输出候选变化点所对应的图像块。

62、进一步的，步骤3.2中fast-pcanet检测模块的具体内容为：

63、该模块由两个pca卷积层和一个输出层构成，在pca卷积层1中，使用l1个4×k2×k2大小的pca卷积滤波器对输入的候选变化点图像块做卷积运算，得到nblock×l1张大小为k1×k1为特征图，卷积前需要对输入做补零处理确保卷积前后图像尺寸大小不变；将pca卷积层1的特征图作为pca卷积层2的输入，用l2个l1×k2×k2大小的pca卷积滤波器对pca卷积层1的特征图做卷积运算，得到nblock×l1×l2张大小为k1×k1为特征图；将pca卷积层1和pca卷积层2的特征图经过层标准化处理后进行合并；

64、fast-pcanet训练样本由变化前、后的图像以及标注图构成，将变化点对应的图像块制作成正样本，将不变点对应的图像块制作成负样本，正、负样本生成的流程具体如下：

65、(1)提取变化前/后差分图像每个像素点的图像块，将差分图像的通道合并，依据标注图将合并图像的像素点按变化点和不变点划分和分类；

66、(2)将变化点按像素值降序排列得到变化点集vc，将变化点集vc中所有变化点对应的图像块制作为模型训练的正样本；

67、(3)将不变点按像素值降序排列并利用等差序列进行采样，保证不变点分布在每个数值区域；以二阶等差采样为例，二阶等差数列的通项公式如公式(14)所示：

68、

69、其中，nsample2是需要采样的不变点数量，an为第n个采样点的像素索引，设a1＝1，则采样间隔d为：

70、

71、(4)将采样后的不变点构成不变点集vuc，将不变点集vuc中所有不变点对应的图像块制作为模型训练的负样本。

72、本发明所采用的第二种技术方案为：根据上述的基于偏振成像的场景变化检测方法的工作流程，工作流程的具体内容为：

73、在训练阶段，利用预检测中的输出结果制作正负样本，然后通过fast-pcanet对所有训练样本进行目标特征提取，利用目标特征训练svm分类器生成场景变化检测模型；在测试阶段，首先对原图像按照训练阶段的方式生成众多小块的测试样本图像，再通过fast-pcanet模型生成特征向量，之后通过训练好的场景变化检测模型将测试样本进行分类，最终获得图像中的变化部分和未变化区域，对场景变化区域进行精确标注。

74、本发明的有益效果是：

75、本发明基于偏振成像的场景变化检测方法，该检测方法具有准确行高、实现简单、计算效率高的特点，能有效区分目标变化与伪变化点，具有优异的变化检测性能。其中，所设计的fast-pcanet网络将两层pca卷积层输出的卷积层合并，并在输出层上降维成特征向量送入到svm中，以保留细节信息并提高检测效率；对负样本利用等差数列进行采样，确保正、负样本平衡并保持样本的泛化性。