一种地理信息目标显著性检测方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种地理信息目标显著性检测方法。


背景技术：

2.近年来地理信息技术因信息丰富直观的特点而备受世界各国的重视和关注，广泛应用于军事、气象、农林牧渔等领域，也推进了相关数据处理技术的发展。特别是基于视觉显著性的地理信息目标检测方法，也引起了学者们的关注和钻研。目前的显著性检测方法多是仅结合相对简单的视觉显著性检测方法进行地理信息目标检测，在进行检测前必须先把图像完整地解码到像素域，消耗终端设备过多的计算量。


技术实现要素：

3.为解决上述问题，本发明提供一种地理信息目标显著性检测方法，解决了在进行检测前必须先把图像完整地解码到像素域，消耗终端设备过多的计算量的问题。
4.为达到上述目的，本发明采取的技术方案如下：
5.一种地理信息目标显著性检测方法，包括以下步骤：
6.获取图像；
7.将图像解码获取dct系数；
8.在dct域中提取dct系数的颜色、亮度和纹理特征；
9.计算颜色、亮度和纹理的特征差异值，得到各个特征的差异矩阵；
10.结合差异矩阵计算各个特征的显著图；
11.将显著图采用归一化融合规则计算出最终的显著图。
12.进一步的，所述计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵，包括如下步骤：
13.计算出每一个dct块与其他所有dct块的颜色和亮度特征差异值，即为当前dct块的颜色和亮度特征差异矩阵；
14.计算出每一个dct块与其他所有dct块的纹理特征差值，再对差值取2范数，即为当前dct块的纹理特征差异矩阵。
15.进一步的，所述计算各个特征的显著图公式如下：
[0016][0017]
为块i的第t个特征显著值，t∈{i,c
rg
,c
by
,t}，颜色特征为i，亮度特征为c
rg
和c
by
，纹理特征为t；为dct块i与不同的块j之间的第t个特征差异值，为权重系数。
[0018]
进一步的，所述计算出最终的显著图m公式如下：
[0019][0020]
其中，m
t
是各个特征显著图；n是归一化操作；α和θ分别是公式中对应的权重系数。
[0021]
进一步的，dct块i与不同的dct块j之间的权重系数计算公式如下：
[0022][0023]
其中，σ是dct块i的标准差，d
ij
是欧式驱离。
[0024]
一种地理信息目标显著性检测装置，包括：
[0025]
获取模块，用于获取图像；
[0026]
解码模块，用于将图像解码获取dct系数；
[0027]
提取模块，用于在dct域中提取dct系数的颜色、亮度和纹理特征；
[0028]
第一计算模块，用于计算颜色、亮度和纹理的特征差异值，得到各个特征的差异矩阵；
[0029]
第二计算模块，用于结合差异矩阵计算各个特征的显著图；
[0030]
第三计算模块，用于将显著图采用归一化融合规则计算出最终的显著图。
[0031]
进一步的，所述计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵，包括如下步骤：
[0032]
计算出每一个dct块与其他所有dct块的颜色和亮度特征差异值，即为当前dct块的颜色和亮度特征差异矩阵；
[0033]
计算出每一个dct块与其他所有dct块的纹理特征差值，再对差值取2范数，即为当前dct块的纹理特征差异矩阵。
[0034]
进一步的，所述计算各个特征的显著图公式如下：
[0035][0036]
为块i的第t个特征显著值，t∈{i,c
rg
,c
by
,t}，颜色特征为i，亮度特征为c
rg
和c
by
，纹理特征为t；为dct块i与不同的块j之间的第t个特征差异值，为权重系数。
[0037]
进一步的，所述计算出最终的显著图m公式如下：
[0038][0039]
其中，m
t
是各个特征显著图；n是归一化操作；α和θ分别是公式中对应的权重系数。
[0040]
一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述的地理信息目标显著性检测方法的步骤。
[0041]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的地理信息目标显著性检测方法的步骤。
[0042]
本发明提供一种地理信息目标显著性检测方法，包括以下步骤：获取图像；将图像解码获取dct系数；在dct域中提取dct系数的颜色、亮度和纹理特征；计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵；结合差异矩阵计算各个特征的显著图；将显著图采用归一化融合规则计算出最终的显著图。通过直接在dct域中进行显著性检测的方法，免除图像完整地解码到像素域产生的复杂运算，充分发挥现有数据的作用，由于压缩码流的dct块存在较多零数据，能够极大降低计算机运算量，提高数据处理效率。目前很多方法均没有考虑目标与周围影像的特征差异，因此显著性检测的精度和效率不够理想，本发明针对目标与周围环境存在一定特征差异的特点，重点计算了特征差异用于提高检测精度，结合亮度、颜色和纹理特征差异矩阵生成最终结果，提高了运行效率和检测精度。
附图说明
[0043]
图1为一种地理信息目标显著性检测方法一的流程示意图；
[0044]
图2为一种地理信息目标显著性检测方法二的流程示意图；
[0045]
图3为效果对比图一；
[0046]
图4为效果对比图二。
具体实施方式
[0047]
下面结合附图对本公开实施例进行详细描述。
[0048]
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0049]
本发明适用于一般的jpeg、jpeg xr、webp、heif、bpg、jpeg xl等图像，也适用于h.261、mjpeg、mpeg-1、mpeg-2(h.262)、dv、h.263(mpeg-4第二部分)、avc/h.264/mpeg-4、theora、vc-1、apple prores、webm video、hevc/h.265、daala和h.266/vvc等视频编码标准，在以下的实施例中，仅仅以最常见的jpeg图像来举例说明。
[0050]
实施例一
[0051]
为进一步提升地理信息目标检测的速度和精度，针对目标与周围环境存在一定特征差异的特点，提出一种基于离散余弦变换(dct)域的地理信息目标显著性检测方法。
[0052]
如图1所示为一种地理信息目标显著性检测方法一流程示意图，包括以下步骤：
[0053]
获取图像，本实施例中以jpeg图像为例说明；
[0054]
将图像解码获取dct系数；
[0055]
在dct域中提取dct系数的颜色、亮度和纹理特征；
[0056]
计算颜色、亮度和纹理的特征差异值，得到各个特征的差异矩阵；
[0057]
结合差异矩阵计算各个特征的显著图；
[0058]
将显著图采用归一化融合规则计算出最终的显著图。
[0059]
具体实施中，所述将图像解码获取dct系数是指将原始图像经过解码得到量化的dct系数，再经由反量化表获取相应的dct系数。本实施例中采用的是jpeg码流部分解码获取dct系数，采用jpeg方法中的顺序编码工作模式，从左到右和从上到下扫描，根据4:2:0抽样比例直接从数据流中获取dct系数。图像经过熵解码器解码得到量化的dct系数，再经由反量化表获取相应的dct系数。
[0060]
具体实施中，所述亮度和颜色特征由dc系数计算得到，所述纹理特征则是由ycrcb颜色空间中的ac系数y分量的总和构成。
[0061]
通过直接在dct域中进行显著性检测的方法，免除图像完整地解码到像素域产生的复杂运算，充分发挥现有数据的作用，由于jpeg压缩码流的dct块存在较多零数据，能够极大降低计算机运算量，提高数据处理效率。
[0062]
具体实施中，所述计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵，包括如下步骤：已知颜色特征为i，亮度特征为c
rg
和c
by
，计算出每一个dct块与其他所有dct块的颜色和亮度特征差异值，即为当前dct块的颜色和亮度特征差异矩阵；已知纹理特征为t，计算出每一个dct块与其他所有dct块的纹理特征差值，再对差值取2范数，即为当前dct块的纹理特征差异矩阵。dct块与块之间的特征差异程度可用于定义块的显著度，若dct块与其他所有的dct块之间的特征差异均比较大，则该dct块的显著值会比较大，并且与临近dct块的显著值大于远于临近dct块的显著值，因此针对图像信息目标与周围环境存在一定特征差异的特点，结合亮度、颜色和纹理特征差异矩阵生成最终结果，可以提高检测精度。
[0063]
具体实施中，所述结合差异矩阵计算各个特征的显著图，块i的第t个特征显著值
[0064][0065]
为块i的第t个特征显著值，t∈{i,c
rg
,c
by
,t}，颜色特征为i，亮度特征为c
rg
和c
by
，纹理特征为t；为dct块i与不同的块j之间的第t个特征差异值，为块i与不同的块j之间的权重系数。
[0066]
由上可获得亮度、颜色和纹理特征显著图m
t
(t∈{i,c
rg
,c
by
,t})。
[0067]
具体实施中，将显著图采用归一化融合规则计算出最终的显著图，是指根据特征显著图，采用归一化融合，也就是对原始数据进行线性变换把数据映射到[0,1]之间，得到最终的显著图m：
[0068][0069]
其中，m
t
是各个特征显著图；n是归一化操作；α和θ分别是公式中对应的权重系数，在本实施例中设置α＝θ＝0.2。
[0070]
一种地理信息目标显著性检测装置，包括：
[0071]
获取模块，用于获取图像；
[0072]
解码模块，用于将图像解码获取dct系数；
[0073]
提取模块，用于在dct域中提取dct系数的颜色、亮度和纹理特征；
[0074]
第一计算模块，用于计算颜色、亮度和纹理的特征差异值，得到各个特征的差异矩阵；
[0075]
第二计算模块，用于结合差异矩阵计算各个特征的显著图；
[0076]
第三计算模块，用于将显著图采用归一化融合规则计算出最终的显著图。
[0077]
具体实施中，所述将图像解码获取dct系数是指将原始图像经过解码得到量化的dct系数，再经由反量化表获取相应的dct系数。
[0078]
具体实施中，所述亮度和颜色特征由dc系数计算得到，所述纹理特征则是由ycrcb颜色空间中的ac系数y分量的总和构成。
[0079]
具体实施中，所述计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵，包括如下步骤：
[0080]
计算出每一个dct块与其他所有dct块的颜色和亮度特征差异值，即为当前dct块的颜色和亮度特征差异矩阵；
[0081]
计算出每一个dct块与其他所有dct块的纹理特征差值，再对差值取2范数，即为当前dct块的纹理特征差异矩阵。
[0082]
一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述的地理信息目标显著性检测方法的步骤。
[0083]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的地理信息目标显著性检测方法的步骤。
[0084]
本发明提供一种地理信息目标显著性检测方法，包括以下步骤：获取图像；将图像解码获取dct系数；在dct域中提取dct系数的颜色、亮度和纹理特征；计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵；结合差异矩阵计算各个特征的显著图；将显著图采用归一化融合规则计算出最终的显著图。通过直接在dct域中进行显著性检测的方法，免除图像完整地解码到像素域产生的复杂运算，充分发挥现有数据的作用，由于jpeg压缩码流的dct块存在较多零数据，能够极大降低计算机运算量，提高数据处理效率。针对目标与周围环境存在一定特征差异的特点，结合亮度、颜色和纹理特征差异矩阵生成最终结果，可以提高运行效率和检测精度。
[0085]
实施例二
[0086]
为进一步提升地理信息目标检测的速度和精度，针对目标与周围环境存在一定特征差异的特点，提出一种基于离散余弦变换(dct)域的地理信息目标显著性检测方法。
[0087]
如图2所示为一种地理信息目标显著性检测方法二的流程示意图，包括以下步骤：
[0088]
获取图像，本实施例中以jpeg图像为例说明；
[0089]
将图像解码获取dct系数；
[0090]
在dct域中提取dct系数的颜色、亮度和纹理特征；
[0091]
计算颜色、亮度和纹理的特征差异值，得到各个特征的差异矩阵；
[0092]
结合差异矩阵计算各个特征的显著图；
[0093]
将显著图采用归一化融合规则计算出最终的显著图。
[0094]
具体实施中，所述将图像解码获取dct系数是指将原始图像经过解码得到量化的dct系数，再经由反量化表获取相应的dct系数。本实施例中采用的是jpeg码流部分解码获
取dct系数，采用jpeg方法中的顺序编码工作模式，从左到右和从上到下扫描，根据4:2:0抽样比例直接从数据流中获取dct系数。图像经过熵解码器解码得到量化的dct系数，再经由反量化表获取相应的dct系数。
[0095]
具体实施中，所述亮度和颜色特征由dc系数计算得到，所述纹理特征则是由ycrcb颜色空间中的ac系数y分量的总和构成。
[0096]
通过直接在dct域中进行显著性检测的方法，免除图像完整地解码到像素域产生的复杂运算，充分发挥现有数据的作用，由于jpeg压缩码流的dct块存在较多零数据，能够极大降低计算机运算量，提高数据处理效率。
[0097]
具体实施中，所述计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵，包括如下步骤：已知颜色特征为i，亮度特征为c
rg
和c
by
，计算出每一个dct块与其他所有dct块的颜色和亮度特征差异值，即为当前dct块的颜色和亮度特征差异矩阵；已知纹理特征为t，计算出每一个dct块与其他所有dct块的纹理特征差值，再对差值取2范数，即为当前dct块的纹理特征差异矩阵。dct块与块之间的特征差异程度可用于定义块的显著度，若dct块与其他所有的dct块之间的特征差异均比较大，则该dct块的显著值会比较大，并且与临近dct块的显著值大于远于临近dct块的显著值，因此针对图像信息目标与周围环境存在一定特征差异的特点，结合亮度、颜色和纹理特征差异矩阵生成最终结果，可以提高检测精度。
[0098]
具体实施中，所述结合差异矩阵计算各个特征的显著图，块i的第t个特征显著值
[0099][0100]
为块i的第t个特征显著值，t∈{i,c
rg
,c
by
,t}，颜色特征为i，亮度特征为c
rg
和c
by
，纹理特征为t；为dct块i与不同的块j之间的第t个特征差异值，为块i与不同的块j之间的权重系数。
[0101]
由上可获得亮度、颜色和纹理特征显著图m
t
(t∈[i,c
rg
,c
by
,t})
[0102]
具体实施中，将显著图采用归一化融合规则计算出最终的显著图，是指根据特征显著图，采用归一化融合，也就是对原始数据进行线性变换把数据映射到[0,1]之间，得到最终的显著图m：
[0103][0104]
其中，m
t
是各个特征显著图；n是归一化操作；α和θ分别是公式中对应的权重系数，在本实施例中设置α＝θ＝0.2。
[0105]
具体实施中，计算权重系数dct块i与不同的dct块j之间的权重系数：
[0106][0107]
其中，σ是dct块i的标准差，d
ij
是欧式驱离。
[0108]
假设一幅图像的分辨率为8m
×
8n，则该图像中包含m
×
n个dct块。计算每一个块与图像中所有块的欧氏距离，组合得到每一个块的距离矩阵。
[0109]
计算基于dct块的欧氏距离矩阵d。块i与块j之间的位置坐标欧氏距离d
ij
：
[0110][0111]
其中，xi和yi分别是dct块i在水平方向和垂直方向上的位置坐标值，xj和yj分别是dct块j在水平方向和垂直方向上的位置坐标值，得到m
×
n大小的矩阵d。
[0112]
基于欧氏距离的高斯分布函数来计算块差异的权重系数。dct块之间的欧氏距离较小时，他们之间的差异权重较为明显，反之则较为微弱。这个规律符合高斯分布函数曲线：函数曲线中间高，两头低，左右对称。因此，对于当前的dct块而言，与来自欧氏距离更远的块相比，欧氏距离更近的块的权重系数会更大。
[0113]
欧氏距离，是最常见的两点之间的距离表示法，它是在一个坐标系上，求从一个点到另一个点的最短距离。为了计算当前块与其他所有块的差异，除了计算特征的差值，还需要参考欧氏距离作为权重系数。因为距离比较临近的块，特征差值较大，则说明两者的实际差异也较大，显著值也会比较大。距离比较远的块，即使特征差值比较大，也要考虑到距离的因素，他们之间实际的差异并不影响最终的显著值。因此，通过基于欧氏距离的权重系数的调整，提高了检测的准确性。
[0114]
现在的显著性检测方法均统一采用固定的标准差，然而本技术人发现随着dct块与块之间的距离发生变化，dct块与块之间的标准差也会随之变化，而固定的标准差会影响检测结果的准确性和精度。另一方面，不同分辨率的图像，m和n值也不同，矩阵d和标准差σ也会不一样。因此，本实施中还可以对不同图像不同dct块分布的情况来计算每一个dct块的自适应标准差σ值，通过在权重系数的计算中采用自适应标准差σ值，提高检测结果的准确性和精度。
[0115]
计算dct块i矩阵的自适应标准差σ：
[0116][0117]
其中，d
ij
是dct块i与当前图像所有块的坐标欧氏距离，k是当前图像的dct块数目，即k＝m
×
n。
[0118]
由此，通过选择基于自适应标准差的高斯分布函数来定义dct块差异，结合各个特征的差异矩阵，得到特征显著图m
t
(t＝1,2,3,4)。根据不同图像大小所对应的dct块分布，计算基于dct块的自适应标准差，并结合基于欧氏距离的高斯分布函数分别计算各个特征的dct块差异权重系数，从而得到各个特征的显著图。本实施例针对不同图像不同dct块分布的情况来计算每一个块的自适应标准差值，结合特征差异矩阵进一步提取目标显著区域。实验结果表明，本实施例的显著性检测较为明显，提高了地理信息目标检测的效率和准确度。
[0119]
一种地理信息目标显著性检测装置，包括：
[0120]
获取模块，用于获取图像；
[0121]
解码模块，用于将图像解码获取dct系数；
[0122]
提取模块，用于在dct域中提取dct系数的颜色、亮度和纹理特征；
[0123]
第一计算模块，用于计算颜色、亮度和纹理的特征差异值，得到各个特征的差异矩阵；
[0124]
第二计算模块，用于结合差异矩阵计算各个特征的显著图；
[0125]
第三计算模块，用于将显著图采用归一化融合规则计算出最终的显著图。
[0126]
具体实施中，所述将图像解码获取dct系数是指将原始图像经过解码得到量化的dct系数，再经由反量化表获取相应的dct系数。
[0127]
具体实施中，所述亮度和颜色特征由dc系数计算得到，所述纹理特征则是由ycrcb颜色空间中的ac系数y分量的总和构成。
[0128]
具体实施中，所述计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵，包括如下步骤：
[0129]
计算出每一个dct块与其他所有dct块的颜色和亮度特征差异值，即为当前dct块的颜色和亮度特征差异矩阵；
[0130]
计算出每一个dct块与其他所有dct块的纹理特征差值，再对差值取2范数，即为当前dct块的纹理特征差异矩阵。
[0131]
一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述的地理信息目标显著性检测方法的步骤。
[0132]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的地理信息目标显著性检测方法的步骤。
[0133]
本实施例的实验数据来自google earth。实验中进行了100组的遥感图像目标检测。实验的硬件和软件环境如下：处理器：intel core i7-6500u 2.50ghz，内存容量：16.0gb，软件版本：matlab 9.0。为了衡量方法的性能，本方法从图像主观效果和图像客观质量两方面分别对本方法和现有方法一、现有方法二进行了性能的比较。
[0134]
1、主观结果比较
[0135]
图3和图4分别是不同场景下不同方法的目标检测结果比较。其中，图3和图4的第(a)列是原始图像，第(b)列是现有方法一方法的结果，第(c)列是现有方法二方法的结果，第(d)列是本方法的结果。
[0136]
由图3(b)和图4(b)可以看到现有方法一的结果中很大一片区域均被视为显著内容，检测结果不明显。由图3(c)和图4(c)可以看到现有方法二的结果中飞机并不是整幅图像的唯一显著目标，虽然能够检测出部分显著内容，但是也将部分不重要的内容视为显著内容，检测结果一般。
[0137]
而本方法的结果中均突出了飞机目标的轮廓，能正确检测出飞机所在的区域，检测结果较优。
[0138]
综上，从主观来看现有方法一、现有方法二的显著内容不够显著，而本方法的显著内容相对显著，由此可见本方法的主观效果更胜一筹。
[0139]
2、客观结果比较
[0140]
为了进一步的定量分析显著模型的优劣以及对于地理信息目标检测的适用性，验证本方法显著性检测方法的性能，将本方法与现有方法一、现有方法二方法的显著性检测方法进行对比。
[0141]
本方法采用接受者工作特征(receiver operating characteristic,roc)曲线作为显著性检测方法性能的客观评价标准。根据roc曲线下的面积(area under curve，auc)可以对显著性检测方法的整体性能做出定量的评估。auc越大，则方法的准确性越高。roc评测法中使用到正确数据标注图(ground truth map)，它是由人力标记将一幅图像中的显著区域的各个像素点设置为目标点(像素值设置为255)，非显著部分区域的各个像素点设置为背景点(像素值设置为0)。正确数据标注图是一幅大小与源图像相同，取值只有0和255的标准图像。
[0142]
不同方法的auc结果比较如表1所示。由表1可知，在几个方法当中，本方法所用方法曲线下的面积auc是最大的，方法的准确性是最高的。因此，相比其他方法，基于dct域的显著性目标检测方法不仅减少计算量和提高运行效率，整体性能也表现更佳。
[0143]
表1不同方法的auc结果比较
[0144] 现有方法一现有方法二本方法auc0.80280.88290.9357
[0145]
综上，通过从图像主观效果和图像客观质量两方面进行比较分析，本方法的显著性检测方法具有较好的目标突显和检测效果，在机场、港口和桥梁等重要位置的目标检测应用中可以发挥一定的作用。
[0146]
本发明提供一种地理信息目标显著性检测方法，包括以下步骤：获取图像；将图像解码获取dct系数；在dct域中提取dct系数的颜色、亮度和纹理特征；计算颜色、亮度和纹理的特征差异，得到各个特征的差异矩阵；结合差异矩阵计算各个特征的显著图；将显著图采用归一化融合规则计算出最终的显著图。通过直接在dct域中进行显著性检测的方法，免除图像完整地解码到像素域产生的复杂运算，充分发挥现有数据的作用，由于jpeg压缩码流的dct块存在较多零数据，能够极大降低计算机运算量，提高数据处理效率。针对目标与周围环境存在一定特征差异的特点，结合亮度、颜色和纹理特征差异矩阵生成最终结果，可以提高检测精度。对不同图像不同dct块分布的情况来计算每一个dct块的自适应标准差σ值，通过在权重系数φ
ij
：的计算中采用自适应标准差σ值，进一步提高检测结果的准确性和精度。
[0147]
以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。