一种景物特征提取方法和设备与流程

本文涉及图像处理领域，尤指一种景物特征提取方法、设备和计算机可读存储介质。

背景技术：

特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征的好坏对泛化性能有至关重要的影响。

常用的景物特征提取方法通常包括点、线、边缘等特征进行提取，但这些特征提取方法通常只关注于局部，抗干扰性较差。

技术实现要素：

本申请提供了一种景物特征提取方法、设备和计算机可读存储介质，以提高特征提取的抗干扰能力。

本申请实施例提供了一种景物特征提取方法，包括：

获取目标图像，进行二值化处理，得到二值图像；

将所述二值图像进行形态学处理，得到形态学处理图像；

根据所述形态学处理图像确定激励图；

对所述激励图进行均一化处理，得到显著性图；

根据所述显著性图确定所述目标图像的目标景物特征。

在一实施例中，所述进行二值化处理之前，还包括：

对所述目标图像进行滤波。

在一实施例中，所述对所述目标图像进行滤波，包括：

对所述目标图像进行高斯滤波，采用的高斯函数为：

其中，x,y为所述目标图像的点坐标，σ为高斯滤波器的参数，所述σ的值为所述目标图像的宽度和高度中较小者的1/8～1/12之间。

在一实施例中，所述进行二值化处理，包括：

对滤波后得到平滑图像中的点b(x,y)，在9*9领域内求取局部灰度标准差：

为所述9*9领域的灰度平均值；

遍历所述平滑图像进行如下运算，得到所述二值图像：

若则将二值图像中的点c(x,y)赋值为255；

若则将二值图像中的点c(x,y)赋值为0。

在一实施例中，所述将所述二值图像进行形态学处理，得到形态学处理图像，包括：

对所述二值图像作腐蚀运算；

将所述腐蚀运算处理后的图像进行膨胀运算，得到所述形态学处理图像。

在一实施例中，所述根据所述形态学处理图像确定激励图，包括：

对于所述形态学处理图像中每一个点，将所述点的灰度值作为马尔科夫链中的状态，计算从所述点出发的边的权重，所述边的权重为状态间转换的概率，计算马尔科夫链的概率分布，得到所述激励图。

在一实施例中，所述边的权重设置为：

w1((i，j)，(p，q))＝d((i，j)||(p，q))·f(i-p，j-q)

其中，d(i,j)与d(p,q)为所述边的两个端点，

δ为自由参数，所述δ的值为图像宽度和图像高度中较小者的1/16～1/24之间。

在一实施例中，所述根据所述显著性图确定所述目标图像的目标景物特征，包括：

根据所述显著性图确定所述目标图像的显著性区域，将所述显著性区域的区域特征作为所述目标图像的目标景物特征。

本申请实施例还提供一种景物特征提取设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述景物特征提取方法。

本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行所述景物特征提取方法。

与相关技术相比，本申请实施例包括：获取目标图像，进行二值化处理，得到二值图像；将所述二值图像进行形态学处理，得到形态学处理图像；根据所述形态学处理图像确定激励图；对所述激励图进行均一化处理，得到显著性图；根据所述显著性图确定所述目标图像的目标景物特征。本申请实施例基于显著性评价提取的景物特征，能够更可靠地标识目标景物，可以适应图像局部灰度变化、尺度差异和微小形状变化，抗干扰性能更强。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例的景物特征提取方法的流程图；

图2为本申请实施例的一种显著性图的示意图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

为了合理利用有限的视觉信息处理能力，人类需要选择整个视觉区域中特定的部分来集中关注，视觉中特定的部分称为显著性区域。视觉的显著性区域在人类处理复杂的场景信息时起到了至关重要的作用。当面对一个复杂场景时，人类首先快速地浏览场景中的全部内容，利用全局的空间信息寻找场景中最重要的部分。然后集中注意力针对这一部分进行深度感知，实现对场景视觉结构的理解。

本申请实施例提出一种基于显著性评价的景物特征提取方法，比照人类对空间信息感知的过程，来提取目标景物的特征，以实现对景物中特定目标的准确识别。

本申请实施例中，获取包含目标景物的目标图像，通过显著性评价的方法寻找目标图像的显著性区域，并将提到的显著性区域提取出来，作为该目标景物特征，以进行后续的识别处理。

如图1所示，本申请实施例的景物特征提取方法，包括：

步骤101，获取目标图像，进行二值化处理，得到二值图像。

其中，所述目标图像为需要进行景物特征提取的图像。

在一实施例中，进行二值化处理之前，还包括：对所述目标图像进行滤波。

其中，可以采用多种方式进行图像滤波，例如，均值滤波、中值滤波、高斯滤波等。

在本申请一实施例中，采用高斯滤波，其中，采用的高斯函数为：

其中，x,y为所述目标图像的点坐标，σ为高斯滤波器的参数。高斯滤波器的宽度(决定着平滑程度)是由参数σ表证的，σ越大，高斯滤波器的频带就越宽，平滑程度就越好。

相关技术中，σ的值设置比较随意，通常为固定值，或者进行不断调整，以实现更好的滤波效果。本申请实施例提出，σ的值与景物尺度相关，也即与所述目标图像的尺寸相关，可以设置为所述目标图像的宽度和高度中较小者的1/8～1/12之间，这样避免了采用固定值导致滤波效果差的情况，也无需对σ的值进行大范围调整尝试，提高了图像处理的效率和质量。

设原始的目标图像为a，则经过高斯滤波得到的平滑图像为b。

在一实施例中，所述进行二值化处理，包括：

对滤波后得到平滑图像中的点b(x,y)，在9*9领域内求取局部灰度标准差：

为所述9*9领域的灰度平均值；

遍历所述平滑图像进行如下运算，得到所述二值图像c：

若则将二值图像中的点c(x,y)赋值为255；

若则将二值图像中的点c(x,y)赋值为0。

其中，采用9*9的领域尺寸更适用于识别自然景物。通过采用阈值可以自适应地对图像进行二值化处理，避免采用单一阈值导致的图像二值化不理想的情况。

对于图像边界，可以在图像开始的前三行三列和结束前的三行三列，直接赋值为0。也就是说，可以设置二值图像c边缘的像素为0值，该边缘为3个像素宽。

步骤102，将所述二值图像进行形态学处理，得到形态学处理图像。

在一实施例中，进行形态学处理可以包括先对二值图像作腐蚀运算，然后进行膨胀运算，得到所述形态学处理图像。先腐蚀后膨胀的过程称为开运算。用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。

腐蚀是一种消除边界点，使边界向内部收缩的过程。可以用来消除小且无意义的物体。对图像c的任意一点c(x,y)，先做腐蚀运算：

(a)用3*3全为1的结构元素，扫描图像c的每一个像素；

(b)用结构元素与其覆盖的二值图像做滑窗式“与”操作；

(c)如果都为1，中间图像d0的该像素d0(x,y)为255，否则为0。

对于图像边界的处理，可以设置为：图像开始的前一行一列和结束前的一行一列直接赋值为0。

膨胀是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程。可以用来填补物体中的空洞。膨胀运算包括：

(d)用3*3全为1的结构元素，扫描图像d0的每一个像素；

(e)用结构元素与其覆盖的二值图像做滑窗式“与”操作；

(f)如果都为0，结果图像d的该像素d(x,y)为0，否则为255。

对于图像边界的处理，可以设置为：图像开始的前一行一列和结束前的一行一列直接赋值为0。

步骤103，根据所述形态学处理图像确定激励图。

本申请实施例中，可以在形态学处理图像d上，采用马尔科夫链的方法求取目标景物的激励图e。

在一实施例中，对于所述形态学处理图像中每一个点，将所述点的灰度值作为马尔科夫链中的状态，计算从所述点出发的边的权重，所述边的权重为状态间转换的概率，计算马尔科夫链的概率分布，得到所述激励图。

在一实施例中，所述边的权重设置为：

w1((i，j)，(p，q))＝d((i，j)||(p，q))·f(i-p，j-q)

其中，d(i,j)与d(p,q)为所述边的两个端点，从d(i,j)到d(p,q)为一条有向边，图像d中两个点d(i,j)与d(p,q)的不一致性度量为：

δ为自由参数，影响权重值大小。

相关技术中，δ的值通常为固定值，导致输出的激励图效果不佳。本申请实施例提出，δ的值与景物尺度相关，也即与所述目标图像的尺寸相关，可以设置为所述目标图像的宽度和高度中较小者的1/16～1/24之间。这样避免了采用固定值导致输出的激励图效果不佳的情况，也无需对δ的值进行大范围调整尝试，提高了图像处理的效率和质量。

步骤104，对所述激励图进行均一化处理，得到显著性图。

在一实施例中，步骤103的输出为激励图e，对于激励图e中任何两点e(i,j)和e(p,q)，定义从e(i,j)到e(p,q)的有向边的权重为：

w2((i，j)，(p，q))＝e(p，q)·f(i-p，j-q)

将所有的点和边的概率均一化，得到显著性图f。

步骤105，根据所述显著性图确定所述目标图像的目标景物特征。

在一实施例中，根据所述显著性图确定所述目标图像的显著性区域，将所述显著性区域的区域特征作为所述目标图像的目标景物特征。

如图2所示，为本申请实施例的一种显著性图的示意图，其中，圆圈表示图中的亮色(白色，像素值为255)，对应显著性区域，叉表示图中的暗色(黑色，像素值为0)，对应图非显著性区域。

根据显著性图和目标图像的映射关系，确定所述目标图像的显著性区域，进而针对所述目标图像的显著性区域进行后续识别处理，例如可以进一步识别该目标图像中包含的目标景物的类型、名称、状态等。

在实际应用中，可能会出现多个显著性区域的情况。在存在多个显著性区域时，可选择面积最大的一个或指定个数的显著性区域作为优选的显著性区域，将该优选的显著性区域的区域特征作为所述目标图像的目标景物特征。

本申请实施例基于显著性评价提取的景物特征，能够更可靠地标识目标景物，可以适应图像局部灰度变化、尺度差异和微小形状变化，抗干扰性能更强。

采用本申请实施例的方法对目标图像进行基于显著性评价的特征提取，相比其它特征提取方法，利用自然景物图像库中的10000帧样本进行对比试验，其提取特征的显著性效果准确率达到95以上，高于其它特征提取方法的80％左右的准确率。

本申请实施例还提供一种景物特征提取装置，包括：

二值化模块，用于获取目标图像，进行二值化处理，得到二值图像；

形态学处理模块，用于将所述二值图像进行形态学处理，得到形态学处理图像；

激励模块，用于根据所述形态学处理图像确定激励图；

均一处理模块，用于对所述激励图进行均一化处理，得到显著性图；

特征确定模块，用于根据所述显著性图确定所述目标图像的目标景物特征。

在一实施例中，所述二值化模块，还用于在进行二值化处理之前，对所述目标图像进行滤波。

在一实施例中，所述二值化模块，用于：

对所述目标图像进行高斯滤波，采用的高斯函数为：

其中，x,y为所述目标图像的点坐标，σ为高斯滤波器的参数，所述σ的值为所述目标图像的宽度和高度中较小者的1/8～1/12之间。

在一实施例中，所述二值化模块，用于：

对滤波后得到平滑图像中的点b(x,y)，在9*9领域内求取局部灰度标准差：

为所述9*9领域的灰度平均值；

遍历所述平滑图像进行如下运算，得到所述二值图像：

若则将二值图像中的点c(x,y)赋值为255；

若则将二值图像中的点c(x,y)赋值为0。

在一实施例中，所述形态学处理模块，用于：

对所述二值图像作腐蚀运算；

将所述腐蚀运算处理后的图像进行膨胀运算，得到所述形态学处理图像。

在一实施例中，所述激励模块，用于：

对于所述形态学处理图像中每一个点，将所述点的灰度值作为马尔科夫链中的状态，计算从所述点出发的边的权重，所述边的权重为状态间转换的概率，计算马尔科夫链的概率分布，得到所述激励图。

在一实施例中，所述边的权重设置为：

w1((i，j)，(p，q))＝d((i，j)||(p，q))·f(i-p，j-q)

其中，d(i,j)与d(p,q)为所述边的两个端点，

δ为自由参数，所述δ的值为图像宽度和图像高度中较小者的1/16～1/24之间。

在一实施例中，所述特征确定模块，用于：

根据所述显著性图确定所述目标图像的显著性区域，将所述显著性区域的区域特征作为所述目标图像的目标景物特征。

本申请实施例基于显著性评价提取的景物特征，能够更可靠地标识目标景物，可以适应图像局部灰度变化、尺度差异和微小形状变化，抗干扰性能更强。

本申请实施例还提供一种景物特征提取设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述景物特征提取方法。

本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行所述景物特征提取方法。

在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。