专利名称：图像特征提取设备和方法及利用其的图像处理设备和方法
技术领域：
本公开涉及图像处理领域，具体而言，涉及图像特征提取设备和方法以及利用所提取的特征进行图像处理的图像处理设备和方法
背景技术：
图像特征提取，作为各种图像处理(如目标识别等)的基础，是图像/视频自动分析中的重要技术之一。图10是示出了提取图像中的局部三值模式(Local Ternary Pattern, LTP)特征的方法的示意图。如图10所示，对于图像中的某个像素(如图10(A)中所示的带有阴影的像素值“68”)，可以通过计算该像素的值与其8个相邻像素的值的差，根据这些差计算这些相邻像素值所对应的特征值。例如，如果该像素68与相邻像素的差的绝对值小于10，则将该相邻像素所对应的特征值设置为0 ;如果该像素68与相邻像素的差的绝对值大于或等于10，进ー步判断该差是否为正值，若是，则将对应的特征值设置为1，否则设置为-1。如图10(B)所示，通过上述计算可得到像素“68”的LTP特征:1110(-1) (-1) (-1)0。与LTP特征提取方法相关的文献包括Xiaoyang Tan等人的论文“EnhancedLocal Texture Feature Sets for Face Recognition Unaer Difficult LightingConditions，，(IEEE Transactions on Image Processing,卷 19,第 6 期,第 1635-1650 页，2010年6月)(称为相关文献I)。
发明内容
在下文中给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。与常规的局部ニ值模式(Local Binary Pattern,LBP)特征相比,采用上述相关文献I所披露的LTP特征，可以更好地描述图像的纹理特征，但是其运算量也大大增加了。本公开的发明入通过创造性的思考和劳动，提出了一种图像特征提取方法和设备，利用这种图像特征提取方法和设备，能够在较好地描述图像纹理特征的同时大大降低运算量。根据本公开的ー个方面，提供了一种图像特征提取设备。该图像提取设备可包括选择装置和特征计算装置。该选择装置可用于在图像中的像素块(称为第一像素块)的邻域中选择4个相邻像素块，其中，该第一像素块 及所选4个相邻像素块中的每ー个包括NXN个像素，NS I ;并且所选择的4个相邻像素块围绕第一像素块排列成L形。该特征计算装置可用于计算第一像素块的值与每一所选相邻像素块的值之间的差，若所述差的绝对值小于第一阈值，则取第一预定数值作为与该相邻像素块对应的特征值，若所述差为正值且所述差的绝对值大于或等于第一阈值，则取第二预定数值作为与该相邻像素块对应的特征值，否则，取第三预定数值作为该相邻像素块对应的特征值。与所选4个相邻像素块对应的各特征值形成的向量作为第一像素块的紧凑局部三值模式(Compact Local TernaryPattern, CLTP)特征。根据本公开的另一方面，提供了一种图像处理设备。该图像处理设备可包括上述的图像提取设备，用于提取图像中每一像素的紧凑局部三值模式特征。该图像处理设备还可包括直方图计算装置，用于利用所述图像特征提取设备提取的图像中的每一像素块的CLTP特征来建立直方图，作为所述图像的特征向量；以及处理装置，用于利用所述特征向量对所述图像进行处理。根据本公开的另一方面，提供了一种图像特征提取方法。该图像提取方法可包括在图像中的像素块(称为第一像素块)的邻域中选择4个相邻像素块。第一像素块及所选4个相邻像素块中的每一个包括NXN个像素，I0所选择的4个相邻像素块围绕第一像素块排列成L形。该图像提取方法还可包括计算第一像素块的值与每一所选相邻像素块的值之间的差，若所述差的绝对值小于第一阈值，则取第一预定数值作为与该相邻像素块对应的特征值，若所述差为正值且所述差的绝对值大于或等于第一阈值，则取第二预定数值作为与该相邻像素块对应的特征值，否则，取第三预定数值作为该相邻像素块对应的特征值。与所选的4个相邻像素块对应的各特征值形成的向量作为第一像素块的CLTP特征。根据本公开的另一方面，提供了一种图像处理方法。该图像处理方法可包括上述的图像提取方法，用于提取图像中每一像素的紧凑局部三值模式特征。该图像处理方法还可包括利用所述图像特征提取设备提取的图像中的每一像素块的CLTP特征来建立直方图，作为所述图像的特征向量；以及利用所述特征向量对所述图像进行处理。本公开的发明人发现，利用上述图像特征提取方法或设备得到的CLTP特征能够完备而且紧凑地描述图像中相邻像素间的关系。与常规的LBP特征相比，根据本公开的实施例提取的CLTP特征由于采用了三值模式，因此，能够更好地反映图像中的纹理特征。另夕卜，与常规的LTP特征相比，由于CLTP特征仅利用了像素的4个邻域像素，因此，能够最大限度地压缩冗余信息，降低运算量。另外，本公开的实施例还提供了用于实现上述图像特征提取方法和/或图像处理方法的计算机程序。此外，本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述图像特征提取方法和/或图像处理方法的计算机程序代码。
参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表不。在附图中图1是示出了根据本公开一实施例的图像特征提取方法的示意性流程图；图2是示出选择用于提取CLTP特征的相邻像素块的的方法的一些示例的示意图；图3是示出选择用于提取CLTP特征的相邻像素块的的方法的另一些示例的示意图4是示出根据本公开ー实施例的对所提取的CLTP特征进行简化的方法的示意性流程图；图5是示出提取CLTP特征并对其进行简化的ー个具体示例的示意图；图6是示出根据本公开ー实施例的图像特征提取设备的结构的示意性框图；图7是示出根据本公开另ー实施例的图像特征提取设备的结构的示意性框图；图8是示出根据本公开ー实施例的图像处理方法结构的示意性流程图；图9是示出根据本公开ー实施例的图像处理设备的结构的示意性框图；图10是示出根据相关技术的提取LTP特征的方法的示意图；以及
·
图11是示出用于实现本公开的实施例或示例的计算机的结构的示例性框图。
具体实施例方式下面參照附图来说明本公开的实施例。在本公开的ー个附图或一种实施方式中描述的元素和特征可以与ー个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。本公开的ー些实施例提供了图像特征提取方法和设备以及利用所提取的特征进行图像处理的图像处理方法和设备。图1是示出根据本公开ー个实施例的图像特征提取方法的示意性流程图。在图1所示的方法中，利用包括4个连续相邻像素块或4个等间隔的相邻像素块的L形模板来提取图像中的紧凑局部三值模式(Compact Local Ternary Pattern)特征,简称CLTP特征。在本公开的描述中，所述CLTP特征可以是以图像中的像素块为单位来计算的。这里所述的像素块为图像中包括NXN个像素的图像块，N > I。另外，在本公开中，像素块的值可以为该像素块中任一像素的值，或者可以为该像素块中所有像素的值的平均值，或者可以为该像素块中的所有像素的值的中间值。作为ー个具体示例，当N= I时，包括NXN个像素的像素块为单个像素，而该像素块的值是指该像素的值。如图1所示，该方法可以包括步骤102和104。在步骤102中，对于图像中的某个像素块(为了便于说明，简称为第一像素块)，在该第一像素块的邻域中选择4个相邻像素块。其中，所选择的四个相邻像素块可以反映8邻域相邻关系中的中心像素块(即第一像素块)与同一行、同一列、45度斜向和135度斜向的相邻像素块的关系。作为示例，可以參考图2或图3中所示的示例来选择所述的4个相邻像素块，其中，所选择的4个相邻像素块围绕第一像素块排列成L形。图2(A)_(D)是示出了利用包括4个连续的像素块的L形模板在第一像素块的邻域中选择相邻像素块的ー些示例的示意图。在图2(A)-(D)所示的示例中，假设P表示第一像素块，Pnl、Pn2、Pn3和Pn4表示所选择的4个相邻像素块。在这些示例中，每个所选相邻像素块Pni (I ^ i ^ 4)均与第一像素块P间隔0个像素，且这些所选相邻像素块围绕该第一像素块P连续分布，即这些所选相邻像素块排列成L形且按其排列顺序依次间隔0个像素。換言之，图2(A)-(D)所示的示例中采用包括4个连续的相邻像素块的L形模板(如图中阴影部分所示)。图3(A)_(D)是示出了利用L形模板在第一像素块的邻域中选择相邻像素块的另外一些示例的示意图。在图3(A)-(D)所示的示例中，仍用P来表示第一像素块，PnUPn2、Pn3和Pn4表示所选择的4个相邻像素块。在这些示例中，每个所选相邻像素块Pni (I ^ i ^ 4)均与第一像素块P间隔M(M = I)个像素块，并且这些所选相邻像素块排列成L形且按其排列顺序依次间隔M(M= I)个像素块。在其他示例中，所选择的每个相邻像素块与第一像素块之间可以均间隔多于I个(M > 2)像素，并且这些所选相邻像素块排列成L形且按其排列顺序依次间隔多于一个(M彡2)像素。换言之，图3(A)-(D)所示的示例中采用包括4个等间隔的相邻像素块的L形模板(如图中阴影部分所示)。例如，在需要对图像的像素进行抽取以进行缩小处理时，可以采用如图3所示的方法(M3 I)来选择相邻像素块。在步骤104中，计算第一像素块的值与每一所选相邻像素块的值之间的差，并根
据该差、利用下式来计算与每个相邻像素块对应的特征值
权利要求
1.一种图像特征提取设备，包括 选择装置，用于在图像中的像素块的邻域中选择4个相邻像素块，其中，该像素块及所述4个相邻像素块中的每ー个包括NXN个像素，N > 1，并且所述4个相邻像素块围绕该像素块排列成L形；以及 特征计算装置，用于计算该像素块的值与每一所选相邻像素块的值之间的差，若所述差的绝对值小于第一阈值，则取第一预定数值作为与该相邻像素块对应的特征值，若所述差为正值且所述差的绝对值大于或等于第一阈值，则取第二预定数值作为与该相邻像素块对应的特征值，否则，取第三预定数值作为该相邻像素块对应的特征值，其中，与所选4个相邻像素块对应的各特征值形成的向量作为该像素块的紧凑局部三值模式特征。
2.如权利要求1所述的图像特征提取设备，其中，该像素块与每个所选相邻像素块之间均间隔M个像素块，并且这些所选相邻像素块按其排列顺序依次间隔M个像素块，MS O。
3.如权利要求1或2所述的图像特征提取设备，还包括 特征简化装置，用于判断与每个所选相邻像素块对应的特征值是否为第三预定数值，若是，则将该特征值修改为第一预定数值，以形成第一特征向量；并且还用于判断与每个所选相邻像素块对应的特征值是否为第二预定数值或者第三预定数值，若是第二预定数值，则将该特征值修改为第一预定数值，若是第三预定数值，则将该特征值修改为第二预定数值，以形成第二特征向量， 其中，所述第一特征向量和第二特征向量形成经简化的紧凑局部三值模式特征。
4.如权利要求1或2所述的图像特征提取设备，其中，像素块的值为该像素块中任一像素的值、或者该像素块中所有像素的值的平均值、或者该像素块中的所有像素的值的中间值中的任ー个。
5.如权利要求3所述的图像特征提取设备，其中，所述第一预定数值为O，所述第二预定数值为I，且所述第三预定数值为-1。
6.一种图像特征提取方法，包括 在图像中的像素块的邻域中选择4个相邻像素块，其中，该像素块及所选4个相邻像素块中的每ー个包括NXN个像素，N ≤1，并且所选4个相邻像素块围绕该像素块排列成L形；以及 计算该像素块的值与每一所选相邻像素块的值之间的差，若所述差的绝对值小于第一阈值，则取第一预定数值作为与该相邻像素块对应的特征值，若所述差为正值且所述差的绝对值大于或等于第一阈值，则取第二预定数值作为与该相邻像素块对应的特征值，否则，取第三预定数值作为该相邻像素块对应的特征值，其中，与所选4个相邻像素块对应的各特征值形成的向量作为该像素块的紧凑局部三值模式特征。
7.如权利要求6所述的图像特征提取方法，其中，该像素块与每个所选相邻像素块之间均间隔M个像素块，并且这些所选相邻像素块按其排列顺序依次间隔M个像素块，M ^ O
8.如权利要求6或7所述的图像特征提取方法，还包括 判断与每个所选相邻像素块对应的特征值是否为第三预定数值，若是，则将该特征值修改为第一预定数值，以形成第一特征向量；以及 判断与每个所选相邻像素块对应的特征值是否为第二预定数值或者第三预定数值，若是第二预定数值，则将该特征值修改为第一预定数值，若是第三预定数值，则将该特征值修改为第二预定数值，以形成第二特征向量， 其中，所述第一特征向量和第二特征向量形成经简化的紧凑局部三值模式特征。
9.如权利要求6或7所述的图像特征提取方法，其中，像素块的值为该像素块中任一像素的值、或者该像素块中所有像素的值的平均值、或者该像素块中的所有像素的值的中间值中的任ー个。
10.如权利要求8所述的图像特征提取方法，其中，所述第一预定数值为0，所述第二预定数值为I，且所述第三预定数值为-1。
11.ー种图像处理设备，包括图像特征提取设备，该图像特征提取设备包括 选择装置，用于在图像中的每ー像素块的邻域中选择4个相邻像素块，其中，该每ー像素块及所选4个相邻像素块中的每ー个包括NXN个像素，N > 1，并且所选4个相邻像素块围绕该像素块排列成L形；以及 特征计算装置，用于计算该每ー像素块的值与每一所选相邻像素块的值之间的差，若所述差的绝对值小于第一阈值，则取第一预定数值作为与该相邻像素块对应的特征值，若所述差为正值且所述差的绝对值大于或等于第一阈值，则取第二预定数值作为与该相邻像素块对应的特征值，否则，取第三预定数值作为该相邻像素块对应的特征值，其中，与所选4个相邻像素块对应的各特征值形成的向量作为该每一像素块的紧凑局部三值模式特征； 所述图像处理设备还包括 直方图计算装置，用于利用所述图像特征提取设备提取的图像中的每ー像素块的紧凑局部三值模式特征来建立直方图，作为所述图像的特征向量；以及 处理装置，用于利用所述特征向量对所述图像进行处理。
12.—种图像处理方法，包括 在图像中的每ー像素块的邻域中选择4个相邻像素块，其中，该每ー像素块及所选4个相邻像素块中的每ー个包括NXN个像素，N > I，并且所选4个相邻像素块围绕该像素块排列成L形； 计算该每ー像素块的值与每一所选相邻像素块的值之间的差，若所述差的绝对值小于第一阈值，则取第一预定数值作为与该相邻像素块对应的特征值，若所述差为正值且所述差的绝对值大于或等于第一阈值，则取第二预定数值作为与该相邻像素块对应的特征值，否则，取第三预定数值作为该相邻像素块对应的特征值，其中，与所选4个相邻像素块对应的各特征值形成的向量作为该每一像素块的紧凑局部三值模式特征； 利用图像中每ー像素块的紧凑局部三值模式特征来建立直方图，作为所述图像的特征向量；以及 利用所述特征向量对所述图像进行处理。
全文摘要
公开了图像特征提取设备和方法及利用其的图像处理设备和方法。一种图像特征提取设备可包括选择装置，用于在图像中的第一像素块的邻域中选择4个相邻像素块。所选4个相邻像素块围绕第一像素块排列成L形。图像特征提取装置还可包括特征计算装置，用于计算第一像素块的值与每一所选相邻像素块的值之间的差，若该差的绝对值小于第一阈值，则取第一预定数值作为与该相邻像素块对应的特征值，若该差为正值且该差的绝对值大于或等于第一阈值，则取第二预定数值，否则，取第三预定数值。与所选4个相邻像素块对应的特征值形成的向量作为第一像素块的紧凑局部三值模式特征。
文档编号G06K9/46GK103049752SQ20111032454
公开日2013年4月17日 申请日期2011年10月17日 优先权日2011年10月17日
发明者梅树起, 刘玉宇 申请人:索尼公司