特征提取装置、特征提取程序、以及图像处理装置制造方法
【专利摘要】本发明提供特征提取装置，该特征提取装置能够在抑制物体检测精度降低且抑制处理负荷增加的状态下根据更多的像素生成局部二值模式。该特征提取装置包括对关注像素设定多个子区域的子区域设定单元(433)、以及对每个关注像素生成表示与各子区域之间的像素值比较的局部二值模式的二值模式生成单元(434)，子区域设定单元(433)至少将由多个像素构成的区域设定为子区域且该多个像素包含从关注像素离开的像素，二值模式生成单元(434)对每个子区域计算代表值（437），生成表示该代表值相对于关注像素的像素值的差值（438）是否在规定阈值以上的局部二值模式（439）。
【专利说明】特征提取装置、特征提取程序、以及图像处理装置
【技术领域】
[0001]本发明涉及从图像数据提取图像特征的特征提取装置、特征提取程序、以及使用特征提取装置的图像处理装置。
【背景技术】
[0002]以往，广泛进行从图像数据中提取图像特征以检测或识别在图像中包含的物体(以下称为“物体检测”)的处理。作为物体检测的一种方法，例如非专利文献I中记载了使用局部二值模式(LBP)的技术。
[0003]局部二值模式是对每个关注像素将与该关注像素的周围附近的各像素之间的像素值差值进行二值化并排列而得到的二值模式。能够根据局部二值模式，提取图像中包含的灰度模式。
[0004]非专利文献I以及非专利文献2中记载的技术(以下称为“第一以往技术”)中，对于作为识别对象的图像(以下称为“对象图像”)的某个区域所包含的全部或部分像素计算局部二值模式。而且，第一以往技术生成局部二值模式的值的直方图作为图像特征。另外，第一以往技术基于根据包含规定物体的图像和不包含规定物体的图像(以下总称为“学习图像”)同样地生成的直方图，生成识别器并预先存储。并且，第一以往技术使用识别器评价对象图像的直方图，判断对象图像中是否包含规定物体。
[0005]局部二值模式的直方图与亮度梯度方向直方图(HOG:Histograms of OrientedGradients)等图像特征相比，能够更高精度地表现纹理的差异和灰度模式，并且能够以较少的处理负荷进行计算。因此，第一以往技术这种使用局部二值模式的物体检测可望应用于各种领域。
[0006] 作为局部二值模式的运算对象的区域一般是以关注像素为中心的3像素X3像素的区域。然而，根据图像种类或作为检测对象的物体的种类不同，更宽地设定作为该运算对象的区域，根据更多的像素生成局部二值模式，从而存在想要使用更宽范围的特征的共现性的要求。
[0007]因此，例如在专利文献I中记载了如下的技术(以下称为“第二以往技术”，即，将更宽的5像素X5像素的区域或只将该区域的外周部作为运算对象的技术。根据这样的技术，能够更宽地设定作为局部二值模式的运算对象的区域。
[0008]现有技术文献
[0009]专利文献
[0010]专利文献1:日本特开2009-211179号公报
[0011]非专利文献
[0012]非专利文献1:Timo Ojala, Matti Pietikainen and Topi Maenpaa^Multiresolution Gray-Scale and Rotation Invariant Texture ClassificationWith Local Binary Patterns〃IEEE，Pattern Analysis and Machine Intelligencevol.24n0.7，pp.971-978，July2002o[0013]非专利文献2:Xiaoyu Wang, Tony X.Han and Shuicheng Yan，"An HOG-LBP HumanDetector with Partial Occlusion Handling, 〃IEEE International Conference onComputer Vision(ICCV2009)，Kyoto, 2009。
【发明内容】
[0014]发明要解决的问题
[0015]但是，在第二以往技术中，作为运算对象的区域越宽，局部二值模式的比特数越增大。例如，在将上述的3像素X 3像素的区域作为运算对象的情况下，该比特数为8比特，相对于此，在将上述的5像素X5像素的区域作为运算对象的情况下，即使只使用其外周部，也成为一倍的16比特。若局部二值模式的比特数增加，则直方图的维数增加，识别器生成和使用识别器的物体检测时的处理负荷增加。
[0016]另一方面，如果拉开作为运算对象的像素间隔，则能够抑制局部二值模式的比特数，但是，相应地，物体检测的精度降低。
[0017]S卩，第二以往技术存在若将更宽的区域作为局部二值模式的运算对象则检测精度降低或处理负荷增加的问题。
[0018]本发明的目的在于，提供能够在抑制物体检测精度降低且抑制处理负荷增加的状态下根据更多的像素生成局部二值模式的特征提取装置、特征提取程序、以及图像处理装置。
[0019]解决问题的方案
[0020]本发明的特征提取装置包括:子区域设定单元，其对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域；以及二值模式生成单元，其对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式，所述子区域设定单元至少将由多个像素构成的区域设定为所述子区域，且该多个像素包含从所述关注像素离开的像素，所述二值模式生成单元对每个所述子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值，生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式。
[0021]本发明的图像处理装置包括:权利要求1所述的特征提取装置，其还具有直方图生成单元，该直方图生成单元生成表示根据所述图像生成的所述局部二值模式的分布的直方图；以及识别单元，其使用用于识别规定物体的识别器，根据由所述特征提取装置生成的所述直方图，判断所述图像是否包含所述规定物体。
[0022]本发明的特征提取程序使计算机执行以下处理:对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域的处理；以及对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式的处理，设定所述子区域的处理中，至少将由多个像素构成的区域设定为所述子区域，且该多个像素包括从所述关注像素离开的像素，生成所述局部二值模式的处理包括:对每个所述子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值的处理；以及生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式的处理。[0023]发明效果
[0024]根据本发明，能够在抑制物体检测精度降低且抑制处理负荷增加的状态下使用更多的像素生成局部二值模式。
【专利附图】
【附图说明】
[0025]图1是表示一例本发明实施方式I的特征提取装置的结构的方框图。
[0026]图2是表示一例包含本发明实施方式2的特征提取装置的物体检测系统的结构的方框图。
[0027]图3是表示本发明实施方式2的特征提取单元的详细结构的方框图。
[0028]图4是表示一例本发明实施方式2的物体检测装置的动作的流程图。
[0029]图5是表示一例本发明实施方式2中的图像扫描的情形的示意图。
[0030]图6是表示一例本发明实施方式2中的附近区域的移位情形的示意图。
[0031]图7是表示一例本发明实施方式2中的照相机的空间频率特性的曲线图。
[0032]图8是表示本发明实施方式2中的子区域配置的第一例的示意图。
[0033]图9是表示直至本发明实施方式2中的局部二值模式反映于直方图为止的处理的一例的概要的示意图。
[0034]图10是表不一例本发明实施方式2中的直方图的归一化情形的图。
[0035]图11是表示本发明实施方式2中的子区域配置的第二例的图。
[0036]图12是表示本发明实施方式2中的子区域配置的第三例的图。
[0037]图13是表示本发明实施方式2中的子区域配置的第四例的图。
[0038]图14是表示本发明实施方式2中的子区域配置的第五例的图。
[0039]图15是表示本发明实施方式2中的子区域配置的第四例以及第五例的性能评价的实验结果的图。
[0040]图16是表示本发明实施方式2中的子区域配置的第六例的图。
[0041]图17是表示本发明实施方式2中的子区域配置的第七例的图。
[0042]图18是表示本发明实施方式2中的子区域配置的第六例以及第七例的性能评价的实验结果的图。
[0043]标号说明
[0044]10 特征提取装置
[0045]100物体检测系统
[0046]200识别器学习装置
[0047]210学习用数据存储单元
[0048]220特征提取单元
[0049]240 学习单元
[0050]300识别器存储装置
[0051]400物体检测装置
[0052]410照相机
[0053]420图像输入单元
[0054]430特征提取单元[0055]431特征提取区域获取单元
[0056]432区域扫描单元
[0057]433子区域设定单元
[0058]434二值模式生成单元
[0059]435附近区域获取单元
[0060]436子区域设定单元
[0061]437区域代表值计算单元
[0062]438子区域差值计算单元 [0063]439二值模式计算单元
[0064]440直方图生成单元
[0065]450识别单元
【具体实施方式】
[0066]以下参照附图对本发明的各实施方式详细进行说明。
[0067](实施方式I)
[0068]本发明实施方式I是一例本发明的基本形态。
[0069]图1是表示一例本实施方式的特征提取装置的结构的方框图。
[0070]在图1中，特征提取装置10具有子区域设定单元433以及二值模式生成单元434。
[0071]子区域设定单元433对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域。这时，子区域设定单元433至少将由多个像素构成的区域设定为子区域，该多个像素包含从关注像素离开的像素。
[0072]二值模式生成单元434对每个关注像素，生成利用比特值表示与所设定的多个子区域的每个子区域之间的像素值比较的局部二值模式。这时，二值模式生成单元434对每个子区域，计算代表构成该子区域的一个或多个像素的像素值组的代表值。而且，二值模式生成单元434生成利用比特值表示该代表值相对于关注像素的像素值的差值是否在规定阈值以上的比特数据，作为局部二值模式。
[0073]此外,特征提取装置10例如可以采用包含CPU(central processing unit,中央处理单元)以及RAM (random access memory,随机存取存储器)等存储介质等的计算机的结构。在这种情况下，特征提取装置10通过由CPU执行存储的控制程序来工作。
[0074]这样的特征提取装置10能够在使局部二值模式的运算对象中包含从关注像素离开的像素的同时，根据多个像素的像素值的代表值生成局部二值模式。由此，特征提取装置10能够在抑制物体检测精度降低且抑制处理负荷增加的状态下使用更多的像素生成局部二值模式。
[0075](实施方式2)
[0076]本发明实施方式2是一例将本发明适用于物体检测系统的情况下的具体的方式。
[0077]首先，说明包含本实施方式的特征提取装置的物体检测系统的结构。
[0078]图2是表示一例包含本实施方式的特征提取装置的物体检测系统的结构的方框图。
[0079]在图2中，物体检测系统100包括识别器学习装置200、识别器存储装置300、以及物体检测装置400。识别器学习装置200以及物体检测装置400例如能够通过互联网等通信网络分别与识别器存储装置300连接。
[0080]本实施方式中，作为识别器学习装置200使用的机器学习方法的一个例子，采用Boosting (提升)法。识别器学习装置200预先根据被归一化为学习用的图像，学习用于检测作为检测对象的物体(以下称为“检测对象物体”)的识别器，将作为学习结果的识别器存储到识别器存储装置300中。
[0081]识别器学习装置200包括学习用数据存储单元210、包含本发明的特征提取装置的特征提取单元220、以及学习单元240。
[0082]学习用数据存储单元210预先存储包含检测对象物体的多个学习图像(正样本)、不包含检测对象物体的多个学习图像(负样本)、以及特征提取区域信息的候选。
[0083]特征提取单元220对学习用数据存储单元210中存储的每个学习图像获取特征提取区域，并从所获取的特征提取区域提取图像特征。
[0084]所谓特征提取区域，是作为图像特征的提取对象的图像区域。例如，在检测对象是人物的脸部的情况下，特征提取区域可以是包含人的脸部器官例如眼或鼻等的随机配置的多个图像区域。另外，在检测对象是人的全身的情况下，特征提取区域例如可以是包含头部、胳膊、脚等的随机配置的多个图像区域。
[0085]特征提取单元220对每个特征提取区域，提取其图像特征，并输出到学习单元240。更具体而言，特征提取单元220首先对特征提取区域的全部或部分像素中的每个像素，以该像素为关注像素生成局部二值模式。而且，特征提取单元220生成表示所生成的局部二值模式的分布的直方图(以下简称为“直方图”)，作为该特征提取区域的图像特征。
[0086]所谓局部二值模式，是利用比特值表示关注像素与多个子区域中的每个子区域之间的像素值比较的信息。关于子区域的设定方法、以及关注像素与各子区域之间的像素值比较方法，将后述。
[0087]学习单元240生成一个或多个识别器，该一个或多个识别器用于基于由正样本得到的直方图群、和由负样本得到的直方图群，区分包含检测对象物体的图像和不包含检测对象物体的图像。即，学习单元240生成特征提取区域信息与对应于特征提取区域信息的识别信息，作为识别器。并且，学习单元240将所生成的识别信息与特征提取区域信息一起发送给识别器存储装置300，与特征提取区域信息组合而进行存储。
[0088]所谓特征提取区域信息，是表示特征提取区域的范围的信息，例如包含特征提取区域的位置以及尺寸。所谓识别信息，是用于对对象图像的特征提取区域的直方图进行评价，判定对象图像中是否包含规定物体的信息。
[0089]物体检测装置400获取识别器存储装置300中存储的识别器，进行对对象图像的物体检测。
[0090]物体检测装置400包括照相机410、图像输入单元420、包含本发明的特征提取装置的特征提取单元430、以及识别单元450。
[0091]照相机410进行对象图像的拍摄，将对象图像输出到图像输入单元420。
[0092]图像输入单元420用尺寸预先决定了的窗扫描对象图像，将扫描出的各个图像区域(以下称为“窗区域”)输出到特征提取单元430。
[0093]特征提取单元430对每个窗区域，获取该窗区域中的、识别器存储装置中存储的特征提取区域信息所示的范围作为特征提取区域。
[0094]而且，特征提取单元430对每个特征提取区域提取其图像特征，并输出到识别单元450。更具体而言，特征提取单元430对特征提取区域的每个像素生成局部二值模式，并生成局部二值模式的直方图，作为其特征提取区域的图像特征。
[0095]此外，特征提取单元430对窗区域进行的处理与上述的识别器学习装置200中的特征提取单元220对学习图像进行的处理类似。即，识别器学习装置200中的特征提取单元220例如获取作为候选区域预先准备的大量区域的全部区域，作为特征提取区域。相对于此，特征提取单元430从识别器存储装置300只获取已经由学习单元240选择的特征提取区域信息所示的区域，作为特征提取区域。因此，以下，适当地，在说明一方的结构以及动作的基础上，省略另一方的结构以及动作的说明。
[0096]图3是表示特征提取单元430的详细结构的方框图。
[0097]在图3中，特征提取单元430包括特征提取区域获取单元431、区域扫描单元432、子区域设定单元433、二值模式生成单元434、以及直方图生成单元440。
[0098]特征提取区域获取单元431对从图像输入单元420输入的每个窗区域，获取该窗区域中的、识别器存储装置300中存储的特征提取区域信息所示的范围，将其作为特征提取区域。而且，将所获取的特征提取区域输出到区域扫描单元432。
[0099]区域扫描单元432以预先决定的间隔扫描从特征提取区域获取单元431输入的特征提取区域，并将扫描出的像素作为关注像素输出到子区域设定单元433。
[0100]子区域设定单元433对从区域扫描单元432输入的特征提取区域的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域。
[0101]子区域设定单元433包括附近区域获取单元435以及子区域设定单元436。
[0102]附近区域获取单元435对从区域扫描单元432输入的关注像素，设定以关注像素为中心的附近区域，并获取各像素的像素值。这时，附近区域获取单元435将由包含从关注像素离开的像素的多个像素构成的区域设定为附近区域。而且，附近区域获取单元435对每个关注像素，将所设定的附近区域和所获取的多个像素值输出到子区域设定单元436。
[0103]子区域设定单元436根据从附近区域获取单元435输入的附近区域设定多个子区域。而且，子区域设定单元436对每个关注像素，将关注像素的像素值(以下称为“关注像素值”)和各子区域的各像素的像素值输出到二值模式生成单元434。这时，子区域设定单元436设定至少一个由包含从关注像素离开的像素的多个像素构成的子区域。此外，这时，子区域设定单元436根据照相机410的空间频率特性设定子区域。对于基于照相机410的空间频率特性的子区域设定方法，将在后面描述。
[0104]二值模式生成单元434对每个关注像素生成利用比特值表示与所设定的多个子区域的每个子区域之间的像素值比较的局部二值模式。
[0105]二值模式生成单元434包括区域代表值计算单元437、子区域差值计算单元438、以及二值模式计算单元439。
[0106]区域代表值计算单元437对每个子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值(以下称为“区域代表值”)。而且，区域代表值计算单元437对每个子区域将关注像素值和计算出的区域代表值输出到子区域差值计算单元438。
[0107]在本实施方式中，对于由一个像素构成的子区域，区域代表值计算单元437将该像素的像素值设为区域代表值，对于由多个像素构成的子区域，区域代表值计算单元437将该多个像素的像素值的平均设为区域代表值。
[0108]子区域差值计算单元438对每个关注像素，计算从区域代表值计算单元437输入的各区域代表值相对于关注像素值的差值。而且，子区域差值计算单元438对每个关注像素，将计算出的各相邻子区域的差值输出到二值模式计算单元439。
[0109]二值模式计算单元439对每个关注像素，判断从子区域差值计算单元438输入的各子区域的差值是否在规定阈值以上。而且，对每个关注像素，生成表示各子区域的差值是否在规定阈值以上的局部二值模式，并输出到直方图生成单元440。
[0110]直方图生成单元440对每个特征提取区域，根据从二值模式计算单元439输入的局部二值模式，生成表示特征提取区域的局部二值模式的分布的直方图。而且，直方图生成单元440对每个特征提取区域，将所生成的直方图输出到图2的识别单元450。
[0111]图2的识别单元450获取识别器存储装置300存储的识别信息。识别单元450使用所获取的识别信息，根据从特征提取单元430输入的直方图，计算对象图像中是否包含检测对象物体的器官的得分。而且，识别单元450根据识别器存储装置300存储的全部特征提取区域的得分计算总得分，利用所述总得分判断对象图像中是否包含检测对象物体。而且，识别单元450将判断结果例如通过图像表示装置或语音输出装置(未图示)通知给用户。
[0112]此外，识别器学习装置200以及物体检测装置400例如可以分别采用包括CPU以及RAM等存储介质等的计算机结构。在这种情况下，识别器学习装置200以及物体检测装置400通过CPU执行存储的控制程序分别进行工作。另外，物体检测装置400也可以是只进行其计算的专用芯片。另外，识别器存储装置300例如是包含半导体存储器或硬盘等存储介质的网络服务器。
[0113]为了高精度地提取学习图像的特征或对象图像的特征，希望将更宽的区域、即更多的像素作为局部二值模式的运算对象。然而，如上所述，在只增加附近区域的像素数的情况下，处理负荷变高，并且含有噪声的可能性变高，检测精度有可能降低。
[0114]因此，物体检测系统100设定由多个像素构成的子区域，对子区域的像素值进行统计处理，来计算区域代表值。而且，物体检测系统100将区域代表值用于特征提取中。由此，物体检测系统100不只能够减少局部二值模式的比特数，还能够降低二值模式中的以像素为单位的噪声。在使用这样的二值模式的直方图进行物体检测的情况下，能够削减运算成本，能够进行对噪声具有鲁棒性的物体检测。
[0115]因此，物体检测系统100能够在抑制物体检测精度降低且抑制处理负荷增加的状态下根据更多的像素生成局部二值模式。即，物体检测系统100在对图像进行物体检测时，对于在低照度等环境下拍摄到的噪声多的图像，可以使用能够进行高速且鲁棒性好的物体检测的图像特征。
[0116]以上结束对物体检测系统100的结构的说明。
[0117]下面，对包含本发明的特征提取装置的物体检测装置400的动作进行说明。此外，识别器学习装置200中的特征提取单元220的动作与物体检测装置400中的特征提取单元430的动作相同，因此省略其说明。
[0118]图4是表示一例物体检测装置400的动作的流程图。[0119]首先，在步骤SllOO中，图像输入单元420用尺寸预先决定了的窗扫描对象图像。
[0120]图5表不图像扫描的情形的一例的不意图。
[0121]如图5所示，图像输入单元420用尺寸预先决定了的窗511扫描对象图像510的全体，从各位置获取窗区域512。窗511的尺寸例如是64像素X 128像素。
[0122]接着，在图4的步骤S1200中，图3的特征提取单元430的特征提取区域获取单元431获取一个通过识别器学习装置200的学习得到的、并存储在识别器存储装置中的特征提取区域的信息(位置、尺寸等)。特征提取区域获取单元431例如如图5所示那样获取包含人的头部的矩形状的区域作为特征提取区域520。
[0123]而且，在步骤S1300中，特征提取单元430的区域扫描单元432选择特征提取区域520的一个像素作为关注像素。
[0124]接着，在步骤S1400中，附近区域获取单元435设定以在步骤S1300中扫描出的关注像素为中心的附近区域。区域扫描单元432在每次通过后述的步骤S1900的判断处理返回到步骤S1300时，选择未选择的像素，其结果是使附近区域逐渐移位。
[0125]图6是表示附近区域的移位情形的一例的示意图。
[0126]如图6所示，区域扫描单元432通过在特征提取区域520的全体使关注像素521移位，来使以关注像素521为中心的附近区域522逐渐移位。
[0127]在本实施方式中，如图6所示，附近区域获取单元435对每个关注像素521设定以关注像素521为中心的11像素X 11像素的区域，作为附近区域522。S卩，附近区域获取单元435设定121个像素作为附近区域。
[0128]接着，在图4的步骤S1500中，特征提取单元430的子区域设定单元436从关注像素的附近区域设定子区域。这时，子区域设定单元436根据照相机410的空间频率特性设定子区域。
[0129]图7是表示一例照相机410的空间频率特性的曲线图。在图7中，横轴表示空间频率，纵轴表示从照相机410输出的信号(对比度的再现率)。
[0130]如图7所示，在照相机410的输出523中，较高的空间频率被滤掉。即，照相机410的透镜具有与低通滤波器相似的MTF (Modulation Transfer Function,调制传递函数)特性。根据该特性，照相机410拍摄到的图像的像素值在相邻的像素间平滑地变化，在比与在照相机410中可再现的空间频率的最大值相当的像素数短的长度，没有较大的亮度值的变化。
[0131]因此，子区域设定单元436设定子区域，以使得子区域的尺寸为能够视为其长度方向中的全部像素值均等地接近的大小(以下称为“等像素值长”)。在此，子区域的尺寸，指的是子区域的宽度、长度、与关注像素之间的间隔、以及与其他子区域之间的间隔中的至少一者。由此，子区域设定单元436能够设定使区域代表值高精度地反映附近区域的特征那样的子区域。例如，在两个像素的间隔(像素数)为与空间频率的最大值的倒数相当的像素数以下的情况下，能够将该两个像素设为同样的亮度进行处理。即，在多个像素彼此的间隔为与空间频率的最大值的倒数相当的像素数以下的情况下，由该多个像素构成子区域。
[0132]根据照相机的种类不同，MTF特性也不同。另外，对于通常的照相机，为了提高分辨率，较高地设定对于成像元件的空间频率。这时，不用为了在对细致的条纹进行拍摄时也不产生混叠噪声引起的伪条纹图形，而将空间频率设定为成像元件的像素的间隔倒数以上。即，在由照相机410拍摄到的图像中相邻的间隔2到3个像素的像素彼此的像素值与照相机的种类无关而为相同程度。因此，希望将子区域的尺寸设定为2个像素或3个像素。这是因为，在相邻的2个像素或3个像素之间，像素值之差较小，将它们作为一个信息进行处理的情况下，信息量的损失较少，能够抑制特征提取的运算量以及特征维数。此外，在照相机410的MTF特性为低频的窄带低通滤波器特性的情况(即，急剧衰减的情况)下，也可以将子区域的尺寸设为4像素以上。
[0133]图8是表示一例子区域配置的示意图。
[0134]如图8所示，在本实施方式中，子区域设定单元436将附近区域522中的、与关注像素521相邻的8个像素(用编号11~18表示)的每个像素设定为子区域524。另外，子区域设定单元436将如下的8个区域(用编号21~28表示)的每个区域设定为子区域524,该8个区域为,将与关注像素521间隔2个像素的24个像素组分成每3个像素为一个区域而得到的8个区域。进而，子区域设定单元436将如下的8个区域(用编号31~38表示)的每个区域设定为子区域524，该8个区域为，与关注像素521间隔4个像素的40个像素组中的、相对于关注像素521为等角度间隔且每3个像素构成一个区域而得到的8个区域。即，子区域设定单元436将距关注像素的像素距离不同的8个X3组的区域设定为子区域524。
[0135]接着，在图4的步骤S1600中，区域代表值计算单元437对每个子区域组求子区域的像素值平均，作为区域代表值。接着，子区域差值计算单元438计算各区域代表值与关注像素之间的差值。
[0136]在本实施方式中，将距关注像素的距离不同的8个X3组的区域设定为子区域。因此，区域代表值计算单元437对每个关注像素，生成3组8个差值的集合。
[0137]而且，在步骤S1700`中，二值模式计算单元435通过与规定阈值比较将差值二值化，来生成局部二值模式。
[0138]在本实施方式中，二值模式计算单元435将“O”设为上述的规定阈值。而且，二值模式计算单元435对差值为规定阈值以上的子区域计算出值为“1”，对差值小于规定阈值的子区域，计算出值为“O”。
[0139]即，例如用以下的式(I)表示局部二值模式LBPP，K。这里，g。为关注像素的像素值，P为子区域的数量(本实施方式中为8)。另外，P为子区域的顺序，gp为第P个子区域的像素平均值(即代表值)，R为与子区域和关注像素的距离相当的像素数(本实施方式中为1、
3、3)。
【权利要求】
1.特征提取装置，包括: 子区域设定单元，对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域；以及 二值模式生成单元，对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式， 所述子区域设定单元至少将由多个像素构成的区域设定为所述子区域，且该多个像素包含从所述关注像素离开的像素， 所述二值模式生成单元对每个所述子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值，生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式。
2.如权利要求1所述的特征提取装置， 所述图像是利用照相机得到的拍摄图像， 所述子区域设定单元根据所述照相机的空间频率特性设定所述子区域。
3.如权利要求2所述的特征提取装置， 所述子区域设定单元设定所述子区域，以使得所述子区域的宽度、长度、与所述关注像素之间的间隔、以及与其他所述子区域之间的间隔中的至少一者，为从所述照相机的空间频率特性来看能够视为其长度方向上的全部像素值均等地接近的大小。
4.如权利要求1所述的特征提取装置， 所述子区域设定单元以距所述关注像素为等距离的方式设定所述多个子区域。
5.如权利要求1所述的特征提取装置， 所述子区域设定单元以相互不重叠的方式设定所述多个子区域。
6.如权利要求1所述的特征提取装置， 所述子区域设定单元以相互离开的方式设定所述多个子区域。
7.如权利要求1所述的特征提取装置， 所述子区域设定单元以相对于所述关注像素为等角度间隔的方式设定所述多个子区域。
8.如权利要求1所述的特征提取装置， 所述子区域设定单元至少将与所述关注像素相邻的多个像素的每个像素、以及由从所述关注像素分别离开两个像素以上的距离的多个像素构成的区域，设定为所述子区域。
9.图像处理装置，包括: 权利要求1所述的特征提取装置，其还具有直方图生成单元，该直方图生成单元生成表示根据所述图像生成的所述局部二值模式的分布的直方图；以及 识别单元，其使用用于识别规定物体的识别器，根据由所述特征提取装置生成的所述直方图，判断所述图像是否包含所述规定物体。
10.特征提取程序， 使计算机执行以下处理: 对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域的处理；以及 对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式的处理， 设定所述子区域的处理中，至少将由多个像素构成的区域设定为所述子区域，且该多个像素包含从所述关注像素离开的像素， 生成所述局部二值模式的处理包括: 对每个所述子区域计算 代表构成该子区域的一个或多个像素的像素值组的代表值的处理；以及 生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式的处理。
【文档编号】G06T7/00GK103733224SQ201280038798
【公开日】2014年4月16日 申请日期:2012年7月31日 优先权日:2011年8月11日
【发明者】曹芸芸, 西村洋文, S.普拉纳塔, Z.H.牛 申请人:松下电器产业株式会社