专利名称：：检测装置及检测方法
技术领域：
：本发明涉及检测装置及检测方法，特别涉及利用由两个摄像系统在同一时刻拍摄到的立体图像对检测对象进行检测的检测装置及检测方法。
背景技术：
：当在视线检测及表情检测等中进行瞳孔中心的检测时，在照度低的情况下，有时出现红眼现象。在通常的瞳孔检测方法中，利用在图像中与瞳孔对应的部分的亮度与其周边的亮度相比通常变低这一情况，来检测瞳孔。但是，在产生红眼现象时，与瞳孔对应的图像区域的亮度变高。为此，在产生了红眼现象时，难以通过通常的以瞳孔为对象的瞳孔检测方法来稳定地检测瞳孔。对于该课题，在专利文献I所公开的技术中，采取积极地使瞳孔整体产生红眼现象的措施，并且利用摄像时刻不同的多个图像进行瞳孔检测。现有技术文献专利文献专利文献1:日本特开2005-182247号公报非专利文献非专利文献1:PaulViolaandMichaelJ.Jones,"RapidObjectDetectionusingaBoostedCascadeofSimpleFeatures",IEEECVPR,2001.
发明内容发明要解决的问题但是，通过上述的现有技术，存在瞳孔整体未变红而仅是瞳孔的一部分产生红眼现象的情况。在此情况下，通过上述的现有技术，仅能够检测产生了红眼现象的“瞳孔的部分区域”。另外，产生红眼现象的“瞳孔的部分区域”的位置很大程度依赖于视线方向、或摄像装置与面部之间的位置关系等。因此，即使能够检测出产生了红眼现象的“瞳孔的部分区域”，也难以根据该检测结果确定瞳孔的中心位置。本发明的目的在于，提供即使在检测对象的成像方式根据检测对象物体与摄像装置的相对的位置关系而有很大程度的不同并且该成像方式为各种各样时，也能够稳定地对检测对象进行检测的检测装置及检测方法。解决问题的方案本发明的一形式的检测装置，对成像于由两个摄像系统在同一时刻拍摄到的第I图像及第2图像的检测对象进行检测，包括积分图像计算单元，根据所述第I图像及所述第2图像，计算第I积分图像及第2积分图像；获取单元，是从所述第I积分图像及所述第2积分图像获取由第I单位图像及第2单位图像构成的单位图像对的单元，使单位图像的剪切位置依次错开，来获取剪切位置互不相同的多个单位图像对；设定单元，对各单位图像对，设定由N个(N为2以上的自然数)设定区域中的每个设定区域的在单位图像内的位置及尺寸、以及表示各设定区域设定于所述第I单位图像及所述第2单位图像中的哪个图像的设定图像信息来定义的M(M为2以上的自然数)个交叉区域模式中的每个交叉区域模式；特征量计算单元，计算由所述设定单元设定了交叉区域模式的各图像区域中的特征量，根据该计算出的特征量，计算与各交叉区域模式有关的综合特征量；以及检测单元，基于与所述M个交叉区域模式中的每个交叉区域模式有关的综合特征量、及由多个弱识别器构成且各弱识别器与所述M个交叉区域模式中的任一个对应的强识别器，对所述检测对象进行检测。本发明的一方式的检测方法，对成像于由两个摄像系统在同一时刻拍摄到的第I图像及第2图像的检测对象进行检测，包括积分图像计算步骤，根据所述第I图像及所述第2图像，计算第I积分图像及第2积分图像；获取步骤，是从所述第I积分图像及所述第2积分图像获取由第I单位图像及第2单位图像构成的单位图像对的单元，使单位图像的剪切位置依次错开，来获取剪切位置互不相同的多个单位图像对；设定步骤，对各单位图像对，设定由N个(N为2以上的自然数)设定区域中的每个设定区域的在单位图像内的位置及尺寸、以及表示各设定区域设定于所述第I单位图像及所述第2单位图像中的哪个图像的设定图像信息来定义的M(M为2以上的自然数)个交叉区域模式中的每个交叉区域模式；特征量计算步骤，计算由所述设定步骤设定了交叉区域模式的各图像区域中的特征量，根据该计算出的特征量，计算与各交叉区域模式有关的综合特征量；以及检测步骤，基于与所述M个交叉区域模式中的每个交叉区域模式有关的综合特征量、及由多个弱识别器构成且各弱识别器与所述M个交叉区域模式中的任一个对应的强识别器，对所述检测对象进行检测。发明的效果根据本发明，能够提供即使在检测对象的成像方式根据检测对象物体与摄像装置的相对的位置关系而有很大程度的不同并且该成像方式为各种各样时，也能够稳定地对检测对象进行检测的检测装置及检测方法。图1是表示本发明一实施方式的检测装置的主要结构的框图。图2是表示本发明一实施方式的检测装置的结构的框图。图3是用于说明检测装置进行的检测处理的流程图。图4是用于说明各种图像的示意图。图5是用于说明检测装置进行的学习处理的流程图。图6是表示拍摄人物时的图像的部分图像的图。图7是表示以往使用的特征的例子的图。图8是用于说明交叉区域模式的图。标号说明100检测装置101第I摄像单元102第2摄像单元103同步单元104积分图像计算单元105单位图像获取单元106、109交叉区域模式设定单元107、110特征量计算单元108检测单元111特征学习单元112识别器存储单元具体实施方式以下，参照附图详细地说明本发明的一个实施方式。[检测装置的主要结构]图1表示本发明一实施方式的检测装置100的主要结构。在图1中，检测装置100具有积分图像计算单元104、单位图像获取单元105、交叉区域模式设定单元106、特征量计算单元107及检测单元108。积分图像计算单元104根据由两个摄像系统在同一时刻拍摄到的立体图像即第I图像及第2图像，计算“第I积分图像”及“第2积分图像”。所谓“积分图像”，是用于高效地计算某一矩形区域的像素值的总和的数据结构，也称为“integralimage”。根据由第I摄像系统拍摄到的第I图像计算出的积分图像是“第I积分图像”，根据由第2摄像系统拍摄到的第2图像计算出的积分图像是“第2积分图像”。单位图像获取单元105从第I积分图像及第2积分图像，获取具有规定尺寸的单位图像。以后，将从第I积分图像获取的单位图像称为“第I单位图像”，将从第2积分图像获取的单位图像称为“第2单位图像”。即，单位图像获取单元105分别从第I积分图像及第2积分图像，获取由第I单位图像及第2单位图像构成的“单位图像对”。第I单位图像及第2单位图像分别与成像有同一拍摄对象的、第I图像及第2图像中的部分图像对应。即，在第I摄像系统与第2摄像系统之间存在视差，所以当对第I图像及第2图像设定了相同的坐标系时，在第I单位图像的坐标与第2单位图像的坐标之间，产生与该视差相应的偏差。单位图像获取单元105使单位图像的剪切位置依次错开，而分别从第I积分图像及第2积分图像获取单位图像。由此，单位图像获取单元105能够获取剪切位置互不相同的多个单位图像对。交叉区域模式设定单元106对各单位图像对，依次设定多个“交叉区域模式”中的每个交叉区域模式。交叉区域模式由N个(N为2以上的自然数)区域中的每个区域的在单位图像内的位置(即，单位图像平面的坐标)及尺寸、以及表示各区域设定于第I单位图像及第2单位图像中的哪个图像的设定图像信息来定义。另外，构成一个交叉区域模式的区域的单位图像平面坐标与构成其他交叉区域模式的区域的单位图像平面坐标不同。特征量计算单元107计算由交叉区域模式设定单元106设定了交叉区域模式的各图像区域中的特征量，根据该计算出的特征量，计算与各交叉区域模式有关的综合特征量。检测单元108基于与多个交叉区域模式中的每个交叉区域模式有关的综合特征量、及由多个弱识别器构成且各弱识别器与多个交叉区域模式中的任一个交叉区域模式对应的强识别器，对检测对象进行检测。此外，以下，以摄像对象物是人物的面部而且检测对象是瞳孔中心的情况为例进行说明。[检测装置100的具体结构]图2表示本发明一实施方式的检测装置100的结构。在图2中，检测装置100具有第I摄像单元101、第2摄像单元102、同步单元103、积分图像计算单元104、单位图像获取单元105、交叉区域模式设定单元106、特征量计算单元107、检测单元108、交叉区域模式设定单元109、特征量计算单元110、特征学习单元111及识别器存储单元112。第I摄像单元101接收从同步单元103输出的同步信号，在与该同步信号相应的时刻，对人物的面部进行拍摄。由第I摄像单元101拍摄到的图像(简称为“第I图像”)被输出至积分图像计算单元104。第I摄像单元101例如设置于电视上、车的方向盘上或仪表板上等、能够容易地对面部进行拍摄的场所。另外，第I摄像单元101具备CCD(ChargeCoupledDevices:电荷稱合器件)或CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)等图像传感器。第2摄像单元102具有与第I摄像单元101同样的结构。即，第2摄像单元102接收从同步单元103输出的同步信号，在与该同步信号相应的时刻，对人物的面部进行拍摄。由此，第I摄像单元101及第2摄像单元102能够在相同的时刻对人物的面部进行拍摄。另外，第2摄像单元102与第I摄像单元101离开规定的距离，并且设置于能够对与第I摄像单元101相同的摄像对象进行拍摄的位置。由第2摄像单元102拍摄到的图像(简称为“第2图像”)被输出至积分图像计算单元104。S卩，第I图像和第2图像是在同一时刻从不同的方向对同一拍摄对象进行拍摄而得到的图像。此外，以下，设在拍摄到的第I图像及第2图像中，图像横向为X轴，图像纵向为Y轴，I个像素为I个坐标点，来进行说明。同步单元103向第I摄像单元101及第2摄像单元102输出同步信号。同步单元103例如以与从曝光开始到结束为止相当的时间输出同步信号。由此，第I摄像单元101及第2摄像单元102能够在相同的时刻进行拍摄。此外，可以通过用户的手动来提供，也可以自动提供对于同步单元103的同步信号输出触发信号。以上的第I摄像单元101、第2摄像单元102及同步单元103例如被作为立体照相机而安装，在同步时刻，从不同的视点对面部进行拍摄。即，如上所述，第I摄像单元101与第2摄像单元102之间的位置关系是固定的，在每次拍摄时其位置关系不会变化。积分图像计算单元104以第I图像及第2图像为输入，分别根据第I图像及第2图像计算积分图像。根据第I图像计算出的积分图像是第I积分图像，根据第2图像计算出的积分图像是第2积分图像。单位图像获取单元105从第I积分图像及第2积分图像，获取由第I单位图像及第2单位图像构成的“单位图像对”。单位图像获取单元105使单位图像的剪切位置依次错开，而分别从第I积分图像及第2积分图像，获取剪切位置互不相同的多个单位图像对。交叉区域模式设定单元106对各单位图像对，依次设定多个“交叉区域模式”中的每个交叉区域模式。具体而言，交叉区域模式设定单元106保持第I交叉区域模式组。第I交叉区域模式组由M(M为2以上的自然数)个交叉区域模式构成。并且，交叉区域模式设定单元106以第I交叉区域模式组的构成模式的全部都被设定的方式，对各单位图像对依次设定构成模式。特征量计算单元107计算由交叉区域模式设定单元106设定了交叉区域模式的各图像区域中的特征量，根据该计算出的特征量，计算与各交叉区域模式有关的综合特征量。检测单元108基于与第I交叉区域模式组的各构成模式有关的综合特征量、及存储于识别器存储单元112的由多个弱识别器构成的强识别器，对检测对象进行检测。构成强识别器的多个弱识别器与构成第I交叉区域模式组的多个交叉区域模式分别对应。即，第I交叉区域模式组由M(M为2以上的自然数)个交叉区域模式构成，所以构成强识别器的弱识别器的个数也为M个。交叉区域模式设定单元109以作为学习样本的多个样本单位图像对作为输入。多个样本单位图像对中包含正样本和负样本。分类为正样本的样本单位图像对由根据瞳孔中心的图像成像于单位图像的中心的第I图像及第2图像计算出的第I单位图像及第2单位图像构成。反之，分类为负样本的样本单位图像对由瞳孔中心的图像成像于单位图像的中心以外的第I单位图像及第2单位图像或未成像有瞳孔中心的图像的第I单位图像及第2单位图像构成。即，分类为负样本的样本单位图像对由与从瞳孔图像离开规定以上的距离的部分相对应的单位图像构成。并且，交叉区域模式设定单元109对各样本单位图像对，依次设定多个“交叉区域模式”中的每个交叉区域模式。具体而言，交叉区域模式设定单元109保持第2交叉区域模式组。第2交叉区域模式组由K(K为M以上的自然数)个交叉区域模式构成。并且，交叉区域模式设定单元109以第2交叉区域模式组的构成模式的全部都被设定的方式，对各样本单位图像对依次设定构成模式。特征量计算单元110计算由交叉区域模式设定单元109设定了交叉区域模式的各图像区域中的特征量，根据该计算出的特征量，计算与各交叉区域模式有关的综合特征量。特征学习单元111至少生成一个与构成第2交叉区域模式组的K个交叉区域模式中的每个交叉区域模式相对应的候选弱识别器。在此，将弱识别器例如作为如下函数来表述若特征量为规定的阈值以上则返回1，若小于规定的阈值则返回-1。另外，一个弱识别器与一个交叉区域模式相对应。因此，由N个(N为2以上的自然数)区域中的每个区域的在单位图像内的位置(即，单位图像平面的坐标)及尺寸、表示各区域设定于第I单位图像及第2单位图像中的哪个图像的设定图像信息以及规定的阈值来确定弱识别器。并且，特征学习单元111基于与K个交叉区域模式中的每个交叉区域模式有关的综合特征量、及与各交叉区域模式对应的候选弱识别器，提取(决定)满足“提取基准”的候选弱识别器。作为“提取基准”例如使用候选弱识别器判定正样本及负样本时的正确率。并且，特征学习单元111将满足提取基准的候选弱识别器输出至识别器存储单元112。识别器存储单元112将从特征学习单元111输出的候选弱识别器作为构成强识别器的弱识别器来存储。识别器存储单元112在初始阶段，将从特征学习单元111输出的候选弱识别器作为构成强识别器的弱识别器来存储。另一方面，在已经存储有强识别器的状态下，识别器存储单元112在与候选弱识别器相对应的弱识别器已被存储时，以候选弱识别器覆盖现有的弱识别器。在此，将强识别器例如作为输出构成该强识别器的多个弱识别器的得分之和的函数来表述。[检测装置100的动作]对具有上述结构的检测装置100的动作进行说明。图3是用于说明检测装置100进行的检测处理的流程图。图4是用于说明各种图像的示意图。图3所示的处理流程与拍摄操作的开始一同开始。拍摄作业可以根据用户的操作而开始，也可以以外部的某些信号作为触发而开始。在步骤ST11，第I摄像单元101、第2摄像单元102及同步单元103协同作用，在相同的时刻从不同的视点对面部进行拍摄，获取第I图像及第2图像。图4A及图4F中分别示出了第I图像及第2图像。具体而言，作为第I摄像单元101及第2摄像单元102，例如假定为具有CMOS图像传感器和镜头的数字照相机。由此，与投光器同步拍摄的PPM(PortablePixMapfileformat:可移植像素图格式)格式的图像等暂时存储于在第I摄像单元101及第2摄像单元102中存在的图像存储单元(例如，PC的存储器空间)。并且，该暂时存储的图像以PPM格式输出至积分图像计算单元104。在步骤ST12，积分图像计算单元104分别根据第I图像及第2图像，生成积分图像。根据第I图像计算出的积分图像是第I积分图像，根据第2图像计算出的积分图像是第2积分图像。图4B及图4G中分别示出了第I积分图像及第2积分图像。具体而言，通过对第I图像及第2图像的各像素应用数式(I)并将其运算结果作为各像素的值，由此求出第I积分图像及第2积分图像。[数式I]权利要求1.检测装置，对成像于由两个摄像系统在同一时刻拍摄到的第I图像及第2图像的检测对象进行检测，包括积分图像计算单元，根据所述第I图像及所述第2图像，计算第I积分图像及第2积分图像；获取单元，是从所述第I积分图像及所述第2积分图像获取由第I单位图像及第2单位图像构成的单位图像对的单元，使单位图像的剪切位置依次错开，来获取剪切位置互不相同的多个单位图像对；设定单元，对各单位图像对，设定由N个设定区域中的每个设定区域的在单位图像内的位置及尺寸、以及表示各设定区域设定于所述第I单位图像及所述第2单位图像中的哪个图像的设定图像信息来定义的M个交叉区域模式中的每个交叉区域模式，其中，N为2以上的自然数，M为2以上的自然数；特征量计算单元，计算由所述设定单元设定了交叉区域模式的各图像区域中的特征量，根据该计算出的特征量，计算与各交叉区域模式有关的综合特征量；以及检测单元，基于与所述M个交叉区域模式中的每个交叉区域模式有关的综合特征量、及由多个弱识别器构成且各弱识别器与所述M个交叉区域模式中的任一个对应的强识别器，对所述检测对象进行检测。2.如权利要求1所述的检测装置，所述设定单元对输入的多个样本单位图像对中的每个样本单位图像对，设定由K个交叉区域模式构成的交叉区域模式组，其中，K为M以上的自然数，所述特征量计算单元计算设定了构成由所述设定单元设定的所述交叉区域模式组的交叉区域模式的各图像区域中的特征量，根据该计算出的特征量，计算与各交叉区域模式有关的综合特征量，所述检测装置还包括决定单元，其基于与所述K个交叉区域模式中的每个交叉区域模式有关的综合特征量、及与构成所述交叉区域模式组的各交叉区域模式对应的候选弱识别器，决定所述弱识别器。3.如权利要求1所述的检测装置，所述特征量计算单元利用所述计算出的特征量进行代数运算，由此计算所述综合特征量。4.检测方法，对成像于由两个摄像系统在同一时刻拍摄到的第I图像及第2图像的检测对象进行检测，包括积分图像计算步骤，根据所述第I图像及所述第2图像，计算第I积分图像及第2积分图像；获取步骤，是从所述第I积分图像及所述第2积分图像，获取由第I单位图像及第2单位图像构成的单位图像对的步骤，使单位图像的剪切位置依次错开，来获取剪切位置互不相同的多个单位图像对；设定步骤，对各单位图像对，设定由N个设定区域中的每个设定区域的在单位图像内的位置及尺寸、以及表示各设定区域设定于所述第I单位图像及所述第2单位图像中的哪个图像的设定图像信息来定义的M个交叉区域模式中的每个交叉区域模式，其中，N为2以上的自然数，M为2以上的自然数；特征量计算步骤，计算由所述设定步骤设定了交叉区域模式的各图像区域中的特征量，根据该计算出的特征量，计算与各交叉区域模式有关的综合特征量；以及检测步骤，基于与所述M个交叉区域模式中的每个交叉区域模式有关的综合特征量、及由多个弱识别器构成且各弱识别器与所述M个交叉区域模式中的任一个对应的强识别器，对所述检测对象进行检测。全文摘要本发明提供能够对检测对象进行稳定地检测的检测装置。在该装置中，交叉区域模式设定单元(106)对各单位图像对依次设定第1交叉区域模式组的构成模式。各交叉区域模式由N个(N为2以上的自然数)区域中的每个区域的在单位图像内的位置(即，单位图像平面的坐标)及尺寸、以及表示各区域设定于第1单位图像及第2单位图像中的哪个图像的设定图像信息来定义。并且，检测单元(108)基于由特征量计算单元(107)计算的与第1交叉区域模式组的各构成模式有关的综合特征量、及存储于识别器存储单元(112)的由多个弱识别器构成的强识别器，对检测对象进行检测。文档编号G06T7/00GK103026383SQ201180036460公开日2013年4月3日申请日期2011年12月20日优先权日2011年1月13日发明者筑泽宗太郎,久保谷宽行,Z.牛,S.普拉纳塔申请人:松下电器产业株式会社