被摄体判断装置以及被摄体判断方法与流程

文档序号:11970935阅读:208来源:国知局
被摄体判断装置以及被摄体判断方法与流程
本发明涉及判断是否是特定被摄体的被摄体判断确定装置、被摄体判断确定方法。

背景技术:
以往,在日本的申请公开公报即特开2005-318515号公报中,已知从基于摄像而逐次取得的帧图像进行脸部检测的技术。但是,在上述特开2005-318515号公报的情况下,通过严格地设定用于判断是否是特定被摄体的判断值,从而能够实现降低该特定被摄体的误检测,但是存在该特定被摄体的检测率也降低这样的问题。因此,本申请发明的课题是在不使特定被摄体的检测率降低的情况下,实现降低该特定被摄体的误检测。

技术实现要素:
本发明所涉及的被摄体确定装置的特征在于,具备:取得单元,其逐次取得帧图像;第1类似度判断单元,其判断由该取得单元取得的一个帧图像中的特定被摄体图像的候补区域的图像与给定基准图像的类似度是否是第1阈值以上;被摄体确定单元,其将由所述第1类似度判断单元判断为类似度是第1阈值以上的候补区域确定为所述特定被摄体图像的图像区域;第2类似度判断单元,其在由所述第1类似度判断单元判断为类似度小于第1阈值的情况下,判断该类似度是否是比所述第1阈值小的第2阈值以上;信息取得单元,其在由所述第2类似度判断单元判断为所述候补区域的类似度为第2阈值以上的情况下,取得与比所述一个帧图像早给定帧数所取得的其他帧图像中的所述候补区域所对应的区域的图像与所述给定基准图像的类似程度相关联的信息;以及被摄体判断单元,其基于由所述信息取得单元取得的信息,判断所述候补区域是否应被确定为所述特定被摄体图像的图像区域。此外,本发明所涉及的被摄体确定方法是使用了被摄体确定装置的被摄体确定方法,其特征在于,包括:逐次取得帧图像的处理;判断所取得的一个帧图像中的特定被摄体图像的候补区域的图像与给定基准图像的类似度是否是第1阈值以上的处理;将判断为类似度为第1阈值以上的候补区域确定为所述特定被摄体图像的图像区域的处理;在判断为所述候补区域的图像与所述给定基准图像的类似度小于第1阈值的情况下,判断该类似度是否是小于所述第1阈值的第2阈值以上的处理;在判断为所述候补区域的图像与所述给定基准图像的类似度为第2阈值以上的情况下,取得与比所述一个帧图像早给定帧数所取得的其他帧图像中的所述候补区域所对应的区域的图像与所述给定基准图像的类似程度相关联的信息的处理;以及基于所取得的与类似程度相关联的信息,判断所述候补区域是否应该被确定为所述特定被摄体图像的图像区域的处理。附图说明图1是表示应用了本发明的一实施方式的摄像装置的概略构成的框图。图2是表示图1的摄像装置执行的被摄体检测处理所涉及的动作的一例的流程图。图3是示意性表示图2的被摄体检测处理所涉及的帧图像的一例的图。图4是示意性表示图3的帧图像的缩小图像的图。图5是示意性表示图3的帧图像所涉及的识别对象区域的一例的图。图6是示意性表示图2的被摄体检测处理所涉及的类似评价值算出部的子识别器的构成的一例的图。图7是示意性表示图2的被摄体检测处理所涉及的特定被摄体图像的一例的图。具体实施方式以下,对于本发明,使用附图来说明具体的形态。但是,发明的范围不限定于图示例。图1是表示应用了本发明的一实施方式的摄像装置100的概略构成的框图。本实施方式的摄像装置100在判断为特定被摄体图像的候补区域A的类似度小于第1阈值的情况下,判断该类似度是否是第2阈值以上。此外,在判断为特定被摄体图像的候补区域A的类似度为第2阈值以上的情况下,取得与区域B的图像和给定基准图像的类似程度相关联的类似程度信息,其中区域B是比一个帧图像早给定帧数所取得的其他帧图像中的与该特定被摄体图像的候补区域A对应的区域。然后,摄像装置100将所取得的类似程度信息作为基准,判断一个帧图像中的与区域B对应的特定被摄体图像的候补区域A是否是特定被摄体图像的图像区域D。如图1所示,具体而言,摄像装置100具备摄像部1、摄像控制部2、图像数据生成部3、存储器4、图像处理部5、识别信息设定部6、记录介质控制部7、显示控制部8、显示部9、操作输入部10和中央控制部11。摄像部1作为摄像单元,对被摄体进行摄像而生成帧图像F。具体而言,摄像部1具备透镜部1a和电子摄像部1b。透镜部1a由变焦透镜、聚焦透镜等的多个透镜构成。电子摄像部1b例如由CCD(ChargeCoupledDevice,电荷耦合器件)、CMOS(ComplementaryMetal-oxideSemiconductor,互补金属氧化物半导体)等的图像传感器构成,将通过了透镜部1a的各种透镜的光学像变换为二维的图像信号。另外,虽然省略图示,但是摄像部1也可以具备对通过了透镜部1a的光的量进行调整的光圈。摄像控制部2对摄像部1执行的被摄体的摄像进行控制。即,虽然省略图示,但是摄像控制部2具备定时发生器、驱动器等。而且,摄像控制部2通过定时发生器、驱动器,对电子摄像部1b进行扫描驱动,按给定周期通过电子摄像部1b使光学像变换为二维的图像信号。而且,摄像控制部2从该电子摄像部1b的摄像区域一个画面一个画面地读出帧图像F并输出给图像数据生成部3。此外,摄像控制部2进行AF(自动对焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等的被摄体的摄像条件的调整控制。图像数据生成部3对从电子摄像部1b转送的帧图像F的模拟值的信号按RGB的各色成分适当进行了增益调整后,由采样保持电路(省略图示)进行采样保持之后由A/D变换器(省略图示)变换为数字数据。然后,图像数据生成部3对数字数据由颜色处理(colorprocess)电路(省略图示)进行了包含像素插值处理以及γ补正处理在内的颜色处理后,生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。如此,图像数据生成部3根据摄像图像生成帧图像F的图像数据。此外,图像数据生成部3将所生成的帧图像F的YUV数据在水平以及垂直方向都以给定倍率进行缩小处理,生成实时取景显示用的低分辨率(例如,VGA、QVGA尺寸等)的图像数据。具体而言,图像数据生成部3以与显示部9的实时取景图像的给定显示帧速率相应的给定定时,从帧图像F的YUV数据生成实时取景显示用的低分辨率的图像数据。另外,被生成的图像数据(YUV数据)通过未图示的DMA控制器,DMA转送到作为缓冲存储器使用的存储器4。存储器4例如由DRAM(DynamicRandomAccessMemory,动态随机存取存储器)等构成,临时存储由图像数据生成部3、图像处理部5、识别信息设定部6、中央控制部11等所处理的数据等。具体而言,存储器4临时存储由图像数据生成部3所生成的给定帧数量的帧图像F的实时取景显示用的图像数据。此外,存储器4具备用于临时存储后述的被摄体检测处理所涉及的类似程度信息的关联信息存储部4a。关联信息存储部4a例如由环形缓冲区构成。关联信息存储部4a依次存储与由图像处理部5的类似评价值算出部5c算出的给定帧数量的帧图像F中的特定被摄体图像的候补区域A(参照图7A)的图像与给定基准图像的类似程度相关联的类似程度信息作为数据履历。这里,比一个帧图像Fn早给定帧(例如,一帧)由图像数据生成部3生成的其他帧图像Fm中的多个候补区域A、……中,具有与一个帧图像Fn中的候补区域A的坐标(例如,中心、矩形区域的四角等的坐标)相对应的坐标的区域成为与特定被摄体图像的候补区域A对应的区域B(参照图7B)。此外,作为类似程度信息,可以列举与其他帧图像Fm中的特定被摄体图像的候补区域A(包括区域B)的图像与给定基准图像的类似度相关的评价值、该候补区域A在XY平面空间的坐标位置、由构成该候补区域A的像素数等规定的大小、特定被摄体图像对于XY平面空间的朝向、用于确定该候补区域A的各帧图像F的多个缩小图像数据R、……的大致相等的位置处所检测出的临时候补区域(后述)的个数等。另外,例如,在按照脸部的朝向设置了用于检测脸部图像作为特定被摄体图像的子检测器(后述)的情况下,可以根据该子检测器的种类来规定特定被摄体图像的朝向。如此,关联信息存储部4a存储其他帧图像Fm中的与预先计算出的特定被摄体图像的候补区域A对应的区域B的图像与给定基准图像的类似度。此外,关联信息存储部4a存储在大致相等的位置处从多个缩小图像检测出的特定被摄体图像的临时候补区域的个数。图像处理部5具备图像取得部5a、缩小图像生成部5b、类似评价值算出部5c、第1类似度判断部5d、第2类似度判断部5e、关联信息取得部5f、被摄体判断部5g和图像区域确定部5h。图像取得部5a逐次取得帧图像F。即,图像取得部5a从存储器4逐次取得由图像数据生成部3在给定定时生成的帧图像F的实时取景显示用的图像数据(例如,亮度信号Y的数据等)。缩小图像生成部5b根据帧图像F的图像数据生成缩小图像数据R。即,缩小图像生成部5b作为图像缩小单元,将由图像取得部5a逐次取得的各帧图像F以给定比例依次缩小从而依次生成缩小图像。具体而言,缩小图像生成部5b基于各帧图像F的图像数据,通过每次以给定比例(例如,0.9倍)缩小该图像数据的水平(x轴)以及垂直(y轴)的各方向的像素,从而依次生成阶段性地降低了分辨率的缩小图像数据R(参照图4A~图4F)。另外,缩小图像数据R的生成数(缩小次数),可以考虑所输入的亮度数据的尺寸、特定被摄体图像的图像区域D(参照图7C)的识别精度等来适当地任意进行变更。类似评价值算出部5c计算与帧图像F的特定被摄体图像的候补区域A的图像与给定基准图像的类似度相关的评价值。即,类似评价值算出部5c对于各个由图像取得部5a逐次取得的各帧图像F的图像数据、由缩小图像生成部5b生成的缩小图像数据R,实施例如脸部检测处理、边缘检测处理、特征提取处理等各种图像处理,提取多个特定被摄体图像的候补区域A(与图7C中的检测框Wb对应的区域)。而且,类似评价值算出部5c例如计算涉及各候补区域A的图像数据与给定基准图像的图像数据的类似度的评价值。具体而言,类似评价值算出部5c具备临时候补检测部c1和候补区域确定部c2。临时候补检测部c1作为检测单元,从由缩小图像生成部5b依次生成的多个缩小图像数据R、……的每一个检测特定被摄体图像的临时候补区域。即,临时候补检测部c1例如根据将一个帧图像Fn的分辨率进行了给定阶段降低后的缩小图像数据R,生成多个给定尺寸(例如,24×24像素)的识别对象区域C(参照图5)。然后,临时候补检测部c1例如使用adaboost(アダブ一スト)输出计算,计算涉及各识别对象区域C的图像数据与给定基准图像的图像数据的类似度的评价值。具体而言,临时候补检测部c1具备用于计算识别对象区域C与给定基准图像的类似度来判断是否是脸部的多个子识别器。这些子识别器例如按照脸部的朝向(角度)(例如,正脸、左右侧脸等)来进行设置。此外,分为多个(例如,20个)阶段来规定这些子识别器。例如,子识别器部按照在第1阶段规定2个、在第2阶段规定5个、在第3阶段规定10个、在第4阶段规定20个这样的方式,在各阶段规定给定个数的子识别器。另外,也可以越是在较低的(数值小的)阶段所规定的子识别器,将是否是脸部的判断的可靠性设定得越高。然后,临时候补检测部c1按照阶段顺序,将识别对象区域C的图像数据输入到各阶段的子识别器。临时候补检测部c1将由一个阶段的全部子识别器判断为是脸部的图像数据(图6中的“T”)输入到下一阶段的子识别器,另一方面,中止被判断为不是脸部的图像数据(图6中的“F”)的之后的识别。临时候补检测部c1对于各识别对象区域C,按照子识别器的识别结果来计算评价值。具体而言,临时候补检测部c1对于各识别对象区域C,在由规定多个子识别器的多个阶段中的各阶段中所规定的全部子识别器判断为是脸部的情况下,通过该阶段转送到下一阶段。之后,临时候补检测部c1计算将在所通过的全部阶段中所规定的子识别器的个数相加所得的值作为评价值。另一方面,在阶段的通过数为“0”的情况下(未能通过第1阶段,没有转送到第2阶段的情况下),临时候补检测部c1计算例如负值等给定最低值作为评价值。然后,临时候补检测部c1检测评价值大于给定值(例如,0“零”)的识别对象区域C、或包含该识别对象区域C的给定范围的区域,作为特定被摄体图像的临时候补区域(与图7A中的各临时检测框Wa对应的区域)。例如,如图6所示,临时候补检测部c1以给定顺序向第1阶段的2个子识别器输入识别对象区域C的图像数据,并且将由这2个子识别器的双方判断为是脸部的识别对象区域C的图像数据输入到下一阶段即第2阶段的子识别器。另一方面,到第1阶段的第2个子识别器为止,由临时候补检测部c1判断为所算出的类似度小于预先设定的阈值时,临时候补检测部c1中止该图像数据的之后的识别,算出给定的负值作为评价值。具体而言,例如,第1阶段的子识别器对蓝天、无图案的背景部分这样的亮度变化较少的图像区域进行判断,在由该第1阶段判断为是蓝天、无图案的背景部分这样的亮度变化较少的图像区域时,中止之后的是否是脸部的识别。此外,临时候补检测部c1对于由第1阶段判断为是脸部的识别对象区域C的图像数据,与第1阶段同样地,以给定顺序输入到第2阶段的5个子识别器,并且将由第1个子识别器至第5个子识别器判断为所算出的类似度为预先设定的阈值以上的图像数据输入到下一阶段即第3阶段的子识别器。另一方面,在由第2阶段的第1个子识别器至第5个子识别器判断为由临时候补检测部c1算出的类似度小于预先设定的阈值时,临时候补检测部c1中止该图像数据的之后的识别,算出已经通过的前一个阶段(第1阶段)为止的子识别器的总数(在仅通过了第1阶段的情况下,是“2”)作为评价值。临时候补检测部c1对于第3阶段以后也与上述同样地计算类似度。也就是说,越是判断为是脸部的可能性较高的图像区域,越被输入到之后的阶段的子识别器。另外,类似评价值算出部5c执行的类似度的计算方法仅是一例,并不限定于此,可以适当地进行任意变更。例如,可以按照脸部的朝向,使涉及评价值的计算的子识别器的个数等不同(例如,正脸的评价值变高,脸部朝向左右或者朝下的情况下,评价值变低等)。此外,给定基准图像的图像数据例如是存储在图像处理部5的临时存储单元(省略图示)中的信息,是针对识别对象区域C用于判断是否是特定被摄体的各种识别用信息。识别用信息例如是针对输入到神经网络、adaboost、支持向量机等的给定子识别器的识别对象区域C,用于判断是否是特定被摄体图像(例如,脸部等)的各种信息。另外,作为识别用信息,例如可以是:以“人的脸部”、“动物”等的形状为基准的信息;是否是明亮度或彩度高且鲜艳的(艳丽的)色彩、是否是肤色等的以色调为基准的信息;或者相对于全视角的图像的比例(例如,是否是一半以上)等的以大小为基准的信息等。此外,脸部检测处理、边缘检测处理、特征提取处理是公知技术,所以这里省略详细说明。候补区域确定部c2作为候补确定单元,基于由临时候补检测部c1在各帧图像F的大致相等的位置从多个缩小图像数据R、……检测出的特定被摄体图像的临时候补区域,确定该帧图像F中的特定被摄体图像的候补区域A。即,候补区域确定部c2在从各帧图像F的多个缩小图像数据R、……检测出了特定被摄体图像的临时候补区域的情况下,基于所检测出的给定数量的特定被摄体图像的临时候补区域在XY平面空间中的坐标位置、大小(构成像素数)等,综合这些临时候补区域来确定各帧图像F中的特定被摄体图像的候补区域A(与图7C中的检测框Wb对应的区域)。具体而言,候补区域确定部c2将在XY平面空间的大致相等的位置(例如,在使多个缩小图像的垂直以及水平的各方向的尺寸一致的状态下,中心坐标的偏移量在给定像素数以内等)从多个缩小图像数据R、……所检测出的多个临时候补区域的大小作为基准来进行给定运算(例如,加权平均等),来确定代表该多个临时候补区域的大小的特定被摄体图像的候补区域A的大小。此外,候补区域确定部c2将用于综合的多个临时候补区域的评价值作为基准来进行给定运算,来计算代表该多个临时候补区域的评价值的特定被摄体图像的候补区域A的评价值。此外,候补区域确定部c2将用于综合的多个临时候补区域的坐标位置作为基准来进行给定运算,确定代表该多个临时候补区域的位置的特定被摄体图像的候补区域A的位置(例如,中心坐标等)。另外,由候补区域确定部c2所确定的特定被摄体图像的候补区域A的评价值、位置、大小等,作为类似程度信息存储在存储器4的关联信息存储部4a中。此外,候补区域确定部c2基于多个临时候补区域的评价值计算出了该特定被摄体图像的候补区域A的评价值,但是例如,也可以使用adaboost(アダブ一スト)输出计算来算出涉及代表XY平面空间的大致相等的位置的多个临时候补区域的特定被摄体图像的候补区域A的图像数据与给定基准图像的图像数据的类似度的评价值。此外,候补区域确定部c2也可以不基于由临时候补检测部c1检测出的多个临时候补区域来确定特定被摄体图像的候补区域A,而根据由图像取得部5a取得的各帧图像F来直接确定特定被摄体图像的候补区域A。第1类似度判断部5d判断一个帧图像Fn中的特定被摄体图像的候补区域A的评价值是否是第1阈值以上。即,第1类似度判断部5d作为第1类似度判断单元,判断涉及由图像取得部5a取得的一个帧图像Fn中的特定被摄体图像的候补区域A的图像与作为该特定被摄体图像的判断基准的给定基准图像的类似度的评价值是否是第1阈值以上。具体而言,第1类似度判断部5d判断由类似评价值算出部5c计算出的一个帧图像Fn的特定被摄体图像的候补区域A的各个评价值是否是第1阈值以上。另外,第1阈值、后述的第2阈值例如可以是基于用户对操作输入部10的给定操作而输入的给定值,也可以是预先作为默认值而设定的给定值等。第2类似度判断部5e判断一个帧图像Fn中的特定被摄体图像的候补区域A的评价值是否是小于第1阈值的第2阈值以上。即,第2类似度判断部5e作为第2类似度判断单元,在由第1类似度判断部5d判断为特定被摄体图像的候补区域A的评价值小于第1阈值的情况下,判断该评价值是否是小于第1阈值的第2阈值以上。关联信息取得部5f取得与其他帧图像Fm中的区域B的图像与给定基准图像的类似程度相关联的类似程度信息。即,关联信息取得部5f作为信息取得单元,在由第2类似度判断部5e判断为特定被摄体图像的候补区域A的图像的评价值为第2阈值以上的情况下,取得与比一个帧图像Fn早给定帧数而取得的其他帧图像Fm中的与该特定被摄体图像的候补区域A对应的区域B的图像与给定基准图像的类似程度相关联的类似程度信息。具体而言,关联信息取得部5f在比一个帧图像Fn早给定帧数(例如,一帧等)所生成的其他帧图像Fm内,确定具有与由第2类似度判断部5e判断为评价值为第2阈值以上的特定被摄体图像的候补区域A的坐标对应的坐标的区域(区域B)(参照图7B)。然后,关联信息取得部5f从存储器4的关联信息存储部4a取得所确定的区域B的类似程度信息。例如,关联信息取得部5f从关联信息存储部4a取得涉及区域B的图像数据与给定基准图像的图像数据的类似度的评价值、用于确定与该区域B对应的特定被摄体图像的候补区域A的临时候补区域的个数等,作为类似程度信息。另外,其他帧图像Fm既可以是1帧,也可以是多帧。例如,在多帧的情况下,关联信息取得部取得1帧前的帧图像F中的区域B的类似程度信息,在后述的被摄体判断部5g执行的判断的结果是判断为特定被摄体图像的候补区域A不应该被确定为特定被摄体图像的图像区域D的情况下,可以依次将前1帧的帧图像F作为处理对象,以取得2帧前的帧图像F中的区域B的类似程度信息。或者,关联信息取得部也可以将给定数的帧图像F作为处理对象,取得各帧图像F中的区域B的类似程度信息,通过后述的被摄体判断部5g进行判断。被摄体判断部5g判断一个帧图像Fn中的特定被摄体图像的候补区域A是否应该被确定为特定被摄体图像的图像区域D。即,被摄体判断部5g作为被摄体判断单元,基于由关联信息取得部5f取得的类似程度信息,判断候补区域A是否应该被确定为特定被摄体图像的图像区域D。具体而言,被摄体判断部5g判断作为由关联信息取得部5f取得的类似程度信息的区域B的评价值是否是给定判断值(例如,至少大于第2阈值的给定值等)以上。此外,被摄体判断部5g判断作为由关联信息取得部5f取得的类似程度信息的临时候补区域的个数是否是给定判断值(例如,2个)以上。这里,作为给定判断值的示例,示出了2个,但是也可以根据用于脸部检测的识别器的个数、阈值等条件,将给定判断值变更为任意的值。然后,在判断为区域B的评价值为给定判断值以上、并且判断为临时候补区域的个数为给定判断值以上的情况下,被摄体判断部5g判断为一个帧图像Fn中的与区域B对应的特定被摄体图像的候补区域A应该被确定为特定被摄体图像的图像区域D。另外,在判断为区域B的评价值以及临时候补区域的个数中的任意一方为给定判断值以上的情况下,被摄体判断部5g也可以判断为一个帧图像Fn中的与区域B对应的特定被摄体图像的候补区域A应该被确定为特定被摄体图像的图像区域D。图像区域确定部5h在一个帧图像Fn内确定特定被摄体图像的图像区域D。即,图像区域确定部5h将由第1类似度判断部5d判断为评价值为第1阈值以上的特定被摄体图像的候补区域A(例如,候补区域A1~A4等)确定为特定被摄体图像的图像区域D(参照图7A以及图7C)。此外,图像区域确定部5h将与由被摄体判断部5g判断为评价值为给定判断值以上的区域B对应的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D。此外,图像区域确定部5h将与由被摄体判断部5g判断为特定被摄体图像的临时候补区域的个数为给定判断值以上的区域B对应的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D。例如,图像区域确定部5h将与由被摄体判断部5g判断为评价值为给定判断值以上、并且特定被摄体图像的临时候补区域的个数为给定判断值以上的区域B对应的特定被摄体图像的候补区域A(例如,候补区域A5等)确定为特定被摄体图像的图像区域D(参照图7B以及图7C)。另外,图像区域确定部5h执行的特定被摄体图像的图像区域D的确定方法是一例,并不限定于此,可以适当进行任意变更。例如,图像区域确定部5h可以将与由被摄体判断部5g判断为评价值为给定判断值以上的区域B对应的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D。此外,图像区域确定部5h可以将与由被摄体判断部5g判断为特定被摄体图像的临时候补区域的个数为给定判断值以上的区域B对应的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D。识别信息设定部6设定用于识别显示特定被摄体图像的识别信息。即,识别信息设定部6在由图像区域确定部5h确定了特定被摄体图像的图像区域D时,设定与特定被摄体图像的图像区域D的边缘部重叠显示于显示部9的检测框Wb,作为对该特定被摄体图像进行识别显示的识别信息。另外,作为特定被摄体图像的识别信息,例示了与该特定被摄体图像的图像区域D的边缘部重叠显示的检测框Wb,但是这仅是一例,并不限定于此,只要是给定识别标识等对该特定被摄体图像进行识别显示的标识,可以适当进行任意变更。记录介质控制部7构成为可以自由装卸记录介质M,控制来自被安装的记录介质M的数据读出、以及对记录介质M的数据写入。即,记录介质控制部7使记录介质M记录由图像处理部5的编码部(省略图示)以给定压缩形式(例如,JPEG形式等)进行了编码的记录用图像数据。另外,记录介质M例如由非易失性存储器(闪速存储器)等构成,但这仅是一例,并不限定于此,可以适当进行任意变更。显示控制部8进行读出临时存储在存储器4中的显示用图像数据并且使其显示在显示部9的控制。具体而言,显示控制部8具备VRAM(VideoRandomAccessMemory,视频随机存取存储器)、VRAM控制器、数字视频编码器等。而且,数字视频编码器通过VRAM控制器从VRAM定期地读出在中央控制部11的控制下从存储器4读出并且存储在VRAM(省略图示)中的亮度信号Y以及色差信号Cb、Cr,并且根据这些数据产生视频信号输出到显示部9。显示部9例如是液晶显示面板。显示部9基于来自显示控制部8的视频信号,在显示画面显示由电子摄像部1b拍摄的图像等。具体而言,显示部9以给定显示帧速率逐次更新在静止图像摄像模式或动态图像摄像模式下由摄像部1以及摄像控制部2拍摄并且由图像数据生成部3生成的多个帧图像F、……,并同时显示实时取景图像。此外,显示部9作为静止图像显示被记录的图像的记录浏览(RECview)图像,或者作为动态图像显示记录中的图像。操作输入部10用于进行该摄像装置100的给定操作。具体而言,操作输入部10具备用于输入被摄体的摄像指示的快门按钮、用于输入摄像模式或功能等的选择指示的选择决定用按钮、用于输入变焦量的调整指示的变焦按钮(都省略图示)等,按照用户对这些按钮的操作,向中央控制部11输出给定操作信号。中央控制部11用于控制摄像装置100的各部。具体而言,虽然省略图示,但是中央控制部11具备CPU(CentralProcessingUnit,中央处理器)、RAM(RandomAccessMemory,随机存取存储器)、ROM(ReadOnlyMemory,只读存储器)等,按照摄像装置100用的各种处理程序(省略图示)进行各种控制动作。接下来,参照图2~图7来说明摄像装置100执行的被摄体检测处理。图2是表示被摄体检测处理所涉及的动作的一例的流程图。此外,图3是示意性表示被摄体检测处理所涉及的图像的一例的图。图4是示意性表示帧图像F的缩小图像的图。图5是示意性表示帧图像F所涉及的识别对象区域C的一例的图。图6是示意性表示被摄体检测处理所涉及的类似评价值算出部5c的子识别器的构成的一例的图。图7A~图7C是示意性表示被摄体检测处理所涉及的特定被摄体图像(脸部图像)的一例的图。另外,以下说明的被摄体检测处理是在基于用户对操作输入部10的给定操作而设定了被摄体检测模式的情况下,在中央控制部11的控制下所执行的处理。此外,在以下的说明中,使用在帧图像F内包含作为特定被摄体图像的脸部图像的帧图像F。如图2所示,首先,中央控制部11将通过摄像部1执行的被摄体的摄像而由图像数据生成部3逐次生成的帧图像F的实时取景显示用的图像数据逐次存储到存储器4中来进行临时存储(步骤S1)。接下来,图像处理部5的图像取得部5a以与显示部9的显示帧速率相应的给定定时,从存储器4取得成为处理对象的一个帧图像Fn的实时取景显示用的图像数据(步骤S2)。接下来,缩小图像生成部5b通过将由图像取得部5a取得的一个帧图像Fn的图像数据的水平以及垂直的各方向的像素每次以给定比例(例如,0.9倍)进行缩小,从而依次生成阶段性地降低了分辨率的缩小图像数据R(R1~R5、……)(步骤S3;参照图4A~图4(f))。接下来,类似评价值算出部5c的临时候补检测部c1根据多个缩小图像数据R、……的每一个生成了多个给定尺寸(例如,24×24像素)的识别对象区域C后(步骤S4),计算涉及各识别对象区域C的图像数据与给定基准图像的图像数据的类似度的评价值(步骤S5)。具体而言,临时候补检测部c1例如使用adaboost输出计算,按照针对各识别对象区域C的图像数据的子识别器的识别结果,来计算评价值(参照图5以及图6)。然后,临时候补检测部c1检测所算出的评价值大于给定值(例如,0“零”)的识别对象区域C作为特定被摄体图像的临时候补区域(步骤S6)。这里,如图7A所示,示意性地示出在各缩小图像数据R内对所识别出的多个特定被摄体图像的临时候补区域(例如,脸部区域)的每一个重叠了临时检测框Wa的状态。例如,在集体照中处于前侧的人等相对于图像整体具有较大的面积的脸部、或者朝向正面的人,在依次生成了缩小图像数据R的情况下,即使在比较小的缩小图像数据R内也能够识别脸部区域。即,相对于图像整体具有较大的面积的脸部、或者朝向正面的人,与具有较小的面积的脸部、或者朝向侧面的人相比,相对容易识别脸部区域,成为重叠了更多的临时检测框Wa的状态。另外,作为临时候补区域而检测出的各识别对象区域C的评价值临时存储在存储器4的关联信息存储部4a中。接下来,类似评价值算出部5c的候补区域确定部c2基于从各帧图像F的多个缩小图像数据R、……检测出的特定被摄体图像的临时候补区域在XY平面空间中的坐标位置、大小等,综合这些临时候补区域来确定各帧图像F中的特定被摄体图像的候补区域A(步骤S7;参照图7A)。接下来,候补区域确定部c2以多个临时候补区域的评价值为基准来进行给定运算,从而计算特定被摄体图像的候补区域A的评价值(步骤S8)。另外,所算出的特定被摄体图像的候补区域A的评价值临时存储在存储器4的关联信息存储部4a中。然后,第1类似度判断部5d判断由类似评价值算出部5c算出的一个帧图像Fn中的特定被摄体图像的候补区域A的评价值是否是第1阈值以上(步骤S9)。这里,若判断为特定被摄体图像的候补区域A的评价值为第1阈值以上(步骤S9;是),则图像区域确定部5h将该特定被摄体图像的候补区域A(例如,候补区域A1~A4等)确定为特定被摄体图像的图像区域D(步骤S10;参照图7A以及图7C)。另一方面,在步骤S9中,若判断为特定被摄体图像的候补区域A(例如,候补区域A5等)的评价值小于第1阈值(步骤S9;否),则第2类似度判断部5e判断该特定被摄体图像的候补区域A的评价值是否是第2阈值以上(步骤S11)。这里,若判断为特定被摄体图像的候补区域A的评价值为第2阈值以上(步骤S11;是),则关联信息取得部5f在比一个帧图像Fn早给定帧数(例如,一帧等)生成的其他帧图像Fm内,确定与判断为评价值为第2阈值以上的特定被摄体图像的候补区域A对应的区域B(步骤S12;参照图7B),并且从存储器4的关联信息存储部4a取得该区域B的类似程度信息(步骤S13)。具体而言,关联信息取得部5f从关联信息存储部4a取得区域B的评价值、用于确定与该区域B对应的被摄体图像的候补区域A的临时候补区域的个数等,作为类似程度信息。然后,被摄体判断部5g判断由关联信息取得部5f取得的作为类似程度信息的区域B的评价值是否是给定判断值以上、以及由关联信息取得部5f取得的作为类似程度信息的临时候补区域的个数是否是给定判断值以上(步骤S14)。这里,若判断为区域B的评价值为给定判断值以上、并且临时候补区域的个数为给定判断值以上(步骤S14;是),则图像区域确定部5h将与该区域B对应的特定被摄体图像的候补区域A、即评价值为第2阈值以上的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D(步骤S15;参照图7C)。然后,在步骤S10以及步骤S15之后,识别信息设定部6与在一个帧图像Fn中由图像区域确定部5h确定的特定被摄体图像的图像区域D的边缘部重叠地设定检测框Wb,并且显示控制部8使显示部9实时取景显示该一个帧图像Fn。之后,中央控制部11判断是否输入了被摄体检测处理的结束指示(步骤S16)。具体而言,中央控制部11例如按照是否基于用户对操作输入部10的快门按钮的给定操作(例如,完全按下操作等)输入了被摄体的摄像指示、或者是否基于选择决定按钮的给定操作设定了与被摄体检测模式不同的模式等,来判断是否输入了被摄体检测处理的结束指示。此外,在步骤S11中判断为特定被摄体图像的候补区域A的评价值小于第2阈值(步骤S11;否),或者在步骤S14中判断为区域B的评价值小于给定判断值、或者判断为临时候补区域的个数小于给定判断值的情况下(步骤S14;否),中央控制部11也使处理转移到步骤S16,判断是否输入了被摄体检测处理的结束指示(步骤S16)。若在步骤S16中判断为没有输入被摄体检测处理的结束指示(步骤S16;否),则中央控制部11使处理转移到步骤S2,图像取得部5a从存储器4取得成为处理对象的新的一个帧图像的实时取景显示用的图像数据(步骤S2)。之后,中央控制部11与上述同样地执行步骤S3以后的各处理。另一方面,若判断为输入了被摄体检测处理的结束指示(步骤S16;是),则中央控制部11结束被摄体检测处理。如上所述,根据本实施方式的摄像装置100,若判断为所取得的一个帧图像Fn(例如,从摄像图像生成的实时取景显示用的图像等)中的特定被摄体图像(例如,脸部图像等)的候补区域A的图像与成为该特定被摄体图像的判断基准的给定基准图像的评价值(类似度)为第1阈值以上,则将该特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D,所以能够设定比较严格的第1阈值来判断一个帧图像Fn中特定被摄体图像的候补区域A是否是特定被摄体图像的图像区域D,能够降低该特定被摄体的误检测。另一方面,在判断为特定被摄体图像的候补区域A的评价值小于第1阈值的情况下,判断该评价值是否是小于第1阈值的第2阈值以上,若判断为特定被摄体图像的候补区域A的评价值为第2阈值以上,则取得与比一个帧图像Fn早给定帧数所取得的其他帧图像Fm中的与该特定被摄体图像的候补区域A对应的区域B的图像与给定基准图像的类似程度相关联的类似程度信息。然后,基于所取得的类似程度信息,判断一个帧图像Fn中的与区域B对应的特定被摄体图像的候补区域A是否应该被确定为特定被摄体图像的图像区域D,所以若特定被摄体图像的候补区域A的评价值虽然小于第1阈值但是为第2阈值以上,则基于其他帧图像Fm中的与该特定被摄体图像的候补区域A对应的区域B的类似程度信息,能够确定是否是特定被摄体图像,能够抑制特定被摄体的检测率的降低。如此,通过设定比较严格的第1阈值,即使使用该阈值所检测的特定被摄体的检测率降低,若特定被摄体图像的候补区域A的评价值为第2阈值以上,则也存在确定为特定被摄体图像的图像区域D的可能性,所以不会使特定被摄体的检测率降低,能够实现该特定被摄体的误检测的降低。此外,图像区域确定部5h在判断为区域B的图像与给定基准图像的评价值为给定判断值以上的情况下,将与该区域B对应的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D。因此,图像区域确定部5h能够将与其他帧图像Fm中的评价值为给定判断值以上的区域B对应的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D,能够适当地抑制特定被摄体的检测率的降低。此外,图像区域确定部5h在判断为与区域B对应并且在大致相等的位置处从多个缩小图像检测出的特定被摄体图像的临时候补区域的个数为给定判断值以上的情况下,将与该区域B对应的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D。因此,图像区域确定部5h能够将与其他帧图像Fm中的特定被摄体图像的临时候补区域的个数为给定判断值以上的区域B对应的特定被摄体图像的候补区域A确定为特定被摄体图像的图像区域D,能够适当地抑制特定被摄体的检测率的降低。此外,因为基于在大致相等的位置处从多个缩小图像数据R、……检测出的特定被摄体图像的临时候补区域,来确定该帧图像F中的特定被摄体图像的候补区域A,所以通过增减所生成的缩小图像数据R的数量,能够调整所识别的临时候补区域的数量的增减,能够实现图像内的特定被摄体图像的候补区域A的识别精度的变更、特定被摄体图像的图像区域D的检测处理所涉及的时间的高速化等。另外,本发明不限定于上述实施方式,在不脱离本发明的主旨的范围内,可以进行各种改良以及设计变更。例如,在被摄体检测处理(参照图2)中,作为帧图像F内的特定被摄体图像对人的脸部图像进行了检测,但是这仅是一例,并不限定于此,能够适当任意地改变特定被摄体图像。此外,在上述实施方式中,作为类似程度信息,例示了涉及区域B的图像与给定基准图像的类似度的评价值、在大致相等的位置处从多个缩小图像检测出的特定被摄体图像的临时候补区域的个数等,但是仅是一例,并不限定于此,可以适当地进行任意变更。进而,在上述实施方式中,具备识别信息设定部6,设定了用于识别显示被确定的特定被摄体图像的图像区域D的识别信息(例如,检测框Wb等),但是是否具备识别信息设定部6,即,是否设定用于识别显示由图像区域确定部5h所确定的特定被摄体图像的识别信息,可以适当进行任意变更。此外,上述实施方式中所例示的摄像装置100的结构仅是一例,并不限定于此。例如,作为被摄体确定装置,例示了摄像装置100,但是并不限定于此。即,作为成为处理对象的帧图像F,例示了从摄像图像生成的图像,但是在由与摄像装置100不同的装置构成被摄体确定装置的情况下,只要是由给定取得单元逐次取得的帧图像F即可。此外,具备了类似评价值算出部5c,但是不是必须具备该类似评价值算出部5c,例如,给定取得单元也可以与帧图像F一起取得特定被摄体图像的各候补区域的评价值。另外,在上述实施方式中,构成为通过在中央控制部11的控制下,由图像处理部5的图像取得部5a、第1类似度判断部5d、图像区域确定部5h、第2类似度判断部5e、关联信息取得部5f、被摄体判断部5g进行驱动,来实现作为取得单元、第1类似度判断单元、被摄体确定单元、第2类似度判断单元、信息取得单元、被摄体判断单元的功能,但是,并不限定于此,也可以构成为通过由中央控制部11的CPU执行给定程序等来实现。即,在存储程序的程序存储器(省略图示)中预先存储包含取得处理例程(routine)、第1类似度判断处理例程、被摄体确定处理例程、第2类似度判断处理例程、信息取得处理例程、被摄体判断处理例程在内的程序。而且,可以通过取得处理例程使中央控制部11的CPU作为逐次取得帧图像F的取得单元发挥功能。此外,可以通过第1类似度判断处理例程使中央控制部11的CPU作为判断由取得单元取得的一个帧图像Fn中的特定被摄体图像的候补区域A的图像与给定基准图像的类似度是否是第1阈值以上的第1类似度判断单元发挥功能。此外,可以通过被摄体确定处理例程使中央控制部11的CPU作为将由第1类似度判断单元判断为类似度为第1阈值以上的候补区域A确定为特定被摄体图像的图像区域D的被摄体确定单元发挥功能。此外,可以通过第2类似度判断处理例程使中央控制部11的CPU作为在由第1类似度判断单元判断为类似度小于第1阈值的情况下判断该类似度是否是小于第1阈值的第2阈值以上的第2类似度判断单元发挥功能。此外,可以通过信息取得处理例程使中央控制部11的CPU作为信息取得单元发挥功能,其中信息取得单元在由第2类似度判断单元判断为候补区域A的类似度为第2阈值以上的情况下,取得与比一个帧图像Fn早给定帧数所取得的其他帧图像Fm中的与候补区域A对应的区域B的图像与给定基准图像的类似程度相关联的信息。此外,可以通过被摄体判断处理例程使中央控制部11的CPU作为基于由信息取得单元取得的信息来判断候补区域A是否是特定被摄体图像的图像区域D的被摄体判断单元发挥功能。同样,对于第1存储控制单元、图像缩小单元、检测单元、第2存储控制单元、候补确定单元,也可以构成为通过由中央控制部11的CPU执行给定程序等来实现。进而,作为存储了用于执行上述各处理的程序的计算机可读取的介质,除了ROM、硬盘等之外,也可以应用闪速存储器等非易失性存储器、CD-ROM等可移动型记录介质。此外,作为通过给定通信线路提供程序的数据的介质,还可以应用载波(carrierwave)。说明了本发明的几个实施方式,但是本发明的范围不限定于上述实施方式,包括权利要求书中记载的发明的范围及其均等的范围。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1