专利名称：成像设备、成像方法及程序的制作方法
技术领域：
本发明涉及一种识别被摄对象(subject)并在被摄对象的运动的基础上控制成像操作的成像设备、成像方法及其程序。
背景技术：
例如数码照相机或数字摄像机等具有自 动快门功能的成像设备已经流行甚广。自动快门功能是在任意时刻自动地或在完全按下快门后的预定时间内拍摄被摄对象。在现有的自动拍摄中，会产生一个问题，S卩如果用户在设置照相机并按下快门后拍摄自己时，在用户准备好被拍摄前可能就完成了拍摄，或者在用户准备好被拍摄后他或她不得不等待快门发出咔哒声。此外，提出了一种能够通过遥控器来释放快门的成像设备。然而，用户可能忘记带遥控器或觉得一直带着遥控器麻烦。鉴于以上问题，例如日本专利申请JP特开2010-74735公开了一种成像装置，该成像装置具有根据被摄对象眨眼睛的自动快门控制功能。当捕捉多个被摄对象或脸部时这种成像装置设置优先权顺序，由此来识别具有高优先权的被摄对象脸部的运动，或者根据具有高优先级的被摄对象的眼睛睁开和闭合的组合输出控制信号。然而，上述技术面临的问题是，当被摄对象位于远离成像装置的位置时，难于识别一部分小脸的运动。例如，通常，会通过广角变焦在相对远的距离拍摄一组照片，并且所捕获的各个脸部的尺寸趋小。在这种拍摄条件下，即使脸部被精确检测，也难于精确识别例如眨眼等脸部变化，从而使得自动拍摄控制无法实现。为了精确识别一部分脸部的运动，被摄对象需要靠近成像装置或者他们的脸部需要通过远距离照相连续变焦(telephoto zooming)以特定或更大的尺寸成像。此外，日本专利申请JP特开2011-78009公开了一种用于从图像中检测被摄对象的脸部或手势的成像装置。这种成像装置从图像数据中检测面部图像并检测关联于面部图像的手部图像以根据检测到的手部图像的形状或运动来控制成像操作。然而，不利的是，成像装置需要大量的信息作为身体部分的位置的数据、颜色数据、尺寸数据和质地数据来精确地识别被摄对象的手势。并且，在设备上花费大量的时间和负荷以处理大量的数据。此外，由于手势的方式、皮肤颜色以及身体部分的形状和尺寸依据个体而不同，因此即使大量的数据也可能不足以精确地识别某个人的手势。
发明内容
本发明的目的是提供一种成像设备、成像方法及程序，该成像设备、成像方法及程序能够基于从图像中检测到的被摄对象的脸部区域、被摄对象的旋转运动的中心坐标以及旋转角来以高速稳定地、精确地识别被摄对象的姿势，并基于检测到的手势控制拍摄操作。根据本发明的一个方面，提供一种成像设备，包括图像输入部，用于以预定时间间隔顺序地输入图像数据；脸部检测器，用于从图像数据中检测被摄对象的脸部区域;旋转运动检测器，用于检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及控制部，用于当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作，其中所述旋转运动检测器还用于检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及基于由所述脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动。
根据下面的详细描述并参考附图，本发明的特征、实施例和优点将变得明显图IA至IC分别是作为本发明第一实施例的成像设备的示例的数字照相机的俯视图、如视图和后视图；图2是图I中的成像设备的功能框图； 图3是成像设备的自动拍摄控制的框图；图4是自动拍摄处理的流程图；图5是以时间序列输入的图像数据帧的示例；图6是旋转运动检测的流程图；图7A示出在手臂移动前图像数据帧的示例，图7B示出手臂移动后图像数据帧的示例；图8不出运动向量查找区域和运动向量；图9A示出在手臂移动前被分成块的图像数据帧的示例，图9B示出手臂移动后被分成块的图像数据帧的示例；图10示出如何计算旋转中心坐标和旋转角；以及图11是示出通过支持向量机(SVM)辨识的手臂姿势的图。
具体实施例方式在下文中，将参考附图详细描述本发明的一个实施例。只要有可能，在整个附图中将使用相同的附图标记代表相同或相似的部件。成像设备包括图像输入部101，该图像输入部以预定的时间间隔顺序地输入图像数据Fa ;脸部检测器102，用于从图像数据中检测被摄对象40的脸部区域50 ;旋转运动检测器103，用于检测以预定时间间隔输入的图像数据的两个帧Fb、Fc之间的旋转运动；以及作为快门控制部105的控制器，用于当旋转控制器检测到旋转运动时控制成像设备来执行预定操作，其中旋转运动检测器用于检测旋转运动的至少一个候选作为图像数据的两帧之间的运动向量，并计算所述至少一个候选的旋转中心的坐标和旋转角，并计算至少一个候选的旋转中心0’的坐标和旋转角e，并且基于脸部检测器检测到的脸部区域的中心坐标O、旋转中心的坐标和旋转角来确定该至少一个候选是否是旋转运动。本实施例描述了作为成像设备的示例的数字照相机。该成像设备不限于数字照相机，可以是任何具有自动拍摄功能的成像设备。图IA至IC分别是作为本发明第一实施例的成像设备的示例的数字照相机的俯视图、前视图和后视图。在图IA中，数字照相机包括位于其顶部的辅助IXD I、快门按钮SW I和模式转盘SW 2。在图IB中，其包括位于前面的闪光灯部3、测距部5和遥控光接收部6、镜头单元7以及光学取景器11。在照相机体侧面设有在其中插入作为SD卡的存储卡34的存储卡节气门(memory card throttle) 23。在图IC中，数字照相机包括位于后面的自动聚焦发光二极管(LED)8、闪光灯LED9、IXD 10、光学取景器11、可伸缩变焦开关SW 4、电压开关SW 13、广角变焦开关SW 3、自动定时器设置/复位开关15SW 6、菜单开关SW 5、0K开关SW 12、朝左/图像检查开关SW 11、朝下/微距开关SW 10、朝上/闪光开关SW 7、朝右开关SW 8以及显示开关SW 9。图2是图I中的数字照相机的控制系统的功能框图。它包括作为固态图像传感器的CXD 121、将来自CXD 121的电信号转换为数字信号的前端IC 120、处理来自前端IC 120的数字信号的信号处理器IC 110、临时存储数据的SDRAM 33、存储控制程序的ROM 30以及马达驱动器32。
镜头单元7包括变焦镜头、聚焦镜头和机械快门，由马达驱动器32驱动镜头单元7，马达驱动器32由包括在信号处理器IC 110中的CPU 111控制。上面布置了具有RGB滤波器的像素的CXD 121将光学图像进行光电地转换并输出模拟RGB图像信号。前端(F/E)IC 120包括从CXD 21采样模拟图像数据的相关性双精度采样(⑶S) 122、调整所采样的被成像的数据的增益的自动增益控制器(AGC) 123、模拟-数字(A/D)转换器124及时序产生器(TG)，对时序产生器(TG)提供来自CCD I/F 112的垂直同步信号和水平同步信号来产生用于CCD 121和前端IC 120的驱动时序信号。未示出的时钟产生器为信号产生器IC 110、时序产生器125等的系统时钟提供时钟。时序产生器125对信号处理器IC 110中的CXD I/F 112提供时钟用于像素同步。从前端IC 120输入到信号处理器IC 110的数字信号作为RGB数据(RAW-RGB)被存储器控制部115临时存储在SDRAM 33中。信号处理器IC 110包括CPU IlUCXD I/F 112、尺寸调整单元113、存储器控制部115、显示输出控制部116、压缩部/解压缩部117、介质I/F118以及YUV转换部119。CXD I/F 112将VD和HD同步信号输出给CXD 110并按照同步信号从AD转换器124捕获数字RGB信号，以通过存储器控制部115将RGB数据写到SDRAM 33中。显示输出控制部116将显示数据从SDRAM 33传送给显示单元来显示捕获的图像。它还可将显示数据传送给LCD 10或将其作为TV视频信号输出给外部设备。显示数据是指作为自然图像的YCbCr数据和显示拍摄模式图标等的屏幕视控系统(OSD)数据。上述数据均由存储器控制部115从SDRAM 33读取至数据显示输出控制部116，数据显示输出控制部116将这些数据同步为视频数据以进行输出。压缩部/解压缩部117压缩YCbCr数据以按照JPEG格式进行记录，并将JPEG数据解压缩为YCbCr数据以再现地进行输出。媒介接口(I/F) 118在CPU 111的控制下执行从存储卡34读取图像数据/将图像数据写入存储卡34。YUV转换部119基于由CPU 111设置的图像处理参数将在SDRAM 33中保存的RGB数据转换为YUV数据并将其写入SDRAM 33。
尺寸调整单元113读取YUV数据并改变它的尺寸以进行显示、记录或缩略图显示。CPU 111是整个系统的控制器。例如，在电源开关打开时，CPU 111将控制程序从ROM 30载入到SDRAM 33，以根据控制程序控制各个元件的操作。此外，CPU 111根据来自具有按键和按钮的操作单元31、远程控制或例如个人计算机等外部终端的指令控制成像操作、设置图像处理参数并控制存储器、显示器等。从操作单元31用于用户对数字照相机给出指令。根据用户的操作，预定的指令信号被输入到控制器。例如，图I中的数字照相机包括快门按钮2和例如设置光学或电子变焦的放大倍数的变焦按钮12、14的多个按钮。在检测到通过操作单元31打开电源开关SW13时，CPU 111将各个元件设置为预 定的设置。通过镜头单元7在CXD 121上产生的图像被转换为数字视频信号并输入给信号处理器ICl 10。数字视频信号然后被输入给CXD I/F 112并光电转换为模拟信号。CXD I/F112。CXD I/F 112将模拟信号进行黑平衡调整等并将其临时存储在SDRAM33中。YUV变换器119从SDRAM 33中读取RAW-RGB图像数据并将其进行伽马变换、白平衡调整、边缘增强以及YUV变换，从而产生YUV图像数据并将其写入SDRAM33。YUV图像数据由显示输出控制部116读取，由尺寸调整单元113垂直并水平地改变图像大小并输出给例如NTSC系统TV的目的地。由此，通过与VD信号同步地改变数据的大小，静态图像预览显示被使能。接下来，将描述数字照相机的预览操作和静态图像拍摄。当用户打开电源开关SW 13并通过模式转盘SW 2设置静态图像拍摄模式时，在记录模式下启动数字照相机。检测到这个后，CPUlll将控制信号输出到马达驱动器32来将镜头单元7移动到能照相的位置并激活CXD 121、F/E IC120、信号处理器IC 110、SDRAM 33、ROM 30 以及 LCD 10。由镜头单元7的光学系统捕获的被摄对象的图像被形成在CXD 121的像素上，并且对应于该图像的模拟RGB图像信号通过⑶S 122、AGC 123被输入到A/D变换器124并变换为12位RAW-RGB数据。RAW-RGB数据被捕获到信号处理器IC 110的CXD I/F 112中并通过存储控制器115存储在SDRAM 33。YUV变换器119将RAW-RGB数据变换为可显示的YUV数据并通过存储控制器115将其存储在SDRAM 33中。通过显示输出控制部116将YUV数据从SSRAM 33传送到IXD 10来显示捕获的图像(视频)。在IXD 10上预览捕获的图像期间，图像像素的数量通过CXD I/F 112变少由此在1/30秒内读取一个图像帧。在预览期间，用户可检查图像的组成等以拍摄静态图像。显示输出控制部116可将TV视频信号通过视频电缆输出到外部TV从而在TV上显示捕获的图像。信号处理器IC 110的CXD I/F 112根据RAW-RGB数据计算AF估计值、AE估计值和AWB(自动白平衡)估计值。根据例如高通滤波器的输出的整数值或相邻像素之间的亮度差的整数值来计算AF估计值。在聚焦状态，被摄对象的边缘部分由于最高频分量而特别突出。在AF操作中在每个聚焦镜头位置查找AF估计值从而将具有最大估计值的点确定为检测到的焦距位置。
根据RAW-RGB数据中的每个RGB值的整数值计算AE和AWB估计值。例如，与CCD121的所有像素相关联的图像数据被等分为256块(16x16)从而在每个块中计算RGB整数值。CPU 111读取RGB整数值来计算每个块的亮度值并从AE操作中的亮度分布中确定合适的曝光量。它设置例如电子快门数、光圈调节器的f_值、ND滤波器的打开/关闭等的曝光条件。在自动白平衡操作中，根据与被摄对象的光源的颜色一致的RGB分布来确定AffB控制值。由此，YUV变换器119根据调整的白平衡执行YUV数据变换。在预览期间，连续地执行AE和AWB操作。在预览期间快门按钮2被完全按压从而开始静态拍摄时，执行AF操作和静态图像记录。
也即，在快门按钮2被完全按压时，控制器命令马达驱动器32移动光学系统的聚焦镜头来执行所谓的爬山算法(对比度估计)AF操作。在从无限远到最近点的AF区域中，从无限远到最近点或从最近点到无限远中将聚焦镜头移动到每个焦距位置。控制器读取在每个焦距位置由CCD I/F112计算的AF估计值。焦距镜头被移动到具有最大AF估计值的位置并被设置聚焦。然后，执行AE操作。在完成曝光后，控制器命令马达驱动器32关闭机械快门和(XD121来输出模拟RGB图像信号用于静态图像。F/E 120的A/D变换器124将其变换成预览中的RAW-RGB数据。RAW-RGB数据被传送到数字处理器IC 110的CXD I/F 112，由YUV变换器119将其变换为YUV数据并通过存储控制器115存储在SDRAM中。尺寸调整单元113将YUV数据的尺寸改变为与用于记录的像素数一致，并由压缩/解压缩器117将该YUV数据压缩为JPEG格式的图像数据。压缩图像数据被写到SDRAM 33中，由存储器控制部115从其中读取并通过媒体I/F 118存储在存储卡34中。接下来，将参考图3-11描述根据本实施例的基于脸部检测和旋转运动检测的成像设备的自动拍摄控制。本实施例描述的一个实例中，基于脸部检测和旋转运动检测来控制成像设备执行快门控制和拍摄操作。然而，并不限于该示例。可替代地，例如，也可以是根据脸部检测和旋转运动检测控制器控制成像设备的电源使其关闭。图3是成像设备的自动拍摄控制的框图，图4是由成像设备的控制元件执行的自动拍摄控制的流程图。如图5所示在时间序列上连续的图像数据的帧被以例如33ms的预定时间间隔A预输入到图像输入部101来显示在IXD 10中，(步骤S101)。在图5中，在图像数据的第一帧Fa以后以预定的时间A时输入图像数据的第二帧。由此，输入时间序列的图像数据并将其存储在SDRAM 33中。在步骤S102中，脸部检测器102从例如数据帧Fa等顺序输入的图像数据的一帧中检测被摄对象的脸部。在本实施例中，脸部检测器102用于检测等同于被摄对象40的脸部41的脸部区域50。如图5所示，脸部区域50被顶点A至D包围并且中心坐标在0(xO，yO)。步骤S102中用以脸部检测的算法可是例如模板匹配等任意已知的或新的算法。此外，被摄对象不必非得是人，也可以是动物。在此情况下，执行识别动物的脸部的处理。后面描述的手臂姿势检测器103也可利用学习模型的预学习结果的数据来检测该动物的手臂或腿(旋转身体部分)。在步骤S103，确定定脸部检测器102是否已经检测到脸部。当步骤S103的结果是“否”时，流程返回到步骤SlOl的图像输入并处理下一个图像数据。
当检测到脸部时(步骤S103的“是”)，旋转运动检测器103在步骤S104执行旋转运动检测。参考图6具体描述旋转运动检测。本实施例描述的示例中，当被摄对象围绕着做为旋转中心的肘部42横向移动手臂43时，检测到被摄对象的手或手掌44的旋转运动。这里，该旋转运动被称为手臂姿势。图7A示出手臂姿势前的图像数据以及图7B示出手臂姿势后的图像数据。注意图7B中增加虚线表示的区域来说明手臂是如何移动的。注意手臂姿势不限于手部44围绕着肘部42旋转。另外，可以是整个手臂以肩膀45作为旋转中心的运动。此外，手臂43的旋转方向可以不限于图7B中所示的，并且手臂43可以从肘部42垂下。只要帧之间的旋转角出现，就可检测到与图像垂直的手臂运动。也可以使用手臂姿势以外的其它姿势，只要它们是绕着基点的旋转运动。例如，当被摄对象40拿着例如杆或旗子等工具并旋转它们时，可检测到旋转的中心和旋转工具的顶点。为了检测姿势，需要预先通过具有导师的学习模型对相对运动数据进行学习来计算辨识公式。此外，优选地检测多个种类的姿势并允许用户选择一种来控制图像设备。参考图6，在步骤S201，图像数据被输入到图像输入部101。在本实施例中，图像数据的第一帧Fa和图像数据的第二、第三帧Fb、Fc被认为是不同的图像数据，在第一帧Fa中脸部检测器执行脸部检测，在第二、第三帧Fb、Fc中旋转运动检测器执行旋转运动检测。在图5中图像数据Fb定义为是在第一图像数据Fa以后第M帧输入图像数据。优选地，M的值是等于或大于I的较小值。以例如33ms的帧率输入图像数据。为了避免增加成像设备的工作载荷，优选地，不同时对同一图像数据帧执行脸部检测(步骤S102)和旋转运动检测(步骤S104)。相反，在一帧处理时间内仅脸部检测器102或旋转运动检测器103优选地进行工作。由此，可以通过软件减少CPU在图像处理中的工作载荷并且提高处理速度和功率效率。在通过具有特定功能的图像处理芯片进行的图像处理中，仅仅对它们中的任何一个进行操作都可能导致降低功率效率。通过处理速度或性能的容限(margin)，图像数据Fa、Fb可以被认为是位于相同的帧。图5中在以预定帧间隔N输入的两个图像帧Fb、Fc中检测手臂姿势。帧间隔值N被预设为参数。帧间隔N可被选择地设置并且可限制其最小值和最大值。需要根据要被检测的被摄对象的旋转运动的速度恰当地设置间隔N。在非常大的时间间隔N中，在帧之间以特定角速度旋转的手臂的旋转角变得太大,或者在往复旋转中的手臂的旋转角变得太小。根据本实施例，基于手臂的假设角速度和33ms的帧率确定帧间隔N，由此手臂的旋转角9处于45至90度之间。例如，假设手臂在大约0.5秒中在45至90度之间的范围内旋转，则帧间隔N将是15。
例如，帧间隔可被任意地设置为I来检测连续帧之间的手臂姿势或设置为大约若
干中贞。在步骤S202，查找区域设置部201根据检测到的脸部区域50设置运动向量查找区域51，在该查找区域51内检测作为旋转运动的候选的手臂运动向量。运动向量查找区域51被设置在帧内的手臂43的可移动区域内，例如如图8所示的在脸部区域50周围的预定的像素区域内或中心坐标为0(x0，yO)的区域。可以通过后面描述的处理代替设置运动向量查找区域51来在整个图像上检测旋转运动的候选。然而，优选在预先限定的区域内进行检测以降低吞吐量。在步骤S203，块匹配元件202检测其中已经检测到两个帧之间的运动的区域并将其作为运动向量。如图9A、9B所示，图像数据帧Fb、Fe分别被划分为具有预定数量的像素(nXn)的块52由此通过块匹配来查找两帧的相同部分之间的运动量或运动向量HH’。可由任何已知的或新的技术来实现块匹配。 每个块的大小是根据旋转运动的主体恰当设置的参数。在本实施例中，它被设置为能够辨别手臂43的移动。例如，它可基于普通脸部大小和手臂大小的比例由脸部的大小确定。对于20X20像素的脸部区域，块的大小可以是5X5的像素。此外，运动向量的开始点和结束点在例如5X5的像素区域的中心块内。由于被摄对象的大小根据焦距和与被摄对象的距离而变化，因此可将块的大小任意地设置为优化的值。接着，在步骤S204，运动移除部203移除在整个图像中已经产生的运动或模糊部分。当成像设备被固定在例如三脚架等上时，很难出现整个图像中的运动或模糊。否则，优选检测和移除整个图像中的运动的量。这可提高检测到的运动向量的精度。也就是说，当在帧之间在整个图像中发现平行移动或旋转时，通过块匹配检测到的运动向量是由移动造成的，因此其需要被消除。例如，参考图8，可通过除了运动向量查找区域51以外的区域中的运动向量Va、Vb来计算整个图像中的运动向量。通过下面的公式将帧之间的运动表述为仿射变换
jell 「a ^TxOl 「e—+
yl c d yO f其中，(xl,yl)和(x0,y0)是巾贞Fb、Fc中相应点的坐标。通过大量(6个或多于6个)的对应点，可计算系数a到e。可通过上式找到在任意坐标(x，y)在帧Fb、Fc之间整个图像中的运动向量(VxO，VyO) o由此,通过将从坐标(X, y)的运动向量(Vx, Vy)减去整个图像中的运动向量(VxO,VyO)来求得运动向量(Vx-VxO, Vy-VyO)。如上所述，通过从检测到的运动向量减去在帧Fb、Fe之间整个图像中的运动向量，可消除整个图像的运动。保留的运动向量将是手臂旋转运动的候选。本实施例描述的示例中，根据除了运动向量查找区域51以外的区域查找整个图像中的运动向量。然而，也可以从运动向量查找区域51中的运动向量中获得整个图像中的运动向量。此外，可通过对特定数量的块52采样来计算整个图像中的运动向量。另外，本实施例描述的示例中，通过仿射变换校正成像设备的平行方向的运动量。然而，可通过任何已知的或新的技术进行校正。例如，可通过投影变换校正图像垂直方向的
运动量。在步骤S205，噪声向量移除部204从运动向量查找区域51内移除作为噪声向量的孤立的运动向量。这是为了移除被认为是运动向量查找区域51内的非真实手臂运动的运动向量，由此防止手臂运动的错误检测。噪声向量Vc、Vd、Ve如图8所示。在整个图像中进行块匹配时，也必须移除除了运动向量查找区域51以外的区域中的运动向量Vf、Vg。为了确定噪声向量的存在，确定在检测到的运动向量周围的某个区域(半径为R)内是否存在其它的运动向量。如果发现另一个运动向量，则将检测到的运动向量确定为手臂运动向量。如果没有发现另一个运动向量，则将检测到的运动向量确定为噪声向量。可任意设定半径R为例如20个像素。并且，作为向量确定的参考的像素可以是构成运动向量的任意像素，例如运动向量的开始点。 从运动向量中排除了上述确定的噪声向量Vc、Vd、Ve。通过步骤S201至S205，作为旋转运动的候选的手臂运动向量是可检测的。接着,在步骤S206,旋转中心/旋转角计算部205基于检测到的运动向量计算旋转中心的坐标和旋转角。参考图8至图10，基于从帧Fb、Fe中检测到的运动向量H1H1’、H2H2’、H3H3’计算手臂姿势的旋转中心的坐标0’ (xl, yl)和旋转角0。虽然为了简述而使用三个运动向量Hl至H3，但是检测到的运动向量的实际数量Hn可能是例如10或更多个。下面将示例性地描述如何计算旋转中心的坐标和旋转角。旋转中心的坐标0’(XI，yl)定义为聚集了经过手臂部的运动向量的中点并垂直于中点的法线(在图10中由虚线表示)的点。在法线的交叉点互相不重合的情况下，通过两个或更多个交叉点，可将旋转中心0’(xl，yl)的坐标设置为两个相邻法线的交叉点的坐标的平均值。旋转半径Rl是旋转中心0’(xl，yl)的坐标和每个运动向量之间的距离，例如，该距离是开始点Hl和结束点H1’之间的距离。通过下式计算旋转角0 0 I = L1/R1其中，LI是运动向量H1H1’的长度。在本实施例中，旋转角0被定义为等于或小于90度。然而，也可用于检测90度或大于90度的旋转角。此外，可从旋转中心0’ (xl, yl)的坐标以及运动向量的开始点和结束点H1、H1’来得到旋转角0 1。类似地，从运动向量得到运动向量H2H2’，H3H3’的旋转半径R2、R3和长度L2、L3来分别计算旋转角9 2、0 3。得到旋转角0 I、0 2、0 3的平均值作为手臂的旋转角0。在步骤S207至S209，旋转运动辨识部206根据手臂旋转的中心和脸部区域的中心的位置以及旋转角的特征量之间的关系，确定旋转运动的被检测到的候选是否是实际的手
臂姿势。根据下式，通过脸部区域的中心坐标0(x0，y0)和手臂旋转的中心坐标0’ (x0,y0)计算位置的位移量。定义距离dx、dy和旋转角0为用于步骤S207中的手臂姿势检测的特征量。dx = xl-xO
dy = yl-yO然后,在步骤S208将特征量标准化(normalized)。被摄对象的大小根据成像设备的变焦率的不同而不同。例如，整个图像被改变大小并被标准化由此平均面部尺寸成为20个像素长、20个像素宽。因此，即使被摄对象的大小发生改变，可不管变焦率而利用普通识别词典来精确地识别手臂旋转运动。在步骤S209，利用特 征量和通过机器学习预先计算出的辨识公式来确定候选是否是手臂姿势。下面描述辨识公式的计算。利用脸部区域的旋转中心和手臂姿势的旋转中心之间的位置关系以及手臂旋转角(O’(xl，yl)、dx、dy和0)的采样数据，收集手臂姿势的采样数据(视频数据)来建立手臂姿势识别词典作为学习模型学习的数据。具体地，基于识别词典由支持向量机(SVM)生成如下线性SVM辨识函数f (dx，dy，9)f = A*dx+B*dy+C* 0通过预先学习计算系数A、B和C。如果通过辨识函数f (dx，dy，0)求得的值f■高于阈值th时，则该候选被识别为手臂姿势。如果值f低于阈值th时，则其被识别为非手臂姿势。图11是示出手臂姿势和非手臂姿势的特征量的分布图。为了简化，在图中使用两个变量dx和0 ,由此识别水平(recognition level)是线性的。线上面的点Z被识别为手臂姿势而线下面的点X被识别为非手臂姿势。如果使用三个变量(dx、dy、0)，则分布就是三维空间的且识别水平将是平面的。识别平面以上的特征量是手臂姿势而识别平面以下的点X是非手臂姿势。通过该使用特征量的学习方法，即使被摄对象的手臂的长度不同，或手臂旋转角和脸部区域的中心与手臂旋转中心的相对位置不同，也可以精确地识别手臂姿势。本实施例描述的示例中，使用线性SVM作为学习模型来建立识别词典。可替代的，也可使用非线性辨识函数、或可以使用其它例如AdaBoost等其它学习模型。注意要预先准备识别词典，并且在成像设备的存储单元中存储通过识别词典计算的辨识函数。返回图4，如果函数值f高于阈值th (步骤S105的“是”)，则确定出现期望的手臂姿势。如果函数值f低于阈值th (步骤S105的“否”)，则确定没有出现期望的手臂姿势，从而流程返回步骤SlOl中的图像输入。当确定出现期望的手臂姿势时，在步骤S106中通知部104显示指示来将该出现通知给作为手臂手势检测的对象的用户或人。通知部可以多种方式通知该检测。例如，在成像设备的正面上提供未示出的LED光或任意类型的光以进行开启。也可在辅助IXD或IXDlO上显示文字或标记。可替代地，可以代替在步骤S106中由通知部104通知，而在步骤S107中在该检测以后的预定时间内释放快门。在步骤S107，快门控制部105控制快门在显示指示后的预定时间内释放。随后，在步骤108中执行拍摄和图像记录。这些操作与完全按下快门按钮2中的操作相同，并且捕获的图像数据被存储在例如存储卡34中。在拍摄多个被摄对象时，在步骤S102检测他们的脸部。为此，优选地可预先确定被摄对象的优先权顺序，由此可根据被摄对象的优先权顺序从多个手臂姿势中确定成像控制所基于的手臂姿势。可在步骤104中仅检测具有最高优先级的主要被摄对象的旋转运动。可任意设置被摄对象的优先级。例如，位于帧的中心的脸部或具有最大尺寸的脸部可被设置为主要的被摄对象。此外，可准备多个优先级模式从而运行用户选择期望的模式。如上所述，即使当被摄对象远离成像设备或大量的被摄对象同时被拍摄由此被摄对象的脸部的尺寸很小时，本实施的成像设备也可以通过使用脸部检测和手臂运动检测作为触发来在用户期望的定时自动释放快门。此外，在检测被摄对象的脸部后检测其手臂姿势可提高手臂运动识别的精度并减少错误识别。 此外，可根据手臂旋转中心和脸部中心之间的位置关系通过简单计算、以比通过模式识别找到手部位置更快的速度获得手臂姿势，并然后识别手臂姿势。此外，在手部检测和手部运动检测中，由于手部形状的改变而使得检测的精度下降。同时，除了轴向旋转之外的作为平行位移的手部运动不是本实施例检测的对象，这可以提高手臂姿势检测的精度。脸部区域的中心的坐标和运动的旋转中心的坐标以及旋转角可作为特征量数据使用。这使得不必单独设置或记录特定参数作为手臂长度、手臂旋转角和手臂旋转的中心与脸部中心之间的距离等。并且，不用考虑手部或手臂的形状、被摄对象的年龄、性别或体型，能够基于各种手臂姿势数据的词典通过辨识公式来精确地检测手部或手臂运动。这种手臂姿势检测对噪声不敏感。成像设备包括在拍摄前向外部通知检测到手臂姿势的通知部。这可使得被摄对象能够知道检测到手势并准备他或她的用于拍摄图像的脸部表情或姿势。尽管本发明是示例性地描述，但不限于此。需要注意到本领域技术人员对实施例所作出的变形或修改不会超出本发明在权利要求中所限定的范围。例如，图像输入部101、脸部检测器102、手臂姿势检测器103、通知部104、快门控制部105、查找区域设置部201、块匹配元件202、运动移除部203、噪声向量移除部20、旋转中心/旋转角计算部205以及旋转运动辨识部206可通过由成像设备的CPUlll执行的软件或成像程序实现。软件或程序的执行所必要的数据被载入到例如SDRAM33中。替代地，这些元件可用作为模块使用并且用于执行脸部检测器102和手臂检测器103的功能的程序可被应用于硬件。也可提供存储有使得成像设备执行上述操作的成像程序的非瞬态计算机可读介质。
权利要求
1.一种成像设备，包括 图像输入部，用于以预定时间间隔顺序地输入图像数据； 脸部检测器，用于从图像数据中检测被摄对象的脸部区域； 旋转运动检测器，用于检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及 控制部，用于当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作，其中 所述旋转运动检测器还用于 检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及 基于由所述脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动。
2.如权利要求I所述的成像设备，其中所述旋转运动检测器还用于 基于由所述脸部检测器检测到的脸部区域设置查找区域， 将图像数据的两帧中的每一个划分为具有预定数量像素的块，在所述查找区域的每个所述块中检测运动，并提取运动已经被检测到的至少一个块， 检测所提取的块中的运动量作为运动向量，以及 通过将所述运动向量作为旋转运动的候选来计算所述旋转中心的坐标和所述旋转角。
3.如权利要求2所述的成像设备，其中 所述旋转运动检测器还用于基于经过所检测到的运行向量的中点的法线相互交叉的位置确定所述旋转中心的坐标，并根据所述旋转中心的坐标和检测到的运动向量的位置来计算所述旋转角。
4.如权利要求2所述的成像设备，其中 所述旋转运动检测器还用于当在构成所述运动向量的像素周围的预定数量的像素的像素区域中不存在其它运动向量时，从旋转运动的所述候选中排除所述运动向量。
5.如权利要求I所述的成像设备，其中 所述旋转运动检测器还用于将所述脸部区域的中心坐标、所述旋转中心的坐标以及所述旋转角作为特征量数据使用，并通过将所述特征量数据应用到辨识公式来确定旋转运动的所述候选是否是旋转运动，所述辨识公式是根据预先由学习模型学习的识别词典获得的。
6.如权利要求I所述的成像设备，其中 所述旋转运动检测器还用于检测所述被摄对象的肘部作为旋转中心的坐标，以及检测以肘部为基点的所述被摄对象的手臂的运动作为旋转运动。
7.如权利要求I所述的成像设备,其中 所述旋转运动检测器还用于从在第一图像数据以后输入的第二图像数据以及从在所述第二图像数据以后输入了预定数量的帧的第三图像数据中检测旋转运动，所述脸部检测器已经从所述第一图像数据中检测到了所述被摄对象的脸部区域。
8.如权利要求I所述的成像设备，其中 所述控制部控制所述成像设备执行的预定操作是拍摄操作，所述成像设备还包括通知部，用于当所述旋转运动检测器已经检测到旋转运动时，在所述控制部允许所述成像设备执行拍摄操作之前向外部通知检测到旋转运动。
9.一种成像方法，包括以下步骤 以预定时间间隔顺序地输入图像数据； 从图像数据中检测被摄对象的脸部区域； 检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及 当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作，其中 所述旋转运动检测步骤包括 检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及 基于由所述脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动。
10.一种存储使得成像设备执行步骤的程序的非瞬态计算机可读存储介质，所述步骤包括 以预定时间间隔顺序地输入图像数据； 从图像数据中检测被摄对象的脸部区域； 检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及 当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作，其中 所述旋转运动检测步骤包括 检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及 基于由所述脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动。
全文摘要
本发明提供一种成像设备，该成像设备包括图像输入部，用于以预定时间间隔顺序地输入图像数据；脸部检测器，用于从图像数据中检测被摄对象的脸部区域；旋转运动检测器，用于检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及控制部，用于当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作。所述旋转运动检测器还用于检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及基于由所述脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动。
文档编号H04N5/232GK102761706SQ201210126650
公开日2012年10月31日 申请日期2012年4月26日 优先权日2011年4月26日
发明者关海克 申请人:株式会社理光