专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及在与拍摄获得的动态图像中的关注被摄体的移动对应的范围内切出图像的技木。
背景技术：
公知有这样的技术在摄影中识别图像，以被识别为关注被摄体的被摄体作为主体进行焦点调节、曝光调节、色彩平衡的调节等。并且，还公知有这样的技术识别人的面部的表情，当检测出被摄体微笑时开始进行释放动作。在日本特开2008-283379号公报中公开了这样的技术从由摄像部生成的多个图像帧检测被摄体的面部图像，继续跟踪该面部图像。在该技术中，当在被摄体后倾等的状况下不能检测面部图像时，通过在相邻的图像帧之间进行动体分析来设定与面部图像对应的 面部图像对应部。然后，在到再次能检测面部图像的期间，进行面部图像对应部的跟踪。然后，根据面部图像或面部图像对应部进行摄像控制。在日本特开2010-273281号公报中公开了这样的摄像装置当检测出被摄体的笑脸时自动进行摄影。摄像装置具有检测单元和控制单元。在映有笑脸的被摄体的笑脸图像的摄影张数到达基准张数的情况下，检测单元此后检测被摄体的笑脸以外的表情或姿势。当由检测单元检测出笑脸以外的表情或姿势时，控制单元自动执行摄影。在日本特开2004-164480号公报中公开了用于从人物的轮廓图像检测该人物的姿势或各部的技木。在该技术中，从人物的轮廓图像检测并分析人物的轮廓线。该轮廓线被简单地图形化，被实施骨架化处理，最終被检测为上述人物的中心线即骨轴。
发明内容
根据本发明的第I方式，图像处理装置具有跟踪区域设定部，其在拍摄被摄体得到的输入动态图像中设定跟踪区域；跟随特征点设定部，其检测跟随于所述跟踪区域的特征点，将检测出的该特征点设定为跟随特征点；移动检测部，其检测伴随时间经过的所述跟随特征点在所述输入图像内的移动；以及切出范围设定部，其设定从所述输入图像中切出包含所述跟踪区域的部分图像并进行记录或显示或者进行记录及显示双方时的图像切出范围，该切出范围设定部根据所述移动检测部的所述移动的检测结果设定所述切出范围的大小和位置。根据本发明的第2方式，图像处理方法具有在拍摄被摄体得到的输入动态图像中设定跟踪区域；检测跟随于所述跟踪区域的特征点，将检测出的该特征点设定为跟随特征点；检测伴随时间经过的所述跟随特征点在所述输入图像内的移动；以及根据通过检测所述移动而检测出的所述移动的检测結果，设定从所述输入图像中切出包含所述跟踪区域的部分图像并进行记录或显示或者进行记录及显示双方时的图像切出范围的大小和位置。
图I是示出数字照相机的正面侧外观的立体图。图2是示出数字照相机的背面侧外观的立体图。图3是示出数字照相机的内部结构的框图。图4A是概念性说明随着时间经过而变化的输入图像由图像处理装置逐次处理的状况的图。 图4B是概念性说明随着时间经过而变化的输入图像由图像处理装置逐次处理的状况的图，是接图4A的图。图5是示出由图像处理装置进行的跟踪处理步骤的流程图。图6是示出由图像处理装置进行的特征点提取/设定的处理步骤的流程图。图7是示出由图像处理装置进行的切出范围设定的处理步骤的流程图。图8是示出由图像处理装置进行的背景特征点设定的处理步骤的流程图。图9是示出由图像处理装置进行的移动检测的处理步骤的流程图。
具体实施例方式图I是从正面侧观察具有本发明的实施方式涉及的图像处理装置的数字照相机100的状况的图。图I所示的数字照相机100构成为能够拍摄静态图像和动态图像。数字照相机100具有照相机主体102，释放开关104，电源开关106以及摄影镜头120。图2是示出从背面侧观察数字照相机100的状况的图。在数字照相机100的背面具有变焦开关108，拨盘开关110，菜单开关112，交替转换开关114以及显示装置130。通过按下电源开关106，可将数字照相机100的电源从断开切换到接通、或者从接通切換到断开。通过按下释放开关104，可开始静态图像和动态图像的摄影。并且，当数字照相机100在动态图像记录模式下进行摄影动作时，通过按下释放开关104，可停止摄影动作。摄影镜头120具有单焦点的摄影光学系统、或者变倍式的摄影光学系统，光圈调节机构，以及焦点调节机构。在数字照相机100是镜头快门式的情况下，摄影镜头120还具有镜头快门机构。并且，在摄影镜头120的摄影光学系统是变倍式的情况下，具有用于使焦距变化的变倍机构。在本实施方式中，假定摄影镜头120具有变倍式的摄影光学系统和电动式的变倍机构。用户通过操作变焦开关108，可使摄影镜头120的焦距变化。拨盘开关110在切换数字照相机100的动作模式(静态图像记录模式、动态图像记录模式、以及在静态图像摄影模式下的光圈优先自动曝光模式、快门速度优先自动曝光模式、手动曝光模式、程序自动曝光模式等的曝光模式)时被操作。菜单开关112是在开始以下操作时按下的开关，即，将进行数字照相机100的各种定制设定时的菜单操作画面显示在显示装置130上进行设定变更。交替转换开关114是在上述的菜单操作画面内使光标移动、切換到期望的设定时使用的开关。显示装置130具有彩色液晶显示面板和背光装置，构成为能够显示图像和菜单画面、信息等。显示装置130构成为也能够进行摄影准备动作中或摄影动作中的实时浏览显示。该显示装置130可以构成为具有有机EL显示装置等。另外，数字照相机100可以具有电子取景器，也可以在电子取景器内显示与显示在显示装置130上相同的显示。数字照相机100构成为能够在动态图像摄影模式下记录动态图像时进行图像切出。图像切出是指，从由摄像部306获得的输入动态图像的各帧中切出一部分图像(部分图像)来生成别的动态图像。这样生成的动态图像在本说明书中称为切出动态图像。数字照相机100构成为能够进行所生成的切出动态图像的显示或记录、或者显示及记录双方。以下，以以下情况为主体进行说明数字照相机100在动态图像摄影模式下进行动作，此时进行图像切出，显示并记录切出动态图像。图3是概略性说明数字照相机100的内部结构的框图。数字照相机100具有摄像部306，图像处理装置300，系统总线352，接ロ 354，CPU360，集音部370，操作部380，以及显示装置130。
摄像部306具有摄影镜头120、摄像元件302以及模拟前端304，这些构成要素与CPU360电连接。摄像元件302是构成为能够对由摄影镜头120形成的被摄体像进行光电变换并生成彩色图像信号的图像传感器，能够使用CCD图像传感器或者CMOS图像传感器等。模拟前端304对从摄像元件302输出的模拟图像信号进行CDS (Correlated DoubleSampling，相关双采样)、放大、A/D变换等的处理并生成数字图像数据。在摄像元件302是CMOS图像传感器的情况下，模拟前端304能够与摄像元件302 —体构成。图像处理装置300具有图像处理部308，跟踪区域设定部310，特征点导出部312，跟随特征点设定部314，背景特征点设定部316，移动检测部318，切出范围设定部320，缓存322，显示控制部330，切出范围明示处理部332，记录部340，以及压缩解压缩部350。这些构成要素以及接ロ 354、CPU360、模拟前端304经由系统总线352相互电连接。缓存322 由 SDRAM (Synchronous Dynamic Random Access Memory,同步动态随机存取存储器)等构成，是具有比较高的存取速度的存储器。该缓存322构成为也能经由系统总线352从CPU360存取。以下，适当參照图4A、图4B，说明由图像处理装置300的各构成要素进行的处理。图4是概念性说明随着时间经过而变化的输入动态图像由图像处理装置300逐次处理的状况的图。图4中示出将纵排列的四个图像作为ー组、对在某个定时获得的输入动态图像进
行处理的状況。而且，图4示出定时[I]、[2].....[5]、以及处理结果对应于伴随时间经过
变化的输入动态图像而变化的状况。图像处理部308对从模拟前端304输出而暂时存储在缓存322内的数字图像数据进行光暗减法运算、逆马赛克变换(Demosaicking)(在摄像元件302是多板式的情况下,能够省略逆马赛克变换)、白平衡调整、色相/彩度/对比度调整、边缘强调、噪声降低等的处理并生成彩色图像数据。所生成的彩色图像数据是R(红)、G(緑)、B(蓝)三色、或者其以上的原色数的图像数据。图像处理部308还根据进行上述处理获得的彩色图像数据生成YCbCr, HSV等的顔色空间的图像数据，生成其中仅由Y通道和V通道表示的图像数据(在本说明书中将其称为亮度图像数据)，并暂时保存在缓存322内。通过使用亮度图像数据，能够减少在由图像处理装置300进行以下说明的处理时的处理负荷。这是因为，由于去除了顔色信息，因而即使是相同的像素尺寸的图像，也能减少数据量。当然，也能够根据图像处理装置300的处理能力和目的，使用彩色图像数据来进行以下处理。并且，关于亮度图像数据的生成方法，也能够应用先前所示的方法以外的各种方法。例如也能够提取RGB彩色图像数据中的仅G色的图像数据来使用它取代上述亮度图像数据。跟踪区域设定部310设定在由摄像部306拍摄被摄体获得的动态图像(将其称为输入动态图像)中存在跟踪对象的区域，即跟踪区域。跟踪区域的设定能够利用各种方法。例如，当按下释放开关104开始动态图像的记录吋，能够将与重叠显示在实时浏览显示图像中的矩形对焦框重叠的存在被摄体像的区域作为跟踪区域。或者，可以在显示装置130的显示面上配备透明的触摸面板开关。在该情况下，用户用手指尖等触摸所显示的实时浏览显示图像中存在的被摄体像中的期望的被摄体像，从而可将存在该被摄体的区域设定为跟踪区域。并且，可识别输入图像中存在的人和动物的面部，将存在面部的区域设定为跟踪区域。此外，当人物等多个被摄体存在于输入图像中吋，能够将最近的位置、或者拍得最大的被摄体、或者对比度最高的被摄体存在的区域设定为跟踪区域。而且，也能够事先登记特定的被摄体的面部的图像，在摄影准备动作中或摄影动作中重复进行图形识别处理，将具有与所登记的图像的图形一致度高的图形的区域设定为跟踪区域。
以下，假定将人和动物的面部(头部)存在的部分设定为跟踪区域进行说明。图
4示出对应于某个定时[I]、[2].....[5]各自在纵方向排列四个图像。在与各定时对应的
图像中从上第2个图像中示出矩形，以包围人的面部(头部)。示出该矩形是跟踪区域。特征点导出部312对所有帧的图像进行分析输入动态图像(亮度图像数据)来导出特征点的处理。或者，根据图像处理装置300的处理能力，输入预定帧数的图像，然而也能够按I次比例进行。这里，特征点是指在图4所示的例子中附有X标记的点。一次导出的特征点由于以后跟踪伴随时间经过的画面内的上下左右方向的位置变化，因而期望的是在ニ维方向具有边缘成分。作为提取具有这种性质的特征点的方法，有以下方法将由亮度图像数据形成的ニ维图像分割成网状，对所分割的区域的各图像数据进行ニ维傅里叶变换。当在所分割的各区域中在ニ维方向检测出边缘成分时，能够判定为其处有特征点。或者，能够使用已知的各种角检测处理。并且，能够将使用被称为Harris或SUSAN的公知的角检测法检测出的检测点、或者通过LoG(Laplacian of Gaussian,高斯拉普拉斯算子)、DoG (Difference of Gaussian,高斯差)之类的高斯图像的拉普拉斯算子或差分运算进行图像的特征量运算求出的检测点用作特征点。而且，也能够根据对彩色图像进行HSV变换获得的色相、彩度的数据，将在输入图像中确定的相同色区域(具有相同色调的区域)的中心点或重心点等用作特征点。在图4所示的例子中，对应于设在墙壁面的照明装置用开关的角部、头发的尖端、衣服的袖口、裤脚、衣服的花样、地板和墙壁的边界线与人脚的轮廓交叉的点等导出特征点。对应于这些特征点各方赋予识别号，该识别号连同画面内的坐标值等的信息一起被登记。跟随特征点设定部314检测并设定由特征点导出部312导出的特征点中、跟随于跟踪区域的特征点。跟随特征点是表示对跟踪区域(在本实施方式中作为跟踪对象的人的面部存在的区域)的移动追随的移动的特征点。也就是说，在跟踪对象是人的面部的情况下，将与该面部和面部的附近部分(头发、帽子、饰品等)和全身(面部以外的部分)对应的特征点设定为追随特征点。此时，由特征点导出部312导出的特征点中、在跟踪区域内的面部和面部的附近存在的特征点被设定为面部特征点。这里，移动被定义为跟踪对象即被摄体中的跟随特征点移动的量。作为该移动，能够将例如构成输入图像的帧间的跟随特征点的移动量设定为以像素为单位表示的移动量(移动像素量)。不过，期望的是，根据在消除了由手抖等的影像引起的画面整体的移动之后的、跟随特征点自身的帧间的相对移动量导出移动。例如，可根据帧间的跟随特征点的移动绝对量与画面整体的移动绝对量之间的差
分求出移动像素量，将其设定为上述的移动量。示出在图4的各定时[I]、[2].....[5]的
从上第2个图像中、表示跟踪区域的框的内侧分别设定了两个特征点的例子，它们相当于面部特征点。并且，与跟踪区域相连的全身的除面部以外的部分的特征点被设定为其它部特征点。图4中，被设定为与跟踪区域内的面部相连的身体(从头向下的部分)的肩、胸、手脚等的特征点相当于其它部特征点。在由跟踪区域设定部310设定了跟踪区域之后，对输入动态图像进行稍时分析，检测表示与跟踪区域的移动相关度高的移动的特征点，从而能够设定跟随特征点。以上说明了人的面部存在的区域被设定为跟踪区域、表示对该跟踪区域的移动进 行了跟随的移动的特征点被设定为跟随特征点的例子。作为跟踪区域，不仅是人的面部，还能设定动物的面部部分、植物的花部分、汽车和鉄道车辆等的开头部分等存在的区域。在该情况下，能够将这些面部部分、花部分、开头部分以及其附近存在的特征点设定为面部特征点。并且能够将与这些部分相连的部分的特征点设定为其它部特征点。背景特征点设定部316分析由特征点导出部312导出并登记的特征点的、伴随时间经过的在输入动态图像内的移动，根据移动量或移动方向(移动图形)进行分组。結果，各特征点被分组成多个组。该多个组中的ー个组是跟随特征点的组。作为其它组，形成由朝相同方向以相同的量移动的特征点组构成的I个或多个组。背景特征点设定部316将该I个或多个组中具有最多的特征点组的组分类为背景特征点的组。或者，也能够将用于最大范围分散的特征点组的组分类为背景特征点的组。在进行分组时，能够对与各特征点对应的登记信息附加表示是属于哪个组的特征点的组属性的信息。这样，可对通过跟踪对象的前方或后方的行人或车辆等的移动体的特征点与背景特征点加以区別。移动检测部318检测跟随特征点的相对于背景特征点的移动。例如，即使是在包含跟踪对象的面部的全身和背景的双方没有移动的状态下，当使用数字照相机100进行了摇摄操作或倾斜操作时，输入动态图像内的特征点也整体移动。此时，通过检测跟随特征点相对于背景特征点的移动，能够检测属于跟随特征点的组的特征点自身的移动。在图4的各定时[I]、[2].....[5]的从上第2个和第3个图像中，由移动检测部
318检测出移动的特征点由圆圈包围的X表示。这里，说明各定时的摄影状況。定时[I]表示几乎没有在墙壁旁站立的人物的移动的状态，表示没有由移动检测部318检测出移动的特征点的状态。定时[2]表示人物抬起右臂的状态，表示检测出与右肘和右手对应的特征点的移动的状态。另外，由于存在特征点的数量根据摄影状况变化而增减的情況，因而也逐次进行分组。定时[3]表示从定时[2]的状态、人物放下右胳膊的同时、扭腰仅使上半身向右的状态，示出检测出与右手和左手对应的特征点的移动的状态。定时[4]表示人物从脚下移动作为整体向右的状态，示出在左右脚下检测出特征点的移动的状态。定时[5]表示人物向左手侧行走、数字照相机100向被摄体朝右放下摇摄操作来跟踪该人物的状态。定时[2]、[3]、[4]的状况仅跟随特征点中的一部分特征点被检测出移动，而定时[5]的状况不同点是跟随特征点作为整体相对于背景移动。切出范围设定部320根据移动检测部318的移动检测结果设定当从构成输入动态图像的各帧的图像切出部分图像时的切出范围，即切出大小和切出位置。切出范围设定部320将图像的切出范围设定成至少包含跟踪区域，即在图4中与各定时对应所示的四个图像中、从上第2个图像中由矩形包围的部分。切出范围设定部320还将图像的切出范围设定成，当存在由移动检测部318检测出移动的特征点(在本说明书中，将被检测出移动的特征点称为移动特征点)时，也包含该移动特征点。參照图4的定时[I]的图像进行说明。在定时[I]，没有由移动检测部318检测出移动的特征点。在该情况下，切出范围设定部320将切出范围设定成使跟踪区域的部分的图像，即面部部分的图像在部分图像中占得更多。也就是说，在作为主要被摄体的人物不大移动的情况下，将切出范围设定成在上面捕捉到面部部分。在从上第3个图像中描绘成包围面部部分的矩形表示由切出范围设定部320设定的切出范围。并且，最下面的图像表示根据由切出范围设定部320设定的切出范围从输入动态图像切出的部分图像。这样，切 出范围设定部320根据移动检测部318的跟随特征点的移动检测结果，设定切出范围的大小和位置，以便当跟随特征点相对于输入图像中的背景的移动减少时，切出范围内的跟踪区域的图像所占的面积比例进ー步増加。在本说明书中，将这样设定切出范围的模式称为“切出范围设定模式I”。參照图4的定时[2]的图像进行说明。在定时[2]，由移动检测部318检测与右胳膊的肘和手的部分对应的特征点的移动。在该情况下，切出范围设定部320将切出范围设定成包围跟踪区域和被检测出移动的特征点。在从上第3个图像中描绘成包围面部和右胳膊的部分的矩形表示由切出范围设定部320设定的切出范围。并且，最下面的图像表示根据由切出范围设定部320设定的切出范围从输入动态图像切出的部分图像。这样，切出范围设定部320根据移动检测部318的跟随特征点的移动检测结果设定切出范围，以便包围跟踪区域和被检测出移动的特征点。在本说明书中，将这样设定切出范围的模式称为“切出范围设定模式2”。參照图4的定时[3]的图像进行说明。在定时[3]，由移动检测部318检测与右手和左手对应的特征点的移动。在该情况下，切出范围设定部320将切出范围设定成包围跟踪区域和被检测出移动的特征点。在从上第3个图像中描绘成包围从面部到左手尖的部分的矩形表示由切出范围设定部320设定的切出范围。并且，最下面的图像表示根据由切出范围设定部320设定的切出范围从输入动态图像切出的部分图像。在该定时[3]进行的切出范围的设定也相当于切出范围设定模式2。參照图4的定时[4]的图像进行说明。在定时[4]，除了与右手和左手对应的特征点以外，还检测与右脚和左脚对应的特征点的移动。在该情况下，切出范围设定部320将切出范围设定成包围跟踪区域和被检测出移动的特征点。在从上第3个图像中描绘成包围从面部到脚的部分的矩形表示由切出范围设定部320设定的切出范围。最下面的图像表示根据由切出范围设定部320设定的切出范围从输入动态图像切出的部分图像。在该定时[4]进行的切出范围的设定也相当于切出范围设定模式2。參照图4的定时[5]的图像进行说明。在定时[5]，由移动检测部318检测跟随特征点作为整体相对于背景移动。以下，将跟随特征点作为整体相对于背景移动称为相对于背景整体移动。从上第2个、第3个图像所示的黒色箭头表示由移动检测部318检测出相对于背景整体移动、以及相对于背景整体移动的方向。在该情况下，切出范围设定部320将切出范围设定成包围跟踪区域和跟随特征点。而且，切出范围设定部320将切出范围设定成朝相对于背景整体移动的方向侧提供更多的空间。在从上第3个图像中描绘成包围从面部到脚的部分、且朝人物的移动方向(从此前进的侧)提供更多空间的矩形表示由切出范围设定部320设定的切出范围。最下面的图像表示根据由切出范围设定部320设定的切出范围从输入动态图像切出的部分图像。这样，切出范围设定部320根据移动检测部318的跟随特征点的移动检测结果，设定切出范围的大小和位置，以便当检测出跟随特征点作为整体相对于输入图像中的背景朝ー个方向移动时，朝切出范围内的跟踪区域移动的侧提供更多空间。在本说明书中，将这样设定切出范围的模式称为“切出范围设定模式3”。通过这样进行切出，能够朝会存在作为主要被摄体的人等感兴趣的事物的方向提供更多空间，増加动态图像观察者的兴趣。并且，如果是朝跟踪区域(主要被摄体)移动的侧提供更多空间的图像，则能够获得更优选的平衡构图。另外，在以上參照图4所说明的切出范围的设定时，期望的是设定延迟时间。SP， 期望的是，在随着时间经过作为跟踪对象的被摄体重复移动或停止的情况下，在对应于此使切出范围变化时，切出范围的变化变慢。原因是因为，当切出范围频繁变化吋，切出动态图像变得难看。并且，在使切出范围变化吋，尽管也能够从以前的切出范围突然变化到最新的切出范围，然而期望的是以不超过预定的变化速度的方式变化。以上，对这样的例子作了说明作为切出范围设定模式具有上述的切出范围设定模式1、2和3，根据移动检测部318的跟随特征点的移动检测结果，选择切出范围设定模式I至3中的任一方来进行。然而，本发明不限于该例子，作为具有的切出范围设定模式，可以具有上述切出范围设定模式1、2和3中的仅任一方或者仅双方。并且，可以具有上述的切出范围设定模式1、2和3以外的切出范围设定模式。例如，可以具有这样的模式当检测出与作为主要被摄体的人物相同的移动的其它被摄体时，将切出范围设定成包围该被摄体和主要被摄体。图像处理部308从构成输入动态图像的各帧的图像切出与由切出范围设定部320设定的切出范围对应的图像，并暂时保存在缓存322内。显示控制部330将显示装置130控制成使显示装置130显示由图像处理部308处理且生成的动态图像和切出动态图像。切出范围明示处理部332进行用于将由切出范围设定部设定的切出范围明示给数字照相机100的用户的处理。作为切出范围明示处理，能够根据显示装置130的显示部的大小等使用以下方法中的任一方法将进行切出处理获得的切出动态图像照原样显示在显示装置130上的方法，以及将不进行切出处理的动态图像和切出动态图像排列显示在显示装置130上的方法等。或者，也能够使用这样的方法显示不进行切出处理的动态图像，在该动态图像中显示切出范围。此时，可以单纯地描绘矩形框，也能够在输入动态图像中的进行切出的范围和除此以外的范围内改变对比度或亮度等来显示。显示控制部330根据切出范围明示处理部332的处理结果在显示装置130上显示切出范围。在记录部340内保存有由图像处理装置300生成的静态图像数据和动态图像数据。记录部340具有内置存储器342、或者构成为在数字照相机100上自由拆装的外部存储器344。或者，可以具有内置存储器342和外部存储器344的双方。压缩解压缩部350进行对由图像处理装置300生成的静态图像数据和动态图像数据执行压縮/解压缩的处理。静态图像数据的压缩能够利用JPEGCJoint PhotographicExperts Group,联合图像专家组)方式。动态图像数据的压缩能够利用Motion JPEG或MPEG (Moving Picture Experts Group,移动图像专家组)、Η· 264等的方式。压缩解压缩部350 还进行以 AC3 (Audio Code number 3，音频代码编号 3)、MP3 (MPEG Audio Layer-3, MPEG音频层3)等的方式对由后述的集音部370生成的声音数据执行压缩/解压缩的处理。以上，说明了图像处理装置300具有的构成要素及其动作。接下来，说明数字照相机100具有的其它构成要素。CPU360经由系统总线352与图像处理装置300的各构成要素、接ロ 354电连接。CPU360还与摄像部306的各构成要素、集音部370、操作部380电连接。
操作部380具有先前參照图I、图2所说明的释放开关104、电源开关106等的各种开关。操作部380还可以具有配备在显示装置130的表面上的触摸面板开关等。CPU360检测由用户进行的操作部380的操作状态并统ー控制数字照相机100的动作。CPU360还控制集音部370的集音动作，将从集音部370输出的声音数据输出到图像处理装置300。集音部370具有ー个或多个麦克风，其收集数字照相机100的外部声音；模拟前端，其对从麦克风输出的信号进行放大，进行A/D变换并生成数字声音信号；以及数字信号处理器，其对从模拟前端输出的数字声音信号进行均衡、滤波处理。集音部370根据从CPU360输出的控制信号，进行集音动作。另外，也能够省去集音部370的数字信号处理器，由图像处理装置300进行数字声音信号的处理。在动态图像摄影吋，CPU360生成收纳有由图像处理装置300生成的图像数据和由集音部370收集而生成的声音数据的预定格式的动态图像文件，并保存在记录部340内。所记录的声音可以是单音的，也可以是立体声或环绕声等的多通道的声音。此时，可以根据图像的切出范围改变集音部370的指向性和灵敏度。接ロ 354 具有 USB (Universal Serial Bus,通用串行总线)、HDMI (High-Definition Multimedia Interface,高清晰度多媒体接 ロ)(注册■商标)等的有线接ロ、以及使用基于光或电波的无线通信技术的无线接ロ中的任一方或双方，构成为能够在与外部装置之间交换收纳图像数据和声音数据而生成的图像文件。图5至图9是概略说明由图像处理装置300进行的跟踪处理的处理步骤的流程图。以下，假定数字照相机100被设定为伴随切出动态图像生成处理的动态图像摄影模式，当开始动态图像摄影时开始执行这些处理来进行说明。并且，假定在摄影动作开始前预先设定了跟踪区域。假定跟踪区域的设定是通过先前參照图3所说明的由跟踪区域设定部310可执行的任意处理，设定特定的人物(跟踪对象)的面部存在的区域。在S500中，图像处理装置300进行面部检测处理。在该面部检测处理中，进行存在于输入动态图像内的不特定的面部的检测。通过该面部检测处理，检测ー个或多个面部。另外，这里假定进行面部检测来进行说明，而可以进行检测面部以外的部分，例如作为跟踪对象的头部和后头部的处理。在S502中，判定是否存在作为跟踪对象的面部。也就是说，在S502进行这样的判定判定在S500检测出的面部中是否有与跟踪区域内的面部一致的面部。作为该判定处理，能够利用各种方法。例如，能够根据输入动态图像内的刚在过去获得的帧中的跟踪区域的位置和移动方向，判定在进行了 S500的处理的时点，在跟踪对象存在的可能性高的位置附近是否有面部。在判定为在该位置附近有面部的情况下，S502的判定为肯定，该面部存在的区域被作为最新的跟踪区域。当S502的判定为肯定吋，处理进到S504，另ー方面，当为否定时，处理进到S520。在S504中，图像处理装置300进行特征点提取/设定处理。关于该处理的详情，后面參照图6进行说明，进行先前參照图3所说明的特征点导出部312、跟随特征点设定部314以及背景特征点设定部316的处理。在S506中，图像处理装置300进行切出范围设定处理。关于该处理的详情，后面參照图7进行说明，进行先前參照图3所说明的切出范围设定部320的处理。在S508中，进行这样的处理根据在S506设定的切出范围从输入动态图像中的I帧的图像中切出图像，将其保存在缓存322内。该切出图像根据需要被记录在记录部340 内，并显示在显示装置130上。在S510中，判定是否能够继续执行对跟踪对象的跟踪，在该判定是肯定的期间，重复进行S506、S508、S510的处理，进行切出动态图像的生成处理。另ー方面，当S510的判定是否定时，完成切出动态图像生成处理，以后在到摄影动作停止的期间，进行在默认设定的切出范围内切出的切出动态图像的记录。默认设定的切出范围各种各样。例如，可以将最后设定的切出范围用作默认设定的切出范围，也可以将在输入动态图像的中央部分中例如面积比50%的范围用作默认设定的切出范围。或者，可以将输入动态图像的整体默认设定为切出范围。在S502的判定处理中，在不能确认不存在或者存在跟踪对象的情况下，在S520中进行将切出范围设定为默认值(关于切出范围的默认设定，如先前说明)的处理，以后在到摄影动作停止的期间，进行在默认设定的切出范围内切出的切出动态图像的记录。图6是更详细说明图5的流程图中的S504的特征点提取/设定处理。在S600中，图像处理装置300取得跟踪对象的检测結果。也就是说，当在S502判定为存在作为跟踪对象的面部时，决定包围该面部的区域(跟踪区域)的输入动态图像内的位置和范围，因而在S600取得这些位置和范围信息。在S602中，图像处理装置300导出输入动态图像的I个帧的图像内的特征点。在S602中，进行先前參照图3所说明的特征点导出部312的处理。在S604中，图像处理装置300将在S602的处理中导出的特征点中、跟踪对象的面部位置、或者面部的附近位置存在的特征点组设定为面部特征点。在接下来的S606中，图像处理装置300将与面部相连的全身的除了面部以外的部分的特征点设定为其它部特征点。S606的处理是这样的处理根据对输入动态图像中存在的各特征点的移动量、移动方向、移动定时作了分析后的结果，将表示与在S604导出的面部特征点的移动相关度高的移动的特征点设定为其它部特征点。在S604和S606中，进行先前參照图3所说明的跟随特征点设定部314的处理。在S608中，图像处理装置300进行后面參照图8的流程图说明的背景特征点设定处理。在S608中，进行先前參照图3所说明的背景特征点设定部316的处理。当以上说明的从S600到S608的特征点提取/决定处理完成时，回到图5的处理。图7是更详细说明图5中的S506的切出范围设定处理的流程图。在S700中，图像处理装置300进行面部检测处理。该面部检测处理与图5的流程图中的S500的处理相同，进行在输入动态图像内存在的不特定的面部的检测。通过该面部检测处理，检测ー个或多个面部。在S700中，也与S500处ー样，可以检测面部以外的部分例如作为跟踪对象的头部或后头部等的处理。在S702中，判定是否存在作为跟踪对象的面部。S702的判定处理与图5的流程图中的S502的处理一祥，判定在S700检测出的面部中是否有与跟踪区域内的面部一致的面部，该面部存在的区域被视为最新的跟踪区域。当S702的判定是肯定吋，处理进到S704，另一方面，当判定是否定吋，处理进到S720。在S704中，重置跟踪误差标志。该跟踪误差标志是在图5的流程图中的S510的处理中參照的标志。也就是说，当S702的判定是肯定且能够对跟踪对象继续跟踪的状态时，重置跟踪误差标志，当该跟踪误差标志被重置时，在S510的判定是肯定，即判定为能够对跟踪对象继续跟踪。
在S706中，图像处理装置300进行后面參照图9的流程图说明的移动检测处理。在S706中，进行先前參照图3所说明的移动检测部318的处理。S706的处理結果，图4中
的与各定时[I]、[2].....[5]对应所示的图像中、从上第2个图像所示的由圆圈包围的附
上X标记的特征点(移动特征点)被设定。在S708中，图像处理装置300进行切出范围设定处理。在S708中，进行先前參照图3所说明的切出范围设定部320的处理。也就是说，根据在S706进行的移动检测处理结果设定从构成输入动态图像的各帧的图像中切出部分图像时的大小和切出位置。也就是说，将切出范围设定成包括跟踪区域和移动特征点。在S702的判定是否定的情况下，也就是说，在判定为不存在跟踪对象的面部的情况下的作为分支目的地的S720中，图像处理装置300将切出范围设定为默认值。该处理与图5的流程图中的S520的处理相同。在S722中设置跟踪误差标志。通过设置该跟踪误差标志，图5的流程图中的S510的判定是否定的。即，判定为不能对跟踪对象继续跟踪。当以上说明的从S700到S722的切出范围设定处理完成吋，回到图5的处理。图8是更详细说明图6的流程图中的S608的背景特征点设定处理的流程图。在S800中，图像处理装置300针对跟随特征点以外的特征点，根据这些特征点的移动量、移动方向的相关度的高低进行分组。作为在S800的处理一例，能够进行向与各特征点对应的登记信息附加表示是属于哪个组的特征点的组属性信息的处理。在S802中，图像处理装置300进行将在S800的分组处理的結果，即跟随特征点以外的特征点所属最多的组内的特征点设定为背景特征点的处理。由以上的S800、S802的处理构成的背景特征点设定处理完成，回到图6的处理。图9是更详细说明图7的流程图中的S706的移动检测处理的流程图。在S900中，图像处理装置300在被设定为跟随特征点的特征点中提取表示与背景特征点的移动相同的移动的特征点并赋予静止属性。对此进行说明的是，某个特征点表示与背景特征点的移动相同的移动是指，该特征点相对于背景是静止的。例如，以墙壁那样的静止物为背景，在作为跟踪对象的人静静站立的状况下数字照相机100进行摇摄或者倾斜时，在输入动态图像中跟踪对象和背景都在画面内一起移动。在这样的状况下，当进行在S900的处理时，能够辨别在跟随特征点中相对于背景有移动的特征点、和没有移动的特征点。在S902中，图像处理装置300将在被设定为跟随特征点的特征点中没有被赋予静止属性的特征点设定为移动特征点。这样，在被设定为跟随特征点的特征点中、相对于背景特征点有移动的特征点被设定为移动特征点。由以上的S900、S902的处理构成的移动检测处理完成，回到图7的处理。以上，通过利用图像处理装置300进行參照图5至图9的流程图所说明的处理，根据跟踪对象的移动自动设定从输入动态图像中对切出动态图像进行切出时的切出范围。此吋，由于包括跟踪区域和移动特征点的区域被设定为切出区域，因而当作为主要被摄体的人仅移动胳膊、或者动物仅移动尾巴时，能够抑制仅拍有胳膊的图像、仅拍有尾巴的图像被记录。并且，如參照图4所说明，能够根据跟踪对象相对于背景的移动的检测结果设定图像的切出位置和切出范围，能够获得观察者感兴趣的动态图像。
本发明不限定于上述的实施方式，能够在不脱离本发明主g的范围内进行各种变型和应用。例如，假定在图5的流程图所示的处理中，在对跟踪对象跟踪不了的时点将切出范围设定为默认值，以后，在该默认设定的切出范围内进行切出而作了说明。关于这一点，在跟踪对象是预先登记的特定的个人的面部等的情况下，通过继续进行图像识别处理，也能够再次捕捉跟踪对象。在这样的情况下，也能够构成为再次进行S502、S504、S506、S508以及S510的处理。并且，以上，说明了当数字照相机100在动态图像摄影模式下进行动作时生成切出动态图像的例子，然而可以构成为能够通过后处理生成切出图像。即，也能够进行这样的处理当进行一系列的动态图像摄影时，将输入动态图像记录在记录部340内，在动态图像摄影动作完成后，从记录部340读出该输入动态图像，生成切出动态图像。而且，可以使用数字照相机100以外的图像处理装置进行切出图像的生成处理。例如对输入到与例如计算机、录像机等连接的数字照相机100的输入动态图像实时、或者在暂时保存后进行切出动态图像的生成处理。或者，可以读出保存在存储卡或光盘等内的输入动态图像来进行切出动态图像的生成处理。在使用计算机进行切出图像的生成处理的情况下，用于使计算机执行以上说明的处理的图像处理程序由计算机执行。该图像处理程序被记录在存储卡或光盘、半导体存储器等的非暂时的计算机可读介质内。或者，也能够经由网络从服务器等的外部信息处理装置下载图像处理程序，将其保存在计算机配备的辅助存储装置等内。在上述的实施方式中，列举将本发明应用于作为摄像装置的数字照相机的例子作了说明，然而也能应用于数字摄像机和其它电子设备。以上，说明了本发明的实施方式，然而上述实施方式只不过示出本发明的应用例，意图并不是将本发明的技术范围限定于上述实施方式的具体结构。本发明能够在不脱离其主旨的范围内进行各种改进和变更。
权利要求
1.ー种图像处理装置，其具有 跟踪区域设定部，其在拍摄被摄体得到的输入动态图像中设定跟踪区域； 跟随特征点设定部，其检测跟随于所述跟踪区域的特征点，将检测出的该特征点设定为跟随特征点； 移动检测部，其检测所述跟随特征点伴随时间经过而在所述输入图像内的移动；以及 切出范围设定部，其设定图像的切出范围，根据所述移动检测部的所述移动的检测结果设定所述切出范围的大小和位置，其中，该切出范围是从所述输入图像中切出包含所述跟踪区域的部分图像并进行记录或显示或者记录及显示双方时的图像的切出范围。
2.根据权利要求I所述的图像处理装置，其中，在所述跟踪区域内包含有面部图像存在的面部区域和该面部区域附近的面部周边区域， 所述跟随特征点设定部将面部特征点和其它部特征点设定为所述跟随特征点，其中，该面部特征点是在所述面部区域和所述面部周边区域内存在的特征点，该其它部特征点是与所述面部区域相连的全身的除了该面部区域以外的部分的特征点。
3.根据权利要求2所述的图像处理装置，其中，所述切出范围设定部根据由所述移动检测部检测所述跟随特征点的所述移动的結果，将所述切出范围的大小和位置设定为所切出的图像包括所述跟随特征点中被检测出移动的特征点和所述跟踪区域。
4.根据权利要求I所述的图像处理装置，其中，该图像处理装置还具有背景特征点设定部，该背景特征点设定部根据存在于所述输入动态图像中的多个特征点伴随时间经过的移动量和移动速度，检测并设定背景特征点，其中，该背景特征点是所述输入图像中的背景部分的特征点， 所述移动检测部检测所述跟随特征点相对于所述背景特征点的移动， 所述切出范围设定部根据由所述移动检测部得到的所述跟随特征点相对于所述背景特征点的移动的大小和方向的检测结果设定所述切出范围的大小和位置。
5.根据权利要求2所述的图像处理装置，其中，该图像处理装置还具有背景特征点设定部，该背景特征点设定部根据存在于所述输入动态图像中的多个特征点伴随时间经过的移动量和移动速度，检测并设定背景特征点，该背景特征点是所述输入图像中的背景部分的特征点， 所述移动检测部检测所述跟随特征点相对于所述背景特征点的移动， 所述切出范围设定部根据由所述移动检测部得到的所述跟随特征点相对于所述背景特征点的移动的大小和方向的检测结果设定所述切出范围的大小和位置。
6.根据权利要求3所述的图像处理装置，其中，该图像处理装置还具有背景特征点设定部，该背景特征点设定部根据存在于所述输入动态图像中的多个特征点伴随时间经过的移动量和移动速度，检测并设定背景特征点，其中，该背景特征点是所述输入图像中的背景部分的特征点， 所述移动检测部检测所述跟随特征点相对于所述背景特征点的移动， 所述切出范围设定部根据由所述移动检测部得到的所述跟随特征点相对于所述背景特征点的移动的大小和方向的检测结果设定所述切出范围的大小和位置。
7.根据权利要求4所述的图像处理装置，其中，所述切出范围设定部根据由所述移动检测部得到的所述跟随特征点的所述移动的检测结果设定所述切出范围的大小和位置，使得在所述跟随特征点相对于所述输入图像中的背景的移动减少时，所述切出范围内的所述跟踪区域的图像所占的面积比例进ー步増加。
8.根据权利要求4所述的图像处理装置，其中，所述切出范围设定部根据由所述移动检测部得到的所述跟随特征点的所述移动的检测结果设定所述切出范围的大小和位置，使得在检测出所述跟随特征点作为整体相对于所述输入图像中的背景朝ー个方向移动时，向所述切出范围内的所述跟踪区域移动的侧提供更多空间。
9.根据权利要求7所述的图像处理装置，其中，所述切出范围设定部根据由所述移动检测部得到的所述跟随特征点的所述移动的检测结果设定所述切出范围的大小和位置，使得在检测出所述跟随特征点作为整体相对于所述输入图像中的背景朝ー个方向移动时，向所述切出范围内的所述跟踪区域移动的侧提供更多空间。
10.根据权利要求I所述的图像处理装置，其中，该图像处理装置还具有切出范围明示处理部，该切出范围明示处理部明示由所述切出范围设定部设定的切出范围。
11.根据权利要求I所述的图像处理装置，其中，该图像处理装置还具有 切出处理部，其从所述输入图像中切出由所述切出范围设定部设定的切出范围的图像；以及 切出图像记录部，其记录由所述切出处理部切出的图像。
12.—种图像处理方法，具有如下步骤 在拍摄被摄体得到的输入动态图像中设定跟踪区域； 检测跟随于所述跟踪区域的特征点，将检测出的该特征点设定为跟随特征点； 检测所述跟随特征点伴随时间经过而在所述输入图像内的移动；以及 根据通过检测所述移动而检测出的所述移动的检测結果，设定图像的切出范围的大小和位置，该切出范围是从所述输入图像中切出包含所述跟踪区域的部分图像并进行记录或显示或者记录及显示双方时的图像的切出范围。
全文摘要
本发明提供图像处理装置和图像处理方法。图像处理装置(300)具有跟踪区域设定部(310)，其在拍摄被摄体得到的输入动态图像中设定跟踪区域；跟随特征点设定部(314)，其检测跟随于跟踪区域的特征点，将检测出的该特征点设定为跟随特征点；移动检测部(318)，其检测伴随时间经过的跟随特征点在输入图像内的移动；以及切出范围设定部(320)，其设定从输入图像中切出包含跟踪区域的部分图像并进行记录或显示或者双方时的图像切出范围，根据移动检测部(318)的移动检测结果设定切出范围的大小和位置。
文档编号H04N5/225GK102694969SQ20121002088
公开日2012年9月26日 申请日期2012年1月30日 优先权日2011年3月25日
发明者坂田诚一郎 申请人:奥林巴斯映像株式会社