专利名称：图像处理装置、图像处理方法以及摄像装置的制作方法
技术领域：
本发明涉及用于判定通过摄影装置等图像输入设备生成的一系列多帧图像中的被摄体的主要度的技术。
背景技术：
例如，希望对于数字照相机拍摄的图像进行图像处理以能够感到图像更好。这种情况下，通过在图像内划分出由摄影者判断为主要被摄体的被摄体(主要度高的被摄体) 所存在的区域及其以外的区域进行处理，能得到有效的结果。例如，可以进行通过提升主要度高的被摄体的彩度，降低此外的被摄体的彩度，使得主要度高的被摄体更为醒目等的图像处理。另外，除了这种图像处理之外，在进行数字照相机的自动调焦(AF)控制和自动曝光调节(AE)控制等时，对AF和AE控制部输入主要被摄体的信息，能进行更为有效的控制。 例如，在动态图像摄影时，控制为持续检测(跟踪)主要度高的被摄体在画面内所存在的位置，从而能够持续对该位置进行对焦和曝光，使得照相机的使用便利性得以提升。因此，为了更有效地进行上述图像处理和摄像的AF、AE等控制，更为准确地判定所拍摄的图像中被摄体的主要度就变得重要起来。在日本特许第4254873号公报中所公开的技术是根据所输入的图像检测脸部图像，按照脸部图像的位置、动作和速度，确定被摄体的重要度和优先顺序。在该日本特许第 42M873号公报中，在判定被摄体的主要度时遵从如下基准。(1)检测脸部的大小越大则越提高主要度。(2)检测脸部的动作越快则越降低被摄体的主要度。(3)存在多个检测脸部的情况下，越处于帧下侧的脸部则越提高主要度。(4)存在多个检测脸部的情况下，除了( 之外越接近脸部重心则越提高主要度。另外，日本特开2010-9425号公报中公开的技术是当画面内映有多个被摄体的情况下，根据这些被摄体的动作确定被摄体的主要度。在日本特开2010-9425号公报所公开的技术中，将拍摄了动态图像的摄影装置的动作与画面内所映的被摄体的动作一起提取出来。而且使用这些动作的差(相对速度)确定被摄体的主要度。即，若在摄影者改变摄影装置的朝向的同时跟踪被摄体，则相对速度会变低。反之，若固定了摄影装置的朝向，不跟踪被摄体，则相对速度会上升。并且，将相对速度低的被摄体作为主要被摄体。日本特许第42M873号公报所公开的内容中，仅使用检测出的脸部大小、数量、动作速度作为从图像得到的特性值，进行被摄体主要度的判定，存在有时无法可靠地反应摄影者意图的情况的问题。例如，当行人横穿原本作为被摄体的人物与摄影者之间的情况下， 会检测出该行人的脸部。检测出的脸部(行人的脸部)大小大于原本作为被摄体的人物的脸部大小，因此存在所得到的判定结果不太理想的可能。在日本特开2010-9425号公报所公开的内容中，例如当欲拍摄的主要被摄体的动作快的情况下，当使摄影装置朝向主要被摄体方向进行构图确定等的过程中，无法在画面内捕捉住该被摄体，主要被摄体脱出画面外(摄影范围之外)的情况下，可能会将该被摄体的主要度判定得低。其结果，图像处理和AF、AE等控制有时会与用户所期待的内容不同。
发明内容
本发明就是鉴于上述课题而完成的，其目的在于提供一种能更为准确地判定图像中被摄体的主要度的技术。根据本发明的第一方面，图像处理装置判定被摄体在图像中的主要度，其具有图像输入部，其输入按照时序拍摄得到的一系列多帧图像；判定对象区域提取部，其从通过上述图像输入部输入的上述多帧图像中提取出作为进行主要度判定的对象的判定对象区域; 以及判定部，其根据上述多帧图像中的上述判定对象区域的出现频度，对上述判定对象区域的主要度进行判定。根据本发明的第二方面，图像处理方法判定被摄体在图像中的主要度，具有图像输入步骤，输入按照时序拍摄得到的一系列多帧图像；判定对象区域提取步骤，从在上述图像输入步骤中输入的上述多帧图像中提取出作为进行主要度判定的对象的判定对象区域; 以及判定步骤，根据上述多帧图像中的上述判定对象区域的出现频度，对上述判定对象区域的主要度进行判定。根据本发明的第三方面，摄像装置具有能够对通过摄影镜头形成的被摄体像进行光电转换而输出图像信号的摄像元件，其具有图像输入部，其输入从上述摄像元件按照时序输出的一系列多帧图像；判定对象区域提取部，其从通过上述图像输入部输入的上述多帧图像中提取出作为进行主要度判定的对象的判定对象区域；以及判定部，其根据上述多帧图像中的上述判定对象区域的出现频度，对上述判定对象区域的主要度进行判定。
图1是概要说明图像处理装置的内部构成的框图。图2是说明图像处理装置设置于数字照相机的例子的框图。图3是说明通过执行图像处理程序的计算机实现图像处理装置的例子的框图。图4是说明第1实施方式的数字照相机所拍摄的摄影场景的一个例子的图。图5是说明对所输入的图像进行分析以提取出多个区域(判定对象区域)的情形的图。图6是说明在第1实施方式的数字照相机内执行的主要度判定处理及其后续的一系列摄影动作的处理步骤的流程图。图7是表示每个判定对象区域的出现频度导出结果的一个例子的图。图8A是说明通过第2实施方式的照相机提取出判定对象区域的情形的图，是表示输入到图像输入部的1帧图像的图。图8B是说明通过第2实施方式的照相机提取出判定对象区域的情形的图，是说明提取出6个判定对象区域的情形的图。图8C是说明通过第2实施方式的照相机提取出判定对象区域的情形的图，是说明提取出各判定对象区域的重心附近的区域的情形的图。图9是说明在第2实施方式的数字照相机内执行的主要度判定处理及其后续的一系列摄影动作的处理步骤的流程图。图10是说明导出各个判定对象区域的出现频度时，根据释放时刻与各个判定对象区域的出现时刻的时间差加权时的特性例的曲线图。图IlA是说明根据图10所示的加权特性对各判定对象区域的出现频度进行加权的情形的图，是举例示出未经加权导出的出现频度的图。图IlB是说明根据图10所示的加权特性对各判定对象区域的出现频度进行加权的情形的图，是举例示出加权后导出的出现频度的图。图12A是说明通过第3实施方式的数字照相机提取出判定对象区域的情形的图， 是表示输入到图像输入部的1帧图像的图。图12B是说明通过第3实施方式的数字照相机提取出判定对象区域的情形的图， 是表示提取出3个判定对象区域的情形的图。图13是说明在第3实施方式的数字照相机内执行的主要度判定处理及其后续的一系列摄影动作的处理步骤的流程图。图14是说明导出各个判定对象区域的出现频度时，根据判定对象区域内的亮度和彩度，进行加权时的特性例的曲线图。图15是说明导出各个判定对象区域的出现频度时，根据判定对象区域内的亮度和彩度中的任意一个，进行加权时的特性例的曲线图。图16A是说明根据图14或图15举例示出的加权特性对各判定对象区域的出现频度进行加权的情形的图，是举例示出了未经加权导出的出现频度的图。图16B是说明根据图14或图15举例示出的加权特性对各判定对象区域的出现频度进行加权的情形的图，是举例示出了加权后导出的出现频度的图。图17A是说明通过第4实施方式的数字照相机提取出判定对象区域的情形的图， 是表示输入到图像输入部的1帧图像的例子的图。图17B是说明通过第4实施方式的数字照相机提取出判定对象区域的情形的图， 是表示当对数字照相机进行摇拍时，接着图17A所示的图像输入到图像输入部的1帧图像的例子的图。图17C是说明通过第4实施方式的数字照相机提取出判定对象区域的情形的图， 是说明当对数字照相机进行摇拍时根据前后输入的2帧图像导出运动矢量的情形的图。图17D是说明通过第4实施方式的数字照相机提取出判定对象区域的情形的图， 是表示根据移动矢量的相似度提取出3个判定对象区域的情形的图。图18A是说明对判定对象区域的连续出现次数进行计数的情形的图，是表示将连续出现次数计数为3时的例子的图。图18B是说明对判定对象区域的连续出现次数进行计数的情形的图，是表示将连续出现次数计数为2时的例子的图。图19是说明在第4实施方式的数字照相机内执行的主要度判定处理及其后续的一系列摄影动作的处理步骤的流程图。图20是表示对每个判定对象区域计数的连续出现次数的例子的曲线图。图21是说明导出各个判定对象区域的出现频度时，根据判定对象区域的连续出现次数进行加权时的特性例的曲线图。
6
图22A是说明根据图21所示的加权特性对各判定对象区域的出现频度进行加权的情形的图，是举例表示未经加权导出的出现频度的图。图22B是说明根据图21所示的加权特性对各判定对象区域的出现频度进行加权的情形的图，是举例表示加权后导出的出现频度的图。图23A是示意性表示沿着时间轴积算由依次输入的多帧图像导出的运动矢量的方法的图，是示意性表示在相邻帧之间导出的运动矢量组的图。图2 是示意性表示沿着时间轴积算由依次输入的多帧图像导出的运动矢量的方法的图，是示意性表示沿着时间轴积算运动矢量时忽略运动矢量的方向而仅积算绝对值的情形的图。图23C是示意性表示沿着时间轴积算由依次输入的多帧图像导出的运动矢量的方法的图，是示意性表示沿着时间轴积算运动矢量时加入运动矢量的方向和绝对值进行积算的情形的图。图M是说明在第5实施方式的数字照相机内执行的主要度判定处理及其后续的一系列摄影动作的处理步骤的流程图。图25是表示对每个判定对象区域导出的静止度的例子的曲线图。图沈是说明导出各个判定对象区域的出现频度时，根据判定对象区域的静止度进行加权时的特性例的曲线图。图27A是说明根据图沈所示加权特性对各判定对象区域的出现频度进行加权的情形的图，是举例表示未经加权导出的出现频度的图。图27B是说明根据图沈所示加权特性对各判定对象区域的出现频度进行加权的情形的图，是举例表示加权后导出的出现频度的图。
具体实施例方式图1是说明本发明实施方式涉及的图像处理装置100的概要构成的框图。图像处理装置100具有图像输入部102、判定对象区域提取部104、判定部106。图像输入部102输入按照时序拍摄得到的一系列多帧图像。判定对象区域提取部 104从通过图像输入部102输入的多帧图像中提取出作为进行主要度判定的对象的判定对象区域。判定部106根据判定对象区域提取部104提取出的每个判定对象区域的出现频度，对判定对象区域的主要度进行判定。后面详细叙述这些图像输入部102、判定对象区域提取部104、判定部106的处理。图像处理装置100可以设置于数字照相机、数字摄像机等图像输入装置内。或者能够通过记录于记录介质的图像处理程序和执行该图像处理程序的计算机安装作为图像处理装置100的功能。图2是表示在数字照相机、数字摄像机等数字照相机200安装有图像处理装置A 的例子的框图。数字照相机200具有摄影光学系统210、镜头驱动部212、摄像部220、模拟前端(图2中标记为“AFE”)222、图像记录介质230、操作部M0、显示部250、存储部沈0、 CPU270、图像处理装置100A、系统总线沘0。存储部260具有R0M262和RAIC64。镜头驱动部212、摄像部220、模拟前端222、图像记录介质230、操作部M0、显示部250、存储部洸0、CPU270和图像处理装置100A经由系统总线沘0电连接。RAM264构成为可从CPU270和图像处理装置100A这双方进行访问。摄影光学系统210将被摄体像形成于摄像部220的受光区域。镜头驱动部212进行摄影光学系统210的焦点调节动作。另外，当摄影光学系统210为可变更焦距的光学系统的情况下，摄影光学系统210也可以构成为能被镜头驱动部212驱动来变更焦距。摄像部220对形成于受光区域上的被摄体像进行光电转换以生成模拟图像信号。 该模拟图像信号被输入到模拟前端222。模拟前端222对从摄像部220输入的图像信号进行降噪、放大、A/D转换等处理，生成数字图像信号。该数字图像信号暂时存储于RAIC64。图像处理装置100A对暂时存储于RAIC64的数字图像信号实施逆马赛克变换 (demosaicing)、灰度转换(tone conversion)、颜色平衡校正、黑点校正、降噪等各种数字信号处理，按照需要将其记录于图像记录介质230或输出给显示部250。图像记录介质230由闪存和磁记录装置等构成，以能够拆装的方式安装于数字照相机200。并且，图像记录介质230可以内置于数字照相机200。此时能够在R0IC62内确保用于图像数据记录的区域。操作部240具有按压式开关、滑动式开关、转盘式开关、触摸面板等中任意一种或多种，构成为可受理用户的操作。显示部250具有TFT液晶显示面板和背光装置、或有机EL 显示元件等自发光式显示元件(light-emitting display device)，构成为可以显示图像和文字等信息。并且，显示部250具有显示接口处理部，由显示接口处理部读取出写入到设置于RAM264上的VRAM区域内的图像数据，在显示部250显示图像和文字等信息。R0M262由闪存等构成，存储有CPU270所执行的控制程序(固件)、调整参数或未接通数字照相机200的电源的状态下也需要保持的信息等。RAIC64由SDRAM等构成，具有比较高速的存取速度。CPU270对从R0M262转发到RAIC64的固件进行解释/执行，综合控制数字照相机200的动作。图像处理装置100A由DSP (数字信号处理器)等构成，对暂时存储于RAM264的数字图像信号实施上述各种处理，生成记录用图像数据、显示用图像数据等。图像处理装置 100A还具有图像输入部102A、判定对象区域提取部104A、判定部106A，进行如下说明的处理。作为前提，数字照相机200以对静态图像进行摄影的模式进行动作，在开始释放动作之前的摄影准备动作状态下，处于可受理用户的释放操作的状态。另外，在摄影准备动作状态下，通过摄像部220以规定的帧速率、例如30fps (帧/秒)重复进行摄像动作，由图像处理装置100A生成实时浏览显示用的图像数据并在显示部250显示实时浏览图像。此时，图像输入部102A依次输入按照时序拍摄得到的一系列多帧图像。当如上以30fps进行实时浏览显示用的摄像动作时，图像输入部102A既可以输入所有帧图像，也可以每隔规定的多个帧输入1帧图像。判定对象区域提取部104A从图像输入部102A所输入的多帧图像中分别提取出作为进行主要度判定的对象的判定对象区域。判定对象区域提取部104A记录能确定所提取的判定对象区域的信息以及与各判定对象区域的每一个的出现频度有关的信息。而当检测到用户的释放操作时，判定部106A根据判定对象区域提取部104A提取出的判定对象区域及其出现频度，对判定对象区域的主要度进行判定。关于判定对象区域提取部104A中的判定对象区域提取和判定对象区域的出现频度的记录，可以在如下期间内持续执行从接通数字照相机200的电源而将其动作模式切换为摄影模式而开始摄影准备动作起到检测出用户的释放操作为止。或者可以在开始摄影准备动作后持续进行判定对象区域提取和判定对象区域的出现频度的记录，始终记录最新的上述提取结果和计数结果，依次舍去其中早期的提取结果和计数结果，始终保持最新的规定时间长度所相应的提取结果和计数结果。关于上述内容，设从开始摄影准备动作起到进行释放动作为止的期间例如经过了 60秒时间而进行说明。该60秒钟内的提取结果和计数结果全部可以被记录且被参照。或者也可以舍去早期的信息、例如从释放动作的时刻退回30秒之前得到的提取结果和计数结果，始终参照最新的30秒钟内的提取结果和计数结果，判定主要度。在判定部106A中参照判定了判定对象区域的主要度的结果，在数字照相机200进行焦点调节、曝光调整、颜色校正等处理。即，可以着重对图像内映出的主要被摄体的位置进行焦点调节、曝光调整、颜色校正处理等。图3是说明安装了计算机的CPU读取记录于记录介质的图像处理程序并执行，作为图像处理装置的功能的例子的框图。计算机300具有CPU310、存储器320、辅助存储装置 330、接口 ；340、存储卡接口 ；350、光盘驱动器360、网络接口 370、显示装置380。CPU310、存储卡接口 350、光盘驱动器360、网络接口 370、显示装置380经由接口 340电连接。存储器320是DDR SDRAM等具有比较高的访问速度的存储器。辅助存储装置330 由硬盘驱动器或固态驱动器(SSD)等构成，具有较大的存储容量。存储卡接口 350构成为能够以自由拆装的方式安装存储卡MC。通过数字照相机等进行摄影动作生成且存储于存储卡MC内的图像数据经由该存储卡接口 350读取到计算机 300内。另外，还可以将计算机300内的图像数据写入存储卡MC。光盘驱动器360构成为能够从光盘OD读取数据。光盘驱动器360还可以按照需要将数据写入光盘0D。网络接口 370构成为可以在经由网络NW连接的服务器等外部信息处理装置与计算机300之间收发信息。图像处理装置100B是通过CPU310对加载于存储器320上的图像处理程序进行解释/执行来实现的。该图像处理程序记录于存储卡MC和光盘OD等的非暂时性计算机可读取介质中并发布给计算机300的用户。或者可以经由网络NW从服务器等外部信息处理装置下载图像处理程序，保持于辅助存储装置330等。图像处理装置100B具有图像输入部102B、判定对象区域提取部104B、判定部 106B，进行如下说明的处理。其前提在于，在计算机300上执行对动态图像数据进行处理的程序，依次读取出从存储卡MC、光盘OD等读入并存储于辅助存储装置330的动态图像数据，进行判定动态图像中映出的主要被摄体的处理。图像输入部102B从辅助存储装置330依次读取出按照时序拍摄得到的一系列多帧图像并输入。此时，图像输入部102B既可以输入从辅助存储装置330读取出的所有帧图像，也可以每隔规定多帧输入1帧图像。判定对象区域提取部104B从通过图像输入部102B输入的多帧图像中提取出作为进行主要度判定的对象的判定对象区域。判定部106B根据判定对象区域提取部104B所提取出的判定对象区域的出现频度，对判定对象区域的主要度进行判定。判定对象区域提取部104B中的上述处理既可以与从一个动态图像文件所包含的动态图像数据的开头到末尾进行读取对应地进行，也可以对动态图像数据中的开头、中间部分、末尾部分等一部分数据进行。图像输入部102B、判定对象区域提取部104B、判定部106B的处理结束后，图像处理装置100B进行对收容有进行了上述处理的动态图像数据的动态图像文件附加与图像中映出的主要被摄体有关的信息的处理。通过进行如上处理，能够将图像中映出的主要被摄体的信息作为标签信息等元数据附加给动态图像文件。例如在显示装置380显示动态图像文件一览时，根据附加给动态图像文件的上述元数据，显示图像所映出的主要被摄体的缩小图像等，或对映有相同被摄体的动态图像文件分组化，从而用户能易于找出作为目标的动态图像文件。以下如图2所示，以图像处理装置100A设置于数字照相机200的情况为例，说明几个实施方式。作为以下说明的前提，设数字照相机200已接通电源且设定为摄影模式。而且通过摄像部200重复进行用于在显示部250显示实时浏览图像的摄像动作，处于可受理用户的释放操作的状态，在图像输入部102A、判定对象区域提取部104A、判定部106A分别进行后述各实施方式中详细说明的处理，依次判定图像中映出的判定对象区域的主要度。 而当检测到用户的释放操作时，根据在判定部106A对判定对象区域的主要度判定的结果， 进行焦点调节、曝光调整、颜色校正等处理。即，进行着重于图像内映出主要被摄体的位置的焦点调节、曝光调整、颜色校正处理等。第1实施方式图4是表示通过数字照相机200的摄像部220拍摄并生成，输入到图像输入部 102A的图像的一个例子的图。判定对象区域提取部104A对所输入的图像中的各像素的颜色和位置进行分析，根据它们的相似度，提取出判定对象区域、即进行主要度判定的对象的区域。图5表示判定对象区域提取部104A提取出的判定对象区域(区域1、区域2.....
区域6)。并且，判定对象区域提取部104A重复进行提取判定对象区域的处理，确定处于最初提取出的各判定对象区域中的重心位置的区域或各判定对象区域中的代表性区域(若判定对象区域为脸部则为映出眼睛等的区域)，在此后的处理中进行提取出与上述各判定对象区域中代表性区域相同或相似的区域的处理，从而能减轻处理负担。另外，判定对象区域提取部104A进行的上述判定对象区域提取处理既可以对摄像部220所拍摄并依次生成的所有帧图像进行，也可以对通过一定时间间隔或不是一定的时间间隔间疏读取而得到的图像进行。然而，若摄影对象的动作剧烈，或判定对象区域处于画面端部，则与动作剧烈的摄影对象对应的判定对象区域和处于画面端部的判定对象区域的一部分有时会落到画面之外而缺失。为了应对这种情况，判定对象区域提取部104A可以预先确定这样的判定基准 (阈值)当出现缺失的判定对象区域中还存留于画面内的面积在原面积的规定百分比以上时，判定为“出现”。判定部106A根据判定对象区域提取部104A提取出的判定对象区域和对应于各个判定对象区域而导出的出现频度，判定主要度。在判定部106A进行的主要度判定的处理可以按照目的采取各种形式。例如，既可以是从判定对象区域提取部104A提取出的判定对象区域中确定主要度最高的部分的处理，也可以是对所有判定对象区域的主要度赋予顺序的处理。或者还可以是提取出所有判定对象区域中最上位的3个、5个、20个等多个判定对象区域的处理。还可以是对提取出的被定位成上位的多个判定对象区域赋予顺序的处理。图6是说明通过数字照相机200的CPU270和图像处理装置100A执行的摄影动作流程的流程图。图6所示的流程是当接通了数字照相机200的电源，将其动作模式设定为摄影模式时开始执行的。在S600中，图像输入部102A进行输入1帧图像的处理。在S602中，判定对象区域提取部104A进行提取判定对象区域的处理。在S604中，判定对象区域提取部104A进行导出每个判定对象区域的出现频度，将与该出现频度对应的信息和能确定判定对象区域的信息一起记录的处理。在S606中，CPU270判定是否存在释放操作，该判定为否定的期间内、即用户未进行释放操作的期间内重复进行从S600到S606的处理。其间，在显示部250 显示实时浏览图像，用户在观看该实时浏览图像的同时调节构图。如上所述，S600中输入 1帧图像的处理既可以对用于实时浏览显示而通过30fps、60fps等帧速率生成的所有图像数据进行，也可以对通过一定时间间隔或不是一定的时间间隔间疏读取而得到的图像数据进行。当步骤S606的判定为肯定、即检测到用户的释放操作时，处理进入步骤S608，判定部106A进行比较每个判定对象区域的出现频度的处理。图7是表示在进行S608的处理的时刻的每个判定对象区域的出现频度的一个例子的曲线图。在图7所示的例子中，当重复执行从S600到S606的处理的期间内提取出6个判定对象区域，区域编号被赋予6号的判定对象区域的出现频度最高，接下来是区域编号被赋予3号、4号的判定对象区域的出现频度高。在S610根据S608的每个判定对象区域的出现频度的比较结果，进行对判定对象区域的主要度进行判定的处理。也就是说，参照图5说明可知，S608中进行对每个判定对象区域的出现频度比较的处理的结果是判定为处于画面内右侧的花(区域6)的主要度最高。如上所述，在S610进行的主要度判定中，既可以提取出主要度最高的判定对象区域，也可以提取出处于排序上位的多个判定对象区域。或者还可以生成与所有或处于排序上位的多个判定对象区域及其顺序有关的信息。在S612中，以与S610中判定为主要度高的判定对象区域对焦的方式进行焦点调节。在S614进行曝光动作。关于进行该曝光动作时的曝光量，优选着重于S610中判定为主要度高的判定对象区域的被摄体亮度来确定。在S616中，对S614的曝光动作得到的图像信号进行处理，进行生成图像数据的处理。此时，优选使得与S610中判定为主要度高的判定对象区域对应的部分图像变得更好的方式调节配色、对比度等。在S618中，将S616的处理中生成的图像数据记录于图像记录介质230。此时，可以将与判定为主要度高的判定对象区域关联的信息作为标签信息附加给图像数据。如上所述，根据第1实施方式，从摄影准备动作中输入的一系列多帧图像中分别提取出判定对象区域，导出各个判定对象区域的出现频度。然后伴随着释放操作的进行，根据各判定对象区域的出现频度进行主要度的判定。而且通过以判定为主要度高的判定对象区域为主体进行焦点调节，用户能够在不必进行复杂操作的情况下易于得到反映了创作意图的图像。第2实施方式图8A是表示由图2所示的数字照相机200的摄像部220所拍摄生成并输入到图像输入部102A的图像的一个例子的图。判定对象区域提取部104A对所输入的图像中的各像素的颜色和位置进行分析，根据它们的相似度提取出判定对象区域。图8B表示判定对象区域提取部104A提取出的判定对象区域(区域1、区域2.....
区域6)。另外，图8C中用矩形表示判定对象区域提取部104A提取出的上述判定对象区域各自重心附近的区域。在第2实施方式中，当提取出的判定对象区域为初次出现的情况下 (重复提取判定对象区域的过程中，该判定对象区域为初次提取出的情况下)，判定对象区域提取部104A提取该判定对象区域的重心附近区域的图案。而且当重复进行从图像输入部102A输入的一系列多帧图像中提取出判定对象区域的处理时，进行提取出与上述各判定对象区域中的重心附近的区域相同或相似区域的处理。通过进行这种处理，能够减轻处理负担。当然也可以与第1实施方式中说明的内容相同地，以提取出的判定对象区域整体作为基准图案，从此后所输入的图像中搜索相似的图案。与第1实施方式中说明的内容相同地，判定对象区域提取部104A进行的上述判定对象区域提取的处理既可以对摄像部220所拍摄并依次生成的所有帧图像进行，也可以对通过一定时间间隔或不是一定的时间间隔间疏读取而得到的图像进行。在第2实施方式中，判定对象区域提取部104A在进行数字照相机200的释放操作之前的阶段，对重复提取的判定对象区域的出现时刻每次进行记录。也就是说，对随着时间经过而输入的一系列多个图像分别判定是否存在判定对象区域，当判定为存在判定对象区域的情况下，将能确定各个判定对象区域的信息与能确定该判定对象区域的出现时刻的信息一起记录。此后，当检测到释放操作时，判定部106A求出被判定对象区域提取部104A提取出并记录的各个判定对象区域的出现时刻与检测到释放操作的时刻(以下称之为释放时刻) 之间的时间差。而且以该时间差越小(判定对象区域的出现时刻为离现在越近的过去)则越被赋予越高的权重的方式导出各个判定对象区域的出现频度，判定各个判定对象区域的
主要度。图9是说明通过数字照相机200的CPU270和图像处理装置100A执行的摄影动作流程的流程图。图9所示的流程是当接通了数字照相机200的电源且将其动作模式设定为摄影模式时开始执行的。在图9的流程图中，对于与第1实施方式中图6的流程图中处理相同内容的处理步骤赋予与图6流程图中所使用的步骤符号相同的符号，适当简化说明， 以与第1实施方式的不同之处为中心进行说明。在图9的流程图中，将图6的流程图中S604的处理(记录每个判定对象区域的出现频度的处理)置换为S900和S902的处理。另外，图6的流程图中S608的处理置换为 S904的处理。以上内容为图9的流程图与第1实施方式的不同之处。在摄影准备动作中，在S602提取判定对象区域。当该判定对象区域为初次提取的情况下，在S900提取该判定对象区域的重心附近的图案。在S902中，将可确定检测到出现的判定对象区域的信息与可确定该判定对象区域的出现时刻的信息一起记录。在摄影准备
12动作中重复进行S600、S602、S900、S902和S606的处理，其结果是记录了判定对象区域的出现履历(哪个判定对象区域在哪个定时出现的记录)。此后，当S606中检测到用户进行了释放操作时，进行S904的处理。在S904中，判定部106A参照上述判定对象区域的出现履历，导出释放时刻与各个判定对象区域的出现时刻之差(时间差)。而且当导出各判定对象区域的出现频度时，释放时刻与出现时刻之差越小，则越被赋予高的权重。图10的曲线图表示进行上述加权时的特性的一个例子。在图10所示的例子中， 当判定对象区域的出现时刻与释放时刻大致一致时，赋予接近2的值作为加权系数。另一方面，随着判定对象区域的出现时刻远离释放时刻，加权系数接近于0。这种加权特性可以预先定义为将释放时刻与判定对象区域的出现时刻之差作为变量的函数。或者还可以将图 10举例示出的特性制作为对照表，预先存储于R0IC62内。图11是举例示出在判定部106A进行了 S904的加权处理，导出了各判定对象区域的重心附近区域的出现频度的情形的例子的图。在图11所示的曲线图中，横轴是重心编号 (等同于判定对象区域的区域编号)，纵轴是出现频度。图IlA表示不进行上述加权处理而导出的出现频度的例子，图IlB表示进行了上述加权处理之后导出的出现频度的例子。在图11所示的例子中，设对应于重心编号2的判定对象区域的出现时刻与释放时刻之间的时间差较大。即，设对应于重心编号2的判定对象区域具有出现于离现在较远的过去的时间段的倾向。基于该原因，以使得图IlB所示的进行了加权处理之后的出现频度低于图IlA所示的进行加权处理之前的出现频度的方式导出对应于重心编号2的判定对象区域的出现频度。另外，对应于重心编号6的判定对象区域的出现时刻与释放时刻之间的时间差较小。即，对应于重心编号6的判定对象区域具有出现于离现在较近的过去的时间段的倾向。基于该原因，以使得图IlB所示的进行了加权处理之后的出现频度高于图IlA 所示的进行加权处理之前的出现频度的方式导出对应于重心编号6的判定对象区域的出现频度。在上述S904的处理之后，接着在S610由判定部106A进行判定主要度的处理。根据S610中主要度的判定结果，进行S612、S614、S616和S618的处理。如上所述，根据第2实施方式，从摄影准备动作中所输入的一系列多帧图像中分别提取出判定对象区域，当提取出的判定对象区域为初次提取的情况下，提取出该判定对象区域的重心附近的图案。此后进行提取与该重心附近的图案相似的区域的处理，因此能降低图像处理装置100A的处理负担。另外，当从摄影准备动作中所输入的一系列多帧图像中分别提取出判定对象区域 (的重心附近的区域)时，将可确定这些区域的信息与可确定出现时刻的信息一起记录。而当检测到用户的释放操作时，以释放时刻与出现时刻之差越小则越赋予高权重的方式导出各判定对象区域的出现频度，判定主要度。因此可以进行着重于出现履历较新(具有在离现在较近的过去出现的倾向)的判定对象区域的主要度的判定。例如，用户为了在摄影准备动作中发现作为目标的被摄体，在观看实时浏览图像的同时调节数字照相机200的朝向和焦距。在该过程中也持续进行判定对象区域的提取。而当发现了作为目标的被摄体之后，用户以使得该被摄体收敛于画面内的方式使数字照相机200持续朝向作为目标的被摄体，当等到快门时机时进行释放操作。这种情况下，根据第2实施方式，能够更为准确地判定被摄体的主要度，得到反映了用户的创作意图的图像。第3实施方式在第3实施方式中，说明当数字照相机200被设定为特定的摄影模式、例如宏观模式等情况下尤为有效的例子。图12是表示通过数字照相机200的摄像部200拍摄并生成且被输入到图像输入部102A的图像的一个例子的图。判定对象区域提取部104A对图12A 举例示出的所输入的图像中的各像素的颜色和位置进行分析，根据它们的相似度，提取判定对象区域。图12B表示判定对象区域提取部104A提取出的判定对象区域的例子(区域 1、区域2、区域3)。并且，图12中区域3映出的花的亮度和彩度均比区域2映出的花的亮度和彩度高。而且区域1映出背景。在第3实施方式中，判定对象区域提取部104A每次记录与进行数字照相机200的释放操作之前的阶段重复提取出的判定对象区域的亮度和彩度有关的信息。即，判定随时间经过而输入的一系列多个图像各自是否存在判定对象区域，当判定为存在判定对象区域时，将可确定各个判定对象区域的信息与可确定该判定对象区域的亮度和彩度的信息和出现频度一起记录。此时，判定对象区域提取部104A还记录各判定对象区域的区域属性的信息。区域属性的信息包含估计判定对象区域中存在何种被摄体得出的结果。例如在区域属性的信息中可能包含可确定“背景”、“花”、“脸部”等种类的信息。在本实施方式中，判定对象区域提取部104A估计判定对象区域是否为背景，为背景的可能性高的情况下将该情况记录于区域属性的信息中。在该是否为背景的估计中可以参考判定对象区域的颜色、亮度、空间频率、区域大小等。在图12B所示例子中，以判定出区域1为背景来进行说明。在重复进行由判定对象区域提取部104A从图像输入部102A输入的一系列多帧图像中提取判定对象区域的上述处理时，可使用第1、第2实施方式所说明的任意一种方法。 另外，上述判定对象区域提取处理既可以对摄像部220所拍摄并依次生成的所有帧图像进行，也可以对通过一定时间间隔或不是一定的时间间隔间疏读取而得到的图像进行。判定部106A在判定各判定对象区域的主要度时，当判定对象的出现频度为相同频度时，以使得与亮度和彩度更高的判定对象区域的出现对应地导出的出现频度变得更高的方式导出出现频度。然后将所导出的出现频度更高的判定对象区域的主要度判定为高。判定部106A还从判定对象区域提取部104A提取出的判定对象区域中根据上述区域属性的信息确定与映出背景的部分对应的判定对象区域，构成为可以进行将其从判定主要度时的对象中排除的处理。图13是说明通过数字照相机200的CPU270和图像处理装置100A执行的摄影动作流程的流程图。图13所示的流程是当接通数字照相机200的电源，将其动作模式设定为摄影模式时开始执行的。在图13的流程图中，对于与第1实施方式中图6的流程图中处理相同内容的处理步骤赋予与图6流程图中所使用的步骤符号相同的符号，适当简化说明， 以与第1实施方式的不同之处为中心进行说明。在图13的流程图中，将图6的流程图中S604的处理(记录每个判定对象区域的出现频度的处理)置换为S1300的处理。另外，图6的流程图中S608的处理置换为S1302、 S1304、S1306的处理。以上内容为图13的流程图与第1实施方式的不同之处。
在摄影准备动作中，在S602提取判定对象区域，在S1300将可确定该判定对象区域的信息和与该判定对象区域的出现频度、亮度、彩度、区域属性有关的信息一起记录。此后，当在S606检测出用户进行了释放操作时，进行S1302的处理。在S1302中， 判定数字照相机200当前设定的摄影模式是否为宏观模式，若为肯定则进入S1304，若为否定则进入S1306。在作为判定为所设定的模式是宏观模式时的分支方向的S1304中，根据 S602提取出的判定对象区域中在S1300记录的区域属性的信息，将背景区域(与映出背景的部分对应的区域)从主要度判定的对象中排除。在S1306中，根据在S1300记录的亮度、彩度的信息，进行以对S602中提取出的判定对象区域中亮度、彩度越高的区域越赋予高权重的方式导出各判定对象区域的出现频度的处理。其中，参照图14、图15说明导出判定对象区域的出现频度时，对亮度、彩度越高的区域越赋予高权重的例子。图14是示意性表示导出判定对象区域的出现频度时，按照判定对象区域的亮度、 彩度设定的权重特性的一个例子的曲线图。在图14所示的例子中，表示出对应于亮度(L) 和彩度( 的组合来定义加权系数的情形。在图14的曲线图中示出了亮度越增加、彩度越增加以及亮度和彩度越增加则加权系数变大的例子。即，当存在多个相同出现频度的判定对象区域的情况下，其特性为该判定对象区域的亮度、彩度变得越高则出现频度也会被计数得高。该加权特性可以预先定义为将亮度和彩度作为变量的函数。或者还可以将图14 举例示出的加权特性制作为对照表，预先存储于R0IC62内。并且，图14示出了亮度和彩度越增加则加权系数也增加的例子，而如图15的曲线图所示，也可以仅根据亮度或仅根据彩度确定加权系数。这种情况下只要以彩度越增加则加权系数也增加或亮度越增加则加权系数也变大的方式即可。图15所示的加权特性也可以预先定义为将亮度或彩度作为变量的函数。或者还可以将图15举例示出的加权特性制作为对照表，预先存储于R0IC62内。再次返回参照图13的流程图所作的说明，在上述S1306的处理之后，接着在S610 由判定部106A进行判定主要度的处理。根据S610的主要度的判定结果，进行S612、S614、 S616和S618的处理。图16是说明数字照相机200的摄影模式被设定为宏观模式，进行了 S1304的处理，其结果为从判定对象中排除了作为判定对象区域的区域1，判定区域2和区域3的主要度的例子的图。在图16所示的曲线图中，横轴为判定对象区域的区域编号，纵轴为出现频度。图16A表示未经上述加权处理就导出的出现频度的例子，图16B表示进行了上述加权处理后导出的出现频度的例子。在图16所示的例子中，判定对象区域3的亮度、彩度较大，判定对象区域2的亮度、彩度较小。因此以使得图16B所示的判定对象区域2的出现频度比图16A所示的进行加权处理之前的判定对象区域2的出现频度低的方式进行导出。还以使得图16B所示的判定对象区域3的出现频度比图16A所示的进行加权处理之前的判定对象区域3的出现频度高的方式进行导出。其结果为在S610中判定为判定对象区域3的主要度高，对作为与该判定对象区域3对应的被摄体的花进行焦点调节(参见图12)。如上所述，根据第3实施方式，从摄影准备动作中输入的一系列多帧图像中分别提取出判定对象区域，将可确定所提取的判定对象区域的信息与可确定该判定对象区域的亮度、彩度的信息以及区域属性的信息一起记录。而当数字照相机200的摄影模式被设定为宏观模式的情况下，将包含背景的判定对象区域从主要度判定的对象中排除。由此例如在自动焦点调节的宏观模式中欲对近处的花拍摄而确定构图的状况下，包含背景的判定对象区域的出现频度比原本应判定为主要度高的判定对象区域的出现频度高，因此能抑制产生对背景进行自动焦点调节的不良情况。另外，由于亮度、彩度越高则越被赋予高的权重，因此例如在以自动焦点调节模式对花拍摄的状况下，能够增加对花本身(花瓣)而不是叶片进行焦点调节的概率。另外，在对图像数据进行处理时，能够以判定为主要度高的部分为主体进行颜色再现处理和灰度转
换处理等。第4实施方式图17A是表示通过图2所示的数字照相机200的摄像部220拍摄生成且输入到图像输入部102A的图像的一个例子的图。另外，图17B是表示从在数字照相机200的后方对其保持的用户角度观察，朝左方向摇拍后，输入到图像输入部102A的图像的一个例子的图。通常，当保持了照相机的用户对照相机摇拍的情况下，若从照相机上方观察所摇拍的照相机的移动履历，则不仅有转动成分，还有并进成分。近处的被摄体比远处的被摄体更易受到该并进成分的动作带来的影响。也就是说，当使照相机朝向处于远、中、近各距离处的被摄体进行摇拍时，关于在像面上的像动作而言，与处于近距离处的被摄体对应的像最大，其次是与中距离、远距离处的被摄体对应的像。在图17B所示的例子中，处于近距离处的人物的像的动作最大，其次是处于中距离处的树木的像的动作。而处于远距离处的太阳和群山的像的动作最小。在第4实施方式中，判定对象区域提取部104A对所输入的图像中的各像素的颜色和位置进行分析，导出运动矢量。然后根据这些运动矢量的相似度，提取出判定对象区域。在重复进行从由图像输入部102A输入的一系列多帧图像中提取判定对象区域的处理时，对一系列多帧图像中例如最初输入的图像中的各像素的颜色和位置进行分析，划分出多个运动矢量检测用区域。然后将划分出的各个运动矢量检测用区域的图像作为模板，从后续输入的图像中搜索与模板相似的区域，进行导出图像内的移动方向和移动距离的处理，从而能够导出运动矢量。在图17C中，图像在纵/横方向分别被分为8份而分割为64个区域，这些区域的每一个都是运动矢量检测用区域。而且在各个运动矢量检测用区域内描绘的箭头示意性表示所导出的运动矢量。根据这些运动矢量的相似度就能够提取出判定对象区域。图17C表示出可将运动矢量大致分为3种的例子。对应于这些运动矢量的种类，如图17D所示，可提取出3个判定对象区域(区域1、区域2、区域3)。判定对象区域提取部104A进行的上述判定对象区域提取的处理与第1实施方式所说明的内容相同，既可以对摄像部220所拍摄并依次生成的所有帧图像进行，也可以对通过一定时间间隔或不是一定的时间间隔间疏读取而得到的图像进行。当对于这种按照时间间疏得到的图像导出运动矢量时，也可通过插值生成与间疏的帧(未经判定对象提取处理的帧)对应的运动矢量。通过如上说明的运动矢量导出处理来确定模板时，既可以将所划分的各个运动矢量检测用区域整体的图像作为模板，也可以将各个运动矢量检测用区域内的重心附近的区域等作为模板，从而能减轻此后的处理负担。在进行数字照相机200的释放操作之前的阶段重复进行判定对象区域提取部 104A的上述处理，对应于输入到图像输入部102A的各帧依次提取出判定对象区域。此时， 判定对象区域提取部104A按照所提取出的每个判定对象区域对出现频度和连续出现次数进行计数，将与这些计数结果对应的信息和可确定判定对象区域的信息一起记录。参照图 18说明输入到图像输入部102A的一系列多帧图像的例子，则在图18A所示例子中对连续出现次数(帧数)计数为3，在图18B所示例子中对连续出现次数(帧数)计数为2。然而关于连续出现次数的计数，例如存在于画面端部近处的判定对象区域或与动作快的被摄体对应的判定对应区域可能会暂时落到画面外而使得连续出现的记录中断。这种情况下，可以当落到画面外的期间在规定时间内或在规定帧数内的情况下记录为连续出现。即，当暂时落到画面外时，将其视作连续出现的内容，即使落到画面外的过程中也能持续对出现次数(帧数)进行计数。或者还可以尽管在落到画面外期间内不对出现次数计数， 但暂时将落到画面外之前的出现次数(帧数)与再次返回到画面内之后的出现次数(帧数)相加。作为与连续出现次数有关的信息，既可以记录连续出现次数本身，也可以记录与出现连续度有关的信息。即，在释放准备动作中，可以将连续出现次数(出现帧数)(将其设为N_Cont)对输入到图像输入部102A的图像的总帧数(将其设为N_tot)之比(N_Cont/ N_tot)作为与出现的连续度有关的信息。此后，当检测到释放操作时，判定部106A参照通过判定对象区域提取部104A提取出并记录的各个判定对象区域的出现频度和连续出现次数，以连续出现次数越多则越被赋予高权重的方式导出各个判定对象区域的出现频度。判定部106A比较按照各个判定对象区域导出的出现频度，将出现频度高的判定对象区域判定为主要度高。图19是说明数字照相机200的CPU270和图像处理装置100A所执行的摄影动作流程的流程图。图19所示的流程是当接通了数字照相机200的电源，将其动作模式设定为摄影模式时开始执行的。在图19的流程图中，对于与第1实施方式中图6的流程图中处理相同内容的处理步骤赋予与图6流程图中所使用的步骤符号相同的符号，适当简化说明， 以与第1实施方式的不同之处为中心进行说明。在图19的流程图中，将图6的流程图中S602和S604的处理(提取判定对象区域的处理和记录每个判定对象区域的出现频度的处理)置换为S1900、S1902和S1904的处理。另外，图6的流程图中S608的处理置换为S1906的处理。以上内容为图19的流程图与第1实施方式的不同之处。在摄影准备动作中，在S1900进行导出各帧之间的运动矢量的处理，在S1902进行根据运动矢量的相似度提取判定对象区域的处理。然后在S1904中，将S1902提取出的可确定判定对象区域的信息和与该判定对象区域的出现频度和连续出现次数有关的信息一起记录。此后，当在S606检测到用户进行了释放操作时，进行S1906的处理。在S1906中， 以各判定对象区域的连续出现次数越多则越被赋予高权重的方式导出各判定对象区域的出现频度。
图20是按照每个区域表示在S1904的处理中记录的连续出现次数的曲线图，横轴为区域编号，纵轴为连续出现次数。图20中，示出了检测出3个判定对象区域(区域1、区域2、区域幻的例子，区域2的连续出现次数最高，此后为区域3的连续出现次数、区域1的连续出现次数的顺序。图21是示意性表示导出判定对象区域的出现频度时，对应于判定对象区域的连续出现次数而设定的加权特性的一个例子的曲线图，在图21的曲线图中，横轴为连续出现次数，纵轴为加权系数，其特性为连续出现次数越多则加权系数越增加。图21所示的加权特性可以预先定义为将连续出现次数作为变量的函数。或者还可以将图21举例示出的加权特性制作为对照表，预先存储于R0IC62内。再次返回参照图19的流程图所作的说明，在上述S1906的处理之后，接着在S610 由判定部106A进行判定主要度的处理。根据S610的主要度的判定结果，进行S612、S614、 S616和S618的处理。图22是说明进行S1906的处理，按照区域1、区域2和区域3各自的连续出现次数，对出现频度赋予权重的例子的图。在图22所示的曲线图中，横轴取判定对象区域的区域编号，纵轴取出现频度。图22A表示未经上述加权处理导出的出现频度的例子，图22B表示经过上述加权处理而导出的出现频度的例子。如前面参照图20所说明的那样，关于各判定对象区域的连续出现次数，区域2的连续出现次数最多，接下来是区域3的连续出现次数、区域1的连续出现次数这样的顺序。 对此，以使得图22B所示区域2的出现频度比图22A所示的进行加权处理之前的区域2的出现频度高的方式进行加权。另一方面，进行加权处理之前的出现频度与区域2相同的区域3的连续出现次数比区域2的连续出现次数少，因此加权处理后的出现频度比区域2的出现频度低。连续出现次数较少的区域1中，加权处理之后的出现频度比加权处理之前的出现频度低。其结果在S610判定为判定对象区域2的主要度高。在S612中，对与该判定对象区域2对应的被摄体的人物进行焦点调节(参见图17)。如上所述，根据第4实施方式，从摄影准备动作中输入的一系列多帧图像中分别导出运动矢量，根据运动矢量的相似度提取出判定对象区域。然后将可确定所提取的判断对象区域的信息和可确定判定对象区域的出现频度、连续出现次数的信息一起记录。另外， 在主要度判定之前，以连续出现次数越多则判定对象区域的出现频度越增加的方式进行加权。从在用户放置好数字照相机200调节构图或持续等待快门时机的期间所输入的一系列多帧图像中提取出判定对象区域，对每个判定对象区域的出现频度、连续出现次数进行计数。在这些判定对象区域中，假设存在相同或不存在多大差异的出现频度(进行加权处理之前的出现频度)，通过S1906的处理，以判定对象区域的连续出现次数越多则出现频度越增加的方式对这些出现频度加权。因此在S610的主要度判定中，能够将映出用户重视的可能性高的被摄体的判定对象区域判定为主要被摄体。第5实施方式在第5实施方式中，以通过图2所示数字照相机200的摄像部220所拍摄生成且输入到图像输入部102A的图像为图17举例示出的图像的情况为例进行说明。在第5实施方式中，判定对象区域提取部104A对所输入的图像中的各像素的颜色和位置进行分析，导出运动矢量。然后根据这些运动矢量的相似度提取判定对象区域。当重复进行从图像输入部102A输入的一系列多帧图像中提取判定对象区域的处理时，进行与在第4实施方式中参照图17C、图17D说明的内容相同的处理。即，对一系列多帧图像中例如最初输入的图像中的各像素的颜色和位置进行分析，划分出多个运动矢量检测用区域。然后将所划分出的各个运动矢量检测用区域的图像作为模板，从后续输入的图像中搜索与模板相似的区域，进行导出图像内的移动方向和移动距离的处理，从而导出运动矢量。判定对象区域提取部104A进行的上述判定对象区域提取的处理与第1实施方式所说明的内容相同，既可以对摄像部220所拍摄并依次生成的所有帧图像进行，也可以对通过一定时间间隔或不是一定的时间间隔间疏读取而得到的图像进行。当对于这种按照时间间疏得到的图像导出运动矢量时，也可通过插值生成与间疏的帧(未经判定对象提取处理的帧)对应的运动矢量。通过如上说明的运动矢量导出处理来确定模板时，既可以将所划分的各个运动矢量检测用区域整体的图像作为模板，也可以将各个运动矢量检测用区域内的重心附近的区域等作为模板，从而能减轻此后的处理负担。在进行数字照相机200的释放操作之前的阶段重复进行判定对象区域提取部 104A的上述处理，对应于输入到图像输入部102A的各帧依次提取出判定对象区域。此时， 判定对象区域提取部104A与所提取出的判定对象区域各自对应地对出现频度进行计数， 并且导出各判定对象区域的静止度，将与这些出现频度和静止度关联的信息与可确定判定对象区域的信息一起记录。此处说明静止度。静止度可定义为图像中被摄体(判定对象区域)的动作的少量度。例如通过安置于三脚架等的照相机将风中摇曳的花放入前景来拍摄远处的群山的状况下，对应于群山的判定对象区域的静止度比对应于花的部分的判定对象区域的静止度高。 另外，当用手保持照相机，持续变换照相机朝向以始终在画面的恒定位置处捕捉到跑来跑去的孩子的情况下，对应于孩子的判定对象的静止度比对应于背景的判定对象区域的静止度高。如上可定义为图像中判定对象区域的动作越少，则静止度就越高。参照图17C、图17D进行说明，判定对象区域提取部104A对于所提取出的判定对象区域1、2、3分别沿着时间轴积算对应于依次输入的帧而导出的运动矢量。然后根据运动矢量的积算值对每个判定对象区域求出静止度。此时以运动矢量的积算值越大则静止度越小的方式导出静止度。例如当用户持续摇拍照相机而使得图17C举例示出的状况延续的情况下，与图17D所示区域1 (区域1映出处于较远距离的被摄体)对应的判定对象区域的静止度最高，与区域2 (区域2映出处于较近距离的被摄体)对应的判定对象区域的静止度最低。当对于提取出的判定对象区域1、2、3分别沿着时间轴积算对应于依次输入的多帧图像而导出的运动矢量的情况下，可以忽略运动矢量的方向而仅积算绝对值。参照图23 说明这种情况。图23A是示意性表示在从第1帧图像到第7帧图像之间跟踪某判定对象区域A在画面内的动作时在各帧之间导出的运动矢量的例子的图。图23中数字表示帧编号。 也就是说，以1为起点2为终点的矢量表示的是在第1帧图像与其后的第2帧图像之间导出的判定对象区域A的运动矢量。以下将图23中所示的各矢量称作运动矢量1-2、运动矢量2-3等。S卩，将在第η帧图像与其后第m帧图像之间导出的运动矢量表现为矢量n-m。图2 示意性表示忽略运动矢量的方向，沿着时间轴仅积算绝对值的例子。S卩，根
据去除掉方向信息后对运动矢量1-2、运动矢量2-3.....运动矢量6-7的绝对值进行积算
的结果，导出静止度。并且，若如上积算移动矢量的绝对值，则由于摄影状况，有时会使得对应于出现频度高(出现时间长)的判定对象区域求出的移动矢量的积算值变大。为了应对这种情况，可以根据用对每个判定对象区域导出的移动矢量的沿着时间轴的积算值除以各个判定对象区域的出现频度或出现时间等的值导出静止度。或者还可以事先准备函数、对照表、算法等，根据移动矢量的积算值和该判定对象区域的出现帧或出现时间导出静止度。或者还可以不使用上述说明的忽略运动矢量的方向仅积算绝对值的方法，而是考虑到运动矢量的方向和绝对值沿着时间轴积算，根据最终得到的移动矢量导出静止度。图
23C示意性示出该例子。考虑到运动矢量1-2、运动矢量2-3.....运动矢量6-7各自的方
向、绝对值沿着时间轴积算，则最终可导出图23C中虚线所示的运动矢量1-7。以下将沿着时间轴对如上对每帧导出的运动矢量进行积算，最终导出的运动矢量成为合成运动矢量。在导出静止度时，可以使得合成运动矢量1-7的绝对值大小可以越大则静止度越小。此时，还可以考虑到合成运动矢量的方向导出静止度。例如分别对应于提取出的判定对象区域求出合成运动矢量的方向，对这些合成运动矢量的方向进行统计处理。 作为统计处理的方法，简单地，能求出平均值和标准偏差。而且可以将某判定对象区域的合成运动矢量的方向相对于平均值偏离何种程度作为尺度求出静止度。可以按照相对于平均值的偏离程度越大则静止度越低的方式导出静止度。此时还可以考虑合成运动矢量的绝对值导出静止度。即，可以按照合成运动矢量的方向相对于平均值的偏离程度越大且合成运动矢量的绝对值越大则静止度越小的方式导出静止度。以上对于根据所输入的一系列多帧图像导出运动矢量的例子进行了说明，也可以导出像素移动量。即，设在2维X-Y平面上排列着像素，求出所赋予的判定对象区域在2个图像之间朝X轴方向移动了多少像素、向Y轴方向移动了多少像素，根据这些值的大小能够进行静止度的判定。图M是说明通过数字照相机200的CPU270和图像处理装置100A执行的摄影动作流程的流程图。图M所示的流程是当接通了数字照相机200的电源且将其动作模式设定为摄影模式时开始执行的。在图M的流程图中，对于与第1实施方式中图6的流程图中处理相同内容的处理步骤赋予与图6流程图中所使用的步骤符号相同的符号，适当简化说明，以与第1实施方式的不同之处为中心进行说明。在图M的流程图中，将图6的流程图中S602和S604的处理(提取判定对象区域的处理和记录每个判定对象区域的出现频度的处理)置换为S2400、S2402和S2404的处理。另外，图6的流程图中S608的处理置换为S2406的处理。以上内容为与第1实施方式的不同之处。在摄影准备动作中，在S2400进行导出各帧之间的运动矢量的处理，在S2402进行根据运动矢量的相似度提取判定对象区域的处理。而且在SM04中，将可确定在SM02提取出的判定对象区域的信息和与该判定对象区域的出现频度和静止度相关的信息一起记录。 关于静止度及其导出方法与上述说明内容相同。此后，当S606检测到用户进行了释放操作时，进行SM06的处理。在SM06中，以
20各判定对象区域的静止度越高则越被赋予高权重的方式导出各判定对象区域的出现频度。图25是按照每个区域表示在S2404的处理中被导出且记录的静止度的曲线图，横轴为各判定对象区域的区域编号，纵轴为静止度。图25举例示出了检测到3个判定对象区域(区域1、区域2、区域幻的例子，区域3的静止度最高，区域1、区域2的静止度大致相同，都比区域3的静止度低。图沈是示意性表示导出判定对象区域的出现频度时，对应于判定对象区域的静止度而设定的加权特性的一个例子的曲线图。在图26的曲线图中，横轴为静止度，纵轴为加权系数，其特性为静止度越高则加权系数越增加。图26所示的加权特性可以预先定义为将静止度作为变量的函数。或者还可以将图沈举例示出的加权特性制作为对照表，预先存储于R0IC62内。再次返回参照图M的流程图所作的说明，在上述S2406的处理之后，接着在S610 由判定部106A进行判定主要度的处理。根据S610的主要度的判定结果，进行S612、S614、 S616和S618的处理。图27是说明进行了 SM06的处理，按照区域1、区域2和区域3各自的静止度对出现频度进行加权的例子的图。在图27所示的曲线图中，横轴为判定对象区域的区域编号， 纵轴为出现频度。图27A表示未经上述加权处理导出的出现频度的例子，图27B表示进行了上述加权处理后导出的出现频度的例子。关于各判定对象区域的静止度，如以上参照图25所述，区域3的静止度比区域1、 2的静止度高，区域1、2的静止度大致相同。对此，以图27B所示的区域3的出现频度比图 27A所示未进行加权处理的情况下的区域3的出现频度高的方式进行加权。另一方面，由于区域1、区域2的静止度也较高，因而按照图27B所示区域1、区域2的出现频度比图27A所示出现频度高的方式进行加权。然而由于区域1、区域2的静止度比区域3的静止度低，因此如图27B所示，区域2的出现频度不会如区域3的出现频度那样高。其结果为进行了加权处理后的出现频度在区域3为最高。在S610中，判定为判定对象区域3的主要度高。在S612中，对与判定对象区域3 对应的被摄体进行焦点调节。如上所述，根据第5实施方式，从摄影准备动作中输入的一系列多帧图像中分别导出运动矢量，根据运动矢量的相似度提取出判定对象区域。然后对应于提取出的各个判定对象区域导出静止度。将可确定所提取的判定对象区域的信息与可确定判定对象区域的出现频度、静止度的信息一起记录。另外，在判定主要度之前，以静止度越高则判定对象区域的出现频度越增加的方式进行加权。从在用户放置好数字照相机200调节构图或持续等待快门时机的期间所输入的一系列多帧图像中提取出判定对象区域，对每个判定对象区域的出现频度进行计数。还对每个判定对象区域导出静止度。在这些判定对象区域中，假设存在相同或不存在太大差异的出现频度(进行加权处理之前的出现频度)，通过S2406的处理，以判定对象区域的静止度越高则出现频度越增加的方式对这些出现频度加权。因此在S610的主要度判定中，能够将映出用户重视的可能性高的被摄体的判定对象区域判定为主要被摄体。以上，在第5实施方式中说明了当多个判定对象区域中出现频度相同时，以对应于静止度高、即图像中判定对象区域的位置变化少的判定对象区域的出现而导出的出现频度变得更高的方式进行加权的例子。对此还可以通过第4实施方式中说明的方法对各判定对象区域的连续出现次数进行计数、记录的处理。还可以当多个判定对象区域中出现频度相同时，以对应于图像中位置变化更少(静止度高)且连续出现次数更多的判定对象区域的出现而导出的出现频度变得更高的方式进行加权。作为上述进行加权的方法，例如可以使用说明第3实施方式的图14所示的、通过对应于亮度(L)和彩度(S)的组合而定义加权系数的曲线图，用静止度代替亮度(L)，用连续出现次数代替彩度( ，按照这些静止度和连续出现次数的组合导出加权计数。该加权特性既可以预先定义为以静止度和连续出现次数作为变量的函数，或者也可以按照上述说明那样，将加权特性制作成对照表，预先存储于ROM内。以上所说明的第1实施方式至第5实施方式说明的是将本发明用于数字照相机 200的例子，然而如开始处所说明的那样，也可以通过能够输入按时序拍摄得到的一系列多帧图像并进行处理的专用图像处理装置进行第1实施方式至第5实施方式说明的处理。还可以通过通用计算机执行图像处理程序，从而实现上述图像处理装置。本发明涉及的图像处理的技术可用于数字照相机、数字摄像机等。还可以应用于录像机和计算机等。以上说明了本发明的实施方式，然而上述实施方式仅表示出本发明的应用例，并非用于将本发明的技术范围限定于上述实施方式的具体构成。本发明可以在不脱离该主旨的范围内实现各种改良/变更。
权利要求
1.一种图像处理装置，其判定被摄体在图像中的主要度，该图像处理装置的特征在于具有图像输入部，其输入按照时序拍摄得到的一系列多帧图像；判定对象区域提取部，其从通过上述图像输入部输入的上述多帧图像中提取出作为进行主要度判定的对象的判定对象区域；以及判定部，其根据上述多帧图像中的上述判定对象区域的出现频度，对上述判定对象区域的主要度进行判定。
2.根据权利要求1所述的图像处理装置，其特征在于，上述判定部还构成为参考上述多帧图像中的上述判定对象区域的出现历史，按照即使上述判定对象区域的出现频度相同，也使得相比于更早前的出现，与更近的出现对应地导出的上述出现频度变得更高的方式导出上述出现频度，将上述出现频度更高的判定对象区域的主要度判定为更尚ο
3.根据权利要求1所述的图像处理装置，其特征在于，上述判定部还构成为从通过上述判定对象区域提取部提取出的上述判定对象区域中，确定出与映出背景的部分对应的判定对象区域，从判定上述主要度时的判定对象区域中排除上述与映出背景的部分对应的判定对象区域。
4.根据权利要求1所述的图像处理装置，其特征在于，上述判定部还构成为参考上述多帧图像中的上述判定对象区域的亮度和彩度中的至少任意一个的高度，按照即使上述判定对象区域的出现频度相同，也使得与上述亮度和上述彩度中的至少任意一个更高的上述判定对象区域的出现对应地导出的上述出现频度变得更高的方式导出上述出现频度，将上述出现频度更高的判定对象区域的主要度判定为更高。
5.根据权利要求1所述的图像处理装置，其特征在于，上述判定部还构成为参考作为在上述多帧图像中上述判定对象区域连续出现的次数的连续出现次数，按照即使上述判定对象区域的出现频度相同，也使得与上述连续出现次数更多的上述判定对象区域的出现对应地导出的上述出现频度变得更高的方式导出上述出现频度，将上述出现频度更高的判定对象区域的主要度判定为更高。
6.根据权利要求1所述的图像处理装置，其特征在于，上述判定部还构成为参考上述多帧图像中的上述判定对象区域的位置变化，按照即使上述判定对象区域的出现频度相同，也使得与上述位置变化更小的上述判定对象区域的出现对应地导出的上述出现频度变得更高的方式导出上述出现频度，将上述出现频度更高的判定对象区域的主要度判定为更高。
7.根据权利要求6所述的图像处理装置，其特征在于，上述判定部还构成为参考作为在上述多帧图像中上述判定对象区域连续出现的次数的连续出现次数，按照即使上述判定对象区域的出现频度相同，也使得与上述位置变化更小且上述连续出现次数更多的上述判定对象区域的出现对应地导出的上述出现频度变得更高的方式导出上述出现频度，将上述出现频度更高的判定对象区域的主要度判定为更高。
8.一种图像处理方法，判定被摄体在图像中的主要度，该图像处理方法的特征在于具有图像输入步骤，输入按照时序拍摄得到的一系列多帧图像；判定对象区域提取步骤，从上述图像输入步骤所输入的上述多帧图像中提取出作为进行主要度判定的对象的判定对象区域；以及判定步骤，根据上述多帧图像中的上述判定对象区域的出现频度，对上述判定对象区域的主要度进行判定。
9. 一种摄像装置，其具有能够对通过摄影镜头形成的被摄体像进行光电转换并输出图像信号的摄像元件，该摄像装置的特征在于具有图像输入部，其输入从上述摄像元件按照时序输出的一系列多帧图像； 判定对象区域提取部，其从通过上述图像输入部输入的上述多帧图像中提取出作为进行主要度判定的对象的判定对象区域；以及判定部，其根据上述多帧图像中的上述判定对象区域的出现频度，对上述判定对象区域的主要度进行判定。
全文摘要
本发明提供一种图像处理装置、图像处理方法以及摄像装置，图像处理装置具有输入按照时序拍摄得到的一系列多帧图像的图像输入部；提取出作为进行主要度判定的对象的判定对象区域的判定对象区域提取部；以及根据多帧图像中的判定对象区域的出现频度对判定对象区域的主要度进行判定的判定部。
文档编号H04N5/232GK102387303SQ20111024720
公开日2012年3月21日 申请日期2011年8月25日 优先权日2010年9月2日
发明者矢野莱津三 申请人:奥林巴斯株式会社