专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及可生成宽范围的图像的图像处理装置以及图像处理方法。
背景技术：
在数码相机或具有摄像功能的便携式电话等中，摄像视角的极限依赖于透镜的焦点距离、摄像元件的尺寸等装置主体所具备的硬件设计规格。
因此，作为用于获取规格超过硬件设计规格那样的广角图像，例如作为所谓的全景图像的一技术，目前已知有全景摄像的技术。
为了实现上述全景摄像，用户例如在一边维持按下操作了快门开关的操作的状态一边以自身的身体为轴，使数码相机在垂直方向大致固定不变而在水平方向进行旋转地移动。
于是，数码相机在该期间执行多次摄像处理，将作为该多次的摄像处理的各结果而获得的多个图像(以下，称为“摄像图像”)的图像数据在横方向(水平方向)进行合成， 由此，来生成全景图像的图像数据。
在JP特开平11-282100号公报中公开了 在每多次的摄像处理后，对摄像图像中的特征点进行检测，按照邻接的2张摄像图像的特征点彼此一致的方式，将多个摄像图像的图像数据在横方向进行合成，由此，来生成全景图像的图像数据的手法。
但是，即使上述专利文献，作为全景图像，重视其背景，而在全景图像中包含人物等的被摄体的情况下，存在不重视对该人物的漂亮反映这样的问题。发明内容
本发明是鉴于这样的问题而开发的，目的在于与进行摄像的定时无关地，作为摄像图像，能够生成包含恰当的被摄体在内的宽范围的图像。
为了达成上述目的，本发明的一方案的图像处理装置的特征在于，具备图像获取单元，其依次获取图像；检测单元，其从由所述图像获取单元获取的多个图像中对被摄体像进行检测；计算单元，其对由所述检测单元检测出的各被摄体像的评价值进行计算；决定单元，其将由所述计算单元计算出的评价值为规定值以上的被摄体像决定为合成对象；以及生成单元，其对由所述决定单元决定为合成对象的被摄体像与由所述获取单元依次获取的图像进行合成，来生全景图像。
另外，本发明的一方案的图像处理方法是图像处理装置的图像处理方法，该图像处理装置具备用于获取在规定方向一边移动摄像范围一边连续拍摄到的图像的图像获取步骤，该图像处理方法特征在于，包括检测步骤，从由所述图像获取步骤依次获取的图像中分别对被摄体像进行检测；计算步骤，对由所述检测步骤分别检测出的被摄体像的评价值进行计算；决定步骤，其基于由所述计算步骤中分别计算出的评价值，从多个所述被摄体像中，将特定的被摄体像决定为合成对象；以及生成步骤，对由所述决定步骤所 决定的被摄体像与由所述获取单元依次获取的图像进行合成，来生成宽范围的图像。
图1是表示作为本发明所涉及的摄像装置的一实施方式的数码相机的硬件构成的框图。
图2是表示图1的数码相机的用于执行摄像处理的功能构成的功能框图。
图3是用于对作为图2的数码相机的动作模式而分别选择通常摄像模式与全景摄像模式的情况下的摄像操作进行说明的图。
图4是表示通过图3所示的全景摄像模式所生成的全景图像的一个示例的图。
图5是表示在全景图像的合成中所利用的图像数据以及根据该图像数据所生成的全景图像的图像数据的一个示例的图。
图6是表示图2的数码相机所执行的摄像处理的流程的一个示例的流程图。
图7是表示图6的摄像处理中的全景摄像处理的详细流程的流程图。
图8是表示·图7的全景摄像处理中的表情判定处理的详细流程的流程图。
图9是表示图7的全景摄像处理中的图像合成处理的详细流程的流程图。
具体实施方式
以下，参照图面，对本发明所涉及的实施方式进行说明。
图1是表示作为本发明所涉及的图像处理装置的一实施方式的数码相机I的硬件构成的框图。
数码相机I 具备 CPU (Central Processing Unit) 11、R0M (Read Only Memory) 12> RAM (Random Access Memory) 13、总线14、光学系统15、摄像部16、图像处理部17、存储部 18、显示部19、操作部20、通信部21、角速度传感器22、驱动器23。
CPUll根据R0M12所存储的程序、或者从存储部18加载至RAM13的程序，执行各种的处理。ROMl2除存储CPUll用于执行各种的处理时的程序，还适宜地存储CPUll在执行各种处理中所需的数据等。
例如，在本实施方式中，用于实现后述的图2的图像控制部51至合成部58的各功能的程序存储在ROM 12或存储部18中。因此，CPUll执行基于这些程序的处理，通过与后述的图像处理部17进行适宜协动，能够实现后述的图2的图像控制部51至合成部58的各功能。
CPU1UR0M12以及RAM13介由总线14相互连接。该总线I另外还与光学系统15、 摄像部16、图像处理部17、存储部18、显示部19、操作部20、通信部21、角速度传感器22以及驱动器23连接。
光学系统15为了对被摄体进行撮影，由对光进行聚光的透镜、例如聚焦透镜或变焦透镜等来构成。聚焦透镜是使被摄体像在摄像部16的摄像元件的受光面进行成像的透镜。变焦透镜是焦点距离在一定范围内自由地变化的透镜。光学系统15另外还根据需要， 设置有用于调整焦点、曝光等的周边装置。
摄像部16由光电变换元件、AFE(Analog Front End :模拟前端)等构成。光电变换兀件例如由 CCD(Charge Coupled Device) > CMOS (Complementary Metal Oxide Semiconductor)型的光电变换元件构成。光电变换元件按照每一定时间，对该期间所入射而蓄积的被摄体像的光信号进行光电变换(摄像)，将作为其结果而获得的模拟的电信号依次提供给AFE。
AFE针对该模拟的电信号，实施A/D (Analog/Digital)变换处理等的各种信号处理，将其结果所获得的数字信号作为摄像部16的输出信号而进行输出。
此外，以下将摄像部16的输出信号称为“摄像图像的图像数据”。因此，从摄像部 16输出摄像图像的图像数据，并适宜地提供给图像处理部17等。
图像处理部 17 由 D SP (Digital Signal Processor)、或 VRAM (Video Random Access Memory)等构成。
图像处理部17与CPUll进行协动，针对从摄像部16输入的摄像图像的图像数据， 除噪声降低、白平衡、手抖动修正等的图像处理外，还实施在发挥后述的图像获取部52至合成部58的各功能中所需的各种图像处理。
在此，以下，如无特别限定，所谓“图像数据”被称为从摄像部16中按每一定时间所输出的摄像图像的图像数据、或者该图像数据被加工等后的数据。即，在本实施方式中， 该图像数据作为处理单位被采用。
存储部18由DRAM (Dynamic Random Access Memory)等构成，对从图像处理部17 所输出的图像数据、后述的全景中途图像的图像数据等进行临时存储。另外，存储部18也还存储各种图像处理中所需的各种数据等。
显示部19例如由IXD (Liquid Crystal Device :液晶显示装置)、IXD驱动部构成的平板显示器面板来构成。显示部19以图像为单位来显示由从存储部18等中所提供的图像数据来表现的图像，例如后述的实时取景图像。
操作部20除具有快门开关41外，虽未图示还具有电源开关、摄像模式开关、再现开关等多个开关。操作部20在这些多个开关中的规定开关被进行按下操作时，将对该规定开关所分配的指令提供给CPUlI。
通信部21介由包含因特网的网络，控制与未图示的其他的装置之间的通信。
角速度传感器22由陀螺仪等构成，随着以全景摄像时的用户的身体为轴的旋转， 对数码相机I的水平方向的位移量进行检测，将表示检测结果的数字信号(以下，仅称为 “角度位移量”)提供给CPU11。此外，角速度传感器22根据需要也可发挥方位传感器的功倉泛。
对驱动器23适宜地安装由磁盘、光盘、光磁盘或者半导体存储器等形成的可移动介质31。接下来，从可移动介质31中所读出的程序根据需要而安装于存储部18。另外，可移动介质31能够与存储部18相同地存储存储部18所存储的图像数据等的各种数据。
图2是表示用于执行图1的数码相机I所执行的处理中的、对被摄体进行摄像直至将作为其结果而获得的摄像图像的图像数据记录于可移动介质31 的一系列处理(以下， 称为“摄像处理”)的功能构成的功能框图。
如图2所示，在执行摄像处理的情况下，CPUll中，图像控制部51发挥功能，图像处理部17中，图像获取部52、脸部检测部53、脸部区域提取部54、表情判定部55、表情决定部56、表情变更部57、合成部58发挥功能。此外，图像控制部51的功能并不必需如本实施方式那样地搭载于CPUlI，可将该功能转移到图像处理部17中。相反，图像获取部52至合成部58的各功能并不必需如本实施方式那样搭载于图像处理部17，也可以将这些功能中的至少一部分转移到CPUll中。
图像控制部51对全部摄像处理的执行进行控制。例如，图像控制部51作为数码相机I的动作模式，对通常摄像模式与全景摄像模式进行选择性切换，执行基于切换后的动作模式的处理。在成为全景摄像模式时，图像获取部52至合成部58在图像控制部51的控制下进行动作。
在此，为了易于理解图像控制部51至合成部58，在对这些功能的构成进行说明之前，适宜地参照图3以及图4，详细说明全景摄像模式。
图3是用于说明作为图1的数码相机I的动作模式而分别选择了通常摄像模式与全景摄像模式的情况下的摄像操作的图。详细而言，图3A是用于说明通常摄像模式下的摄像操作的图。图3B是用于说明全景摄像模式下的摄像操作的图。
在图3A以及图3B的各图中，处于数码相机I的里侧的图画表示包含数码相机I 的被摄体在内的实际世界的样子。另外，图3B所示的纵向的点线表示数码相机I的移动方向的各位置a、b、C。数码相机I的移动方向是指，用户以自身的身体为轴而使数码相机I 的摄像方向(角度)进行变化的情况下的、数码相机I的光轴进行移动的方向。数码相机 I的移动方向的位移量通过角速度传感器22作为角度位移量而进行检测。
通常摄像模式是指针对与数码相机I的视角对应的尺寸(分辨率)的图像进行摄像的情况下的动作模式。
通常摄像模式中，如图3A所示，用户在使数码相机I固定的状态下，将操作部20 的快门开关41按下至下限。此外，如此这样，以下将快门开关41被按下至下限的操作称为 “全按下操作”或仅简称为“全按下”。
图像控制部51进行控制，控制在进行全按下操作后立即将从图像处理部17输出的图像数据作为记录对象而使之记录于可移动介质31为止的一系列处理的执行。
以下，如此这样地，将通常摄像模式下通过图像控制部51的控制所执行的一系列处理称为“通常摄像处理”。
另一方面，全景摄像模式是指对全景图像进行摄像的情况下的动作模式。
在全景摄像模式下，如图3B所示，用户在维持快门开关41的全按下操作的状态下，使数码相机I向该图中黑箭头的方向进行移动。
图像控制部51在维持全按下操作的期间，对图像获取部52至合成部58进行控制，反复进行如下动作，即在来自角速度传感器22的角度位移量每达到一定值就获取紧接着其后从摄像部16所输出的图像数据，并且将其临时存储在存储部18。
其后，图像控制部51对图像获取部52至合成部58进行控制，将存储部18所存储的相邻接的图像数据按照水平方向依顺序进行合成，由此，来生成全景图像的 图像数据。在此，相邻接的图像数据是指，在全景摄像中的通过第K次(K为I以上的整数值)的摄像所获得的摄像图像的图像数据与相同全景摄像中的通过第K+1次的摄像所获得摄像图像的图像数据。此外，关于图像数据的合成，并不限于相邻接的2个图像数据的合成，也可以在每次获得成为合成对象的2个以上的任意个数的图像数据时进行处理，也可以在获取到了成为合成对象的所有图像数据后进行。
其后，通过用户进行解除全按下操作的操作，即从快门开关41拿开手指等的操作 (以下，将这样的操作称为“释放操作”)而指示了全景摄像的结束时，图像控制部51对合成部58等进行控制，使全景图像的图像数据作为记录对象而记录于可移动介质31中。
如此这样，图像控制部51在全景摄像模式下，对图像获取部52至合成部58进行控制，来控制生成全景图像的图像数据并将其作为记录对象而记录于可移动介质31为止的一系列处理。
以下，如此这样地，将全景摄像模式下通过图像控制部51的控制所执行的一系列处理称为“全景摄像处理”。
图4表示在图3所示的全景摄像模式下由图像获取部52至合成部58所生成的全景图像的图像数据。
S卩，在全景摄像模式下，进行如图3B所示那样的摄像操作时，在图像控制部51的控制下，通过图像获取部52至合成部58，生成如图4所示那样的全景图像Pl的图像数据， 并记录于可移动介质31中。
在此，全景摄像模式下生成包含人物等的被摄体在内的全景图像的图像数据的情况下，存在合成源的多个图像数据各自中被摄体不同的情况，在这样的情况下，优选生成包含最为漂亮的被摄体在内的全景图像的图像数据。具体来说，在全景图像的合成源的多个图像数据的各自中存在某图像数据中人物闭眼，其他的图像数据中人物睁眼的情况，在这样的情况下，优选生成包含睁眼的人物在内的全景图像的图像数据。
因此，在本实施方式所涉及的数码相机I中，图像获取部52至合成部58在图像控制部51的控制下，执行下述这样的处理。
图像获取部52在每次数码相机I移动规定量(角度位移量每次成为一定值)，接受从图像控制部51所发出的获取指令，依次从图像处理部17中获取图像数据。
脸部检测部53对图像获取部52所获取的图像数据进行解析，对该图像数据所含的人物的脸部的信息(至少包含脸部部分的位置以及大小)进行检测。此外，脸部检测部 53所进行的脸部的检测能够通过已公知的任意的方法来进行。
脸部区域提取部54从脸部检测部53检测出脸部的图像数据中提取脸部区域。 此外，作为提取的脸部区域，在合成处理中能够设定恰当的任意区域，例如，可以是包含眼 鼻· 口的脸部部分的区域，也可以是包含脸部部分与头部的区域，也可以是包含图像数据中所含的人物的全部的区域。
表情判定部55进行脸部检测部53所检测的脸部的表情判定。表情判定是对作为摄像图像的恰当的人物的表情(笑脸)进行判定，例如，对眼的大小、口的形状等预先确定分值，对脸部检测部53所检测出的脸部以该分值进行评价，通过计算判定对象的脸部的评价值来执行表情判定。
表情决定部56将表情判定部55所计算出的评价值为规定值以上的脸部决定为合成对象的脸部，将包含所决定的脸部在内的脸部区域的图像数据存储于存储器(本实施方式中，存储部18)中。此外，表情决定部56也可以将计算出的评价值最高的脸部决定为合成对象的脸部。另外，关于 规定值以上的评价值，能够任意地设定，例如，能够设定成为了笑脸的评价值。
表情变更部57将包含表情判定部55所计算出的评价值低于规定值的脸部的脸部区域的图像数据变更为包含表情决定部56决定为合成对象的脸部的脸部区域的图像数据。
合成部58对图像获取部52所获取的图像数据中的相邻接的图像数据彼此进行合成，来生成全景图像的图像数据。具体来说，合成部58将图像获取部52所获取的、表情变更部57所进行的脸部区域的变更后的图像数据中的相邻接的图像数据彼此进行合成，来生成全景图像的图像数据。换而言之，合成部58执行与将图像获取部52所获取的多个图像数据中所含的人物的脸部中利用表情决定部56所决定的脸部来生成全景图像的图像数据的情形等效的处理。
关于如以上那样的通过图像获取部52至合成部58所生成的全景图像的图像数据，参照图5进行说明。图5A表示全景图像的合成中所利用的、由图像获取部52所获取的图像数据，图5B表示根据图5A的图像数据所生成的全景图像的图像数据。
参照图5A，在由图像获取部52获取摄像图像Fa的图像数据时，脸部检测部53从摄像图像Fa中对被摄体(人物A)的脸部100进行检测。接下来，脸部区域提取部54从检测出脸部100的摄像图像Fa中提取脸部区域100a。此外，关于脸部区域100a，能够设为任意的区域，例如，可设为仅脸部100的区域，也可以设为一并含有图5所示脸部100与头(头发)的区域，也可以设为摄像图像Fa中所含的人物的全部的区域。
接下来，表情判定部55针对摄像图像Fa的脸部100，根据眼的大小、口的形状等来计算评价值。在图5A中，脸部100是笑脸且眼睛也睁得较大，所以表情判定部55将其确定为规定值以上的评价值。因此，表情决定部56将脸部100决定为全景图像中所利用的脸部，并将脸部100的脸部区域100a的部分的图像数据存储在存储部18中。
相同地，在接续在摄像图像Fa的图像数据之后，通过图像获取部52而获取到摄像图像Fb的图像数据时，脸部检测部53从摄像图像Fb中检测被摄体(相同人物A)的脸部110，脸部区域提取部54从检测出脸部110的摄像图像Fb的图像数据中提取脸部区域110a。
接下来，表情判定部55针对摄像图像Fb的脸部110进行评价值的计算，在图5A 中，由于脸部Iio的眼睛闭合，所以表情判定部55计算为低于规定值的评价值。因此，表情变更部57将脸部110的脸部区域Ila的部分的图像数据变更为在存储部18所存储的脸部 100的脸部区域IOOa的部分的图像数据。
其后，合成部58通过对包含摄像图像Fa以及摄像图像Fb在内的多个摄像图像各自的图像数据进行依次合成，来生成图5B所示的全景图像P2的图像数据。此时，由于利用通过表情决定部56所决定的脸部100的脸部区域100a来生成全景图像P2，如图5B所示， 能够获得包含写真更漂亮的被摄体的全景图像P2。
以上，参照图2至图5，对本发明所适用的数码相机I的功能的构成进行了说明。 接下来，参照图6，对具有这样的功能构成的数码相机I所执行的摄像处理进行说明。
图6是表示摄像处理的流程的一个示例的流程图。在本实施方式中，摄像处理是在数码相机I的未图示的电源成为接通状态且满足规定的条件时而开始进行的。
在步骤SI中，图2的图像控制部51执行操作检测处理以及初始设定处理。
操作检测处理是指，对操作部20的各开关的状态进行检测的处理。图像控制部51 通过执行操作检测处理，作为动作模式，能够检测出是设定为通常摄像模式还是设定为全景摄像模式。
另外，作为本实施方式的初始设定处理的I个，采用用于设定角度位移量的一定值与角度位移量的最大极限的角度位移阈值(例如，360度)的处理。具体来说，“角度位移量的一定值与角度位移量的最大极限的角度位移阈值(例如，360度)”是预先存储在图1的R0M12中，通过从R0M12中读出后写入RAM13中来进行设定的。此外，角度位移量的一定值将在后述的图7的步骤S 31的判定处理中将被利用。另一方面，角度位移量的最大极限的角度位移阈值(例如，360度)将在该图的步骤S37的判定处理中将被利用。
在步骤S2中，图像控制部51开始进行实时取景摄像处理以及实时取景显示处理。
S卩，图像控制部51对摄像部16等进行控制，使摄像部16进行的摄像动作继续。接下来，图像控制部51将在摄像部16进行的摄像动作继续的期间从该摄像部16依次输出的图像数据临时存储在存储器(本实施方式中，存储部18)中。这样的通过图像控制部51所进行的一系列控制处理在此称为“实时取景摄像处理”。
另外，图像控制部51依次读出实时取景摄像时所临时记录在存储器(本实施方式中，存储部18)中的各图像数据，将与各图像数据对应的图像依次显示在显示部19。这样的通过图像控制部51所进行的一系列控制处理在此称为“实时取景显示处理”。此外，将通过实时取景显示处理而显示在显示部19的图像以下称为“实时取景图像”。
在步骤S3中，图像控制部51判定快门开关41是否被半按下。在此，半按下是指操作部20的快门开关41被按压至中途(未达到下限的规定位置)的操作，以下也可适宜地将其称为“半按下操作”。
在快门开关41未被半按下的情况下，步骤S3中判定为“否”，处理进入至步骤S9。
在步骤S9中，图像控制部51判别是否进行了处理的结束指示。对处理的结束指示并不特别限定，在本实施方式中，采用数码相机I的未图示的电源成为关断状态的情况的通知。
因此，本 实施方式中“电源成为关断状态”被通知给图像控制部51时，步骤S9中判定为“是”，摄像处理全部结束。
针对于此，在电源为接通状态的情况下，不进行电源成为关断状态的通知，所以， 步骤S9中判定为“否”，处理返回至步骤S2，反复进行其以后的处理。即，本实施方式中，只要电源维持接通状态，至快门开关41被半按下为止的期间，反复执行步骤S3 否”以及步骤S9 否”的循环处理，摄像处理成为待机状态。
另一方面，在实时取景显示处理中，快门开关41被半按下时，步骤S3中判定为 “是”，处理进入至步骤S4。
在步骤S4中，图像控制部51对摄像部16进行控制，执行所谓的AF (Auto Focus 自动对焦)处理。
在步骤S5中，图像控制部51判定快门开关41是否被全按下。
在快门开关41未被全按下的情况下，在步骤S 5中判定为“否”。在该情况下，处理返回至步骤S4，反复进行其以后的处理。即，本实施方式中，在快门开关41被全按下为止的期间，反复进行步骤S4、以及步骤S 5 否”的循环处理，每次均执行AF处理。
其后，在快门开关41被全按下时，步骤S 5中判定为“是”，处理进入至步骤S6。步骤S6中，图像控制部51判定当前所设定的摄像模式是否是全景摄像模式。
在不是全景摄像模式的情况下，即在所设定的摄像模式是通常摄像模式的情况下，步骤S6中判定为“否”，处理进入至步骤S7。在步骤S7中，图像控制部51执行上述的通常摄像处理。即，在全按下操作被进行后立即从图像处理部17输出的I个图像数据作为记录对象而记录于可移动介质31中。因此，步骤S7的通常摄像处理结束，处理进入至步骤 S9。此外，关于步骤S9以后的处理如上所述，故在此省略其说明。
针对于此，在当前设定的摄像模式是全景摄像模式的情况下，步骤S6中判定为 “是”，处理进入至步骤S8。
在步骤S8中，图像控制部51执行上述的全景摄像处理。关于全景摄像处理的详细情况，将参照图7而进行后述，图像控制部51生成全景图像的图像数据，并将其作为记录对象而记录于可移动介质31中。因此，步骤S8的全景摄像处理结束，处理进入至步骤S9。 此外，关于步骤S9以后的处理如上所述，故在此省略其说明。
以上，参照图6，对摄像处理的流程进行了说明。接下来，参照图7对图6的摄像处理中的步骤S8的全景摄像处理的详细流程进行说明。
图7是用于说明全景摄像处理的详细流程的流程图。如上所述，在全景摄像模式的状态下快门开关41被全按下时，图6的步骤S5以及S6中判定为“是”，处理进入至步骤 S8，作为全景摄像处理，执行如下的处理。
在步骤S31中，图像控制部51判定数码相机I是否移动了一定距离。即，图像控制部51判定从角速度传感器22所提供的角度位移量是否达到一定值。数码相机I移动或角度位移量发生变化意味着数码相机的摄像范围进行移动。
在数码相机I未移动一定距离的情况下，步骤S 31中判定为“否”。在该情况下， 处理返回至步骤S31。S卩，至数码相机I移动一定距离为止，全景摄像处理成为待机状态。
针对于此，在数码相机I移动了一定距离的情况下，在步骤S31中，判定为“是”，处理进入至步骤S32。
在步骤S32中，图像获取部52在图像控制部51的控制下，获取从摄像部16所输出的图像数据(合成对象)。即，图像获取部52在从角速度传感器22所提供的角度位移量每次达到一定值时，在其后立即获得从摄像部16所输出的图像数据。
在步骤S33中，脸部检测部53在图像控制部51的控制下，对图像获取部52所获取的图像数据进行解析，判定在该图像数据中是否存在人物的脸部(被摄体像)。
在图像数据中未存在人物的脸部的情况下，在步骤S33中判定为“否”，在该情况下，处理进入至步骤S35。
另一方面，在图像数据中存在有人物的脸部的情况下，步骤S33中判定为“是”，在该情况下，处理进入至步骤S34。
在步骤S34中，图像控制部51进行表情判定处理。关于表情判定处理的详细情况将参照图8进行后述，图像控制部51对表情判定部55进行控制，判定图像数据中所含的脸部的表情。由此，步骤S34的表情判定处理结束后，处理进入至步骤S35。
在步骤S35中，图像控制部51进行图像合成处理。关于图像合成处理的详细情况， 将参照图9进行后述，图像控制部51对合成部58进行控制，将相邻接的图像数据彼此依次进行合成，来生成全景图像的图像数据。因此，步骤S35的图像合成处理结束后，处理转移至步骤S36。
在步骤S36中，图像控制部51判定是否有用户进行的结束指示。关于用户进行的结束指示，能够任意地设定，例如，能够将用户进行的快门开关41的全按下的解除作为用户进行的结束指示。
在有用户进行的结束指示的情况下，步骤S36中判定为“是”，全景摄像处理结束。
另一方面，在没有用户进行的结束指示的情况下，步骤S36中判定为“否”，在该情况下，处理进入至步骤S37。
在步骤S37中，图像控制部51判定图像获取方向的移动距离是否超过了阈值。即， 图像控制部51判定从角速度传感器22所提供的角度位移量的累积值是否达到了最大极限的角度位移阈值(例如，360度)。
在图像获取方向的移动距离超过了阈值的情况下，在步骤S37中判定为“是”，全景摄像处理结束。
另一方面，在图像获取方向的移动距离未超过阈值的情况下，步骤S37中判定为 “否”，在该情况下，处理返回至步骤S31。即，没有用户进行的结束指示，在图像获取方向的移动距离未超过阈值的情况下，全景摄像处理继续，反复进行新的图像数据的获取以及该图像数据的合成。
以上，参照图7，对全景摄像处理的流程进行了说明。接下来，参照图8，对图7的全景摄像处理中的步骤S 34的表情判定处理的详细流程进行说明。图8是用于说明表情判定处理的详细流程的流程图。
在步骤S51中，脸部区域提取部54在图像控制部51的控制下，从包含人物的脸部在内的图像数据中提取脸部区域。此外，关于脸部区域，如上所述，可以是仅包含眼 鼻 口在内的脸部部分的区域，另外，也可以是包含脸部部分与头部在内的区域，另外，也可以是包含人物全部的区域。
在提取脸部区域后，在步骤S52中，表情判定部55在图像控制部51的控制下，对通过脸部检测部53所检测出的脸部的评价值进行计算。即，表情判定部55基于图像数据中所含的脸部的眼的大小、口的形状等，对判定对象的脸部的评价值进行计算。
其后,在步骤S53中,表情判定部55在图像控制部51的控制下,判定计算出的评价值是否在规定值以上。
在计算出的评价值不为规定值以上的情况下，步骤S53中判定为“否”，表情判定处理结束。
另一方面，在计算出的评价值在规定值以上的情况下，步骤S53中判定为“是”，在该情况下，处理进入至步骤S54。
在步骤S54中，表情决定部56在图像控制部51的控制下，将被判定为规定值以上评价值的脸部的脸部区域的部分的图像数据保存在存储部18中，结束表情判定处理。
以上，参照图8对表情判定处理的流程进行了说明。
接下来，参照图9，对图7的全景摄像处理中的步骤S35的图像合成处理的详细流程进行说明。图9是用于说明图像合成处理的详细流程的流程图。
在步骤S71中，图像控制部51对成为合成对象的相邻接的图像数据中被摄体是否变动进行判定。在此，本实施方式中，将评价值低于规定值的脸部区域的部分的图像数据盖写为评价值为规定值以上的脸部区域的部分的图像数据(后述的步骤S75)。因此，步骤S71 中的被摄体的变动是指，不适于脸部区域的图像数据的盖写的变动，例如，脸部区域的形状发生变化那样的变动、视角内中的脸部 区域的位置(考虑了角度位移量)发生变化那样的变动等。另一方面，脸部区域内中的被摄体的变动，例如，闭眼这样的表情的变化不包含在步骤S71中的被摄体的变动中。
在被摄体有变动的情况下，步骤S71中判定为“是”，在该情况下，处理进入至步骤 S76。
另一方面，在被摄体没有变动的情况下，步骤S72中判定为“否”，在该情况下，处理进入至步骤S72。
步骤S72中，图像控制部51对进行合成的图像数据中是否存在脸部区域进行判定。此外，在本实施方式中，进行合成的图像数据可以是相邻接的图像数据中的在后面所获取的图像数据，另外，也可以是相邻接的图像数据的双方。
在进行合成的图像数据中不存在脸部区域的情况下，步骤S72中判定为“否”，在该情况下，处理进入至步骤S76。
在进行合成的图像数据中存在有脸部区域的情况下，步骤S72中判定为“是”，在该情况下，处理进入至步骤S73。
步骤S73中，表情判定部55在图像控制部51的控制下，对进行合成的图像数据的脸部区域的评价值是否在规定值以上进行判定。
在进行合成的图像数据的脸部区域的评价值为规定值以上的情况下，步骤S 73 中判定为“是”，在该情况下，处理进入至步骤S76。
另一方面，在进行合成的图像数据的脸部区域的评价值不为规定值以上的情况下，步骤S73中判定为“否”，在该情况下，处理进入至步骤S74。
在步骤S74中，表情变更部57在图像控制部51的控制下，判定在存储部18是否保存有规定值以上的评价值的脸部区域的部分的图像数据。
在存储部18未保存有规定值以上的评价值的脸部区域的部分的图像数据的情况下，步骤S 74中判定为“否”，在该情况下，处理进入至步骤S76。
另一方面，在存储 部18保存有规定值以上的评价值的脸部区域的部分的图像数据的情况下，步骤S74中判定为“是”，在该情况下，处理进入至步骤S75。
在步骤S75中，表情变更部57在图像控制部51的控制下，将步骤S73中已判定为低于规定值的评价值的脸部区域的部分的图像数据盖写为在存储部18所保存的规定值以上的评价值的脸部区域的部分的图像数据。
其后，在步骤S76中，合成部58在图像控制部51的控制下，将相邻接的图像数据彼此进行合成，生成全景图像的图像数据后，结束图像合成处理。
根据以上那样的本实施方式的数码相机1，在脸部检测部53检测出图像数据中所含的人物的脸部时，表情判定部55进行该脸部的表情判定。接下来，表情决定部56将表情判定部55进行表情判定的结果的、作为摄像图像而恰当的脸部决定为合成对象的人物的脸部，合成部58按照包含所决定的人物的脸部地进行全景合成。
因此，即使全景图像的摄像中，作为被摄体的人物的表情发生变化的情况下，例如，全景图像的摄像中出现了闭眼的情况下，不利用闭眼的定时所拍摄到的图像数据，而能够利用在睁眼的定时所拍摄到的图像数据来进行全景图像的图像数据，能够获得包含恰当表情的人物的全景图像。
另外，在数码相机I中，脸部区域提取部54从合成对象的图像数据中提取包含人物的脸部在内的脸部区域，表情决定部56将作为摄像图像而包含恰当的脸部的脸部区域的部分的图像数据保存在存储部18中。接下来，表情变更部57在进行合成的图像数据中所含的脸部作为摄像图像不为优选的情况下，将该脸部区域盖写为在存储部18已保存的脸部区域的部分的图像数据后，进行全景合成。
由此，能够防止作为摄像图像不为优选的脸部与恰当的脸部进行合成，能够进行自然的全景合成。
另外，关于在成为全景摄像处理的对象的摄像范围中存在多个人物的情况下的全景合成的方法，以下作为变形例而进行记载。
[变形例]
在成为全景摄像处理的对象的摄像范围中存在有多个人物(例如，人物A、B、C)的情况下，利用通过脸部检测部53最初所检测出的各人物的脸部的信息，脸部区域提取部54 在确定出与模板匹配技术最初所检测出的各人物(人物A、B、C)对应的脸部的位置后，提取与该所确定的各位置对应的各人物的脸部区域即可。
接下来，表情判定部55对各人物的脸部区域的评价值进行计算，表情决定部56将成为规定值以上的脸部区域分别保存在存储部18中。
关于其后的全景摄像处理，相对于各人物的脸部区域只要实施与上述实施方式同样的处理即可。
另外，关于多个人物(人物A、B、C)的脸部的位置的确定的方法，利用模板匹配技术，但各人物的脸部的位置的确定的方法并不限于此。
例如，可以通过预先将各人物的脸部信息存储在存储部18中，脸部检测部53以存储部18中所存储的各人物的脸部信息为基础，从全景摄像处理中的各图像中检测各人物的脸部。
此外，本发明并不限于上述的实施方式，能够达成本发明的目的的范围内的变形、 改良等均包含在本发明中。
例如，在上述的实施方式中，每次获取I个图像数据时进行图像合成处理(图7的步骤S31中判定为“是”时进行步骤S35)，本发明并不限于此，也可以在获得全景合成用的全部的图像数据后进行图像合成处理，也可以是在每次获取2个以上的任意个数的图像数据时进行图像合成处理。
另外，在上述实施方式中，在进行脸部区域的盖写后再进行全景合成，但图像合成处理的顺序并不限于此。即，也可在进行全景合成后进行相应的脸部区域的盖写。
另外，在上述的实施方式中，利用评价值对人物的脸部的表情进行判定，以作为摄像图像而恰当的脸部来进行全景合成，而利用评价值所判定的对象并不限于表情。例如，假定在全景图像的摄像中，发生人物出现阴影的情况，可利用评价值对人物的明亮度等进行判定。
另外，在上述的实施方式中，作为合成对象的图像数据中所含的被摄体像的一个示例而利用了人物的脸部，但并不限于此。例如，也可以将动物的脸部作为合成对象的图像数据中所含的被摄体像。在该情况下，作为利用评价值所进行判定的对象，也可以适用动物是否闭眼等。
另外，在上述的实施方式中，本发明所适用的图像处理装置以数码相机I为例进行了说明，但并不特别限定此。本发明也能够一般性适用于具有可生成全景图像的功能的电子设备，例如，可广泛地适用于便携式型个人计算机、便携式型导航装置、可携带的游戏机等。
上述的一系列处理也能够通过硬件来执行，也可以通过软件来执行。
在将一系列处理通过软件来执行的情况下，通过网络、记录介质将构成该软件的程序安装至图像处理装置或者对该图像处理装置进行控制的计算机等。在此，计算机也可以是组装到专用的硬件中的计算机。或者另外，计算机可以是通过安装各种的程序从而能够执行各种功能的计算机，例如通用的个人计算机。
包含这样的程序的记录介质不仅可以由用于对用户提供程序而与装置主体独立地配置的可移动介质31来构成，也可以由预先组装入装置主体的状态下对用户所提供的记录介质等来构成。可移动介质31例如由磁盘(包含软盘)、光盘、光磁盘等构成。另外， 在预先组装入装置主体的状态下对用户所提供的记录介质例如由记录有程序的ROM 12或存储部18中所含的硬盘等来构成。
此外，在本说明书中，对记录于记录介质中的程序进行记叙的步骤当然包含按其顺序以时间序列进行的处理，也包含不按时间序列进行处理而是并列或者单个地执行的处理。
以上，对本发明的若干个实施方式进行了说明，这些的实施方式仅仅只是例示，并不是对本发明的技术的范围进行限定。本发明能够取其他的各种实施方式，而且，在不脱离本发明的宗旨的范围内，能够进行省略、置换等各种变更。这些的实施方式、其变形包含在本说明书等所记载的发明的范围、宗旨内，也包含与权利要求书所记载的发明均等的范围内。
权利要求
1.一种图像处理装置，其特征在于，具备 图像获取单元，其获取在规定方向一边移动摄像范围一边连续拍摄而得到的图像； 检测单元，其从由所述图像获取单元所获取的多个图像中分别对相同的被摄体像进行检测； 计算单元，其对由所述检测单元分别检测出的被摄体像的评价值分别进行计算； 决定单元，其基于由所述计算单元分别计算出的评价值，从所述被摄体像中，将特定的被摄体像决定为合成对象；以及 生成单元，其对由所述决定单元决定为合成对象的特定的被摄体像与由所述图像获取单元依次获取的图像进行合成，来生成宽范围的图像。
2.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具备 被摄体提取单元，其根据所述多个图像之中的所述被摄体像，来提取被摄体区域；以及被摄体变更单元，其将构成由所述被摄体提取单元所提取的被摄体区域的图像变更为所述特定的被摄体像， 所述生成单元对所述特定的被摄体像与所依次获取的所述图像进行合成，来生成所述宽范围的图像。
3.根据权利要求1所述的图像处理装置，其特征在于， 所述图像获取单元获取包含多种相同的被摄体像在内的多个图像， 所述检测单元从所获取的所述多个图像中，对多种相同的被摄体像进行检测， 所述计算单元对与由所述检测单元所检测出的多种相同的被摄体像相关的多个评价值进行计算， 所述决定单元基于与由所述计算单元所计算出的多个被摄体像相关的多个评价值，从所检测出的所述多个被摄体像中，将多个特定的被摄体像决定为合成对象， 所述生成单元通过对由所述决定单元决定为合成对象的多个特定的被摄体像与由所述图像获取单元依次获取的图像进行合成，来生成宽范围的图像。
4.根据权利要求1所述的图像处理装置，其特征在于， 所述被摄体像是以脸部区域为中心的图像。
5.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具备摄像单元， 所述图像获取单元依次获取由所述摄像单元拍摄到的图像。
6.一种图像处理方法，是具备用于获取在规定方向一边移动摄像范围一边连续拍摄而得到的图像的图像获取单元的图像处理装置的图像处理方法，其特征在于，包括 检测步骤，从由所述图像获取单元所获取的多个图像中分别对被摄体像进行检测； 计算步骤，对由所述检测步骤分别检测出的被摄体像的评价值进行计算； 决定步骤，基于由所述计算步骤分别计算出的评价值，从多个所述被摄体像中，将特定的被摄体像决定为合成对象；以及 生成步骤，对由所述决定步骤所决定的被摄体像与由所述图像获取单元所依次获取的图像进行合成，来生成宽范围的图像。
全文摘要
本发明提供一种图像处理装置和图像处理方法。数码相机(1)具备图像获取部(52)、脸部检测部(53)、表情判定部(55)、表情决定部(56)、合成部(58)。图像获取部(52)依次获取在规定方向一边移动摄像范围一边连续拍摄到的图像。脸部检测部(53)从依次所获取的图像中分别对被摄体像进行检测。表情判定部(55)分别计算所检测出的被摄体像的评价值。表情决定部(56)分别基于计算出的评价值，从多个所述被摄体像中将特定的被摄体像决定为合成对象。合成部(58)将决定为合成对象的被摄体像与通过所述获取单元所依次所获取的图像进行合成，来生成宽范围的图像。
文档编号H04N5/232GK103037156SQ20121036390
公开日2013年4月10日 申请日期2012年9月26日 优先权日2011年9月29日
发明者宫本直知, 松本康佑 申请人:卡西欧计算机株式会社