专利名称：图像合成装置及图像合成方法
技术领域：
本发明涉及一种用于合成多幅图像的图像处理装置及图像处理方法。
背景技术：
目前，通过将被拍摄对象图像与背景用图像及帧图像合成而生成合成图像的技术已经为人们所知。例如，JP特开2004-159158号公报中公开了这种技术。然而，在合成被拍摄对象图像与背景用图像的情况下，仅仅简单地将这些图像重叠在一起会带来合成图像不自然的问题。另外，即使采用强调立体感的背景用图像，也存在着仅仅能平面地表现相对于背景用图像完全重叠了被拍摄对象图像的问题。
发明内容
本发明的目的在于能够生成不和谐感低的合成图像。为了实现上述目的，本发明的图像处理装置，其特征在于，包括:存储单元，其将图像与该图像拍摄时的拍摄条件建立关联并存储多个；指示単元，其指示对该存储单元中所存储的多个图像之间进行合成；图像处理单元，其由所述存储单元读出与由该指示単元指示合成的图像分别建立了关联的拍摄条件，并按照与一张图像的拍摄条件相接近的方式来处理另ー张图像；以及合成単元，其对由该图像处理单元处理后的所述另ー张图像与所述ー张图像进行合成。另外，本发明的图像处理方法，其特征在于，包括:区域指示步骤，在至少ニ张图像中指示一张图像内应当合成另ー张图像的区域；亮度获取步骤，获取在该区域指示步骤中指示的一张图像的应当合成的区域的亮度；以及合成步骤，按照所述另ー张图像的亮度与在所述亮度获取步骤中获取的一张图像的应当合成的区域的亮度相接近的方式，来进行处理，并合成所述两张图像。另外，本发明的另ー种图像处理方法，其特征在于，包括:确定步骤，在至少两张图像中，确定ー张图像中的光源的位置；位置指示步骤，在所述ー张图像中，指示应当合成另一张图像的位置；以及合成步骤，基于所述一张图像的光源的位置和在所述位置指示步骤中指示的位置，对所述另ー张图像进行处理，并合成所述两张图像。
图1是表示适用于本发明的一个实施方式的照相机装置的大致结构的方框图。图2是表示关于用图1的照相机装置从包含被拍摄对象的背景图像中剪切被拍摄对象的处理的操作的一个例子的流程图。图3是表示关于用图1的照相机装置进行背景用图像拍摄处理的操作的一个例子的流程图。图4是表示关于用图1的照相机装置进行被拍摄对象合成图像生成处理的操作的一个例子的流程图。
图5是表示关于在图4的被拍摄对象合成图像生成处理中的图像合成处理的ー个例子的流程图。图6是示意性表示用于说明图2的从包含被拍摄对象的背景图像中提取被拍摄对象图像的处理的图像的一个例子的图。图7是示意性表示用于说明图4的被拍摄对象合成图像生成处理的图像的ー个例子的图。图8是示意性表示用于说明图4的被拍摄对象合成图像生成处理的图像的ー个例子的图。图9是表示关于用图1的照相机装置进行变形例的被拍摄对象合成图像生成处理的操作的一个例子的流程图。
具体实施例方式以下，对于本发明来说，用附图来说明具体的方式。但是发明的范围不限定于图示的例子中。图1是表示适用于本发明的一个实施方式的照相机装置100的大致结构的方框图。本实施方式的照相机装置100从背景用图像Pl中检测出具有多个特征的区域C。接下来，照相机装置100在具有多个特征的区域C中，确定出与包含非显示区域的被拍摄对象图像P2内的被拍摄对象图像(前景图像)D相比更配置于前景的前景区域Cl。在此，在具有多个特征的区域C中，与被拍摄对象图像D相比位于前景的图像为Cl，与被拍摄对象图像D相比位于后景的图像为C2。而且，照相机装置100以该前景区域Cl作为该被拍摄对象图像D的前景，来对背景用图像Pl和被拍摄对象图像D进行合成。具体地说，如图1所示，照相机装置100包括:透镜部1、电子拍摄部2、拍摄控制部
3、图像数据生成部4、图像存储器5、特征量运算部6、块匹配部7、图像处理部8、记录介质
9、显示控制部10、显示部11、操作输入部12、以及CPU13。另外，拍摄控制部3、特征量运算部6、块匹配部7、图像处理部8、以及CPU13例如被设计为定制LSI (custom LSI)。透镜部I由多个透镜构成，包括变焦透镜和聚焦透镜等。另外，透镜部I省略了图示，但是优选包括:在对被拍摄对象进行拍摄时使变焦透镜在光轴方向上移动的变焦驱动部、和使聚焦透镜在光轴方向上移动的合焦驱动部。电子拍摄部2 例如由 CCD (Charge Coupled Device)和 CMOS (ComplementaryMetal-oxide Semiconductor)等图像传感器构成,将透过透镜部I的各个透镜的光学像变换成ニ维图像信号。拍摄控制部3省略了图示，但是它包括定时发生器、驱动器等。而且，拍摄控制部3通过定时发生器、驱动器来扫描驱动电子拍摄部2，并由电子拍摄部2按每个规定周期将光学像变换成ニ维图像信号，从该电子拍摄部2的拍摄区域中读出每个画面的图像帧，并输出给图像数据生成部4。另外，拍摄控制部3进行被拍摄对象的拍摄条件的调整控制。具体地说，拍摄控制部3具备进行使透镜部I在光轴方向上移动并调整合焦条件的自动合焦处理的AF部3a。
此外，作为拍摄条件的调整控制，拍摄控制部3进行AE(自动曝光处理)和AWB(自动白平衡)等。这样来构成的透镜部1、电子拍摄部2、以及拍摄控制部3作为拍摄单元，对与图像合成处理有关的背景用图像Pl (參考图7A)和包含被拍摄对象的背景图像El (參考图6A)进行拍摄。另外，透镜部1、电子拍摄部2、以及拍摄控制部3在对包含被拍摄对象的背景图像El进行拍摄之后，在固定了对包含该被拍摄对象的背景图像El进行拍摄时的拍摄条件的状态下，为了生成包含非显示区域的被拍摄对象图像P2(參考图7C)而拍摄仅有背景的图像E2(參考图6B)。图像数据生成部4在对从电子拍摄部2所传送的图像帧的模拟值的信号按RGB每种颜色成分进行了适当增益调整之后，由采样保持电路(图示略)进行采样保持，并由A/D变换器(图示略)变换成数字数据，在颜色处理电路(图示略)中进行了包括像素插值处理以及Y补正处理在内的颜色处理之后，生成数字值的亮度信号Y和色差信号Cb、Cr (YUV数据)。从颜色处理电路所输出的亮度信号Y和色差信号Cb、Cr经由图中未示出的DMA控制器被DMA传送到用作缓冲存储器的图像存储器5中。图像存储器5例如由DRAM等构成。图像存储器5暂时存储特征量运算部6、块匹配部7、图像处理部8、和CPU13等作为处理对象的数据等。特征量运算部6以仅有背景的图像E2为基准，进行从该仅有背景的图像E2中提取特征点的特征提取处理。具体地说，特征量运算部6例如基于仅有背景的图像E2的YUV数据，选出规定数(或规定数以上)的特征较高的块区域(或者特征较高的点)，以该块的内容作为模版(例如，16X16像素的正方形)进行提取。在此，所谓的特征提取处理就是从多个候补块中选择在追踪方面情况较好、特征性较高的块的处理。块匹配部7在生成包含非显示区域的被拍摄对象图像P2吋，执行用于对仅有背景的图像E2与包含被拍摄对象的背景图像El进行位置対照的块匹配处理。具体地说，块匹配部7捜索在特征提取处理中所提取的模版与包含被拍摄对象的背景图像El内的何处(这个模版对应于何处)相对应，即，捜索在包含被拍摄对象的背景图像El内模版的像素值(在包含被拍摄对象的背景图像El中)最佳对应(match)的位置(对应区域)。并且，计算像素值差异度的评价值(例如，差分平方和(SSD)及差分绝对值和(SAD)等)最小的仅有背景的图像E2与包含被拍摄对象的背景图像El之间的最佳偏移量，作为该模块的运动矢量。图像处理部8具备被拍摄对象图像生成部8a，其用于生成包含非显示区域的被拍摄对象图像P2的图像数据。具体地说，虽然省略了图示，但是被拍摄对象图像生成部8a包括:图像位置对照部、被拍摄对象区域提取部、位置信息生成部、被拍摄对象图像生成部等。图像位置对照部基于从仅有背景的图像E2中所提取的特征高的块区域，计算出与仅有背景的图像E2相対的、包含被拍摄对象的背景图像El的各个像素的坐标变换式(射影变换矩阵)，根据该坐标变换式对包含被拍摄对象的背景图像El进行坐标变换，并进行与仅有背景的图像E2的位置対照。
被拍摄对象区域提取部生成由图像位置对照部进行了位置对照后的、在包含被拍摄对象的背景图像El与仅有背景的图像E2之间对应的各个像素的差分信息，以该差分信息作为基准，从包含被拍摄对象的背景图像El中提取出包含被拍摄对象区域的被拍摄对象图像D。
位置信息生成部确定从包含被拍摄对象的背景图像El中提取的被拍摄对象图像D的位置，然后生成用于在包含被拍摄对象的背景图像El中指示被拍摄对象图像D的位置的位置信息(例如，α映射)。
在此，所谓的α映射是指，对于包含被拍摄对象的背景图像El的各个像素来说，将在被拍摄对象图像D的图像相对于规定背景进行α混合时的权重表示为α值(O < α <1)。
图像生成部基于所生成的α映射，在包含被拍摄对象的背景图像El的各个像素中，相对于规定的单色图像(图示略)来说，不显示α值为I的像素，而且，相对于规定的单色图像(图示略)来说，显示α值为O的像素，从而将被拍摄对象D与规定的单色图像进行合成，并生成包含非显示区域的被拍摄对象图像Ρ2的图像数据。
另外，图像处理部8具备用于检测背景用图像Pl中具有特征的区域C的特征区域检测部8b ο
特征区域检测部Sb采用图像数据的颜色信息等，根据对比度变化来在图像中确定并检测出具有球和草木这些特征的区域C(参考图7B)。
此外，具有特征的区域C的检测可以通过利用背景用图像Pl的像素值的边缘并提取轮廓线来进行。
另外，图像处理部8具备距离信息获取部Sc，其用于获取到由透镜部1、电子拍摄部2、以及拍摄控制部3所拍摄到的图像中的规定区域为止的距离信息。
这个距离信息获取部Sc在对背景用图像Pl进行拍摄时，获取到具有多个特征的区域C为止的距离信息。具体地说，距离信息获取部Sc在对背景用图像Pl进行拍摄时，从拍摄控制部3的AF部3a中获取与在自动合焦处理中由合焦驱动部(图示略)所移动的聚焦透镜的光轴方向的位置有关的透镜位置信息，并基于该透镜位置信息获取到具有多个特征的区域C为止的距离。另外，距离信息获取部Sc在对包含被拍摄对象的背景图像El进行拍摄时，从拍摄控制部3的AF部3a中获取与在自动合焦处理中由合焦驱动部(图示略)所移动的聚焦透镜的光轴方向的位置有关的透镜位置信息，并基于该透镜位置信息来获取到被拍摄对象区域为止的距离。
在此，距离信息获取部Sc在对背景用图像Pl进行拍摄时，获取到具有多个特征的区域C为止的距离信息。另外，距离信息获取部Sc在对包含被拍摄对象的背景图像El进行拍摄时，构成用于获取到被拍摄对象区域为止的距离信息的距离信息获取单元。
此外，获取到被拍摄对象区域为止的距离信息，例如可以基于规定的换算程序的执行来进行，也可以采用规定的换算表来进行。
另外，图像处理部8还具备特征区域确定部8d，其用于在由特征区域检测部Sb所检测的具有多个特征的区域C中，确定与包含非显示区域的被拍摄对象图像P2中的被拍摄对象图像(前景图像)D相比配置在前景中的前景区域Cl。
具体地，特征区域确定部8d对由距离信息获取部Sc获取的到被拍摄对象区域为止的距离信息和到具有多个特征的区域C为止的距离信息进行比较，判断被拍摄对象图像D和具有多个特征的区域C的前后位置。并且，特征区域确定部8d将被判断为与被拍摄对象图像D相比位于前景的具有特征的区域C确定为前景区域Cl。
这里，特征区域确定部8d包括有确定单元，其用于在具有多个特征的区域C中，确定与包含非显示区域的被拍摄对象图像P2中的被拍摄对象图像D相比配置在前景中的前景区域Cl。
另外，图像处理部8具备特征区域图像复制部Se，其用于复制由特征区域确定部8d所确定的前景区域Cl的图像。
具体地说，特征区域图像复制部Se提取由特征区域确定部8d所确定的前景区域Cl的图像，然后复制该前景区域Cl的图像的图像数据。
在此，特征区域图像复制部Se包括有复制单元，其用于复制由特征区域确定部8d所确定的前景区域Cl的图像的图像数据。
另外，图像处理部8具备图像合成部8f作为合成单元，其用于对背景用图像Pl与包含非显示区域的被拍摄对象图像P2进行合成。
具体地说，图像合成部8f在背景用图像Pl的各个像素中，显示α值为O的像素(相对于包含非显示区域的被拍摄对象图像Ρ2，显示背景用图像Pl的各个像素)，α值为I的像素以包含非显示区域的被拍摄对象图像Ρ2的对应的像素的像素值来写入覆盖背景用图像Pl的像素，进而，背景用图像Pl的各个像素中，α值处于0< α < I的像素采用I的补数(1-α)在生成提取了被拍摄对象图像D的图像(背景用图像X(1-CI))之后，在α映射中采用I的补数(l-α)在生成包含非显示区域的被拍摄对象图像Ρ2时，计算与单一背景色进行混合后的α值，从包含非显示区域的被拍摄对象图像Ρ2中减去该α值，并对该减去的α值的图像与(从包含非显示区域的被拍摄对象图像Ρ2中)提取了被拍摄对象图像D的图像(背景用图像X(l-ci))进行合成。
另外，图像处理部8具备合成控制部Sg，其用于在背景用图像Pl与被拍摄对象图像D进行图像合成时，在图像合成部8f中使由特征区域确定部8d所确定的前景区域Cl成为被拍摄对象图像D的前景，从而进行合成。
合成控制部Sg，具体地说，在图像合成部8f中合成背景用图像Pl与被拍摄对象图像D之后，使前景区域Cl与包含非显示区域的被拍摄对象图像P2中的被拍摄对象图像D相比作为前景，以此方式来合成由特征区域图像复制部Se所复制的前景区域Cl的图像。这时，在前景区域Cl的图像的图像数据中，基于作为Exif信息而附加的该前景区域Cl的特征区域位置信息(稍后描述)，按照使前景区域Cl回到背景用图像Pl中原来位置的方式来对照位置并进行合成。
由此，例如，在图7B中，对于像球这样的前景区域Cl的位置与被拍摄对象图像D重叠的情况来说，以作为被拍摄对象图像D的前景的方式被合成。另一方面，例如，在图7B中，对于像左侧的草这样的前景区域Cl的位置不与被拍摄对象图像D重合的情况来说，不进行前景区域Cl的合成，只保持背景用图像Pl不变。
在此，合成控制部Sg包括有合成控制单元，其用于在进行背景用图像Pl与被拍摄对象图像D的图像合成之时，在图像合成部8f中将由特征区域确定部8d所确定的前景区域Cl作为被拍摄对象图像D的前景来进行合成。
记录介质9例如可由非易失性存储器(闪存)等构成。记录介质9存储由图像处理部8的JPEG压缩部(图示略)进行编码后的包含非显示区域的被拍摄对象图像P2、背景用图像P1、以及前景区域Cl的图像的图像数据。
另外，将包含非显示区域的被拍摄对象图像P2的图像数据与由被拍摄对象图像生成部8a的位置信息生成部所生成的α映射建立对应，并将包含该非显示区域的被拍摄对象图像Ρ2的图像数据的扩展名保存为jpe”。另外，包含非显示区域的被拍摄对象图像P2的图像数据由附加了由距离信息获取部Sc所获取的到被拍摄对象区域为止的距离信息来作为Exif信息的Exif形式的图像文件构成。
另外，在背景用图像Pl的图像数据由Exif形式的图像文件构成，Exif形式的图像文件中存在具有特征的区域C的图像的图像数据的情况下，将该具有特征的区域C的图像的确定用信息、以及由距离信息获取部Sc所获取的到具有特征的区域C为止的距离信息作为Exif信息来附加。
另外，具有特征的区域C的图像的图像数据将背景用图像Pl中与该具有特征的区域C的位置有关的特征区域位置信息等各种信息作为Exif信息来附加。
另外，前景区域Cl的图像的图像数据由将在背景用图像Pl中与该前景区域Cl的位置有关的特征区域位置信息等各种信息作为Exif信息来附加的Exif形式的图像文件构成。
显示控制部10读出图像存储器5中暂存的显示用图像数据，并对在显示部11中的显示进行控制。
具体地说，显示控制部10具备VRAM、VRAM控制器、数字视频编码器等。并且，数字视频编码器在CPU13的控制下从图像存储器5中读取的存储在VRAM(图示略)中的亮度信号Y及色差信号Cb、Cr，经由VRAM控制器从VRAM中定期地读取，然后以这些数据为基础产生视频信号并输出到显示部11中。
显示部11例如是液晶显示装置。显示部11基于来自显示控制部10的视频信号，将电子拍摄部2所拍摄的图像等显示成显示画面。具体地说，在拍摄模式下，显示部11基于通过由透镜部1、电子拍摄部2、以及拍摄控制部3对被拍摄对象进行拍摄所生成的多个图像帧，来显示实时取景图像，或显示作为主要拍摄图像而拍摄的记录浏览(rec view)图像。
操作输入部12用于进行该照相机装置100的规定操作。具体地说，操作输入部12具备:与被拍摄对象的拍摄指示有关的快门按键12a、与拍摄模式和功能等的选择指示有关的选择决定按键12b、与变焦量的调整指示有关的变焦按键(图示略)等，响应于这些按键的操作而向CPU13输出规定的操作信号。
CPU13用于控制照相机装置100的各个部件。具体地说，CPU13根据照相机装置100用的各种处理程序(图示略)进行各种控制操作。另外，CPU13基于由用户对选择决定按键12b的规定操作而检测背景用图像Pl与被拍摄对象图像D的合成指示。
接着，参考图2对由照相机装置100从包含被拍摄对象的背景图像中提取仅有被拍摄对象图像的图像的处理进行说明。
图2是表示关于从包含被拍摄对象的背景图像中提取仅有被拍摄对象图像的图像的处理的操作的一个例子的流程图。
从包含被拍摄对象的背景图像中提取仅有被拍摄对象图像的图像的处理是基于由用户对操作输入部12的选择决定按键12b的规定操作，在从菜单画面中所显示的多个拍摄模式中选择指示被拍摄对象生成模式的情况下所执行的处理。
如图2所示，首先，CPU13基于通过由透镜部1、电子拍摄部2、以及拍摄控制3对被拍摄对象进行拍摄所生成的多个图像帧，在显示控制部10中将实时取景图像显示于显示部11的显示画面中，同时按照在该实时取景图像上进行重叠的方式在显示部11的显示画面中显示包含被拍摄对象的背景图像El的拍摄指示消息(步骤SI)。
然后，CPU13在拍摄控制部3中调整聚焦透镜的合焦位置，在用户对操作输入部12的快门按键12a进行拍摄指示操作的时刻，在规定的拍摄条件下由电子拍摄部2对包含被拍摄对象的背景图像El的光学像进行拍摄(步骤S2)。然后，CPU13在图像处理部8的距离信息获取部8c中获取从这时的聚焦透镜的光轴方向的位置到被拍摄对象区域为止的距离信息(步骤S3)。此外，由图像数据生成部4所生成的包含被拍摄对象的背景图像El的YUV数据被暂存于图像存储器5中。
另外，CPU13控制拍摄控制部3，保持在固定了对包含该被拍摄对象的背景图像El进行拍摄时的合焦位置、曝光条件、白平衡等条件的状态。
此后，CPU13基于通过由透镜部1、电子拍摄部2、以及拍摄控制部3对被拍摄对象进行拍摄而生成的多个图像帧，在显示控制部10中将实时取景图像显示于显示部11的显示画面中，同时在该实时取景图像上进行重叠，在显示部11的显示画面中显示包含被拍摄对象的背景图像El的半透明显示状态的图像和仅有背景的图像E2的拍摄指示消息(步骤S4)。此后，用户使被拍摄对象移动到画角外，或者等待被拍摄对象移动之后，再进行仅有背景的图像E2的拍摄。
然后，由用户按照将仅有背景的图像E2与包含被拍摄对象的背景图像El的半透明图像重合的方式调整照相机位置，在用户对操作输入部12的快门按键12a进行拍摄指示操作的时刻，CPU13在拍摄控制部3中，由电子拍摄部2在对包含被拍摄对象的背景图像El进行拍摄后，在固定拍摄条件下，对仅有背景的图像E2的光学像进行拍摄(步骤S5)。此夕卜，由图像数据生成部4生成的仅有背景的图像E2的YUV数据被暂存于图像存储器5中。
接着，CPU13以图像存储器5中暂存的仅有背景的图像E2的YUV数据为基准，在特征量运算部6、块匹配部7、和图像处理部8中以规定的图像变换模型(例如，相似变换模型、或者合同变换模型)计算出用于对包含被拍摄对象的背景图像El的YUV数据进行射影变换的射影变换矩阵。
具体地说，特征量运算部6基于仅有背景的图像E2的YUV数据，选择规定数(或规定数以上)的(对比度值等的)特征较高的块区域(或者特征高的点)，将该块区域的内容提取为模板。然后，块匹配部7在包含被拍摄对象的背景图像El中搜索在特征提取处理中所提取的模板的像素值最佳匹配的位置，计算像素值差异度的评价值最小的仅有背景的图像E2与包含被拍摄对象的背景图像El之间的最佳偏移量，来作为该模板的运动矢量。并且，被拍摄对象图像生成部8a的图像位置对照部基于由块匹配部7所计算出的多个模板的运动矢量来统计计算出全部的运动矢量，采用与该运动矢量相关的特征点对应来计算出包含被拍摄对象的背景图像El的射影变换矩阵。之后，图像位置对照部基于所计算出的射影变换矩阵来对包含被拍摄对象的背景图像El进行射影变换，并对射影变换后的包含被拍摄对象的背景图像El的YUV数据与仅有背景的图像E2的YUV数据之间进行位置对照(步骤 S6)。
并且，被拍摄对象图像生成部8a的被拍摄对象区域提取部从包含被拍摄对象的背景图像El中提取被拍摄对象图像D (步骤S7)。
具体地说，被拍摄对象区域提取部分别针对包含被拍摄对象的背景图像El的YUV数据和仅有背景的图像E2的YUV数据，启动低通滤波器来除去各个图像的高频成分。之后，被拍摄对象区域提取部针对在低通滤波后的包含被拍摄对象的背景图像El与仅有背景的图像E2之间相对应的各个像素，计算出差异度，生成差异度映射。接着，被拍摄对象区域提取部以规定的阈值对与各个像素相关的差异度映射进行2值化，之后，进行压缩处理，用于从差异度映射中去除由于细微的噪声和手抖而产生差别的区域。之后，被拍摄对象区域提取部进行标识(labeling)处理，除去规定值以下的区域和最大区域以外的区域之后，把最大条纹的图案确定为被拍摄对象图像D，进行用于修正缩小程度的放大处理。
然后，被拍摄对象图像生成部8a的位置信息生成部生成用于表示所提取的被拍摄对象图像D的被拍摄对象被包含在背景图像El内的位置的α映射(步骤S8)。
之后，被拍摄对象图像生成部8a的生成部生成将被拍摄对象图像与规定的单色图像合成之后的包含非显示区域的被拍摄对象图像P2的图像数据(步骤S9)。
具体地说，生成部读出包含被拍摄对象的背景图像E1、单色图像、以及α映射，并在图像存储器5中展开后，对于包含被拍摄对象的背景图像El的全部像素，使α值为O的像素(α = O)透过,对α值为O < α < I的像素(O < α < I)与规定的单色进行混合，对α值为I的像素不进行任何操作，使其相对于规定单色无法透过。
之后，CPU13基于由生成部所生成的包含非显示区域的被拍摄对象Ρ2的图像数据，在显示控制部10中将以规定单色重叠被拍摄对象之后的包含非显示区域的被拍摄对象Ρ2显示于显示部11的显示画面中(步骤S10)。
接下来，CPU13在记录介质9的规定存储区域中，将由位置信息生成部所生成的α映射、由距离信息获取部8c所获取的到被拍摄对象区域为止的距离信息、和包含非显示区域的被拍摄对象P2的图像数据建立对应，并以jpe”作为包含该非显示区域的被拍摄对象P2的图像数据的扩展名来保存文件(步骤Sll)。
由此，结束被拍摄对象剪切处理。
接下来，参考图3对由照相机装置100进行背景用图像拍摄处理进行说明。
图3是显示有关背景用图像拍摄处理的操作的一个例子的流程图。
如图3所示，首先，CPU13在拍摄控制部3中调整聚焦透镜的合焦位置和曝光条件(快门速度、光圈、放大率等)和白平衡等拍摄条件，在用户对操作输入部12的快门按键12a进行拍摄指示操作的时刻，在规定的拍摄条件下，由电子拍摄部2对背景用图像Pl (参考图7A)的光学像进行拍摄(步骤S21)。
接下来，CPU13在特征区域检测部Sb中采用在步骤S21中所拍摄的背景用图像Pl的图像数据的颜色信息等，根据对比度变化来确定并检测出图像中具有球和草木这些特征的区域C(参考图7B)(步骤S22)。
接下来，特征区域检测部Sb判断是否检测出背景用图像Pl中的具有特征的区域C (步骤 S23)。
在此，当判断检测到了具有特征的区域C时(步骤S23:是)，CPU13在距离信息获取部8c中，在背景用图像Pl拍摄时，从拍摄控制部3的AF部3a中获取在自动合焦处理中由合焦驱动部(图示略)移动的聚焦透镜的光轴方向的位置相关的透镜位置信息，并基于该透镜位置信息来获取到具有特征的区域C为止的距离信息(步骤S24)。
并且，特征区域图像复制部Sc复制背景用图像Pl中具有特征的区域C的图像的图像数据(步骤S25)。接下来，CPU13在记录介质9的规定存储区域中，记录以下图像数据:附加有该具有特征的区域C的图像的确定用信息和由距离信息获取部Sc所获取的到具有特征的区域C为止的距离信息来作为Exif信息的、在步骤S21中所拍摄的背景用图像Pl的图像数据；以及附加有背景用图像Pl中与该具有特征的区域C的位置有关的特征区域位置信息等的各种信息来作为Exif信息的具有特征的区域C的图像数据(步骤S26)。
另一方面，当在步骤S23中判断为没有检测到具有特征的区域C(步骤S23:否)时，CPU13在记录介质9的规定存储区域中记录在步骤S21中所拍摄的背景用图像Pl的图像数据(步骤S27)。
由此，结束背景用图像拍摄处理。
接下来，参考图4和图5来说明用照相机装置100进行被拍摄对象合成图像生成处理。
图4是表示关于被拍摄对象合成图像生成处理有关的操作的一个例子的流程图。
被拍摄对象合成图像生成处理采用图像处理部8的合成部8f和合成控制部8g，对背景用图像Pl与包含非显示区域的被拍摄对象P2中的被拍摄对象图像D进行合成，并生成被拍摄对象合成图像。
如图4所示，首先，基于用户对操作输入部12的指示操作，当选择并指定在记录介质9中所记录的多个图像中包含期望的非显示区域的被拍摄对象P2时(步骤S31)，图像处理部8读取所指定的包含非显示区域的被拍摄对象P2的图像数据，并在图像存储器5中展开，同时特征区域确定部8d读出并获取与该图像数据建立了对应后进行存储的到被拍摄对象区域为止的距离信息(步骤S32)。
接下来，基于用户对操作输入部12的规定操作，当选择并指定在记录介质9中所记录的多个图像中的期望背景用图像Pl时，合成部8f读取所指定的背景用图像Pl的图像数据，并在图像存储器5中展开(步骤S33)。
接下来，图像合成部8f采用在图像存储器5中所展开的该背景用图像Pl和包含该非显示区域的被拍摄对象P2中的被拍摄对象图像D，进行图像合成处理(步骤S34)。
在此，参考图5对图像合成处理进行详细地说明。
图5是表示关于图像合成处理的操作的一个例子的流程图。
如图5所示，合成部8f读取以“.jpe”保存的α映射，并在图像存储器5中展开(步骤 S341)。
接下来，图像合成部8f指定背景用图像Pl中任一个像素(例如，左上角的像素)(步骤S342)，对于该像素，基于α映射的α值进行分支处理(步骤S343)。具体地说，合成部8f对于背景用图像Pl的任何一个像素中α值为I的像素(步骤S343 ; α = I)，以包含非显示区域的被拍摄对象图像Ρ2的对应像素的像素值来写入覆盖(步骤S344)，对于α值为O < α < I的像素(步骤S343，0 < α < I)，采用I的补数在生成剪切了被拍摄对象图像D的图像(背景用图像X(l-ci))之后，在α映射中采用I的补数(l-α)在生成包含非显示区域的被拍摄对象图像Ρ2时，计算单色背景色与混合后的(α)值，从包含非显示区域的被拍摄对象图像Ρ2中减去该(α)值，将由包含非显示区域的被拍摄对象图像Ρ2减去的α值与剪切了被拍摄对象图像D后的图像(背景用图像X(l-ci))(的α值)进行合成(步骤S345)，对于α值为O的像素(步骤S343:α = O),不进行操作，而是显示背景用图像Pl (对于包含非显示区域的被拍摄对象图像Ρ2)。
接着，图像合成部8f判断是否要对背景用图像Pl的所有像素进行(图像合成)处理(步骤S346)。
在此，在判断为不对(背景用图像Pl的)全部像素进行(图像合成)处理时(步骤S346:否)，合成部8f将处理对象移动到下一个像素(步骤S347)，并将(图像合成)处理转移到步骤S343中。
重复执行上述的(图像合成)处理，直到在步骤S346中判断为已经对(背景用图像Pl的)全部像素进行了处理为止(步骤S346:是)，从而图像合成部8f生成已经对被拍摄对象图像D与背景用图像Pl进行了合成后的被拍摄对象合成图像P4(参考图SB)的图像数据。
由此，结束图像合成处理。
如图4所示，之后，CPU13基于在读出的背景用图像Pl的图像数据中被存储为Exif信息的具有特征的区域C的图像的确定用信息，判断是否存在从该背景用图像Pl中提取的具有特征的区域C的图像的图像数据(步骤S35)。
在此，当判断为存在具有特征的区域C的图像的图像数据时(步骤S35:是)，合成部8f基于该背景用图像Pl的图像数据中被存储为Exif信息的具有特征的区域C的图像的确定用信息，读出具有特征的区域C的图像的图像数据，同时特征区域确定部8d读出并获取与背景用图像Pl的图像数据建立了对应后存储的到具有特征的区域C为止的距离信息(步骤S36)。
接下来，特征区域确定部8d，对基于在步骤S36中读出的到具有特征的区域C为止的距离信息的距离的值，判断其是否小于基于在步骤S32中读出的到被拍摄对象区域为止的距离信息的距离的值(步骤S37)。
在此，在判断为基于到该具有特征的区域C为止的距离信息的距离的值比基于到该被拍摄对象区域为止的距离信息的距离的值小时(步骤S37:是)，图像合成控制部Sg在图像合成部8f中使前景区域Cl与被拍摄对象图像D的前景重合，从而在背景用图像Pl中将重叠了被拍摄对象图像D的被拍摄对象合成图像P4与前景区域Cl的图像进行合成，并生成被拍摄对象合成图像P3的图像数据(步骤S38)。接着，CPU13在显示控制部10中基于由图像合成部8f所生成的被拍摄对象合成图像P3的图像数据，按照前景区域Cl重叠于被拍摄对象图像D的前景中的方式，将合成的被拍摄对象合成图像P3显示于显示部11的显示画面中(步骤S39 ;参考图8A)。
另一方面，在步骤S37中，在判断为基于到该具有特征的区域C为止的距离信息的距离的值不小于基于到该被拍摄对象区域为止的距离信息的距离的值时(步骤S37:否)，CPU13转移到步骤S39中进行处理，在显示部11的显示画面中显示在背景用图像Pl中重叠了被拍摄对象图像D的被拍摄对象合成图像P4(步骤S39 ;参考图8B)。
另外，在步骤S35中，当判断为不存在具有特征的区域C的图像的图像数据时(步骤S35:否)，CPU13转移到步骤S39进行处理，在显示部11的显示画面中显示在背景用图像Pl中重叠了被拍摄对象图像D的被拍摄对象合成图像P4(步骤S39 ;参考图8B)。
由此，结束被拍摄对象合成图像生成处理。
如上所述，采用本实施方式的照相机装置100，从背景用图像Pl中所检测出的具有特征的区域C中，确定与被拍摄对象图像D相比被配置于前景的前景区域Cl，将该前景区域Cl重叠于被拍摄对象图像D的前景，从而合成背景用图像Pl与被拍摄对象图像D，这样就可以在背景用图像Pl中使被拍摄对象是否存在于背景之内地进行显示，能够生成不和谐感低的合成图像。
另外，在对背景用图像Pl进行拍摄时，获取到具有特征的区域C为止的距离信息，基于这个到具有特征的区域C为止的距离信息来确定前景区域Cl。具体地说，在对包含被拍摄对象的背景图像El进行拍摄时，获取到被拍摄对象区域为止的距离信息，将这个到被拍摄对象区域为止的距离信息与背景用图像Pl中到具有特征的区域C为止的距离信息相比较，判断被拍摄对象图像D与具有特征的区域C的前后位置，由于能够将被判断为与被拍摄对象D相比位于前景中的具有特征的区域C确定为前景区域Cl，所以可基于到该被拍摄对象区域为止的距离信息以及到具有特征的区域C为止的距离信息，来进行客观判断，以确定前景区域Cl，并更适当地生成不和谐感低的合成图像。
此外，虽然在上述实施方式中由特征区域确定部8d自动地确定前景区域Cl，但是特征区域的确定方法不限于此，例如，可以将基于用户对选择决定按键12b的规定操作所指定的规定区域确定为前景区域Cl。
以下，说明在本发明的上述实施方式中照相机装置100的变形示例。
〈变形示例〉
变形示例的照相机装置100具备自动确定模式和手动确定模式，在该自动确定模式中，在由特征区域检测部8b所检测的具有特征的区域C中，在确定与被拍摄对象图像D相比配置于前景的前景区域Cl时，由特征区域确定部8d自动地确定前景区域Cl ;在该手动确定模式中，在对背景用图像Pl进行拍摄并在显示部11的显示画面中显示(该背景用图像Pl)时，将用户指定的规定区域确定为前景区域Cl。
并且，在对背景用图像Pl进行拍摄时，通过用户对选择决定按键12b的操作，来选择决定自动确定模式和手动确定模式中的任一个。
另外，操作输入部12的选择决定按键12b在手动确定模式中，基于用户的规定操作来输入在背景用图像Pl中规定的区域的指定指示。并且，响应于该选择决定按键12b的操作，向CPU13输出规定区域的指定信号。
CPU13根据所输入的区域指定信号，在特征区域检测部Sb中将该规定区域检测为具有特征的区域C，在特征区域确定部8d中将由特征区域检测部Sb所检测出的具有特征的区域C的图像确定为前景区域Cl。
在此，选择决定按键12b及CPU13构成用于指定所显示的背景用图像Pl中的规定区域的指定单元。
接下来，参考图9对于采用变形示例中的照相机装置100进行被拍摄对象合成图像生成处理进行说明。
图9是表示在对背景用图像Pl进行拍摄时，通过用户对选择决定按键12b的操作选择决定了手动确定模式的情况下关于被拍摄对象合成图像生成处理的操作的一个例子的流程图。
如图9所示，首先，在基于用户对操作输入部12的规定操作来选择并指定在记录介质9中所记录的多个图像中包含期望的非显示区域的被拍摄对象P2时，图像处理部8(从记录介质9中)读出所指定的包含非显示区域的被拍摄对象P2的图像数据，并在图像存储器5中展开(步骤S41)。
接下来，在基于用户对操作输入部12的规定操作来选择并指定在记录介质9中所记录的多个图像中期望的背景用图像Pl时，图像合成部8f (从记录介质9中)读出所指定的背景用图像Pl的图像数据，并在图像存储器5中展开(步骤S42)。
接下来，对于显示控制部10，CPU13基于图像存储器5中所展开的背景用图像Pl的图像数据，将背景用图像Pl显示于显示部11的显示画面(步骤S43)。
接下来，CPU13基于用户对选择决定按键12b的规定操作，根据是否已向CPU13输出了规定区域的指定信号，来判断是否指定了在显示部11的显示画面中所显示的背景用图像Pl中的规定区域(步骤S44)。
在此，当(由CPU13)判断为已经指定了规定区域时(步骤S44:是)，CPU13在特征区域检测部8b中将该规定区域检测为具有特征的区域C，在特征区域确定部8d中将由特征区域检测部8b所检测的具有特征的区域C的图像确定为前景区域Cl，在特征区域图像复制部8e中复制该前景区域Cl (步骤S45)。
接下来，图像合成部8f采用在图像存储器5中所展开的该背景用图像Pl和包含该非显示区域的被拍摄对象图像P2中的被拍摄对象图像D，进行图像合成处理(步骤S46)。此外，由于图像合成处理与上述实施方式中相同，因此省略了对其的详细说明。
接下来，图像合成控制部8g在图像合成部8f中以规定区域图像作为被拍摄对象图像D的前景，从而将在背景用图像Pl中重叠了被拍摄对象图像D的被拍摄对象合成图像P4与规定区域图像进行合成(步骤S48)。接着，CPU13在图像显示控制部10中基于由图像合成部8f所生成的被拍摄对象合成图像的图像数据，在显示部11的显示画面中显示以规定区域图像作为被拍摄对象图像D的前景来合成的被拍摄对象合成图像(步骤S49)。
另一方面，当(由CPU13)判断为没有指定规定区域时(步骤S44:否)，合成部8f采用在图像存储器5中所展开的该背景用图像Pl与包含该非显示区域的被拍摄对象图像P2中的被拍摄对象图像D，进行图像合成处理(步骤S47)。此外，由于图像合成处理与上述实施方式中相同，因此省略了对其的详细说明。
之后，CPU13转移到步骤S49中进行被拍摄对象合成图像处理，在显示部11的显示画面中显示在背景用图像Pl中重叠了被拍摄对象图像D的被拍摄对象合成图像P4(步骤 S49)。
由此，结束被拍摄对象合成图像生成处理。
如上所述，采用变形示例的照相机装置100，可根据用户对选择决定按键12b的规定操作，指定在显示部11中所显示的背景用图像Pi中的规定区域，将所指定的规定区域确定为前景区域Cl。
因此，能够将用户期望的规定区域确定为前景区域Cl，使合成图像的生成更富有趣味。
此外，本发明不限于上述实施方式，在不脱离本发明主旨的范围内可以进行各种改进和设计变更。
例如，在上述实施方式中，虽然采用了前景区域Cl重叠于被拍摄对象图像D的前景中的方式来合成背景用图像Pl与被拍摄对象图像D，但是也可以生成从背景用图像Pl中提取前景区域Cl后的图像，将(从背景用图像Pl中)取出该前景区域Cl后的图像与被拍摄对象图像D进行合成之后，再将前景区域Cl重叠于被拍摄对象图像D的前景中，从而将这个合成后的图像与前景区域Cl进行合成。
另外，在变形示例中，根据用户对选择决定按键12b的规定操作，指定在显示部11中所显示的背景用图像Pl中的规定区域，将所指定的规定区域确定为前景区域Cl，但是，该变形示例不限于此，也可以按照能够识别由图像处理部8的特征区域检测部Sb所检测出的具有特征的区域C的方式，在显示部11中显示背景用图像P1，从在显示部11中所显示的该具有特征的区域C之中，用户指定具有所期望的特征的区域C，并确定为前景区域Cl。
另外，在变形示例中，虽然是根据用户对选择决定按键12b的规定操作来指定规定区域，但是，该变形示例不限于此，显示部11也可以具备触摸屏，根据用户对触摸屏的规定操作来指定规定区域。
此外，特征区域确定部8d也可以在由特征区域检测部Sb所检测的具有特征的区域C中确定与被拍摄对象图像D相比配置于后侧的后景区域(后景图像)C2。并且，在具有特征的区域C中确定与被拍摄对象图像D相比配置于后侧的后景区域，将所确定的前景区域Cl重叠于被拍摄对象图像D的前景，并且将所确定的后景区域与被拍摄对象图像D相比配置于后侧，从而对背景用图像Pl与被拍摄对象图像D进行合成。
另外，在上述实施方式中例示了照相机装置100的结构的一个例子，其结构不限于此。即虽然例示了作为图像合成装置的照相机装置，但是图像合成装置不限于此，至少可适当任意地变更包括合成单元、指示检测单元、确定单元、合成控制单元的结构。例如，背景用图像Pl和包含非显示区域的被拍摄对象图像P2的生成可以采用不同于该照相机装置100的拍摄装置来进行，可以是能够记录从该拍摄装置所传送的图像数据、被拍摄对象区域、到具有特征的区域C为止的距离信息，并仅执行包含非显示区域的被拍摄对象图像生成处理的图像合成装置。
进而，虽然在上述实施方式中被构造成在CPU13的控制下通过图像处理部8的驱动来实现确定单元、合成控制单元的功能，但是其不限于此，也可以构造成由CPU13执行规定程序等来实现。
S卩，在存储程序的程序存储器(图示略)中，存储了包括确定处理例程、图像合成控制例程在内的程序。并且，通过确定处理例程可使CPU13实现确定单元的功能，即从背景用图像Pl中确定与被拍摄对象图像D相比应当存在于前景的前景区域。另外，通过合成控制例程可使CPU13实现合成控制单元的功能，即以由确定处理例程所确定的前景区域Cl作为被拍摄对象图像D的前景，从而合成背景用图像Pl与被拍摄对象图像D。
权利要求
1.一种图像合成装置，其特征在于，包括: 指示检测部(13)，其检测背景图像和前景图像的合成指示； 确定部(8d)，其通过基于该指示检测部的指示检测，从上述背景图像中确定相比上述前景图像更应当存在于前景的前景区域；以及 合成部(Sg)，其按照由上述确定部确定出的前景区域比上述前景图像处于更前景的方式，来对上述背景图像和上述前景图像进行合成。
2.根据权利要求1所述的图像合成装置，其特征在干， 还包括复制部(Se)，该复制部对由上述确定部确定出的前景区域进行复制， 上述合成部(Sg)按照由上述复制部复制的前景区域相比上述前景图像处于更前景的方式来对上述背景图像和上述前景图像进行合成。
3.根据权利要求1所述的图像合成装置，其特征在干， 还包括:距离信息获取部(8c)，获取从该装置直至主要被摄体为止的距离信息， 上述确定部(8d)通过在上述背景图像的拍摄时获取以包含在该背景图像中的前景区域作为主要被摄体的距离信息，来确定上述前景区域， 上述合成部(Sg)基于上述背景图像拍摄时的距离信息和上述前景图像拍摄时的距离信息来进行合成。
4.根据权利要求3所述的图像合成装置，其特征在干， 还包括:拍摄部⑵， 所述距离信息获取部获取在所述拍摄部进行拍摄时的从该装置直至主要被摄体为止的距离信息。
5.根据权利要求4所述的图像合成装置，其特征在干， 所述距离信息获取部，获取在所述拍摄部进行拍摄时的合焦时的从该装置直至主要被摄体为止的距离信息。
6.根据权利要求1所述的图像合成装置，其特征在干， 还包括指定部(12b),该指定部任意指定上述确定部应当确定的前景区域。
7.根据权利要求1至6中任一项所述的图像合成装置，其特征在干， 所谓上述前景图像是包含透过区域的图像。
8.一种图像合成方法，其特征在干， 是图像合成装置的图像合成方法， 该图像合成方法包括: 指示检测步骤(13)，检测背景图像和前景图像的合成指示； 确定步骤(8d)，通过基于该指示检测步骤的指示检测，从上述背景图像中确定相比上述前景图像更应当存在于前景的前景区域；以及 合成步骤(Sg)，按照由上述确定步骤确定出的前景区域比上述前景图像处于更前景的方式来对上述背景图像和上述前景图像进行合成。
全文摘要
本发明提供一种图像处理装置及图像处理方法。照相机装置(100)包括记录介质(9)、操作输入部(12)、和图像合成部(8g)。记录介质(9)将图像与该图像拍摄时的拍摄条件建立关联并存储。操作输入部(12)从该记录介质(9)中读出多个图像并指示合成。图像合成部(8g)从记录介质(9)中读出与由操作输入部(12)指示合成的多个图像分别建立了关联的拍摄条件，按照与一个图像的拍摄条件相接近的方式来合成另一个图像。
文档编号H04N9/75GK103139485SQ20131005350
公开日2013年6月5日 申请日期2010年3月18日 优先权日2009年3月19日
发明者星野博之, 村木淳, 清水博, 市川英里奈 申请人:卡西欧计算机株式会社