图像处理装置以及图像处理方法
【专利摘要】本发明的图像处理装置等具备：确定部(102)，确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域；显示部(104)，显示多个图像中的第一图像，在显示部(104)显示的第一图像的规定位置受指定的情况下，至少选择具有包含规定位置的第一对焦区域的第二图像，并在显示部(104)显示被选择的第二图像。
【专利说明】图像处理装置以及图像处理方法
【技术领域】
[0001 ] 本发明涉及一种图像处理装置以及图像处理方法。
【背景技术】
[0002]现已技术中已有能够通过对摄像装置所拍摄的图像等进行图像变焦来扩大显示的功能(变焦功能)。例如在数码相机等摄像装置中，变焦功能是准配置，用于想对图像的特定区域进行扩大细看等的情况。
[0003]例如专利文献I中公开了利用者利用照相机进行变焦时能够随意选择变焦地点的技术。
[0004]专利文献1:特开平9-102945号公报
[0005]但是，包含规定位置(变焦地点)的、图像的特定区域如果不是对焦状态，将造成变焦后的图像(变焦图像)不鲜明的问题。
【发明内容】
[0006]鉴于这种情况，本发明的目的在于提供能够以鲜明的状态对显示图像的包含受指定的规定位置的图像区域进行显示的图像处理装置以及图像处理方法。
[0007]为了达成上述目的，本发明的一形态的图像处理装置具备:确定部，确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域；显示部，显示上述多个图像中的第一图像，在上述显示部显示的上述第一图像的规定位置受指定的情况下，从上述多个图像中至少选择第二图像，并在上述显示部显示被选择的上述第二图像，上述第二图像是具有包含上述规定位置的上述第一对焦区域的图像。
[0008]在此，这些整体性或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，亦可由系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
[0009]发明效果
[0010]本发明的图像处理装置以及图像处理方法能够以鲜明的状态对显示图像的包含受指定的规定位置的图像区域进行显示。
【专利附图】
【附图说明】
[0011]图1A是表示进行对焦时使用的图像的一个例子的图。
[0012]图1B是表示在以图1A所示的图像的中心坐标作为变焦地点进行变焦的情况下的变焦图像的一个例子的图。
[0013]图2是表示实施方式I的图像处理装置的概略结构的方框图。
[0014]图3A是表示由摄影部拍摄的对焦距离不同的图像的一个例子的图。
[0015]图3B是表示由摄影部拍摄的对焦距离不同的图像的一个例子的图。
[0016]图3C是表示由摄影部拍摄的对焦距离不同的图像的一个例子的图。
[0017]图4是表示图3A?图3C的图像中的被摄体的深度图的图。
[0018]图5A是表示由摄影部拍摄的对焦距离不同的图像的对焦区域的一个例子的图。
[0019]图5B是表示由摄影部拍摄的对焦距离不同的图像的对焦区域的一个例子的图。
[0020]图5C是表示由摄影部摄影的对焦距离不同的图像的对焦区域的一个例子的图。
[0021]图是表示利用图5A?图5C合成的合成对焦区域的图。
[0022]图6A是表示拍摄到的多个图像的深度值的深度信息的图。
[0023]图6B是表示图6A所示的被摄体的进深的图。
[0024]图7是用于说明在变焦前以及变焦后，由显示部显示的图像的一个例子的图。
[0025]图8是用于说明在变焦前以及变焦后，由显示部显示的图像的一个例子的图。
[0026]图9是用于说明从变焦前到变焦后，由显示部显示的图像的变迁的一个例子的图。
[0027]图10是用于说明从变焦前到变焦后，由显示部显示的图像的变迁的一个例子的图。
[0028]图11是用于说明实施方式I的图像处理装置的处理流程的图。
[0029]图12是表示实施方式2的图像处理装置的概略结构的方框图。
[0030]图13A是用于说明实施方式2中采用检测部和校正部的目的的图。
[0031]图13B是用于说明实施方式2中采用检测部和校正部的目的的图。
[0032]图13C是用于说明实施方式2中采用检测部和校正部的目的的图。
[0033]图13D是用于说明实施方式2中采用检测部和校正部的目的的图。
[0034]图14是表示实施方式3的图像处理装置的概略结构的方框图。
[0035]图15是表示本发明的图像处理装置的最小结构的方框图。
[0036]图16是表示本发明的图像处理装置的最小结构部的处理的图。
【具体实施方式】
[0037](本发明的基础知识)
[0038]本发明的
【发明者】发现“【背景技术】”一栏中记载的现有的图像处理装置中存在着如下问题。
[0039]现有技术中已有能够对摄像装置所拍摄的图像等进行图像变焦来扩大显示的功能(变焦功能)。例如在数码相机等摄像装置中，变焦功能是标准配置，用于想对图像的特定区域进行扩大细看等的情况。
[0040]图1A是表示进行变焦时使用的图像的一个例子的图，图1B是表示在以图1A的中心坐标作为变焦地点进行变焦的情况下的变焦图像的一个例子的图。
[0041]在图1A所示的I张图像I中，拍摄了被摄体10、被摄体20以及被摄体30。图1B所示的图像la、lb、Ic、Id以及Ie表示以图像I的被摄体20作为变焦对象或者变焦地点(中心坐标)进行变焦时的变焦图像。图1B所示的图像la、lb、lc、Id以及Ie表示变焦倍率不同的变焦图像，表示了以被选择的变焦地点或者变焦对象相一致的方式对图像I进行了扩大的变焦图像。在此，图像Ia?Ie的大小相同是因为对图像I进行扩大之后(变焦图像)，根据需要进行了修剪。通过修剪，作为变焦后的图像的图像la、lb、lc、ld、le的尺寸与作为变焦前的图像的图像I的尺寸相一致。
[0042]另外，在对图像I进行变焦之前(事先)，进行变焦地点或者变焦对象的选择。对于照相机等一般的摄像装置而言，初始值(初始设置)中多是将图像的中心位置设定为变焦地点。
[0043]在此，例如在专利文献I中公开了利用者利用照相机进行变焦时能够任意选择变焦地点的技术。专利文献I中公开了通过操作附带照相机的触屏来设定变焦地点的技术。具体而言，通过用手或者鼠标指定照相机上的图标，来进行照相机的摇动、倾斜、变焦和对焦控制的技术。由此，通过触屏指定，能够设定变焦时的任意变焦地点。
[0044]另一方面，通常而言，图像的变焦功能用于想细看图像的特定区域(变焦对象)的情况等。因此，优选在对焦状态下拍摄变焦对象。
[0045]但是，就照相机等摄像装置而言，图像变焦功能实际上会根据设定而受到限制，有时会导致拍摄出违背用户意图的浅景深图像。
[0046]S卩，根据历来的技术，有时会不顾用户的意图，在非对焦状态的状态下进行拍摄。并且，若对非对焦状态的变焦对象即模糊的变焦对象进行变焦的话，会造成变焦后(扩大显示后)的图像变得更不鲜明的问题。
[0047]尤其是，在对拍摄后的图像进行电子变焦(扩大显示)的情况下，变焦后的图像会变得更不鲜明。进而，在扩大到了超过图像分辩率的倍率的情况下，甚至会出现难以理解变焦对象的情况。为此，为了保证变焦后的图像(变焦图像)足够鲜明或者说为了使人能够理解变焦图像中的变焦对象，优选在对焦状态下拍摄变焦前的变焦对象。
[0048]对此，鉴于这种状况，本发明的一形态的目的在于提供能够以鲜明的状态对显示图像中的包含受指定的规定位置的图像区域进行显示的图像处理装置以及图像处理方法。
[0049]为了达成上述目的，本发明的一形态的图像处理装置具备:确定部，确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域；显示部，显示上述多个图像中的第一图像，在上述显示部显示的上述第一图像的规定位置受指定的情况下，从上述多个图像中至少选择第二图像，并在上述显示部显示被选择的上述第二图像，上述第二图像是具有包含上述规定位置的上述第一对焦区域的图像。
[0050]根据以上，能够以鲜明的状态对显示图像的包含受指定的规定位置的图像区域进行显示。
[0051]另外，例如，上述图像处理装置还具备合成部，该合成部通过合成由上述确定部确定的多个图像各自的第一对焦区域的合计区域来生成第二对焦区域，上述显示部显示上述第一图像并显示被重叠在上述第一图像上的上述第二对焦区域。
[0052]另外，例如，上述图像处理装置还具备摄影部，该摄影部通过在时间上连续拍摄摄影参数不同的多个图像，来拍摄上述多个图像，上述摄影参数至少包含对焦位置的信息。
[0053]另外，例如，上述确定部利用与上述多个图像分别对应的深度信息，来确定上述多个图像各自的第一对焦区域。
[0054]另外，例如，上述图像处理装置还具备:设定部，在上述显示部显示的上述第一图像的上述规定位置受指定的情况下，从上述多个图像中至少选择上述第二图像，并对上述显示部显示出上述第二图像为止的切换方法进行设定；图像生成部，按照由上述设定部设定的上述切换方法，生成至少对上述第二图像的包含上述第一对焦区域的区域进行扩大的变焦图像，上述显示部至少将由上述图像生成部生成的上述第二图像的变焦图像，作为上述第二图像来显示。
[0055]另外，例如，上述设定部还取得与上述多个图像分别对应的深度信息，并根据取得的上述深度信息来设定上述切换方法。
[0056]另外，例如，上述设定部根据取得的上述深度信息来选择第三图像，该第三图像是具有深度值在上述第二图像的第一对焦区域的深度值和上述第一图像的第一对焦区域的深度值之间的第一对焦区域的图像，并且，上述设定部将上述切换方法设定为:在上述显示部显示出上述第二图像为止的期间，在上述显示部显示上述第三图像，上述图像生成部按照上述切换方法，至少生成第一变焦图像和第二变焦图像，上述第一变焦图像是对包含与上述第二图像的上述第一对焦区域对应的上述第三图像的区域和上述第三图像的上述第一对焦区域的区域进行扩大的图像，上述第二变焦图像是对包含上述第二图像的上述第一对焦区域的区域进行扩大的图像，上述显示部对由上述图像生成部生成的上述第一变焦图像和上述第二变焦图像，按照此顺序进行显示。
[0057]另外，例如，上述设定部将上述切换方法设定为:在显示部显示出上述第二图像为止的期间，在显示部显示通过按规定比例合成上述第二图像以及上述第一图像而成的第三图像，上述图像生成部按照上述切换方法，至少生成第一变焦图像和第二变焦图像，上述第一变焦图像是对包含与上述第二图像的上述第一对焦区域对应的上述第三图像的区域和上述第三图像的第一对焦区域的区域进行扩大的图像，上述第二变焦图像是对包含上述第二图像的第一对焦区域的区域进行扩大的图像，上述显示部对由上述图像生成部生成的上述第一变焦图像和上述第二变焦图像，按照此顺序进行显示。
[0058]另外，例如，上述图像处理装置还具备决定部，该决定部自动决定并指定上述规定位置。
[0059]另外，例如，上述决定部，在由上述合成部生成的上述第二对焦区域内，决定上述规定位置。
[0060]另外，例如，上述图像处理装置还具备接受部，该接受部接受用户的输入，并指定上述规定位置。
[0061]另外，例如，上述图像处理装置还具备:检测部，检测上述同一被摄体在上述多个图像间的偏位量；校正部，根据上述检测部检测出的偏位量，对上述同一被摄体在上述多个图像间的偏位量进行校正。
[0062]另外，另外达成上述目的，本发明的一形态的图像处理方法包括:确定步骤，确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域；显示步骤，在显示部显示上述多个图像中的第一图像，在上述显示步骤显示的上述第一图像的规定位置受指定的情况下，从上述多个图像中至少选择第二图像，并在上述显示部显示被选择的上述第二图像，上述第二图像是具有包含上述规定位置的上述第一对焦区域的图像。
[0063]在此，这些整体性或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，亦可由系统、方法、集成电路、计算机程序以及记录介质的任意组合实现。
[0064]以下，关于本发明的一形态的图像处理装置以及图像处理方法，参照附图来进行具体说明。
[0065]在此，以下说明的实施方式均表示本发明的一具体例。以下实施方式中给出的结构要素、结构要素的连接形态、步骤，步骤的顺序等也都表示一个例子，并不意味本发明限定于此。另外，关于以下实施方式的结构要素中的未被记载于表不最上位概念的独立权利要求中的结构要素，作为任意的结构要素进行说明。
[0066](实施方式I)
[0067]图2是表示实施方式I的图像处理装置的概略结构的方框图。
[0068]如图2所示的图像处理装置100具备摄影部101、确定部102、合成部103、显示部104、设定部105以及图像生成部106。
[0069]摄影部101通过在时间上的连续拍摄摄影参数不同的多个图像，来拍摄对同一被摄体进行拍摄的、不同对焦位置的多个图像，该摄影参数至少包含对焦位置的信息。
[0070]具体是，摄影部101取得用于多个图像的摄影参数，并以不同的摄影参数拍摄至少2张以上的图像。在此，摄影参数至少包含图像的对焦位置，例如包含表示对焦距离、开口等的参数。在以下的说明中，简单起见，说明多个图像分别以不同的对焦距离被拍摄的情况，但并不限定于此。
[0071]如上所述，摄影部101通过拍摄(摄像)不同对焦距离的多张图像，来获得对焦区域不同的多个图像。另外，多个图像可以是通过包围式对焦拍摄来连续拍摄的图像，也可以利用作为某种处理的中间图像而被拍摄的图像。作为后者的例子，可举出利用摄影参数不同的多个图像来推测深度信息的DFD(Depth from Defocus)、根据多个图像来决定焦点位置的 AF(auto focus)等。
[0072]图3A至图3C是表示由摄影部拍摄的对焦距离不同的图像的一个例子的图。图4是表示图3A?图3C的图像中的被摄体的深度图的图。在此，图4的深度图中，越白表示与照相机的距离越近，越黑表示与照相机的距离越远。另外，图3A?图3C是相对于图4的深度图所示的距离上的被摄体的，对焦距离分别不同的3张图像的例子。
[0073]另外，图3A?图4所示的被摄体lla、21a以及31a，被摄体llb、21b以及31b，被摄体llc、21c以及31c，被摄体lld、21d以及31d分别表示同一被摄体。另外，图3A所示的图像2a是将对焦距离设定在深处拍摄的图像，因此在被摄体lla、21a以及31a中的由实线表示的被摄体Ila对焦。图3B所示的图像2b是将对焦距离设定在中距离拍摄的图像，因此在被摄体llb、21b、31b中的由实线所示的被摄体21b对焦。图3C所示的图像是将对焦距离设定在近处拍摄的图像，因此在被摄体llc、21c、31c中的由实线所示的被摄体31c对焦。
[0074]确定部102确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域。例如，确定部102利用与多个图像分别对应的深度信息，来确定多个图像各自的第一对焦区域。
[0075]在本实施方式中，确定部102取得(被输入)由摄影部101拍摄的不同对焦距离的多个图像和对多个图像分别进行拍摄时的对焦距离以及深度信息，从而确定各图像的对焦区域(第一对焦区域)。具体是，确定部102通过对拍摄各图像时的对焦距离和深度信息进行对照，例如像图5A?图5C那样确定各图像中的对焦区域(第一对焦区域)。
[0076]在此，图5A?图5C是表示由摄影部拍摄的对焦距离不同的图像的对焦区域的一个例子的图。图5A的对焦区域3001是与图3A的被摄体Ila对应的区域(包含被摄体Ila的区域)。同样，图5B的对焦区域3002是与图3B的被摄体21b对应的区域，图5C的对焦区域3003是与图3C的被摄体31c对应的区域。另外，对焦区域3001?对焦区域3003是第一对焦区域的一个例子，是与对焦位置的被摄体对应的区域。另外，对焦区域3001?对焦区域3003与对焦位置的被摄体被重叠显示。
[0077]合成部103通过合成由确定部102确定的多个图像各自的第一对焦区域的合计区域，来生成第二对焦区域。
[0078]具体是，由确定部102确定的各图像的对焦区域面(表示第一对焦区域的面)被输入到合成部103，合成部103生成表示由摄影部101拍摄的多个图像全体的对焦区域的面(表示第二对焦区域的面)。以下，利用附图进行具体说明。图是表示利用图5A?图5C合成的合成对焦区域的图。另外，图6A是表示被拍摄的多个图像的深度值的深度信息的图。图6B是表示图6A所示被摄体的进深的图。
[0079]合成部103通过合成由确定部102确定的第一对焦区域，即，合成对焦区域3001?对焦区域3002的合计区域，来生成图所示的合成对焦区域3004(第二对焦区域)。在此，合成部103可以在生成合成对焦区域3004(第二对焦区域)的同时，例如像图6A或者图6B所表示的那样，生成表示由摄影部101拍摄的图像的被摄体llf、21f、31f的进深值的深度信息。另外，被摄体llf、21f、31f与图5A?图5C所示的被摄体Ila?11c、21a?21c和31a?31c是同一被摄体。
[0080]显示部104显示多个图像中的第一图像。
[0081]在此，显示部104可以在显示多个图像中的第一图像的同时，在第一图像上重叠显示第二对焦区域。在此情况下，例如，显示部104利用由合成部103生成的合成对焦区域面(第二对焦区域的面)，来显示用于由利用者决定规定位置(变焦地点)的参照图像。在此，参照图像是表示将如图所示的合成对焦区域3004(第二对焦区域)重叠在图像2c上的图像2e，S卩，表示多个图像的第一图像与被重叠在第一图像上的第二对焦区域的图像。显示部104，作为使合成对焦区域面(第二对焦区域的面)起到作用(重叠)的参照图像(第一图像)，将图3A?图3C的任意图像用作第一图像。
[0082]另外，显示部104可以根据图3A?图3C重新生成用于显示的图像，并作为第一图像而显示。另外，显示部104可以根据需要，将由如图6B所示的合成部103生成的深度信息，作为利用者决定规定位置(变焦地点)时的补助信息而显示。
[0083]另外，利用者，针对显示部104所显示的参照图像上显示的合成对焦区域(第二对焦区域)，例如利用触屏等接口来决定规定位置(变焦地点)。在此，触屏等接口是接受部的一个例子，接受部接受来自用户的输入(变焦地点的决定)，并指定合成对焦区域(第二对焦区域)中的变焦地点的位置。
[0084]另外，显示部104显示由图像生成部106生成的至少第二图像的变焦图像，详情后述。另外，显示部104对图像生成部106生成的第一变焦图像和第二变焦图像，按照此顺序进行显示。
[0085]另外，在此说明了显示部104被形成在图像处理装置200的情况，但并不限定于此。也可以被形成在图像处理装置200的外部。另外，显示部104显示上述参照图像，另外，由图像生成部106生成的变焦图像也可以由被设置在图像处理装置200外部的显示装置等显不O
[0086]设定部105，在显示部104显示的第一图像(或第二对焦区域)内的规定位置(例如变焦地点)受指定的情况下，从多个图像中至少选择具有包括该规定位置的第一对焦区域的第二图像，并设定到显示部104显示出第二图像为止的切换方法。
[0087]在此，设定部105可以取得与多个图像分别对应的深度信息，并根据所取得的深度信息来设定切换方法。
[0088]例如，设定部105根据所取得的深度信息，选择具有深度值在第二图像的第一对焦区域的深度值和第一图像的第一对焦区域的深度值之间的第一对焦区域的第三图像。并且，设定部105，作为切换方法，可以设定为:在显示部104显示出第二图像为止的期间，显示部104显示第三图像。另外，例如，设定部105作为切换方法，可以设定为:在显示部104显示第二图像为止的期间，在显示部104显示按规定比率对第二图像以及第一图像进行合成之后的第三图像。
[0089]具体例为，设定部105利用受指定的规定位置(变焦地点)、由确定部102确定的各图像的对焦区域(第一对焦区域)以及由合成部103生成的合成对焦区域(第二对焦区域)，来设定切换方法。关于切换方法详见后述。
[0090]图像生成部106按照由设定部105设定的切换方法，生成至少对第二图像的第一对焦区域进行扩大的变焦图像。
[0091]例如，图像生成部106可以按照由设定部105设定的切换方法，至少生成第一变焦图像和第二变焦图像，该第一变焦图像是对包含与第二图像的第一对焦区域对应的第三图像的区域和第三图像的第一对焦区域的区域进行扩大的图像，该第二变焦图像是对包含第二图像的第一对焦区域的区域进行扩大的图像。另外，例如，图像生成部106可以按照由设定部105设定的切换方法，至少生成对第三图像的第一对焦区域进行扩大的第一变焦图像，和对第二图像的第一对焦区域进行扩大的第二变焦图像。
[0092]在此，以由设定部105设定的切换方法为例进行了说明。以下，将说明图像生成部106生成由设定部105选择的第二图像的变焦图像，并在显示部104显示的情况。
[0093]作为切换方法，例如有，在显示第二图像为止的中途切换图像的选择方法，或者从第一图像到显示出第二图像为止的图像的变迁方法。
[0094]首先，关于图像的选择方法进行说明。
[0095]以下，作为第二图像，选择图3A所示的图像2a。
[0096]具体而言，首先，例如像图所示，在合成对焦区域3004(第二对焦区域)被重叠在图3C的图像2c上而被显示在显示部104的情况下，视为合成对焦区域3004中的规定位置(变焦地点)受了指定。在此情况下，设定部105确认与受指定的规定位置对应的合成对焦区域3004的部分(图5A的对焦区域3001)的深度值(深度距离)。由此，设定部105可知以受指定的规定位置作为第一对焦区域(对焦区域3001)的图像是图3A所示的图像2a。然后，设定部105，作为变焦后的图像(第二图像或者第二图像的变焦图像)选择图3A所示的图像2a。
[0097]另外，图中，作为显示部104显示的变焦前的图像(第一图像)，表示了选择图3C所示的图像2c的例子，但并不限定于此。也可以选择被摄体21b被映在对焦位置的图3B所示的图像2b。即，可以在摄影部101拍摄的多个图像中，选择对焦、映出了比规定位置(变焦地点)的深度值更为浅处的深度值的被摄体的图像。其理由在于，根据变焦图像的特性，在被摄体的对焦距离与变焦倍率连动变化时看起来更自然，因此，优选为，变焦前的图像的被摄体距离比变焦后的图像的被摄体距离更为浅侧。
[0098]图7以及图8是用于说明变焦前以及变焦后在显示部上显示的图像的一个例子的图。图7以及图8都表示了，受指定的被摄体在变焦前是模糊的状态，开始变焦并达到最大变焦倍率时该被摄体成为对焦状态。
[0099]在图7所示的例子中，首先，设定部105作为变焦前的图像选择图3B所示的图像2b，作为变焦后的图像选择图3A所示的图像2a。另外，设定部105设定表示该选择方法的切换方法(参数)。然后，图像生成部106按照该选择方法，对图3A所示的图像2a (至少包含被摄体Ila的区域)进行扩大而生成变焦图像3。然后，显示部104作为变焦前的图像显示图像2b，并作为变焦后的图像显示变焦图像3
[0100]另一方面，在图8所示的例子中，首先，设定部105作为变焦前的图像选择图3C所示的图像2c，作为变焦途中的图像选择图3B所示的图像2b，作为变焦后的图像选择图3A所示的图像2a。另外，设定部105设定表示该选择方法的切换方法(参数)。然后，图像生成部106按照该选择方法，对图3B所示的图像2b (至少包括被摄体Ilb和被摄体21b的区域)进行扩大而生成变焦图像2b’，对图3A所示的图像2a(至少包含被摄体Ila的区域)进行扩大而生成变焦图像3。并且，显示部104作为变焦前的图像显示图像2c，作为变焦途中的图像显示变焦图像2b’，作为变焦后的图像显示变焦图像3。
[0101]另外，在位于通过显示部104而指定的规定位置上的被摄体被映在最前方的情况下，在变焦前和变焦后都可与选择图3C所示的图像2c。即，在显示部104，可以作为变焦前的图像显示图3C所示的图像2c，作为变焦后的图像也显示图3C所示的图像2c的变焦图像。另外，也可以作为变焦后的图像选择图3C所示的图像2c的变焦图像，作为变焦前的图像选择图3A所示的图像2a。即，变焦倍率和被摄体的对焦距离并非一定是连动的。
[0102]另外，最大变焦倍率可以是预先决定的固定值，也可以是与通过显示部104指定的被摄体的物体距离相应地变动的值。
[0103]以下，关于变焦图像的变迁方法进行说明。
[0104]以下，也例举作为第二图像选择了图3A所示的图像2a的情况进行说明。
[0105]图9以及图10是用于说明从变焦前到变焦后，显示部显示的图像的变迁的一个例子的图。
[0106]在图9所示的例子中，作为变迁方法表示了以在从变焦开始到变焦途中持续使用图3B所示的图像2b，达到最大变焦倍率时(变焦后)切换成图3A所示的图像2a的方式来使变焦图像变迁的例子。
[0107]具体是，首先，设定部105，作为从变焦前至变焦途中的图像选择图3B所示的图像2b，作为变焦后的图像选择图3A所示的图像2a，并设定表示这种变迁方法的切换方法(参数)。然后，图像生成部106按照该变迁方法，扩大图3B所示的图像2b，生成变焦倍率不同的变焦图像4以及5。另外，图像生成部106，扩大图3A所示的图像2a(包括至少与被摄体Ila对应的区域的区域)，生成变焦图像3。并且，显示部104，作为变焦前(变焦开始)的图像显示图像2b，作为变焦途中的图像显示变焦图像4及5，作为变焦后的图像显示变焦图像3。
[0108]另外，在图10所示的例子中，作为变迁方法表示了在变焦开始时使用图3B所示的图像2b，最大变焦倍率时(变焦后)使用图3A所示的图像2a，在两者之间的期间一边切换成按规定比例对图3B所示的图像2b和图3A所示的图像2a进行合成(混合)的图像，一边使变焦图像变迁的例子。
[0109]具体是，首先，设定部105，作为变焦前(变焦开始)的图像选择图3B所示的图像2b，作为变焦途中的图像选择按规定比率对图3B所示的图像2b和图3A所示的图像2a进行合成(混合)的图像，作为变焦后的图像选择图3A所示的图像2a，并设定表示这种变迁方法的切换方法(参数)。然后，图像生成部106，按照该变迁方法，对按照规定比率合成(混合)了图3B所示的图像2b和图3A所示的图像2a而成的图像进行扩大，生成变焦倍率不同的变焦图像6以及7。另外，图像生成部106扩大图3A所示的图像2a(包括至少与被摄体Ila对应的区域的区域)，生成变焦图像3。并且，显示部104，作为变焦前的图像显示图像2b，作为变焦途中的图像显示变焦图像6以及7，作为变焦后的图像显示变焦图像3。
[0110]如上所述，根据由设定部105设定的选择方法以及变迁方法等切换方法(参数)，由摄影部101拍摄的多个图像，由图像生成部106生成变焦图像，并由显示部104显示。
[0111]另外，在上述的切换方法中，说明了变焦图像是原图像的放大图像的情况，但并不限定于此。等倍，即，1.0倍的图像也可以作为变焦图像。采用等倍图像的情况下，只是切换成具有包含由设定部105选择的规定位置的对焦区域的图像。
[0112]以下，关于具有如上所述的结构的图像处理装置100的处理流程，参照图11进行说明。
[0113]图11是用于说明本实施方式的图像处理装置的处理流程的图。
[0114]首先，摄影部101以不同的摄影参数拍摄对焦位置不同的多个图像(SlOl)。
[0115]然后，确定部102，对拍摄了同一被摄体的、对焦位置不同的多个图像各自的第一对焦区域进行确定(S102)。具体而言，首先，向确定部102输入在SlOl拍摄的多个图像，并与各图像对应地取得至少包含对焦位置的信息的摄影参数(S1021)。接下来，确定部102取得在SlOl拍摄的多个图像的深度信息(S1022)。然后，确定部102利用深度信息，在SlOl拍摄的多个图像的第一对焦区域分别进行确定(S1023)。
[0116]然后，合成部103合成由确定部102确定的第一对焦区域的合计区域，从而生成第二对焦区域(S103)。S卩，合成部103通过对在S105分别确定的第一对焦区域进行合成，来生成对焦于多个图像全体的区域(第二对焦区域)。
[0117]然后，显示部104显示多个图像中的第一图像，并在第一图像上重叠显示第二对焦区域(S104)。即，显示部104显示在S105生成的第二对焦区域。另外，显示部104通过UI显示等，提醒利用者对变焦地点进行指定。在此，显示部104也可以不显示第二对焦区域，而显示多个图像中的第一图像。
[0118]然后，设定部105在第二对焦区域内的变焦地点受指定的情况下，至少选择具备包含该变焦地点的第一对焦区域的第二图像，并设定显示部104显示被选择的上述第二图像为止的切换方法(S105)。
[0119]具体而言，首先，设定部105将利用者所指定的规定位置设定为变焦图像的变焦地点(S1051)。接下来，设定部105利用受指定为变焦地点的第二对焦区域的深度信息，从在SlOl拍摄的多个图像中选择用于显示的图像(S1052)。在此，也可以选择用于生成变焦图像的图像。即，设定部105设定在显示第二图像为止的途中被切换的图像的选择方法。接下来，设定部105决定使在S1052中选择的图像例如与变焦倍率的变化一同变迁等的变迁方法(S1053)。S卩，设定部105对于切换第一图像到显示第二图像为止的图像的变迁方法。
[0120]然后，图像生成部106按照由设定部105设定的切换方法，生成至少对第二图像的第一对焦区域进行扩大的变焦图像(S106)。例如，图像生成部106根据在S1052选择的图像和在S1053决定的变迁方法来生成变焦图像。
[0121]最后，显示部104显示在S1052选择的图像。在此，如果有在S106由图像生成部106生成的变焦图像，就切换成对应的图像显示变焦图像。
[0122]以上，根据本实施方式，可实现能够以鲜明的状态显示包含显示图像的受指定的规定位置的图像区域的图像处理装置以及图像处理方法。
[0123]例如，对包括模糊区域的图像(包含规定位置的图像区域)使用变焦功能时，能够扩大可变焦的区域，因此能够有效体现变焦功能。
[0124]另外，根据本实施方式的图像处理装置以及图像处理方法，能够根据变焦倍率来切换摄影参数不同的多张图像。由此，不仅能够缓解因图像的对焦状态而实际有限制的现有变焦功能(对焦状态对变焦功能的限制)，还能够扩大变焦功能的有效区域。
[0125]如上所述，根据本实施方式，通过利用对焦位置不同的多个图像，即使是模糊区域也能够切换成鲜明状态的图像，或者显示变焦图像。
[0126]更具体是，根据本实施方式的图像处理装置以及图像处理方法，确定多个图像的第一对焦区域，接收显示图像包括模糊区域，也显示横跨多个图像的第二对焦区域。由此，在通过触摸等指定了第二对焦区域的变焦地点的情况下，在提高对焦倍率的同时，切换成具有与此时的变焦倍率对应的对焦范围的图像并进行变焦，从而在模糊区域也能够以鲜明的状态进行变焦。
[0127]另外，根据本实施方式的图像处理装置以及图像处理方法，例如在决定图像变焦的变焦地点时，可通过触屏等输入(指定)。
[0128](实施方式2)
[0129]关于实施方式2的图像处理装置200，参照图12进行说明。
[0130]图12是表示实施方式2的图像处理装置的概略结构的方框图。在此，对于与图2相同的要素赋予相同的符号，就其详情省略不述。图12所示的图像处理装置200具备摄影部101、确定部102、合成部103、显示部104、设定部105、图像生成部106、检测部207和校正部208。图12所示的图像处理装置200相对于图2所示的图像处理装置100而言，不同点在于具备检测部207和校正部208。以下，只对与实施方式I的图像处理装置100不同的结构要素进行说明。
[0131]在此，采用检测部207和校正部208的目的如下。由摄影部101拍摄的多个图像分别是在不同的时间被摄影的图像。因此，例如在拍摄第一张和第二张之间的期间，具备摄影部101的照相机或者被摄体若有移动的话，可能会导致第一张和第二张图像的被摄体位置不符。在利用这种情况的多个图像来生成变焦图像时，由于在对显示部104显示的图像进行切换时，被摄体位置同时也被切换，从而有可能给利用者造成不协调感。
[0132]图13A?图13D是用于说明本实施方式中采用检测部和校正部的目的的图。图13A以及图13B是表示本实施方式中的时间上连续拍摄的多个图像的一个例子的图，表示了被摄体的位置有变化的例子。图13C是用于说明图13A以及图13B所示的图像被显示在显示部时的偏位的图。
[0133]在显示部104上，从图13A所示的图像8a切换成图13B所示的图像8b时，如图13C所示，例如，被摄体12a和被摄体12b，以及被摄体22a和被摄体22b的偏位会变得显眼。另夕卜，被摄体32a和被摄体32b的偏位不显眼。
[0134]在此，为了避免上述问题，利用检测部207和校正部208，对摄影部101拍摄的多个图像之间的偏位进行校正，如图13D所示，使被摄体在多个图像的位置相一致。
[0135]检测部207检测多个图像中的同一被摄体的偏位量。
[0136]具体是，摄影部101拍摄的多个图像被输入到检测部207，由检测部207对输入的多个图像的偏位量进行检测。在此，作为偏位量的检测方法，可以利用运动矢量算出等历来的方法来检测运动，在此省略赘述。另外，检测部207，为了对多个图像中的被摄体的位置进行合计，在检测偏位量时，以多个图像中的I张作为基准来算出偏位量。例如，在多个图像是3张图像的情况下，检测部207检测第一张图像相对于第二张图像的偏位量、第三张图像相对于第二张图像的偏位量。
[0137]校正部208根据由检测部207检测出的偏位量，对多个图像中的被摄体的偏位量进行校正。
[0138]具体是，校正部208以由摄影部101拍摄的多个图像和由检测部207检测出的偏位量作为输入，对多个图像的偏位量进行校正。校正部208,例如在算出了图13A所不的图像8a和图13B所示的图像Sb的偏位量的情况下，通过由检测部207检测第二张相对于第一张的偏位量，如图13D所示的图像9那样，校正被摄体的偏位。
[0139]以上，根据本实施方式，可实现能够以鲜明的状态对包含显示图像的受指定的规定位置的图像区域进行显示的图像处理装置以及图像处理方法。
[0140](实施方式3)
[0141]关于实施方式3的图像处理装置300，参照图14进行说明。
[0142]图14是表示实施方式3的图像处理装置的概略结构的方框图。在此，对于与图2相同的要素赋予相同的符号，就其详情省略赘述。图14所示的图像处理装置200具备摄影部101、确定部102、合成部103、设定部105、图像生成部106、检测部207和校正部208。图14所示的图像处理装置300相对于图2所示的图像处理装置100而言，不同之处在于不具备显示部104，而具备决定部309。
[0143]在实施方式I中说明了通过显示部104的显示来由利用者指定变焦地点(规定位置)的情况的例子。相对于此，在实施方式3中，取代于由利用者指定变焦地点(规定位置)，由决定部309自动设定变焦地点。
[0144]决定部309自动决定并指定规定位置。另外，决定部309，在由合成部103生成的第二对焦区域内，决定规定位置。即，决定部309，根据第二对焦区域，在第二对焦区域的范围内自动设定变焦地点。
[0145]另外，决定部309可以采用由摄影部101拍摄的图像中的任一个图像，来作为重叠第二对焦区域的检测用图像(第一图像)。也可以利用通过对检测用图进行合成等而生成的图像。变焦地点的检测方法也可以采用任意的方法，例如，可以将通过面部检测所检测出的人物面孔作为变焦地点。
[0146]如上所述，根据本发明，可实现能够以鲜明的状态对包含显示图像的受指定的规定位置的图像区域进行显示的图像处理装置以及图像处理方法。
[0147]另外，实施方式I~3的图像处理装置至少具备摄影部101、确定部102、合成部103、设定部105和图像生成部106，但并不限定于此。如图15所示，作为图像处理装置的最小结构，具备最小结构部10a即可。即，具备确定部102以及显示部104即可。在此，图15是表示本发明的图像处理装置的最小结构的方框图。另外，对于与图2相同的要素赋予相同的符号，就其详情省略赘述。
[0148]本发明的图像处理装置通过至少具备最小结构部100a，能够以鲜明的状态对显示图像的包含受指定的规定位置的图像区域进行显示。
[0149]另外，本发明的图像处理方法进行的典型处理如图11所示，但并不限定于此。通过图15所示的最小结构部100a，至少进行图16所示的步骤即可。在此，图16是表示本发明的图像处理装置的最小结构部的处理的图。
[0150]更具体是，首先，确定部102确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域(S201)。详情与S102相同，在此省略赘述。
[0151]然后，显示部104显示多个图像中的第一图像(S202)。详情见S104的说明，在此省略赘述。
[0152]然后，最小结构部100a，在显示的第一图像的规定位置受指定的情况下，从多个图像中至少选择包含上述规定位置的上述第一对焦区域的第二图像，并在显示部104显示所选择的第二图像(S203)。
[0153]另外，S203所示的处理是S105以及S106的处理的一部分，至少包括S1052和S106
的处理。
[0154]另外，在上述各实施方式中，各结构要素可由专用的硬件构成，也可以通过执行适合于各结构要素的软件程序来实现。各结构要素可通过由CPU或者处理器等程序执行部，读取并执行被记录在硬盘或被半导体存储器等记录介质中的软件程序来实现。在此，实现上述各实施方式的图像处理装置等的软件，是如下程序。
[0155]即，该程序使计算机执行:确定步骤，确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域；显示步骤，在显示部显示上述多个图像中的第一图像，在上述显示步骤显示的上述第一图像的规定位置受指定的情况下，从上述多个图像中至少选择第二图像，并在上述显示部显示被选择的上述第二图像，上述第二图像是具有包含上述规定位置的上述第一对焦区域的图像。
[0156]以上，关于本发明的一个或者多个形态的图像处理装置以及图像处理方法，根据实施方式进行了说明，但本发明并不限定于该实施方式。在不超出本发明的宗旨的情况下，将本领域技术人员想出的各种变形方式结合于本实施方式的形态，对不同实施方式的结构要素进行组合而构成的形态也都属于本发明的一个或者多个形态的范围内。
[0157]工业实用性
[0158]本发明能够利用于民用或者业务用的摄像装置(数码静态相机、摄像机)或者便携式终端等设备，尤其可利用于，能够根据由摄像装置以不同的摄影参数拍摄的多个图像和深度信息，在切换图像的同时生成变焦图像的图像处理装置以及图像处理方法利用。
[0159]符号说明
[0160]1、la、lb、lc、Id、le、2、2a、2b、2c、2e、8a、8b、9 图像
[0161] 2b’、3、4、6、7变焦图像
[0162]10、lla、lib、11c、I Id、I If、12a、12b、20、21b、22a、22b、30、31c、，32a、32b被摄体
[0163]100,200,300图像处理装置
[0164]100a 最小结构部
[0165]101摄影部
[0166]102 确定部
[0167]103合成部
[0168]104 显示部
[0169]105设定部
[0170]106图像生成部
[0171]207 检测部
[0172]208 校正部
[0173]309决定部
[0174]3001,3002,3003 对焦区域
[0175] 3004 合成对焦区域
【权利要求】
1.一种图像处理装置，具备: 确定部，确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域；以及 显示部，显示上述多个图像中的第一图像， 在上述显示部显示的上述第一图像的规定位置受指定的情况下，从上述多个图像中至少选择第二图像，并在上述显示部显示被选择的上述第二图像，上述第二图像是具有包含上述规定位置的上述第一对焦区域的图像。
2.如权利要求1所述的图像处理装置， 上述图像处理装置还具备合成部，该合成部通过合成由上述确定部确定的多个图像各自的第一对焦区域的合计区域，来生成第二对焦区域， 上述显示部显示上述第一图像，并显示被重叠在上述第一图像上的上述第二对焦区域。
3.如权利要求1或者2所述的图像处理装置， 上述图像处 理装置还具备摄影部，该摄影部通过在时间上连续拍摄摄影参数不同的多个图像，来拍摄上述多个图像，上述摄影参数至少包含对焦位置的信息。
4.如权利要求1至3的任一项所述的图像处理装置， 上述确定部利用与上述多个图像分别对应的深度信息，来确定上述多个图像各自的第一对焦区域。
5.如权利要求1至4的任一项所述的图像处理装置， 上述图像处理装置还具备: 设定部，在上述显示部显示的上述第一图像的上述规定位置受指定的情况下，从上述多个图像中至少选择上述第二图像，并对上述显示部显示出上述第二图像为止的切换方法进行设定；以及 图像生成部，按照由上述设定部设定的上述切换方法，生成至少对上述第二图像的包含上述第一对焦区域的区域进行扩大的变焦图像， 上述显示部至少将由上述图像生成部生成的上述第二图像的变焦图像，作为上述第二图像来显示。
6.如权利要求5所述的图像处理装置， 上述设定部还取得与上述多个图像分别对应的深度信息，并根据取得的上述深度信息来设定上述切换方法。
7.如权利要求6所述的图像处理装置， 上述设定部根据取得的上述深度信息来选择第三图像，该第三图像是具有深度值在上述第二图像的第一对焦区域的深度值和上述第一图像的第一对焦区域的深度值之间的第一对焦区域的图像，并且，上述设定部将上述切换方法设定为:在上述显示部显示出上述第二图像为止的期间，在上述显示部显示上述第三图像， 上述图像生成部按照上述切换方法，至少生成第一变焦图像和第二变焦图像，上述第一变焦图像是对包含与上述第二图像的上述第一对焦区域对应的上述第三图像的区域和上述第三图像的上述第一对焦区域的区域进行扩大的图像，上述第二变焦图像是对包含上述第二图像的上述第一对焦区域的区域进行扩大的图像，上述显示部对由上述图像生成部生成的上述第一变焦图像和上述第二变焦图像，按照此顺序进行显示。
8.如权利要求6所述的图像处理装置， 上述设定部将上述切换方法设定为:在上述显示部显示出上述第二图像为止的期间，在上述显示部显示通过按规定比例合成上述第二图像以及上述第一图像而成的第三图像， 上述图像生成部按照上述切换方法，至少生成第一变焦图像和第二变焦图像，上述第一变焦图像是对包含与上述第二图像的上述第一对焦区域对应的上述第三图像的区域和上述第三图像的第一对焦区域的区域进行扩大的图像，上述第二变焦图像是对包含上述第二图像的第一对焦区域的区域进行扩大的图像， 上述显示部对由上述图像生成部生成的上述第一变焦图像和上述第二变焦图像，按照此顺序进行显示。
9.如权利要求1至8的任一项所述的图像处理装置， 上述图像处理装置还具备决定部，该决定部自动决定并指定上述规定位置。
10.如权利要求9所述的图像处理装置， 上述图像处理装置还具备合成部，该合成部通过合成由上述确定部确定的多个图像各自的第一对焦区域的合计区域，来生成第二对焦区域， 上述决定部，在由上述合成部生成的上述第二对焦区域内，决定上述规定位置。
11.如权利要求1至10的任一项所述的图像处理装置， 上述图像处理装置还具备接受部，该接受部接受用户的输入，并指定上述规定位置。
12.如权利要求1至11的任一项所述的图像处理装置， 上述图像处理装置还具备: 检测部，检测上述同一被摄体在上述多个图像间的偏位量；以及 校正部，根据上述检测部检测出的偏位量，对上述同一被摄体在上述多个图像间的偏位量进行校正。
13.一种图像处理方法，包括: 确定步骤，确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域；以及 显示步骤，在显示部显示上述多个图像中的第一图像， 在上述显示步骤显示的上述第一图像的规定位置受指定的情况下，从上述多个图像中至少选择第二图像，并在上述显示部显示被选择的上述第二图像，上述第二图像是具有包含上述规定位置的上述第一对焦区域的图像。
14.一种集成电路: 具备确定部，该确定部确定对同一被摄体进行拍摄的、对焦位置不同的多个图像各自的第一对焦区域， 在显示上述多个图像中的第一图像的显示部所显示的上述第一图像的规定位置受指定的情况下，从上述多个图像中至少选择第二图像，并在上述显示部显示被选择的上述第二图像，上述第二图像是具有包含上述规定位置的上述第一对焦区域的图像。
【文档编号】H04N5/232GK104081755SQ201380007444
【公开日】2014年10月1日 申请日期:2013年10月1日 优先权日:2012年11月30日
【发明者】山田整 申请人:松下电器产业株式会社