摄像装置及图像显示方法

专利名称：摄像装置及图像显示方法
技术领域：
本发明涉及重构图像的技术。
背景技术：
近几年，公知获取关于入射光线的方向分布(directiondistribution)的信息的摄像装置、即被称为“全光相机(plenoptic camera) ”的摄像装置(日本特表2008-515110号公报、日本特表2009-532993号公报)。在全光相机的光学系统中，在现有的摄像镜头(以下，称为“主镜头”)与摄像元件之间插入反复配置了极小的透镜(以下，称为“微镜头”)的复眼透镜(以下，称为“微镜头阵列”)。构成微镜头阵列的每一个微镜头，将由主镜头汇聚的光根据其到达的角度分配给摄像元件内的多个像素群。S卩，若以下将由各微镜头汇聚到摄像元件上的像称为“子图像(sub-1mage) ”，则从摄像元件输出由多个子图像的集合体构成的图像数据，作为摄像图像的数据。另外，以下将这种全光相机的摄像图像称为“光场像(light fieldimage) ”。光场像不仅通过现有的主镜头生成，还通过经由微镜头阵列入射的光而生成。因此，光场像具有:在现有的摄像图像中也包含着的、表示从哪个部位到达的光线的二维空间信息，并且作为在现有的摄像图像中未包含的信息，还具有表示从摄像元件看是从哪个方向到达的光线的二维方向信息。全光相机拍摄完光场像之后，利用光场像的数据，能够重构在拍摄时在前方相隔了任意距离的面的像。换言之，全光相机即使在没有以规定距离对焦而拍摄了光场像的情况左，在拍摄完之后，也可通过利用该光场像的数据，自由地生成是以该规定距离对焦而拍摄的图像(以下，称为“重构图像”)的数据。

发明内容
本申请发明的第I观点所涉及的图像处理装置，其具备:图像获取部，其获取对从多个视点得到的多个子图像进行了排列的多视点图像；切出部，其从所述子图像中切出部分图像；和生成部，其基于与该部分图像对应的子图像的排列位置配置所述部分图像，从而生成重构图像。本申请发明的第2观点所涉及的图像处理装置，其具备:图像获取部，其获取对从多个视点得到的多个子图像进行了排列的多视点图像；第I选择部，其从所述多个子图像中选择第I图像；像素选择部，其选择包含在所述第I图像中的第I像素；第2选择部，其从所述多个子图像中选择第2图像；搜索部，其从包含在所述第2图像中的像素之中，搜索与所述第I像素对应的第2像素；像素加工部，其基于所述第I像素与所述第2像素的位置关系，加工所述第I像素和所述第2像素；和重构部，其从由所述像素加工部加工出的所述多个子图像中，重构图像。本申请发明的第3观点所涉及的图像生成方法，包括以下步骤:获取对从多个视点得到的多个子图像进行了排列的多视点图像；从所述子图像中切出部分图像；以及按照与所述部分图像对应的子图像的排列顺序配置所述部分图像，从而生成重构图像。本申请发明的第4观点所涉及的计算机可读取的非易失性记录介质，其保存通过计算机可执行的程序，所述程序使所述计算机实现如下功能:获取对从多个视点得到的多个子图像进行了排列的多视点图像；从所述子图像中切出部分图像；以及按照与所述部分图像对应的子图像的排列顺序配置所述部分图像，从而生成重构图像。


结合以下的附图考虑以下的详细记载的话，能够得到本申请的更深层次的理解。图1A是本发明的实施方式I的数码相机的正面图。图1B是实施方式I的数码相机的背面图。图2是表示实施方式I的数码相机的硬件构成的框图。图3是表示实施方式I的数码相机中的光学系统的构成例的示意图。图4是实施方式I的光场像的概念图。图5是表示实施方式I的数码相机的功能结构的框图。图6是表示实施方式I的图像输出处理的流程图。图7是表示实施方式I的取景图像生成部的功能结构的框图。图8是说明实施方式I的数码相机所执行的图像生成处理I的流程图。图9是表示根据实施方式I的光场像生成第I重构图像的处理的概要的图。图1OA是表示实施方式I的确认图像生成部的功能结构的框图。图1OB是表示实施方式I的区域定义表的例的图。图11是说明实施方式I的数码相机所执行的图像生成处理2的流程图。图12是表示根据实施方式I的光场像生成第2重构图像的处理的概要的图。图13A是表示实施方式I的正式图像生成部的功能结构的框图。图13B是表示实施方式I的像素偏离系数计算部的功能结构的框图。图13C是表示实施方式I的配置间隔表的例的图。图13D是表示实施方式I的切出尺寸修正表的例的图。图14是说明实施方式I的数码相机所执行的图像生成处理3的流程图。图15是表示根据实施方式I的光场像生成第3重构图像的处理的概要的图。图16A、图16B是表示在生成实施方式I的生成第3重构图像的处理中配置部分图像的处理的概要的图。图17是表示本发明的实施方式2的图像输出处理的流程图。
图18是表示本发明的实施方式3的取景图像生成部的功能结构的框图。图19是表示实施方式3的图像输出处理的流程图。图20是说明实施方式3的数码相机所执行的图像生成处理的流程图。图21是表示本发明的实施方式4的取景图像生成部的功能结构的框图。图22是表示实施方式4的图像输出处理的流程图。图23是表示实施方式4的偏离系数推测处理的流程图。图24是表示实施方式4的对推测图像与计算图像进行分组的例的图。图25是表示实施方式4的对推测图像与计算图像进行分组的例的图。图26是表示实施方式4的图像偏离系数的推测处理例的概要的图。图27A是表示本发明的实施方式5的正式图像生成部的功能结构的框图。图27B是表示实施方式5的再对焦距离、重构距离、切出尺寸之间的对应表的例的图。图28是表不实施方式5的图像生成处理的流程图。图29 图31是表示实施方式5的将部分图像配置在中间图像中的处理的概要的图。图32A 图32C是表示实施方式5的中间图像中的部分图像的配置例的图。图33是表示实施方式5的变形例的图像生成处理的流程图。图34是表示实施方式5的变形例的将部分图像配置在中间图像中的处理的概要的图。图35是表示实施方式5的变形例的将部分图像配置在中间图像中的处理的概要的图。
具体实施例方式以下，参照

用于实施本发明的具体实施方式
的摄像装置。另外，对图中相同或相应部分附加同一符号。(实施方式I)说明作为本发明的摄像装置的一实施例的数码相机I的外观。图1A表示正面外观。图1B表示背面外观。数码相机I在正面侧具有摄像镜头(透镜组)12。此外，在数码相机I的背面设置作为显示装置的液晶监视器画面13、和由模式调节盘、光标键、SET键、变焦按钮(W按钮、T按钮)、菜单键等构成的操作部14。此外，在上表面设有快门按钮10、电源按钮11。另外，虽然未图示，但是在侧部设有与个人计算机(personalcomputer)或调制解调器等外部装置形成USB电缆连接时使用的USB端子连接部。接着，参照图2，说明数码相机I的硬件结构。数码相机I 包括 CPU (Central Processing Unit) 21、ROM (Read OnlyMemory) 22>RAM (Random Access Memory) 23、和内部总线20。此外，数码相机I具备输入输出接口 30、摄像部31、输入部32、输出部33、存储部34、显示部35、通信部36、和介质驱动器37。CPU21将RAM23用作作业区域，通过保存在R0M22或存储部34中的程序执行用于输出图像的后述的处理。R0M22和/或存储部34在CPU21执行后述的各种处理的基础上存储所需数据。所存储的数据适当被加载到RAM23中。此外，RAM23适时存储后述处理的中间数据。CPU21、R0M22、RAM23、及输入输出接口 30经由内部总线20而相互被连接。此外，在输入输出接口 30上连接了摄像部31、输入部32、输出部33、存储部34、显示部35、通信部36及介质驱动器37。摄像部31具备主镜头311、微镜头阵列312、和摄像元件313。另外，将在后面参照图3更详细地说明摄像部31。输入部32由快门按钮10、操作部14的各种按钮及在显示部35中设定的触摸面板等输入装置、和向输入输出接口 30传递用户利用这些输入装置执行的操作信息的传递部构成。用户可利用输入部32向数码相机I输入指令或各种信息。输出部33由监视器或扬声器等构成，输出通过CPU21的处理生成的各种图像或各
种声音。存储部34 由硬盘或 DRAM (Dynamic Random Access Memory)等构成,存储从 CPU21传递或从其他设备输入的后述的光场像或重构图像等各种图像的数据、各种设定信息。通信部36经由包括因特网在内的网络，控制在与其他装置(未图示)之间进行的通信。在介质驱动器37中适当安装可移动介质38 (磁盘、光盘、光磁盘、或半导体存储器等)。通过介质驱动器37从可移动介质38读出的程序根据需要被安装在存储部34。此外，与存储部34相同，可移动介质38能够存储在存储部34中存储的图像的数据等各种数据。显示部35由液晶显示器、有机EL(Electro-Luminescence)显示器等构成。显示部35显示通过后述的处理生成、且从CPU21传递的拍摄准备状态下的取景图像或摄影后的确认用图像。以下，以显示部35具有320X240像素的分辨率为例进行说明。在具有这种构成的数码相机I中，参照图3来说明光学系统的构成例。在数码相机I的光学系统中，从被摄体OB看时，以主镜头311、微镜头阵列312、摄像元件313的顺序进行了配置。在微镜头阵列312中，分别配置了 NXM个(N、M是2以上的任意的整数值)微镜头312-1至微镜头312-NXM。图3表不了横向一列(N个)的微镜头。以下说明各微镜头312-1(i是I至NXM的范围内的整数值)具有相同大小的直径，在微镜头阵列312中以相同的间隔被排列成格子状。主镜头311汇聚从被摄体OB上的点射出的光束，并在规定的面MA上使其成像，入射至微镜头阵列312。另外，以下，将由主镜头311成像的面称为“主镜头成像面MA”。在本实施方式中，王镜头成像面MA位于王镜头311与摄像兀件313之间。微镜头312-1按每个入射方向汇聚从被摄体OB经由主镜头311入射的光束，并在摄像元件313上使其成像为子图像。S卩，在摄像元件313中，通过多个微镜头312-1至微镜头312-NXM的每一个对多个子图像进行成像，生成作为这些多个子图像的集合体的光场像。这样，相对于同一被摄体从不同的角度看到的像被记录在对应的多个子图像。换言之，得到将同时从多个视点看被摄体的多个子图像排列而成的图像。这样得到的子图像包括相对于同一被摄体从不同的角度看到的像。因此，通过从多个子图像中选择适当的像素进行合成，从而能够重构拍摄时在前方远离了任意距离的面上对焦的图像、或任意变更了景深的图像。图4表示拍摄到块状的被摄体OB的光场像LFI的一例。该光场像LFI，由分别与配置成格子状的NXM个微镜头312_i对应的图像(子图像S11 Smn)构成。例如，左上方的子图像S11相当于从左上方拍摄了被摄体OB的图像，右下方子图像Smn相当于从右下方拍摄了被摄体OB的图像。第i行的子图像(横向一列的子图像)Sn Sffl，相当于将主镜头311成像的像在微镜头阵列312的第i行的横向上排列的由微镜头312-1成像的立体图像。同样，第j列的子图像(纵向一列的子图像)Su Sw相当于将主镜头311成像的像在微镜头阵列312的第j列的纵向上排列的由微镜头312-1拍摄的立体图像。另外，在本实施方式中，各子图像S是亮度色标图像，构成子图像的各像素具有像素值(标量值)。在本实施方式中，在微镜头阵列312中，在横向(X轴)上排列了 80个微镜头，在纵向(y轴)上排列的60个微镜头。与各微镜头对应的子图像被容纳在60X60像素的区域内，形成具有4800X3600像素的分辨率的光场像LFI。在通过主镜头的焦点位于比摄像元件更靠主镜头的一侧、微镜头的焦点比摄像元件靠后的如图3所示的光学系统拍摄的光场像LFI中，被摄体作为以各子图像为单位翻转到点对象的翻转像呈现。另一方面，若是主镜头的焦点位于摄像元件的后方侧的光学系统，则被摄体被呈现成没有翻转到子图像的像。在主镜头的焦点比摄像元件更靠主镜头的一侧、微镜头的焦点比摄像元件更靠前时也是同样的。数码相机I根据这种光场像LFI生成并输出重构图像RI。数码相机I通过上述物理结构,如图5所示,起到图像摄影部40、输入部50、包括LFI生成部610、取景图像生成部620、确认图像生成部630和正式图像生成部640在内的图像生成处理部60、显示部70、以及存储部80的作用。图像摄影部40通过主镜头311和微镜头阵列312拍摄被摄体，将其信息传递给LFI生成部610。输入部50获取在R0M22及RAM23中存储的摄影设定、输入部32受理的用户操作、在R0M22或RAM23中存储的重构设定，并传递给图像生成处理部60的各部。LFI生成部610根据从图像摄影部40传递的信息，生成如图4所例示的光场像LF10 LFI生成部610向取景图像生成部620、确认图像生成部630、和正式图像生成部640传递所生成的光场像LFI。取景图像生成部620、确认图像生成部630及正式图像生成部640从光场像LFI中，基于各微镜头的位置，根据子图像生成重构图像。将从光场像中基于各微镜头的位置生成重构图像的处理以下称为“重构处理”。在重构处理中，将被重构的被摄体假设存在的面称为“重构面”。取景图像生成部620生成重构图像中的取景用的图像(取景图像)。将生成取景图像的处理称为“取景图像生成处理”。在取景显示中为了向用户显示拍摄时的准备、拍摄状况，期望高速切换被摄体的图像来进行显示。因此，在本实施方式中，取景图像生成处理的计算量被设定得较少。取景图像生成部620向显示部70输出所生成的取景图像。取景图像生成部620生成在取景(拍摄准备)显示中所使用的图像，因此也可以称为准备生成部或第I生成部。
此外，确认图像生成部630生成重构图像中的用于图像拍摄后的确认的图像(确认图像)。将生成确认图像的处理称为“确认图像生成处理”。在拍摄后的确认中，虽然不要求鉴赏用图像程度的画质，但是为了能确认得到了什么图像程度希望较高的画质。此外，需要拍摄后迅速显示，但是不需要如取景图像那样迅速生成。因此，确认图像生成处理的计算量被设定得比取景图像生成处理多，以便能够生成更高画质的图像。确认图像生成部630向显示部70输出所生成的确认图像。另外，在此所说的画质高，不仅是分辨率大的图像，更是重构精度高、噪声少、附加适当的虚化而更准确地反映正式确认的特征等，对于用户而言便利性高的图像整体。确认图像生成部630，生成为了确认摄影图像而用于显示的图像，因此也可以称为显示生成部。正式图像生成部640在重构图像中生成观赏用图像(正式图像)。将生成正式图像的处理称为“正式图像生成处理”。正式图像由于是用于鉴赏，因此希望是与用户所期望的重构设定一致且高画质的图像。因此，正式图像生成处理的计算量被设定得较大。正式图像生成部640在存储部80中存储所生成的正式图像。另外，有时不区分取景图像生成部620、确认图像生成部630和正式图像生成部640，仅简单称为生成部。此外，在确认图像生成部630生成的重构图像满足用户的画质需求的情况下，确认图像生成部630也可以兼作正式图像生成部640。显示部70显示被传递的重构图像。另外，显示部70具有320X240像素的分辨率。此外，存储部80存储被传递的正式图像。另外，存储部80也可以与对应的确认图像一起存储正式图像。参照图6说明用于获取数码相机I所执行的光场像LFI后输出重构图像的处理(图像输出处理I)。若接通电源，输入部50接受准备拍摄的操作后，数码相机I开始图6所示的图像输出处理I。在图像输出处理I中，首先，利用图像摄影部40和LFI生成部610，数码相机I获取光场像LFI (步骤S101)。接着，输入部50获取在RAM23及R0M22中存储的当前摄像设定信息(步骤S102)。摄像设定信息包含当前的主镜头311的焦点距离fa、光圈(F值)、微镜头阵列312中的各微镜头的位置信息、以及微镜头阵列312与摄像元件313的位置信息等。若获取摄像设定信息，则取景图像生成部620执行取景图像生成处理(步骤
S103)。在本实施方式中，取景图像生成处理是后述的图像生成处理I。参照图7说明执行取景图像生成处理的取景图像生成部620的功能结构。在本实施方式中，取景图像生成部620是图7所示的第I重构图像生成部710。第I重构图像生成部710由子图像提取部711、部分区域定义部712、像素提取部713、像素配置部714、和输出部715构成。第I重构图像生成部710通过这些各部，从光场像LFI中生成第I重构图像(本申请的取景图像)，作为输出图像。以下，以第I重构图像为320X240像素的图像的情况为例进行说明。子图像提取部711，从构成光场像LFI的子图像中依次提取一个作为关注子图像，传递给部分区域定义部712。部分区域定义部712将从子图像提取部711传递的关注子图像的规定区域定义为部分区域。将在后面详细叙述部分区域。部分区域定义部712向像素提取部713传递表示部分区域的信息。像素提取部713，从由部分区域定义部712传递的信息所表示的关注子图像上的部分区域中以规定条件提取像素。将在后面详细叙述提取像素的处理的具体内容。像素提取部713将提取的像素传递给像素配置部714。像素配置部714在第I重构图像上配置像素提取部713所提取的像素。将在后面详细叙述配置像素的处理的具体内容。像素配置部714从子图像提取部711将所有子图像作为关注图像来依次提取像素后配置在第I重构图像上，从而生成第I重构图像。输出部715向外部(显示部70)输出这样生成的第I重构图像。接着，参照图8及图9，说明第I重构图像生成部710所执行的重构图像生成处理(图像生成处理I)。若到了图像输出处理1(图6)的步骤S103，则取景图像生成部620(第I重构图像生成部710)开始图8所示的图像生成处理I。在图像生成处理I中，首先，将kl设为计数变量，子图像提取部711提取光场像LFI的第kl个子图像，作为关注子图像(步骤S201)。接着，部分区域定义部712将关注子图像的规定区域(在此是位于子图像的中心的8X8像素的正方形区域)定义为部分区域(步骤S202)。该规定区域的大小，是基于针对在数码相机I的设计上可拍摄的被摄体产生的像素的偏离(视差)的大小设定的。例如，在照相机可拍摄的最近的距离和最远的距离下产生的像素偏离是4像素至12像素时，采用中间附近的8像素。定义部分区域后，像素提取部713将部分区域的像素提取出与后述的第I重构图像中的关注子图像对应的区域(对应区域)的像素数量(步骤S203)。然后，像素配置部714将提取出的像素配置在第I重构图像(生成图像)的对应区域的对应部位上(步骤S204)。采用具体例用并参照图9说明步骤S201至步骤S204的处理。如图9的上段所示，在光场像LFI中，大致圆状的子图像S11 Smn被排列成格子状。从子图像S11开始依次提取为关注子图像(步骤S201)，将中心部的8X8像素的正方形的部分提取为部分区域(步骤S202)。图9的中段表示从子图像S11提取出的部分区域(部分图像PI11)及从子图像S23提取出的部分区域(部分图像PI23)的放大图。以格子表示各部分区域的像素，并用坐标(1,1) (8,8)表不。图9的下段表示第I重构图像RI的例。在该例中，第I重构图像是320 X 240像素的图像，针对80X60个子图像的每一个，分割为与其坐标相应的4X4像素的对应区域(由粗线表示的区域)。S11的对应区域是第I重构图像RI的坐标(1，I) (4，4)的正方形部分，S23的对应区域是坐标(9，5) (12，8)的正方形部分。在步骤S203中，从部分区域隔一个提取4X4个像素。然后，在步骤S204中，按每个子图像在在上下左右(点对称)翻转提取出的像素来配置在对应区域上。这是因为，由于主镜头成像面MA存在于摄像元件313的前方，因此被摄体OB的像按每个子图像翻转。在图9的例中，S11的部分区域的像素(1，1)被配置在第I重构图像RI的坐标(4，4)上。此外，S11的部分区域的像素(1，3)被配置在第I重构图像RI的坐标(3，4)上。以下，同样地从部分区域隔一个提取像素来进行配置，部分区域的像素(7，7)被配置在第I重构图像RI的坐标(1，1)上。返回图8，若在步骤S204中针对当前的关注子图像在对应区域的全部像素上配置提取出的像素，则接着针对所有子图像判断是否执行了上述处理(步骤S205)。若存在未处理的子图像(步骤S205:否)，则使计数变量kl递增(步骤S206)，针对下一个关注子图像从步骤S201反复进行处理。另一方面，若针对所有子图像完成了上述处理(步骤S205:是)，则将完成后的第I重构图像作为取景图像，图像生成处理I结束。另外，在部分区域与对应区域的像素数相同的情况下，省略上述提取处理，点对称地翻转部分区域的所有像素来配置在对应区域上即可。此外，在部分区域为11X11像素、对应区域为4X4像素的情况等、不能以等间隔提取的情况下，以提取第I号像素、第4号像素、第7号像素、第11号像素这样接近等间隔的提取方法提取像素。或者，也可以插补部分区域(11X11像素)的同时调整为对应区域(4X4像素)。返回图6，若取景图像的生成结束，则显示部70显示所生成的取景图像(步骤
5104)。然后，判断输入部50是否检测到摄像操作(按入快门按钮10的操作)(步骤
5105)。若判断为没有检测出摄像操作(步骤S105:否)，则数码相机I返回步骤S101，反复进行用于显示取景图像的处理。另一方面，若判断为检测出摄像操作(步骤S105:是)，则接着确认图像生成部630执行确认图像生成处理(步骤S106)。在本实施方式中，确认图像生成处理是后述的图像生成处理2。参照图10A，说明执行确认图像生成处理的确认图像生成部630的功能结构。在本实施方式中，确认图像生成部630是图1OA所示的第2重构图像生成部720。第2重构图像生成部720由子图像提取部721、偏离值计算部722、部分区域定义部723、配置图像生成部724、图像配置部725、和输出部726构成。第2重构图像生成部720通过这些各部，根据光场像LFI生成第2重构图像(本实施方式的确认图像)，作为输出图像。第2重构图像是320X240像素的图像。子图像提取部721，从构成光场像LFI的子图像中依次提取一个作为关注子图像，并传递给偏离值计算部722。偏离值计算部722计算出表示关注子图像相对于以关注子图像为中心的规定范围的周围的子图像(周边子图像)偏离到什么程度的系数(图像偏离系数)。图像偏离系数是例如通过以下的方法计算出的。将以设计上确定的关注子图像的中心的规定区域(例如中心的10X10区域)作为中心区域，求出与中心子图像对应的部分位于右邻(没有时是左邻、此时，以下说明中左右相反)的子图像的哪个位置。这可以使用决定某一图像部位位于其他图像的哪个位置的任意的公知方法，但是在本实施方式中使用如下方法。首先，将右邻中心的10X10的区域设为计算对象部位。然后，取中心部位和计算对象部位的各像素值之间的的差分绝对值和。接着，对向右偏离I像素的区域同样取差分绝对值和。针对可引起它的视差的范围反复进行该计算。将得到的绝对差分值和最小的位置偏离设为图像偏离系数。另外，在从右邻的2个子图像中获得图像偏离系数的情况下，只要对仅旁边的右邻子图像在偏离了 d像素的位置处求出差分绝对值和，对其旁边的子图像在偏离了 2d像素的位置处求出差分绝对值和的总合，将两个值的和作为评价函数来求出评价函数最小的d即可。若子图像的数量增加，则以下同样可以进行处理。部分区域定义部723，参照在R0M22中存储的区域表，来获取偏离值计算部722计算出的与图像偏离系数对应的部分区域的大小。如图1OB所示，区域定义表使图像偏离系数的范围、和表示区域的大小的值建立对应关系之后记录。例如，在图像偏离系数为8的情况下，部分区域是关注子图像的中心6X6像素的区域。部分区域定义部723向配置图像生成部724传递表示已定义的部分区域的信息。另外，区域定义表，是图像偏离系数变大时，以规定的偏移值为前提大致成比例地使部分区域的大小变大的表。求出区域大小的方法并不限于此，也可以利用图像偏离系数变大时部分区域的大小(自然数)在规定范围内变大的任意的表或计算式。若受理定义部分区域的信息，则配置图像生成部724通过插补来调整该区域内包含的图像的尺寸，从而生成用于配置在为生成图像(第2重构图像)的配置图像。具体而言，调整为与生成图像(第2重构图像)的对应区域的大小一致的大小(在此是4X4像素)。图像配置部725在第2重构图像上配置由配置图像生成部724生成的配置图像。图像配置部725从子图像提取部721中针对所有子图像生成配置图像，且由图像配置部725将其配置在第2重构图像上来生成第2重构图像。输出部726向外部(显示部70)输出这样生成的第2重构图像。接着，参照图11及图12，说明第2重构图像生成部720所执行的处理(图像生成处理2)。若到达图像输出处理1(图6)的步骤S106，则确认图像生成部630(第2重构图像生成部720)开始图11所示的图像生成处理2。在图像生成处理2中，首先，将k2设为计数变量，子图像提取部721提取光场像LFI的第k2个子图像，作为关注子图像(步骤S301)。接着，偏离值计算部722利用上述的方法，计算出表示呈现在关注子图像的规定区域(中央部10X10像素)的被摄体被推测在右邻的子图像从中央偏离了多少像素的图像偏离系数(步骤S302)。接着，部分区域定义部723定义关注子图像的部分区域(步骤S303)。在步骤S303中，参照区域定义表，获取与在步骤S302中得到的图像偏离系数对应的区域的大小L。然后，在关注子图像的中央部将该大小的区域(LXL像素的正方形区域)定义为部分区域。
然后，配置图像生成部724，将LXL像素的部分区域的图像调整尺寸成与和第2重构图像中的关注子图像对应的区域(对应区域)一致，作为配置图像(步骤S304)。对应区域的大小是向各子图像分配了基于设定确定的第2重构图像(在此是320X240像素)的大小，遵循预先存储的设定值。然后，将配置图像配置在与第2重构图像(生成图像)的关注子图像对应的部位上(步骤S305)。在此，在左右上下翻转后进行配置。参照图12，说明步骤S301至步骤S305的处理的具体例。如图12上段所示，在光场像LFI中，大致圆状的子图像S11 Smn排列成格子状。从S11开始依次作为关注子图像来提取(步骤S301)，获取与右邻的子图像之间的位置偏离系数(步骤S302)。在图12中，假设用粗的箭头表示的S11与S12的图像偏离系数大，S23与S24的图像偏离系数小。接着，部分区域定义部723按照图像偏离系数越大部分区域就越大的方式定义提取部分区域的大小(切出尺寸)(步骤S303)。在本例中，如图12的中段所示，将S11的中心部的IOX 10像素的正方形部分定义为S11的部分区域，将S23的中心部的3X3像素的正方形部分定义为S23的部分区域。图12的下段表示第2重构图像RI的例。在该例中，第2重构图像是320X240像素的图像，针对80X60个子图像的每一个，定义与其坐标相应的4X4像素的对应区域(由粗线表示的区域)。在步骤S304中，调整部分区域的图像尺寸来设为4X4的配置图像，在后续的步骤S305中，在上下左右(点对象)翻转配置图像来配置在对应区域上。这是因为，由于主镜头成像面MA存在于摄像元件313的前方，因此被摄体OB的图像按每个子图像翻转。尺寸调整仅在与液晶监视器画面13的像素数对应的第2重构图像小时进行缩小，根据图像偏离系数改变缩小率。另一方面，若液晶监视器画面13的像素数大，且对应区域大，则根据图像偏离系数进行放大或缩小。返回图11，在步骤S305，若对当前的关注子图像在对应区域上配置图像，则接着，判断是否对所有子图像执行了上述处理(步骤S306)。在存在未处理的子图像的情况下(步骤S306:否)，使计数变量k2递增(步骤S307)，针对下一个关注子图像从步骤S301开始反复进行处理。另一方面，在针对所有子图像完成了上述处理的情况下(步骤S306:是)，将已完成的第2重构图像作为确认图像，图像生成处理2结束。另外，在此，将确认图像与液晶监视器画面13的像素数对应设为与取景图像相同的像素数(320 X 240像素)。但是，确认图像也可以大于取景图像。此外，调整部分区域的尺寸来生成了配置图像，但是也可以根据对应区域的大小来提取部分区域的像素，由此生成配置图像。返回图6，若确认图像的生成结束，则显示部70显示所生成的确认图像(步骤S107)。然后，输入部50从存储部34、输入部32等中获取用于生成正式图像的重构设定(步骤S108)。重构设定包含主镜头311与重构面之间的距离及重构图像所占的部位、有无使用过滤器以及过滤器设定、重构图像的像素数等信息。基于来自输入部32或存储部34的信息，输入部50设定到重构面为止的距离(也可以称为重构距离或再对焦距离)，也可以将在设定于RAM23中的缓冲器内所存储的部分称作距离设定部。此外，重构距离是重构图像时对焦的距离，因此也可以称作再对焦距离。获取重构设定后，利用该重构设定，由正式图像生成部640执行正式图像生成处理(步骤S109)。在本实施方式中，正式图像生成处理是后述的图像生成处理3。参照图13A 图13D，说明执行正式图像生成处理的正式图像生成部640的功能结构。在本实施方式中，正式图像生成部640是图13A所示的第3重构图像生成部730。第3重构图像生成部730，由子图像提取部731、像素偏离系数计算部732、滤波处理部733、图像偏离系数计算部734、配置间隔决定部734A、部分区域定义部735、部分图像提取部735A、图像配置部736、和输出部737构成。第3重构图像生成部730通过这些各部，根据光场像LFI生成第3重构图像(正式图像)，作为输出图像。子图像提取部731依次将构成光场像LFI的子图像作为关注子图像来提取，并传递给像素偏离系数计算部732。像素偏离系数计算部732，将关注子图像的各像素依次作为关注像素，计算出表示与关注像素对应的像素在周边子图像偏离到什么程度的系数(关注像素的像素偏离系数)。像素偏离系数对应于关注像素与被摄体之间的距离。像素偏离系数可以利用推测光场像LFI的像素与被摄体的距离的任意的方法来计算，但是在此使用图13B的功能结构，利用以下的方法来计算。首先，关注像素选择部7321，选择成为子图像提取部731提取出的关注子图像上的处理对象的关注子像素。然后，周边图像选择部7322从关注子图像中选择位于规定范围的、成为比较对象的子图像(周边图像)。在此，将关注子图像的右侧(没有时是左侧，此时在以下说明中左右相反)的子图像按位置顺序选择为SR1、SR2、一SRl K是基于设定确定的自然数。周边图像选择 部7322，在将子图像提取部731称为第I选择部时，也可以被称为第2选择部。然后，比较像素选择部7323选择成为周边图像上的比较对象的像素(比较像素)。在此，将关注子图像上的关注像素的坐标设为(X、y)，将当前的像素偏离设为d，将位于周边图像SRl上的(x+d、y)的像素、位于周边图像SR2的(x+2d、y)的像素、…、位于周边图像SRk的(x+kd、y)的像素分别选择为比较像素。接着，差分计算部7324，求出关注像素与比较像素的像素值(向右偏离了 d个的像素的像素值)的差分绝对值和。针对可引起它的视差范围(d的值)反复进行该计算。之后，对应像素决定部7325，决定得到的绝对差分值和最小的d的值。针对得到的山可以将位于周边图像SRl上的(x+d、y)的像素、位于周边图像SR2的(x+2d、y)的像素、…、位于周边图像SRk的(x+kd、y)的像素，推测为分别反映与关注像素相同的被摄体的像素(对应像素)。将该d的值所表示的位置偏离设为像素偏离系数。差分计算部7324和对应像素决定部7325，协同起到搜索与关注像素(第I像素)对应的第2像素的搜索部的作用。像素偏离系数计算部732，计算出包含在关注子图像中的所有像素的像素偏离系数，并传递给滤波处理部733。滤波处理部733，比较到像素偏离系数所表示的与各像素对应的被摄体的距离、和到从输入部50获取的重构设定所包含的重构面的距离。然后，执行与其差值相应的滤波处理，针对光场像的各像素进行虚化附加。若再对焦距离与到被摄体的距离之差在规定值以上，则根据所设定的虚化强度，进行虚化附加处理。在虚化附加处理中，例如使用高斯过滤器。像素偏离系数计算部732也可以起到基于关注像素和对应像素的位置关系对关注像素及对应像素进行加工的像素加工部的作用。当某一像素是拍摄了非常远处的被摄体的点时，像素偏离系数(对应于位置偏离的量)较小，当某一像素是拍摄了近处的被摄体的点时，像素偏离系数较大。该位置偏离、实际的被摄体、以及照相机的距离之间的关系，是由主镜头311、微镜头阵列312内的微镜头312-1的焦点距离、摄像元件313被放置的位置以及大小决定的。位置偏离与被摄体距离的对应关系是预先通过实验求出的，并作为偏离距离表保存在R0M22中。在本实施方式中，利用偏离距离表执行滤波处理。偏离距离表是预先通过实验求出的，被存储在R0M22中。偏离距离表使表示规定范围的距离的等级(LV)、该等级所属的偏离系数(图像偏离系数及像素偏离系数)、以及到该等级所属的重构面的距离建立对应关系后进行存储。滤波处理部733，利用偏离距离表来计算出像素偏离系数所属的等级、与到重构面的距离所属的等级之差。由于差为O的像素被推测为与位置十分接近重构面的被摄体对应，因此不执行滤波处理。即，不附加虚化。另一方面，若该差在I以上，则该像素的被摄体偏离了重构面，因此附加虚化。差越大，按照附加越强的虚化的方式执行滤波处理。与图1OA的偏离值计算部722同样地，图像偏离系数计算部734计算出关注子图像的图像偏离系数。但是，图像偏离系数计算部734在横向和纵向这两个方向上计算出图像偏离系数之后，对两者进行平均作为关注图像的图像偏离系数。然后，配置间隔决定部734A根据图像偏离系数，决定在重构图像中配置部分区域的图像时的间隔。配置间隔是根据图像偏离系数、包含在摄像设定信息中的主镜头311的焦点距离、微镜头阵列312内的微镜头312-1的焦点距离、放置摄像元件313的位置、和到包含在重构设定中的重构面为止的距离(重构距离)确定的。越是远处的被摄体，每个微镜头的估计角度之差就越小，因此子图像内的移动也小。由此，可减小从图像偏离系数小的子图像中提取出的部分区域的配置间隔。相反，越是近处的被摄体，每个微镜头的估计角度之差就越大，因此子图像内的移动也大。由此，可增大从图像偏离系数大的子图像中提取出的部分区域的配置间隔。在本实施方式中，利用将主镜头311的焦点距离、到重构面的距离、图像偏离系数作为指标来确定配置间隔的存储在R0M22中的表格(配置间隔表)，决定配置间隔。配置间隔表，根据作为固定参数的微镜头阵列312内的微镜头312-1的焦点距离、和放置摄像元件313的位置，针对图像偏离系数、到重构面的距离(重构距离)、和主镜头311的焦点距离的每一个值定义通过实验求出的最佳的配置间隔的值(例如，图13C)。在图13C的例中，设定成前述的偏离距离表确定的图像偏离系数的等级、与到重构面的距离的等级之差越大配置间隔就越大。另外，配置间隔也可以根据以上述参数为变量的存储在R0M22中的通过预先实验确定的方程式求出。部分区域定义部735，从图1OB的区域定义表获取与图像偏离系数一致的部分区域的大小，并基于关注子图像的虚化强度的大小来修正大小。
关注图像的虚化强度，是确定包含在关注子图像中的被摄体从重构面偏离到什么程度、且是否应虚化该部分进行显示的系数。在此，将前述的偏离距离表所确定的图像偏离系数的等级、与到重构面的距离的等级之差设为虚化强度。修正后的部分区域的一边大于配置间隔。因此，部分区域的图像被配置于第3重构图像中时，产生配置图像彼此的重叠。针对重叠的部分进行像素值的加法平均，因此重叠的配置图像的幅数越多，虚化就越强。因此，若虚化强度较强，则按照部分区域的大小变大的方式执行修正。部分区域定义部735决定部分区域的尺寸，因此也可以称为尺寸设定部。部分图像提取部735A，直接将部分区域的像素作为部分图像来提取。将部分图像提取部735A以部分区域定义部735定义的尺寸提取部分图像的处理，还表述为切出处理。部分图像提取部735A也可以被称为从子图像切出部分图像的切出部。图像配置部736，在生成图像(第3重构图像)中配置部分图像提取部735A提取出的图像。其结果，部分区域的图像不会被调整尺寸，而是直接被配置于重构图像中。此时，与之前配置的部分区域的图像之间的间隔，遵循上述图像偏离系数计算部734求出的配置间隔。此时，按照配置后的图像重叠的方式确定配置间隔和部分区域的大小。针对重叠的部分，对重复配置的像素的像素值进行加法平均作为生成图像的像素值。其结果，重叠的部分越大，附加的虚化越强。子图像提取部731 图像配置部736，对包含在光场像LFI中的所有子图像执行上述处理，生成第3重构图像。然后，通过输出部737向外部(显示部35及存储部34、可移动介质38等)输出所生成的第3重构图像，从而将第3重构图像保存为观赏用图像。接着，参照图14及图15，说明第3重构图像生成部730所执行的处理(图像生成处理3)。正式图像生成部640 (第3重构图像生成部730)，在到达图像输出处理1(图6)的步骤S109时，开始图14所示的图像生成处理3。在图像生成处理3中，首先，将k3设为计数变量，子图像提取部731将光场像LFI的第k3个子图像提取为关注子图像(步骤S401)。接着，针对关注子图像的各像素，像素偏离系数计算部732如上述那样计算出像素偏离系数(步骤S402)。然后，针对关注子图像的各像素，滤波处理部733利用偏离距离表计算出像素偏离系数与重构距离之差(等级差)(步骤S403)。接着，滤波处理部733针对与重构距离之间的差值处于规定以上(等级差不是O)的像素，在存储于R0M22中的条件下执行与等级差相应的滤波处理(步骤S404)。滤波处理部733例如对等级差为I的像素利用3X3的核(kernel)、对等级差为2像素利用9X9的核等，按照等级差越大S的值越大的方式执行高斯滤波。接着，图像偏离系数计算部734，获取关注子图像的图像偏离系数(步骤S405)。在步骤S405中，与图11的步骤S302同样地，针对右邻获取图像偏离系数的基础上，在下邻(没有时是上邻)获取图像偏离系数，并将两者的平均设为关注子图像的图像偏离系数。代替计算量的增加，基于纵向和横向这两个方向的位置偏离来计算出图像偏离系数，因此成为比图11的步骤S302更准确地反映了子图像的被摄体距离的图像偏离系数，提高生成图像的画质。另外，作为提高图像偏离系数的精度的方法，可以考虑在I个方向上针对更多的子图像计算图像偏离系数的方法。另外，图像偏离系数可以是对在步骤S402中求出的、包含在关注子图像中的各像素的像素偏离系数进行平均而求出的值。接着，在步骤S406中，配置间隔决定部734A从存储在R0M22中的配置间隔表(例如，图13C)中读取与图像偏离系数、主镜头311的焦点距离、以及到重构面的距离相应的配置间隔的数值，设定为配置间隔。接着，部分区域定义部735从区域定义表(图10B)中获取与图像偏离系数一致的部分区域的大小(L2XL2)。另外，按照虚化强度越大部分区域越大的方式进行修正(例如，如图13D)，决定部分区域的大小(L2XL2)。并且，将关注子图像的中央部的L2XL2的正方形区域定义为部分区域(步骤S407)。另外，L2大于配置间隔。在图15的例中，S11和S12的图像偏离系数大，因此部分区域较大。另一方面，S23的图像偏离系数小，因此部分区域小。然后，将部分区域的图像以在步骤S406中确定的配置间隔配置在作为生成图像的第3重构图像中(图15下段、步骤S408)。由于图像重叠，因此针对重叠的部分进行与重叠的量相应的加法平均，由此确定像素值。在图15的下段，S11的部分区域的图像(横线区域)和S12的部分区域的图像(纵线区域)重叠。若在步骤S408中针对当前的关注子图像在对应区域配置图像，则接着，判断是否对所有子图像执行了上述处理(步骤S409)。当存在未处理的子图像时(步骤S409:否)，使计数变量k3递增(步骤S410)，针对下一关注子图像从步骤S401反复进行处理。另一方面，当针对所有子图像完成了上述处理时(步骤S409:是)，将已完成的第3重构图像作为正式图像，图像生成处理3结束。返回图6，若正式图像的生成结束，则在存储部80中存储所生成的正式图像(步骤S110)，图像输出处理I结束。利用图16A及16B，说明在将部分图像配置在重构图像RI中的处理中部分图像的一边被设定为配置间隔的2倍的设定例。除了图像的端部外，每4张部分图像重叠。一开始，选择光场像LF的左上方的子图像S11 (步骤S401)。从选出的子图像S11中切出部分区域(部分图像PI11)(步骤S407)，该部分图像PI11被配置在重构图像RI的左上方(S408)。返回步骤S401，接着，选择右邻的子图像S12 (步骤S401)。从选出的子图像S12中切出部分图像PI12(S407)，该部分图像PI12被配置在刚刚配置于重构图像RI内的部分图像的右邻(S408)。被切出的部分图像PI12的一边是配置间隔的2倍，因此在水平方向上重叠配置。在缓冲器上对重叠部分的像素值进行加法运算。同样地，从子图像S12的右邻的子图像S13中切出部分图像PI13，在水平方向上重叠配置(图16A)。直到光场像LF的右端为止反复进行该作业。右端的子图像Sin的处理结束后，返回光场像LF的左端，选择从上开始第2段的子图像S21 (步骤S401)。从选出的子图像S21中切出的部分图像PI21被配置在最初配置于重构图像RI内的部分图像P11的下侧(步骤S408)。由于被切出的部分图像PI21的一边是配置间隔的2倍，因此如图16B所示，在垂直方向上重叠配置。在缓冲器上对重叠部分的像素值进行加法运算。与第一段相同地，直到光场像LFI的右端为止反复进行该作业。第2段的所有子图像S21 S2n的处理结束后，处理光场像LF的下一段的子图像S。反复进行这些作业。若判断为处理到了光场像LF的右下方的子图像Sw(步骤S409:是)，则所生成的重构图像RI被从输出部33或显示部35显示输出，并进一步被保存到存储部80 (可移动介质38等)中(SllO)。在图像生成处理3中，分别执行按每个子图像的虚化加工、和按每个像素的虚化加工。因此，即使每个像素的被摄体距离推测中包含错误，由于通过每个子图像的虚化加工(重叠写入)被平均化，因此错误的影响得到缓解。因此，能够生成画质高的正式图像。如以上说明，本实施方式的数码相机1，具有在用途方面符合可确保的计算时间的多个重构图像生成单元。因此，能够以优选的速度生成并显示符合取景、拍摄后的确认、观赏用这样的各种用途的最佳的重构图像。即，能够通过与图像的使用目的相应的最佳生成方法生成重构图像。由此，本实施方式的数码相机I可根据状况，能够以足够快的速度显示足以满足所需画质的重构图像，因此对于用户而言便利性高。具体而言，通过第I重构图像生成处理，能够以较少的计算量生成包括光场像LFI所包含的所有子图像内容在内的重构图像(第I重构图像)。因此，在取景使用等不能确保足够的计算量的情况下，也能够极其高速地生成并显示为摄影准备可使用的重构图像。此外，与使用从子图像一个一个地提取像素后进行排列的图像时相比，能够生成画质高的图像。此外，通过第2重构图像生成处理，能够以各子图像单位生成与对应于被摄体距离的系数相应的、比第I重构图像的画质还高的重构图像(第2重构图像)。因此，为了拍摄后的确认，能够高速地显示比第I重构图像的画质还高的重构图像。另外，通过第3重构图像生成处理，能够生成执行了子图像单位的虚化加法运算处理、和像素单位的虚化加法运算处理的画质高的重构图像(第3重构图像)。因此，在数码相机等、CPU的处理速度受限的终端，能够生成画质高的重构图像。此外，通过按每个子图像在上下左右翻转后配置图像，从而能够基于较少的计算量，从根据光学系统的构成按每个子图像翻转后拍摄的像中生成正确配置的重构图像。此外，本实施方式的数码相机I针对图像偏离系数大的子图像定义更大的部分区域，从而设定成该部分区域整体信息表现在重构图像上。图像偏离系数大，表示关注子图像的被摄体位于离主镜头较近的位置上，且在相邻的子图像中，因对应的微镜头的视差看到的位置较大程度地偏离。在此，将中央部的被摄体设为代表子图像的被摄体。对应的被摄体的位置在子图像间较大程度偏离意味着，连接相邻的子图像的部分区域而构成整体图像时，为了不遗漏信息而所需的部分区域的大小较大。因此，在本实施方式中，图像偏离系数越大将部分区域取得越大配置到生成图像的对应区域中，在生成图像中不会产生信息的遗漏。此外，针对图像偏离系数小的图像将部分区域设置得较小，在彼此相邻的子图像间出现的信息的重复不会过度出现在重构图像上。在本实施方式的数码相机I中，即使是通过这种构成高速生成的重构图像，也考虑因视差引起的位置偏离，能够减轻信息的遗漏或信息的重复程度。此外，在正式图像生成处理中，并用基于重叠写入的虚化附加、和被摄体距离推测后的基于滤波处理的虚化附加，因此，通过调整这两者的强度，能够改变虚化程度。另外，在各图像生成处理中，重构距离的设定可以手动操作(用户操作)来设定，也可以利用相位差传感器等来测量到想要对焦的被摄体(例如基于中央部的被摄体或用户操作指定的被摄体)为止的距离，设定成与该被摄体对焦。另外，也可以设定成在显示重构图像之后通过触摸面板等重新选择想要对焦的被摄体，从而再次设定再对焦距离。(实施方式2)说明本发明的实施方式2。本实施方式的数码相机I具有图2所示的物理结构。本实施方式的数码相机I与实施方式I的对应部位相比，CPU21更高速，显示部35具有更大的分辨率，例如具有VGA(640X480像素)。其他图2的各部分与实施方式I的数码相机I相同。在本实施方式的数码相机I中，由于显示部35大，因此图像的粗糙度更显著。因此，利用CPU21高速的这一点，生成更高精度且画质高的用于在数码相机I的显示部35上显示的重构图像。本实施方式的数码相机I具备图5所示的功能结构。在本实施方式中，取景图像生成部620是第2重构图像生成部720，确认图像生成部630是第3重构图像生成部730，正式图像生成部640是第4重构图像生成部。其他图5的各部分，与实施方式I的数码相机I的对应构成相同。第2重构图像生成部720和第3重构图像生成部730，具有与实施方式I的相同名称的部位相同的结构。第4重构图像生成部，执行后述的重构图像生成处理，根据光场像LFI生成重构图像，并向存储部80传递所生成的图像。参照流程图说明本实施方式的数码相机I所执行的处理。若数码相机I被接通电源，输入部50受理准备拍摄的操作，则开始图17所示的图像输出处理2。在图像输出处理2中，与图6的图像输出处理的步骤SlOl至步骤S102同样地执行步骤S501至步骤S502。在本实施方式中，在步骤S503中与实施方式I同样地执行图像生成处理2 (图11)，从而生成取景图像。在步骤S503中，取景图像的生成结束后，数码相机I与图6的图像输出处理I的步骤S104至步骤S105同样地执行步骤S504至步骤S505。在步骤S506中，图13A的作为第3重构图像生成部730的确认图像生成部630，与实施方式I同样地执行图14所示的图像生成处理3，从而生成确认图像。在步骤S506中，确认图像的生成结束后，数码相机I与图6的图像输出处理的步骤S107同样地执行步骤S507。在步骤S508中，作为第4重构图像生成部的正式图像生成部640执行图像生成处理4来生成正式图像。图像生成处理4，按光线所通过的每个微镜头，对光场像的像素值进行加权加法运算，从而进行图像重构。图像生成处理4按如下的顺序生成重构图像。(I)确定来自想要重构的像素的光线通过主镜头的主点后到达微镜头阵列的位置。
(2)以所确定的位置为中心，计算基于与重构面对应的再对焦距离的半径的主镜头虚化(main lens blur)区域(来自想要重构的像素的光线所到达的微镜头阵列上的区域)。(3)确定在包含于微镜头阵列中的微镜头内、其一部分或全部被包含在主镜头虚化区域中的微镜头。(4)选择所确定的微镜头内的一个。(5)计算所选择的微镜头与主镜头虚化区域重叠的面积，并将该面积除以微镜头的面积，作为加权系数。(6)在来自想要重构的像素的光线被选出的微镜头成像的位置上的子图像上，获取像素值。(7)对该获取到的像素值乘以之前的加权系数，作为修正像素值。(8)针对一部分或全部被包含在主镜头虚化区域中的微镜头的全部，计算修正像素值，取其总合。(9)将该修正像素值的总合除以重叠面积的总合，作为想要重构的图像的像素值。在步骤S508中正式图像的生成结束后，数码相机I与图6的图像输出处理的步骤SllO同样地执行步骤S509，结束图像输出处理2。如以上说明，在本实施方式的数码相机I中，能够以与实施方式I的确认图像等同的画质显示取景图像。此外，能够以与实施方式I的正式图像等同的画质显示确认图像。此外，作为本实施方式的变形例，考虑了代替图像生成处理2，利用图像生成处理I来生成取景图像的构成。根据该构成，针对期望生成速度最快的取景图像，能够与实施方式I相同，以较少的计算量生成，而针对确认图像和正式图像，能够设置成比实施方式I还高画质的图像。另外，本实施方式的第4重构图像生成部也可以利用根据光场像LFI生成重构图像的已知的任意处理生成重构图像。(第3实施方式)说明本发明的实施方式3。本实施方式的数码相机I具有图2所示的物理结构。本实施方式的数码相机I与实施方式2的对应部位相比，CPU21更高速。其他的图2的各部分与实施方式2的数码相机I相同。在实施方式I及实施方式2中，作为取景图像显示了不包括虚化的图像。在实施方式3中，利用CPU21更高速这一点，特征在于从取景图像阶段就开始显示附加了虚化的图像。本实施方式的数码相机I具备图5所示的功能结构。在本实施方式中，取景图像生成部620是图18所示的第5重构图像生成部740。其他图5的各部分与实施方式2的数码相机I的对应结构相同。第5重构图像生成部740与图13A所示的第3重构图像生成部730相比，具有以下不同点:(I)没有像素偏离系数计算部732和与滤波处理部733对应的部位；(2)图像偏离系数计算部734a获取规定部位的子图像的像素偏离系数，将其平均值作为所有子图像的偏离系数来决定配置区域的大小、配置间隔。其他部位与实施方式I的第3重构图像生成部730的相同名称的部位相同。参照流程图说明本实施方式的数码相机I所执行的处理。数码相机I被接通电源，输入部50受理准备拍摄的操作后，开始图19所示的图像输出处理3。在图像输出处理3中，与实施方式I的图6的图像输出处理的步骤SlOl至步骤S102同样地执行步骤S601至步骤S602。在本实施方式中，在步骤S603中执行图像生成处理5(图20)来生成取景图像。参照图20，说明图像生成处理5。在图像生成处理5中，首先，图像偏离系数计算部734a在包含于光场像LFI中的子图像之中，针对通过设定确定的一部分子图像获取图像偏离系数(步骤S701)。在此，从“一部分子图像”得到的图像偏离系数按照反映光场像LFI整体的偏离程度的方式设定“一部分”。具体而言，考虑中央部的规定部位、角上的4个子图像等。针对各子图像获取图像偏离系数的方法与实施方式I的图像生成处理2(图11)的步骤S302相同。接着，基于在步骤S701中计算出的一部分子图像的图像偏离系数，设为光场像LFI整体的图像偏离系数。在此，对计算出的多个图像偏离系数进行加法平均，设定为包含在光场像LFI中的子图像整体的偏离系数(步骤S702)。然后，基于子图像整体的偏离系数，根据预先在R0M22或存储部34中保存的条件计算出应用于所有子图像的配置间隔和部分区域的大小(步骤S703)。若偏离系数变大，则部分区域及配置间隔也变大。此外，部分区域的大小大于配置间隔。在此，在例如子图像整体的偏离系数为10的情况下，将配置间隔设为10像素，将部分区域的大小设为20像素X20像素。接着，将k4设为计数变量，子图像提取部731将光场像LFI的第k4个子图像提取为关注子图像(步骤S704)。然后，与图14的步骤S407同样地，部分区域定义部735在关注子图像的中央部定义在步骤S703中求出的大小的部分区域(步骤S705)。进而，与图14的步骤S408同样地，图像配置部736以在步骤S703中求出的配置间隔配置部分区域的图像(步骤S706)。此时，将图像在上下左右翻转后进行配置。在步骤S703中，由于部分区域的大小大于配置间隔，因此如图15所示，配置成部分图像重叠。对重叠部分的像素值进行加法平均，从而对所生成的取景图像附加与在步骤S702中计算出的位置偏离系数(与被摄体整体的被摄体距离对应)相应的虚化。然后，在步骤S707中，判断是否针对所有子图像执行了配置图像的处理。当还存在未处理的子图像时(步骤S707:否)，使k4递增(步骤S705)，从步骤S704开始反复进行处理。另一方面，当针对所有子图像结束了处理时(步骤S707:是)，将所生成的图像作为取景图像来输出，图像生成处理5结束。返回图19，与实施方式2中的图17的步骤S504至步骤S509同样地执行步骤S604至步骤S609，结束处理。如以上说明，根据本实施方式的数码相机1，能够显示从取景图像的生成阶段开始就附加了虚化的图像。由此，用户容易预想到完成图像。此外，在取景图像的生成阶段，不需要计算每个像素的偏离系数，因此用于附加虚化的必要计算量的增大较少。因此，能够高速地生成附加了虚化的图像。(第4实施方式)说明本发明的实施方式4。本实施方式的数码相机I具有图2所示的物理结构。数码相机I的各部分功能与实施方式I的数码相机I相同。在实施方式I中，在图像生成处理2及图像生成处理3中，针对所有子图像计算出图像偏离系数。此外，在实施方式3中，在图像生成处理5中计算出一部分子图像(中央部的规定部位或角上的4个子图像等)的图像偏离系数，将其加法平均作为整体的图像偏离系数。相对于此，在本实施方式中，生成取景图像时针对一部分子图像计算出图像偏离系数，并从计算结果中推测其他子图像(图像偏离系数的计算对象外)的图像偏离系数。此夕卜，本实施方式的特征在于循环选择成为计算对象的子图像。本实施方式的数码相机I具备图5所示的功能结构。在本实施方式中，取景图像生成部620是第6重构图像生成部750 (图21)，确认图像生成部630是图13A所示的第3重构图像生成部730。此外，正式图像生成部640是在实施方式2中说明过的第4重构图像生成部。其他的图5的各部分与实施方式I的数码相机I的对应构成相同。如图21所示，第6重构图像生成部750由图像偏离系数计算部751、图像偏离系数推测部752、子图像提取部721、部分区域定义部723、配置图像生成部724、图像配置部725、和输出部726构成。与图1OA的第2重构图像生成部720相比，第6重构图像生成部750代替偏离值计算部722而包括图像偏离系数计算部751、图像偏离系数推测部752。其他构成与第2重构图像生成部720相同。图像偏离系数计算部751在每次生成取景图像时，循环地选择成为偏离系数的计算对象的子图像(计算图像)。并且，针对选出的计算图像计算出图像偏离系数。具体而言，将子图像分割为η个组(例如η = 2)。然后，在依次生成取景图像时，在一个循环中按顺序选择组，作为关注组(包括计算图像的组)。将属于关注组的子图像设为计算图像。η的值预先被设定且被存储在存储部34中。图像偏离系数的计算方法与实施方式I的偏离值计算部722相同。图像偏离系数推测部752利用图像偏离系数计算部751计算出的计算图像的图像偏离系数，推测计算图像以外的子图像(推测图像)的图像偏离系数。将在后面叙述推测的具体方法。参照图22说明本实施方式的数码相机I所实施的处理。本实施方式的数码相机I被接通电源，输入部50受理准备摄影的操作后，开始图22所示的图像输出处理4。在图像输出处理4中，与在实施方式I中执行的图像输出处理I (图6)的步骤SlOl及步骤S102同样地执行步骤S801及步骤S802。然后，取景图像生成部620 (第6重构图像生成部750)的图像偏离系数计算部751更新巾贞标记(步骤S803)。巾贞标记是用于选择计算出计算图像的组的标记。巾贞标记最初被设定为1，每当生成取景图像的循环(步骤S801 步骤S807)巡回了一次时，逐次加I。然后，若超过所设定的组数n，则返回I。其结果，例如η = 4时，如1、2、3，4、1、2、3，4，1...，帧标记被循环地设定为I 4的数值。在步骤S803中更新帧标记后，图像偏离系数计算部751计算出计算图像的图像偏离系数，开始用于对推测图像的图像偏离系数进行推测的处理(偏离系数推测处理)。参照图23，说明在步骤S804中执行的偏离系数推测处理。在偏离系数推测处理中，首先，图像偏离系数计算部751选择与当前的帧标记相应的计算图像(步骤S901)。参照图24及图25，说明在此被选择的计算图像的选择方法。在图24及图25中，以正方形表示各子图像。例如，当子图像被分为2个组时(η = 2)，图24的以黑色表示的的子图像和以白色表示的子图像中的任一个被选择为计算图像。例如，当帧标记为I时，选择黑色的子图像，当帧标记为2时选择白色的子图像。或者，也可以将光场像LFI分割为包含η个子图像的区域，在分割后的区域内循环地选择计算图像。例如，当η = 9时，如图25所示，分割为包含纵3个、横3个子图像的区域(粗线)。并且，将区域内的子图像编号为I 9。例如，图25的子图像al a9分别意味着第一个区域(a区域)的序号为I 9的子图像。并且，从各区域(在图25的例中是a区域 I区域)中选择一个与当前的帧标记一致的序号的子图像，作为计算图像。在步骤S901中选择计算图像后，接下来图像偏离系数计算部751从计算图像中选择一个关注子图像(步骤S902)。然后，图像偏离系数计算部751针对关注子图像计算出图像偏离系数(步骤S903)。图像偏离系数的计算方法与实施方式I相同。然后，图像偏离系数计算部751判定关注子图像的图像偏离系数的变化量是否在阈值以上(步骤S904)。在此，图像偏离系数计算部751针对关注子图像，对在上一次偏离系数推测处理中推测出的图像偏离系数与在本次处理中计算出的图像偏离系数之差分、和规定的阈值进行比较。该阈值是预先通过实验求出的，并且被存储在存储部34中。另外，在η的数值比较少、且与上次计算出的时刻之间的时间差较少时(例如η = 2时)等，也可以对最后计算出的图像偏离系数与在本次处理中计算出的图像偏离系数之间的差分、和规定的阈值进行比较。并且，当比较的结果为变化量小于阈值时(步骤S904:否)，图像偏离系数计算部751使关注子图像的变化标记无效(OFF)(步骤S905)。另一方面，在变化量为阈值以上的情况下(步骤S904:是)，图像偏离系数计算部751使关注子图像的变化标记有效(ON)(步骤S906)。变化标记是与各子图像建立了对应关系的二值变量。结束变化标记的设定后，接下来图像偏离系数计算部751在步骤S901中判定针对选出的所有计算图像是否计算完图像偏离系数(步骤S907)。当存在未处理的计算图像时(步骤S907:否)，针对下一计算图像从步骤S902开始反复进行处理。另一方面，当针对所有计算图像完成了处理时(步骤S907:是)，转移到步骤S908。在步骤S908中，在计算图像以外的图像(推测图像)中，选择一个没有完成推测处理的子图像，作为关注图像(步骤S908)。然后，检查周边的计算图像(周边图像)的变化标记，判定图像偏离系数是否已变化(步骤S909)。例如，当n = 2时，在与关注图像的上下左右相邻的计算图像中，变化标记有效的图像存在规定数量(例如2个以上)时，决定为周边图像中有变化(步骤S909:是)。此时，也可以是当变化标记有效的图像全部是在相同方向(例如，偏离系数增加的方向)上变化时，判定为该变化可信，从而决定为有变化，当在不同的方向上变化时，判定为不可信，从而决定为无变化。当η大于2时，从关注图像中按由近到远的顺序选择m个(例如m =4)计算图像，并同样地参照变化标记。当决定为有变化时(步骤S909:是)，将最近的计算图像的图像偏离系数推测为关注图像的图像偏离系数(步骤S910)。另外，此时，也可以将对在步骤S909中参照过的计算图像的图像偏离系数进行了加法平均的数值设为推测值。另一方面，若决定为周边图像中没有变化(步骤S909:否)，则跳过步骤S910。然后，针对所有推测图像判断是否结束了上述处理(步骤S911)，当存在未处理的推测图像时(步骤S911:否)，针对下一推测图像，从步骤S908开始反复进行处理。另一方面，若所有推测图像完成处理(步骤S911:是)，则偏离系数推测处理结束。另外，在此，说明以下情况，即当判定为周边图像有变化时，将周边的计算图像的图像偏离系数推测为推测图像的图像偏离系数。作为其他推测方法，也可以应用根据距计算图像的距离分配周边计算图像的变化量的方法。分配的具体例如图26所示。图26表示针对由粗线表示的计算图像，相对于上一次计算值(或上一次推测值)最新的计算值不同(左侧的计算图像中是+3，右侧的计算图像中是+1)的例。对图像偏离系数之差乘以离计算图像越远就越小的权重之后，加到在推测图像(虚线的正方形)的前一次循环处理中设定的图像偏离系数，将加法运算结果设为推测结果。另外，在图26中，箭头表示分配(加法运算)的方向，箭头上的数值表示分配的数。在此，向与计算图像的上下左右及斜向相邻的推测图像分配计算图像的差的2/3，向其旁边的推测图像分配3/1。作为其他推测方法，也可以通过使用了计算图像的图像偏离系数的3维插补处理来设定推测图像的图像偏离系数。返回图22，在步骤S804中对所有子图像设定图像偏离系数后，子图像提取部721利用已设定的图像偏离系数开始图11所示的图像生成处理2(步骤S805)。在图像生成处理2中，获取在步骤S302中通过图像偏离系数推测处理设定的图像系数之外，还与实施方式I同样地执行各步骤。通过图像生成处理2生成取景图像后，显示部70显示所生成的图像(步骤S806)。然后，判断输入部50是否检测到摄像操作(步骤S807)。当判断的结果为没有检测到摄像操作时(步骤S807:否)，返回步骤S801，继续进行取景图像的生成。另一方面，当检测到摄像操作时(步骤S807:是)，确认图像生成部630(第3重构图像生成部730)通过图14的图像生成处理3生成确认图像(步骤S808)。此时，在图像生成处理3中，也可以针对所有子图像计算出图像偏离系数，利用在最后的偏离系数推测处理(步骤S804)中设定的图像偏离系数。或者，也可以与生成取景图像的处理同样地，将子图像分为计算图像和推测图像后执行推测处理。此时，通过使计算图像占子图像整体的比例比取景图像还大，从而提高推测精度。以下，显示所生成的确认图像(步骤S809)，与实施方式3同样地，通过图像生成处理4生成正式图像(步骤S810)。然后，记录所生成的正式图像(步骤S811)，结束图像输出处理4。如以上说明，根据本实施方式的数码相机I，在需要图像生成处理2那样的各子图像的图像偏离系数的处理中，不需要针对所有图像执行图像偏离系数的计算。由于能够限制所需计算量大的图像偏离系数的计算，因此在生成高画质的图像时，能够减轻所需的计
禅且昇里。其结果，够降低计算处理所需电力。因此，能够增大数码相机I的驱动时间及拍摄张数。此外，在生成取景图像时，循环地选择计算图像。在固定了计算图像的情况下，当计算图像的被摄体不同于其他被摄体、或者计算图像中产生了噪声时，该不良情况始终会出现在图像上。在本实施方式中，计算图像在每一次的生成处理中都会被变更，因此即使在一部分子图像中产生了不良情况，也能够缓和其影响。此外，长远来看，由于针对所有子图像计算出图像偏离系数，因此取景图像成为还附加了被摄体整体的倾向的图像。另外，在本实施方式中，取景图像生成部620利用通过图23的偏离系数推测处理计算或推测出的图像偏离系数，通过图像生成处理2生成取景图像。但并不限于此，偏离系数推测处理可以应用于利用图像偏离系数来生成重构图像的任意处理(图像生成处理3、图像生成处理5等)中。例如，取景图像生成部620也可以通过偏离系数推测处理和图像生成处理3，执行图像生成。此外，并不限于取景图像生成部620，对于确认图像生成部630或正式图像生成部640而言，也可以在采用了利用图像偏离系数生成重构图像的构成时，使用本实施方式的偏离系数推测处理。(实施方式5)以下，基于

本发明的实施方式5。实施方式5的数码相机的特征在于，实施方式I的数码相机I的正式图像生成部630所执行的处理是后述的图像生成处理6。其他功能结构、处理与实施方式I的数码相机I相同。本实施方式的数码相机I具备图5所示的功能结构。在本实施方式中，取景图像生成部620是第2重构图像生成部720，确认图像生成部630是第3重构图像生成部730，正式图像生成部640是第7重构图像生成部760。其他的图5的各部分与实施方式I的数码相机I的对应构成相同。参照图27，说明第7重构图像生成部760的构成。如27A所示，第7重构图像生成部760由切出位置设定部761、子图像提取部762、部分区域定义部763、部分图像提取部764、图像配置部765、合成部766、和输出部767构成。第7重构图像生成部760根据这种结构，变更从子图像提取(切出)部分区域(部分图像)的位置的同时生成规定数量的中间图像(例如，中间图像然后，合成所生成的各中间图像，生成重构图像(正式图像)。切出位置设定部761，设定从子图像(子图像提取部762所提取的关注图像)提取部分区域(部分图像)的位置。在本实施方式中，在每个各中间图像的生成处理中设定不同的位置(例如，在生成中间图像ImI1时设定关注图像的中央部，在生成中间图像ImI2时设定关注图像的右上方的规定区域等)。子图像提取部762，与实施方式2的子图像提取部731为了生成重构图像而执行的处理同样地，为了生成中间图像而从子图像中提取一个，作为关注图像。部分区域定义部763，在切出位置设定部761所设定的关注图像上的位置上，定义主镜头及微镜头阵列的微镜头的焦点距离、放置摄像元件313的位置、和根据重构距离确定的尺寸(切出尺寸)的部分区域。微镜头的焦点距离通常是恒定的，因此利用使在R0M22中存储的主镜头311的焦点距离、重构距离和切出尺寸建立了对应关系的表(例如图27B)决定。部分图像提取部764，将部分区域的图像调整为规定的图像尺寸(例如4X4像素)，并提取为部分图像。图像配置部765根据作为提取源的子图像的位置来配置部分图像提取部764提取出的图像，由此生成中间图像。因此，也能够将图像配置部765称为中间图像生成部。将在后面叙述具体的处理例。然后，合成部766合成各中间图像来生成重构图像。合成部766可以利用将多个图像统一为一张图像的任意的已知方法生成重构图像，但是，在此，对所有中间图像进行加法平均来生成重构图像。输出部767向外部(显示部35及存储部80、可移动介质38等)输出所生成的重构图像，并保存为观赏用图像。参照流程图，说明本实施方式的数码相机I所执行的处理。数码相机I被接通电源，输入部50受理准备拍摄的操作后，与实施方式I的数码相机I同样地开始图像输出处理。本实施方式所执行的图像输出处理除了在步骤S109中执行的正式图像生成处理是图28所示的图像生成处理6这一点之外，与实施方式I同样地执行图6的图像输出处理I。参照图28，说明在步骤S109中执行的图像生成处理6。在图像生成处理6之前，数码相机I拍摄被摄体，将得到的光场像的数据存储在RAM23或存储部34等中。在步骤S1001中，第7重构图像生成部760从R0M22读出从子图像切出的部分图像的大小，并设定为切出尺寸。在R0M22中存储了再对焦距离和切出尺寸的对应表。切出尺寸是根据主镜头及微镜头阵列内的微镜头的焦点距离、放置摄像元件33的位置、和再对焦距离确定的。越是远处的被摄体，每个微镜头的估计角度之差越小，因此子图像内的移动也小。伴随与此，减小切出尺寸。相反，越是近处的被摄体，每个微镜头的估计角度之差就越大，因此子图像内的移动也大。伴随与此，增大切出尺寸。具体而言，假设主镜头和微镜头的焦点距离恒定，将重构距离和切出尺寸的对应表设定成重构距离越大切出尺寸就越小(参照图27B)。在步骤S1002中，切出位置设定部761设定从子图像切出的部分图像的位置。在本实施方式中，设初始值(最初循环中的设定位置)是子图像的中央。接着，在S1003中，子图像提取部762选择要处理的子图像。具体而言，将k4设为计数变量，将光场像LFI的第k4个子图像提取为关注子图像(步骤S1003)。接着，在步骤S1004中，部分区域定义部763和部分图像提取部764从选出的子图像中切出部分图像。具体而言，部分区域定义部763，对关注子图像上的与通过步骤S1002设定的切出位置对应的部分，将在步骤S1001中确定的尺寸的区域定义为部分区域。然后，部分图像提取部764切出部分区域的图像(步骤S1004)。在步骤S1004中，部分图像提取部764进一步将切出的图像调整为规定像素数(例如4X4像素)的部分图像。接着，在步骤S1005中，图像配置部765基于切出尺寸、子图像中的切出位置、和子图像在光场像中的排列位置，在中间图像配置通过步骤S1004切出的部分图像。将在后面利用具体例叙述具体的处理。此时，在主镜头的焦点位于比摄像元件更靠主镜头侧的位置上的、通过如图3的光学系统拍摄到的光场像中，翻转各部分图像的上下左右来配置到中间图像上。如果是主镜头的焦点位于摄像元件后方侧的光学系统，则不进行部分图像的上下左右的翻转。在步骤S1006中，第7重构图像生成部760判定是否处理了所有子图像。若判定结果为“否”，则第7重构图像生成部760使计数变量k4递增(步骤S1007)，返回步骤S1003反复进行处理。若判定结果为“是”(步骤S1006:是)，则在步骤S1008中，第7重构图像生成部760在RAM23或存储部34中保存中间图像(步骤S1008)。接着，在步骤S1008中，第7重构图像生成部760判定是否生成了规定数量的中间图像(例如8个)。若判定结果为“否”(步骤S1009:否)，则第7重构图像生成部760返回步骤S1002，针对在前一次切出位置上附加了偏移的下一切出位置反复进行处理。偏移可任意设定，但是优选按照不从子图像露出、配合光圈的形状(在图29中是圆状)、并能不让部分区域偏离子图像设定的方式，设定偏移值。并且，第7重构图像生成部760，反复进行步骤S1002 步骤S1009的处理。此时，第7重构图像生成部760，加上切出位置的偏移量后，在中间图像上配置部分图像。将在后面具体叙述。这样，在各中间图像间使被摄体的位置一致。若步骤S1009的判定结果为“是”(步骤S1009:是)，则在步骤S1010中，对合成部766得到的多个中间图像进行加法平均，生成重构图像。之后，数码相机I记录并显示所生成的重构图像，图像输出处理I结束。利用图29 图31，说明步骤S1002 步骤S1009的处理。首先，图29表示生成最初的中间图像的处理(步骤S1003 步骤S1006)。开始时，选择光场像LFI的左上方的子图像Sn(S1003)。从所选择的子图像S11的中央部(切出位置的初始值)切出部分图像PI11 (S1004)，该部分图像PI11配置到中间图像ImI1的左上角(S1005)。在图29 图32中，以虚线和点来表示要配置中间图像ImI1的基准位置。在下一循环中，选择右邻的子图像S12(S1003)。从所选择的子图像S12的中央部切出部分图像PI12(S1004)，该部分图像PI12配置在刚刚配置到中间图像ImI1内的部分图像PI11的右邻位置上(S1005)。直到光场像LFI的右端为止，反复进行该作业。若右端的子图像Sin的处理结束，则返回光场像LFI的左端，选择从上开始第2段的子图像S21 (S1003)。然后，从所选择的子图像S12的中央部切出部分图像PI12 (S1004)，该部分图像PI12配置在最初配置到中间图像I内的部分图像PI11的下侧(S1005)。与第一段相同，直到光场像LF的右端为止，反复进行该作业。若右端的子图像S的处理结束，则处理光场像LF的下一段的子图像S。反复进行这些作业。若判定为已处理到了光场像LF的右下方的子图像Sm(S1006:是)，则在存储部34等中保存中间图像ImI1(SlOOS)。由此，中间图像ImI1的生成结束。在该阶段中，中间图像ImI1单纯排列了部分图像，因此在部分图像与部分图像之间每个子图像的接缝会比较显著。图30是在第2次的循环中，将切出位置设置成靠近图像的左上角来生成中间图像ImI2的处理的例。此时，第I次循环和第2次循环之间的偏移值为从子图像的中央向靠近左上方向移动的值(例如，向左移动10像素、向上移动10像素)。与切出位置为图29的情况相比，由于向左上移动，因此在步骤S1005中图像配置部765在中间图像ImI2上配置部分图像的位置向左上移动(图30下段)。对切出位置附加偏移的同时反复进行生成中间图像的处理(步骤S1002 步骤S1009)。图31是在第η次循环中在右下设定切出位置来生成中间图像ImIn的处理的例。在第2次循环到第η次循环中，按照切出位置从左上向右下依次移动的方式改变偏移值(例如，在不改变段时向右移动3像素，在改变段时向下移动3像素、向左移动21像素等)。切出位置与图29的情况相比更向右下方移动，由此在步骤S1005中图像配置部765在中间图像ImIn上配置部分图像的位置向右下移动(图31下段)。与仅仅排列了部分图像的中间图像相比，在对这样得到的多个中间图像进行加法平均后获得的重构图像中，跟前的人物或相机带(camra strap)部分的每个子图像的接缝会更显著。也就是说，从光场像的子图像切出图像来进行图像重构时，在每个中间图像中使切出位置不同，并对这些中间图像进行加法平均，从而能够得到没有不协调感的(画质良好的)良好的重构图像。在本实施方式中，根据重构距离决定切出尺寸，在每个中间图像中使切出位置不同，并对这些中间图像进行加法平均后得到重构图像。图32A 图32C是比较了切出位置不同的图29 图31的中间图像ImIp Iml2、ImIn的图。看画了 X图标的像素可知,在中间图像ImIp ImI2, ImIn中采用了分别不同的子图像的不同位置的像素。也就是说，本实施方式根据再对焦距离，对不同子图像的不同位置的像素进行加法平均，从而构成了要重构的被摄体的像素。此外，在ImIl ImIn中，由于部分图像和部分图像的接缝的位置分别不同，因此通过对这些图像进行合成(加法平均)，从而能够通过排列部分图像后进行加法平均这样计算量少的处理，来生成部分图像与部分图像之间并不明显的画质高的重构图像。另外，在本实施方式中，也可以在各个中间图像上配置部分图像时进行了考虑部分图像的偏移的位置对准，对中间图像进行加法平均时进行考虑了切出位置的偏移的位置对准。即，在生成中间图像的时刻，在一张图像上与切出位置无关地配置部分图像。并且，在合成部766合成中间图像的时刻，使中间图像偏离与偏移值相应的量之后进行加法平均，也能够得到同样的效果。此外，重构距离的设定可以通过手动操作来设定，也可以测量到想要对焦的被摄体为止的距离来进行设定。另外，也可以显示重构图像之后通过触摸面板等重新选择想要对焦的被摄体，由此再次设定重构距离。另外，在本实施方式中，在生成了规定数量的中间图像的基础上，结束了变更切出位置的同时进行的反复处理，但是也可以通过用户操作来结束反复处理。例如，也可以是当第7重构图像生成部760每次生成一个中间图像时，在显示部向用户显示对到此为止所生成的中间图像进行合成后的重构图像，在用户满意画质的情况下，促使操作规定的操作元件(例如快门按钮)，在进行了该操作元件的操作的基础上，结束反复处理。由此，即使是处理能力较低的CPU，也能够以最短的时间得到用户满意的画质。接着，说明本实施方式的变形例。本变形例是改变图像生成处理6的处理顺序，也能够得到同样的效果的例。本变形例的正式图像生成部(第8重构图像生成部)，具备与图27A所示的第7重构图像生成部760相同的功能部。图33是变形例的正式图像生成部(第8重构图像生成部)所执行的处理(图像生成处理7)的流程图。到执行图像生成处理7为止、以及到图像生成处理7的步骤SllOl为止，变形例的数码相机与图28的步骤S1001同样地执行处理。在步骤S1102中，第8重构图像生成部的子图像提取部，选择要进行处理的子图像。具体而言，将k5设为计数变量，将光场像LFI的第k5个子图像提取为关注子图像(步骤S1102)。在步骤S1103中，与图像生成处理6(图28)的步骤S1002同样地，切出位置设定部设定从子图像中切出的部分图像的位置。设初始值是子图像的中央。在步骤S1104中，与图像生成处理6(图28)的步骤S1004同样地，部分区域定义部和部分图像提取部从所选择的子图像中切出部分图像。在步骤S1105中，图像配置部基于切出尺寸、子图像中的切出位置、和子图像在光场像中的排列位置，对重构图像加上该部分图像。将在后面叙述具体的处理。在步骤S1106中，第8重构图像生成部判定是否对规定数量(例如8)的切出位置进行了处理。若判定结果为“否”(步骤S1106:否)，则CPUll返回步骤S1103，与图像生成处理6同样地变更切出位置后反复进行处理。该反复处理的结果，作为整体处理设定了多个切出位置。子图像的边界(图34上段的圆)依赖于放置于光学系统中的光圈的形状。因此，根据光圈的形状限制部分图像的切出位置的变更范围。例如，若光圈为大致圆形状且被切出的部分图像的形状为四边形，则在步骤S1103的切出位置设定处理中，按照部分图像的对角线方向的切出位置的变动范围，比子图像的上下方向的更小的方式，设定偏移值。在步骤S1106中，若判定结果为“是”(步骤S1106:是)，则在步骤S1107中，第8重构图像生成部判定是否对所有子图像进行了处理。若判定结果为“否”(步骤S1107:否)，则第8重构图像生成部使计数变量k5递增(步骤S1108)之后，返回步骤S1102，选择下一子图像反复进行处理。若判定结果为“是”(步骤S1107:是)，则在步骤S1109中，第8重构图像生成部的合成部调整重构图像的明亮度。即，因反复进行加法运算而增加的像素值除以切出位置的设定次数，从而调整(归一化)明亮度。之后，数码相机I记录并显示重构图像，本变形例的图像输出处理结束。利用图34 图35，说明图像生成处理7的步骤S1103 步骤1106的处理概要。以针对光场像LFI的左上的子图像S11的处理为例进行说明。在最初循环的步骤S1103中，设定被选择的子图像S11中的切出位置(中央部)。从选出的子图像S11切出部分图像PI11 (S1104)。被切出的部分图像PI11,基于切出尺寸、子图像S11中的切出位置、和子图像S11的在光场像LF中的排列位置，被加到重构图像RI (SI 105)。图34的下段的正方形表示该加法运算位置。在下一循环(图35)中，设定附加了偏移的新的切出位置(从中央部向左上)(S1103)。在该循环中，切出尺寸和子图像S11的在光场像LFI中的排列位置与图34相同，但是子图像S11中的切出位置不同。光场像LF是包含了多个子图像S11 Snm的一连串的图像。因此，根据偏移的设定，不仅作为子图像S而切出有效区域，而且作为部分图像无效区域也会被切出。由于包含了无效区域的部分图像会成为噪声源，因此需要切出范围(部分区域)收敛于子图像S的边界内。因此，需要根据光圈的形状限制部分图像的切出位置的偏移量。例如，当光圈为大致圆形状且被切出的部分图像的形状为四边形时，设成部分图像的对角线方向的切出位置的变动范围小于子图像的上下方向的变动范围。作为具体例，当以中央部为起点改变切出位置时，只要设定成在上下方向上增大可取的偏移值、在对角线方向上减小可取的偏移值即可。
部分图像被往重构图像RI相加的位置,也偏移了与切出位置的偏移相应的量。图35为了表示偏移的加法运算位置，以虚线表示了最初的加法运算位置，以实线表示了第2个加法运算位置。在重构图像RI中，按照部分图像的边界不重叠的方式进行加法运算，从而多个部分图像的接缝不明显，能够得到良好的(画质高的)重构图像RI。以上，说明了本发明的实施方式I至5，但是本发明的实施方式并不限于此，可进行各种变形。例如，在上述实施例中，说明了将图像设为亮度色标图像的情况，但是成为本发明的处理对象的图像并不限于亮度色标图像。例如，图像可以是在各像素中定义了 R(红)、G(绿)、B(蓝)这三个像素值的RGB图像。此时，将像素值作为RGB向量值，同样地进行处理。此外，也可以将R、G、B各值设为分别独立的亮度色标图像，分别进行上述处理。根据该构成，能够根据作为彩色图像的光场像生成作为彩色图像的重构图像。此外，再对焦距离(对应于到重构面的距离)的设定，可通过手动操作来设定，也可以测量到想要对焦的被摄体为止的距离来进行设定。另外，也可以显示重构图像之后通过触摸面板等重新选择想要对焦的被摄体，再次设定再对焦距离。此外，说明了主镜头成像面MA存在于比微镜头阵列更靠近主镜头侧的位置上的情况，但是本发明的光学系统的构成并不限于此。例如，可以是其他设计相同，而主镜头成像面MA比微镜头阵列更靠后。此时，在将配置用图像配置到生成图像上时，无须在上下左右翻转，而是直接进行配置。此外，也可以考虑微镜头的成像面比摄像元件更靠近微镜头侧的情况。此时，以不是该情况的情形为基础，进一步在上下左右翻转后将配置图像配置到生成图像上。此外，取景图像生成处理、确认图像生成处理和正式图像生成处理并不限于上述组合。在本发明中，能够以取景图像生成处理所需的计算量在确认图像生成处理以下、正式图像生成处理的所需计算量大于确认图像生成处理的条件，任意地选择上述处理的组合。例如，可以是取景图像生成处理和确认图像生成处理为上述图像生成处理1，正式图像生成处理为图像生成处理3或4。另外，也可以是取景图像生成处理和确认图像生成处理为图像生成处理2，正式图像生成处理为图像生成处理3或4的组合。此外，也可以在取景图像生成处理和确认图像生成处理，采用相同种类的图像生成处理，在其处理中调节计算量。例如，也可以是如下构成，即，当取景图像生成处理和确认图像生成处理为图像生成处理2时，在取景图像生成处理中，仅在一个方向上计算图像偏离系数，在确认图像生成处理中在纵向和横向这两个方向上计算图像偏离系数，从而针对确认图像提高图像偏离系数的精度。或者，也可以是如下构成，S卩，将用于计算图像偏离系数的区域，在确认图像生成处理中取得比取景生成处理大，从而提高图像偏离系数的精度。通过这种构成，根据CPU的速度，能够利用所需计算量最少的处理，高速显示应以最高速显示的取景图像。此外，对于确认图像而言，能够至少以与取景图像相等的画质充分快地进行显示，而若是通过设定的话就能够以更高的画质充分快地进行显示。此外，针对正式图像能够设成更高画质的图像。由此，根据所需的显示速度划分图像生成处理，从而对于用户而言，能够提供便利性高的数码相机。另外，所述的硬件结构或流程图是一例，对它们可任意地变更以及修正。
例如，在本实施方式及其变形例中，由数码相机I所具备的重构图像生成部进行了图像生成处理。但是，图像生成处理(特别是正式图像生成部所执行的处理)也可以由独立于数码相机I的其他图像处理装置(例如安装了执行图像生成处理的程序的PC)执行。此时，也可以向图像处理装置读入由其他摄像装置生成的光场像，并由该图像处理装置进行重构处理(图像生成处理6或7)。此时，其他摄像装置也可以在可移动介质等中存储通过触摸面板选出的被摄体的位置和光场像。由此，图像处理装置中的重构变得容易。此外，也可以在可移动介质等中存储在拍摄时测量到的被摄体距离和光场像，并在重构时加以利用。由CPU21、R0M22、RAM23等构成的、成为进行图像生成用处理的中心的部分也可以不依赖于专用系统，而是利用通常的计算机来实现。例如，也可以构成如下部分:将用于执行所述动作的计算机程序存放在计算机可读取的记录介质(软盘、CD-ROM、DVD-ROM等)中来分发，使计算机安装所述计算机程序，并执行上述图像生成处理。此外，也可以构成如下部分:在因特网等通信网络上的服务器装置所具备的存储装置上保存所述计算机程序，通过使通常的计算机系统下载程序等，从而执行上述图像生成处理。在使OS (操作系统)和应用程序分担执行上述图像生成处理的部分的功能、或者通过OS和应用程序的协作来实现执行上述图像生成处理的部分的功能的情况下等，也可以在记录介质或存储装置中仅保存应用程序部分。此外，也可以经由通信网络分发计算机程序。例如，也可以在通信网络上的布告板(BBS:Bulletin Board System)中揭载所述计算机程序,经由网络分发所述计算机程序。然后，启动该计算机程序，在OS的控制下，与其他应用程序同样地执行该程序，由此能够执行所述的处理。以上，说明了本发明的实施方式，该实施方式仅仅是例示，并不限定本发明的技术范围。本发明可取其他各种实施方式，而且在不超出本发明的宗旨的范围内，能够进行省略或置换等各种变更。这些实施方式或其变形包含在本说明书等记载的发明的范围或要旨内，并且包含在权利要求书所记载发明和其均等的范围内。(产业上的可利用性)本发明能够应用于可拍摄多视点图像的摄像装置及处理多视点图像的图像处理装置中。
权利要求
1.一种图像处理装置，其具备: 图像获取部，其获取对从多个视点得到的多个子图像进行了排列的多视点图像； 切出部，其从所述子图像中切出部分图像；和 生成部，其基于与该部分图像对应的子图像的排列位置配置所述部分图像，从而生成重构图像。
2.根据权利要求1所述的图像处理装置，其中， 所述生成部分别将所述部分图像翻转为点对象后进行配置。
3.根据权利要求1所述的图像处理装置，还具备: 距离设定部，其设定所述重构图像的再对焦距离； 间隔设定部，其根据所述再对焦距离，设定在重构图像上配置所述部分图像的间隔；和第I尺寸设定部，其按照在所述重构图像上所述部分图像彼此重复的方式，设定所述部分图像的切出尺寸。
4.根据权利要求3所述的图像处理装置，其中， 所述图像处理装置还具备:虚化设定部，其设定虚化程度， 若所述虚化程度变大，则所述第I尺寸设定部增大所述切出尺寸。
5.根据权利要求1所述的图像处理装置，其中， 所述图像处理装置还具备: 第2尺寸设定部，其设定所述部分图像的切出尺寸；和 位置设定部，其设定所述部分图像的切出位置， 所述生成部基于所述切出尺寸和所述子图像的排列位置，对与所述切出位置对应的多个部分图像进行合成，从而生成所述重构图像。
6.根据权利要求5所述的图像处理装置，其中， 所述图像处理装置还具备:距离设定部，其设定所述重构图像的再对焦距离， 所述第2尺寸设定部根据所述再对焦距离设定所述切出尺寸。
7.根据权利要求6所述的图像处理装置，其中， 所述再对焦距离越大，所述第2尺寸设定部将所述切出尺寸设定得越小。
8.根据权利要求5所述的图像处理装置，其中， 所述位置设定部根据拍摄所述多视点图像的光圈形状，设定切出位置。
9.根据权利要求5所述的图像处理装置，其中， 所述生成部包括: 中间图像生成部，其在所述位置设定部每次重新设定切出位置时，基于所述子图像的排列位置和该重新设定的切出位置来配置所述部分图像，从而生成中间图像；和合成部，其根据所述生成的中间图像的每一个合成重构图像， 所述图像处理装置还具备:显示部，其在每次重新设定所述切出位置时，显示所述合成后的重构图像。
10.根据权利要求1所述的图像处理装置，其中， 所述图像处理装置还具备:摄像部，其由光学系统构成，该光学系统包括主镜头、摄像元件、和各个微镜头覆盖各摄像元件的多个像素的微透镜阵列， 所述图像获取部获取由所述摄像部拍摄的图像。
11.根据权利要求1所述的图像处理装置，还具备: 图像偏离获取部，其对所述多个子图像中的每一个，获取表示该子图像中的规定部位的位置、与出现在该规定部位上的被摄体在其他子图像上出现的位置之间的位置偏离的图像偏离系数；和 第3尺寸设定部，所述图像偏离系数越大，该第3尺寸设定部就将所述部分图像的切出尺寸设定得越大。
12.根据权利要求11所述的图像处理装置，其中， 所述图像偏离获取部，针对从所述多个子图像中选出的作为计算对象的子图像计算出所述图像偏离系数，并基于该计算出的图像偏离系数针对该计算对象以外的子图像推测所述图像偏离系数。
13.根据权利要求12所述的图像处理装置，其中， 所述图像获取部依次获取所述多视点图像， 所述图像偏离获取部，对依次获取到的所述多视点图像中的每个图像，循环地选择作为所述计算对象的子图像，从而依次获取所述多个子图像的图像偏离系数， 所述生成部从所述依次获取到的多视点图像中，利用所述依次获取到的图像偏离系数来依次生成所述重构图像。
14.根据权利要求1所述的图像处理装置，还具备: 第4尺寸设定部，其将所述部分图像的切出尺寸设定成，与对应所述子图像分割了所述重构图像的多个配置区域一致。
15.根据权利要求1所述的图像处理装置，还具备: 所述图像处理装置还具备:第5尺寸设定部，其设定所述部分图像的切出尺寸， 所述生成部，将所述重构图像分割成与所述子图像对应的多个配置区域， 所述生成部按照与对应的所述配置区域的大小一致的方式缩小或放大所述部分图像来进行配置。
16.一种图像处理装置，其具备: 图像获取部，其获取对从多个视点得到的多个子图像进行了排列的多视点图像； 第I选择部，其从所述多个子图像中选择第I图像； 像素选择部，其选择包含在所述第I图像中的第I像素； 第2选择部，其从所述多个子图像中选择第2图像； 搜索部，其从包含在所述第2图像中的像素之中，搜索与所述第I像素对应的第2像素； 像素加工部，其基于所述第I像素与所述第2像素的位置关系，加工所述第I像素和所述第2像素；和 重构部，其从由所述像素加工部加工出的所述多个子图像中，重构图像。
17.根据权利要求16所述的图像处理装置，其中， 所述重构部包括: 切出部，其从所述子图像中切出部分图像；和 生成部，其基于与该部分图像对应的子图像的排列位置配置所述部分图像，从而生成重构图像。
18.一种图像生成方法，包括以下步骤: 获取对从多个视点得到的多个子图像进行了排列的多视点图像； 从所述子图像中切出部分图像；以及 按照与所述部分图像对应的子图像的排列顺序配置所述部分图像，从而生成重构图像。
19.一种计算机可读取的非易失性记录介质，其保存通过计算机可执行的程序，所述程序使所述计算机实现如下功能: 获取对从多个视点得到的多个子图像进行了排列的多视点图像； 从所述子图像中切出部分图像；以及 按照与所述部分图像对应的子图像的排列顺序配置所述部分图像，从而生成重构图像 。
全文摘要
本发明提供一种摄像装置及图像显示方法。子图像提取部从光场像中提取关注子图像。部分区域定义部将关注子图像上的规定区域定义为部分区域。并且，像素提取部从部分区域中提取与生成图像的对应区域一致的相应数量的像素。像素配置部以与拍摄光场像的光学系统的光路经相应的配置，在生成图像的对应区域中配置提取出的像素。针对光场像的所有子图像提取像素后配置到生成图像上，由此生成重构图像。
文档编号H04N5/232GK103188441SQ20121057982
公开日2013年7月3日 申请日期2012年12月27日 优先权日2011年12月27日
发明者山本量平 申请人:卡西欧计算机株式会社