图像生成装置、数字照相机及方法

专利名称：图像生成装置、数字照相机及方法
技术领域：
本发明涉及对图像进行重构的技术。
背景技术：
已知通过获取从不同的视点拍摄的被摄体的图像来获取从被摄体进入照相机镜头的所有光线的朝向和光量。有关于这种技术，特表2008-515110号公报公开了一种获取对被摄体进行摄影而得到的多个图像，根据该多个图像重构使焦点距离 被摄体深度等改变的被摄体的图像。在该技术中，通过光线追踪来确定与重构图像的像素(重构像素)对应的光场(light field)图像的像素，基于所对应的像素的像素值来生成重构图像。

发明内容
本发明的第I方面涉及的图像生成装置根据包含以不同的视点拍摄的多个子图像在内的光场图像来生成重构图像，该图像生成装置具备:参数获取部，其获取对所述光场图像进行摄影时的摄影参数；信息获取部，其基于所述摄影参数，来获取用于确定所述光场图像中包含的所述子图像的区域的区域信息；定义部，其定义构成所述重构图像的重构像素和处于由所述区域信息所确定的子图像的区域中的子像素之间的对应；和生成部，其基于所述对应的子像素的像素值来决定所述重构像素的像素值，由此生成所述重构图像。本发明的第2方面涉及的数字照相机具备:摄影部，其利用主镜头和多个微镜，对包含以不同的视点拍摄的多个子`图像在内的光场图像进行摄影；参数获取部，其获取对所述光场图像进行摄影时的摄影参数；信息获取部，其基于所述摄影参数，来获取用于确定所述光场图像中包含的所述子图像的区域的区域信息；定义部，其定义构成根据所述光场图像来生成的重构图像的重构像素和处于由所述区域信息确定的子图像的区域中的子像素之间的对应；和生成部，其基于所述对应的子像素的像素值来决定所述重构像素的像素值，由此生成所述重构图像。本发明的第3方面的重构图像生成方法根据包含在不同的视点拍摄的多个子图像在内的光场图像来生成重构图像，其包括:获取对所述光场图像进行摄影时的摄影参数的步骤；基于所述摄影参数来获取用于确定所述光场图像中包含的所述子图像的区域的区域信息的步骤；定义构成所述重构图像的重构像素和处于由所述区域信息确定的子图像的区域中的子像素之间的对应的步骤；和基于所述对应的子像素的像素值来决定所述重构像素的像素值由此生成所述重构图像的步骤。


以下，与以下的附图一并进行如下的详细叙述，可进一步深入理解本申请发明。图1是表示本发明的实施方式1涉及的数字照相机的结构的图。图2是表示实施方式1涉及的数字照相机的光学系统的结构的图。图3A是表示实施方式1涉及的光场图像的示意图。图3B是表示实施方式1涉及的光场图像和重构图像的例子的图。图4A是表示实施方式1涉及的图像重构装置的物理结构的图。图4B是表示实施方式1涉及的图像重构装置的功能结构的图。图5A是表不实施方式1涉及的数字照相机的光学系统的例子的图。图5B是表示由图5A的光学系统拍摄的光学像和遮挡膜的例子的图。图5C是表示实施方式1涉及的数字照相机的光学系统的例子的图。图 是表示由图5C的光学系统拍摄的光学像和遮挡膜的例子的图。图6A是用于说明实施方式1涉及的遮挡膜的整体图。图6B是用于说明实施方式1涉及的遮挡膜的放大图。图6C是表示图6B的放大图的形状。图7是表示实施方式1涉及的参数遮挡膜对应表的例子的图。图8是表示实施方式1涉及的重构图像输出处理流程的流程图。图9是表示实施方式1涉及的重构图像生成处理流程的流程图。图10是用于说明实施方式1涉及的光线追踪处理的图。图11是表示实施方式1涉及的遮挡膜生成处理流程的流程图。图12是用于说明实施方式1涉及的光学系统的物理构造和子图像的形状之间关 系的图。图13A是表示实施方式1涉及的光学系统的外侧镜筒长度较短时的遮挡膜的形状 的例子的图。图13B是表示实施方式1涉及的光学系统的外侧镜筒长度为中程度时的遮挡膜的 形状的例子的图。图13C是表示实施方式1涉及的光学系统的外侧镜筒长度较长时的遮挡膜的形状 的例子的图。
具体实施例方式以下，参照

用于实施本发明的实施方式所涉及的数字照相机及图像重构 装置(图像生成装置)。其中，对于图中相同或者相当的部分赋予同一符号。(实施方式1)实施方式1涉及的图像重构装置30被搭载于图1所示的数字照相机1。数字照相 机1，具备拍摄被摄体来获取由多个子图像构成的光场图像以生成重构图像的功能。图像重 构装置30，担当其中根据包含子图像的光场图像来生成重构图像的功能。图1所示，数字照相机1由摄像部10、包含图像重构装置30的信息处理部20、存 储部40、和接口部(I/F部)50构成。数字照相机1通过这种结构获取来自外部(被摄体) 的光线信息，重构并显示表示被摄体的图像。摄像部10由光学装置110和图像传感器120构成，从多个视点拍摄被摄体。
如图2所示，光学装置110由快门111、光圈112、主镜头ML、副镜头阵列SLA(微镜阵列)构成。光学装置110通过主镜头ML捕捉来自外部的光线，将以构成副镜头阵列SLA的各副镜头SL的光学中心作为视点而得到的光学像投影在图像传感器120(摄像面IE)上。图像传感器120将光学装置110所投影的光学像变换为电信号之后传送至信息处理部 20。图像传感器 120 例如由 CCD (Charge Coupled Device)或 CMOS (ComplementaryMetal Oxide Semiconductor)等的摄像元件、将摄像元件所生成的电信号传送至信息处理部20的传送部构成。快门111控制对于图像传感器120的外部光的入射和遮挡。光圈112遮挡进入主镜头的光的一部分，以相当于摄像设定表示的光圈值的方式来限定主镜头的透过部位。主镜头ML由一个或者多个凸透镜、凹透镜、非球面透镜等构成。主镜头ML将摄影时的被摄体OB的光作为光学像在主镜头ML与副镜头阵列SLA之间的假想的成像面MIP上进行成像。再者，摄影时的被摄体OB并不限于一个物体，如图2所示那样可以是与主镜头ML分别相距不同距离的多个构成物。副镜头阵列SLA由在平面上配置成格子状的MXN个副镜头(微镜)SL构成。副镜头阵列SLA将主镜头ML在成像面MIP上所形成的光学像作为以各个副镜头SL的光学中心为视点而观测的光学像，在构成图像传感器120的图像传感器的摄像面IE上成像。将由主镜头ML形成的平面和摄像面IE形成的平面所构成的空间称为光场。对于主镜头ML，能够定义最大直径LD、有效直径ED。最大直径LD是主镜头ML的物理上的直径。另一方面，有效直径ED是主镜头ML之中能够用于摄影的区域的直径。因贴附于主镜头ML的各种过滤器或光圈112、主镜头ML周边的物理构造遮挡了输入输出主镜头的光线，由此主镜头ML之中、有效直径ED的外部，成为通过主镜头ML之中周边部的光线无效的区域(噪声大的区域)、或者光无法透过的区域。可以通过测量由上述过滤器等物理构造遮挡光线的部位并获取摄像设定所表示的光圈112的F值来定义有效直径ED。在图2的例子中，来自被摄体OB的某个部分POB的光线通过形成主镜头ML的有效直径ED的部分(有效部)，并投影至多个副镜头SL上。这样，将从被摄体OB的部分POB发出的光通过主镜头ML的有效部而投影至副镜头阵列SLA上的区域，称为部分POB的主镜头模糊(main lensblur)MLB (图2的阴影部分)。主镜头ML被收纳在镜筒LB的内部。镜筒LB以主镜头ML的光学中心被分为被摄体侧(外侧镜筒)和成像面MIP侧(内侧镜筒)。在图2中，将外侧镜筒的长度设为Lolb，将内侧镜筒的长度设为Lilb。此外，将从主镜头ML的光学中心至主镜头的成像面MIP的距离设为bl，将从成像面MIP至副镜头阵列SLA所形成的面的距离设为a2，将从副镜头阵列SLA至图像传感器的摄像面IE的距离设为c2，将主镜头ML与副镜头阵列SLA之间的距离设为Cl。摄像部10通过上述结构拍摄包含通过了光场的所有的光线信息在内的光场图像(LFI)。图3A表示对方块状的被摄体OB进行摄影而得到的LFI的一例。该LFI由与配置成格子状的MXN个副镜头SL(微镜)的每个透镜对应的图像(子图像S、S11 Sw)构成。例如，左上的子图像S11相当于从左上拍摄被摄体OB而得到的图像，右下的子图像Smn相当于从右下拍摄被摄体OB而得到的图像。第i行的子图像(横向一列的子图像)Sil Sffl，相当于由在副镜头阵列SLA的横向的第i行排列的副镜头SL对主镜头ML所形成的像进行成像得到的立体图像。同样，第j列的子图像(纵向一列的子图像)SU_ SMj相当于由在副镜头阵列SLA(微镜阵列)的纵向的第j列排列的副镜头SL对主镜头ML所形成的像进行摄影而得到的立体图像。如图3B所示，数字照相机I生成根据LFI来重构被摄体的重构图像(RI)。再者，在本实施方式中，各子图像S是灰度(gray scale)图像，构成子图像的各像素具有像素值(数量值)。图1所示的信息处理部20,在物理上由CPU (Central Processing Unit)、RAM (Random Access Memory)、内部总线、和I/O端口构成,作为图像处理部210、图像重构装置30、摄像控制部220来发挥作用。图像处理部210，从图像传感器120获取电信号，基于存储部40的摄像设定存储部410所存储的摄像设定信息，来将获取的电信号变换为图像数据。图像处理部210将图像数据、和对摄像设定信息附加了规定信息(固定参数)的摄影设定信息传送至图像重构装置30。图像重构装置30利用从图像处理部210传送的LFI来生成重构图像。对于图像重构装置30生成重构图像的处理在后面叙述。图像重构装置30将所生成的重构图像存储在存储部40的图像存储部420中。摄像控制部220基于存储部40的摄像设定存储部410中存储的摄像设定信息来控制摄像部10，利用摄像部10进行被摄体OB的摄影。存储部40由主存储装置和外部存储装置构成，该主存储装置是由RAM(Random-Access Memory)等构成,该外部存储装置由闪存、硬盘、等非易失性存储器构成。主存储装置载入外部存储装置中存储的控制程序和信息，用作信息处理部20的工作区域。外部存储装置预先存储用于使信息处理部20进行后述的处理的控制程序和信息，按照信息处理部20的指示将这些的控制程序和信息传送至主存储装置。此外，按照信息处理部20的指示，存储基于信息处理部20的处理的信息和从接口部50传送的信息。存储部40在功能上由摄像设定存储部410、图像存储部420构成。摄像设定存储部410存储摄像设定信息。摄像设定信息(摄像参数)作为在摄像时可变化的摄像参数而包括主镜头ML与副镜头阵列SLA之间的距离、主镜头的焦点距离fa、收纳主镜头的镜筒LB的内侧的长度(内侧镜筒长)及外侧的长度(外侧镜筒长)、确定曝光时间的信息、光圈(F值、对应于主镜头的有效直径ED)、快门速度等。在本实施方式中，假定作为与主镜头的焦点距离内侧镜筒长及外侧镜筒长、主镜头ML和副镜头阵列SLA之间的距离的各参量唯一对应的参数，使用变焦值。此外，摄像设定信息(摄像参数)作为固定参数(现存值)还包括主镜头的最大直径LD、构成副镜头阵列SLA的各副镜头SL相对于主镜头的光轴OA的相对位置信息。此外，摄像设定存储部410存储从主镜头ML至副镜头阵列SLA的距离Cl、从副镜头阵列SLA的至摄像元件的表面(摄像面IE)的距离c2、各副镜头的直径、各摄像元件相对于副镜头的相对位置等的信息。摄像设定存储部410将摄像参数传送至摄像控制部220。此外，摄像设定存储部410将表示摄像部10的摄像设定信息及固定参数的信息传送至图像处理部210。图像存储部420存储图像重构装置30所重构的图像。图像存储部420将所存储的图像传送至接口部50的I/O部510和显示部520。接口部(图中记为Ι/F部)50，是数字照相机I与其使用者(用户)或者外部装置之间的接口相关的结构，由I/O部510、显示部520和操作部530构成。I/O 部(Input/Output 部)510 在物理上由 USB (Universal Serial Bus)连机器或视频输出端子、和输入输出控制部构成。I/O部510将存储部40中存储的信息输出至外部的计算机，将从外部传送来的信息传输至存储部40。显示部520由液晶显示装置或有机EL (Electro Luminescence)显示器等构成,显示用于输入摄像设定存储部410中所存储的摄像参数的画面、用于操作数字照相机I的画面。此外,显示部520显示图像存储部420中所存储的图像。操作部530包括例如数字照相机I所具备的各种按钮或显示部520所具备的触摸面板、检测对各种按钮或触摸面板所进行的操作信息并传送至存储部40和信息处理部20的传送部，用于将用户操作的信息传送至存储部40或信息处理部20。数字照相机I通过上述结构如图3B所示那样拍摄LFI，并根据LFI生成并输出重构图像RI。接下来，参照图4A、图4B说明图像重构装置30的结构。图像重构装置30如图4A所示由信息处理部31、主存储部32、外部存储部33、输入输出部36和内部总线37构成。信息处理部31由CPU (Central Processing Unit)、和用作内部缓冲存储器的RAM (Random Access Memory)构成,利用图像重构装置30的其他的部位执行后述的处理。主存储部32具有与存储部40的主存储装置同样的物理结构。外部存储部33具有与存储部40的外部存储装置同样的物理结构，用于存储程序38。输入输出部36具有与1/0部510同样的物理结构。内部总线37连接信息处理部31、主存储部32、外部存储部33、和输入输出部36。信息处理部31、主存储部32、外部存储部33、输入输出部36、内部总线37，也可以是由数字照相机I的信息处理部20的内部电路、存储部40、和接口部50实现的功能模块。图像重构装置30将外部存储部33中存储的程序38及数据复制到主存储部32。然后，信息处理部31使用主存储部32来执行程序38，执行后述的用于重构图像的处理。图像重构装置30通过上述这种的物理结构，作为图4B所示的LFI获取部300、摄影设定获取部310、信息处理部320、存储部330、输出部340发挥作用。信息处理部320包括遮挡膜获取部3210、原型定义部3220、重构像素选择部3230、对应像素提取部3240、及像素值算出部3250。存储部330包括遮挡膜存储部3310、重构设定存储部3320、及重构图像存储部3330。LFI获取部300从图像处理部210接收LFI，传送至信息处理部320的遮挡膜获取部 3210。摄影设定获取部310从图像处理部210接收摄影设定信息，传送至遮挡膜获取部3210。信息处理部320利用从LFI获取部300和摄影设定获取部310获取的信息、存储部330中存储的信息，根据LFI生成重构图像。信息处理部320将所生成的重构图像通过重构图像存储部3330输出至输出部340。存储部330的遮挡膜(遮罩；mask)存储部3310存储后述的遮挡膜和参数遮挡膜对应表。重构设定存储部3320存储包含要显现在重构图像的被摄体相距主镜头的假想距离al在内的重构设定。重构图像存储部3330存储信息处理部320计算出的重构图像的各像素的像素值。此外，将生成结束的重构图像传送至输出部340。输出部340将所传送的重构图像输出至外部(图像存储部420)。信息处理部320的遮挡膜获取部3210从LFI获取部300获取到LF1、从摄影设定获取部310获取到摄影设定信息后，获取遮挡膜存储部3310中存储的遮挡膜之中的与摄影设定信息相应的遮挡膜。该遮挡膜(区域信息)对于构成LFI的像素，而区别为子图像中包含的区域(子图像内区域)和不包含的区域(子图像外区域)来进行定义。在此，对遮挡膜存储部3310存储、由遮挡膜获取部3210获取的遮挡膜(区域信息)进行说明。主镜头ML被收纳在镜筒LB (图5A、图5C)。通过主镜头ML之后通过某个副镜头(SLl)的光在摄像面IE上投影被摄体的像(子图像)。子图像将通过连接了主镜头ML和副镜头SLl的光学中心的直线的光线作为主光线，包含以主光线为中心的来自规定角度的光线的信息。通过某个副镜头的主光线与摄像面IE的交点，成为与该副镜头SLl对应的子图像的中心(子图像中心SIC)(图5A的SIC1、图5C的SIC2)。在摄像面IE，由通过了所对应的副镜头(SL1、SL2)的光，投影以子图像中心(SIC1、SIC2)为中心的像。在副镜头为圆形的情况下，该像在主镜头ML的光轴OA的附近为大致圆形。该像对应于子图像，但其外边部因主镜头之中有效直径ED外的部分、镜筒LB等的照相机的物理结构而受到影响，因此包含较多的噪声。再有，在外边部，微镜的像差的影响也大。因此，在S/N比小、且生成重构图像时，外边部成为噪声的原因。摄像面IE上的某个像素的S/N比，即便在其他条件相同的情况下也会因摄影设定(摄像参数及照相机的物理构造等)而变动。因此，在重构处理中，需要基于摄影设定来估计各像素的S/N比、并判别是否在容许范围的处理。但是，如果在重构时针对各像素进行这种处理，则计算量会变大。在本实施方式中，将LFI的像素(LFI像素)之中S/N比为容许范围的区域称为子图像内区域，将子图像内区域的像素称为子像素。在本实施方式中，将子图像内区域的图像设定为子图像。另一方面，将容许范围外的区域设定为子图像外区域，将子图像外区域的像素设为非子像素。在本实施方式中，将定义子图像内区域和子图像外区域的遮挡膜，对应于在设计上假定的可变参数(摄影设定之中可变的设定)而存储多个。在多个遮挡膜之中，在重构时选择使用与现在的摄影设定相应的遮挡膜，来减小计算量。以下，将与某个副镜头对应的子像素的集合设定为该副镜头的子图像。尽管镜筒LB遮挡入射的光，但是对于通过与光轴OA靠近的副镜头(SLl等)的光线，其影响较小(图5A)。因此，在LFI的光轴OA附近的部分(LFI的中心附近)，子图像SIl的形状接近于圆形(图5B的左侧)。因此，遮挡膜定义的子图像在该部分也接近于圆形(图5B的右侧)。再者，在图5B的右侧，子像素由白色表示，非子像素由黑色表示。以下同样。另一方面，对于通过远离光轴OA的副镜头(SL2等)的光线，由于特别是在周边部受到较强的镜筒LB的影响，因此子图像也变形(图的左侧)。如图5C所示，在SI2上远离光轴OA的部分主要受到镜筒LB的外侧(外侧镜筒)的部分的影响。另一方面，在SI2上靠近光轴OA的部分主要受到镜筒LB的内侧(内侧镜筒)的影响。因此，遮挡膜所定义的子图像也在该部分受到内侧镜筒的长度(Lilb)和外侧镜筒的长度(Lolb)影响而变形(图的右侧)。参照图6A、图6B、图6C说明遮挡膜获取部3210所获取的遮挡膜M的具体形状。遮挡膜M具有与子图像的个数对应的数量的窗口(分别对应于子图像内区域)。遮挡膜的中央对应光轴OA (LFI中心)，定义以LFI中心为原点而将横轴设为X、将纵轴设为y的坐标系(图6A)。在该例中，遮挡膜在X轴方向上具有61个(-30 +30)窗口，在y轴方向上具有39个(-19 +19)窗口。以下，将与横向上第X个、纵向上第y的窗口记为W(x、y)，将W(x、y)对应的子图像记为SI (X、y)。作为与一个子图像对应的窗口的例子，图6B表示图6A的左上窗口(W(_29、+18))。窗口的中心(对应于SI (-29、+18)的子图像中心)由SIC表示，通过SIC和LFI中心的直线由cx表示,通过SIC且与cx垂直的直线由px表示。cx的箭头表示LFI中心的方向。在图6B的例子中，W(-29, +18)表示与内侧相比外侧向LFI中心被挤压严重的变形的圆形。如图6C所示，从px开始，该形状的内侧可由长径为a且短轴为bin的椭圆(虚线)近似。另一方面，外侧可由长轴 为a且短轴为bwt的椭圆(双点划线)近似。遮挡膜的各窗口的形状及子图像中心的位置由以下的参数决定。对于生成遮挡膜的具体方法在后面叙述。(I)主镜头的设定(主镜头的最大直径LD、有效直径ED、内侧镜筒长Lilb、外侧镜筒长Lolb)(2)主镜头 微镜 摄像元件(摄像面IE)的位置关系(主镜头与微镜的距离Cl、微镜与摄像面IE的距离c2)(3)各个微镜相距光轴OA的距离、大小及形状遮挡膜存储部3310存储了按照适合上述参数之中在设定上被固定的参数的方式所生成的遮挡膜。此外，对于每次摄影是可变的参数，存储在设定上假设的范围中适合于参数的多个遮挡膜。对各遮挡膜分配成为索引的识别符(#1 #M)。遮挡膜存储部3310还存储将各遮挡膜的识别符和对应于该遮挡膜的各可变参数的范围建立对应进行登记的参数遮挡膜对应表(图7)。图7表示参数遮挡膜对应表的例子。该参数遮挡膜对应表是应该考虑的可变参数为光圈值和变焦值(对应于主镜头的位置)时的参数遮挡膜对应表的例子。在此，光圈值与主镜头的有效直径ED —一对应。此外，如果根据变焦值来确定主镜头的位置，如本实施方式那样不考虑主镜头的更换等的情况下的内侧镜筒长及外侧镜筒长、焦点距离唯一确定。在该例中，变焦能够以数字方式设定成N等级(例如25等级)，光圈能够设定成1(最小光圈)至100 (最大开放)。参数遮挡膜对应表针对这些可变参数可取的值，定义了一个对应的遮挡膜。在图7的例子中，如果摄像设定表示的变焦的值为2、光圈的值为18，则遮挡膜获取部3210作为对应的遮挡膜而获取#m+2。遮挡膜获取部3210获取与参数遮挡膜对应表所定义的现有的摄影设定信息一致的遮挡膜。并且，将所获取的遮挡膜重叠于LFI而传送至原型定义部3220。原型定义部3220基于重构设定存储部3320中所存储的重构设定，将重构图像的原型(雏形)配置在相距主镜头ML为距离al的面(重构面)。在此所谓的原型是像素值全部为0(或者未设定)的图像。然后，将所定义的原型传送至重构像素选择部3230。重构像素选择部3230将原型定义部3220所定义的重构图像的像素(重构像素)之中的一个像素确定为关注像素。进而，向对应像素提取部3240发送关注像素的信息。对应像素提取部3240根据重构像素选择部3230所选择的关注像素进行光线追踪，按每个副镜头提取来自关注像素的光到达的LFI上的像素(对应像素候选)。对应像素提取部3240将对应像素候选之中位于与该副镜头对应的窗口内部(副镜头内区域)的像素，作为与关注像素对应的像素(对应像素)进行提取。另一方面，对于对应像素候选之中位于与该副镜头对应的窗口外侧(副镜头外区域)的像素，从后述的像素值算出处理的处理对象中排除。再者，本实施方式中，设对于设想的摄影设定及重构设定，被调整成各副镜头对应一个关注像素的对应像素。对应像素提取部3240将所提取的对应像素的信息传送至像素值算出部3250。像素值算出部3250基于对应像素的像素值来计算关注像素的像素值。对于该处理的具体的内容在后面叙述。像素值算出部3250，将计算出的关注像素的像素值存储在重构图像存储部3330中。像素值算出部3250从重构像素选择部3230将重构图像中包含的所有像素依次作为关注像素来确定像素值，计算出重构像素。在此，参照图8至图10来说明图像重构装置30所执行的根据LFI生成并输出重构图像的处理(重构图像输出处理)。用户使用数字照相机I拍摄LFI，图像处理部210生成LFI并与摄影设定信息一起传送至图像重构装置30后，图像重构装置30开始图8所示的重构图像输出处理。在重构图像输出处理中，首先LFI获取部300获取LFI (步骤S101)。然后，摄影设定获取部310获取摄影设定信息(步骤S102)。接下来，遮挡膜获取部3210获取与参数遮挡膜对应表所规定的摄影设定信息一致的遮挡膜(步骤S103)。具体而言，遮挡膜获取部3210将摄影设定信息之中每次摄影会变化、在遮挡膜获取中需要考虑而被确定的参数(在此为光圈值和变焦值)作为参数来参照参数遮挡膜对应表，获取遮挡膜的索引。然后，遮挡膜获取部3210在遮挡膜存储部3310所存储的多个遮挡膜之中，获取与获取到的索引一致的遮挡膜。并且，将遮挡膜重叠于LFI，将LFI区分为子图像内区域和子图像外区域。然后，信息处理部320利用所获取的遮挡膜，执行用于生成重构图像的处理(重构图像生成处理)(步骤SlO5)。参照图9和图10来说明步骤S105中执行的重构图像生成处理。首先，重构像素选择部3230确定重构设定所指定的主镜头与重构面RF之间的距离(步骤S201)，在重构面RF设置重构图像的雏形(原型)(步骤S202)。然后，重构像素选择部3230将k2作为计数变量，将一个重构像素设定为关注像素(步骤S203)。此时，关注像素与图10中的重构面RF上的关注部位PS对应。接下来，对应像素提取部3240确定来自关注部位PS的光线利用摄影设定信息而通过主镜头的主点达到微镜阵列的位置(副镜头上的到达位置PSL)。对应像素提取部3240以到达位置PSL为中心，根据透镜的特性求出来自关注部位的光所到达的范围(主镜头模糊、图10的网线区域)。可根据主镜头ML与重构面RF之间的距离al、主镜头与成像面MIP之间的距离bl (根据al和主镜头的焦点距离计算)、成像面MIP与副镜头阵列SLA之间的距离a2、主镜头的有效直径ED，利用三角形相似来计算出主镜头模糊的直径。对应像素提取部3240在副镜头阵列SLA所包含的副镜头SL之内，确定一部分或者全部包含在主镜头模糊中的副镜头SL。在图10的例子中，SLl SL5包含在主镜头模糊中。并且，对应像素提取部3240将k3作为计数变量，将所确定的副镜头的内第k3个副镜头选择为关注镜头(步骤S204)。对应像素提取部3240通过光线追踪提取来自关注像素的光线处于通过所选择的副镜头而成像的位置的、子图像上的像素(对应像素候选)(步骤S205)。具体而言，对应像素候选(对应于到达点PE)通过以下步骤进行计算。首先，利用已知的数值al及fa，根据以下的式⑴来计算对应于重构面RF的主镜头到焦点面的距离bl。此外，从已知的数值Cl`中减去利用式⑴而计算出的bl，来求得a2。进而，将被摄体距离al、距离bl、及已知的数值x(PS与光轴OA之间的距离)用于以下的式(2)，计算出关注部位PS从光轴OA至通过主镜头ML而成像的点(成像点PF)的
距离X’。X，= X.bl/al …(2)进而，将利用从光轴OA至第k3个副镜头SL(图10的例子中为SL5)的主点的距离d、利用上述的式⑵计算出的距离X’、从微镜阵列LA至摄像面IE的距离c2、及距离a2用于以下的式(3)，来计算出到达点PE与光轴OA之间的距离X”。
Pr)Xm= {d - X' )X--l.d ■ ■ -(3)
al在Y轴方向上也同样进行计算，来确定到达点PE的位置。然后，对应像素提取部3240判别对应像素候选是否为处于由遮挡膜定义的关注副镜头的子图像的区域的像素(子像素)(步骤S206)。在步骤S206中判别为对应像素候选不处于子图像的区域时(步骤S206 ;否)，能够判断出该像素不包含与关注像素相关的有效信息。因此，跳过步骤S207,以后该像素在求取关注像素的像素值时不会作为计算的对象。然后，对应像素提取部3240使k3递增(步骤S209)，将下一个副镜头作为关注副镜头从步骤S204起反复进行处理。
在判别为对应像素候选是处于子图像内区域的内部的子像素时(步骤S206 ;是)，对应像素提取部3240判别为该像素是对应像素。进而，像素值算出部3250计算关注副镜头与主镜头模糊重合的面积，该重合的面积除以副镜头的面积，将其结果作为副镜头的权重系数(步骤S207)。然后，对应像素提取部3240判别是否针对与所有的主镜头模糊重合的副镜头都已完成上述处理(步骤S208)。在存在未处理的副镜头时(步骤S208 ;否)，对应像素提取部3240使k3递增(步骤S209)，将下一个副镜头作为关注副镜头从步骤S204起反复进行处理。在针对与所有的主镜头模糊重合的副镜头已完成处理时(步骤S208 ;是)，像素值算出部3250提取步骤S206中判别出的各对应像素的像素值，利用步骤S207中计算出的权重进行加权加法计算。像素值算出部3250将加权加法计算出的值除以重合面积的总和而得到的结果作为关注图像的像素值(步骤S210)。在步骤S210中计算关注像素的像素值时，重构像素选择部3230接着针对所有的重构像素判别是否已执行了上述处理(步骤S211)。在存在未处理的重构像素时(步骤S211 ;否)，重构像素选择部3230使k2递增(步骤S212),将下一个重构像素作为关注像素从步骤S203起反复进行处理。另一方面，在针对所有的重构像素已完成处理时(步骤S211 ;是)，重构图像生成
处理结束。返回至图8，在步骤S105生成重构图像时，输出部340将所生成的重构图像输出至外部(图像存储部420)(步骤S106)。然后，结束重构图像输出处理。之后，重构图像被输出至显示部520或I/O部510。参照图11来说明遮挡膜存储部3310所存储的遮挡膜的生成处理的例子。用于在数字照相机I的图像重构装置30的遮挡膜存储部3310中存储的遮挡膜，是信息处理装置(以下为遮挡膜生成装置)通过执行图11所示遮挡膜生成处理而生成的。遮挡膜生成装置是具有图4A所示的物理结构的信息处理装置。遮挡膜生成装置也可以是数字照相机I的信息处理部，也可以是一般的计算机。遮挡膜生成装置被接通电源，接收到开始用于生成遮挡膜的处理的用户操作后，开始图11所示的遮挡膜生成处理。在遮挡膜生成处理中，遮挡膜生成装置首先获取应该生成的遮挡膜的设定(LFI的分辨率、子图像在纵.横的个数)(步骤S301)。在此，遮挡膜生成装置生成图6A所示的在纵向具有39个窗口、横向具有61个用于子图像的窗口的遮挡膜。相应地，遮挡膜生成装置作为初始设定而将所有的区域设定为子图像外区域。然后，遮挡膜生成装置获取用于生成遮挡膜的设定(步骤S302)。在此，遮挡膜生成装置作为设定值而获取数字照相机I中的以下数值。(I)光圈值(代表值)及对应于光圈值的主镜头的有效直径ED。此外，可适用遮挡膜的光圈值的范围。(2)主镜头ML的最大直径LD。(3)变焦值。此外，以该变焦值来设定主镜头时的焦点距离fMp内侧镜筒长Lilb、外侧镜筒长Lolb、主镜头ML与副镜头阵列SLA的距离(Cl)。(4)各副镜头的配置(副镜头的光学中心相对于光轴OA的相对位置)(5)摄像面IE与副镜头阵列SLA之间的距离c2。这些⑴ (5)的各参数可以分别是代表值、和确定能够适用的容许范围的参数。假定该设定值是基于数字照相机I的物理结构来设定的。然后，遮挡膜生成装置计算各窗口 W(-30、_19) W(+30、+19)的长轴a(图6C的轴PX方向的长度)(步骤S303)。与光圈值对应的主镜头的有效直径ED (其他条件恒定)越大，则长轴a越大。此外，距离c2(其他条件恒定)越大，则长轴a越大。再有，距离Cl (其他条件恒定)越小，则长轴a越大。再者，利用有效直径ED、主镜头ML与副镜头阵列SLA之间的距离Cl、摄像面IE与副镜头阵列SLA之间的距离c2，通过以下的式(4)来计算长轴a。a = EDXc2/cl...(4)在此，假定长轴a对于所有的窗口是共通的。再者，也可以将主镜头的有效直径ED或者距离c2越大、此外距离Cl越小则长轴a越大作为条件，利用任意的算出方法来计算长轴a。例如，可利用ED~2Xc2~2/cr2这种式子来代替。此外，还可以使数字照相机I拍摄示教图像，将所得到的LFI上的子图像的候选与示教图像进行比较，对噪声为一定以下的轴Px方向的区域的长度进行平均，将得到的数值设定为各子图像的长轴a。进而，遮挡膜生成装置将kl作为计数变量，将副镜头阵列SLA上的第kl个副镜头SL选择为关注副镜头(步骤S304)接着，遮挡膜生成装置针对关注副镜头求出子图像中心SIC的位置(步骤S305)。子图像中心SIC是连接主镜头ML的光学中心和关注副镜头的光学中心的直线与摄像面IE相交的点。以下，将关注副镜头的光学中心与光轴OA的距离设为X”。再者，遮挡膜生成装置计算所对应的部位的窗口的LFI中心方向的轴cx方向的长度(图6C的bin及bout)(步骤S306)。参照图12来说明在与某个副镜头SL对应的子图像SI中计算Ivlt和bin的方法。到达子图像SI的光是以贯穿主镜头ML和副镜头SL的光学中心的直线L作为中心的规定范围的光线。在此，连接副镜头SL的光学中心和内侧镜筒的端部的线(内侧线Lin)是到达子图像的光轴OA侧的区域的光之中、其主光线不与镜筒LB接触的最靠近镜筒LB的线。此外，若从子图像SI的光轴OA开始对从外侧的点通过副镜头SL的光学中心而到达主镜头ML的光进行光路追踪，则能够求出其主光线接触外侧镜筒的最靠近镜筒LB的线(外侧线Lout)。如图12所示，到达子图像SI的光之中、主光线不被镜筒LB遮挡的光线是外侧线Lout与内侧线Lin之间的光。将主镜头ML的光轴0A、与Lout和主镜头ML的交点之间的距离设为D。#将与Lin和主镜头ML的交点之间的距离设为Din。根据主镜头的折射率(与变焦值一一对应)、Cl、c2、Lolb、Lilb、和副镜头的相距光轴OA的相对位置(X’ )能够求出Dwt和Din。如图12所示，到达子图像的光被外侧镜筒遮挡的程度越小(Drat越大)，则bwt越大。此外，c2越大则Ivt越大。另一方面，Cl越大则bMt越小。
被内侧镜筒遮挡的程度越小(Din越大)，则bin越大。此外，c2越大，则bin越大。另一方面，如果Cl越大，则bin越小。此外，有效直径ED的端部与镜筒LB的距离越小(最大直径LD与有效直径ED的差越小)，则光被镜筒LB遮挡的比例越大。因此，在最大直径LD相同的情况下，有效直径ED越小，则子图像SI的形状变形03_与1^的差)越大。在本实施方式中，将外侧线Lout与内侧线Lin之间的区域设为有效的子图像的区域，利用根据图12能够导出的如下式子(5)、(6)来计算bwt和bin。bin = (DinXc2/cl) X2…(5)bout = (DoutX c2/cI) X 2...(6)再者，也可以将被内侧镜筒遮挡的程度越小则bin越大(c2越大则越大、Cl越大则越小)作为条件来利用任意的算出方法计算bin。例如，式(5)可利用Din~2Xc2~2/cr2这种的式子来代替。此外，也可以使数字照相机I拍摄示教图像，将得到的LFI上的子图像的候选与示教图像进行比较，求出噪声为一定以下的轴cx的内侧方向的区域长度，将所得到的数值设定为各子图像的长度bin。对于U也可进行同样的变形。如上述那样在步骤S306中利用式(5)和式(6)求出bin和bwt时，在遮挡膜上确定连接步骤S305中求出的子图像中心和光轴OA的轴cx、与轴cx垂直相交且通过子图像中心的轴px (步骤S307)。进而，由利用上述方法求出的形状，在遮挡膜上定义与关注副镜头对应的窗口(子图像内区域)(步骤S308)。在此，将从子图像中心开始轴px的光轴OA侧为长轴a而短轴为bin的椭圆(图6C的虚线的椭圆)、光轴O A的相反侧为长轴a而短轴为Ivt的椭圆(图6C的双点划线的椭圆)的区域，在遮挡膜上定义为关注副镜头的对应窗口(子图像内区域)。再者，在使用该遮挡膜时，即便在形式上达到在此求出的子图像内区域，如果是通过了不是关注副镜头(对应副镜头)的副镜头的光线追踪的结果，则作为子图像外区域进行处理。接着，遮挡膜生成装置判别是否针对所有的副镜头定义了对应的子图像的区域(步骤 S309)。在还有未处理的副镜头时(步骤S309 ;否)，遮挡膜生成装置使计数变量kl递增(步骤S310)，将下一个副镜头作为关注副镜头从步骤S304起反复进行处理。另一方面，如果对于所有的副镜头已完成上述处理(步骤S309 ;是)，则遮挡膜生成装置对于现有的参数结束遮挡膜生成处理。这样所生成的遮挡膜，被提供遮挡膜索引而存储在遮挡膜存储部3310中。进而，将所提供的索引、和能够适用该遮挡膜的范围所对应的动态参数建立对应登记在参数遮挡膜对应表中。在本实施方式中，利用图13A、图13B、图13C说明在外侧镜筒长Lolb发生变化时对遮挡膜带来的影响。在外侧镜筒长Lolb较短时(图13A)，即便在副镜头SL2与光轴OA相距较大的距离X’的情况下，所对应的子图像(SI3)的bwt也不比长轴a要小。如果外侧镜筒长Lolb比图13A的情况长(图13B)，则副镜头SL2远离相同的距离X’的情况下，通过副镜头而到达对应子图像(SI4)的轴px的光轴OA的相反方向的区域的光被外侧镜筒遮挡。
其结果，对应的子图像(SI4)的Ivlt比长轴a小。再有，在外侧镜筒长Lolb较长、且外侧镜筒与连接副镜头SL2和主镜头ML的直线接触的情况下(图13C)，应该到达轴px的光轴OA的相反方向的区域的光几乎被遮挡。其结果，Ivlt变得非常短(SI5)。该变化对于内侧镜筒长Lilb和bin也能够同样考虑。对于设定上所需的参数执行以上的处理，将其存储在遮挡膜存储部3310中。如果使用该遮挡膜，能够以较少的必要计算量执行用于重构图像生成及显示的处理。如以上所说明，在上述实施方式中，对各子像素 子图像的每个子像素 子图像进行光线追踪，鉴于摄影参数和用于摄影的光学系统的物理构造而无需估计S/N比的大小。此外，能够仅针对遮挡膜所 定义的子图像内区域的像素来执行每个子像素的加权处理。因此，根据本实施方式的图像重构装置30，能够利用与获取LFI的参数一致的遮挡膜来高速判定是子图像内区域还是子图像外区域，由此可减少生成重构图像所需的计算量。此外，由于仅利用遮挡膜所定义的、假定通过其摄影设定来获取LFI时S/N比为容许范围的像素决定像素值，因此能够生成噪声少的重构图像。此外，如果使用本实施方式的数字照相机1，用一个硬件就能够高速执行获取LFI并生成重构图像的处理。此外，由于用来生成重构图像的处理量少，因此能够实现数字照相机I的小型化。(变形例)本发明并不限定于上述实施方式，可以进行各种变形。例如，在上述实施例中利用图11的遮挡膜生成处理来生成遮挡膜。但是，本发明所使用的遮挡膜的生成方法并不限于此。本发明的遮挡膜也可以利用生成具有如下这种性质的遮挡膜的任意方法来生成。作为生成与某个摄影参数对应的遮挡膜的其他方法的例子，考虑使用数字照相机I以其摄影参数拍摄成为示教数据的被摄体的方法。在这种方法中，从得到的LFI的像素中求出S/N比处于规定的容许范围内的区域，设定为子图像内区域。此外，在上述实施方式中，利用图7的参数遮挡膜对应表来获取遮挡膜。但是，本发明的实施方式并不限于此，也可以使用使遮挡膜与需要动态设定的任意参数的各个参数建立对应的参数遮挡膜对应表。例如，在数字照相机I能够更换主镜头、副镜头的情况下，也可以利用将镜筒长和fML分别作为独立的参数的参数遮挡膜对应表来获取遮挡膜的索引。此外，使参数和遮挡膜建立对应的方法并不限于参数遮挡膜对应表，可采用已知的任意对应方法来代替。根据使用这种的使参数和遮挡膜建立对应的方法来选择遮挡膜的结构，能够高速地获取与摄影时的参数一致的遮挡膜。对于本发明的遮挡膜，如果主镜头的最大直径(LD)较大，而其他设定为恒定，则在LFI的周边部和中央部，遮挡膜形状的差异较小。即、在LFI的中心部周边子图像内区域接近于正圆的情况下，如果LD较大，则即便是在LFI的周边部也成为接近于正圆的形状。通过具有这种的性质，由于遮挡膜反映出主镜头的最大直径，因此若使用该遮挡膜，则能够生成考虑了主镜头的大小的高精度的重构图像。
对于本发明的遮挡膜，如果主镜头的有效直径ED变大而其他设定恒定，则子图像内区域分别变大。通过具有这种的性质，由于遮挡膜反映出主镜头的有效直径，因此如果使用该遮挡膜，则能够生成考虑了主镜头的有效直径的高精度的重构图像。对于本发明的遮挡膜，如果主镜头的镜筒长(内侧及外侧)变长而其他设定恒定，则在LFI的中心部周边和周边部，子图像内区域的形状差异(上述实施例中为bin和Ivlt之差)变大。通过具有这种性质，遮挡膜反映出光线被镜筒遮挡的程度。因此，如果使用这种的遮挡膜，则能够生成考虑了光线被镜筒遮挡的程度的高精度重构图像。对于本发明的遮挡膜，副镜头相距光轴OA越远，则所对应的子图像内区域的形状的变形(上述实施例中为bin与Ivlt之差)越大。通过具有这种的性质，由于遮挡膜反映出副镜头的位置，因此如果使用该遮挡膜，则能够生成考虑了副镜头的位置的高精度的重构图像。对于本发明的遮挡膜，副镜头与副镜头之间的距离越大，副镜头与摄像面的距离越远，则子图像中心彼此的距离也越远。另一方面，主镜头与副镜头的距离越远，则子图像中心彼此越密集。通过具有这种的性质，遮挡膜中能够考虑到副镜头和摄像面的位置来确定其副镜头图像中心的位置。因此，通过使用这种的遮挡膜，能够生成高精度的重构图像。再者，在上述说明中，遮挡膜存储部3310存储多个遮挡膜，基于参数来选择合适的遮挡膜。但是，在因拍摄LFI的设定引起的遮挡膜的形状差异较小、由一个遮挡膜就能够覆盖设定整体的情况下，遮挡膜也可以是一个。此外，在上述说明中，说明了对于一个副镜头对应像素是一个的情况，但是本发明也能够应用于对于一个副镜头而存在多个对应像素的情况。在这种情况下，只要通过光线追踪针对一个副镜头提取多个对应像素候选，针对各个对应像素候选判别是否处在子图像内区域从而确定是否为对应像素即可。此外，在上述说明中，存储与LFI相同大小的遮挡膜，但是本发明并不限于此，在遮挡膜中对于视为同一形状的区域也可以按照省略的形式进行存储。例如，可以仅将左上的区域(整体的1/4)作为数据进行存储，左上以外的部分在左右或者上下翻转配置所存储的数据。根据这种的结构，能够节约用于存储遮挡膜的存储区域。再有，利用本发明的遮挡膜从对应像素候选中提取对应像素的方法也可应用于根据LFI生成重构图像的任意方法。此外，在上述实施例中，使图像为灰度图像来进行了说明，但作为本发明的处理对象的图像并不限于灰度图像。例如，图像可以是对各像素定义了 R(红色)、G(绿色)、B (蓝色)的三个像素值的RGB图像。此时，将像素值作为RGB的向量值同样进行处理。此外，也可以将R、G、B的各值分别作为独立的灰度图像，分别进行上述处理。根据该结构，能够根据作为彩色图像的光场图像来生成作为彩色图像的重构图像。此外，上述硬件结构和流程图是一例，可任意进行变更及修正。由信息处理部31、主存储部32、外部存储部33等构成的进行实现图像重构的控制处理的主要部分不仅可由专用的系统实现，利用通常的计算机系统也能够实现。例如，也可以构成为将用于执行上述动作的计算机程序保存在计算机可读取的记录介质(软盘、⑶-ROM、DVD-ROM等)中分发，将上述计算机程序安装于计算机。此外，也可以在因特网等通信网络上的服务器装置具有的存储装置中保存上述计算机程序，通常的计算机系统进行下载等来构成图像重构装置。在通过OS (操作系统)和应用程序的分担、或者OS与应用程序的协作来实现图像重构装置的功能的情况下，也可以仅将应用程序部分保存在记录介质或存储装置中。此外，也可以将计算机程序叠加在载波上，经由通信网络进行发送。并且，还可以构成为启动该计算机程序并在OS的控制下与其他应用程序同样地执行，由此也能够执行上述处理。以上，对本发明的优选实施方式进行了说明。本发明并不限定于上述特定的实施方式，本发明包括权利要求记载的发明及其同等的范围。
权利要求
1.一种图像生成装置，根据包含以不同的视点拍摄的多个子图像在内的光场图像来生成重构图像，该图像生成装置具备: 参数获取部，其获取对所述光场图像进行摄影时的摄影参数； 信息获取部，其基于所述摄影参数，来获取用于确定所述光场图像中包含的所述子图像的区域的区域信息； 定义部，其定义构成所述重构图像的重构像素和处于由所述区域信息所确定的子图像的区域中的子像素之间的对应；和 生成部，其基于所述对应的子像素的像素值来决定所述重构像素的像素值，由此生成所述重构图像。
2.根据权利要求1所述的图像生成装置，其特征在于， 所述图像生成装置还具备:存储部，其存储对摄影参数的条件建立对应的多个区域信息， 所述信息获取部从所述存储部所存储的多个区域信息中，获取与所述参数获取部获取的摄影参数一致的区域信息。
3.根据权利要求1所述的图像生成装置，其特征在于， 所述光场图像是利用主镜头和多个微镜进行摄影而得到的图像， 所述摄影参数包 含与所述主镜头的有效直径、收纳所述主镜头的镜筒的被摄体侧的长度、所述镜筒的微镜侧的长度的至少一个对应的参数。
4.根据权利要求3所述的图像生成装置，其特征在于， 在所述区域信息中，如果所述摄影参数及光学系统的其他物理结构相同，则随着所述主镜头的最大直径变大，在靠近所述主镜头的光轴的中央部和远离所述主镜头的光轴的周边部，所述子图像的形状之差变小。
5.根据权利要求3所述的图像生成装置，其特征在于， 在所述区域信息中，如果所述摄影参数及光学系统的其他物理结构相同，则随着所述主镜头的有效直径变大，所述子图像的区域变大。
6.根据权利要求3所述的图像生成装置，其特征在于， 在所述区域信息中，如果所述摄影参数及光学系统的其他物理结构相同，则随着所述镜筒的微镜侧的长度或者所述镜筒的被摄体侧的长度之一长度变长，在靠近所述主镜头的光轴的中央部和远离所述主镜头的光轴的周边部，所述子图像的形状之差变大。
7.根据权利要求3所述的图像生成装置，其特征在于， 在所述区域信息中，针对所述微镜的每个微镜定义子图像， 按照所述微镜相距所述主镜头的光轴越远则与所述微镜对应的子图像的形状的变形越大的方式定义。
8.根据权利要求3所述的图像生成装置，其特征在于， 在所述区域信息中，针对所述微镜的每个微镜定义子图像， 在所述微镜间的距离或者所述微镜与摄像面之间的距离之一变大时，所对应的子图像的中心相距变大。
9.根据权利要求1所述的图像生成装置，其特征在于， 所述区域信息，是将按照所述对应的摄影参数来拍摄光场图像时S/N比被容许的范围，确定为所述子图像的区域的区域信息。
10.一种数字照相机，具备: 摄影部，其利用主镜头和多个微镜，对包含以不同的视点拍摄的多个子图像在内的光场图像进行摄影； 参数获取部，其获取对所述光场图像进行摄影时的摄影参数； 信息获取部，其基于所述摄影参数，来获取用于确定所述光场图像中包含的所述子图像的区域的区域信息； 定义部，其定义构成根据所述光场图像来生成的重构图像的重构像素和处于由所述区域信息确定的子图像的区域中的子像素之间的对应；和 生成部，其基于所述对应的子像素的像素值来决定所述重构像素的像素值，由此生成所述重构图像。
11.一种生成重构图像的方法，根据包含以不同的视点拍摄的多个子图像在内的光场图像来生成重构图像，其包括: 获取对所述光场图像进行摄影时的摄影参数的步骤； 基于所述摄影参数来获取用于确定所述光场图像中包含的所述子图像的区域的区域信息的步骤； 定义构成所述重构图像的重构像素和处于由所述区域信息确定的子图像的区域中的子像素之间的对应的步骤；和 基于所述对应的子像素的像素值来决定所述重构像素的像素值，由此生成所述重构图像的步骤。
全文摘要
本发明提供一种图像生成装置，其中，遮挡膜获取部获取与摄影设定获取部获取的摄影设定信息一致的、用于定义LFI获取部所获取的光场图像的子图像区域的遮挡膜(区域信息)。原型定义部在重构设定存储部的重构设定的位置设置重构图像的原型。重构像素选择部从重构图像的像素中选择关注像素。对应像素提取部将与关注像素对应的、所获取的遮挡膜的子图像内区域中包含的像素作为对应像素进行提取。像素值算出部根据对应像素的像素值来计算关注像素的像素值。输出部将所有的重构像素作为关注像素来决定像素值，生成并输出重构图像。
文档编号H04N5/232GK103188443SQ201210587139
公开日2013年7月3日 申请日期2012年12月28日 优先权日2011年12月28日
发明者长坂知明 申请人:卡西欧计算机株式会社