专利名称：具有重构图像的功能的装置及方法
技术领域：
本发明涉及重构图像的技术。
背景技术：
拍摄将基于图22所示这种的主透镜LM的被摄体的成像通过多个微透镜的排列(以下称为微透镜阵列)LA11再次成像后的图像(以下称为透镜阵列图像)的相机，已经公开在日本特表2009-532993号公报中。
另外，公知一种下述技术在使主透镜LM的焦点对焦于相距被指定的距离的面的状态下(即、在事后聚焦的状态下)，根据I枚透镜阵列图像来重构在主透镜LM成像的被摄体的图像0B。在该技术中，在由构成被重构的图像(以下称为重构图像)OB的像素发出光的情况下，通过确定该光到达摄像元件面IE的多个到达点，并积分针对确定的多个到达点分别存在的摄像元件所对应的透镜阵列图像的像素值，由此确定重构图像OB的像素值。在此，在日本特表2009-532993号公报的通过构成相机的微透镜阵列LA11成像的各个图像中，会产生与微透镜的透镜间距2dr等相应的视差。因为该视差使得图像OB的重构所需的像素会从透镜阵列图像中遗漏(即、发生像素遗漏)，因而存在着如图23的Nz部所示那样的图像的明暗周期性变化的噪声发生在重构图像OB中的问题。
发明内容
本发明的第I观点涉及一种图像重构装置，其具备图像信息取得单元，其取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第I副透镜和第2副透镜的多个副透镜；插补单元，其基于构成由取得的所述信息表示的透镜阵列图像的第I副图像和第2副图像，在使所述第I副图像成像的第I副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补；距离信息取得单元，其取得表示到所述主透镜对焦的位置的距离的距离信息；重构单元，其将插补后的所述第3副图像和由取得的所述信息表示出的第I副图像、第2副图像重构成通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和图像信息输出单元，其输出表示重构后的所述图像的信息。本发明的第2观点涉及一种图像重构方法，包括下述步骤取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第I副透镜和第2副透镜的多个副透镜；基于构成由取得的所述信息表示的透镜阵列图像的第I副图像和第2副图像，在使所述第I副图像成像的第I副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补；取得表示到所述主透镜对焦的位置为止的距离的距离信息；将插补后的所述第3副图像和由取得的所述信息表示的第I副图像、第2副图像重构成通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和
输出表示重构后的所述图像的信息。
结合以下附图考虑以下详细记述，可获得本申请的更深刻的理解。图1A、图IB是表示搭载了图像重构装置的数码相机的图。 图2是表示数码相机所具有的透镜阵列的图。图3是表示光场(light field)图像的图。图4A、图4B是表示图像重构处理的流程图。图5A是表示图像重构装置所具有的功能的图。图5B是表示插补部所具有的功能的图。图6是表示核平面(epipolar plane)的一例的图。图7是表示核图像ES生成处理的流程图。图8A是表示核图像ES的图。图8B是表示核图像ET的图。图9是表示光场图像中的核面上的像素行的图。图10是详细表示核图像ESnik的图。图11是表示被插补的透镜阵列的图。图12是表示被插补的光场图像的图。图13是表示插补核图像CESnik的图。图14是表示角度S推定处理的流程图。图15是表示推定角度S表格的图。图16A、图16B是表示像素S插补处理的流程图。图17是用于说明直线推定方法的图。图18是表示插补像素表格的图。图19是表示插补核图像CETnl的图。图20A、图20B是表示重构图像生成处理的流程图。图21是用于说明直线推定方法的其他例的图。图22是表示数码相机所具备的光学装置的图。图23是表示在重构图像中产生的噪声的图。
具体实施方式
以下，参照附图，说明本发明的实施方式涉及的具有重构图像的功能的装置(以下称为图像重构装置)210。本发明的实施方式涉及的图像重构装置210被搭载于图IA所示的数码相机I。图像重构装置210根据由数码相机I拍摄 到的I枚图像，重构焦点对焦于任意距离的图像。数码相机I由摄像部100、包括本发明涉及的图像重构装置210的数据处理部200、以及接口部(图示为I/F部)300构成。摄像部100是进行数码相机I的摄像动作的部分，由光学装置110及图像传感器120构成。光学装置110包括图22所示的主透镜LM、将通过主透镜LM成像的光学像进一步成像的透镜阵列LAn、未图示的光圈机构及快门机构，进行摄像涉及的光学动作。透镜阵列LA11将图2所示的副透镜(以下称为微透镜)L11 Lmn在纵向方向上(即、在副扫描方向上)以2dr间距排列M个，在横向方向上(即、在主扫描方向上)以2dr间距排列N个。图像传感器120例如由CO) (Charge Coupled Device 电荷I禹合元件)或CMOS (Complementary Metal Oxide Semiconductor :互补型金属氧化物半导体)等摄像兀件构成。图像传感器120生成与由光学装置110的透镜阵列LA11聚光得到的入射光相应的电信号，并将生成的电信号输出至数据处理部200。数据处理部200通过对由摄像部100生成的模拟电信号进行信号处理，由此生成通过透镜阵列LA11成像的、表示图3所示的透镜阵列图像(以下也称为光场图像)LF11的数字数据(即、图像数据)，并对生成的图像进行各种图像处理。数据处理部200由图像重构装置210、图像处理部220、存储部230、及图像输出部240构成。图像重构装置210例如由具备图IB所示的CPU (Central Processing Unit) 210a、RAM (Random Access Memory) 210b、ROM (Read Only Memory) 210c> 及 1/0 端口 210d 的LSI (Large Scale Integration)构成。CPU210a按照在R0M210c中保存的程序执行软件处理，来控制包括图像重构装置210的数码相机I的各部分(即、整体控制)。RAM210b在由CPU210a执行程序时，暂时存储作为处理对象的信息(数据)。1/0端口 210d在与图像重构装置210相连的各部和CPU210a之间进行数据的输入输出。图像处理部220例如由缓冲存储器、AD (Analog/Digital，模拟/数字)转换器、及图像处理用的处理器构成。图像处理部220的AD转换器将从S09 ;是)，则图像信息取得部211与步骤S02同样地，从存储部230中读出光场图像LFlh的图像数据(步骤S10)。接着，插补部212执行与步骤S03同样的核图像ET生成处理(步骤Sll)。该核图像ET生成处理是指，根据在步骤SlO中读出的由图像数据表示出的光场图像LFlh来生成图8B所示的核图像ET11 Em的处理。具体而言，插补部212如图9所示，对与t方向平行的核面(以下称为核T面)分配编号1(1 = I L)，其中分配方式为越是S坐标值小的面则编号I越小。这种情况下，图8B的核图像ETnl(其中，η = I N，I = I L)成为下述图像将图9所示的光场图像LFlh的副图像Sln Ssfa中的第I个核T面上的像素行，按照越是t坐标值小的像素行则越成为小的段数的方式在s方向上排列的图像(即、按照越是段数大的像素行则t坐标值越大的方式排列的图像)。
在图4B的步骤Sll之后，插补部212与步骤S04同样地执行插补核图像CET生成处理(步骤S12)。该处理如图19所示，在核图像ETnl(其中，η = 1 N，1 = 1 L)中的光场图像LF11J^副图像S (其中，m= 1 Μ-l)的第I个像素行被存储的段与光场图像LFlh的副图像Slrtn的第1个像素行被存储的段之间的段中，插入(I-1)个段。在被插入的(I-1)个段中，按照段数从少到多的顺序，存储了光场图像LF2h的副图像Smn的第I个像素行、光场图像LF3h的副图像Smn的第1个像素行、……、光场图像LFlh的副图像Snm的第I个像素行、即仍未决定像素值的(I-I)个像素列。将插入了该(I-1)的像素行的图像称为插补核图像CETnl。在图4B的步骤S12之后，直线推定部212c与步骤S05同样地执行对插补核图像CETffll的对应像素直线的角度进行推定的角度T推定处理(步骤S13)。接着，通过像素推定部212d及像素值决定部212e执行基于在步骤S13中推定出的推定直线来决定插补光场图像LFih(其中，i = 2 I)的像素值的像素T插补处理(步骤 S14)。然后，插补部212执行基于在步骤S14中像素值Iihmk(其中，i = 2 I，m = 1 M, k = I K)被决定的插补核图像CETnl (其中，η = 1 N, I = 1 L)来生成插补光场图像LF2h LFlh的插补光场图像T生成处理(步图像传感器120输出的模拟电信号转换成数字信号。然后，图像处理部220的处理器通过进行所谓的显影处理，例如生成JPEGCJointPhotographic Experts Group,联合图像专家小组)或位图等的图像数据，并将生成的图像数据保存至存储部230。存储部230例如由DRAM (Dynamic Random Access Memory,动态随机存取存储器)或闪存等存储装置构成，存储由图像处理部220生成的图像数据、由图像重构装置210生成的图像数据等。图像输出部240例如由液晶显示控制器或RGB信号的生成电路等构成，在将从图像重构装置210输出的图像数据或在存储部230中存储的图像数据转换成RGB信号等之后，将RGB信号输出至后述的显示部320等。接口部300是数码相机I和其使用者(即、用户)或者外部装置之间的接口涉及的结构，由外部接口部310、显示部320及操作部330构成。外部接口部310例如由USB (Universal Serial Bus)连接器或视频输出端子等构成，进行向外部的计算机装置的图像数据的输出、向外部的监视器装置的图像的显示输出、从记录介质的程序的上载、图像数据的读出、及向记录介质的图像数据的写入等。显示部320例如由液晶显示装置或有机EL(Electro Luminescence)显示器等构成。显示部320基于操作数码相机I所需的各种画面、来自图像输出部240的图像信号(RGB信号)等，显示各种图像等。操作部330通过在数码相机I的外表面上构成的各种按钮等而构成，生成与数码相机I的用户进行的操作相应的操作信号，并将生成的操作信号输入至图像重构装置210。图像重构装置210的CPU210a通过执行图4A、图4B所示的图像重构处理，由此作为图5A所示的图像信息取得部211、插补部212、距离信息取得部214、重构部215及图像信息输出部216发挥功能。其中，图5A的插补部212具有图5B所示的提取部212a、生成部212b、直线推定部212c、像素推定部212d及像素值决定部212e。
在开始图像重构处理时，距离信息取得部214执行取得各种设定值的设定值取得处理(步骤S01)。具体而言，距离信息取得部214从用户操作的操作部330中取得表示数码相机I和主透镜LM对焦的焦点位置之间的距离的距离信息。其中，假设数码相机I和焦点位置之间的距离是从图22的主透镜LM到焦点位置的被摄体距离，进行说明。另外，距离信息取得部214从存储部230中取得表示预先规定的内部参数(即、由数码相机I规定的常数)的各种信息。在步骤SOl之后，图像信息取得部211从存储部230中读出表示拍摄到的光场图像LF11的图像数据(步骤S02)。在此，对光场图像LF11进行说明。图3的光场图像LF11由通过构成图2的透镜阵列LA11的微透镜L11 Lmn分别成像的副图像(Sub-image) S11 Smn构成。在该副图像S11 Smn中分别产生视差。 作为具体例，对副图像Sm(其中，m = I Μ，η = I N_l)与副图像Sm+1之间的视差进行说明。如图2所示，成像了副图像Snm的透镜Lmn的中心是相对于成像了副图像Smn+1的透镜Lm+1的中心而言在主扫描方向上(即、在+s轴方向上)相距透镜间距2dr的点。即、如图6所不，由透镜Lmn+1规定的光学中心0mn+1是相对于由透镜Lmn规定的光学中心Omn而言在主扫描方向上(即、在世界坐标系的+X轴方向上)相距透镜间距2dr的点。为此，由光学中心Onm、光学中心0 +1和被摄体OJ上的点P确定的核面0 0mn+1P，与主扫描方向(即、平行于X轴方向的UV图像坐标系的u轴)平行。在与该u轴平行的核面OnmOmriP上，存在该被摄体OJ上的点P被表示为副图像Snm的点Pmn和被表示为副图像Smlri的点Pmn+i。该点Pmn和点Pmn+1在UV图像坐标系上的差异是视差。S卩、在副图像Smn中的核面0 0 +1Ρ上的像素列(以下称为像素行)和副图像S +1中的核面OnmOimriP上的像素行中，仅在主扫描方向上(即、在U轴方向上)产生视差。在图4A的步骤S02之后，插补部212执行图7所示的核图像ES生成处理(步骤S03)。在此，核图像ES生成处理是指，根据在步骤S02中读出的由图像数据表示出的光场图像LF11生成图8A所示的核图像ES11 ESk的处理。在此，如图9所示，假设光场图像LF11的St图像坐标系的+s方向(即、主扫描方向)与光场图像LF11的副图像Sn Sm中的Uv图像坐标系的u轴方向相平行，+t方向(SP、副扫描方向)与V轴方向相平行。此时，假设副图像Snil Srt的s方向的像素数(Numberof pixels)为L, t方向的像素数为K(其中,通常像素数K和L为相同的值)。为此,对在s方向上平行的核面(以下称为核S面)分配编号k(k = I K)，分配方式是越是t坐标值小的面越分配小的编号k。这种情况下，图8A的核图像ESmk(其中,m = I M、k = I K)成为下述图像将图9所示的光场图像LF11的副图像Sml Srt中的第k个核S面上的像素行，按照越是s坐标值小的像素行越成为小的段数的方式，在t方向上排列的图像(S卩、按照越是段数大的像素行则s坐标值越大的方式排列而成的图像)。在开始图7的核图像ES生成处理时，插补部212所具有的提取部212a将变量m的值用值“I”进行初始化(步骤S31)。接着，提取部212a判别变量m的值是否为值M以下(在副扫描方向上排列的微透镜的数量以下)(步骤S32)。此时，若判别出变量m的值为值M以下(步骤S32 ;是)，则提取部212a将变量k的值用值“I”进行初始化(步骤S33)。接着，提取部212a判别变量k的值是否为值K以下(副扫描方向的副图像的像素数以下)(步骤S34)。此时，若判别出变量k的值为值K以下(步骤S34 ;是)，则提取部212a将变量η的值用值“I”进行初始化(步骤S35)。接着，提取部212a判别变量η的值是否为值N以下(在主扫描方向上排列的微透镜的数量以下)(步骤S36)。此时，若判别出变量η的值为值N以下(步骤S36 ;是)，则提取部212a从副图像Snm中提取第k个核S面上的像素行，生成部212b生成将提取出的像素行作为第η段的核图像ESmk (步骤S37)。接着，提取部212a将变量η的值增加值“I”之后(步骤S38)，自步骤S36起重复进行上述处理。
在步骤S36中，若判别出变量η的值大于值N(步骤S36 ;否)，则提取部212a将变量k的值增加值“I”之后(步骤S39)，自步骤S34起重复进行上述处理。在步骤S34中，若判别出变量k的值大于值K (步骤S34 ;否)，则提取部212a将变量m的值增加值“I”之后(步骤S40)，自步骤S32起重复进行上述处理。在步骤S32中，若判别出变量m的值大于值M(步骤S32 ;否)，则提取部212a结束核图像ES生成处理。在此，参照图10，说明通过执行核图像ES生成处理而生成的核图像ESmk(其中，m=I M、k = I K)。核图像ESmk是将副图像Sml Srt中的第k个核S面上的像素行如图10所示那样排列N段的图像，第η段(其中，η = I N)的像素行从副图像Smn中提取出。在此，副图像Snm(其中，η = I Ν-1)与副图像Simri之间的视差是通过图6所示的光学中心Onm与光学中心0 +1之间的距离(即、微透镜Lnm与微透镜L +1之间的透镜间距2dr)、从光学中心Onm及光学中心0mn+1到被摄体OJ上的点P的距离(即、被摄体距离)、以及其他内部参数确定的。另外，如图2所示，微透镜Lml Lrt分别在主扫描方向上以透镜间距2dr进行排列，微透镜Lml Lrt的中心(即、光学中心)分别到被摄体OJ上的点P相距大致相同的距离，其他内部参数没有变化。鉴于此，同一核S面上的副图像Smn与副图像S +1之间的视差和同一核S面上的副图像Smlri与副图像Smn之间的视差大致相同。由此，在副图像Smlri、Smn及smn+1中存在投影了被摄体OJ上的点P的点PmPnm及Ρ +ι的情况下，如图10所示那样，核图像ESmk的第n-1段的像素行中的表示点Pimri的像素的u坐标值与第η段的像素行中的表示点Pnm的像素的u坐标值之间的差异和该点Pmn的u坐标值与第η+1段的像素行中的表示点Pmn+1的像素的u坐标值之间的差异大体一致。因而，这些点Pmn及点Pmn+1在核图像ESmk中分别存在于同一直线上。接着，如图11所示，假设在从透镜阵列LA11的位置沿着+s方向移动了将透镜阵列LA11的透镜间距2dr进行H等分后的间距2dr/H的位置处，配置了具有与透镜阵列LA11同样的透镜构成的透镜阵列LA12。同样地，假设在从透镜阵列LA11的位置沿着+s方向移动了间距2X (2dr/H)的位置处，配置了具有与透镜阵列LA11同样的透镜构成的透镜阵列LA13,以下同样地假设配置到透镜阵列LA1H。这种情况下，在透镜阵列LA11的微透镜Lnm(其中，m = I Μ，η = I N_l)与透镜阵列LA11的微透镜Lm+1之间，在+s方向上顺序地等间隔插补透镜阵列LA12的微透镜Lm、透镜阵列LA13的微透镜L 、……及透镜阵列LAih的微透镜Lnm等的(H-I)个微透镜。在此，由于副图像S11 Sw的s方向的像素数为L，因而通过假设了配置的透镜阵列LA12 LAih分别成像的光场图像LF12 LFih如图12所示那样，在使光场图像LF11朝向+s方向分别移位L/H、2X (L/H)、……、(H-I) X (L/Η)的位置处成像。S卩、在拍摄到的光场图像LF11的副图像Smn(其中,m= I Μ,η = I N-1)与光场图像LF11的副图像Smn+1之间，光场图像LF12的副图像Smn、光场图像LF13的副图像Smn、……、及光场图像LFih的副图像Snm等的(H-I)个副图像沿着+s方向顺序地等间隔插补。以下，说明插补部212用于插补(H-I)个副图像的处理。在图4A的步骤S03之后，插补部212执行插补核图像CES生成处理(步骤S04)。该处理如图13所示,在图10的核图像ESmk(其中，m = I M, k = I K)中的光场图像 LF11的副图像S (其中，η = I Ν-1)的第k个像素行被存储的段与光场图像LF11的副图像3_+1的第k个像素行被存储的段之间的段，插入了(H-I)个段。在被插入的(H-I)个段中，按照段数从少到多的顺序，存储光场图像LF12的副图像Smn的第k个像素行、光场图像LF13的副图像Smn的第k个像素行、……、光场图像LFih的副图像Smn的第k个像素行、即仍未决定像素值的(H-I)个像素列。将插入有(H-I)个像素行的图像称为插补核图像CESmk。在此，光场图像LFlh(其中，h = I Η-l)的副图像Snm的第k个像素行与光场图像LFlh+1的副图像Snm的第k个像素行之间的视差是通过透镜阵列LAlh的微透镜Lnm与透镜阵列LAlh+1的微透镜Lnm之间的透镜间距2dr/H、从这些微透镜Lnm到被摄体OJ上的点P的距离(即、被摄体距离)、以及内部参数确定的。由于该透镜间距、到点P的距离和内部参数是固定的，所以即便变量h是I H-I中的任何值，光场图像LFlh的副图像Smn的第k个像素行与光场图像LFlh+1的副图像Snm的第k个像素行之间的视差也大致一定。在此，如图13所示，在光场图像LF11的副图像Smn及Smri中存在投影了被摄体OJ上的点P的点Pmn及Pmri的情况下，在被插补的光场图像LF12的副图像Smn、……、及光场图像LFih的副图像Smn中存在投影了被摄体OJ上的点P的点P12nm、点P13mn、……、点P1Hnm(以下将这些点称为点Pmn的对应点)。在此，因为如上述视差大致固定，所以插补核图像CESnik中的表示点Pnm的像素的u坐标值与表示点P12nm的像素的u坐标值之间的差异、表示点P12mn的像素的u坐标值与表
示点Piam的像素的U坐标值之间的差异、......、及表示点P1Hnm的像素的U坐标值与表示点
Ρ +1的像素的U坐标值之间的差异，分别大体一致。因而，这些点Pnm、点P12nm、……、点Plltan及点pmn+1在插补核图像CESmk中分别存在于同一直线上。以下，将该直线称为对应像素直线。对应像素直线是由该直线通过的像素、和该直线与u坐标轴(也可以是V坐标轴)所形成的角度Θ确定的。在此，若被摄体OJ上的点P不同，则从微透镜Lnm到被摄体OJ上的点P的距离不同，所以投影了点P的点Pnm、点P12mn、点P13mn、……、点Plta及？_+1的U坐标值的差异(B卩、视差)不同。因而，对应像素直线的角度Θ成为根据由该直线通过的像素表示出的被摄体OJ上的点P的不同而不同的角度。由此，在图4A的步骤S04之后，直线推定部212c执行对插补核图像CESmk的对应像素直线的角度进行推定的、图14所示的角度S推定处理(步骤S05)。在开始图14的角度S推定处理时，直线推定部212c将变量m的值用值“I”进行初始化(步骤S41)。接着，直线推定部212c判别变量m的值是否为值M以下(步骤S42)。此时，若判别出变量m的值为值M以下(步骤S42 ;是)，则直线推定部212c将变量k的值用值“I”进行初始化(步骤S43)。接着，直线推定部212c判别变量k的值是否为值K以下(步骤S44)。此时，若判别出变量k的值为值K以下(步骤S 44 ;是)，则直线推定部212c将变量η的值用值“I”进行初始化(步骤S45)。接着，直线推定部212c判别变量η的值是否为值N以下(步骤S46)。此时，若判别出变量η的值为值N以下(步骤S46 ;是)，则直线推定部212c将变量I的值用值“I”进行初始化(步骤S47)。接着，直线推定部212c判别变量I的值是否为值L以下(步骤S48)。此时，若判别出变量I的值为值L以下(步骤S48 ;是)，则直线推定部212c利用以下的式⑴算出图13所示的插补核图像CESmk中的、通过了光场图像LF11的副图像Smn的第k个像素列的第I个像素(即、u坐标值第I小的像素)Ellnl的角度Θ的直线EPL的评价值Line(0)(步骤S49)。该评价值表示通过了像素Ellnl的角度Θ在直线EPL上的像素q与像素Ellnl相差异的程度的指标。Line(O) = - '^t\Iq-Innl\ ■ ■ ■ (1)
id qeEPI其中，EPI是通过了像素Ellnl的直线上的像素的集合，q是该集合的要素，Q是该集合的要素数，Iq是要素q(即、该直线上的像素)的像素值，Illnl是像素Ellnl的像素值。其中，在上述式(I)中，像素Ellnl的像素值Illnl与直线上的像素q的像素值Iq之差的绝对值的总和除以直线上的像素数Q的结果，若直线的角度有差异，则直线上的像素q的数量有差异(即、被标准化的缘故)。在直线推定部212c对多个角度Θ算出评价值Line(Q)之后，将算出最小评价值用到的角度Θ设为最佳角度Θ'接着，直线推定部212c将最佳角度Θ*推定为通过了像素Ellnl的对应像素直线的角度。在此，如上述，因为若到由像素Ellnl表示出的点P的距离(即、被摄体距离)不同，则通过了像素EllnJ^对应像素直线的角度Θ不同，所以最佳角度Θ M乍为表示被摄体距离(即、景深信息)的指标发挥功能。另外，评价值Line (Θ*)作为表示对应像素直线的角度Θ为角度Θ*妥当到什么程度的指标值发挥功能。为此，在图14的步骤S49之后，直线推定部212c判别评价值Line ( Θ *)是否为预先规定的阈值th以上(步骤S50)。此时，若直线推定部212c判别出评价值Line (Θ*)为预先规定的阈值th以上(步骤S50 ;是)，则将识别插补核图像CESmk的信息(以下称为插补核图像ID)、识别对应像素直线所通过的像素Ellnl的信息(以下称为像素ID)、以及表示推定角度Θ *的信息对应起来保存至存储部230存储的图15的推定角度S表格(步骤S51)。其中，插补核图像ID由变量m的值及变量k的值进行表示。另外，像素ID由变量η的值及变量I的值进行表示。另外，表示阈值th的信息被预先存储至存储部230。关于该阈值th，本领域的技术人员能够通过实验确定为最佳值。另外，阈值th也可基于被用户操作的从操作部330输出的信号，而设定成被用户指定的值。
在图14的步骤S50中，若直线推定部212c判别出评价值Line( Θ*)小于预先规定的阈值th (步骤S50 ;否)，则不向图15的推定角度S表格保存表示推定角度Θ*的信息，而将表示推定角度Θ *不明确的信息、插补核图像ID和像素ID对应起来保存至图15的推定角度S表格。即便多个副图像Snik中的多个像素表示相同被摄体OJ上的点P，若该点P处于被摄体OJ中的对比度充分高的区域，则表示点P的这些像素的像素值的差异小于规定值的情况也不多。与之相对，若该点P处于例如白墙等对比度不充分高的区域，则即便是位于该区域的不同的多个点，表示这些点的像素的像素值的差异也小于规定值。为此，若直线推定部212c判别出评价值Line ( Θ *)小于预先规定的阈值th，则判断出存在通过了像素Ellnl的角度Θ *的直线不是通过了被摄体OJ上的表示相同点P的多个像素的直线的可能性，并向图15的推定角度S表格保存表示推定角度Θ *不明确的信息。然后或者在步骤S51后，直线推定部212c将变量I的值增加值“I”之后(步骤S52)，自步骤S48起重复进行上述处理。 在步骤S48中，若判别出变量I的值大于值L (步骤S48 ;否)，则直线推定部212c将变量η的值增加值“I”之后(步骤S53)，自步骤S46起重复进行上述处理。在步骤S46中，若判别出变量η的值大于值N(步骤S46 ;否)，则直线推定部212c将变量k的值增加值“I”之后(步骤S54)，自步骤S44起重复进行上述处理。在步骤S44中，若判别出变量k的值大于值K (步骤S44 ;否)，则直线推定部212c将变量m的值增加值“I”之后(步骤S55)，自步骤S42起重复进行上述处理。在步骤S42中，若判别出变量m的值大于值M (步骤S42 ;否)，则直线推定部212c结束角度S推定处理。在图4A的步骤S05之后，执行基于被推定为是对应像素直线的直线(以下称为推定直线)来决定被插补的光场图像LFlh(其中，h = 2 H)的像素值的、图16A、图16B所示的像素S插补处理(步骤S06)。像素推定部212d执行与图14的步骤S41 步骤S48同样的处理(步骤S61 步骤 S68)。在步骤S68中，若判别出变量I的值为值L以下(步骤S68 ;是)，则像素推定部212d从图15的推定角度S表格中取得表示与插补核图像CESmk的插补核图像ID (即、变量m的值及变量k的值)和像素Ellnl的像素ID(即、变量η的值及变量I的值)相对应的推定角度Θ *的信息(步骤S69)。接着，像素推定部212d判别是否取得了表示推定角度Θ*的信息(即、是否保存了表示与变量m、变量k、变量η及变量I的值相对应的推定角度Θ *的信息)(步骤S70)。此时，若像素推定部212d判别出取得了表示推定角度Θ*的信息(步骤S70;是)，则将变量h用值“2”进行初始化(步骤S71)。接着，像素推定部212d判别变量h的值是否为值H以下(步骤S72)。此时，若判别出变量h的值为值H以下(步骤S72 ;是)，则像素推定部212d基于光场图像LFlh的副图像Smn的像素列和推定直线的交点来推定对应像素(步骤S73)。具体而言，如图17所示，像素推定部212d将插补核图像CESnik中的、构成被插补的光场图像1^,的副图像Snm的第k个像素列的第I个像素的中心点设为chl。像素推定部212d确定通过了中心点Chl C1il的与u轴平行的直线(以下称为插补像素行)和对应像素直线相交的点CPh。然后，像素推定部212d确定夹着交点CPh的2个中心点、即中心点Cha及中心点Chb。像素推定部212d将以中心点Cha作为中心的像素Elhna和以中心点Chb作为中心的像素Elhnb,推定为是表示由像素Ellnl表示出的点Pnm的对应点Plhmn的像素。在图16B的步骤S73之后，像素值决定部212e基于像素Ellnl的像素值Illnl,决定在步骤S73中推定出的对应像素Elhna和像素Elhnb的像素值(步骤S74)。具体而言，像素值决定部212e算出从确定出的中心点Cha到交点CPh的距离rha、和从中心点Chb到交点CPh的距离rhb。其次，像素值决定部212e分别利用以下的式(2)及
(3)，决定向对应像素Elhna的像素值Ilhna相加的值Λ Ilhna、和向对应像素Elhnb的像素值Ilhnb相加的值AIlhnb。Δ Ilhna 小=rhb/(rha+rhb) XIllnl · · · (2) Δ Ilhnb = rha/ (rha+rhb) XIX · · .(3)其中，rhb/(rha+rhb)和 rha/ (rha+rhb)是加权系数。然后，像素值决定部212e从存储部230中参照保存有构成被插补的光场图像(以下称为插补光场图像)LFlh的像素的像素值的、图18所示的插补像素表格。在该插补像素表格中，通过构成插补光场图像LFlh的像素行而构成的插补核图像CESnik (其中，m = I M，k = I K)的插补核图像ID、构成该像素行的像素的像素ID、以及表示该像素的像素值的信息对应起来进行保存。为此,像素值决定部212e取得表示与由变量m的值及变量k的值表示出的插补核图像ID和由变量η的值及确定出的值a表示出的对应像素Elhna的像素ID相对应的像素值Ilhna的信息。接着，像素值决定部212e将对像素值Ilhna相加了相加值Δ Ilhna之后的值，重新确定为对应像素Elhna的像素值Iltoa。同样地，像素值决定部212e取得表示与插补核图像ID和对应像素Elhnb的像素ID相对应的像素值Ilhnb的信息。接着，像素值决定部212e将对像素值Ilhnb相加了相加值Δ Ilhnb之后的值，重新确定为对应像素Elhnb的像素值Ilhnb (步骤S74)。其中，作为在插补像素表格中保存的像素值Ilhni (其中，η = I N、I = I L)的一例的R值、G值及B值，在开始像素S插补处理时全部用“O”进行初始化。然后，像素值决定部212e用表示决定出的像素值Ilhna的信息，更新与插补核图像ID和对应像素Elhna的像素ID相对应的信息。同样地，像素值决定部212e用表示决定出的像素值Ilhnb的信息，更新与插补核图像ID和对应像素Elhnb的像素ID相对应的信息(步骤S75)。然后，像素推定部212d将变量h的值增加值“I”之后(步骤S76)，自步骤S72起重复进行上述处理。在步骤S70中判别出未取得表示推定角度Θ *的信息的情况下(步骤S70 ;否)、或者在步骤S72中判别出变量h的值大于值H的情况下(步骤S72 ;否)，像素推定部212d在执行了与图14的步骤S52 步骤S55同样的处理之后(步骤S77 步骤S80)，结束像素S插补处理的执行。在图4A的步骤S06之后，插补部212执行基于像素值Ilhnl (其中，h = 2 H，n =I N, I = I L)被决定的插补核图像CESmk(其中，m = I M, k = I K)来生成插补光场图像LF12 Lfih的插补光场图像S生成处理(步骤S07)。然后，插补部212将分别表示生成的插补光场图像LF12 LFih的图像数据保存至存储部230。根据以上的处理，基于通过透镜阵列LA11成像的光场图像LF11,生成在配置有透镜阵列LA12 LAih的情况下成像的、图12所示的插补光场图像LF12 LF1H。在以后的处理中，假设在从透镜阵列LA11的位置朝向+t方向移动了将透镜阵列LA11的透镜间距2dr进行I等分后的间距2dr/I的位置处，配置了具有与透镜阵列LA11同样的透镜构成的透镜阵列LA21。同样地，假设配置了透镜阵列LA31 透镜阵列LA11,基于拍摄到的光场图像LF11生成通过透镜阵列LA21 透镜阵列LA11分别成像的插补光场图像LF21 LF11。 然后假设透镜阵列LA22 透镜阵列LA12的配置，基于插补光场图像LF12生成插补光场图像LF22 LFI2。同样地，假设透镜阵列LA2h 透镜阵列LAih的配置，生成插补光场图像 LF2h LFih。在图4A的步骤S07之后，插补部212将变量h的值用值“I”进行初始化(步骤S08)。接着，插补部212判别变量h的值是否为值H以下(步骤S09)。此时，若插补部212判别成变量h的值为值H以下(步骤骤S15)。然后，插补部212将变量h的值增加值“ I ”之后，自步骤S09起重复进行上述处理。在步骤S09中，若判别出变量h的值大于值H(步骤S09 ;否)，则重构部215执行基于光场图像LF11 LFih来生成通过焦点对焦于离开在步骤SOl中取得的由距离信息表示出的距离的焦点位置处(即、事后聚焦)的主透镜LM成像的被摄体的图像(S卩、重构图像)OB的、图20A、图20B所示的重构图像生成处理(步骤S17)。在开始重构图像生成处理时，重构部215判别是否对构成重构图像OB的所有像素执行了以下的步骤S82等处理(步骤S81)。此时，若重构部215判别出并非处理了所有像素(步骤S81 ;否)，则在构成重构图像OB的多个像素内，将未处理的像素作为关注像素(步骤S82)。接着，重构部215将变量h的值用值“I”进行初始化(步骤S83)。接着，重构部215判别变量h的值是否为值H以下(步骤S84)。此时，若重构部215判别出变量h的值为值H以下(步骤S84;是)，则将变量i的值用值“I”进行初始化(步骤S85)。接着，重构部215判别变量i的值是否为值I以下(步骤S86)。此时，若重构部215判别出变量i的值为值I以下(步骤S86 ;是)，则将变量m的值用值“I”进行初始化(步骤S87)。其次，重构部215判别变量m的值是否为值M以下(步骤S88)。此时，若重构部215判别出变量m的值为值M以下(步骤S88 ;是)，则将变量η的值用值“I”进行初始化(步骤S89)。接着，重构部215判别变量η的值是否为值N以下(步骤S90)。此时，若重构部215判别出变量η的值为值N以下(步骤S90 ;是)，则在从图22所示的关注像素的位置PS发出光的情况下，确定该光通过透镜阵列LAih的微透镜Lmn而到达摄像元件面IE的轨迹,确定位于追踪所确定的轨迹的光到达摄像元件面IE的到达点PEmn处的摄像元件(步骤S91)。具体而言，将图22所示的X轴方向上的关注像素的位置PS与光轴OA之间的距离设为X，将到达点PEnm与光轴OA之间的距离设为χ” 。
在此，在通过步骤SOl取得的内部参数中包括主透镜LM的焦点距离fa、从主透镜LM到微透镜阵列LAih的距离Cl、从微透镜阵列LAih到摄像元件面IE的距离c2、及基于透镜间距2dr算出的从光轴OA到微透镜Lmn的主点的距离d。另外，通过步骤SOl取得的由距离信息表示出的距离是从主透镜LM到焦点位置的被摄体距离al。由此，重构部215将焦点距离及被摄体距离al用于以下的式(4)中，算出从主透镜LM到主透镜LM的成像面为止的距离bl。
权利要求
1.一种图像重构装置，其具备 图像信息取得单元，其取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第I副透镜和第2副透镜的多个副透镜; 插补单元，其基于构成由取得的所述信息表示的透镜阵列图像的第I副图像和第2副图像，在使所述第I副图像成像的第I副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补； 距离信息取得单元，其取得表示到所述主透镜对焦的位置为止的距离的距离信息；重构单元，其将插补后的所述第3副图像和由取得的所述信息表示出的第I副图像、第2副图像重构成通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和 图像信息输出单元，其输出表示重构后的所述图像的信息。
2.根据权利要求I所述的图像重构装置，其中， 所述插补单元基于由取得的所述信息表示的所述第I副图像的像素值和所述第2副图像的像素值，确定所述第I副图像与所述第2副图像之间的视差，按照所述第I副图像与所述第3副图像之间的视差相对于确定的所述视差的比率成为所述第I副透镜与第3副透镜之间的距离相对于所述第I副透镜与所述第2副透镜之间的距离的比率的方式插补所述第3副图像。
3.根据权利要求I所述的图像重构装置，其中， 所述插补单元具有 提取单元，其从由取得的所述信息表示的所述第I副图像和所述第2副图像中提取同一核平面上的第I像素列和第2像素列； 生成单元，其生成将所述提取出的所述第I像素列、所述第3副图像在所述核平面上的第3像素列、以及所述提取出的所述第2像素列沿着所述核平面的法线方向顺序排列的核图像； 直线推定单元，其从通过了构成所述核图像的所述第I像素列中的第I像素的多条直线之中，将在构成所述第2像素列的多个像素内通过了表示与由所述第I像素表示出的所述被摄体上的点相同的点的第2像素的直线，基于所述第I像素的像素值和该第2像素的像素值之间的差异来推定； 像素推定单元，其在构成所述第3像素列的多个像素内，将推定的所述直线通过的像素推定为表示与由所述第I像素及所述第2像素表示的所述被摄体上的点相同的点的像素;和 像素值决定单元，其基于所述第I像素的像素值决定推定的所述像素的像素值。
4.根据权利要求I所述的图像重构装置，其中， 所述插补单元具有 提取单元，其从由取得的所述信息所表示的所述第I副图像和所述第2副图像中提取同一核平面上的第I像素列和第2像素列； 生成单元，其生成将所述提取的所述第I像素列、所述第3副图像在所述核平面上的第3像素列、以及所述提取的所述第2像素列沿着所述核平面的法线方向顺序排列的核图像；直线推定单元，其从通过了构成所述核图像的所述第3像素列上的规定的像素的多条直线之中，基于所述第I像素的像素值和所述第2像素的像素值之间的差异，推定通过了表示所述被摄体上的相同点的所述第I像素列上的第I像素和所述第2像素列上的第2像素的直线；和 像素值决定单元，其基于推定的所述直线通过的所述第I像素的像素值和所述第2像素的像素值来决定所述规定的像素的像素值。
5.根据权利要求3所述的图像重构装置，其中， 在所述第I像素的像素值与所述第2像素的像素值之间的差异小于规定的阈值的情况下，所述直线推定单元将通过了所述第I像素和所述第2像素的直线推定为存在不是通过了表示所述被摄体上的相同点的多个像素的直线的情况； 在被推定为存在不是通过了表示所述被摄体上的相同点的多个像素的直线的情况的直线，通过了构成所述第3像素列的像素的情况下，所述像素值决定单元不基于该直线通过的所述第I像素的像素值及所述第2像素的像素值来决定构成所述第3像素列的像素的像素值，在被推定为是通过了表示所述被摄体上的相同点的多个像素的直线的直线，通过了构成所述第3像素列的像素的情况下，所述像素值决定单元基于该直线通过的所述第I像素列上的像素的像素值及所述第2像素列上的像素的像素值来决定构成所述第3像素列的像素的像素值。
6.根据权利要求5所述的图像重构装置，其中， 所述重构单元在构成所述第3像素列的多个像素内，不将被推定为存在不是通过了表示所述被摄体上的相同点的多个像素的直线的情况的直线通过的像素的像素值利用于向所述被摄体的图像的重构。
7.一种图像重构方法，包括下述步骤 取得表示将被摄体的基于主透镜的光学像通过透镜阵列成像后的透镜阵列图像的信息，其中该透镜阵列排列了包括第I副透镜和第2副透镜的多个副透镜； 基于构成由取得的所述信息表示的透镜阵列图像的第I副图像和第2副图像，在使所述第I副图像成像的第I副透镜与使所述第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜所成像的第3副图像进行插补； 取得表示到所述主透镜对焦的位置为止的距离的距离信息； 将插补后的所述第3副图像和由取得的所述信息表示的第I副图像、第2副图像重构成通过焦点对焦于由取得的所述距离信息表示的距离的位置处的所述主透镜成像的所述被摄体的图像；和 输出表示重构后的所述图像的信息。
全文摘要
本发明提供一种具有重构图像的功能的装置及方法。根据透镜阵列图像重构噪声少的重构图像。图像重构装置(210)取得将被摄体的基于主透镜的光学像通过排列了多个副透镜的透镜阵列成像后的透镜阵列图像。图像重构装置(210)具备插补部(212)，其基于构成取得的透镜阵列图像的第1副图像和第2副图像，在使第1副图像成像的第1副透镜与使第2副图像成像的第2副透镜之间配置了第3副透镜的情况下，对该第3副透镜成像的第3副图像进行插补。图像重构装置(210)具备重构部(215)，其将插补后的第3副图像和第1副图像、第2副图像重构成通过焦点对焦于规定距离的位置处的主透镜成像的被摄体的图像。
文档编号G06T5/50GK102857677SQ20121008639
公开日2013年1月2日 申请日期2012年3月28日 优先权日2011年3月31日
发明者中込浩一, 长坂知明 申请人:卡西欧计算机株式会社