围视点具 有第一分辨率町的视点图像611至613、621、623、以及631至633。
[0109] 更具体地，对于每个像素，插补处理单元33以与各个外围视点和参考视点相关的 视差图的视差值的量移动视点图像G22的像素值。然后，对于具有第一分辨率Rl的每个像 素，插补处理单元33将视点图像G22的移动像素值与在外围视点具有第二分辨率R2的相 应视点图像的像素值进行比较并且调整视点图像G23的像素值的移动量直至差变成最小 为止。因而通过调整像素值，视点图像G23的分辨率变成第一分辨率Rl。
[0110] 接下来，通过使用与各个外围视点和参考视点有关的视差图和两个相邻的视点图 像，插补处理单元33在对应两个视点图像的视点之间的视点插补视点。在视差图中，调整 之后的移动量被设置为视差值。
[0111] 例如，如在图11中所示，对于每个像素，插补处理单元按与视点图像G21和视点图 像G22有关的视差图的视差值的1/2倍移动具有第一分辨率Rl的视点图像G21和视点图 像G22。插补处理单元33在移动之后对视点图像G21和视点图像G22执行求平均值等，从 而生成位于连接相机模块C21和相机模块C22的直线的中心的视点插补图像T35。
[0112] 以同样方式，插补处理单元33通过使用视点图像G11、视点图像G12、以及视差图 生成在位于连接相机模块Cl 1和相机模块C12的直线中心的视点的视点图像作为插补图像 T02。插补处理单元33通过使用视点图像G11、视点图像G22、以及视差图生成在位于连接 相机模块Cll和相机模块C22的直线中心的视点的视点图像作为插补图像T08。在生成位 于与水平方向上的插补图像T27相同位置的插补图像T25和插补图像T29之后或者在生成 位于垂直方向相同位置的插补图像T02和插补图像T35之后生成插补图像T27。
[0113] 此外，如图12所示，插补处理单元33通过使用视点图像G21、视点图像G22、以及 视差图生成位于连接插补图像T35的视点和相机模块C22的视点的直线的中心的视点的视 点图像作为插补图像T36插补处理单元33通过使用视点图像G21、视点图像G22、以及视差 图生成位于连接插补图像T35的视点和相机模块C21的视点的直线的中心的视点的视点图 像作为插补图像T34。
[0114] 对于所有视点的所有视点图像Gll至G13、G21至G23、以及G31至G33的两个相邻 视点图像进行相同的处理，从而实现生成相机模块Cll至C13、C21至C23、以及C31至C33 围绕的面积内的视点的插补图像。
[0115] 在图12中的实例中，为视点图像Gll至G13、G21至G23、以及G31至G33的两个相 邻视点图像的视点之间的插补图像设置三个视点，并且因此生成72个插补图像TOl至T72。 当然，插补图像的数目不限于图12中的实例。考虑最终图像的图像质量以及视点插补处理 的处理时间和成本等自由设置插补图像的数目。
[0116] 当由如图13所示包括许多相机模块21的摄像机阵列110拍摄时，通过生成插补 图像TOl至T72,可以由仅包括九个相机模块21的成像单元11容易地获得图像附近的视点 图像（光束矢量的信息）。这里，在第一分辨率Rl为b(垂直）Xa(水平）像素的情况下， 以及具有借助于视点插补处理的m行和η列的视点图像，可按b XaXmXη的数量对不同角 度和经过位置的光束信息进行采样。
[0117] 对插补图像的生成方法没有特别的限制。
[0118] (显影处理的说明）
[0119] 图14是成像单元11的侧视图，示出了由成像单元11接收的光束的光束矢量。
[0120] 如图14所示，成像单元11的每个相机模块21接收Θ度的视场角的范围内的同 一物体的光束并且使视点图像成像。因此，通过每个相机模块21成像的视点图像是来自相 机模块21的视点的物体的光束的光束矢量410的信息。
[0121] 图15是成像单元11的侧视图，示出视点图像和插补图像的光束矢量。
[0122] 插补图像是相邻相机模块21之间的视点的视点图像。更具体地，如图15所示，插 补图像是来自相邻相机模块21之间的视点的物体的光束的光束矢量的信息（估计值）。因 此，视点图像和插补图像的光束矢量420的信息大于光束矢量410的信息。
[0123] 图16和17是用于描述基于光束矢量420和显影参数执行的显影处理的示图。
[0124] 如图16和图17所示，在显影处理中，重建当通过对应显影参数的虚拟光学系统 430由虚拟图像传感器440成像对应光束矢量420的光束时的捕捉图像。
[0125] 更具体地，规定多种光学系统的参数被存储在存储单元13中作为多个显影参数。 例如，显影参数可以包括透镜设计信息（透镜形状、布置、材料质量、涂覆等）、滤波器、聚焦 位置、光圈值、光圈形状、白平衡、曝光补偿值等。能够采用不仅与当前可用的透镜有关的信 息而且采用与不能以物理图等制造的非常罕见的不存在的透镜、虚拟透镜有关的设计信息 作为显影参数的透镜设计信息。
[0126] 用户从存储在存储单元13中的多个显影参数中选择期望显影参数。这时，由用户 期望的光学系统对目标图像进行成像。
[0127] 基于用户选择的显影参数，显影处理单元34从光束矢量420中选择通过对应显影 参数的光学系统的光束的光束矢量421。例如，在用户选择的显影参数是涉及针对单镜头反 光式照相机显影的可换镜头的设计信息的情况下，显影处理单元34从光束矢量420选择辐 射可换精肉的孔径表面并进入其内部的光束的光束矢量。
[0128] 然后，显影处理单元34通过进行光学模拟发现光束矢量421的光束到达虚拟图像 传感器440哪个位置。显影处理单元34基于视点图像或插补图像对每个像素提取到达像 素位置或其外围位置的光束的光束矢量421的信息并且生成表示颜色和亮度的像素值。
[0129] 如上所述，因为由视点图像和插补图像表示的光束矢量420是高密度的，显影处 理单元34通过使用光束矢量420的信息可重建通过任选光学系统成像的目标图像。因此， 用户可在拍摄之后通过用任意镜头多次改变聚焦位置和孔径执行虚拟拍摄。
[0130] (在信息处理装置中处理的说明）
[0131] 图18是用于描述图1中的信息处理装置10中的图像处理的流程图。
[0132] 在图18的步骤Sll中，信息处理装置10的成像单元11以第一分辨率Rl使在中 心视点的视点图像成像并且也以第二分辨率R2使在外围视点的视点图像成像。
[0133] 在步骤S12中，图像处理单元30的分辨率转换单元31将由成像单元11成像的中 心视点的视点图像的分辨率转换成第二分辨率R2。分辨率转换单元31为相关值计算单元 32提供在中心视点具有因其导致的第二分辨率R2的视点图像。
[0134] 在步骤13中，相关值计算单元32通过使用在中心视点具有第二分辨率R2的视点 图像和在外围视点具有第二分辨率R2的视点图像执行立体匹配处理，从而生成具有第二 分辨率R2的视差图。
[0135] 在步骤S14中，相关值计算单元32执行分辨率增加处理，其中生成视差图的分辨 率被转换为第一分辨率R1。随后将参考图19描述分辨率增加处理的细节。相关值计算单 元32基于因分辨率增加处理获得的具有第一分辨率Rl的视差图的边缘区域的视差值插补 边缘区域外的视差值并且将其提供至插补处理单元33。
[0136] 在步骤S15中，插补处理单元33通过使用具有相关值计算单元32提供的第一分 辨率Rl的视差图生成在外围视点两者具有第一分辨率Rl的插补图像和视点图像以及在所 有视点成像的视点图像。插补处理单元33为显影处理单元34提供在中心视点、外围视点 的视点图像以及具有第一分辨率Rl的插补图像。
[0137] 在步骤S16中，通过使用视点图像和插补处理单元33提供的插补图像以及由用户 从存储在存储单元13中多个显影参数中选择的显影参数显影（重建）目标图像。显影处 理单元34输出因其获得的具有第一分辨率Rl的图像作为最终图像。然后，处理结束。
[0138] 图19是用于描述图18的步骤S14中的分辨率增加处理的流程图。针对在中心视 点具有第一分辨率Rl的图像的相应像素作为要处理的目标执行分辨率增加处理。
[0139] 在图19的步骤S31中，相关值计算单元32确定要处理的像素中是否存在任何边 缘。在步骤S31中确定要处理的像素中存在边缘的情况下，处理进行至步骤S32。
[0140] 在步骤S32中，相关值计算单元32确定在具有第二分辨率R2的视差图上是否存 在对应要处理的像素的像素的任何视差值。
[0141] 在步骤S32中确定存在视差值的情况下，在步骤S33中，相关值计算单元32在具 有第一分辨率Rl的视差图上将该视差值确定为要处理的像素的视差值。然后，处理返回至 图18中的步骤S14。
[0142] 另一方面，在步骤S32中确定不存在视差值的情况下，在步骤S34中相关值计算单 元32将纵横邻近于要处理的像素的像素设置为相邻像素。在步骤S35中，相关值计算单元 32获取要处理的像素和在中心视点具有第一分辨率Rl的视点图像中的每个相邻像素的像 素值之间的差值。
[0143] 在步骤S36中，相关值计算单元32将m设置为1。在步骤S37中，相关值计算单元 32确定是否存在对应相邻像素中第m个最小差值的任何视差值。
[0144] 在步骤S36中确定存在这种视差值的情况下，在步骤S38中相关值计算单元32为 m增加1。在步骤S39中，相关值计算单元32确定m是否大于M，M是相邻像素的数量，更具 体地，确定所有相邻像素中是否不存在任何视差值。
[0145] 在步骤S39中确定m不大于相邻像素的数值M的情况下，处理返回至步骤S37并 且重复后续处理。
[0146] 另一方面，在步骤S39中确定m大于相邻像素的数值M的情况下，处理返回至步骤 S34,并且相关值计算单元32将纵向且横向邻近于位于紧挨着右侧要处理的像素的像素设 置为相邻像素。然后，重复后续处理。
[0147] 此外，在步骤S36中确定存在视差值的情况下，处理进行至步骤S40。在步骤S40 中，相关值计算单元32将对应于在具有第二分辨率R2的视差图中第m个最小差值的相邻 象素的该视差值设置为要处理的像素的视差值。然后，处理返回至图18中的步骤S14。
[0148] 另一方面，在步骤S31中确定不存在边缘的情况下，相关值计算单元32将要处理 的像素的视差值设置为步骤S41中的非检测值，并且处理返回至图18中的步骤S14。
[0149] (图像处理单元的第二示例性配置）
[0150] 图20是示出通过CPU 15实现的图像处理单元的第二示例性配置的框图。
[0151] 在图20所示的部件中，由相同的参考标号表示与图5中相同的部件。将适当地省 略相同说明的重复。
[0152] 图20中的图像处理单元450的配置与图5中的图像处理单元30的配置不同之处 在于设置分辨率转换单元451和相关值计算单元452代替分辨率转换单元31和相关值计 算单元32。图像处