本发明涉及存储多个聚焦位置的图像数据和多个视点的图像数据的技术。特别地，本发明涉及存储通过用诸如照相机阵列和全光照相机(plenoptic camera)的多视点图像捕获装置执行图像捕获所获得的图像数据的技术。
背景技术：
近年，3D内容主要被电影界积极利用。多视点图像捕获技术和多视点显示技术的发展处于寻求增强现实感的进程中。
对于多视点图像捕获，已经开发了诸如照相机阵列、全光照相机和照相机阵列系统的图像捕获装置。利用诸如照相机阵列和全光照相机的多视点图像捕获装置，能够获取代表光线的位置和角度信息的被称为光场的信息。通过使用光场，能够调整图像捕获之后的聚焦位置、改变图像捕获之后的视点位置并且获取到被照体的距离。诸如这样的技术正在被称为计算摄影(computational photography)的领域中受到积极研究。
通过用照相机阵列或全光照相机执行图像捕获而获得的图像数据或附加数据(例如，距离数据)被编码和压缩为适当量的信息。并且，编码图像数据或附加数据根据预先确定的文件格式(以下，简称为格式)被保存。
作为记录多个图像的格式，例如，存在多图片格式。多图片格式是在同一文件中记录多个静止图像的格式，并且由CIPA在2009年建立。多图片格式也被用作3D数字照相机(立体照相机)的图像捕获格式。在使用多图片格式的情况下，能够将多项图像数据存储于一个文件中。在多图片格式中，每项图像数据通过JPEG编码。与多图片格式兼容的图像种类包括全景图像、立体图像、多角度图像等。
除此之外，已提出用于相互关联地记录扩展图像文件和基础(basic)文件的格式，扩展图像文件用于存储通过从不同的视点执行图像捕获所获得的多项图像数据，基础文件用于存储通过处理选自多项图像数据的代表性图像数据所获得的图像数据(参见专利文献1)。
引文列表
专利文献
PTL1：日本专利公开No.2008-311943
技术实现要素：
技术问题
为了使得能够出于更多的使用目的利用通过用照相机阵列或全光照相机执行图像捕获所获得的多项图像数据，以适当的格式记录图像数据是重要的。因此，使得能够出于诸如改变视点位置、重新聚焦和调整场深的各种使用目的利用图像数据。因此，本发明的目的是，使得能够出于更多的使用目的利用通过执行图像捕获所获得的不同聚焦位置或不同视点的多项图像数据。
问题的解决方案
根据本发明的数据记录装置包括：输入单元，输入单元被配置为输入图像数据组，图像数据组至少包含：通过从第一视点在第一聚焦位置处执行图像捕获所获得的图像数据；通过从第一视点在与第一聚焦位置不同的第二聚焦位置处执行图像捕获所获得的图像数据；和通过从与第一视点不同的第二视点在第一聚焦位置处执行图像捕获所获得的图像数据；以及记录单元，记录单元被配置为生成关联通过输入单元输入的图像数据组的各项图像数据的管理信息并且根据预先确定的格式在存储介质中记录生成的管理信息和图像数据组。
本发明的有益效果
根据本发明，能够出于更多的使用目的利用通过执行图像捕获所获得的不同聚焦位置或不同视点的多项图像数据。
从(参照附图)对示例性实施例的以下描述，本发明的其它特征将变得清晰。
附图说明
图1A是示出根据第一实施例的照相机阵列图像捕获装置的轮廓的示图；
图1B是示出根据第一实施例的全光图像捕获装置的轮廓的示图；
图2A是示出左上视点的图像的例子的示图；
图2B是示出右上视点的图像的例子的示图；
图2C是示出左下视点的图像的例子的示图；
图2D是示出右下视点的图像的例子的示图；
图3是示意性地示出通过在多个聚焦位置处以及从多个视点执行图像捕获所获得的图像数据之间的关系的示图；
图4A是示出全光图像捕获单元的内部构成的示图；
图4B是示出通过全光图像捕获单元获取的图像数据的例子的示图；
图4C是示出从图4B所示的图像数据生成的左上视点的图像数据的例子的示图；
图5是示出图像捕获装置的内部构成的例子的框图；
图6A是示出由距离数据代表的图像的例子的示图；
图6B是示出由区域分割数据代表的图像的例子的示图；
图7A是示出管理信息的例子的示图；
图7B是示出根据第一实施例的格式的例子的示图；
图7C是示出根据第一实施例的格式的另一例子的示图；
图8A是示意性地示出输入到附加信息生成单元的数据和从附加信息生成单元输出的数据的示图；
图8B是示意性地示出输入到自由视点图像生成单元的数据和从自由视点图像生成单元输出的数据的示图；
图8C是示意性地示出输入到自由焦点图像生成单元的数据和从自由焦点图像生成单元输出的数据的示图；
图8D是示出多视点图像数据和预先确定的被照体处于对焦的自由焦点图像的场深的位置和范围的示图；
图8E是示出多视点图像数据和预先确定的被照体处于对焦的自由焦点图像的场深的位置和范围的示图；
图9是示出附加信息生成单元的内部构成的例子的框图；
图10是示出距离数据生成单元的处理的流程图；
图11A是示出在计算基准(base)视差时取为基准图像的图像的例子的示图；
图11B是示出在计算基准视差时取为参照图像的图像的例子的示图；
图11C是示出在计算参照视差时取为基准图像的图像的例子的示图；
图11D是示出在计算参照视差时取为参照图像的图像的例子的示图；
图12是示出区域分割数据生成单元的处理的流程图；
图13A是示出基于用户操作选择的矩形区域的例子的示图；
图13B是示出基于用户操作选择的矩形区域的例子的示图；
图14是示出自由视点图像生成单元的内部构成的例子的框图；
图15是示出分离信息生成单元的处理的流程图；
图16是示出视点图像内的各像素被分类成以下两种类型的像素的方式的示图：边界像素和普通像素；
图17A是用于解释主层的示图；
图17B是用于解释主层的示图；
图17C是用于解释边界层的示图；
图17D是用于解释边界层的示图；
图18是示出自由视点图像合成单元的处理的流程图；
图19A是示出生成主层的三维模型的方式的示图；
图19B是示出执行主层的渲染的方式的示图；
图19C是示出生成边界层的三维模型的方式的示图；
图19D是示出执行边界层的渲染的方式的示图；
图20是示出根据第一实施例的自由焦点图像生成单元的处理的流程图；
图21A是示出预先确定的被照体处于对焦的图像的例子的示图；
图21B是示出预先确定的被照体处于对焦的图像的例子的示图；
图21C是示出自由焦点图像的例子的示图；
图21D是示出自由焦点图像的例子的示图；
图22A是示出根据第一实施例的在偏移加法运算中取为基准的图像的例子的示图；
图22B是示出根据第一实施例的在偏移加法运算中偏移的图像的例子的示图；
图23是示意性地示出通过根据第二实施例的自由焦点图像生成单元输入和输出的数据的示图；
图24是示出根据第二实施例的自由焦点图像生成单元的处理的流程图；
图25A是示出根据第二实施例的在偏移加法运算中取为基准图像的图像的例子的示图；
图25B是示出根据第二实施例的在偏移加法运算中偏移的图像的例子的示图。
具体实施方式
下面，参照附图，解释用于实施本发明的多个方面。下面示出的配置仅仅是示例性的，并且，本发明不限于示意性地示出的配置。
第一实施例
图1A和图1B是分别示出根据第一实施例的图像捕获装置的轮廓的示图。图1A和图1B分别示出在从前面观看的情况下的包含多个图像捕获单元的照相机阵列图像捕获装置的轮廓的例子和从前面观看的情况下的全光图像捕获装置的轮廓的例子。
首先，解释包括图1A所示的多个图像捕获单元的照相机阵列图像捕获装置。
如图1A所示，图像捕获装置101包括在壳体顶部(图1A的上侧)的拍摄按钮102。并且，图像捕获装置101在壳体的前部(图1A中的前侧)包括被配置为获取图像数据的四个图像捕获单元103～106。四个图像捕获单元全部具有相同的焦距，并且以方形网格的形式布置。通过用户按下拍摄按钮102，开始图像捕获处理。
首先，设定第一聚焦位置，并且，图像捕获单元103～106通过传感器(图像捕获元件)接收关于被摄体的光信息。对接收的信号进行A/D转换，并且同时获取多项图像数据。通过这样的照相机阵列，能够获得通过从多个视点位置执行同一被摄体的图像捕获所获得的图像数据组(多视点图像数据)。
图2A～图2D分别是示出多视点图像数据的例子的示图。在图2A中，示出由图像捕获单元104捕获的左上视点(视点1)的图像。在图2B中，示出由图像捕获单元103捕获的右上视点(视点2)的图像。在图2C中，示出由图像捕获单元106捕获的左下视点(视点3)的图像。在图2D中，示出由图像捕获单元105捕获的右下视点(视点4)的图像。从图2A～图2D之间的比较可知，各图像中的被照体的位置根据图像捕获单元的布置而不同。这里，假定被照体601处于对焦。
然后，设定与第一聚焦位置不同的第二聚焦位置，并且再次获取多视点图像数据。此时，图像捕获单元103至106也类似地通过传感器接收关于被摄体的光信息。对接收的信号进行A/D转换，并且同时获取多项图像数据。这里，假定被照体602处于对焦。
如上所述，通过一次图像捕获指令获取不同聚焦位置的多视点图像数据。
通过使用图3，解释通过在多个聚焦位置处以及从多个视点执行图像捕获所获得的图像数据。图3是示意性地示出通过在多个聚焦位置处以及从多个视点执行图像捕获所获得的图像数据之间的关系的示图。水平轴代表视点。因此，图3所示的例子示出，多视点图像数据709的各项捕获的图像数据(捕获的图像数据701、702、703、704)的视点相互不同。并且，该例子示出多视点图像数据710的各项捕获的图像数据(捕获的图像数据705、706、707、708)的视点相互不同。该例子还示出，捕获的图像数据701和705是通过从相同的视点执行图像捕获所获得的图像数据。该例子还示出，捕获的图像数据702和706是通过从相同的视点执行图像捕获所获得的图像数据。该例子还示出，捕获的图像数据703和707是通过从相同的视点执行图像捕获所获得的图像数据。该例子还示出，捕获的图像数据704和708是通过从相同的视点执行图像捕获所获得的图像数据。并且，该例子示出，在垂直方向上(在图3中的垂直方向上)相互上下并列示出的多视点图像数据709和710的聚焦位置相互不同。通过导致图3对应于图2A～图2D所示的例子，多视点图像709对应于被照体601处于对焦的多视点图像数据(视点1、2、3、4的捕获图像数据)。并且，多视点图像710对应于被照体602处于对焦的多视点图像数据(视点1、2、3、4的捕获图像数据)。
这里，图像捕获单元的数量是4，但是图像捕获单元的数量不限于4。只要图像捕获装置包括多个图像捕获单元，就可以应用本实施例。并且，这里解释了以正方形网格的形式布置4个图像捕获单元的例子，但是图像捕获单元的布置是任意的。例如，各图像捕获单元能以直线的形式被布置，或者可以完全随机布置。下面，存在捕获的图像数据701～708被简称为图像数据701～708的情况。
下面，解释图1B所示的全光图像捕获装置。
如图1B所示，图像捕获装置101包括壳体顶部(图1B中的上侧)的拍摄按钮102。并且，图像捕获装置101在壳体的前部(图1B中的前侧)包括被配置为获取图像数据的图像捕获单元201。通过用户按下拍摄按钮102，开始图像捕获处理。
首先，设定第一聚焦位置，并且图像捕获单元201通过传感器接收关于被摄体的光信息。
图4A示出全光图像捕获单元201的内部配置。在全光照相机中，在主透镜403和传感器平面405之间，布置微透镜阵列404。从布置于主透镜的聚焦平面401上的被照体402发射的光由主透镜403收集并在微透镜阵列404中分离，并且由传感器平面405接收。通过由传感器平面405接收的信号经受A/D转换，获取全光图像数据。在图4A的右下角，示出作为传感器平面405的一部分的传感器406的放大视图。传感器406是2×2(垂直×水平)像素的传感器，并且以圆的形式接收光。
在图4B中，示出由全光图像捕获单元201获取的图像数据的例子。在图4B中，分割为网格形状的区域对应于像素。例如，存在像素501、502、503、504、506、507和508。像素501、502、503和504分别是通过角度分解由传感器406以圆形式接收的光获得的像素。图4B所示的圆505代表通过传感器406以圆的形式接收的光。在图4B所示的例子中，以圆的形式接收的光分离成2×2(垂直×水平)像素。
解释从全光图像数据生成多视点图像数据的方法。通过按像素501、506、507和508的顺序选择并且并排放置图4B所示的各圆的左上像素(图4B中用斜线示出的像素)，生成图4C所示的左上视点的图像数据。通过对右上像素、左下像素和右下像素执行相同的处理，生成右上视点、左下视点和右下视点的图像数据。以这种方式，从全光图像数据生成图2A～图2D所示的多视点图像数据。这里，假定被照体601处于对焦。图像的去马赛克处理不是本实施例的要点，并因此省略了对其的说明。
然后，设定与第一聚焦位置不同的第二聚焦位置，并且获取多视点图像数据。类似地，此时，从布置于主透镜上的聚焦平面(与聚焦平面401不同的另一聚焦平面)上的被照体发射的光由主透镜403收集，并且，光在微透镜阵列404中分离并且由传感器平面405接收。通过使由传感器平面405接收的信号经受A/D转换，获取全光图像数据。此后，从全光图像数据生成多视点图像数据。这里，假定被照体602处于对焦。如上所述，通过一次图像捕获指令，获取不同聚焦位置的多视点图像数据。
这里，传感器406的分割次数被设置为4，即2×2像素，但是传感器406不限于2×2像素。也就是说，只要光通过微透镜在传感器平面上被分割，就可以应用本实施例。
如上所述，本实施例的图像捕获装置101能够通过一次图像捕获指令由照相机阵列和全光照相机获取图3所示的不同聚焦位置的多视点图像数据。在上述解释中，示出通过一次图像捕获指令获取两项多视点图像数据的图像捕获装置，但是也能够将本实施例应用于通过一次图像捕获指令获取三项或更多项多视点图像数据的图像捕获装置。以下，解释如何处理不同视点位置和不同聚焦位置的图像数据，而处理图像数据的方法对于照相机阵列和全光照相机都是相同的，并且本实施例可以应用于两种图像捕获装置。
图5是示出图像捕获装置101的内部配置的例子的框图。
图像捕获装置101包括光场图像捕获单元301、距离数据获取单元302、总线303、中央处理单元(CPU)304、RAM 305、ROM 306、操作单元307、显示控制单元308、显示单元309、光场图像捕获控制单元310、距离数据获取控制单元311、外部存储器控制单元312、编码单元313、自由焦点图像生成单元314、自由视点图像生成单元315和附加信息生成单元316。
光场图像捕获单元301通过图像捕获获得聚焦位置相互不同的多项多视点图像数据。在图像捕获装置101是照相机阵列的情况下，光场图像捕获单元301对应于图1A中所示的图像捕获单元103～106。在图像捕获装置101是全光照相机的情况下，光场图像捕获单元301对应于图1B所示的图像捕获单元201。在图像捕获装置101是全光照相机的情况下，光场图像捕获单元301从图4B所示的全光图像数据生成图4C所示的多视点图像数据。在光场图像捕获单元301中，还能够通过执行图像处理(诸如通过使用视点相同但聚焦位置不同的图像数据组去除噪声)提高图像质量。
距离数据获取单元302通过利用图像传感器以外的诸如TOF(飞行时间)距离传感器的传感器获取距离数据。距离数据的获取方法不需要是TOF方法，只要可以获取距离数据即可，并且，可以接受另一种方法，诸如照射激光图案的方法。并且，附加信息生成单元316还能够从由图像传感器获取的图像数据生成距离数据。根据这样的方面，图像捕获装置101不再需要包括距离数据获取单元302。
总线303是各种类型的数据的传输路径。例如，经由总线303，由光场图像捕获单元301通过图像捕获所获得的图像数据和由距离数据获取单元302获取的图像数据被发送到预先确定的处理单元。
CPU 304集中控制各单元。
RAM 305用作CPU 304的主存储器、工作区域等。
ROM 306存储由CPU 304执行的控制程序等。
操作单元307包括按钮、模式拨盘等。经由操作单元307，输入用户指令。
显示单元309显示拍摄的图像和字符。显示单元309例如是液晶显示器。显示单元309还能够具有触摸屏功能。在这种情况下，还能够经由触摸屏而不是操作单元307输入用户指令。
显示控制单元308对在显示单元309上显示的图像和字符执行显示控制。
光场图像捕获控制单元310基于来自CPU 304的指令对图像捕获系统进行控制。例如，光场图像捕获控制单元310基于来自CPU 304的指令执行聚焦、打开/关闭快门、调整光圈以及执行连续拍摄等。由此，在光场图像捕获单元301中，获取聚焦位置相互不同的多项多视点图像数据。
距离数据获取控制单元311基于来自CPU 304的指令控制距离数据获取单元302。在本实施例中，距离数据获取控制单元311控制开始和终止距离数据获取单元302对距离数据的获取。
外部存储器控制单元312是用于连接个人计算机(PC)和其他介质(例如，硬盘、存储卡、CF卡、SD卡、USB存储器)与总线303的接口。
编码单元313对数字数据进行编码。并且，编码单元313以预先确定的格式存储编码的数字数据(以下，称为编码数据)。并且，编码单元313生成稍后描述的管理信息，并且将管理信息以上述的预先确定的格式与编码数据一起存储。
自由焦点图像生成单元314生成聚焦位置与由光场图像捕获单元301通过图像捕获所获得的图像数据的聚焦位置不同的图像数据。
自由视点图像生成单元315生成视点位置与由光场图像捕获单元301通过图像捕获所获得的图像数据的视点位置不同的图像数据。
附加信息生成单元316提取关于图像的结构信息。例如，附加信息生成单元316从多视点图像数据生成距离数据。并且，例如，附加信息生成单元316通过基于多视点图像数据和距离数据对各被照体执行区域分割来生成区域分割数据。
将在后面描述编码单元313、自由焦点图像生成单元314、自由视点图像生成单元315和附加信息生成单元316的细节。图像捕获装置101还可以包括除上述那些之外的组件。
(编码单元)
对编码单元313进行解释。编码单元313能够输入以下的数字数据。
●光场图像捕获单元301通过图像捕获所获得的不同聚焦位置的多视点图像数据
●距离数据获取单元302获取的距离数据
●由自由焦点图像生成单元314生成的聚焦位置与捕获图像的聚焦位置不同的图像数据
●自由视点图像生成单元315生成的视点位置与捕获图像的视点位置不同的图像数据
●由附加信息生成单元316生成的距离数据、区域分割数据
●后面描述的照相机外部参数和照相机内部参数
输入到编码单元313的数字数据被编码并以预先确定的格式被存储。使用诸如“数据以预先确定的格式被存储”的措辞，但具体而言，这意指数据按照预先确定的格式存储于存储介质等中。以格式存储的数字数据可以被存储和删除。由光场图像捕获单元301通过图像捕获所获得的不同聚焦位置的多视点图像数据和通过距离数据获取单元302获取的距离数据经由总线303被输入到编码单元313。由自由焦点图像生成单元314生成的图像数据、由自由视点图像生成单元315生成的图像数据以及由附加信息生成单元316生成的距离数据和区域分割数据经由总线303被输入到编码单元313。照相机外部参数和照相机内部参数经由总线303从光场图像捕获控制单元310被输入到编码单元313。
下面，解释对多视点图像数据、图像数据、距离数据和区域分割数据进行编码的方法。多视点图像数据是聚焦位置相同且视点位置不同的图像数据的集合。
对于图像数据，编码单元313通过使用诸如JPEG和PNG的单视点图像的编码方案对图像数据进行编码。
对于多视点图像数据，编码单元313可以通过使用诸如JPEG和PNG的单视点图像的编码方案或者通过使用诸如MVC(多视点视频编码)的多视点图像的编码方案，对每项图像数据进行编码。
对于距离数据，编码单元313将距离数据示出为图像数据，并且通过使用诸如JPEG和PNG的单视点图像的编码方案对图像数据进行编码。例如，距离数据被表示为8位灰度图像。灰度图像中的各像素的像素值以一对一的方式对应于距离值。可以通过以8个位将最小距离值和最大距离值之间的距离值均匀地分割、或者通过执行非线性分割使得在较近距离处的分辨率具有更高的分辨率，执行从距离值到8位像素值的转换。替代地，可以接受另一种方法，诸如通过使用查找表导致像素值和距离值相互对应的方法。图像数据的表示不限于8位灰度图像，并且，也能够使用另一种表示方法，诸如将各像素的距离值保持为二进制数据的方法。图6A和图6B是分别示出由距离数据表示的图像的例子和由区域分割数据表示的图像的例子的示图。在图6A中，示出由距离数据表示的图像的例子。对于被照体601和被照体602，分配不同的像素值。并且，在被照体601内，不同的像素值被分配到距图像捕获单元的距离不同的部分。
对于区域分割数据，编码单元313将区域分割数据表示为图像数据，并且通过使用诸如JPEG和PNG的单视点图像的编码方案对图像数据进行编码。类似于距离数据，区域分割数据也被表示为8位灰度图像。灰度图像中的各像素的像素值对应于区域编号。例如，在黑色(像素值：0)的情况下，区域编号是0，而在白色(像素值：255)的情况下，区域编号是255。当然，只要区域编号和像素值相互对应，就也能够使用另一种示出方法，诸如将区域分割数据表示为RGB彩色图像的方法和将区域编号保持为二进制数据的方法。在图6B中，示出由区域分割数据表示的图像的例子。在图6B中，不同的像素值被分配给被照体601和被照体602。被照体601内的像素值是相同的，因为是相同的被照体。
下面，解释存储编码数据的格式。
在该格式中，存储先前描述的编码数据和相互关联各项数据的管理信息。在图7A中，示出管理信息的例子。管理信息是描述各项编码数据与指针之间的关系的信息。在本实施例中，如图7A所示，以分层结构描述管理信息。并且，如图7A所示，管理信息包括集中控制所有视点的数据的多视点数据1001、集中控制各视点的数据的视点数据1002(1002-1～1002-N)和集中控制各焦点的数据的焦点数据1003(1003-1～1003-M)。在图7A中，示出视点数量为N且焦点数量为M的情况下的管理信息。
这里，解释存储于多视点数据1001、视点数据1002和焦点数据1003中的信息。
在多视点数据1001中，描述集中控制所有视点的数据的信息，诸如视点的数量和代表性视点的数量。视点的数量对应于图1A所示的照相机阵列图像捕获装置的情况下的图像捕获单元的数量。代表性视点是在显示图像的缩略图等的情况下给予优先的视点。代表性视点的数量是能够识别代表性视点的数量。除上述之外，在通过查找表表示距离数据的情况下，描述查找表的信息。并且，在图像尺寸对于所有视点相同的情况下，描述关于图像尺寸的信息。只要信息是集中控制所有视点的数据的信息，所描述的内容就不限于这些。
在视点数据1002中，描述照相机外部参数、焦点图像的数量、代表性焦点图像的数量、距离数据参照信息、距离数据的示出方法、距离的最小值和最大值、区域分割数据参照信息等。照相机外部参数是指示视点(具体而言，视点位置、视点方向)等的信息。在本实施例中，视点位置的坐标在视点数据1002中被描述为照相机外部参数。代表性焦点图像是对应于在显示图像缩略图的情况下给予优先的焦点的图像。代表性焦点图像的数量是能够识别代表性焦点图像的数量。距离数据参照信息是用于访问距离数据的信息(例如，到距离数据的指针)。区域分割数据参照信息是用于访问区域分割数据的信息(例如，到区域分割数据的指针)。只要信息是对于各视点使用的信息，所描述的内容就不限于这些。
在焦点数据1003中，描述照相机内部参数等。照相机内部参数指示焦距、f光阑、对焦时的AF(自动聚焦)信息、透镜的畸变等。只要信息是针对各图像使用的信息，所描述的内容就不限于这些。在焦点数据1003中，进一步描述图像数据参照信息。图像数据参照信息是用于访问图像数据的信息(例如，到图像数据的指针)。因此，图像数据参照信息与指示图像数据的视点的视点信息(例如，在视点数据1002中描述的视点位置的坐标)和指示图像数据的聚焦位置的焦点信息(例如，在焦点数据1003中描述的AF信息)相关联。
通过将上述的多视点数据1001、视点数据1002和焦点数据1003描述为管理信息，能够将多视点图像数据、距离数据和区域分割数据相互关联。并且，通过描述XML格式的管理信息，还能够通过标准XML解析器读取管理信息。管理信息的结构不限于图7A所示的结构，只要用于访问图像数据的图像数据参照信息与指示图像数据的视点的视点信息和指示图像数据的聚焦位置的焦点信息相关联，管理信息就可以具有另一结构。
关于存储管理信息、多视点图像数据、距离数据和区域分割数据的文件格式，下面示出了两种格式。在图7B和图7C中，分别示出格式的例子。
第一格式是在文件夹1101中保存描述管理信息的管理文件1102和各项数据的格式。各项数据是图像数据701～708、距离数据801、区域分割数据802、由自由视点图像生成单元315生成的图像数据806(以下，称为自由视点图像数据)和由自由焦点图像生成单元314生成的图像数据807(以下，称为自由焦点图像数据)。
第二格式是在文件1103的标题1104中描述管理信息以及在文件1103中保存各项数据的格式。各项数据是图像数据701～708、距离数据801、区域分割数据802、自由视点图像数据806和自由焦点图像数据807。
如上所述，多视点图像数据、图像数据、距离数据和区域分割数据与指示各项数据之间的关系的管理信息一起以上述的格式被编码和存储。以下，上述格式被称为“多维信息格式”。
编码单元313将多维信息格式保存于编码单元313自身具有的没有示意性地示出的存储单元(存储介质)中。编码单元313也能够经由外部存储器控制单元312将多维信息格式存储于外部存储器(诸如SD卡的存储介质)中。
(附加信息生成单元)
对附加信息生成单元316进行解释。附加信息生成单元316经由总线303从编码单元313输入多维信息格式。在多维信息格式存储于外部存储器中的情况下，附加信息生成单元316能够经由外部存储器控制单元312从外部存储器读取多维信息格式。
在图8A中，示意性地示出输入到附加信息生成单元316的数据和从附加信息生成单元316输出的数据。附加信息生成单元316从输入的多维信息格式获取多视点图像数据和距离数据。这里，附加信息生成单元316获取图8A所示的多视点图像数据709(图像数据701、702、703、704)和生成附加信息的视点的距离数据801。在不以上述的格式存储距离数据的情况下，只获取多视点图像数据709(图像数据701、702、703、704)。经由操作单元307和显示单元309由用户等指定生成附加信息的视点。这里，假定指定视点1。
在以多维信息格式存储距离数据的情况下，附加信息生成单元316生成和输出区域分割数据802。在不以多维信息格式存储距离数据的情况下，附加信息生成单元316生成和输出距离数据801和区域分割数据802。区域分割数据是在稍后描述的第二实施例的再次聚焦处理中使用的数据。因此，在本实施例中，附加信息生成单元316也能够仅生成和输出距离数据801。输出的数字数据经由总线303以多维信息格式存储于编码单元313中。此时，编码单元313将与距离数据801相关的信息(距离数据801的指针等)添加到对应于多维信息格式内的管理信息的视点1的视点数据。在多维信息格式存储于外部存储器中的情况下，附加信息生成单元316通过使用生成的附加信息更新存储于外部存储器中的多维信息格式就够了。
图9是示出附加信息生成单元316的内部配置的例子的框图。附加信息生成单元316包括距离数据生成单元1201和区域分割数据生成单元1202。在本实施例中，在假设附加信息生成单元316是图像捕获装置101内的一个组件的基础上进行解释，但是附加信息生成单元316的功能可以由诸如PC的外部设备实现。即，也能够将本实施例中的附加信息生成单元316实现为图像捕获装置的一个功能或独立的图像处理装置。
以下，解释附加信息生成单元316的各组件。
在只有多视点图像数据被输入到附加信息生成单元316的情况下，距离数据生成单元1201从多视点图像数据生成距离数据，并将生成的距离数据输出到区域分割数据生成单元1202和总线303。区域分割数据生成单元1202从多视点图像数据和从距离数据生成单元1201输入的距离数据生成区域分割数据，并将区域分割数据输出到总线303。在附加信息生成单元316仅输出距离数据作为输出数据的情况下，不执行由区域分割数据生成单元1202进行的处理。
在多视点图像数据和由距离数据获取单元302获取的距离数据被输入到附加信息生成单元316的情况下，区域分割数据生成单元1202从两项输入数据生成区域分割数据，并将区域分割数据输出到总线303。此时，不执行距离数据生成单元1201的处理。
对距离数据生成单元1201进行解释。图10是示出距离数据生成单元1201的处理的流程图。
在步骤S1301中，距离数据生成单元1201输入多视点图像数据。这里，以多视点图像数据是对应于图2A～图2D所示的四个视点的图像的图像数据的情况为例子。
在步骤S1302中，距离数据生成单元1201选择为其生成距离数据的视点的基准图像和为了生成距离图像而参照的参照图像。这里，假定图2A所示的视点1的图像是基准图像且图2B所示的视点2的图像是参照图像。参照图像可以是多个视点的图像，但是在本实施例中，为了使解释易于理解，假定参照图像是一个视点的图像。
在步骤S1303中，距离数据生成单元1201以基准图像为基准计算与参照图像的视差。这称为基准视差。图11A～图11D是用于解释视差的计算方法的示图。
首先，通过利用图11A和图11B解释基准视差的计算方法。
图11A是基准图像(视点1的图像)，图11B是参照图像(视点2的图像)。基准图像的视点位置不同于参照图像的视点位置，因此，其图像被捕获的被照体的位置是不同的。其图像被捕获的被照体的偏差量(视差)取决于从图像捕获装置101到被照体的距离，因此，能够从视差计算距离数据。
在基准图像中的被照体601的右眼的X坐标(图11A中的水平方向上的坐标)1401由参照图像中的相同坐标表示的情况下，获得X坐标1402。从X坐标1402起，搜索参照图像中的被照体601的右眼的X坐标，并且找到对应的点。X坐标1402与对应点的X坐标之间的差异是视差1403。对于基准图像中的所有像素，搜索对应的点，并且计算基准视差。
存在各种搜索对应点的方法，并且可以使用任何方法。例如，存在对各区域进行搜索并且将使成本值(色差)最小化的视差取为对应点的方法。并且，例如，存在这样一种方法，即，对各像素进行搜索，并且计算成本值(色差)，并且利用边缘保持型滤波器对计算的成本值执行平滑化，并且将使成本值最小化的视差取为对应点。
在步骤S1304中，距离数据生成单元1201以参照图像作为基准计算与基准图像的视差。这被称为参照视差。
下面，通过使用图11C和图11D解释计算参照视差的方法。
图11C是基准图像(视点1的图像)，图11D是参照图像(视点2的图像)。在参照图像中的被照体601的右眼的X坐标1405由基准图像中的相同坐标表示的情况下，获得X坐标1404。从X坐标1404起，搜索基准图像中的被照体601的右眼的X坐标，并且找到对应的点。X坐标1404和对应点的X坐标之间的差异是视差1406。对于参照图像中的所有像素，搜索对应的点，并且计算参照视差。
在S1305中，距离数据生成单元1201计算在步骤S1303中计算的基准视差与在步骤S1304中计算的参照视差之间的对应区域。对各像素比较基准视差和参照视差，并且在基准视差和参照视差之间的差值小于或等于阈值的情况下，将比较目标像素归类为对应区域，并且在所述差值大于阈值的情况下，将比较目标像素归类为非对应区域。即，对应区域是基准视差与参照视差之间的一致性高且视差的可靠性高的区域。非对应区域是基准视差与参照视差之间的一致性低且视差的可靠性低的区域。
在步骤S1306中，距离数据生成单元1201校正在步骤S1304中归类的非对应区域中的视差。如上所述，在非对应区域中，视差的可靠性低，因此，视差由可靠性高的周边对应区域中的基准视差补充，并且，确定非对应区域中的基准视差。
在步骤S1307中，距离数据生成单元1201将基准视差转换为距离数据，并且输出距离数据。
距离数据生成单元1201中的距离数据的生成方法不限于上述方法。对于距离数据的生成处理，可以使用另一种方法，诸如使用多个视点的参照图像的方法，只要该方法从多视点图像数据生成距离数据即可。并且，当距离数据生成单元1201在步骤S1301中输入不同聚焦位置的多项多视点图像的情况下，输出对各项多视点图像数据生成的距离数据就够了。然后，编码单元313在通过加权平均等将各项距离数据整合(integrate)之后以多维信息格式存储距离数据就够了。通过这样的方面，使得能够获得更精确的距离数据。距离数据生成单元1201还能够在整合各项距离数据之后输出距离数据。
下面，对区域分割数据生成单元1202进行解释。图12是示出区域分割数据生成单元1202的处理的流程图。
在步骤S1501中，区域分割数据生成单元1202输入生成区域分割数据的视点的图像数据和距离数据。这里，输入对应于图2A所示的视点1的图像的图像数据和图6A所示的视点1的距离数据。
在步骤S1502中，区域分割数据生成单元1202基于经由操作单元307输入的用户操作选择围绕要被切出的被照体的矩形区域。图13A和图13B是示出选择围绕被照体的矩形区域的方式的示图。也能够在没有用户操作的情况下通过使用诸如检测人体的处理的识别处理指定围绕要切出的被照体的矩形区域。在图13A所示的例子中，选择包围被照体601的矩形区域1601。
在步骤S1503中，区域分割数据生成单元1202执行从选择的矩形区域中切出被照体的处理。区域分割数据生成单元1202通过对围绕被照体的矩形区域内的距离数据执行聚集处理，在图像数据中提取矩形区域内的主要被照体。还能够通过追加作为成本函数的参数的距离数据以及通过执行典型例子是图形切割的全局优化处理，在图像数据中提取矩形区域内的主要被照体。
在步骤S1504中，区域分割数据生成单元1202对切出的被照体设定区域编号。在本实施例中，区域编号由8位数值(0～255)表示。只要编号可以用八个位(0～255)表示，那么任何编号可以被设定为区域编号。因此，例如，在图6B所示的例子中，区域编号1被分配给被照体601。
在步骤S1505中，区域分割数据生成单元1202检查是否终止区域分割处理。
在待切出的被照体有剩余(在步骤S1505中为否)的情况下，区域分割数据生成单元1202返回到步骤S1502的处理。在返回到步骤S1502的处理之后，区域分割数据生成单元1202选择图13B所示的包围被照体602的矩形区域1602，并且执行步骤S1503和S1504的处理。因此，例如，在图6B所示的例子中，区域编号2被分配给被照体602。
在没有剩余待切出的被照体的情况下(在步骤S1505中为是)，区域分割数据生成单元1202终止区域分割。
在步骤S1506中，区域分割数据生成单元1202输出区域分割数据。
通过区域分割数据生成单元1202的区域分割数据的生成处理不限于上述方法。对于区域分割数据的生成处理，可以使用另一种方法，诸如选择被照体的一部分而不是矩形区域的方法，只要该方法从图像数据和距离数据生成区域分割数据即可。
(自由视点图像生成单元)
对自由视点图像生成单元315进行解释。自由视点图像生成单元315经由总线303从编码单元313输入多维信息格式。这里，在多维信息格式存储于外部存储器中的情况下，自由视点图像生成单元315经由外部存储器控制单元312从外部存储器读取多维信息格式就够了。通过使用图8B，解释输入到自由视点图像生成单元315的数据和从自由视点图像生成单元315输出的数据。
自由视点图像生成单元315从输入的多维信息格式获取多视点图像数据和对应于各视点的距离数据。这里，自由视点图像生成单元315获取多视点图像数据709(图像数据701、702、703、704)和对应于各视点的距离数据801、803、804和805。
自由视点图像生成单元315生成和输出与输入的多视点图像数据不同的视点的图像数据(自由视点图像数据)806。输出的数字数据经由总线303以多维信息格式存储于编码单元313中。此时，编码单元313将对应于自由视点图像数据806的视点数据添加到多维信息格式内的管理信息，并进一步与视点数据关联地添加对应于自由视点图像数据806的焦点数据。在多维信息格式存储于外部存储器中的情况下，自由视点图像生成单元315通过利用生成的自由视点图像数据806更新存储于外部存储器中的多维信息格式就够了。
图14是示出自由视点图像生成单元315的内部配置的例子的框图。自由视点图像生成单元315包括分离信息生成单元1701和自由视点图像合成单元1702。在本实施例中，在假定自由视点图像生成单元315是图像捕获装置101内的一个组件的基础上进行解释，但是自由视点图像生成单元315的功能可以由诸如PC的外部设备实现。即，本实施例中的自由视点图像生成单元315也能够实现为图像捕获装置的一个功能或独立的图像处理装置。
以下，解释自由视点图像生成单元315的各组件。
在多视点图像数据和对应于各视点的距离数据被输入到自由视点图像生成单元315的情况下，首先，两项数据均被发送到分离信息生成单元1701。以下，由各视点的图像数据表示的图像被称为视点图像。
分离信息生成单元1701生成用作用于将对应于输入的多视点图像数据的各视点图像分到两个层(作为被摄体的边界的边界层和不是被摄体的边界的主层)中的基础的信息(分离信息)。具体而言，分离信息生成单元1701将各视点图像内的各像素归类为两种类型的像素：与被摄体的边界相邻的边界像素(以下，称为“被照体边界”)和除了边界像素外的普通像素。然后，分离信息生成单元1701生成能够指定各像素对应的种类的信息。
图15是示出分离信息生成单元1701的处理的流程图。
在步骤S1901中，分离信息生成单元1701输入多视点图像数据和对应于各视点的距离数据。
在步骤S1902中，分离信息生成单元1701提取视点图像的被照体边界。在本实施例中，目标像素的距离数据与相邻像素的距离数据之间的差值(以下，称为“距离数据差”)大于或等于阈值的部分被指定为被照体边界。具体而言，处理如下。
首先，分离信息生成单元1701在纵向上扫描视点图像，将距离数据差与阈值进行比较，并且指定距离数据差大于或等于阈值的像素。然后，分离信息生成单元1701在横向上扫描视点图像，类似地将距离数据差与阈值进行比较，并且指定距离数据差大于或等于阈值的像素。然后，分离信息生成单元1701分别指定在纵向和横向上指定的像素的合集(sum-set)作为被照体边界。作为阈值，例如，在距离数据用八个位(0～255)量化的情况下，设定诸如“10”的值。
在步骤S1903中，分离信息生成单元1701将各视点图像内的各像素归类为两种类型的像素：边界像素和普通像素。具体而言，分离信息生成单元1701参照步骤S1901中获取的距离数据，并且确定与在步骤S1902中指定的被照体边界相邻的像素作为边界像素。
图16是示出视点图像内的各像素被归类为以下两种类型的像素的方式的示图：边界像素和普通像素。分别地，跨越被照体边界2001的相邻像素被归类为边界像素2002和2003，其余的像素被归类为普通像素2004。在图16中，边界像素由黑色圆圈表示，而普通像素由白色圆圈表示。在下面的图中，同样，边界像素由黑色圆圈表示，而普通像素由白色圆圈表示。这里，仅将与被照体边界相邻的像素归类为边界像素，但是可以使用另一分离方法，诸如将距被照体边界两个像素的宽度内的像素归类为边界像素的方法。
在步骤S1904中，分离信息生成单元1701确定是否对于与输入的多视点图像数据对应的所有视点图像已经完成了像素的归类。
在存在尚未执行处理的视点图像(在步骤S1904中为是)的情况下，分离信息生成单元1701返回到步骤S1902的处理，并且对下一个视点图像执行步骤S1902和步骤S1903的处理。另一方面，在对于所有视点图像已完成像素的归类(在步骤S1904中为否)的情况下，分离信息生成单元1701前进到步骤S1905的处理。
在步骤S1905中，分离信息生成单元1701向自由视点图像合成单元1702发送能够指定边界像素和普通像素的分离信息。一旦指定了边界像素，就证明其余像素是普通像素，因此，分离信息可以是能够指定边界像素的任何信息。因此，例如，作为分离信息，考虑以向被确定为边界像素的像素附加“1”并且向被确定为普通像素的像素附加“0”的方式向像素附加标记的方法等。自由视点图像合成单元1702通过利用这样的分离信息将预先确定的视点图像分离到两层(即，由边界像素构成的边界层和由普通像素构成的主层)中。
图17A～图17D是用于解释分离信息生成单元1701的处理的图。在图17A～图17D所示的例子中，视点1的图像中的被照体内部1801和1802以及视点2的图像中的被照体内部1803和1804被表示为主层。并且，视点1的图像中的被照体边界部分1805和1806以及视点2的图像中的被照体边界部分1807和1808被表示为边界层。在图17A和图17B中，为了简化解释，只有由被照体边界部分内的普通像素构成的层被表示为主层。
自由视点图像合成单元1702设定用于自由视点图像合成的参照图像组，并且首先执行参照图像组的主层的渲染，并且然后执行参照图像组的边界层的渲染。然后，自由视点图像合成单元1702通过合成各渲染图像在任意视点位置处生成图像数据(自由视点图像数据)。图18是示出自由视点图像合成单元1702的处理的流程图。
在步骤S2101中，自由视点图像合成单元1702获取由用户指定的任意视点(以下，称为“自由视点”)的位置信息。在本实施例中，自由视点的位置信息是指示图2A所示的视点1的位置取为基础的情况下的自由视点的位置的坐标信息。在取为基础的视点1的坐标被认为是(0.0，0.0)的情况下，分别地，图2B所示的视点2由坐标(1.0，0.0)示出，图2C所示的视点3由坐标(0.0，1.0)示出，并且图2D所示的视点4由坐标(1.0，1.0)示出。这里，例如，在用户希望合成自由视点为视点1～4的中间位置的图像的情况下，用户输入坐标(0.5，0.5)。定义坐标的方法不限于上述方法，并且也能够将视点1以外的位置取为基础。并且，输入自由视点的位置信息的方法不限于上述的直接输入坐标的方法。例如，在如图1A所示的那样布置图像捕获单元的情况下，也能够在显示单元309上显示指示图像捕获单元103～106的布置的UI画面(未示出)，由此使得用户能够通过触摸操作等指定期望的自由视点。
在步骤S2102中，自由视点图像合成单元1702设定在生成自由视点图像数据时参照的多个视点图像(以下，称为“参照图像组”)。在本实施例中，自由视点图像合成单元1702将接近所指定的自由视点的位置的四个视点图像设定为参照图像组。如上所述，坐标(0.5，0.5)被指定为自由视点的位置的情况下的参照图像组由图2A～图2D所示的视点1～4的视点图像组成。构成参照图像组的视点图像的数量不限于4个，并且，参照图像组可以由围绕指定的自由视点的三个视点图像构成。并且，参照图像组仅需要是对应于包围指定自由视点的位置的视点的一组图像，因此，例如，也能够将在不最接近指定的自由视点的位置的四个视点位置处捕获的视点图像设定为参照图像组。
在步骤S2103中，自由视点图像合成单元1702执行生成参照图像的主层的三维模型的处理。通过相互连接包括与被照体边界无关的普通像素的四个像素来构建四边形网格而生成主层的三维模型。在图19A中，示出生成主层的三维模型的方式。如图19A所示，例如，通过连接作为包括普通像素并且均不与被照体边界2001有关的4个像素的像素(一个普通像素2004、一个普通像素2201和两个边界像素2202和2203)来构建四边形网格2204。通过反复执行这样的处理，构建均形成主层的三维模型的所有的四边形网格。此时的四边形网格的最小尺寸为1像素×1像素。在本实施例中，所有的主层由具有1像素×1像素的尺寸的四边形网格构建，但也能够通过更大的四边形网格构建主层。并且，还能够通过具有诸如三角形网格的四边形以外的形状的网格构建主层。
如上面描述的那样构建的由一个像素构成的四边形网格的X坐标和Y坐标对应于从视点图像的照相机参数计算的全局坐标，并且，Z坐标对应于从距离信息获得的各像素到被摄体的距离。然后，自由视点图像合成单元1702通过将各像素的颜色信息纹理映射到四边形网格，生成主层的三维模型。
解释返回到图18中的流程图。
在步骤S2104中，自由视点图像合成单元1702在自由视点位置处执行参照图像的主层的渲染。具体而言，自由视点图像合成单元1702在步骤S2101中所获取的自由视点位置处执行在步骤S2103中生成的参照图像的主层的三维模型的渲染。
对参照图像组的各参照图像，执行步骤S2103和S2104的处理。
在图19B中，示出执行主层的渲染的方式。在图19B中，水平轴表示X坐标，竖直轴表示Z坐标。并且，在图19B中，假定在边界像素2404和2405之间存在被照体边界(未示意性示出)。并且，在图19B中，分段2401和2402(以下，有时也被表示为边界层2401和2402或四边形网格2401和2402)分别指示从由白色倒置三角形指示的参照图像的视点(以下，称为“参照视点”)2403生成三维模型的情况下的主层的四边形网格。即，在图19B所示的例子中，作为主层的三维模型，生成连接普通像素2406和边界像素2404的四边形网格2401和连接普通图像2407和边界图像2405的四边形网格2402。通过在由黑色倒置三角形指示的自由视点2408处执行四边形网格2401和2402的渲染获得的图像是所渲染的图像。在渲染处理中，没有颜色存在的像素部分作为孔留下。在图19B中，箭头2409和2410分别指示在参照视点2403和自由视点2408处观察四边形网格2402的哪个位置。在位于参照视点2403左侧的自由视点2408处，四边形网格2402位于参照视点2403的右侧。类似地，箭头2411和2412分别指示在参照视点2403和自由视点2408处观察四边形网格2401的哪个位置。
解释返回到图18中的流程图。
在步骤S2105中，自由视点图像合成单元1702通过整合(integrate)指定的自由视点位置处的主层的渲染结果获得主层的整合图像数据。在本实施例中，从参照图像的主层生成的(4个)渲染图像被整合。对各像素执行整合处理，并且，通过使用各渲染图像的加权平均(具体而言，基于指定的自由视点的位置和到参照图像的距离的加权平均)计算整合之后的颜色。例如，在指定的自由视点的位置与对应于各参照图像的四个视点位置等距的情况下，对应于各渲染图像的权重是相同的并且是0.25。另一方面，在指定的自由视点的位置接近任何参照图像的视点位置的情况下，距离越小，权重越大。寻找平均颜色的方法不局限于此。并且，各渲染图像的孔部分(没有构建四边形网格的像素)不被认为是整合时的颜色计算的对象。即，对于渲染图像中的任一个中的孔部分，通过使用针对在该部分处没有孔的渲染图像的加权平均，计算整合之后的颜色。在所有渲染图像中存在孔的部分被留作孔。
解释返回到图18中的流程图。
在步骤S2106中，自由视点图像合成单元1702生成参照图像的边界层的三维模型。在与被照体边界接触的边界层中，在生成网格时不执行与相邻像素的连接。具体而言，自由视点图像合成单元1702通过为一个像素构建一个四边形网格生成边界层的三维模型。在图19C中，示出生成边界层的三维模型的方式。自由视点图像合成单元1702对边界像素2301构建尺寸为1像素×1像素的四边形网格2302。自由视点图像合成单元1702对边界像素重复执行这样的处理，并且构建均形成边界层的三维模型的所有四边形网格。如上面描述的那样构建的由一个像素构成的四边形网格的X坐标和Y坐标对应于从视点图像的照相机参数计算的全局坐标，并且Z坐标对应于从距离信息获得的各边界像素到被摄体的距离。然后，自由视点图像合成单元1702通过利用各边界像素的颜色信息作为四边形网格的颜色，生成边界层的三维模型。对参照图像组的各参照图像，执行步骤S2106的处理。
解释返回到图18中的流程图。
在步骤S2107中，自由视点图像合成单元1702执行参照图像的边界层的渲染。图19D是示出执行边界层的渲染的方式的示图。与图19B同样，在图19D中，水平轴表示X坐标，竖直轴表示Z坐标。并且，在图19D中，假定在边界像素2404和边界像素2405之间存在被照体边界(未示意性地示出)。并且，在图19D中，分段2501和2502(以下，有时也示出为边界层2501和2502或四边形网格2501和2502)分别指示从由白色倒置三角形指示的参照视点2403生成三维模型的情况下的边界层的四边形网格。边界层2501和2502分别是具有边界像素2405和2404上的距离信息和颜色信息并且由一个像素构成的四边形网格。通过在步骤S2101中所指定的自由视点(由图19D中的黑色倒置三角形指示的自由视点2408)的位置处执行分别由一个像素构成的四边形网格2501和2502的渲染获得的图像是边界层的渲染图像。在边界层的渲染处理中，同样，没有颜色存在的部分(没有构建四边形网格的像素)被留作孔。然后，自由视点图像合成单元1702对参照图像组的所有参照图像执行上述的渲染处理，并且获得边界层的渲染图像组。在图19D中，箭头2503和2504分别指示在参照视点2403和自由视点2408处观看四边形网格2502的哪个位置。在位于参照视点2403的左侧的自由视点2408处，四边形网格2502位于参照视点2403的右侧。
解释返回到图18中的流程图。
在步骤S2108中，自由视点图像合成单元1702通过整合边界层的渲染图像组获得边界层的整合图像数据。此时，通过与步骤S2105的处理相同的整合处理，从四个视点图像生成的边界层的(4个)渲染图像被整合。
解释返回到图18中的流程图。
在步骤S2109中，自由视点图像合成单元1702通过整合在步骤S2105获得的主层的整合图像数据和在步骤S2108中获得的边界层的整合图像数据，获得两层整合图像数据。这里也对各像素执行整合处理。此时，与从边界层的整合图像相比，从主层的整合图像稳定地获得具有更高精度的图像，因此，优先利用主层的整合图像。因此，仅在主层的整合图像中存在孔并且边界层的整合图像中没有孔的情况下，才通过使用边界层的颜色执行补充。在主层的整合图像中以及边界层的整合图像中均存在孔的情况下，该部分留作孔。通过上述处理，自由视点图像合成单元1702获得两层整合图像数据。
在本实施例中按照主层的渲染和边界层的渲染的顺序执行处理的原因是抑制被照体边界附近的图像质量劣化。
在步骤S2110中，自由视点图像合成单元1702执行孔填充处理。具体而言，自由视点图像合成单元1702通过使用外围颜色补充在步骤S2109中获得的在两层整合图像数据中留作孔的部分。在本实施例中，通过从孔填充目标像素的外围像素中选择距离数据表现出较大值的像素，执行孔填充处理。对于孔填充处理，可以采用另一种方法。
在步骤S2111中，自由视点图像合成单元1702输出完成了孔填充处理的自由视点图像数据。
(自由焦点图像生成单元)
对自由焦点图像生成单元314进行解释。自由焦点图像生成单元314经由总线303从编码单元313输入多维信息格式。这里，在多维信息格式存储于外部存储器中的情况下，自由焦点图像生成单元314经由外部存储器控制单元312从外部存储器读取多维信息格式就够了。通过使用图8C、图8D和图8E，解释输入到自由焦点图像生成单元314的数据和从自由焦点图像生成单元314输出的数据。
本实施例的自由焦点图像生成单元314从输入的多维信息格式获取不同聚焦位置的多视点图像数据和生成自由焦点图像的视点的距离数据。通过输入到操作单元307的用户操作，指定生成自由焦点图像的视点。
自由焦点图像生成单元314生成并输出聚焦位置与输入的多视点图像数据的聚焦位置不同的图像数据(自由焦点图像数据)807。输出的数字数据经由总线303以多维信息格式存储于编码单元313中。此时，编码单元313将对应于自由焦点图像数据807的视点数据添加到多维信息格式内的管理信息，并且进一步与视点数据关联地添加对应于自由焦点图像数据807的焦点数据。在多维信息格式存储于外部存储器中的情况下，自由焦点图像生成单元314通过利用生成的自由焦点图像数据807更新存储于外部存储器中的多维信息格式就够了。
图20是示出根据第一实施例的自由焦点图像生成单元314的处理的流程图。在本实施例中，在假定自由焦点图像生成单元314是图像捕获装置101内的一个组件的基础上进行解释，但是自由焦点图像生成单元314的功能可以由诸如PC的外部装置实现。即，本实施例中的自由焦点图像生成单元314也能够实现为图像捕获装置的一个功能或者独立的图像处理装置。
在步骤S2601中，自由焦点图像生成单元314获取不同聚焦位置的多视点图像数据和距离数据。这里，获得多视点图像数据709(图像数据701、702、703、704)、与多视点图像数据709不同的聚焦位置的多视点图像数据710(图像数据705、706、707、708)和生成自由焦点图像的视点的距离数据801，如图8C所示。以下，多视点图像数据709的聚焦位置被称为“焦点1”，多视点图像数据710的聚焦位置被称为“焦点2”。并且，多视点图像数据709的图像数据701、702、703和704的视点位置分别被称为“视点1”、“视点2”、“视点3”和“视点4”。类似地，多视点图像数据710的图像数据705、706、707和708的视点位置分别被称为“视点1”、“视点2”、“视点3”和“视点4”。并且，对应于视点n和焦点M的图像被表示为“图像(视点n，焦点m)”。
图21A～图21D是用于解释自由焦点图像数据的生成处理的示图。这里，以用户选择“视点1”作为生成自由焦点图像的视点的情况为例子。图21A示出由图像数据701表示的图像，即，图像(视点1，焦点1)。图21B示出由图像数据705表示的图像，即图像(视点1，焦点2)。在图21A中，被照体2701和2702对焦，被照体2703和2704离焦。相反，在图21B中，被照体2703和2704对焦，被照体2701和2702离焦。图21C和图21D分别示出通过后面描述的步骤S2604中的处理生成的自由焦点图像。
在图8D和图8E中，示出多视点图像数据和生成的自由焦点图像的场深。竖直轴表示Z方向(距离)。场深2801是包括图像数据701的多视点图像数据709的场深。双向箭头的垂直方向上的位置和长度指示场深的位置和范围。场深2802是包括图像数据705的多视点图像数据710的场深。场深2803是图21C所示的被照体2701对焦的自由焦点图像的场深。场深2804是图21D所示的被照体2704对焦的自由焦点图像的场深。
解释返回到图20中的流程图。
在步骤S2602中，自由焦点图像生成单元314选择要聚焦的被摄体并且获取到被摄体的距离。在本实施例中，通过向操作单元307输入的用户操作选择要聚焦的被摄体。例如，也能够显示图21A或图21B所示的图像的缩略图，并且用户能够通过触摸操作等从缩略图中选择要聚焦的被摄体。还能够在没有用户操作的情况下将由面部检测等识别的被摄体指定为要聚焦的被摄体。例如，在指定被照体2701内的像素的情况下，自由焦点图像生成单元314从对应视点的距离数据801获取被照体2701的代表性距离值。代表性距离值是指定像素位置的外围块(例如，3×3块)的中值(median)。找到代表性距离值的方法不限于此，并且可以使用另一种方法，诸如用外围块的平均值的方法和使用指定像素位置的距离值的方法。
解释返回到图20中的流程图。
在步骤S2603中，自由焦点图像生成单元314基于在步骤S2602中获取的被摄体的距离选择多视点图像数据。
这里，解释步骤S2603中的处理的细节。这里，以根据图7B所示的多维信息格式(文件夹1101)将多视点图像数据存储于存储介质中的情况为例子。
首先，自由焦点图像生成单元314参照在文件夹1101内的管理文件1102中描述的管理信息(具体而言，多视点数据1001)并且获取视点数量。
并且，自由焦点图像生成单元314获取对应于获取的视点数量的视点数据。例如，在视点数量为4的情况下，获取视点数据1002-1～1002-4。
并且，自由焦点图像生成单元314从与各视点数据相关联的焦点数据获取对应于到被摄体的距离的焦点数据。在本实施例中，自由焦点图像生成单元314参考在焦点数据中描述的照相机内部参数(例如，f光阑、对焦时的AF信息)，并且确定被摄体是否包含于由照相机内部参数指示的场深内。然后，在确定包含被摄体的情况下，自由焦点图像生成单元314获取焦点数据作为对应于到被摄体的距离的焦点数据。
最后，自由焦点图像生成单元314参照在获取的焦点数据中描述的图像数据的指针，并从文件夹1101读取图像数据。
通过这样的处理，当在步骤S2602中指定被照体2701的情况下，选择具有包含被照体2701的场深的多视点图像数据。具体而言，选择具有包含场深2803的场深2801的多视点图像数据709。并且，例如，当在步骤S2602中指定被照体2704的情况下，选择具有包含被照体2704的场深的多视点图像数据。具体而言，选择具有包含场深2804的场深2802的多视点图像数据710。在步骤S2604中的再次聚焦处理(聚焦位置的改变处理)中使用选择的多视点图像数据。
解释返回到图20中的流程图。
在步骤S2604中，自由焦点图像生成单元314通过使用在步骤S2603中选择的多视点图像数据执行再次聚焦处理。在本实施例的再次聚焦处理中，多视点图像偏移，并且，获取由用户选择的被摄体对焦的自由焦点图像。具体而言，通过执行多视点图像数据的偏移加法运算来执行再次聚焦处理。基于在步骤S2602中获取的距离值确定偏移量。
通过使用图22A和图22B解释偏移加法运算。图22A和图22B是用于解释偏移加法运算的示图。假定图22A所示的图像是由图像数据701表示的图像(视点1(左眼视点)的图像)，并且是在偏移加法运算中被视为基准的图像。还假定图22B所示的图像是由图像数据702表示的图像(视点2(右眼视点)的图像)，并且是在偏移加法运算中偏移的图像。在步骤S2602中获得的距离值对应于被照体2701的视差2901。在希望使被照体2701对焦的情况下，自由焦点图像生成单元314通过视差2901使视点2(右眼视点)的图像在向右方向(图22B中的向右方向)上偏移，并且将视点2(右眼视点)的偏移图像与作为基准的视点1的图像相加。使用“将图像相加”等的措辞，但是具体而言，这意指将代表图像的图像数据(像素值)相加。在视差2901处于相反方向上的情况下，通过视差2901使视点2(右眼点)的图像在向左方向(图22B中的向左方向)上偏移就够了。自由焦点图像生成单元314通过将视点1的图像取为基准并且将另一视点(视点3、视点4)的图像取为被偏移的图像，执行相同的处理。通过以这种方式整合被取为基准的图像数据701和三项偏移的图像数据702、703和704，生成被照体2701对焦的自由焦点图像数据807。
当在步骤S2602中指定被照体2701的情况下，由在步骤S2604中生成的自由焦点图像数据807表示的图像(如图21C所示)是只有被照体2701对焦并且被照体2702、2703和2704离焦的图像。并且，如图8D所示，图像的场深(图8D所示的场深2803)的范围比多视点图像数据709的场深2801的范围窄。即，所述图像是场深比由多视点图像数据709表示的图像的场深浅的图像。
并且，当在步骤S2602中指定被照体2704的情况下，由在步骤S2604中生成的自由焦点图像数据807表示的图像(图21D所示的图像)是只有被照体2704对焦并且被照体2701、2702和2703离焦的图像。如图8E所示，图像的场深(图8E所示的场深2804)的范围比多视点图像数据710的场深2802的范围窄。即，所述图像是场深比由多视点图像数据710表示的图像的场深浅的图像。
在步骤S2605中，自由焦点图像生成单元314输出生成的自由焦点图像数据807。
如上所述，在本实施例中，数据记录装置(对应于图5所示的编码单元313、附加信息生成单元316、自由视点图像生成单元315和自由焦点图像生成单元314)使多个聚焦位置的图像数据、多个视点位置的图像数据、距离数据和区域分割数据相互关联，并按照预先确定的格式将它们存储于存储介质中。因此，能够出于更多的使用目的利用通过用照相机阵列或全光照相机执行图像捕获所获得的图像数据。例如，能够在诸如图像捕获之后改变视点位置的处理的图像处理中利用图像数据。并且，能够在诸如在图像捕获之后调整聚焦位置的处理和控制场深的处理的再次聚焦处理中使用图像数据。
并且，在本实施例中，由自由焦点图像生成单元314和自由视点图像生成单元315生成的图像数据以多维信息格式被存储。因此，通过利用根据本实施例的多维信息格式，使得在图像处理中不仅能够使用捕获的图像数据，而且能够使用从捕获的图像数据生成的图像数据。
并且，通过使用本实施例中的格式，图像数据、距离数据和区域分割数据相互关联地被记录，因此，使得容易访问数据。即，使得能够快速地执行利用数据的图像处理。
第二实施例
在第一实施例中，将基准视点的距离数据用于自由焦点图像生成。即，在第一实施例中，使用距离数据作为再次聚焦处理的偏移量。在本实施例中，将基准视点的距离数据和区域分割数据用于自由焦点图像生成。因此，实现使各被照体对焦的再次聚焦处理。以下，省略了与第一实施例共同的部分的解释，并且主要解释作为不同点的自由焦点图像生成单元314中的处理。
本实施例的自由焦点图像生成单元314除了不同聚焦位置的多视点图像数据和生成自由焦点图像的视点的距离数据之外还输入区域分割数据。
本实施例的自由焦点图像生成单元314与第一实施例的相同，并且生成和输出与输入的多视点图像数据的聚焦位置不同的聚焦位置的自由焦点图像数据807。输出的数字数据经由总线303以多维信息格式存储于编码单元313中。图23是示意性地示出通过根据第二实施例的自由焦点图像生成单元314输入和输出的数据的示图。
图24是示出根据第二实施例的自由焦点图像生成单元314的处理的流程图。这里，以用户选择“视点1”作为生成自由焦点图像的视点的情况为例子。
在步骤S3101中，自由焦点图像生成单元314获取不同聚焦位置的多视点图像数据、距离数据和区域分割数据。如图23所示，这里，除了图8C所示的多视点图像数据709、与多视点图像数据709的聚焦位置不同的聚焦位置的多视点图像数据710和生成自由焦点图像的视点的距离数据801以外，还输入区域分割数据802。
在步骤S3102中，自由焦点图像生成单元314获取要对焦的区域(目标区域)和到目标区域中的被摄体的距离。在本实施例中，假定通过输入到操作单元307的用户操作对要对焦的目标区域进行选择。例如，还能够在显示单元309上显示图21A或图21B所示的图像的缩略图，并且用户能够通过触摸操作等从缩略图中选择要对焦的目标区域。还能够将通过面部检测等识别的目标区域指定为要对焦的区域。例如，在选择图21A或图21B所示的被照体2701作为目标区域的情况下，自由焦点图像生成单元314从距离数据801获取目标区域中的各像素的距离值。并且，在被照体2704被选择为目标区域的情况下，自由焦点图像生成单元314从距离数据801获取目标区域中的各像素的距离值。
解释返回到图24中的流程图。
在步骤S3103中，自由焦点图像生成单元314基于在步骤S3102中选择的到目标区域中的被摄体的距离选择多视点图像数据。步骤S3103中的多视点图像数据的选择处理与步骤S2603中的处理相同，因此，省略详细说明。在步骤S3104中的再次聚焦处理(聚焦位置的改变处理)中使用所选择的多视点图像数据。当在步骤S3102中指定被照体2701的情况下，选择具有包含被照体2701的场深(在图8D所示的例子中，为场深2801)的多视点图像数据709。当在步骤S3102中指定被照体2704的情况下，选择具有包含被照体2704的场深(在图8E所示的例子中，为场深2802)的多视点图像数据710。
解释返回到图24中的流程图。
在步骤S3104中，自由焦点图像生成单元314通过利用在步骤S3103中选择的多视点图像数据执行再次聚焦处理。在本实施例的再次聚焦处理中，偏移多视点图像数据，并且，获取由用户选择的目标区域(被照体)对焦的自由焦点图像。具体而言，通过执行多视点图像数据的偏移加法运算，执行再次聚焦处理。此时的偏移量基于在步骤S3102中获取的目标区域的距离值被确定。
通过使用图22A和图22B以及图25A和图25B解释偏移加法运算。图25A和图25B是用于解释根据第二实施例的偏移加法运算的示图。与图22A所示的图像类似，假定图25A所示的图像是由图像数据701表示的图像(视点1(左眼视点)的图像)，并且是在偏移加法运算中被取为基准的图像。与图22B所示的图像类似，假定图25A所示的图像是由图像数据702表示的图像(视点2(右眼视点)的图像)，并且是在偏移加法运算中偏移的图像。在步骤S3102中所获取的距离值中，被照体2701的鼻子区域中的距离值对应于视差3201。
这里，在视差2901和视差3201具有不同视差量的情况下，通过在第一实施例中的再次聚焦处理方法，在基于视差2901执行偏移加法运算的情况下，被照体2701的眼睛对焦并且被照体2701的鼻子没有对焦。在基于视差3201执行偏移加法运算的情况下，被照体2701的鼻子对焦，并且被照体2701的眼睛没有对焦。
即，在希望使整个被照体2701对焦的情况下，必须通过改变偏移量执行加法运算。在希望使被照体2701对焦的情况下，视点2(右视点)的图像以眼睛的区域通过视差1901偏移并且鼻子的区域通过视差3201偏移的方式在向右方向(图25B中的向右方向)上偏移，然后，偏移图像与作为基准的视点1的图像相加。在视差方向相反的情况下，以眼睛的区域通过视差1901偏移并且鼻子的区域通过视差3201偏移的方式在向左方向(图25B中的向左方向)上使视差2(右视点)的图像偏移就够了。对于被照体2701以外的区域，通过代表性视差使区域偏移，例如，通过眼睛的区域的视差2901使区域偏移。
自由焦点图像生成单元314通过以视点1的图像为基准并且以另一视点(视点3、视点4)的图像为偏移的图像，执行相同的处理。通过以这样的方式整合作为基准的图像数据701和三项偏移的图像数据702、703和704，生成被照体2701对焦的自由焦点图像数据807。
随后的处理与第一实施例的相同。
在本实施例中，为了简化解释，在再次聚焦处理中，使得眼睛的区域的偏移量与被照体2701内的鼻子的区域的偏移量不同，但是实际上，关于被照体270内的眼睛和鼻子之外的区域，通过使得偏移量相互不同，执行再次聚焦处理。
如上所述，在本实施例中，在图像捕获后的自由焦点图像生成中，通过不仅利用基准视点的距离数据而且利用基准视点的区域分割数据，执行再次聚焦处理。由此，不仅获得与第一实施例的效果相同的效果，而且还使得能够对于通过用照相机阵列或全光照相机执行图像捕获所获得的图像数据适当地使由用户指定的被照体对焦。
其他实施例
也可通过读出并执行记录于存储介质(也可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能并且/或者包含用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，应用特定集成电路(ASIC))的系统或装置的计算机，或者，通过由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能执行的方法，实现本发明的实施例。计算机可包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可包含单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可例如从网络或存储介质被提供给计算机。存储介质可包含例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧致盘(CD)、数字万用盘(DVD)或蓝光盘(BD)TM)、快擦写存储器设备和记忆卡等中的一个或更多个。
虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有的变更方式以及等同的结构和功能。
本申请要求在2015年12月17日提交的日本专利申请No.2015-246229的权益，在这里通过引用并入其全部内容。