质的可移除介质612上。可替选地，程序可以通过有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。
[0217]在计算机中，可以在将可移除介质612安装在驱动器611上时通过输入/输出接口 605将程序安装至存储单元609中。还可以由通信单元610通过有线或无线传输介质接收程序并且将程序安装至存储单元609中。可替选地，可以预先将程序安装至ROM 602或存储单元609中。
[0218]待由计算机执行的程序可以为用于根据在本说明书中描述的顺序以时间顺序执行处理的程序，或者可以为用于并行执行处理的程序或在必要例如存在呼叫时执行处理的程序。
[0219]应当注意，本公开的实施例并不限于上述实施例，可以在不脱离本公开的范围的前提下对上述实施例进行各种修改。
[0220]例如，可以使用超多视点图像生成除重聚焦图像之外的图像(例如具有与捕获图像的亮度不同的亮度的图像)。
[0221]参考视点的视差值以及参考视点的遮挡区域的视差值可以为如下值:该值基于除与各个层级对应的对的最高相关性视差值的平均值之外的最高相关性视差值(例如最高相关性视差值的最大值)。
[0222]另外，成像设备10可以不存储分层表。在这种情况下，如果仅存在一种最高相关性视差值，则将该最高相关性视差值设置为参考视点的视差值。另一方面，如果存在两种或更多种最高相关性视差值，则将具有参考视点的对的最高相关性视差值设置为参考视点的视差值，以及将最高相关性视差值中在较远侧的最高相关性视差值设置为参考视点的遮挡区域的视差值。
[0223]待经历相关性检测的捕获图像的对的数目在上述实施例中为16，但可以不是16。在采用根据对比度检测相关性值的方法作为相关性检测方法的情况下，可以生成三个或更多个捕获图像的相关性值。
[0224]另外，本技术不但可以应用于通过成像单元获得许多视点的捕获图像的成像设备，而且可以应用于通过成像透镜和微透镜阵列获得许多视点的捕获图像的成像设备。
[0225]本公开还可以实施为以下描述的结构。
[0226](1) 一种图像处理设备，包括:
[0227]计算单元，所述计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
[0228]生成单元，所述生成单元基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。
[0229](2)根据⑴所述的图像处理设备，其中，所述生成单元基于作为与所述相关性值中的最高相关性值对应的视差值的最高相关性视差值来生成所述视点视差图像以及所述遮挡视差图像。
[0230](3)根据(2)所述的图像处理设备，其中，所述生成单元基于所述多对视点中的第一对的最高相关性视差值来生成所述视点视差图像，以及基于第二对的最高相关性视差值来生成所述遮挡视差图像，在所述多对视点中所述第二对与所述第一对不同。
[0231](4)根据(3)所述的图像处理设备，其中，所述生成单元使用多个所述第一对的最高相关性视差值的平均值作为所述视点视差图像的视差值，以及使用多个所述第二对的最高相关性视差值的平均值作为所述遮挡视差图像的视差值。
[0232](5)根据(3)或(4)所述的图像处理设备，其中，所述生成单元基于使相应对的相关性值的模式与所述第一对和所述第二对相关联的表来生成所述视点视差图像以及所述遮挡视差图像。
[0233](6)根据⑴至(5)中任一项所述的图像处理设备，还包括:
[0234]虚拟视点图像生成单元，所述虚拟视点图像生成单元被配置成基于所述多对视点的捕获图像以及由所述生成单元生成的所述参考视点的视差图像来生成虚拟视点的捕获图像。
[0235](7)根据(6)所述的图像处理设备，还包括:
[0236]虚拟焦点图像生成单元，所述虚拟焦点图像生成单元被配置成使用所述多对视点的捕获图像以及由所述虚拟视点图像生成单元生成的虚拟视点的捕获图像来生成虚拟焦点的捕获图像。
[0237](8) —种图像处理方法，包括:
[0238]计算步骤，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
[0239]生成步骤，基于在所述计算步骤中计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一，
[0240]所述计算步骤和所述生成步骤由图像处理设备来执行。
[0241](9) 一种图像处理设备，包括:
[0242]计算单元，所述计算单元被配置成使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
[0243]生成单元，所述生成单元被配置成基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。
[0244](10) —种图像处理方法，包括:
[0245]计算步骤，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
[0246]生成步骤，基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一，
[0247]所述计算步骤和所述生成步骤由图像处理设备来执行。
[0248]附图标记列表
[0249]10成像设备
[0250]13图像处理单元
[0251]21检测单元
[0252]22虚拟视点图像生成单元
[0253]23重聚焦图像生成单元
[0254]61-1至61-6相关性生成单元
[0255]63生成单元
【主权项】
1.一种图像处理设备，包括: 计算单元，所述计算单元被配置成使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及 生成单元，所述生成单元被配置成基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。2.根据权利要求1所述的图像处理设备，其中，所述生成单元基于作为与所述相关性值中的最高相关性值对应的视差值的最高相关性视差值来生成所述视点视差图像以及所述遮挡视差图像。3.根据权利要求2所述的图像处理设备，其中，所述生成单元基于所述多对视点中的第一对的最高相关性视差值来生成所述视点视差图像，以及基于第二对的最高相关性视差值来生成所述遮挡视差图像，在所述多对视点中所述第二对与所述第一对不同。4.根据权利要求3所述的图像处理设备，其中，所述生成单元使用多个所述第一对的最高相关性视差值的平均值作为所述视点视差图像的视差值，以及使用多个所述第二对的最高相关性视差值的平均值作为所述遮挡视差图像的视差值。5.根据权利要求3所述的图像处理设备，其中，所述生成单元基于使相应对的相关性值的模式与所述第一对和所述第二对相关联的表来生成所述视点视差图像以及所述遮挡视差图像。6.根据权利要求1所述的图像处理设备，还包括: 虚拟视点图像生成单元，所述虚拟视点图像生成单元被配置成基于所述多对视点的捕获图像以及由所述生成单元生成的所述参考视点的视差图像来生成虚拟视点的捕获图像。7.根据权利要求6所述的图像处理设备，还包括: 虚拟焦点图像生成单元，所述虚拟焦点图像生成单元被配置成使用所述多对视点的捕获图像以及由所述虚拟视点图像生成单元生成的虚拟视点的捕获图像来生成虚拟焦点的捕获图像。8.—种图像处理方法，包括: 计算步骤，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及 生成步骤，基于在所述计算步骤中计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一， 所述计算步骤和所述生成步骤由图像处理设备来执行。9.一种图像处理设备，包括: 计算单元，所述计算单元被配置成使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及 生成单元，所述生成单元被配置成基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。10.一种图像处理方法，包括: 计算步骤，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及 生成步骤，基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一， 所述计算步骤和所述生成步骤由图像处理设备来执行。
【专利摘要】本发明涉及能够以高精度和小的计算量生成多个视点的视差图像的图像处理设备和图像处理方法。相关性生成单元使用从多个视点捕获的捕获图像计算从多个视点的对捕获的捕获图像的相关性值。基于相关性值，生成单元生成包括作为多个视点之一的标准视点的视差值的视差图像以及包括遮挡区域的视差值的视差图像，作为不同标准视点的分层视差图像。本发明可以应用于光场相机等图像处理设备。
【IPC分类】G06T19/00, G06T1/00, H04N13/02
【公开号】CN105247860
【申请号】CN201480030688
【发明人】井藤功久, 早坂健吾, 森浩典
【申请人】索尼公司
【公开日】2016年1月13日
【申请日】2014年5月23日
【公告号】US20160105660, WO2014196374A1