生成场景的分层深度数据的方法与流程

本发明涉及分层深度数据，更确切地说，涉及利用光场内容的属性的分层格式，无论那些光场内容是视频还是画面。

背景技术：

在立体或多视图系统中，仅在格式化数据时考虑场景的水平尺寸。在例如由相机被水平对准的情况下由相机装备组成的采集系统的情况下，仅可以提取3d视图之间的水平视差。基于深度图像的呈现技术众所周知为在捕获的视图之间内插中间视图但总是在水平方向上进行。

在多视图图像中，图像之间存在大量冗余。分层深度视频格式或ldv是一种众所周知的格式化解决方案用于格式化多视图图像，其减少图像之间的冗余信息量。在ldv中，选择参考中心图像，并且提供由多视图图像的其它图像带来的信息，其是在中心图像中被遮挡的主要区域。ldv格式然后由表示处理多视图图像的必要信息的四个层组成：

-选择的中心图像，

-与选择的中心图像相关联的深度图，

-遮挡图像，

-和深度遮挡图。

因此，只有非冗余的信息才被传送到呈现设备。这些信息被包括在从深度遮挡图生成的遮挡掩模(mask)中。

与多视图上下文中使用的其它格式一样，ldv格式包含单个水平遮挡层，因此无法呈现揭示多层去遮挡的视点，这可能发生在宽的轴间距离情况下看见的复杂场景。

考虑到前述内容，设计了本发明。

技术实现要素：

根据本发明的第一方面，提供一种用于生成场景的分层深度数据的计算机实现的方法，包括：

-根据表示场景的光场内容计算图像的深度图，所述图像是根据给定的观看方向观看的，

-在与来自光场内容的图像的观看方向不同的第一方向上计算与来自光场内容的图像相关联的第一组遮挡信息，

-在与来自光场内容的图像的观看方向以及第一方向不同的至少第二方向上计算与来自光场内容的图像相关联的至少第二组遮挡信息，

-聚合来自光场内容的图像、深度图、第一组遮挡信息和第二组遮挡信息，以生成场景的分层深度数据。

根据本发明的实施例的方法不限于由光学设备直接获取的光场内容。这些内容可以是由计算机完全或部分地模拟用于给定的场景描述的计算机图形图像(cgi)。光场内容的另一个来源可以是经过修改的后期制作数据，例如颜色分级，从光学设备或cgi获得的光场内容。现在在电影工业中常见的是具有使用光学采集设备获取的数据和cgi数据二者的混合。

根据本发明的实施例的方法依赖于光场内容的使用，该光场内容在每个方向上提供视差并且使得能够在与所考虑的图像的观看方向不同的多个方向上改变视点。

依赖于光场内容的使用的这样的方法使得能够呈现可以揭示多层去遮挡的视点，而这可能发生在宽的轴间距离情况下的复杂场景中。

根据上述方法生成的分层深度数据至少包括来自光场内容的图像、与所述图像相关联的深度图、与所述图像相关联的第一组遮挡信息和第二组遮挡信息。

在本发明的实施例中，光场内容可以是视频内容。

根据用于生成分层深度数据的方法的实施例，将第一组遮挡信息和第二组遮挡信息合并在一起以生成第三组遮挡信息，所述第三组信息与来自光场内容的图像和深度图聚合，以生成场景的分层深度数据。

合并第一和第二组遮挡信息使得能够减少要传送的数据量和要在接收器侧处理的数据量。第一和第二组遮挡信息的合并导致第三组遮挡信息的创建，其可以采取唯一的遮挡信息的形式，以表示在两个所考虑的方向上的遮挡信息。

根据用于生成分层深度数据的方法的实施例，计算第一和第二组遮挡信息在于，将光场内容的图像与第一方向、第二方向上的来自光场内容的另一相邻图像分别进行比较。

例如，考虑到第一方向是关于来自光场内容的图像的观看方向的水平方向，通过将光场内容的图像与来自水平方向上的光场内容的相邻图像进行比较来获得第一组遮挡信息。

考虑到第二方向是关于来自光场内容的图像的观看方向的垂直方向，通过将光场内容的图像与来自垂直方向上的光场内容的相邻图像进行比较来获得第二组遮挡信息。

本发明的另一个目的关注一种用于生成场景的分层深度数据的装置，包括：处理器，被配置为：

-根据表示场景的光场内容计算图像的深度图，该图像是根据给定的观看方向观看的，

-在与来自光场内容的图像的观看方向不同的第一方向上计算与来自光场内容的图像相关联的第一组遮挡信息，

-在与来自光场内容的图像的观看方向以及与第一方向不同的至少第二方向上计算与来自光场内容的图像相关联的至少第二组遮挡信息，

-聚合来自光场内容的图像、深度图、第一组遮挡信息和第二组遮挡信息，以生成场景的分层深度数据。

根据用于生成场景的分层深度数据的装置的实施例，将第一组遮挡信息和第二组遮挡信息合并在一起以生成第三组遮挡信息，所述第三组信息与来自光场内容的图像和深度图聚合，以生成场景的分层深度数据。

根据用于生成场景的分层深度数据的装置的实施例，计算第一和第二组遮挡信息在于，将来自光场内容的图像与来自第一方向、第二方向上的光场内容的另一相邻图像分别进行比较。

本发明的另一个目的关注一种用于处理表示场景的光场内容的方法，所述方法包括基于与场景的光场内容相关联的场景的分层深度数据来处理光场内容，分层深度数据包括来自光场内容的图像的深度图、与来自光场内容的图像相关联的并且在与来自光场内容的图像的观看方向不同的第一方向上计算出的第一组遮挡信息，以及与来自光场内容的图像相关联的并且在与来自光场内容的图像的观看方向不同的第二方向上计算出的至少第二组遮挡信息。

本发明的另一个目的关注一种由能够生成场景的分层深度数据的第一装置传送到能够处理场景的所述分层深度数据的第二装置的信号，所述信号携带包括场景的分层深度数据的消息，所述分层深度数据包括来自场景的光场内容的图像的深度图、与来自光场内容的图像相关联的并且在与来自光场内容的图像的观看方向不同的第一方向上计算出的第一组遮挡信息，以及与来自光场内容的图像相关联的并且在与来自光场内容的图像的观看方向不同的第二方向上计算出的至少第二组遮挡信息，第二装置对捕获图像的处理基于所述分层深度数据。

由本发明的要素实现的一些处理可以由计算机实现。因此，这样的要素可以采用完全硬件实施例，完全软件实施例(包括固件，驻留软件，微代码等)或者组合软件和硬件方面的实施例的形式，其在本文中一般都可以称为“电路”，“模块”或“系统”。此外，这样的要素可以采用体现在任何表示的有形介质(具有体现在介质中的计算机可用程序代码)中的计算机程序产品的形式。

因为本发明的要素可以用软件实现，所以本发明可以体现为用于在任何合适的载体介质上提供给可编程装置的计算机可读代码。有形载体介质可以包括存储介质，例如软盘，cd-rom，硬盘驱动器，磁带设备或固态存储器设备等。瞬态载体介质可以包括诸如电信号，电子信号，光信号，声信号，磁信号或电磁信号例如微波或射频信号之类的信号。

附图说明

现在将仅通过示例并参考以下附图来描述本发明的实施例，其中：

图1a示意性地表示全光相机，

图1b表示相机装备(camerarig)的示意图，

图2a表示在包括至少五个相机的相机阵列的水平方向上对准的三个相机c1，c2，c3以及由这些相机获取的空间部分，

图2b图示在包括至少五个相机的相机阵列的垂直方向上对准的三个相机c4，c2，c5以及由这些相机获取的空间部分，

图3是图示根据本公开的实施例的用于获得场景的分层深度数据的装置的示例的示意框图，

图4是用于说明根据本发明的实施例的生成场景的分层深度数据的处理的流程图，

图5a表示根据本发明的第一实施例生成的场景的分层深度数据，

图5b表示根据本发明的第二实施例生成的场景的分层深度数据。

具体实施方式

如本领域技术人员将理解的，本原理的各方面可以体现为系统，方法或计算机可读介质。因此，本原理的各方面可以采用完全硬件实施例，完全软件实施例(包括固件，驻留软件，微代码等)或者组合软件和硬件方面的实施例的形式，其在本文一般都可以称为“电路”，“模块”或“系统”。此外，本原理的方面可以采用计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任何组合。

通过在主透镜和传感器之间布置微透镜阵列，全光相机能够测量沿着与传感器相交的每束射线行进的光量。由这样的相机获取的数据被称为光场数据或光场内容。可以对这些光场数据进行后处理，以从不同视点重构场景的图像。光场数据可以用于生成焦堆栈，该焦堆栈包括每个具有不同重新聚焦深度的图像集合。结果，用户可以改变图像的焦点。与传统相机相比，全光相机可以获得附加信息，用于通过后处理实现从不同视点重构场景图像并重新聚焦深度。

因此，能够在分层深度视频的上下文中使用光场数据的这些特性。

图1a是示意性地表示全光相机100的图。光场相机能够记录四维(或4d)光场数据。全光相机100包括主透镜101，微透镜阵列102和图像传感器104。

图1b表示相机装备110的示意图。相机装备110包括多个传感器114，每个传感器114与透镜112相关联。

在如图1a所示的全光相机100的示例中，主透镜101接收来自主透镜101的物场中的对象(图中未示出)的光，并使光通过主透镜的像场101。微透镜阵列102包括以二维阵列布置的多个微透镜103。

可以对由光场相机捕获的数据进行后处理，以从不同的视点重构场景的图像。因为光场相机能够从略微改变的视点捕获同一场景的部分视图的集合，所以能够通过组合那些不同的部分视图来创建具有定制的焦平面的图像。

图2a和图2b表示相机阵列(其包括在水平方向上对准的三个相机c1，c2，c3以及在垂直方向上对准的三个相机c4，c2，c5)以及由这些相机获取的空间部分。当然，相机的数量不限于五个，可能少于五个相机或多于五个相机被嵌入相机阵列中。

在图2a中，相机c1，c2和c3沿水平轴对准。屏幕20的第一区域200可从相机c1看到，但不可从相机c2和c3看到，并且屏幕20的第二区域201可从相机c3看到，但不可从相机c2和c1看到。

图2a中的附图标记202是由相机c1观看的场景的图像。图像202的第一部分2020由相机c1和相机c2二者观看。图像202的第二部分2021由相机c1观看并针对相机c2被遮挡。

图2a中的附图标记203是由相机c2观看的场景的图像。

图2a中的附图标记204是由相机c3观看的场景的图像。图像204的第一部分2040由相机c3和相机c2二者观看。图像204的第二部分2041由相机c3观看并针对相机c2被遮挡。

在图2b中，相机c4，c2和c5沿水平轴对准。屏幕20的第一区域210可从相机c4看到，但不可从相机c2看到，并且屏幕20的第二区域211可从相机c5看到，但不可从相机c2看到。

图2b中的附图标记212是由相机c4观看的场景的图像。图像212的第一部分2120由相机c4和相机c2二者观看。图像212的第二部分2121相机c3由相机c4观看并针对相机c2被遮挡。

图2b中的附图标记203是由相机c2观看的场景的图像。

图2b中的参考214是由相机c5观看的场景的图像。图像214的第一部分2140由相机c5和相机c2二者观看。图像214的第二部分2141由相机c5观看并针对相机c2被遮挡。

图3是图出根据本公开的实施例的用于生成场景的分层深度数据的装置的示例的示意框图。

装置300包括通过总线306连接的处理器301，存储单元302，输入设备303，显示设备304和接口单元305。当然，计算机装置300的组成元件可以由除总线连接之外的连接来连接。

处理器301控制装置300的操作。存储单元302存储要由处理器301执行的至少一个程序以及各种数据，包括由光场相机捕获和提供的4d光场图像的数据，由处理器301执行的计算使用的参数，由处理器301执行的计算的中间数据等等。处理器301可以由任何已知和合适的硬件，或软件，或硬件和软件的组合形成。例如，处理器301可以由诸如处理电路之类的专用硬件形成，或者由执行存储在存储器中的程序的诸如cpu(中央处理单元)之类的可编程处理单元形成。

存储单元302可以由能够以计算机可读方式存储程序，数据等的任何合适的贮存器或部件形成。存储单元302的示例包括非暂时性计算机可读存储介质，诸如半导体存储器设备，以及加载到读写单元中的磁，光或磁光记录介质。该程序使得处理器301执行根据本公开的实施例的用于获得表示图像的模糊性水平(leveloffuzziness)的配准误差图的处理，如下文参考图5所述。

输入设备303可以由键盘，诸如鼠标之类的指点设备等形成，以供用户用于输入命令，以使用户选择感兴趣对象的三维(或3d)模型，以定义重新聚焦表面。输出设备304可以由显示设备形成，以显示例如根据本公开的实施例生成的图形用户界面(gui)图像。例如，输入设备303和输出设备304可以通过触摸屏面板一体地形成。

接口单元305提供装置300和外部装置之间的接口。接口单元305可以通过有线或无线通信与外部装置通信。在一个实施例中，外部装置可以是光场相机。在这种情况下，由光场相机捕获的4d光场图像的数据可以通过接口单元305从光场相机输入到装置300，然后存储在存储单元302中。

在该实施例中，将装置300示例性讨论为与光场相机分离并且它们可以通过有线或无线通信彼此通信，但是应该注意，装置300可以与这种光场相机集成。在后一种情况下，装置300可以是例如便携式设备，诸如嵌入光场相机的平板电脑或智能电话。

图4是用于说明根据本公开的实施例的生成场景的分层深度数据的处理的流程图。

在步骤401中，装置300的处理器301取得由光场相机捕获和提供的或存储在装置300的存储单元302中的场景的光场内容。在后一种情况下，光场内容是例如由计算机针对给定场景描述完全或部分地模拟的计算机图形图像(cgi)。

在步骤402中，装置300的处理器301计算针对取得的光场内容的至少一个视点的深度图。从光场内容考虑的视点对应于场景的给定观看方向。对于给定图像，关于深度的信息与视图间视差有关。视图间视差是深度与比例因子的逆函数，其取决于用于获取光场内容的实际或虚拟的光场相机的光学系统的焦距和轴间距离。通过执行对应分析在每个像素的基础上分层级地估计视图间视差，例如在“aprecisereal-timestereoalgorithm”，v.drazic，n.sabater，proceedingsofthe27^thconferenceonimageandvisioncomputing新西兰中所描述的。为了在计算的深度图中呈现平滑的深度变化以及锐利的边缘，可以在深度图的计算期间，使用适当的正则化成本，或者作为后处理，例如通过双边滤波，执行正则化。

针对每个可用的观看方向计算深度图。例如，当通过如图2a和2b表示的相机阵列获取光场内容时，所考虑的图像是由相机c2获取的图像202。执行从左到右的视差估计以得到与由位于相机c2左侧的相机c1获取的图像202相对应的深度图。执行从右到左的视差估计以得到与由位于相机c2右侧的相机c3获取的图像204对应的深度图。

然后，执行从上到下的视差估计以得到与由位于相机c2的顶部的相机c4获取的图像212对应的深度图。执行从下到上的视差估计以得到与由位于相机c2的底部的相机c5获取的图像214对应的深度图。

在步骤403中，处理器301在不同于图像203的观看方向的第一方向上计算与图像203相关联的第一组遮挡信息。

通过比较与两个相邻图像(例如诸如图像202和203)相关联的深度图来检测遮挡。遮挡发生在与两个相邻图像203和202相关联的深度图不一致的区域中。这些对应于由相机c1观看并且针对相机c2被遮挡的图像202的第二部分2021。对应于图像202的部分2021的深度图的这些部分被标记为空，因为通过对应分析估计的深度不可靠，然后用例如基于背景传播的传统方法来填充它们，而保留深度梯度和曲率。

在步骤403期间，可以通过比较与诸如图像203和204的两个相邻图像相关联的深度图来计算另一组遮挡信息。

在步骤404中，处理器301在与图像203的观看方向不同并且与第一方向不同的第二方向上计算与图像203相关联的第二组遮挡信息。

例如，计算与诸如图像212和203的两个相邻图像相关联的深度图。在与两个相邻图像203和212相关联的深度图不一致的区域中发生遮挡。这些对应于由相机c4观看并且针对相机c2被遮挡的图像212的第二部分2121。

在步骤404期间，可以通过比较与诸如图像213和214的两个相邻图像相关联的深度图来计算另一组遮挡信息。

处理器301可以在与图像203的观看方向不同并且与第一方向不同的其它方向上计算与图像203相关联的多于两组的遮挡信息。在步骤405中，处理器301生成场景的分层深度数据。根据上述方法生成的分层深度数据至少包括来自光场内容的图像，与所述图像相关联的深度图，与所述图像相关联的第一组遮挡信息和第二组遮挡信息。

在本发明的实施例中，光场内容可以是视频内容。

在图5a表示的第一实施例中，通过聚合图像203、与图像203相关联的深度图50、以遮挡掩模51形式的第一组遮挡信息以及以遮挡掩模52形式的第二组遮挡信息来生成场景的分层深度数据。在图5b所示的第二实施例中，通过聚合图像203，与图像203相关联的深度图50、以及以遮挡掩模53的形式的第三组遮挡信息来生成场景的分层深度数据。

通过合并第一遮挡信息和第二组遮挡信息集来计算该第三组遮挡信息。

例如，第三组遮挡信息可以包括第一遮挡信息和第二遮挡信息的平均值。在多于两组遮挡信息可用的情况下，处理器301可以例如基于相关联的置信度标准选择它们中的一个作为要用于生成分层深度数据的该组遮挡信息。

在步骤406中，然后将分层深度数据传送给呈现设备或处理设备。

尽管上文已经参考特定实施例描述本发明，但是本发明不限于特定实施例，并且对于本领域技术人员来说显而易见的修改落入了本发明的范围。

在参考仅通过示例的方式给出并且不旨在限制本发明的范围的前述示例性实施例时，对于本领域技术人员暗示的许多进一步的修改和变化仅由所附权利要求确定。具体地，在适当的情况下，可以互换来自不同实施例的不同特征。