具有可调视差方向的三维渲染的制作方法

本公开的领域涉及三维(3d)渲染。

更具体地，本公开涉及一种用于根据关于用户头部相对于3d显示设备的取向的信息来适配渲染视图的方法。

背景技术：

本部分旨在向读者介绍本领域的各个方面，其可能与下面描述和/或要求保护的本公开的各个方面有关。相信该论述有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应该理解的是，这些陈述应当从这个角度来阅读，而不是作为对现有技术的承认。

虽然近来在该技术领域中做出了许多改进，但是3d渲染仍然是深入研究的对象，其中仍有许多问题没有解决。背景技术的获取系统通常包含3d相机装置，其中相机被水平地对齐(或者通过反射镜的实现方式而被视为是等效的)。因此，仅能够评估3d视图之间的水平视差。

已经研发了视图内插的一些算法，特别是用以调整3d的级别。如图1所示，这种内插仅在水平方向上执行。执行该操作所需的输入格式必须包括视图的水平视差(或深度)。该格式可以例如是多视图+深度(multi-view+depth)：左3d视图和右3d视图，以及针对这些视图之间的每个像素对视差进行编码的视差图。

philips/dimenco提出了一种名为“分层深度视频(ldv)”的格式(参照图2)。该格式包含对应于中心相机的视频视图、与该视图相关联的深度图，遮挡层(occlusionlayer)及其深度图。该格式是dimenco多视图监视器的输入格式中的一种。通过该格式，监视器可以在中心视图周围插入外围视图。这些外围视图对应于视图，因为它们将通过水平位移的外围相机获取(图2中的虚线相机)。

在前景对象后面的一些区域在中心视图中被遮挡。这些区域将通过外围视图内插而被去遮挡(disocclude)。这些背景区域通过遮挡层及其深度图来重构。例如，将使用马的左边的背景信息来重构对应于虚拟左边虚线摄像机的视图(图3)。

内插视图的位置范围(对应于虚拟相机离开中央相机的距离)取决于遮挡层中的信息量。在前景对象后面的可获得的信息越多，内插视图离开中心视图可以越远。

在该现有技术的示例中，因为仅有水平信息可用，所以仅能够执行水平视图内插。因此，3d效果仅能够在眼轴(eyeaxis)是水平的情况下才被令人满意地渲染。

因此，期望提供用于3d渲染的方法，其相对于背景技术示出改进。

技术实现要素：

说明书中所提及的“一个实施例”、“实施例”、“示例性实施例”指示所描述的实施例可以包含具体的特征、结构或特性，但是每个实施例可以不必均包含该具体的特征、结构或特性。而且，这样的措词未必指代相同实施例。另外，当参照实施例来描述具体的特征、结构或特性时，应当认为，结合其他实施例来影响这样的特征、结构或特性是在本领域技术人员的认知内(无论是否明确地描述)。

在本技术的一个具体实施例中，公开了一种用于确定要给观看者的经渲染的三维内容的方法，所述方法包含：

输入包含参考视图的参考内容；

输入与相对于显示装置的参考轴的观看者的眼睛取向有关的至少一个信息；

根据参考视图以及与相对于显示装置的参考轴的观看者的眼睛取向有关的信息，确定渲染视图。

在以下的描述中，术语“参考视图”指固定视图，其被用作确定“渲染视图”的参考。这样的“渲染视图”可以通过计算处理或通过选择处理来确定。因此，术语“渲染视图”指从该确定步骤得到的视图。术语“经渲染的三维内容”是参考视图和渲染视图两者的结合，其通过立体视觉向观看者提供所观察的场景的三维视图。在本公开的一个实施例中，参考视图对应于从观看者的左眼看的视图(也称为“左视图”)，而要确定的渲染视图对应于从观看者的右眼看的视图(也称为“右视图”)。本领域技术人员将理解，在另外的实施例中，这样的对应可以反过来，于是，观看者的右眼看见参考视图。在另外的实施例中，这样的视图也可以分配给任何对象，例如安装在无人驾驶的交通工具上并且通过接口单元与操作者以一定距离连接的传感器。

根据本公开的方法依赖于通过根据观看者的眼睛相对于显示装置的参考轴的取向来适配所观察的场景的三维渲染视觉来考虑该场景的不同方法。由此，当观看者倾斜其头部时，本方法的实现方式允许确定要呈送给观看者的眼睛的经适配的渲染内容，以便创建以三维的方式观察场景的幻象。所考虑的观看者的视轴的方向实际上是该轴相比于显示装置的参考轴到显示屏幕上的投影(projection)。

在一个实施例中，所述方法包含根据与相对于显示装置的参考轴的观看者的眼睛的取向有关的信息来确定视差方向，并且确定渲染视图还根据视差方向。

在一个实施例中，参考内容包含描述参考视图中的深度的深度图、或者关于在至少一个给定视图与参考视图之间的视差的信息、或者所述至少一个给定视图，并且确定渲染视图的步骤还根据深度图、或者关于视差的信息、或者所述至少一个给定视图。

术语“深度图”指包含与所观察到的场景离开某个视点的距离有关的信息的图像(在该情况中，参考视图或者渲染视图)。术语“视差(disparity)”或“视差量(parallax)”指两个不同的视图上的对应像素之间在显示装置(或光敏传感器)上的位移。如现有技术已知的那样，能够在视差图和深度图之间切换，两个图都允许立体图像中的深度感知。术语“给定视图”指从另一个视点描绘与参考视图相同的场景对象的视图。

当面对表述“参考内容包含：参考视图[...]、深度图[...]、关于视差的信息[...]”时，本领域技术人员理解，这些不同的数据是所输入的参考内容的部分，或者是可以基于根据背景技术和/或本领域技术人员的一般知识的已知的方法从参考内容明显地得出或提取的信息。因此，在该表述中，术语“包含”可以用表述“包括，或者可以从中提取以下数据”来代替。例如，本领域技术人员将显然能够从包含多个视图的参考内容提取关于这些视图中的至少两个视图之间的视差的信息。

由于利用深度图或者关于视差的信息或者至少一个给定视图，通过限制输入数据的大小，这样的方法具有低的计算复杂度，同时保持令人满意的渲染内容质量。

在一个实施例中，参考内容包含关于参考视图沿着与显示装置的参考轴形成一定角度的倾斜轴的隐藏部分的遮挡信息，并且确定渲染视图的步骤还根据遮挡信息。

术语“遮挡信息”指关于例如在参考视图中从某个视点看被隐藏或遮挡、但是当根据该对象在一个方向或另一个方向上移动时可以显露的场景的一些部分的信息。因此，由于考虑沿着不同于显示装置的参考轴的另一个方向的信息，并且利用它们并结合关于观看者的眼睛取向的信息来确定适当的经渲染的3d内容，这样的方法优于背景技术。由于利用遮挡信息的开发，通过限制输入数据的大小，这样的方法还具有低的计算复杂度，同时保留令人满意的渲染内容质量。

在一个实施例中，遮挡信息关于参考视图沿着与显示装置的参考轴形成角度的至少两个倾斜轴的隐藏部分。

所感知的3d效果的质量通常随着所考虑的方向的数量而增加。因此，遮挡信息考虑的方向的添加允许提高要确定的渲染视图的质量。

在一个实施例中，所述确定包含：根据参考视图、深度图或关于视差的信息、遮挡信息、以及相对于显示装置的参考轴的观看者的眼睛的取向有关的信息，进行内插。

与现有技术的教导相反，根据本公开的该实施例的方法只需要单个参考视图，从而允许减小所输入的参考内容的大小，并且具有更好的内插质量，同时减少该方法的复杂度。

在一个实施例中，所述内插包含：

·根据参考视图深度图，确定渲染视图的深度图或视差图；

·基于遮挡信息，确定参考视图的隐藏部分。

通过利用遮挡信息，这样的方法允许保留令人满意的渲染内容质量。

在另一个实施例中，确定渲染视图的隐藏部分包含：通过图像修复(in-painting)技术，内插参考视图的遮挡区域。因此，遮挡信息不需要执行这样的方法。

在一个实施例中，所述内插进一步包含：基于参考视图中的对应像素的色彩，确定渲染视图的每个像素的色彩。

在一个实施例中，参考视图对应于从观看者的左眼或右眼看的视图，并且要确定的渲染视图对应于从观看者另一只眼睛看的视图，并且参考视图中位于位置(ul，vl)处的对象在渲染视图中的位置(ur，vr)通过下式给出：

其中，知是基线向量的水平分量和垂直分量，等于b*cosθ，并且等于b*sinθ，b是观看者的眼睛之间的距离，θ是观看者的眼睛取向，其中，zl(ul，vl)对应于在位置(ul，vl)处的深度值，并且其中，f^u和f^v分别是焦点长度(focallength)与在适合于感测观看者的眼睛取向的传感器上的水平密度和垂直密度的乘积。

在一个实施例中，参考内容包含光场数据。

这样的光场数据包含或允许参考视图的提取，允许相关联的深度图的提取或确定，并且可以包含从不同方向的若干视图和/或描述在若干方向上的前景对象的隐藏部分的遮挡图。在另一个实施例中，关联到参考视图的遮挡数据可以从具有不同视差方向的多个给定视图提取。所感知到的3d效果的质量因此而显著地提高。

在一个实施例中，参考内容包含多个给定视图，并且所述确定包含根据参考内容以及与相对于显示装置的参考轴的观看者的眼睛取向有关的信息，在给定视图之中选择渲染视图。

术语“多个给定视图”指相比于参考视图具有不同视差方向的可能的渲染视图。当实现本公开的方法时，选择给定视图中的一个，以便使一方面由视差方向和水平轴形成的角度与另一方面由眼轴和3d显示装置的参考轴形成的角度之间的差异最小化。这样的选择处理容易计算，但是可能潜在地导致结果渲染视图不太适合于观看者的眼睛取向。

本公开还涉及一种用于确定要给观看者的经渲染的三维内容的设备，包含用于根据下列来确定渲染视图的模块：

·包含至少一个参考视图的参考内容，

·与相对于显示装置的参考轴的观看者的眼睛取向有关的至少一个信息。

本领域技术人员将理解到，可以在该设备上实现在此前所描述的方法中所实现的每个有利的技术特征，因此该设备具有相关联的技术优点。

在一个实施例中，所述设备包含：至少一个传感器，其适于确定相对于显示装置的参考轴的观看者的眼睛取向。

这样的传感器可以指配备有特定标记、陀螺仪、检测观看者面部及其取向的基于相机的系统的专用眼镜或者本领域已知的任何其他技术。

在一个实施例中，所述设备包含立体显示装置或自动立体(auto-stereoscopic)显示装置以显示参考视图和/或渲染视图。

因此，根据该实施例的设备可以是以下列形式：

·头戴式显示器、虚拟视网膜显示器；

·实现渲染内容已经被适配的显示装置(例如监视器电视或移动显示器)的系统，其与主动的3d观看者相关联，例如快门系统，或者与被动的3d观看者相关联，例如偏振系统、干涉滤光器系统或彩色立体影片系统；

·包含双凸式透镜、视差屏障或微透镜阵列的固定的或移动的自动立体显示器。

应该理解的是，上述列表仅作为展示而给出，而不限制本公开的范围。

本公开还涉及一种光场捕获装置，包含用于确定经渲染的三维内容的设备，包含用于根据下列来确定渲染视图的模块：

·包含至少一个参考视图的参考内容，

·与相对于显示装置的参考轴的观看者的眼睛取向有关的至少一个信息。

本公开还涉及一种计算机程序产品，其可从通信网络下载和/或记录在计算机可读介质上和/或可由处理器执行，包含实现用于确定经渲染的三维内容的方法的程序代码指令。

本公开还涉及一种非临时性计算机可读载体介质，包含在其上记录并且能够由处理器运行的计算机程序产品，所述计算机程序产品包含实现用于确定经渲染的三维内容的方法的程序代码指令。

虽然没有明确地描述，但是所呈现的实施例可以以任何组合或子组合的方式来利用。

附图说明

参考以下描述说明书和附图(作为示例给出而非限制保护范围)可以更好地理解本发明，附图中：

图1和图2是例示现有技术已知的水平的眼睛的视图合成的图；

图3是例示现有技术已知的根据ldv格式的视图重构的图；

图4是根据本公开的一个实施例的在执行用于确定经渲染的三维内容的方法时所实现连续步骤的流程图；

图5是例示感知深度与立体像对(stereopair)的观看者的左眼图像和右眼图像的视差之间的关系的图；

图6是例示取决于观看者的眼睛的轴方向的一组左视图和右视图的图；

图7是例示眼轴与水平轴之间的角度θ在范围[-90°，+90°]中的三种不同情况的示意图；

图8是根据本公开的第一实施例的当执行用于确定经渲染的三维内容的方法时所实现的连续步骤的流程图；

图9是根据本公开的第二实施例的当执行用于确定经渲染的三维内容的方法时所实现的连续步骤的流程图；

图10是例示左视图和一组给定视图的示意图，其中，视差方向与水平轴之间的角度在范围[-90°，+90°]中；

图11是根据本公开的一个实施例的用于确定经渲染的三维内容的设备的示例的示意性框图。

附图中的组件未必是按比例的，而是在阐释本公开的原理时加以强调。

具体实施方式

本公开涉及用于根据观看者的眼睛取向θ来确定经渲染的三维内容的方法1。在下面的描述中以及图1至图9中阐述本公开的某些实施例的许多具体细节，以提供对于这些实施例的全面的理解。应该理解的是，本公开可以具有另外的实施方式，或者可以在不使用在下面的描述中所描述的许多细节的情况下实现。

如图4所示，这样的方法1包含：

·步骤2，输入包含至少一个参考视图8的参考内容ref_c；

·步骤4，输入与相对于显示装置的参考轴x的观看者的眼睛取向θ有关的至少一个信息；

·步骤5，根据参考视图8以及与相对于显示装置的参考轴x的观看者的眼睛取向θ有关的信息，确定渲染视图6。

在下面的描述中，参考视图8对应于从观看者左眼看的视图，也被称为“左视图”，而要确定的渲染视图6对应于从观看者右眼看的视图，也被称为“右视图”。在另一个实施例中，这样的对应关系可以相反，则观看者的右眼看见参考视图。在另一个实施例中，这样的视图也可以分配给任何对象，例如安装在无人驾驶交通工具上并且通过接口单元与操作者以一定距离连接的传感器。

图5显示了感知深度zp与观看者的左眼图像和右眼图像之间的视差p之间的关系，其中，zp是感知深度，te是两眼间距离，zs是从观看者到屏幕的距离。由此，感知深度zp、视差p以及到屏幕的距离zs之间的关系表示如下：

其中，d是所传输的视差信息，ws是屏幕的宽度，并且ncol是屏幕像素列的数量。

作为例示，描述本公开的三个具体实施例，它们中的每一个描述用于通过内插处理或选择处理来确定渲染视图6的步骤5的替代实施例。

1.本公开的第一实施例

在本公开的第一实施例中，用于确定包括左视图8和右视图6的经渲染的三维内容的方法1确定渲染视图6的步骤5包含内插的步骤，。

图6例示取决于相对于显示装置的参考轴x的观看者的眼睛的轴方向取向的左视图8和右视图6的集合。用正方形代表前景对象。在该实施例中，右视图6是被内插的，而左视图8被认为是固定的参考。

在步骤2中所输入的参考内容ref_c包含左视图8、对应的深度图zl和遮挡图vo，遮挡图vo包含在左视图中被掩蔽但是对于重构右视图6所需的信息。

因为内插步骤5.1取决于眼轴θ的取向，遮挡图vo优选地包含所有方向而不是仅沿着单个倾斜轴的遮挡信息。在一个实施例，在步骤2中所输入的参考内容ref_c是光场数据，例如经多路分解的(demultiplexed)光场图像，其包含左视图8、对应的深度图zl和遮挡图vo，遮挡图vo描述所有方向上的前景对象的隐藏部分。在另一个实施例中，遮挡信息可以被限制到减少数量的方向，一方面减少参考内容的大小，同时另一方面影响所内插的渲染视图6的质量。替代地，在参考视图8中所遮挡的数据可以从具有不同视差方向的多个给定视图9提取，而不是在遮挡图zo中提供。在这种情况，在步骤2中所输入的参考内容ref_c不显式地包含遮挡图zo，但是从多个给定视图9提取该遮挡图或等效物。位于左视图8中的位置(ul，vl)处的前景对象的右视图6中的位置(ur，vr)由以下等式(1)给出：

其中，知是基线向量的水平分量和垂直分量，等于b*cosθ，并且等于b*sinθ，b是观看者的眼睛之间的距离，其中，zl(ul，vl)对应于在位置(ul，vl)处的深度值，并且其中，f^u和f^v分别是焦点长度与在适合于感测观看者的眼睛取向的传感器上的水平密度和垂直密度的乘积。

如图7所示，向量根据眼轴相对于显示装置的参考轴x的取向来计算。图6例示眼轴和参考轴之间的角度θ在范围[-90°，+90°]中的四种不同情况。安装在显示装置或其他装置上的传感器可以被配置为测量角度θ或者允许推导该角度θ的任何其他信息。例如，可以使用配备有特定标记、陀螺仪或者检测观察者面部及其取向的基于相机的系统的专用眼镜作为眼镜取向传感器。当测量出时，在步骤4中将角度θ输入到实现方法1的设备7中。

如图8所示，并且为了运行内插步骤5，设备7首先在步骤5.1中，根据参考视图深度图zl或者根据从参考视图8与至少一个给定视图9之间所计算出的视差图，确定渲染视图6的深度图zr。由此，对于左视图8的每个像素，对应点的二维(2d)位置基于等式(1)来确定。然后，如下面的等式所示，基于深度值在两个对应点之间保持不变的假设，将该深度值分配给右视图中的最接近的像素：

zr(ur，vr)＝zl(ul，vl)

然后，对于右视图6的每个像素，所述设备7经由下面的等式来确定左视图8中的对应点的2d位置：

然后，设备7在步骤5.2中根据左视图8中的对应点的色彩来确定右视图6的每个像素的色彩。

在色彩确定步骤5.2之后，在位置确定步骤结束时未取得深度值的像素对应于在左视图中隐藏的去遮挡区域3。然后，在步骤5.3中，根据来自位置确定步骤输出的相邻的可用的深度数据，对缺失的深度数据进行内插。然后，在步骤5.4中，使用遮挡图vo中的对应的像素来填充内插的右视图6中的这些去遮挡区域3。替代地，当参考内容ref_c不包含遮挡图vo时，在步骤5.4中，填充内插的右视图6中的去遮挡区域3通过相邻可用像素的内插来执行。

然后，左视图8和右视图6两者的结合形成适合于观看者的眼睛取向θ的经渲染的三维内容。

根据该实施例，将视差图提供到参考内容ref_c中。然而，在另一个实施例中，该视差图可以在输入步骤2之后基于参考视图8和至少一个给定视图9来计算。在该情况下，视差图在参考内容ref_c中可以不是强制性的。

2.本公开的第二实施例

在本公开的第二实施例中，如图9所示，确定渲染视图6的步骤5包含以下步骤：根据相对于显示装置的参考轴x的观看者的眼睛取向θ，在多个给定视图9之中选择经渲染的右视图6。在该实施例中，如图9所示，给定视图9包含相比于左视图8具有不同视差方向的可能的右视图的集合。这些视差方向的每个与显示装置的参考轴x形成角度θ’。

在步骤4中输入观看者的眼睛取向θ之后，设备7选择给定视图9中的一个，以便使由视差方向(角度θ’)和参考轴x所形成的角度与由眼轴(角度θ)和参考轴x所形成的角度之间的差异最小化。

3.本公开的第三实施例

在本公开的第三实施例中，在步骤2中所输入的内容包含参考视图8以及相对于显示装置的参考轴x的观看者眼轴取向θ。观看者眼睛取向θ对应于要确定的渲染视图6的视差方向。

根据该实施例，首先根据参考视图8和观看者眼轴取向θ来估计深度图zl，如z.zhang在2011年icip会议中的“visualpertinent2d-to-3dvideoconversionbymulti-cuefusion”中所描述的那样。

然后，如本公开的第一实施例的描述中所述那样地根据参考视图8和深度图zl来内插渲染视图6(参见“1.本公开的第一实施例”部分)。

4.根据本公开的一个实施例的设备

图10是根据本公开的一个实施例的用于确定经渲染的三维内容的设备的示例的示意性框图。

图10中所示的设备7包含通过总线14连接的处理器10、存储单元11、接口单元12和传感器13。当然，计算机设备7的组成元件可以通过使用总线14的总线连接之外的连接方式来连接。

处理器10控制设备7的操作。存储单元11存储要由处理器10执行的至少一个程序以及包括在参考内容ref_c中所包括的数据、处理器10所执行的计算所使用的参数、处理器10所执行的计算的中间数据等各种数据。特别地，存储单元11可以存储参考内容ref_c的分量和观看者眼轴取向θ。处理器10可以由任何已知且适合的硬件或软件或者硬件和软件的组合来形成。例如，处理器10可以由诸如处理电路这样的专用硬件形成，或者可以由诸如执行在设备的存储器中所存储的程序的cpu(中央处理单元)这样的可编程处理单元形成。

存储单元11可以由任何适合的储存器或者能够以计算机可读的方式存储程序、数据等的装置形成。存储单元11的示例包括非暂时性计算机可读存储介质，诸如半导体存储装置以及装载到读写单元中的磁性、光学或磁光记录介质。程序使处理器10执行根据以上参照图4所描述的本公开的实施例的用于确定经渲染的三维内容的处理。

接口单元12提供在设备7与外部设备之间的接口。接口单元12可以经由缆线或无线通信与外部设备进行通信。在该实施例中，外部设备可以是光场捕获装置15。在该情况下，光场数据可以通过接口单元12从光场捕获装置15输入到设备7，然后存储在存储单元11中。

设备7和光场捕获装置15可以经由缆线或无线通信相互通信。

虽然在图10中仅示出一个处理器10，本领域技术人员将理解到，这样的处理器可以包含实施由根据本公开的实施例的设备7所执行的功能的不同的模块和单元，诸如模块16，其处理参考内容的不同分量和观看者的眼睛取向θ，以根据相对于显示装置的参考轴x的观看者的眼睛取向θ，确定5渲染视图6。该模块还可以实施在相互通信和协作的若干处理器10中。

如本领域技术人员将意识到的那样，本原理的各方面可以实施为系统、方法或计算机可读介质。因此，本原理的各方面可以采用完全硬件实施例的形式、完全软件实施例(包含固件、驻留软件、微代码等)的形式或者结合软件和硬件方面的实施例的形式。

当本原理通过一个或若干个硬件组件实现时，可以注意到，硬件组件包含作为诸如中央处理单元这样的集成电路的处理器和/或微处理器和/或专用集成电路(asic)和/或专用指令集处理器(asip)和/或图形处理单元(gpu)和/或物理处理单元(ppu)和/或数字信号处理器(dsp)和/或图像处理器和/或协处理器和/或浮点单元和/或网络处理器和/或音频处理器和/或多核处理器。而且，硬件组件还可以包含基带处理器(包含例如存储单元和固件)和/或接收或发射无线电信号的无线电电子电路(可以包含天线)。在一个实施例中，该硬件组件符合一个或多个标准，诸如iso/iec18092/ecma-340、iso/iec21841/ecma-352、gsma、stolpan、etsi/scp(智能卡平台)、globalplatform(即安全元件)。在变型中，硬件组件是射频身份(rfid)标签。在一个实施例中，硬件组件包含允许蓝牙通信和/或wi-fi通信和/或zigbee通信和/或usb通信和/或firewire通信和/或nfc(近场)通信的电路。

另外，本原理的各方面可以采用计算机可读存储介质的形式。可以使用一个或多个计算机可读介质的任何结合。

因此，例如，应该意识到，任何流程图表、流程图、状态转换图、伪代码等表示实质上可以表示在计算机可读存储介质中并因此由计算机或处理器(无论这样的计算机或处理器是否被显式地示出)执行的各种处理。

虽然已经参照一个或多个示例描述了本公开，但是本领域技术人员应该意识到，可以在形式和细节上做出改变而不背离本公开和/或所附权利要求的范围。