用于丰富深度图的内容的方法和设备的制造方法
【技术领域】
[0001] 本发明设及深度图的领域，更具体地，设及丰富深度图的内容。还可W在计算机生 成图像（CGI或3D-CGI)的上下文中理解本发明。
【背景技术】
[0002] 根据现有技术，已知将深度图与表示场景的图像相关联，该图像是表示虚拟场景 的合成图像或由摄像机拍摄的真实场景的图像。还已知使用包括在深度图中的深度信息来 执行可视性测试，即，根据摄像机视场确定场景的哪个片段被场景的另一片段遮挡。深度图 通常与N行M列元素的阵列（也称作像素或纹理像素）相对应，单个深度信息与深度图的每 个元素相关联。当确定场景的第一片段是否被场景的第二片段遮挡（或处于阴影中）时，深 度图的有限分辨率导致一些近似，其中场景相对摄像机视场的深度被存储在深度图的元素 (也被称作像素或纹理像素）中。得到的混叠是被称作偏差混叠。尤其当从与深度图相关 联的摄像机视场观看时第一和第二片段属于场景对象的同一表面时，可能发生该种混叠。
[0003] 为了至少部分地克服该种偏差混叠伪象，已知使用偏差值，其中使得当片段到与 深度图相关联的摄像机视场的距离大于存储在与该片段相关联的深度图元素中的深度加 上所述偏差时，认为该片段被遮挡或处于阴影中。然而，引入偏差值可能导致被称作阴影悬 空（peter-panning)伪象的另一混叠。
【发明内容】
[0004] 本发明的目的在于克服现有技术的该些缺点中的至少一个。
[0005] 更具体地，本发明的目的在于W比现有技术更好的精度确定与深度图的一个或多 个元素相关联的深度信息。
[0006] 本发明设及一种用于丰富与深度图的第一元素相关联的内容的方法，所述深度图 根据视点与场景相关联。此后，所述方法包括如下步骤；确定对所述第一元素在深度图空间 内的深度变化加W表示的至少第一信息。
[0007] 根据特定特性，根据与第一元素相关联的深度信息W及与至少第二元素相关联的 深度信息确定所述至少第一信息，其中所述第一元素和所述至少第二元素属于场景投影到 深度图内的同一表面元素。
[000引有利地，第一元素和至少第二元素是相邻的。
[0009] 根据特定特性，通过计算第一元素和至少第二元素之间的深度差与第一元素和至 少第二元素之间的距离的比值，来确定至少第一信息。
[0010] 有利地，根据场景投影到与深度图相关联的摄像机视场空间内的表面元素的方 程，确定所述至少第一信息，所述投影的表面元素包括所述第一元素。
[0011] 根据另一特性，将所述至少第一信息表示为对第一元素的深度变化加W表示的倾 角形式。
[0012] 有利地，用奇幕函数对被表示为倾角形式的所述至少第一信息进行编码。
[0013] 根据特定特性，针对深度图空间的每个维度确定一个第一信息。
[0014] 根据另一特性，所述方法还包括W下步骤：存储与深度图中的第一元素相关联的 至少第一信息。
[0015] 有利地，与第一元素相关联的内容包括对视点和场景片段之间的深度加W表示的 第二信息，所述片段与沿穿过第一元素的观看方向距离所述视点最近的可视片段相对应。
[0016] 本发明还设及一种配置用于丰富与深度图的第一元素相关联的内容的设备，其中 深度图根据视点与场景相关联，所述设备包括：至少一个处理器，配置为用于确定对第一元 素在深度图空间内的深度变化加W表示的至少第一信息。
[0017] 有利地，所述至少一个处理器是图形处理单元（GPU)。
[0018] 根据特定特性，根据与第一元素相关联的深度信息W及与至少第二元素相关联的 深度信息确定所述至少第一信息，其中所述第一元素和所述至少第二元素属于场景投影到 深度图内的同一表面元素。
[0019] 根据另一特性，所述至少一个处理器还配置用于将所述至少第一信息表示为表示 所述第一元素的深度变化的倾角（slopeangle)形式，W及用于用奇幕函数对被表示为倾 角形式的所述至少第一信息进行编码。
[0020] 本发明还设及一种包括程序指令代码的计算机程序产品，其中由至少一个处理器 执行所述程序指令代码W便当在计算机上执行所述程序时，执行用于丰富与深度图的第一 元素相关联的内容的方法。
【附图说明】
[0021] 当参考附图阅读W下描述时，将更好地理解本发明，了解其它具体特征和优点，附 图中：
[0022] 图1示出了根据现有技术与场景相关联的图像和深度图；
[0023] 图2示出了根据本发明特定实施例图1的深度图的一部分；
[0024] 图3A、3B和4示出了根据本发明两个特性实施例投影到图1的深度图上的图1场 景的表面元素的投影；
[0025] 图5示出了根据本发明特定实施例存储在图1深度图的元素内的深度信息；
[0026] 图6A和6B示出了根据本发明特性实施例对包括在图1的深度图中的深度信息进 行编码；
[0027] 图7示意地示出了根据本发明的特性实施例的设备，该设备执行用于丰富图1中 的深度图的内容的方法；
[002引图8示出了根据本发明特定实施例的用于丰富图1的深度图的内容的方法。【具体实施方式】
[0029] 参考用于丰富深度图的第一元素的内容的方法的特定实施例来描述本发明。有利 地，深度图与L行M列元素的阵列相对应，并且与在一个或多个图像中呈现出的场景相关 联，其中L和M是大于0的整数。例如，深度图所包括的元素数目与场景中图像的像素数目 相对应。有利地，用一个或更多个第一信息来丰富深度图，其中第一信息表示第一元素在深 度图空间中的深度变化。
[0030] 因此，附加第一信息使得能够根据需要检索与第一元素的任意点相关联的深度， 然而在根据现有技术的深度图中，与深度图的元素的任意点相关联的深度是相同的，并且 与和第一元素（或其中屯、）相关联的场景中最近的可视片段的深度相对应。
[0031] 图1示出了根据特定非限制性的实施例在图像11中呈现的场景1与关联深度图 10。图像11表示从给定视点（也称作摄像机视场，图1未示出）观看到的场景1，根据另一 视点1〇〇(即，另一摄像机视场）产生深度图。该场景例如与虚拟场景相对应，并包括若干 虚拟对象，例如，第一对象12和第二对象13。根据本领域技术人员公知的任意方法对对象 12和13进行建模，例如通过多边形建模（其中用多边形集（网格元素）同化所述模型，由 构成多边形的最高点（summit)和边缘的列表来限定每个多边形）、NURBS(非均匀有理B样 条）型曲线建模（其中通过经由控制顶点产生的曲线集限定该模型）、通过细分表面来进行 建模。虚拟对象应理解为构成真实环境/真实场景（例如，地面、房屋或前院、人、车、树，也 就是说构成诸如房屋、街道、城镇、乡村等的一部分的环境的任何元素）的对象（真实或虚 构的）的任何虚拟表示（通过建模获得的）或假想元素。场景1的每个对象12、13的特征 在于覆盖该对象的表面，每个对象的表面具有它专有的反射特性（与该表面沿一个或若干 方向反射的入射光的比例相对应）。
[0032] 深度图10包括n个元素101. . .lOp' . . .lOn，n是大于0的整数，并定义深度图 10的分辨率，例如分辨率等于512巧12像素、1024x1024像素或4096x4096像素。有利地， 深度信息与深度图10的每个元素相关联。该种深度信息与沿穿过深度图元素的观看方向 视点100和场景1的最近可视片段之间的距离相对应，该种深度图的元素与该场景的最近 的可视片段相关联。W元素lOp'为例，与该元素lOp'相关联的深度信息与沿着观看方向 lOOp'视点100和场景1的片段P' 121之间的距离相对应，观看方向lOOp'起点为视点100 并穿过元素lOp'(有利地，穿过元素lOp'的中屯、）。片段P' 121与当从视点100开始时 场景和观看方向loop'相交的第一元素相对应。深度信息与深度图的对应元素的中屯、相关 联。有利地，对深度图10的元素内的深度变化加W表示的第一信息还与深度图的每个元素 相关联，如图2到4所述地确定所述第一信息。
[0033] 图像11包括m个像素111. .. 1Ip. .. 1Im，m是大于0的整数并定义了图像11的分 辨率。有利地，m与n不同，例如，n大于m或m大于n(深度图的分辨率例如为512巧12像 素、1024x1024像素或4096x4096像素，而图像11的分辨率例如为1024巧68像素、1280x720 像素或1920x1200像素）。根据变型，m等于n，深度图10和图像11二者具有相同的分辨 率。有利地，属性与图像11的每个像素相关联，例如，属性包括与图像的像素相关联的场景 的片段颜色信息（例如，RGB信息）和/或半透明特性。有利地，片段与和场景1的点相关