用于生成中间视点图像的系统的制作方法

用于生成中间视点图像的系统的制作方法
【技术领域】
[0001]本发明涉及从立体数据生成中间图像。
[0002]立体图像是对于三维(3D)图像数据的一般表示。立体图像包括与左视点(leftview)相对应的左图像和与右视点(right view)相对应的右图像。通过使用立体显示装置观看立体图像，观看者的左眼看到左图像并且观看者的右眼看到右图像，从而导致观看者的3D感知。
[0003]为了在与立体图像的左视点和右视点不同的中间视点(intermediate view)处观看3D图像，需要生成中间图像。存在用于从立体图像生成中间图像的各种方法。
【背景技术】
[0004]US 2011/00268009 Al描述了一种方法，用于从立体图像计算在中间视点处的中间图像以在多视点(multiview)显示器上观看。中间视点指的是在包括左视点和右视点的视点范围内的相对位置处的视点。该方法从立体图像计算左视差数据和右视差数据，所述立体图像包括左图像和右数据。该方法使用左图像和左视差数据生成针对中间视点的左中间图像。该方法使用右图像和右视差数据生成针对中间视点的右中间图像。然后通过融合(blend)左中间图像和右中间图像来生成最终的中间图像。
[0005]现有技术方法的缺点是它也在中间图像中生成可见的图像伪像(artifact)，最明显的图像伪像是图像细节模糊伪像和遮挡伪像。伪像的可见度随着中间视点以及随着立体图像的内容而变化。细节模糊典型地对于包含大量细节的立体图像且在左视点与右视点之间的视点处最为可见。细节模糊的原因在于所生成的左中间图像和右中间图像的不完美混合。遮挡伪像对于包含大的深度过渡的立体图像最为可见，在侧视点(lateral view)处最明显，因而在左视点的左侧以及在右视点的右侧最明显。遮挡伪像的原因在于左图像的或右图像的不完美外推(extrapolat1n)。
[0006]在现有技术方法中，由于中间图像因随着中间视点以及随着立体图像的内容而变化的图像伪像而受损，所以图像质量是次优的。期望对中间图像的图像质量的改进。

【发明内容】

[0007]本发明的目的是提供一种用于从立体数据生成中间图像的方法，其中所述中间图像具有改善的图像质量。
[0008]本发明公开了一种用于针对中间视点从立体数据生成中间图像的方法。该方法使用根据混合(mix)策略对左中间图像和右中间图像进行的混合。混合策略将左中间图像和右中间图像在混合中的相对贡献限定为中间视点的函数。立体数据包括左数据和右数据。左数据与左视点相对应，并且左数据包括左图像和左视差数据。右数据与右视点相对应，并且右数据包括右图像和右视差数据。中间图像与中间视点相对应。左中间图像是针对中间视点而从左数据生成的。右中间图像是针对中间视点而从右数据生成的。该方法包括:基于立体数据的图像特性，针对多个混合策略中的每一个来预测中间图像的图像质量；通过基于中间图像的所预测的图像质量去从所述多个混合策略中选取混合策略而确定混合策略；并且，当所确定的混合策略如此要求时，针对中间视点从左数据生成左中间图像；并且，当所确定的混合策略如此要求时，针对中间视点从右数据生成右中间图像；以及通过根据所确定的混合策略使用相对贡献来混合左中间图像和右中间图像，而生成中间图像。
[0009]按照这种方式，本发明提供了灵活性，从而允许完全基于左中间图像、完全基于右中间图像，而且还(即，在混合策略如此指示时)如所要求保护的那样基于左中间图像和右中间图像两者来生成中间图像。
[0010]针对该方法的输入是包括左数据和右数据的立体数据。左数据与左视点相对应，并且右数据与右视点相对应。左视点和右视点限定了两个观看点，观看者从这两个观看点观看3D图像。左数据包括左图像和左视差数据。右数据包括右图像和右视差数据。该方法的输出是针对与左视点和右视点不同的中间视点的中间图像。
[0011 ] 通过根据混合策略混合左中间视点和右中间视点来生成中间图像。混合策略过程限定了混合如何取决于中间视点。在一般情况下，混合策略限定了左中间图像在混合中的左相对贡献，并且限定了右中间图像在混合中的右相对贡献。然后，通过根据所述相对贡献使用权重去混合左中间图像和右中间图像，来生成中间图像。在混合策略仅要求生成左中间图像的第一种特殊情况下，混合有效地将左中间图像拷贝到中间图像。在混合策略仅要求生成右中间图像的第二种特殊情况下，混合有效地将右中间图像拷贝到中间图像。
[0012]使用左视差生成左中间图像，扭曲(warping)过程使用左视差数据向中间视点“扭曲”左图像，但是是仅当混合策略如此要求时。通过使用右视差过程，扭曲过程使用右视差数据向中间视点扭曲右图像，但是是仅当混合策略如此要求时。
[0013]混合不是固定的，而是由通过策略确定过程而确定的混合策略来控制的。混合策略被确定为使得或是基于人类感知或是使用(一组)(一个或多个)质量度量而令中间数据的图像质量是最优的。为此，策略确定过程基于将使用混合策略来生成的中间图像的所预测的图像质量来确定混合策略。
[0014]可选地，该确定基于预测的图像质量，预测的图像质量取决于中间图像的图像细节的量。如果图像细节的量大，则在使用了限定使用左中间图像和右中间图像两者的混合的混合策略的情况下，混合将生成伪像，比如模糊和重影。在检测到大量图像细节的情况下，混合策略被确定为使得或是基于人类感知或是使用(一组)(一个或多个)质量度量而令中间图像中所生成的图像细节具有改善的图像质量。
[0015]可选地，通过从与立体数据耦合的元数据取回混合策略来实施该确定。策略确定过程离线地确定混合策略并将它存储在与立体数据耦合的元数据中。这种工作方式允许使用更复杂并且成本更高的硬件来进行分析。它还允许使元数据的生成被整合在由内容创作者支配的创作工具中。
[0016]可选地，生成中间图像包括:从立体视图视频序列的相应的后续帧生成后续中间图像，所述相应的后续帧各自包括立体数据。因而从立体视图视频帧生成中间图像。
[0017]可选地，所述确定包括:在第一实例处确定用于从第一帧生成第一中间图像的第一混合策略；以及在第二实例处确定用于从第二帧生成第二中间图像的第二混合策略。当在混合中使用第一混合策略时，从第一帧生成的中间图像具有最优图像质量(根据(一组)(一个或多个)度量和/或人类感知)。此外，当在混合中使用第二混合策略时，从第二帧生成的中间图像具有最优图像质量。因此使用相应的不同混合策略从不同的立体视图视频帧生成中间图像。
[0018]可选地，所述确定包括:在第三实例处确定用于从第三帧生成第三中间图像的第三混合策略，其中第三实例出现在第一实例之后且在第二实例之前，并且由第三混合策略限定的第三混合因子位于由第一混合策略限定的第一混合因子与由第二混合策略限定的第二混合因子之间。从实例在时间上按照第一、第三、第二来排序并且混合因子也按照第一、第三和第二来排序的意义上说，混合策略因而随时间逐渐改变。
[0019]可选地，生成中间图像包括:从立体数据生成一系列中间图像，该系列对应于一系列中间视点，该系列中间视点是空间上连续的视点。因此，并不是针对一个视点从该立体数据生成一个中间图像，而是例如对于多视点显示器，针对一系列相应的视点从该立体数据生成一系列中间图像。
[0020]可选地，生成第一系列中间图像包括:使该系列中间视点以第一中央中间视点为中心，并且基于针对第一中央中间视点的该系列中间图像的所预测图像质量来选取该中央中间视点。使该系列中间视点以中央中间视点为中心意味着向左或向右改变该系列中间视点，使得所述中央中间视点目前在观看者正前方。显然，如果该系列中视点的数目是奇数，则定中心(centering)对应于将该系列的中心视点置于第一中央中间视点处，S卩，在观看者正前方。在该系列中存在偶数个视点的情况下，定中心暗示了两个中心视点将等距离地以第一中央中间视点为中心。通过使用混合策略，能够针对中央中间视点附近的视点(在整个视点范围内)改善中间图像的图像质量。该系列视点因此以中央中间视点为中心。
[0021]可选地，生成中间图像包括:以第一中央中间视点为中心在第一实例处从第一帧生成第一系列中间图像；以及以第二中央中间视点为中心在第二实例处从第二帧生成第二系列中间图像。通过针对第一帧和第二帧使用(相同的)混合策略，从第一帧生成的中间图像的图像质量能够针对第一中间视点附近的视点改善，但是第二帧的中间图像的图像质量能够针对第二中间视点附近的视点改善。该系列视点因此以针对第一帧的第一视点为中心以及以针对第二帧的第二视点为中心。在第一系列中间视点的第一中央中间视点附近的最终得到的图像质量因此对于第一帧以及对于第二帧是最优的。
[0022]可选地，生成中间图像包括:以第三中央中间视点为中心在第三实例处从第三帧生成第三系列中间图像，并且其中第三实例出现在第一实例之后且在第二实例之前，并且其中第三视点处于第一视点和第二视点之间。作为该系列中间视点的中心的中央中间视点从第一帧处的第一视点向下一帧处的下一视点(即，第三帧处的第三视点)、向第二帧处的第二视点逐渐移位。从实例在时间上按照第一、第三、第二排序并且中央视点在空间上也按照第一、第三和第二排序的意义上说，该系列中间视点的移位是随时间逐渐地实施的。
[0023]可选地，混合策略针对一定范围的中间视点限定了左中间图像在混合中的左相对贡献并且限定了右中间图像在混合中的右相对贡献，左相对贡献和右相对贡献中的一个跨该范围地对左相对贡献和右相对贡献中的另一个占优势。混合策略限定了其中左相对贡献和右相对贡献中的一个在中间视点的范围内总体更大的混合。这样的混合策略也被称为不对称混合策略。
[0024]可选地，生成中间图像包括:与立体数据视频序列相对地，针对静止立体数据生成中间图像。
[0025]可选地，左视差数据是从左图像和右图像计算出的，并且右视差数据是从左图像和右图像计算出的。视差数据不与立体数据一起被提供，而是从左图像和右图像计算出的。
[0026]本发明公开了一种被布置成使用根据混合策略对左中间图像和右中间图像进行的混合而针对中间视点从立体数据生成中间图像的系统。混合策略将左中间图像和右中间图像在混合中的相对贡献限定为中间视点的函数。立体数据包括左数据和右数据，其中左数据与左视点相对应并且左数据包括左图像和左视差数据，而且，右数据与右视点相对应并且右数据包括右图像和右视差数据。中间图像与中间视点相对应。左中间图像是针对中间视点而从左数据生成的。右中间图像是针对中间视点而从右数据生成的。该系统包括生成单元，所述生成单元被布置成执行:预测功能，用于基于立体数据的图像特性针对多个混合策略中的每一个来预测中间图像的图像质量；以及混合策略功能，用于通过基于中间图像的所预测的图像质量去从所述多个混合策略中选取混合策略而确定混合策略；以及左扭曲功能，用于当所确定的混合策略如此要求时，针对中间视点从左数据生成左中间图像；以及右扭曲功能，用于当所确定的混合策略如此要求时，针对中间视点从右数据生成右中间图像，以及混合功能，用于通过根据所确定的混合策略使用相对贡献去混合左中间图像和右中间图像，来生成中间图像。该系统包括实施上面描述的过程、方法的功能。
[0027]可选地，中间图像被用来驱动多视点显示器。多视点显示器沿多个方向输出多个视图，进而允许观看者在其相对于多视点显示器被适当定位时用她的左眼看左图像并用她的右眼看右图像。
[0028]本发明的效果是:由于混合策略是取决于图像内容而做出的，所以能够改善中间图像数据的图像质量。
【附图说明】
[0029]本发明的这些和其他方面从下文描述的实施例中是明显的，并且将参考下文描述的实施例被阐明。
[0030]在附图中，
图1a图示了用于从立体数据生成中间图像的方法，
图1b图示了以离线方式确定混合策略的策略确定过程，
图1c图示了使用图像细节检测的策略确定过程，
图2图示了多视点显示器的多个视点，