一种编码深度信息时的视点合成方法、装置及编码器与流程

本发明涉及多媒体技术领域，尤其涉及一种编码深度信息时的视点合成方法、装置及编码器。

背景技术：
在第98次MPEG(MovingPicturesExpertsGroup，动态图像专家组)会议中，HHI(HeinrichHertzInstitute，莱茵—赫兹研究所)提出了一种在深度图像压缩中基于合成视点失真信息的率失真优化算法。在该算法中，深度图像的失真大小通过合成视点的失真变化来衡量，具体可以表示为:其中，s'T,R(x,y)代表应用原始纹理图像和原始深度信息合成的虚拟视点。同时，编码深度信息时，将一幅深度图像分为已编码，当前编码和未编码三类。对于和s'T(x,y)，都是选择应用失真的纹理图像进行合成。区别在于，s'T(x,y)应用重构的已编码深度信息，原始的当前编码单元的深度信息和原始的其他像素深度信息进行合成，而应用重构的已编码深度信息，失真的当前编码单元深度信息和原始的其他像素深度信息进行合成。可以看出，如果当前失真的深度信息对视点合成没有影响，那么ΔD＝0。现有的技术方案是基于合成视点失真的变化情况对当前深度信息失真引起的合成视点失真进行估计，因此在实际编码中需要进行如下操作：步骤1.编码当前深度图像前，对原始深度图像和原始纹理图像进行视点合成，即合成s'T,R(x,y)。对原始深度图像和失真纹理图像进行视点合成，即合成s'T(x,y)和在编码过程开始之前步骤2.在编码当前深度图像编码单元时，需要进行率失真计算。设当前深度图像编码单元的原始值为B，失真块为B’，深度图像已编码区域的失真深度信息为P’,深度图像未编码区域的原始深度信息为H,则当前的s'T(x,y)和都是由P’,B,H的深度信息绘制得到，此时不需要更新s'T(x,y)(在步骤3中进行更新)。为了计算公式(1)中的ΔD,本发明实施例需要应用B’更新在这个过程中，只对B’对应的合成视点中的像素进行重新绘制，这样就可以得到由P’,B’,H的深度信息绘制的合成视点，从而可以根据公式(1)得到ΔD，并用它进行率失真计算。步骤3.在编码完当前深度图像编码单元后，用重构的当前深度图像编码单元更新合成视点信息s'T(x,y)。假设当前深度块为B，重构块为B”，深度图像已编码区域的失真深度信息为P’,深度图像未编码区域的原始深度信息为H。在编码当前深度图像编码单元的过程中，s'T(x,y)是由P’,B,H的深度信息得到，在编码当前深度图像编码单元后，需要应用B”对s'T(x,y)进行更新。更新过程只对B”对应到的合成视点s'T(x,y)中的像素进行重新绘制，而不对整幅图像重新绘制，从而得到用P’,B”,H绘制的s'T(x,y)。从如上过程可以看到，现有的技术方案在编码过程中需要不断的进行视点的绘制和更新，需要较大的时间复杂度(时间开销)。因此，需要设计快速的技术方案在保证编码性能的同时减小编码端的时间复杂度。

技术实现要素：
本发明实施例提供一种编码深度信息时的视点合成方法、装置及编码器，以在保证编码性能的同时减小编码端的时间复杂度。一方面，本发明实施例提供了一种编码深度信息时的视点合成方法，所述编码深度信息时的视点合成方法包括：在编码深度信息时的视点合成过程中，判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化；若判定深度图像编码单元的某一行像素没有导致合成视点像素值的变化，则在视点合成过程中跳过该行，不利用该行像素进行视点合成。优选的，在本发明一实施例中，所述判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化，包括：根据像素的深度信息与视差信息的关系，若判定深度图像编码单元的某一行像素的深度信息失真未导致视差失真，则判定该行像素没有导致合成视点像素值的变化。优选的，在本发明一实施例中，所述判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化，包括：根据纹理图像的梯度特性与合成视点失真的关系，若判定深度图像编码单元的某一行像素的视差的失真未对合成视点失真产生影响，则判定该行像素没有导致合成视点像素值的变化。优选的，在本发明一实施例中，所述判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化，包括：判断深度图像编码单元的某一行像素对应的合成视点中的像素是否被遮挡；若判定深度图像编码单元的某一行像素对应的合成视点中的像素被遮挡，则进一步判断所述深度图像编码单元的所述行像素失真以后对应的合成视点中的像素是否仍被遮挡；若判定所述深度图像编码单元的所述行像素失真以后对应的合成视点中的像素仍被遮挡，则判定该行像素没有导致合成视点像素值的变化。另一方面，本发明实施例提供了一种编码深度信息时的视点合成装置，所述编码深度信息时的视点合成装置包括：判断单元，用于在编码深度信息时的视点合成过程中，判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化；视点合成处理单元，用于若判定深度图像编码单元的某一行像素没有导致合成视点像素值的变化，则在视点合成过程中跳过该行，不利用该行像素进行视点合成。优选的，在本发明一实施例中，所述判断单元包括：第一判断模块，用于根据像素的深度信息与视差信息的关系，若判定深度图像编码单元的某一行像素的深度信息失真未导致视差失真，则判定该行像素没有导致合成视点像素值的变化。优选的，在本发明一实施例中，所述判断单元包括：第二判断模块，用于根据纹理图像的梯度特性与合成视点失真的关系，若判定深度图像编码单元的某一行像素的视差的失真未对合成视点失真产生影响，则判定该行像素没有导致合成视点像素值的变化。优选的，在本发明一实施例中，所述判断单元包括：第三判断模块，判断深度图像编码单元的某一行像素对应的合成视点中的像素是否被遮挡；若判定深度图像编码单元的某一行像素对应的合成视点中的像素被遮挡，则进一步判断所述深度图像编码单元的所述行像素失真以后对应的合成视点中的像素是否仍被遮挡；若判定所述深度图像编码单元的所述行像素失真以后对应的合成视点中的像素仍被遮挡，则判定该行像素没有导致合成视点像素值的变化。再一方面，本发明实施例提供了一种编码器，所述编码器包括上述编码深度信息时的视点合成装置。上述技术方案具有如下有益效果：因为采用在编码深度信息时的视点合成过程中，判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化；若判定深度图像编码单元的某一行像素没有导致合成视点像素值的变化，则在视点合成过程中跳过该行，不利用该行像素进行视点合成的技术手段，所以可以在保证编码性能的同时减小编码端的时间复杂度。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例一种编码深度信息时的视点合成方法流程图；图2为本发明实施例一种编码深度信息时的视点合成装置结构示意图；图3为本发明实施例判断单元结构示意图；图4为本发明应用实例对应相同1/4像素精度视差情况下原始视差和失真视差示意图；图5(a)为本发明应用实例原始深度对应的合成视点示意图；图5(b)为本发明应用实例失真深度对应的合成视点示意图；图5(c)为本发明应用实例图5(a)和图5(b)中合成视点的像素值之差示意图；图6为本发明应用实例遮挡像素示意图；图7为本发明应用实例编码深度信息时的视点合成方法流程图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。如图1所示，为本发明实施例一种编码深度信息时的视点合成方法流程图，所述编码深度信息时的视点合成方法包括：101、在编码深度信息时的视点合成过程中，判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化；102、若判定深度图像编码单元的某一行像素没有导致合成视点像素值的变化，则在视点合成过程中跳过该行，不利用该行像素进行视点合成。优选的，所述判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化，包括：根据像素的深度信息与视差信息的关系，若判定深度图像编码单元的某一行像素的深度信息失真未导致视差失真，则判定该行像素没有导致合成视点像素值的变化。或者，优选的，所述判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化，包括：根据纹理图像的梯度特性与合成视点失真的关系，若判定深度图像编码单元的某一行像素的视差的失真未对合成视点失真产生影响，则判定该行像素没有导致合成视点像素值的变化。或者，优选的，所述判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化，包括：判断深度图像编码单元的某一行像素对应的合成视点中的像素是否被遮挡；若判定深度图像编码单元的某一行像素对应的合成视点中的像素被遮挡，则进一步判断所述深度图像编码单元的所述行像素失真以后对应的合成视点中的像素是否仍被遮挡；若判定所述深度图像编码单元的所述行像素失真以后对应的合成视点中的像素仍被遮挡，则判定该行像素没有导致合成视点像素值的变化。对应于上述方法实施例，如图2所示，为本发明实施例一种编码深度信息时的视点合成装置结构示意图，所述编码深度信息时的视点合成装置包括：判断单元21，用于在编码深度信息时的视点合成过程中，判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化；视点合成处理单元22，用于若判定深度图像编码单元的某一行像素没有导致合成视点像素值的变化，则在视点合成过程中跳过该行，不利用该行像素进行视点合成。优选的，如图3所示，为本发明实施例判断单元结构示意图，所述判断单元21包括：第一判断模块211，用于根据像素的深度信息与视差信息的关系，若判定深度图像编码单元的某一行像素的深度信息失真未导致视差失真，则判定该行像素没有导致合成视点像素值的变化。或者，所述判断单元包括：第二判断模块212，用于根据纹理图像的梯度特性与合成视点失真的关系，若判定深度图像编码单元的某一行像素的视差的失真未对合成视点失真产生影响，则判定该行像素没有导致合成视点像素值的变化。或者，所述判断单元包括：第三判断模块213，用于判断深度图像编码单元的某一行像素对应的合成视点中的像素是否被遮挡；若判定深度图像编码单元的某一行像素对应的合成视点中的像素被遮挡，则进一步判断所述深度图像编码单元的所述行像素失真以后对应的合成视点中的像素是否仍被遮挡；若判定所述深度图像编码单元的所述行像素失真以后对应的合成视点中的像素仍被遮挡，则判定该行像素没有导致合成视点像素值的变化。再一方面，本发明实施例提供了一种编码器，所述编码器包括上述编码深度信息时的视点合成装置。本发明实施例上述方法、装置或编码器技术方案具有如下有益效果：因为采用在编码深度信息时的视点合成过程中，判断深度图像编码单元的每一行像素是否导致合成视点像素值的变化；若判定深度图像编码单元的某一行像素没有导致合成视点像素值的变化，则在视点合成过程中跳过该行，不利用该行像素进行视点合成的技术手段，所以可以在保证编码性能的同时减小编码端的时间复杂度。本发明实施例上述方法、装置或编码器技术方案可作用在背景技术2和3所述过程。与2和3所述过程在编码深度图像编码单元的过程中和编码深度图像编码单元之后都需要更新合成视点不同，本发明实施例在每次更新合成视点之前，根据像素的深度信息与视差信息的关系，或根据纹理图像的梯度特性与合成视点失真的关系，或合成视点的遮挡特性进行分析，判断是否需要更新合成视点。通过只对某些深度图像编码单元或者深度图像编码单元中的某些行执行合成视点的更新操作，本发明实施例可以有效减少合成视点更新操作，从而降低编码器复杂度。(需要说明的是本技术方案对于解码端没有任何影响)具体的本发明应用实例的技术方案如下：1、在摄像机水平并行排列的情况下，真实的深度信息z与视差信息d之间的关系可以表示为：其中，f代表摄像机的焦距。l代表两个视点之间的基准距离。设当前深度z对应的量化深度为v＝Q(z),则视差信息与量化深度之间的关系可以表示为：由公式(3)可以看出，不同的深度信息会导致不同的水平视差。然而，在实际应用中，一般会对水平视差做取整操作(rounding)。例如在现有的3DV-HEVC中，对水平视差采用1/4像素精度取整，如图4所示，为本发明应用实例对应相同1/4像素精度视差情况下原始视差和失真视差示意图。取整以后可以看到，原始深度和失真深度对应着相同的1/4像素精度的水平视差。因此，深度信息的失真不一定会导致水平视差的失真。设当前像素的位置为p,像素深度值对应的视差d在1/N精度的取整的操作为RN(d)。假设dop为原始视差，dsp为失真视差。则视差失真可以表示为DN(dop,dsp)＝RN(dop)-RN(dsp)(4)那么失真深度v’属于如下条件的集合C1的条件时，当前深度图像失真不会对视点合成产生影响。C1＝{v'|DN(g(v),g(v'))＝0}(5)在现有的3DV-HEVC中，对水平视差采用1/4像素精度取整，则N＝4。2、当视差失真不为0时，合成视点的失真与纹理图像特性有很大的关系：如图5(a)所示，为本发明应用实例原始深度对应的合成视点示意图；如图5(b)所示，为本发明应用实例失真深度对应的合成视点示意图；如图5(c)所示，为本发明应用实例图5(a)和图5(b)中合成视点的像素值之差示意图。纹理图像中位置2～5的像素值相同，这些位置纹理图像梯度很小或为0，这种情况下，利用原始深度信息和失真深度信息得到的合成视点中的像素差别很小，如图5(a)和图5(b)中合成视点位置1～3的像素值；另一方面，纹理图像中位置5～9的像素值变化较大，这些位置纹理图像梯度较大，这种情况下，利用原始深度信息和失真深度信息得到的合成视点中的像素差别很大，如图5(a)和图5(b)中合成视点位置4～7的像素值。即在平滑区域时，视差的失真并不能对合成视点失真产生影响。因此，本发明实施例定义当失真深度v’满足如下集合C2的条件时，可认为当前深度图像失真不会对视点合成产生影响。C2＝{v'|D1(g(v),g(v'))＝0且G(p)＝0}(6)其中，G(p)为失真纹理图像在位置p的梯度。可以表示为:G(p)＝|I(p)-I(p-1)|+|I(p)-I(p+1)|(7)3、当前深度像素点对应的合成视点中的像素被遮挡时，该深度信息在视点合成中不起作用。如图6所示，为本发明应用实例遮挡像素示意图，c,d像素的深度信息不影响视点合成的结果。因此，如果当前深度像素失真以后，其对应的合成视点中的像素仍然被遮挡，即可认为当前深度像素失真不会对视点合成产生影响。本发明实施例定义当失真深度v’满足如下集合C3的条件时，可认为当前深度图像失真不会对视点合成产生影响:C3＝{v'|D1(g(v),g(v'))＝0且v∈O}(8)其中，O为被遮挡(即其对应的合成视点中的像素被遮挡)的深度像素的集合。设当前深度图像编码单元第j行像素的集合为Sj,从以上定义的条件C1,C2,C3可知，当当前行所有像素都满足集合C1,C2,C3中的任何一个条件时，即C＝C1∪C2∪C3(9)即可认为当前行深度信息像素的失真对合成视点失真没有影响。如图7所示，为本发明应用实例编码深度信息时的视点合成方法流程图，包括如下步骤：701、初始化j＝0；702、对当前块中第j行像素Sj703、判断是否d∈C，如果是，即可认为当前行深度信息像素的失真对合成视点失真没有影响，则转步骤704，如果否，则转步骤706；704、跳过第j行，不利用该第j行像素进行视点合成；705、将j+1赋给最为新的j，即j＝j+1，然后转步骤702；706、利用第j行像素Sj视点合成；707、将j+1赋给最为新的j，即j＝j+1，然后转步骤702。由此可见，当编码器需要用某深度图像编码单元的信息更新合成视点时，首先对当该深度图像编码单元的每一行用条件C进行判断,如果某一行的所有深度信息都满足条件C，则不用该行更新合成视点，否则，需要用该行更新合成视点。本技术方案应用的技术范围(领域)是编码深度信息过程中的视点合成过程。在编码深度信息计算失真的过程中，现有方法使用每个深度图像编码单元的每一行像素进行视点合成。提出的方案中，首先判断深度图像编码单元的每一行是否对视点合成有影响，如果没有影响，则在视点合成过程中跳过该行从而降低编码时间复杂度。通过实验表明，本技术方案可以对于1024x768的序列,编码端总时间复杂度可以降低10％以上，同时不损失编码性能。本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrativelogicalblock)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrativecomponents)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电脑、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。