一种深度图像帧内编码方法、装置及编码器的制造方法
【专利摘要】本发明实施例提供一种深度图像帧内编码方法、装置及编码器，所述方法应用于三维视频编码或多视角视频编码中，所述方法包括：在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差；在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式。所述装置应用于三维视频编码或多视角视频编码中，所述装置包括：残差生成单元，用于在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差；率失真最优化选择单元，用于在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式。本发明可以降低编码深度图像所需的码率，提高编码性能。
【专利说明】—种深度图像帧内编码方法、装置及编码器
【技术领域】
[0001]本发明涉及视频编解码【技术领域】，尤其涉及一种深度图像帧内编码方法、装置及编码器。
【背景技术】
[0002]在三维视频编码或多视角应用中，深度图像可以用来提供更灵活的视角。深度信息与纹理信息不同，它并不用来直接显示，而是先转换成视差信息(disparity vector),然后和纹理信息一起用于生成合成视点。
[0003]生成合成视点的过程中，深度块的失真在以下两种情况下对合成视点的失真影响很小:1.深度值的失真不导致视差信息的失真，2.当前深度值对应的纹理值附近区域十分平滑。
[0004]综上可见，在以上两种情况下，编码深度块的残差需要占用码率但却不能带来合成视点质量的提闻。
【发明内容】
[0005]本发明实施例提供一种深度图像帧内编码方法、装置及编码器，以降低编码深度图像所需的码率，提高编码性能。
[0006]一方面，本发明实施例提供了一种深度图像帧内编码方法，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码方法包括:
[0007]在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差;
[0008]在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单兀的残差编码方式。
[0009]优选的，在本发明一实施例中，所述在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式，包括:分别获取所述非全零残差对应的率失真代价和所述全零残差对应的率失真代价；选择所述非全零残差和所述全零残差中率失真代价最小的方式作为所述预测单元的残差编码方式。
[0010]优选的，在本发明一实施例中，所述分别获取所述非全零残差对应的率失真代价和所述全零残差对应的率失真代价，包括:计算所述非全零残差对应的失真和码率，然后计算出所述非全零残差对应的率失真代价；计算所述全零残差对应的失真和码率，然后计算出所述全零残差对应的率失真代价。
[0011]优选的，在本发明一实施例中，所述计算所述非全零残差对应的失真和码率，包括:对所述非全零残差进行变换、量化、熵编码、反量化、反变换，计算出所述非全零残差对应的失真和码率；所述计算所述全零残差对应的失真和码率，包括:对所述全零残差进行熵编码，计算出所述全零残差对应的失真和码率。
[0012]优选的，在本发明一实施例中，所述在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差，包括:在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差；将所述非全零残差中的残差直接置零，以生成全零残差。
[0013]另一方面，本发明实施例提供了一种深度图像帧内编码装置，所述深度图像帧内编码装置应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码装置包括:
[0014]残差生成单元，用于在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差；
[0015]率失真最优化选择单元，用于在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式。
[0016]优选的，在本发明一实施例中，所述率失真最优化选择单元包括:率失真代价获取模块，用于分别获取所述非全零残差对应的率失真代价和所述全零残差对应的率失真代价；率失真最优化选择模块，用于选择所述非全零残差和所述全零残差中率失真代价最小的方式作为所述预测单元的残差编码方式。
[0017]优选的，在本发明一实施例中，所述率失真代价获取模块包括:第一计算模块，用于计算所述非全零残差对应的失真和码率，然后计算出所述非全零残差对应的率失真代价；第二计算模块，用于计算所述全零残差对应的失真和码率，然后计算出所述全零残差对应的率失真代价。
[0018]优选的，在本发明一实施例中，所述第一计算模块，进一步用于对所述非全零残差进行变换、量化、熵编码、反量化、反变换，计算出所述非全零残差对应的失真和码率；所述第二计算模块，进一步用于对所述全零残差进行熵编码，计算出所述全零残差对应的失真和码率。
[0019]优选的，在本发明一实施例中，所述残差生成单元，进一步用于在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差；将所述非全零残差中的残差直接置零，以生成全零残差。
[0020]再一方面，本发明实施例提供了一种编码器，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述深度图像帧内编码装置。
[0021]上述技术方案具有如下有益效果:因为采用应用于三维视频编码或多视角视频编码中的所述方法包括:在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差；在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式的技术手段，所以降低了编码深度图像所需的码率，提高了编码性能，提高了视频压缩编解码效率，并在提高编解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。
【专利附图】
【附图说明】
[0022]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本发明实施例一种深度图像帧内编码方法流程图；
[0024]图2为本发明实施例提供了一种深度图像帧内编码装置结构示意图；[0025]图3为本发明实施例率失真最优化选择单元结构示意图；
[0026]图4为本发明实施例率失真代价获取模块结构示意图；
[0027]图5为本发明应用实例基于非全零残差和全零残差率失真最优化选择的深度图像帧内编码方法示意图。
【具体实施方式】
[0028]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]为了解决这个问题，本发明实施例提出:在深度图像帧内编码模式中，可以不编码深度图像的残差，编码器在非全零残差和全零残差之间通过率失真最优化(ratedistortion optimized)选择确定是否编码残差。
[0030]如图1所示，为本发明实施例一种深度图像帧内编码方法流程图，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码方法包括:
[0031]101、在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全
零残差;
[0032]102、在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式。
[0033]优选的，所述在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式，包括:分别获取所述非全零残差对应的率失真代价和所述全零残差对应的率失真代价；选择所述非全零残差和所述全零残差中率失真代价最小的方式作为所述预测单元的残差编码方式。
[0034]优选的，所述分别获取所述非全零残差对应的率失真代价和所述全零残差对应的率失真代价，包括:计算所述非全零残差对应的失真和码率，然后计算出所述非全零残差对应的率失真代价；计算所述全零残差对应的失真和码率，然后计算出所述全零残差对应的率失真代价。
[0035]优选的，所述计算所述非全零残差对应的失真和码率，包括:对所述非全零残差进行变换、量化、熵编码、反量化、反变换，计算出所述非全零残差对应的失真和码率；所述计算所述全零残差对应的失真和码率，包括:对所述全零残差进行熵编码，计算出所述全零残差对应的失真和码率。
[0036]优选的，所述在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差，包括:在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差；将所述非全零残差中的残差直接置零，以生成全零残差。
[0037]本发明实施例上述方法技术方案具有如下有益效果:因为采用应用于三维视频编码或多视角视频编码中的所述方法包括:在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差；在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式的技术手段，所以降低了编码深度图像所需的码率，提高了编码性能，提高了视频压缩编解码效率，并在提高编解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。
[0038]对应于上述方法实施例，如图2所示，为本发明实施例提供了一种深度图像帧内编码装置结构示意图，所述深度图像帧内编码装置应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码装置包括:
[0039]残差生成单元21，用于在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差；
[0040]率失真最优化选择单元22，用于在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式。
[0041]优选的，如图3所示，为本发明实施例率失真最优化选择单元结构示意图，所述率失真最优化选择单元22包括:率失真代价获取模块221，用于分别获取所述非全零残差对应的率失真代价和所述全零残差对应的率失真代价；率失真最优化选择模块222，用于选择所述非全零残差和所述全零残差中率失真代价最小的方式作为所述预测单元的残差编码方式。
[0042]优选的，如图4所示，为本发明实施例率失真代价获取模块结构示意图，所述率失真代价获取模块包括221:第一计算模块2211，用于计算所述非全零残差对应的失真和码率，然后计算出所述非全零残差对应的率失真代价；第二计算模块2212，用于计算所述全零残差对应的失真和码率，然后计算出所述全零残差对应的率失真代价。优选的，所述第一计算模块2211，进一步用于对所述非全零残差进行变换、量化、熵编码、反量化、反变换，计算出所述非全零残差对应的失真和码率；所述第二计算模块2212，进一步用于对所述全零残差进行熵编码，计算出所述全零残差对应的失真和码率。
[0043]优选的，在本发明一实施例中，所述残差生成单元21，进一步用于在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差；将所述非全零残差中的残差直接置零，以生成全零残差。
[0044]再一方面，本发明实施例提供了一种编码器，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述深度图像帧内编码装置。
[0045]本发明实施例上述装置及编码器技术方案具有如下有益效果:因为采用应用于三维视频编码或多视角视频编码中的所述深度图像帧内编码装置包括:残差生成单元用于在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差；率失真最优化选择单元用于在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式的技术手段，所以降低了编码深度图像所需的码率，提高了编码性能，提高了视频压缩编解码效率，并在提高编解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。
[0046]本技术方案按照下述步骤实现。如图5所示，为本发明应用实例基于非全零残差和全零残差率失真最优化选择的深度图像帧内编码方法示意图。
[0047]本发明应用实例提供一种编码器，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述深度图像帧内编码装置:对一个预测单元(prediction unit)进行帧内图像编码时，它可以采用非零残差和全零残差两种残差编码方式，采用哪种残差方式不需要额外标志位标识。非全零残差是传统的深度图像帧内编码方法得到的(通过利用原始PU值减去预测值获得非全零残差值)，全零残差值通过将非全零残差值的残差直接置零得到。可通过率失真最优化选择确定采用哪一种残差编码方式。编码器在传统方法生成的残差和全零残差之间通过率失真最优化选择确定是否编码残差。
[0048]在深度图像的帧内编码模式中，编码一个预测单元时，首先用传统方法生成非全零残差，然后对它进行变换、量化、熵编码、反量化、反变换，计算出非全零残差对应的失真(distortion)和码率(rate),并计算出率失真代价(rate distortion cost)。其次,对全零残差进行熵编码，计算其对应的失真和码率，并计算率失真代价。最后，选择二者中对应的率失真代价最小的方式作为最后的残差编码方式。
[0049]本发明应用实例有益效果:本技术提高了视频压缩编解码效率；本技术在提高编解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。
[0050]本发明应用实例实验结果提出的方法集成到了 3DV-HTM (three dimensionalvideo coding - High Efficiency Video Coding(HEVC)based test model,基于高性能视频编码标准的三维视频编码测试模型)3.0中，并与它进行了比较。虽然该方法集成到了基ψ HEVC (high efficiency video coding,高性能视频编码标准)的3D编码软件中，但是该方法也可以用于基于AVC (advanced video coding,高级视频编码)的3D编码中，同时还可以用于基于HEVC或AVC的多视角视频编码中。测试序列采用了分辨率为1024x768的balloons (气球),kendo (剑道)和(色彩校正后的)newspaper (报纸),以及1920x1088的四个序列GhostTownFly (幽灵镇飞行),PoznanHal 12 (波兹南大厦),PoznanStreet (波兹南街道),UndoDancer (舞者)。
[0051]本发明应用实例实验结果如下表I所示，可以看出，本发明应用实例提出的方案可以降低“合成视点”以及“编码视点和合成视点”的码率达-0.3%，-0.3%。由于本发明应
用实例提出的算法没有改变纹理图像的编码方法，纹理图像的编码效率没有改变。
[0052]
【权利要求】
1.一种深度图像帧内编码方法，其特征在于，所述深度图像帧内编码方法应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码方法包括: 在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差； 在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式。
2.如权利要求1所述深度图像帧内编码方法，其特征在于，所述在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式，包括: 分别获取所述非全零残差对应的率失真代价和所述全零残差对应的率失真代价； 选择所述非全零残差和所述全零残差中率失真代价最小的方式作为所述预测单元的残差编码方式。
3.如权利要求2所述深度图像帧内编码方法，其特征在于，所述分别获取所述非全零残差对应的率失真代价 和所述全零残差对应的率失真代价，包括: 计算所述非全零残差对应的失真和码率，然后计算出所述非全零残差对应的率失真代价； 计算所述全零残差对应的失真和码率，然后计算出所述全零残差对应的率失真代价。
4.如权利要求3所述深度图像帧内编码方法，其特征在于， 所述计算所述非全零残差对应的失真和码率，包括:对所述非全零残差进行变换、量化、熵编码、反量化、反变换，计算出所述非全零残差对应的失真和码率； 所述计算所述全零残差对应的失真和码率，包括:对所述全零残差进行熵编码，计算出所述全零残差对应的失真和码率。
5.如权利要求1-4中任一项所述深度图像帧内编码方法，其特征在于，所述在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差，包括: 在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差； 将所述非全零残差中的残差直接置零，以生成全零残差。
6.一种深度图像帧内编码装置，其特征在于，所述深度图像帧内编码装置应用于三维视频编码或多视角视频编码中，所述深度图像帧内编码装置包括: 残差生成单元，用于在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差和全零残差； 率失真最优化选择单元，用于在所述非全零残差和所述全零残差之间进行率失真最优化选择，以作为所述预测单元的残差编码方式。
7.如权利要求6所述深度图像帧内编码装置，其特征在于，所述率失真最优化选择单元包括: 率失真代价获取模块，用于分别获取所述非全零残差对应的率失真代价和所述全零残差对应的率失真代价； 率失真最优化选择模块，用于选择所述非全零残差和所述全零残差中率失真代价最小的方式作为所述预测单元的残差编码方式。
8.如权利要求7所述深度图像帧内编码装置，其特征在于，所述率失真代价获取模块包括: 第一计算模块，用于计算所述非全零残差对应的失真和码率，然后计算出所述非全零残差对应的率失真代价； 第二计算模块，用于计算所述全零残差对应的失真和码率，然后计算出所述全零残差对应的率失真代价。
9.如权利要求8所述深度图像帧内编码装置，其特征在于， 所述第一计算模块，进一步用于对所述非全零残差进行变换、量化、熵编码、反量化、反变换，计算出所述非全零残差对应的失真和码率； 所述第二计算模块，进一步用于对所述全零残差进行熵编码，计算出所述全零残差对应的失真和码率。
10.如权利要求6-9中任一项所述深度图像帧内编码装置，其特征在于， 所述残差生成单元，进一步用于在深度图像的帧内编码模式中，编码一个预测单元时，生成非全零残差；将所述非全零残差中的残差直接置零，以生成全零残差。
11.一种编码器，其特征在于，所述编码器应用于三维视频编码或多视角视频编码中，所述编码器包括上述权利要求6-10任一项所述深度图像帧内编码装置。
【文档编号】H04N13/00GK103533324SQ201210229360
【公开日】2014年1月22日 申请日期:2012年7月3日 优先权日:2012年7月3日
【发明者】贾杰, 刘鸿彬 申请人:乐金电子(中国)研究开发中心有限公司