一种深度图像编码方法、装置及编码器的制造方法
【专利摘要】本发明实施例提供一种深度图像编码方法、装置及编码器，所述方法应用于三维视频编码或多视角视频编码中，所述方法包括：在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。所述装置包括：第一数据获取单元，用于在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；第一处理单元，用于利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生成方式。本发明实施例与现有方法中使用子像素精度的视差矢量相比，不需要插值生成子像素位置的深度值，从而降低了复杂度；同时，不带来压缩比性能下降。
【专利说明】一种深度图像编码方法、装置及编码器
【技术领域】
[0001] 本发明涉及视频编解码【技术领域】，尤其涉及一种深度图像编码方法、装置及编码 器。
【背景技术】
[0002] 在 2013 年 1 月份的 MPEG (Moving Pictures Experts Group/Motin Pictures Experts Group，动态图像专家组）会议中，MERL 在 Joint Collaborative Team on3D Video Coding Extension Development of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG11, Document: JCT3V-C0152提出的基于合成图像预测的方法被3D-HEVC (3D High Efficiency Video Coding, 3D高效视频编码）标准接受。该方法可用于纹理图像和深度图像编码。在 生成合成图像时，该方法使用子像素精度的视差矢量。
[0003] 当前3D-HEVC标准中，深度图像帧间模式的预测值生成方式可以分为三类：时间 域预测、相邻视角预测和基于合成图像预测。在时间域预测和相邻视角预测中，不使用子像 素精度的运动矢量或者视差矢量。这是由于子像素精度的运动矢量和视差矢量在深度图像 编码中不能明显提高压缩比，但却带来了额外的编码和解码复杂度。然而，基于合成图像预 测方法中，却使用子像素精度的视差矢量，一方面，这与时间域预测和相邻视角预测中只使 用整像素精度的运动矢量或者视差矢量不一致，另一方面，它在增加复杂度的同时不能带 来明显的压缩比性能提高。
[0004] 综上可见，在基于合成图像预测方法中，如何在不增加复杂度的同时提高压缩比 性能，这是本领域的技术人员亟待解决的一个技术难题。
【发明内容】
[0005] 本发明实施例提供一种深度图像编码方法、装置及编码器，以降低编码深度图像 的复杂度，提高压缩比性能。
[0006] -方面，本发明实施例提供了一种深度图像编码方法，所述深度图像编码方法应 用于三维视频编码或多视角视频编码中，所述深度图像编码方法包括：
[0007] 在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；
[0008] 利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测 值生成方式。
[0009] 优选的，在本发明一实施例中，所述深度图像编码方法还包括：在深度图像编码 中，在时间域预测时，获取整像素精度的运动矢量；利用所述整像素精度的运动矢量到时域 参考图像中去取对应块，以作为深度图像帧间模式的预测值生成方式。
[0010] 优选的，在本发明一实施例中，所述深度图像编码方法还包括：在深度图像编码 中，在相邻视角预测时，获取整像素精度的视差矢量；利用所述整像素精度的视差矢量到相 邻视角中的参考图像中取对应块，以作为深度图像帧间模式的预测值生成方式。
[0011] 另一方面，本发明实施例提供了一种深度图像编码装置，所述深度图像编码装置 应用于三维视频编码或多视角视频编码中，所述深度图像编码装置包括：
[0012] 第一数据获取单元，用于在深度图像编码中，在基于合成图像预测时，获取整像素 精度的视差矢量；
[0013] 第一处理单元，用于利用所述整像素精度的视差矢量生成合成图像，以作为深度 图像帧间模式的预测值生成方式。
[0014] 优选的，在本发明一实施例中，所述深度图像编码装置还包括：第二数据获取单 元，用于在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量；第二处理单元， 用于利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以作为深度图像帧间 模式的预测值生成方式。
[0015] 优选的，在本发明一实施例中，所述深度图像编码装置还包括：第三数据获取单 元，用于在深度图像编码中，在相邻视角预测时，获取整像素精度的视差矢量；第三处理单 元，用于利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对应块，以作为深 度图像帧间模式的预测值生成方式。
[0016] 再一方面，本发明实施例提供了一种编码器，所述编码器应用于三维视频编码或 多视角视频编码中，所述编码器包括上述深度图像编码装置。
[0017] 上述技术方案具有如下有益效果：因为采用应用于三维视频编码或多视角视频编 码中的所述方法包括：在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差 矢量；利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值 生成方式的技术手段，所以与现有方法中使用子像素精度的视差矢量相比，本发明上述技 术方案不需要插值生成子像素位置的深度值，从而降低了复杂度；同时，本发明上述技术方 案不带来压缩比性能下降。
【专利附图】
【附图说明】
[0018] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0019] 图1为本发明实施例一种深度图像编码方法流程图；
[0020] 图2为本发明实施例一种深度图像编码装置结构示意图；
[0021] 图3为本发明实施例另一种深度图像编码装置结构示意图；
[0022] 图4为本发明实施例再一种深度图像编码装置结构示意图。
【具体实施方式】
[0023] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0024] 如图1所示，为本发明实施例一种深度图像编码方法流程图，所述深度图像编码 方法应用于三维视频编码或多视角视频编码中，所述深度图像编码方法包括：
[0025] 101、在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；
[0026] 102、利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的 预测值生成方式。
[0027] 优选的，所述深度图像编码方法还包括：在深度图像编码中，在时间域预测时，获 取整像素精度的运动矢量；利用所述整像素精度的运动矢量到时域参考图像中去取对应 块，以作为深度图像帧间模式的预测值生成方式。
[0028] 优选的，所述深度图像编码方法还包括：在深度图像编码中，在相邻视角预测时， 获取整像素精度的视差矢量；利用所述整像素精度的视差矢量到相邻视角中的参考图像中 取对应块，以作为深度图像帧间模式的预测值生成方式。
[0029] 本发明实施例上述技术方案具有如下有益效果：因为采用应用于三维视频编码或 多视角视频编码中的所述方法包括：在深度图像编码中，在基于合成图像预测时，获取整像 素精度的视差矢量；利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间 模式的预测值生成方式的技术手段，所以与现有方法中使用子像素精度的视差矢量相比， 本发明上述技术方案不需要插值生成子像素位置的深度值，从而降低了复杂度；同时，本发 明上述技术方案不带来压缩比性能下降。
[0030] 对应于上述方法实施例，如图2所示，为本发明实施例一种深度图像编码装置结 构示意图，所述深度图像编码装置应用于三维视频编码或多视角视频编码中，所述深度图 像编码装置2包括：
[0031] 第一数据获取单元21，用于在深度图像编码中，在基于合成图像预测时，获取整像 素精度的视差矢量；
[0032] 第一处理单元22,用于利用所述整像素精度的视差矢量生成合成图像，以作为深 度图像帧间模式的预测值生成方式。
[0033] 优选的，如图3所示，为本发明实施例另一种深度图像编码装置结构示意图，所述 深度图像编码装置3除包括上述第一数据获取单元21和第一处理单元22外，还包括：第二 数据获取单元31，用于在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量； 第二处理单元32,用于利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以 作为深度图像帧间模式的预测值生成方式。
[0034] 优选的，如图4所示，为本发明实施例再一种深度图像编码装置结构示意图，所述 深度图像编码装置4除包括上述第一数据获取单元21、第一处理单元22、第二数据获取单 元31和第二处理单元32外，还包括：第三数据获取单元41，用于在深度图像编码中，在相 邻视角预测时，获取整像素精度的视差矢量；第三处理单元42,用于利用所述整像素精度 的视差矢量到相邻视角中的参考图像中取对应块，以作为深度图像帧间模式的预测值生成 方式。
[0035] 再一方面，本发明实施例提供了一种编码器，所述编码器应用于三维视频编码或 多视角视频编码中，所述编码器包括上述深度图像编码装置。
[0036] 本发明实施例上述装置及编码器技术方案具有如下有益效果：因为采用应用于三 维视频编码或多视角视频编码中的所述深度图像编码装置包括：第一数据获取单元，用于 在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量；第一处理单元， 用于利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生 成方式的技术手段，所以与现有方法中使用子像素精度的视差矢量相比，本发明上述技术 方案不需要插值生成子像素位置的深度值，从而降低了复杂度；同时，本发明上述技术方案 不带来压缩比性能下降。
[0037] 本发明实施例提出在深度图像编码中，统一时间域预测、相邻视角预测和基于合 成图像预测三种预测中的运动矢量精度和视差矢量精度，只使用整像素精度的运动矢量或 视差矢量。本发明实施例当被集成到了 HTM_6.0(HTM:3D High efficiency video coding Test Model，3D高效视频编码测试模型)上进行测试，实验结果表明，在通用测试条件下，本 发明不影响压缩比性能。同时，该方法避免了子像素精度视差矢量带来的插值操作，降低了 编码和解码复杂度。
[0038] 本发明应用实例实验结果如下表1所示。共测试了 7个标准测试序列，包括分辨率 为1024x768的序列：气球（Balloons),剑道（kendo),色彩纠正后的报纸（Newspaper_CC), 以及分辨率为1920x1088的序列：幽灵镇飞行（GT_Fly)，波兹南大厅（Poznan_Hall2)，波兹 南街道（Poznan_Street)，舞者（Undo_Dancer )。这些测试序列都包括三个视角的视频及相 应的三个视角的深度信息。表1中列出了视频序列峰值信噪比相对于总码率(视频序列码 率和深度序列码率之和）的变化，同时，为了衡量深度图像的编码性能，还列出了合成视点 峰值信噪比相对于总码率的变化（由于深度图像不是直接用来观看，而是用来合成虚拟视 点的，因此通过合成视点的峰值信噪比来衡量深度图像的压缩效果)。列表中，-x.x%表示 压缩比提高了 X. χ%，χ. X%表示压缩比降低了 X. X%。通过表1可以看出，本发明基本不影响 压缩比，同时，可以省去生成子像素所需要的插值滤波器，降低了硬件复杂度。
[0039]
【权利要求】
1. 一种深度图像编码方法，其特征在于，所述深度图像编码方法应用于三维视频编码 或多视角视频编码中，所述深度图像编码方法包括： 在深度图像编码中，在基于合成图像预测时，获取整像素精度的视差矢量； 利用所述整像素精度的视差矢量生成合成图像，以作为深度图像帧间模式的预测值生 成方式。
2. 如权利要求1所述深度图像编码方法，其特征在于，所述深度图像编码方法还包括： 在深度图像编码中，在时间域预测时，获取整像素精度的运动矢量； 利用所述整像素精度的运动矢量到时域参考图像中去取对应块，以作为深度图像帧间 模式的预测值生成方式。
3. 如权利要求1所述深度图像编码方法，其特征在于，所述深度图像编码方法还包括： 在深度图像编码中，在相邻视角预测时，获取整像素精度的视差矢量； 利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对应块，以作为深度图 像帧间模式的预测值生成方式。
4. 一种深度图像编码装置，其特征在于，所述深度图像编码装置应用于三维视频编码 或多视角视频编码中，所述深度图像编码装置包括： 第一数据获取单元，用于在深度图像编码中，在基于合成图像预测时，获取整像素精度 的视差矢量； 第一处理单元，用于利用所述整像素精度的视差矢量生成合成图像，以作为深度图像 帧间模式的预测值生成方式。
5. 如权利要求4所述深度图像编码装置，其特征在于，所述深度图像编码装置还包括： 第二数据获取单元，用于在深度图像编码中，在时间域预测时，获取整像素精度的运动 矢量； 第二处理单元，用于利用所述整像素精度的运动矢量到时域参考图像中去取对应块， 以作为深度图像帧间模式的预测值生成方式。
6. 如权利要求4所述深度图像编码装置，其特征在于，所述深度图像编码装置还包括： 第三数据获取单元，用于在深度图像编码中，在相邻视角预测时，获取整像素精度的视 差矢量； 第三处理单元，用于利用所述整像素精度的视差矢量到相邻视角中的参考图像中取对 应块，以作为深度图像帧间模式的预测值生成方式。
7. -种编码器，其特征在于，所述编码器应用于三维视频编码或多视角视频编码中，所 述编码器包括上述权利要求4-6任一项所述深度图像编码装置。
【文档编号】H04N13/00GK104065972SQ201310091603
【公开日】2014年9月24日 申请日期:2013年3月21日 优先权日:2013年3月21日
【发明者】刘鸿彬, 贾杰 申请人:乐金电子(中国)研究开发中心有限公司