基于深度的三维图像处理方法
【专利摘要】一种基于深度的三维图像处理方法。将深度视频进行下采样后，以隐写的方式将采样信息（深度信息）嵌入至颜色视频之亮度和色度宏区块中，然后再进行视频压缩。因此，在保持颜色视频之画质的情况下能再降低码率（Bit Rate），从而减少视频数据量以利存储与传输。
【专利说明】基于深度的三维图像处理方法
【技术领域】
[0001]本发明系涉及一种图像处理方法，尤其涉及一种基于深度的三维图像处理方法。
【背景技术】
[0002]三维视频显示主要是在传统的二维影像上增加深度影像，以增强视觉的现实感和逼真感。影像的深度指的是场景到成像平面的距离信息，以000?255的灰度值(即，亮度值)来表示。距离成像平面愈近，深度影像的亮度越高(灰度值越大),反之，距离成像平面愈远，深度影像的亮度越低(灰度值越小X
[0003]三维视频的影像数据量很大，因此需要对三维视频进行压缩，以避免存储空间不足和传输延迟的问题。已知的影像算法(例如，1？26和11.264)仅能对二维视频进行压缩，而不能直接对三维视频进行压缩。
[0004]因此，需要一种可有效压缩深度信息的图像处理方法。
【发明内容】
[0005]有鉴于此，需提供一种基于深度的三维图像处理方法，其适用于电子装置，在保持颜色视频之画质的情况下能再进一步降低码率(84此仏)，从而减少视频数据量以利存储与传输。
[0006]本发明一种实施方式提供一种基于深度的三维图像处理方法，适用于电子设备，所述三维图像处理方法包括:自视频源取得三维视频串流，并自所述三维视频串流提取其中一个视频帧；自所述视频帧分离出第一颜色宏区块与对应所述颜色宏区块之第一深度宏区块；对所述第一深度宏区块执行下采样操作以产生第二深度宏区块；对所述第一颜色宏区块执行深度信息嵌入操作，其中，将所述第二深度宏区块的深度信息嵌入到所述第一颜色宏区块中以产生第二颜色宏区块；对所述颜色宏区块执行图像处理以产生第三颜色宏区块；对所述第三颜色宏区块执行深度视频提取操作，其中，提取所述第三颜色宏区块中的深度信息以产生当前视角之第四颜色宏区块，并根据所述深度信息产生第三深度宏区块；对所述第三深度宏区块执行上采样操作；合成所述上采样后之第三深度宏区块与所述第四颜色宏区块以产生另一视角之第五颜色宏区块；以及将所述第四颜色宏区块与所述第五颜色宏区块合成为三维视频。
[0007]优选地，在本发明之基于深度的三维图像处理方法中，所述深度信息嵌入操作还包括:将所述第一颜色宏区块划分为多个子颜色宏区块；对所述第一深度宏区块进行下采样以产生所述第二深度宏区块，其中所述第二深度宏区块之总像素数为所述第一深度宏区块的1/? ；以及自所述第二深度宏区块提取任意多个深度像素中的深度信息，并且嵌入至所述子颜色宏区块中，以得到具有深度信息之所述第二颜色宏区块。
[0008]优选地，在本发明之基于深度的三维图像处理方法中，所述子颜色宏区块包括4个亮度宏区块与2个色度宏区块。
[0009]优选地，本发明之基于深度的三维图像处理方法还包括:将所述亮度宏区块之每一个亮度宏区块的任意2个像素，以所述第二深度宏区块的任意2个像素置换；以及将所述色度宏区块之每一个色度宏区块的任意4个像素，以所述第二深度宏区块的任意4个像素置换。
[0010]优选地，在本发明之基于深度的三维图像处理方法中，所述第二深度宏区块之总像素数为所述第一深度宏区块的1/16。
[0011]优选地，在本发明之基于深度的三维图像处理方法中，所述深度视频撷取操作更包括下列步骤:将所述亮度宏区块之每一个亮度宏区块的2个像素以及所述色度宏区块之每一个色度宏区块的4个像素中之所述深度信息撷取出来，并根据所述深度信息产生所述第三深度宏区块。
[0012]通过本发明一种实施方式之基于深度的三维图像处理方法，在保持颜色视频之画质的情况下能再进一步降低码率，从而减少视频数据量以利存储与传输。
【专利附图】
【附图说明】
[0013]图1是显示本发明一种实施方式之基于深度的三维图像处理方法的步骤流程图。
[0014]图2系显示本发明一种实施方式之深度信息嵌入方法的步骤流程图。
[0015]图3系显示本发明一种实施方式之深度信息撷取方法的步骤流程图。
[0016]主要元件符号说明
[0017]颜色宏区块 210、340
[0018]亮度宏区块 220
[0019]色度宏区块 230
[0020]深度宏区块 310
[0021]亮度信息 320
[0022]色度信息 330
【具体实施方式】
[0023]本发明一种实施方式之基于深度的三维图像处理方法将深度视频进行下采样后，将深度信息嵌入至颜色视频之亮度和色度宏区块中，然后再进行视频压缩。因此，在保持颜色视频之画质的情况下能再进一步降低码率(84此仏)，从而减少视频数据量以利存储与传输。
[0024]图1是显示本发明一种实施方式之基于深度的三维图像处理方法的步骤流程图。
[0025]自视频源取得三维视频串流，自所述三维视频串流提取多个视频帧，并依序对每一个视频巾贞进行处理。首先，自第一个视频巾贞分离出至少一个颜色宏区块
(18))与对应所述颜色宏区块之至少一个深度宏区块(步骤31023104),其中所述颜色宏区块之总像素数为16*16，采样格式为1:(^:0=4:4:1所述深度宏区块之总像素数为16*16，采样格式为
[0026]对所述(第一)颜色宏区块进行残差处理，并且执行深度视频下采样操作，即，对所述(第一)深度宏区块进行下采样(步骤3106).对所述(第一)颜色宏区块执行深度信息嵌入操作，即，将所述(第一)深度宏区块的深度信息嵌入(隐写)到对应之所述(第一)颜色宏区块中(步骤3108)0
[0027]图2系显示本发明一种实施方式之深度信息嵌入方法的步骤流程图。
[0028]对所述(第一)颜色宏区块的(?像素和0像素进行下采样，其中采样格式为1(^:0=4:2:0.将所述(第一)颜色宏区块划分为6个子颜色宏区块(步骤3202),其中包括4个亮度宏区块与2个色度宏区块(总像素数分别为8*8〉。将所述(第一)深度宏区块依照1/16比例进行下采样后，形成总像素数为4*4的深度宏区块(步骤3204),以下称为第二深度宏区块。
[0029]自所述第二深度宏区块提取任意多个深度像素中的深度信息，并且嵌入至每一个亮度宏区块与每一个色度宏区块中(步骤32063208).上述深度信息嵌入操作包括将4个亮度宏区块中之每一个亮度宏区块的任意2个像素(例如，在位置(1,1)与(8,8)的像素)，以所述第二深度宏区块的任意2个像素置换，以及将2个色度宏区块中之每一个色度宏区块的任意4个像素(例如，在位置(1, 1)、(1, 8)、(8, 1)与(8, 8)的像素)以所述第二深度宏区块的任意4个像素置换。如此，可得到具有深度信息之颜色宏区块210 (第二颜色宏区块),其包括4个亮度宏区块与2个色度宏区块。
[0030]需注意到，可使用所述第二深度宏区块中与所述亮度或色度宏区块中对应位置的像素来置换。
[0031]回到图1，深度信息被嵌入后，对(第二)颜色宏区块210进行离散余弦转换
(1)1801-61:6 0081116 丁0(71)与量化(0皿111: 12社 1011)操作(步骤 3110 )。对包含(第二)颜色宏区块210的视频串流进行熵编码(此廿叩7 ￡1100(11118)以得到视频编码流(步骤3112),接着进行熵译码(此廿叩7 06⑶(11叩)以得到视频译码流(步骤3114),然后传送到网络层115以传送到远程或存储。
[0032]另一方面，对已完成变换与量化操作后之(第二)颜色宏区块210进行反离散余弦转换(11^61^6 0(71)与反量化(11^61^6 0118111:1281:1011)(步骤3116 )操作，以解碼恢复含深度信息之颜色宏区块210 (以下称为第三颜色宏区块对所述第三颜色宏区块执行深度视频提取操作，即，提取所述第三颜色宏区块中的深度信息，以及恢复所述第三颜色宏区块中的色度与亮度信息以作为下一个视频帧之编码参考(步骤31…)。
[0033]图3系显示本发明一种实施方式之深度信息撷取方法的步骤流程图。
[0034]所述第三颜色宏区块包括4个亮度宏区块220与2个色度宏区块230。将在步骤3206与3208中嵌入的深度信息提取出来。也就是说，将4个亮度宏区块220中之每一个亮度宏区块的2个像素(例如，在位置(1, 1)与(8, 8)的像素)以及2个色度宏区块230中之每一个色度宏区块的4个像素(例如，在位置(1, 1)、(1, 8)、(8, 1)与(8, 8)的像素)中的深度信息提取出来(步骤3302与3306),以取得颜色宏区块210之深度信息，并据以产生深度宏区块310 (第三深度宏区块
[0035]对亮度宏区块220与色度宏区块230进行信息估计和预测(步骤3304与3308),以取得所述第三颜色宏区块之亮度信息320与色度信息330。经由上述处理，可得到已去除深度信息之颜色宏区块340 (第四颜色宏区块
[0036]将颜色宏区块340之前已经译码完成的画面作为参考帧^￡11116),并且依据所述参考帧对下一个视频帧进行帧内预测和运动估计(步骤3120),进而得到一个预测宏区块。根据所述预测宏区块与下一个视频帧之颜色宏区块相减得到一个最佳残差值，以作为下一个视频帧编码的原始数据。
[0037]另一方面，在接收端对深度宏区块310执行深度视频上采样操作(步骤3122〉。将上采样后的深度宏区块310和当前视角的颜色宏区块340合成以得到另一视角的宏区块。根据深度宏区块310的深度信息来调整所述另一视角的(第五)颜色宏区块对两眼的偏移距离，并且将所述第四与第五颜色宏区块合成为三维视频(步骤3124)0将合成后的三维视频传送到接收端(未显示)的显示设备(步骤3126)0
[0038]当处理完第一个视频帧后，即重复上述步骤，对下一个视频帧进行处理。需注意至I』，步骤3122、8124与3126都是在接收端(未显示)完成。
[0039]本发明一种实施方式之基于深度的图像处理方法对深度信息进行下采样后嵌入颜色视频，从压缩的码流中提取深度信息并进行上采样，然后对颜色视频的丢失信息进行估计和重建。如此一来，可以在视频较少失真的情况下进一步压缩码流，以减少压缩视频传输数据量。
【权利要求】
1.一种基于深度的三维图像处理方法，适用于电子设备，其特征在于，所述三维图像处理方法包括: 自视频源取得三维视频串流，并自所述三维视频串流提取其中一个视频帧； 自所述视频帧分离出第一颜色宏区块与对应所述颜色宏区块之第一深度宏区块； 对所述第一深度宏区块执行下采样操作以产生第二深度宏区块； 对所述第一颜色宏区块执行深度信息嵌入操作，其中，将所述第二深度宏区块的深度信息嵌入到所述第一颜色宏区块中以产生第二颜色宏区块； 对所述颜色宏区块执行图像处理以产生第三颜色宏区块； 对所述第三颜色宏区块执行深度视频提取操作，其中，提取所述第三颜色宏区块中的深度信息以产生当前视角之第四颜色宏区块，并根据所述深度信息产生第三深度宏区块；对所述第三深度宏区块执行上采样操作； 合成所述上采样后之第三深度宏区块与所述第四颜色宏区块以产生另一视角之第五颜色宏区块；以及 将所述第四颜色宏区块与所述第五颜色宏区块合成为三维视频。
2.如权利要求1所述之三维图像处理方法，其特征在于，所述深度信息嵌入操作还包括: 将所述第一颜色宏区块划分为多个子颜色宏区块； 对所述第一深度宏区块进行下采样以产生所述第二深度宏区块，其中所述第二深度宏区块之总像素数为所述第一深度宏区块的1/N;以及 自所述第二深度宏区块提取任意多个深度像素中的深度信息，并且嵌入至所述子颜色宏区块中，以得到具有深度信息之所述第二颜色宏区块。
3.如权利要求1所述之三维图像处理方法，其特征在于，所述子颜色宏区块包括4个亮度宏区块与2个色度宏区块。
4.如权利要求1所述之三维图像处理方法，其特征在于，还包括: 将所述亮度宏区块之每一个亮度宏区块的任意2个像素，以所述第二深度宏区块的任意2个像素置换；以及 将所述色度宏区块之每一个色度宏区块的任意4个像素，以所述第二深度宏区块的任意4个像素置换。
5.如权利要求4所述之三维图像处理方法，其特征在于，还包括: 将所述亮度宏区块之每一个亮度宏区块的任意2个像素，以所述第二深度宏区块中相应位置之2个像素置换；以及 将所述色度宏区块之每一个色度宏区块的任意4个像素，以所述第二深度宏区块中相应位置之任意4个像素置换。
6.如权利要求4所述之三维图像处理方法，其特征在于，所述第二深度宏区块之总像素数为所述第一深度宏区块的1/16。
7.如权利要求4所述之三维图像处理方法，其特征在于，所述深度视频提取操作还包括: 将所述亮度宏区块之每一个亮度宏区块的2个像素以及所述色度宏区块之每一个色度宏区块的4个像素中之所述深度信息提取出来，并根据所述深度信息产生所述第三深度宏区块。
【文档编号】H04N13/00GK104427323SQ201310370897
【公开日】2015年3月18日 申请日期:2013年8月23日 优先权日:2013年8月23日
【发明者】马守科 申请人:鸿富锦精密工业（深圳）有限公司, 鸿海精密工业股份有限公司