专利名称：一种立体电视系统中深度图像编码方法
技术领域：
本发明涉及数字图像处理技术，特别地，涉及一种基于图像旋转的深度图 像编码方法
背景技术：
随着数字视频技术的快速发展和广泛应用，人们对视频质量和形式的要求 越来越高，传统的二维平面视频已满足不了人们对场景真实和自然地再现的需 求，因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业 界的重视。立体/多视点视频与单目视频相比，增加了景物深度信息表征，在立 体电视、自由视点电视、具有临场感的可视会议、右现实等领域具有广泛应用
前景(见侯春萍,杨蕾，宋晓炜，戴居丰.立体电视技术综述.信号处理.2007. 23-5)。
立体电视系统用户端的设计应该满足复杂度低、功能实现简单、制造成本 低的要求。由于用户端的计算能力、存储能力有限，在用户端应该选择低计算 量、低存储容量的自由视点图像绘制算法。欧洲的先进立体电视系统技术 (ATTEST)计划提出了基于深度相机的立体场景生成方法，并以此为基础设计 了立体电视系统。在该立体电视系统中，编码端将压縮后的深度图像传送给用 户端，用户端用接收到的图像信息进行自由视点图像绘制。
深度图像编码是立体电视系统中的关键技术之一。本发明首先将左视角深 度图像旋转到右视角得到预测图像，然后计算右视点深度图像和预测图像之间 的差值，最后编码差值图像。与直接编码右视点深度图像相比，编码差值图像 所需要的码率更小。本发明充分利用了左视点深度图像和右视点深度图像之间 的相关性，提高了压縮效率。
发明内容
本发明的目的是提供一种基于图像旋转的深度图像编码方法。本发明充分 利用了左视点深度图像和右视点深度图像之间的相关性，提高了压縮效率。
包括如下步骤
1) 根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点，得
到预测图像；
2) 归一化右视点深度图像和预测图像之间的差值，得到差值图像；
3) 运用视频编码技术，采用较大的量化参数对差值图像进行编码。
所述的根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点， 得到预测图像步骤
a) 把预测图像中每个象素点的亮度值设置为0
b) 根据下列式子，计算从左视点到右视点的旋转矩阵-丄_/0—i 一PP =丄一J x丄—￡ x (X—￡^ ) x (X乂-'，；
其中，丄一^和丄_5分别是左视点相机的内参和外参，U和Z一E分别是右视 点相机的内参和外参，丄J0J —pp是从左视点到右视点的旋转矩阵。 C)根据下列式子，计算左视点深度图像中每个象素的深度值
<formula>formula see original document page 5</formula>
其中，"」&力是左视点深度图像中图像坐标(x， y)处象素点的亮度值， MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，^Zc&^是左
视点深度图像中图像坐标(X， y)处象素点的深度值。
如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的 距离为MaxZ;如果深度图像中象素点的亮度为255，表示该象素点距离世界坐 标系中原点的距离为MinZ。
d) 根据下列式子，计算左视点深度图像中每个象素点旋转到右视点后的图 像坐标，得到从左视点到右视点的横坐标映射函数和纵坐标映射函数
<formula>formula see original document page 5</formula>
其中，x和y分别是左视点深度图像中当前象素点的横坐标和纵坐标， c^x"和c^ir力分别是x方向和y方向的修剪函数，附《船和Mg似分别为深度图 像的宽度和高度，丄」oJ —i^是从左视点到右视点的旋转矩阵，丄」oJLx&^和
丄—"JO^,W分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数；
e) 根据下列式子，计算预测图像
<formula>formula see original document page 5</formula>
其中，D —丄是左视点深度图像，D一i^x，力是左视点深度图像中图像坐标(x，
y)处象素点的亮度值，L」o—i —;c(3c,力和丄joJO^,力分别是从左视点到右视点的 横坐标映射函数和纵坐标映射函数，i W是旋转图像，及W(3c，力是旋转图像 中图像坐标(x, y)处象素点的亮度值，及—Z是预测图像，及—￡&力是 预测图像中图像坐标(x， y)处象素点的亮度值。
所述的归一化右视点深度图像和预测图像之间的差值，得到差值图像步骤:
f) 计算右视点深度图像和预测图像之间的差值
=D —A 「;v,力一 ￡> — / —Z(^;,力； 其中，i 是右视点深度图像，訂;c，力是右视点深度图像中图像坐标(x， y)处象素点的亮度值，及—Z是预测图像，i —Z&力是预测图像中图像坐 标(x， y)处象素点的亮度值，D^^力是图像坐标(x， y)处右视点深度图像 和预测图像之间的差值。
g) 归一化右视点深度图像和预测图像之间的差值，得到差值图像-￡>#^/7 &力=(&力+255)/2;
其中，D^(3c,力是图像坐标(x， y)处右视点深度图像和预测图像之间的差 值，D浙W^是差值图像，"浙W^(3c，力是差值图像中图像坐标(x， y)处象素点 的亮度值。
所述的运用视频编码技术，采用较大的量化参数对差值图像进行编码步骤:
h) 根据左视角深度图像的量化参数，设置差值图像的量化参数 2户—卿=『矽+5;
其中，2户一"y 是用户设定的左视角深度图像的量化参数，e尸一"#插值图
像的量化参数；
i) 对残差图像中的每个宏块，首先进行帧内预测或者帧间预测，然后插值 图像的量化参数，对预测残差进行量化。宏块的量化参数越小，量化时所采用 的量化步长越小，量化误差越小。
本发明首先将左视角深度图像旋转到右视角得到预测图像，然后计算右视 点深度图像和预测图像之间的差值，最后编码差值图像。与直接编码右视点深 度图像相比，编码差值图像所需要的码率更小。本发明充分利用了左视点深度 图像和右视点深度图像之间的相关性，提高了压縮效率。
图1是基于图像旋转的深度图像编码方法结构示意图； 图2是左视点深度图像； 图3是右视点深度图像；
图4是预测图像； 图5是编码后的深度图像。
具体实施例方式
图1给出了本发明的结构示意图。本发明的目的是提供一种基于图像旋转 的深度图像编码方法。它包括如下步骤
步骤1，根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点， 得到预测图像步骤
a) 把预测图像中每个象素点的亮度值设置为O
b) 根据下列式子，计算从左视点到右视点的旋转矩阵 <formula>formula see original document page 7</formula>
其中，L_A和L_E分别是左视点相机的内参和外参，L_A和L_E分别是右视 点相机的内参和外参，L_to_R_PP是从左视点到右视点的旋转矩阵。 C)根据下列式子，计算左视点深度图像中每个象素的深度值
<formula>formula see original document page 7</formula>
其中，D —丄&力是左视点深度图像中图像坐标(X， y)处象素点的亮度值， MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，Zc^,^是左
视点深度图像中图像坐标(x， y)处象素点的深度值。
如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的 距离为MaxZ;如果深度图像中象素点的亮度为255，表示该象素点距离世界坐 标系中原点的距离为MinZ。
d)根据下列式子，计算左视点深度图像中每个象素点旋转到右视点后的图 像坐标，得到从左视点到右视点的横坐标映射函数和纵坐标映射函数
<formula>formula see original document page 7</formula>
其中，x和y分别是左视点深度图像中当前象素点的横坐标和纵坐标， clipX(x)和clipY(y)分别是x方向和y方向的修剪函数，Width和Hight分别为深度图 像的宽度和高度，L_to_R_PP是从左视点到右视点的旋转矩阵，L_to_R_x(x,y)和L_to_R_y(x,y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数；
e) 根据下列式子，计算预测图像
D _ i W (丄一toj 一x〈x, ^ ，丄—to—及j「x' ^ ) = D _丄「jc,少)；
H丄"力=(ZL (SU " —+ " ^ +力))Z 9 ;
其中，。—丄是左视点深度图像，D —丄(^，力是左视点深度图像中图像坐标(x， y)处象素点的亮度值，丄joj —;^,:^和i^ojo^,力分别是从左视点到右视点的
横坐标映射函数和纵坐标映射函数，"JW是旋转图像，D —勘卬,力是旋转图像 中图像坐标(x， y)处象素点的亮度值，DJ一丄是预测图像，/)_/ _丄&力是 预测图像中图像坐标(x， y)处象素点的亮度值。
左视点深度图像如图2所示。右视点深度图像如图3所示。预测图像如图4 所示。
步骤2，归一化右视点深度图像和预测图像之间的差值，得到差值图像步骤:
f) 计算右视点深度图像和预测图像之间的差值
其中，。_及是右视点深度图像，。_*&力是右视点深度图像中图像坐标"，
y)处象素点的亮度值，n是预测图像，K"x,力是预测图像中图像坐 标(x， y)处象素点的亮度值，Z)^&;;)是图像坐标(x， y)处右视点深度图像 和预测图像之间的差值。
g) 归一化右视点深度图像和预测图像之间的差值，得到差值图像 Dip/aj9「x,力=(￡ #&>0+255)/2;
其中，"^&力是图像坐标(x， y)处右视点深度图像和预测图像之间的差 值，i)^l/a/ 是差值图像，Z)骄l^p^力是差值图像中图像坐标(x， y)处象素点 的亮度值。
步骤3，运用视频编码技术，采用较大的量化参数对差值图像进行编码步骤:
h) 根据左视角深度图像的量化参数，设置差值图像的量化参数 『曙=2尸_矽+5;
其中，2户_丄^是用户设定的左视角深度图像的量化参数，"#插值图 像的量化参数；
i) 对残差图像中的每个宏块，首先进行帧内预测或者帧间预测，然后插值 图像的量化参数，对预测残差进行量化。宏块的量化参数越小，量化时所采用 的量化步长越小，量化误差越小。
编码后的深度图像如图5所示。
权利要求
1．一种基于图像旋转的深度图像编码方法，其特征在于包括如下步骤1)根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点，得到预测图像；2)归一化右视点深度图像和预测图像之间的差值，得到差值图像；3)运用视频编码技术，采用较大的量化参数对差值图像进行编码。
2. 根据权利要求1所述的一种基于图像旋转的深度图像编码方法，其特征在 于所述的根据左视点到右视点的旋转矩阵，把左视点深度图像旋转到右视点， 得到预测图像步骤a) 把预测图像中每个象素点的亮度值设置为Ob) 根据下列式子，计算从左视点到右视点的旋转矩阵 丄—to—及—户/5 =Xx丄—￡x(Z—Jx(X—j'J ;其中，丄j和丄—五分别是左视点相机的内参和外参，丄j和丄—5分别是右视点相机的内参和外参，是从左视点到右视点的旋转矩阵。C)根据下列式子，计算左视点深度图像中每个象素的深度值Zcf3c， ；/」=(255 x MoxZ x M7zZ) /(Z) — Z(3:， 乂) x (Mox:Z — M,wZ) + 255 x M/wZ);其中，"_丄^力是左视点深度图像中图像坐标(x， y)处象素点的亮度值， MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，丄—Zc^,力是左视点深度图像中图像坐标(x， y)处象素点的深度值。如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的 距离为MaxZ;如果深度图像中象素点的亮度为255，表示该象素点距离世界坐 标系中原点的距离为MinZ。d)根据下列式子，计算左视点深度图像中每个象素点旋转到右视点后的图 像坐标，得到从左视点到右视点的横坐标映射函数和纵坐标映射函数<formula>formula see original document page 2</formula>c/z^pATif^)=附m(Wz'flW -1,附axf0，力」；c/z) lY力=ff7/"(^/i'g/ , -1, wax(19,少"； 其中，x和y分别是左视点深度图像中当前象素点的横坐标和纵坐标， A)^W和c/^r力分别是x方向和y方向的修剪函数，附V她和州g似分别为深度图 像的宽度和高度，丄—toJ —PP是从左视点到右视点的旋转矩阵，丄—/oJ j^，W和 j^，力分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数；e) 根据下列式子，计算预测图像<formula>formula see original document page 3</formula>其中，D —丄是左视点深度图像，D一丄(^,力是左视点深度图像中图像坐标(X，y)处象素点的亮度值，z—to—iL^c,^和丄」0—iO^,力分别是从左视点到右视点的 横坐标映射函数和纵坐标映射函数，/)_及0/是旋转图像，D—/ o"u)是旋转图像 中图像坐标(x， y)处象素点的亮度值，K丄是预测图像，D—及_￡(3^)是 预测图像中图像坐标(x， y)处象素点的亮度值。
3. 根据权利要求1所述的一种基于图像旋转的深度图像编码方法，其特征在 于所述的归一化右视点深度图像和预测图像之间的差值，得到差值图像步骤f) 计算右视点深度图像和预测图像之间的差值=D—及—丄&力； 其中，及是右视点深度图像，訂x,力是右视点深度图像中图像坐标(x， y)处象素点的亮度值，i —丄是预测图像，if—丄fx，力是预测图像中图像坐 标(x， y)处象素点的亮度值，D^&j)是图像坐标(x, y)处右视点深度图像 和预测图像之间的差值。g) 归一化右视点深度图像和预测图像之间的差值，得到差值图像 A;pfop&力=(￡>#&力+255)/2;其中，￡>#&力是图像坐标(x， y)处右视点深度图像和预测图像之间的差 值，D浙Vfop是差值图像，D浙V/邵&力是差值图像中图像坐标(x， y)处象素点 的亮度值。
4. 根据权利要求1所述的一种基于图像旋转的深度图像编码方法，其特征在 于所述的运用视频编码技术，采用较大的量化参数对差值图像进行编码步骤h) 根据左视角深度图像的量化参数，设置差值图像的量化参数其中，2户_"》是用户设定的左视角深度图像的量化参数，2^_"#插值图 像的量化参数；i) 对残差图像中的每个宏块，首先进行帧内预测或者帧间预测，然后插值 图像的量化参数，对预测残差进行量化。宏块的量化参数越小，量化时所采用 的量化步长越小，量化误差越小。
全文摘要
本发明公开了一种基于图像旋转的深度图像编码方法。它包括如下步骤1)计算深度图像中每个象素点的边缘强度值，然后根据象素点的边缘强度值计算每个宏块的边缘强度值；2)把深度图像中的所有宏块分为强边缘宏块、中等边缘宏块和弱边缘宏块三类；3)对强边缘宏块设置较小量化参数，对中等边缘宏块设置中等量化参数，对弱边缘宏块设置较大量化参数；4)根据设置的量化参数对深度图像中的所有宏块，运用视频编码技术对深度图像进行编码。本发明对强边缘宏块设置小的量化参数，从而有效地保护深度图像的边缘信息，提高用户端自由视点图像绘制的质量。
文档编号H04N13/00GK101365142SQ20081016159
公开日2009年2月11日 申请日期2008年9月23日 优先权日2008年9月23日
发明者刘济林, 许士芳, 杰 雷 申请人:浙江大学