专利名称：一种深度图像和纹理图像码流分配的方法
技术领域：
本发明涉及数字图像处理技术，特别地，涉及一种立体电视系统中虚拟视 点图像绘制的方法
背景技术：
随着数字视频技术的快速发展和广泛应用，人们对视频质量和形式的要求 越来越高，传统的二维平面视频已满足不了人们对场景的真实和自然再现的需 求，因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业 界的重视。立体/多视点视频与单目视频相比，增加了景物深度信息表征，在立 体电视、虚拟视点电视、具有临场感的可视会议、虚拟现实等领域具有广泛应
用前景(见侯春萍,杨蕾，宋晓炜，戴居丰.立体电视技术综述.信号处理.2007. 23-5)。
立体电视系统用户端的设计应该满足复杂度低、功能实现简单、制造成本 低的要求。因为用户端的计算能力、存储能力有限，在用户端应该选择低计算 量、低存储容量的虚拟视点图像绘制算法。欧洲的先进立体电视系统技术 (ATTEST)计划提出了基于深度相机的立体场景生成方法，并以此为基础给出 设计了立体电视系统。编码端将压縮后的深度图像传送给用户端，用户端用接 收到的图像信息进行虚拟视点图像绘制。
深度图像和纹理图像码流分配是立体电视系统中的需要解决的技术之一。 如果分配给深度图像的码流太少，会引起虚拟视点图像中物体边缘形变，影响 虚拟视点图像绘制的质量；如果分配给纹理图像的码流太少，会引起虚拟视点 图像中物体表面纹理模糊，影响虛拟视点图像绘制的质量。本发明根据深度图 像复杂度和纹理图像复杂度自适应分配码流，提高用户端所虚拟视点图像绘制 的质量。
发明内容
本发明的目的是提供一种深度图像和纹理图像码流分配的方法。本发明根 据深度图像复杂度和纹理图像复杂度自适应分配码流，提高用户端所虚拟视点 图像绘制的质量。它包括如下步骤
1) 根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的 平方，计算深度图象复杂度；
2) 根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的
平方，计算纹理图象复杂度；
3)根据深度图象复杂度和纹理图象复杂度，计算分配给深度图像的码流大 小和分配给纹理图像的码流大小。
所述的根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均 值的平方，计算深度图象复杂度步骤
a) 根据下列式子，计算深度图象中相邻象素之间亮度差异平方的均值<formula>formula see original document page 5</formula>其中，—『是横向方向上相邻象素之间亮度差异的平方和，— 是纵向方向上相邻象素之间亮度差异的平方和，De/^户;c/(w,/0是深度图像中图像 坐标(w,/0处象素点的亮度值，W深度图象的图像宽度，H是深度图象的图像宽 度，￡[De;^D#2]是深度图象中相邻象素之间亮度差异平方的均值；
b) 根据下列式子，计算深度图象中相邻象素之间亮度差异平方的均值 <formula>formula see original document page 5</formula>; 其中，—『是横向方向上相邻象素之间亮度差异的和，—//是纵向方
向上相邻象素之间亮度差异的和，De/^A/(vv，;0是深度图像中图像坐标(w，/0处象 素点的亮度值，W是深度图象的图像宽度，H是深度图象的图像宽度， 五[￡>印^)#]2是深度图象中相邻象素之间亮度差异均值的平方；
C)根据下列式子，计算深度图象复杂度<formula>formula see original document page 5</formula>
其中，￡[^/^/)#2]是深度图象中相邻象素之间亮度差异平方的均值， ￡[￡>e/^Z)#]2是深度图象中相邻象素之间亮度差异均值的平方，Z^^/C/^是深度 图像复杂度；
所述的根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均 值的平方，计算纹理图象复杂度步骤
d)根据下列式子，计算纹理图象中相邻象素之间亮度差异平方的均值 <formula>formula see original document page 5</formula>其中，&^#一『是横向方向上相邻象素之间亮度差异的平方和，S^"f一i/ 是纵向方向上相邻象素之间亮度差异的平方和，Co/w/W(w,/0是纹理图像中图像 坐标(w,A)处象素点的亮度值，W纹理图象的图像宽度，H是纹理图象的图像宽 度，￡[Co/0^#2]是纹理图象中相邻象素之间亮度差异平方的均值；
e) 根据下列式子，计算纹理图象中相邻象素之间亮度差异平方的均值 可Coto/""^〗2 =+#)/(2 x『x —『-))2;
"i『mv封考，計i)一co/w尸绿w))2;
—H = m:(Co旨雄+ l，w)-Co/orP,，w))2; 其中，￡>#_『是横向方向上相邻象素之间亮度差异的和，"#_//是纵向方 向上相邻象素之间亮度差异的和，Co/^iW(w,/0是纹理图像中图像坐标(w，/0处象 素点的亮度值，W是纹理图象的图像宽度，H是纹理图象的图像宽度， ￡
2是纹理图象中相邻象素之间亮度差异均值的平方；
f) 根据下列式子，计算纹理图象复杂度
其中，￡[。/0^#2]是纹理图象中相邻象素之间亮度差异平方的均值， ￡[C0/0r￡ #]2是纹理图象中相邻象素之间亮度差异均值的平方，CW0《mP是纹理 图像复杂度；
所述的根据深度图象复杂度和纹理图象复杂度，计算分配给深度图像的码 流大小和分配给纹理图像的码流大小步骤
g) 根据下列式子，计算分配给深度图像的码流大小
h) 根据下列式子，计算分配给纹理图像的码流大小
图1是深度图像和纹理图像码流分配的方法示意图； 图2是本发明方法所得到的压縮后的深度图像； 图3是本发明方法所得到的压縮后的纹理图像。
具体实施例方式
图1给出了本发明的结构示意图。本发明提供了一种深度图像和纹理图像 码流分配的方法。它包括如下步骤
步骤1，根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均 值的平方，计算深度图象复杂度步骤
a) 根据下列式子，计算深度图象中相邻象素之间亮度差异平方的均值 <formula>formula see original document page 7</formula>其中，s『d^一w是横向方向上相邻象素之间亮度差异的平方和， 是纵向方向上相邻象素之间亮度差异的平方和，Z)e/^Px/(w,/0是深度图像中图像 坐标 ，/0处象素点的亮度值，W深度图象的图像宽度，H是深度图象的图像宽 度，E[I)印fM)W2]是深度图象中相邻象素之间亮度差异平方的均值；
b) 根据下列式子，计算深度图象中相邻象素之间亮度差异平方的均值 耶印郝#]2 —《A# —『+ — //) /(2 x『x // -『-))2 ;
"i『=z::2 w+1)-w))2; 其中，"#_『是横向方向上相邻象素之间亮度差异的和，1>#_//是纵向方
向上相邻象素之间亮度差异的和，化/^Px/O,/0是深度图像中图像坐标(Ma)处象
素点的亮度值，W是深度图象的图像宽度，H是深度图象的图像宽度，
五[￡)印^￡>#]2是深度图象中相邻象素之间亮度差异均值的平方；
c) 根据下列式子，计算深度图象复杂度
其中，￡[2>;^/)#2]是深度图象中相邻象素之间亮度差异平方的均值， M^;^Z)^ 是深度图象中相邻象素之间亮度差异均值的平方，"印幼CVm/;是深度
图像复杂度；
步骤2，根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均 值的平方，计算纹理图象复杂度步骤
d) 根据下列式子，计算纹理图象中相邻象素之间亮度差异平方的均值 五
: (S,￡># —『+ 5^￡>#_7/)/(2x『x// —『—/0;
—『=s::。2 (co/。r尸x/(w+1, - co/o^/o,柳2; #—h = z::2 z:—: (<^/。^,,"丄)-o>/o^/o, w)2;
其中，5^0#_『是横向方向上相邻象素之间亮度差异的平方和， 是纵向方向上相邻象素之间亮度差异的平方和，0>/0/"/^(^，/0是纹理图像中图像 坐标(vv,/0处象素点的亮度值，W纹理图象的图像宽度，H是纹理图象的图像宽
度，E[Co/onD(T]是纹理图象中相邻象素之间亮度差异平方的均值；
e) 根据下列式子，计算纹理图象中相邻象素之间亮度差异平方的均值 "<formula>formula see original document page 8</formula>其中，『是横向方向上相邻象素之间亮度差异的和，i/是纵向方 向上相邻象素之间亮度差异的和，<formula>formula see original document page 8</formula>是纹理图像中图像坐标<formula>formula see original document page 8</formula>处象 素点的亮度值，W是纹理图象的图像宽度，H是纹理图象的图像宽度， ￡
2是纹理图象中相邻象素之间亮度差异均值的平方；
f) 根据下列式子，计算纹理图象复杂度
其中<formula>formula see original document page 8</formula>是纹理图象中相邻象素之间亮度差异平方的均值， <formula>formula see original document page 8</formula>是纹理图象中相邻象素之间亮度差异均值的平方，是纹理
图像复杂度；
步骤3,根据深度图象复杂度和纹理图象复杂度，计算分配给深度图像的码 流大小和分配给纹理图像的码流大小步骤
g) 根据下列式子，计算分配给深度图像的码流大小
h) 根据下列式子，计算分配给纹理图像的码流大小 <formula>formula see original document page 8</formula>本发明方法所得到的压縮后的深度图像如图2所示，发明方法所得到的压
縮后的纹理图像如图3所示。
权利要求
1．一种深度图像和纹理图像码流分配的方法，其特征在于包括如下步骤1)根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方，计算深度图象复杂度；2)根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方，计算纹理图象复杂度；3)根据深度图象复杂度和纹理图象复杂度，计算分配给深度图像的码流大小和分配给纹理图像的码流大小。
2. 根据权利要求1所述的一种深度图像和纹理图像码流分配的方法，其特征在于，所述的根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方，计算深度图象复杂度步骤a) 根据下列式子，计算深度图象中相邻象素之间亮度差异平方的均值 <formula>formula see original document page 2</formula>其中，S『Z)# —F是横向方向上相邻象素之间亮度差异的平方和，—if 是纵向方向上相邻象素之间亮度差异的平方和，D印APx/(M;,/0是深度图像中图像 坐标(M^)处象素点的亮度值，W深度图象的图像宽度，H是深度图象的图像宽 度，￡[/)印^￡>#2]是深度图象中相邻象素之间亮度差异平方的均值；b) 根据下列式子，计算深度图象中相邻象素之间亮度差异平方的均值<formula>formula see original document page 2</formula>其中，￡)#_^是横向方向上相邻象素之间亮度差异的和，￡)#一//是纵向方 向上相邻象素之间亮度差异的和，Z)e;^/W(w,/0是深度图像中图像坐标(w,/0处象 素点的亮度值，W是深度图象的图像宽度，H是深度图象的图像宽度， 可De;^Z)^]2是深度图象中相邻象素之间亮度差异均值的平方；C)根据下列式子，计算深度图象复杂度<formula>formula see original document page 2</formula>其中，￡[￡ 印^￡>#2]是深度图象中相邻象素之间亮度差异平方的均值， ￡[￡>印//^#]2是深度图象中相邻象素之间亮度差异均值的平方，De;^Cmp是深度 图像复杂度。
3. 根据权利要求1所述的一种深度图像和纹理图像码流分配的方法，其特 征在于，所述的根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差 异均值的平方，计算纹理图象复杂度步骤-d) 根据下列式子，计算纹理图象中相邻象素之间亮度差异平方的均值 五[Co/orD(/T2 ] = ( 5^Z)# _ ff + S『Z># — //)/(2x『x// — PF-//);&考_『=s=sr:。2 w+i，w-c0/0 )2;>%考—// = s:。1 &+1) - 0>/。^/0，砂2;其中，^wz:; ^F是横向方向上相邻象素之间亮度差异的平方和，是纵向方向上相邻象素之间亮度差异的平方和，Co/orP」d—,/0是纹理图像中图像 坐标 ，/0处象素点的亮度值，W纹理图象的图像宽度，H是纹理图象的图像宽 度，￡
是纹理图象中相邻象素之间亮度差异平方的均值；e) 根据下列式子，计算纹理图象中相邻象素之间亮度差异平方的均值五[Co/orDi/H2 = —『+ Z>l/0/(2x『xnH))2;"l『—S:d:o2(Co^户考，w+l)-Co/。r尸jc/(/ ,w))2;埘—"=m》o/o,， + l，w)-CoW考，))2; 其中，D^一F是横向方向上相邻象素之间亮度差异的和，/)#_/^是纵向方 向上相邻象素之间亮度差异的和，Co/orPW(Ma)是纹理图像中图像坐标(iv，/0处象 素点的亮度值，W是纹理图象的图像宽度，H是纹理图象的图像宽度， 可Co/oW^]2是纹理图象中相邻象素之间亮度差异均值的平方；f) 根据下列式子，计算纹理图象复杂度其中，E[Q，/oW(T]是纹理图象中相邻象素之间亮度差异平方的均值， ￡[O^W#]2是纹理图象中相邻象素之间亮度差异均值的平方，o /^o甲是纹理 图像复杂度。
4. 根据权利要求1所述的一种深度图像和纹理图像码流分配的方法，其特 征在于，所述的根据深度图象复杂度和纹理图象复杂度，计算分配给深度图像 的码流大小和分配给纹理图像的码流大小步骤g) 根据下列式子，计算分配给深度图像的码流大小 "印,她衡化二 7bto/5/f及ate x ￡>e/7AOw/7 /( Z)e一C附p + Co/wC附p );h) 根据下列式子，计算分配给纹理图像的码流大小
全文摘要
本发明公开了一种深度图像和纹理图像码流分配的方法，该方法首先根据深度图象中相邻象素之间亮度差异平万的均值以及亮度差异均值的平万，计算深度图象复杂度然后根据纹理图象中相邻象素之间亮度差异平万的均值以及亮度差异均值的平方，计算纹理图象复杂度最后根据深度图象复杂度和纹理图象复杂度，计算分配给深度图像的码流大小和分配给纹理图像的码流大小。本发明对强边缘宏块设置小的量化参数，从而有效地保护深度图像的边缘信息，提高用户端自由视点图像绘制的质量。
文档编号H04N7/26GK101365141SQ20081016159
公开日2009年2月11日 申请日期2008年9月23日 优先权日2008年9月23日
发明者刘济林, 许士芳 申请人:浙江大学