专利名称：一种立体电视系统中虚拟视点图像绘制的方法
技术领域：
本发明涉及数字图像处理技术，特别地，涉及一种立体电视系统中虚拟视 点图像绘制的方法 背景技术随着数字视频技术的快速发展和广泛应用，人们对视频质量和形式的要求 越来越高，传统的二维平面视频已满足不了人们对场景的真实和自然再现的需 求，因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业 界的重视。立体/多视点视频与单目视频相比，增加了景物深度信息表征，在立 体电视、虚拟视点电视、具有临场感的可视会议、虚拟现实等领域具有广泛应用前景(见侯春萍,杨蕾，宋晓炜，戴居丰.立体电视技术综述.信号处理.2007. 23-5)。立体电视系统用户端的设计应该满足复杂度低、功能实现简单、制造成本 低的要求。因为用户端的计算能力、存储能力有限，在用户端应该选择低计算 量、低存储容量的虚拟视点图像绘制算法。欧洲的先进立体电视系统技术 (ATTEST)计划提出了基于深度相机的立体场景生成方法，并以此为基础给出 设计了立体电视系统。编码端将压縮后的深度图像传送给用户端，用户端用接 收到的图像信息进行虚拟视点图像绘制。虚拟视点图像绘制是立体电视系统中的关键技术之一，已成为近年来的研 究热点。物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质发明内容本发明的目的是提供一种立体电视系统中虚拟视点图像绘制的方法。本发 明通过自适应插值和重叠式填充提高用户端自由视点图像绘制的质量。它包括 如下步骤1) 根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点 纹理图像的旋转图像；2) 根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右视点 纹理图像的旋转图像；3) 对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图像的 插值图像；4) 对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像的 插值图像；5) 根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像。所述的根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像步骤a) 把左视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和红色色度分量都设置为0;b) 根据下列式子，计算从左视点到虚拟视点的旋转矩阵 <formula>formula see original document page 6</formula> ;其中，丄_^和￡—￡分别是左视点相机的内参和外参，r—^4和r—￡分别是用户指 定的虚拟视点相机的内参和外参，丄Jd/^是从左视点到虚拟视点的旋转矩阵。C)根据下列式子，计算左视点深度图像中每个象素的深度值<formula>formula see original document page 6</formula>其中，D —Z(3c,j;"是左视点深度图像中图像坐标(x， y)处象素点的亮度值， MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，丄—Zc(3c,力是左 视点深度图像中图像坐标(x， y)处象素点的深度值。如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的 距离为MaxZ;如果深度图像中象素点的亮度为255，表示该象素点距离世界坐 标系中原点的距离为MinZ。d)根据下列式子，计算左视点纹理图像中每个象素点旋转到虚拟视点后的 图像坐标，得到从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数-<formula>formula see original document page 6</formula>其中，x和y分别是左视点纹理图像中当前象素点的横坐标和纵坐标， d^r向和c/^W分别是x方向和y方向的修剪函数，肌^M和州gfe分别为深度图 像的宽度和高度，是从左视点到虚拟视点的旋转矩阵，<formula>formula see original document page 6</formula>力分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数；e) 根据下列式子，计算左视点纹理图像的旋转图像( L—fo_r—;x;(3c,;v」，丄」o一rj(3c'W ， i) =/wage一丄 (x,y，i); 其中，i G { 1， 2， 3 }， /附agej:是左视点纹理图像，^jcf3c,力和Zjo—IO^，力 分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数，/m"ge—Z是 左视点纹理图像的旋转图像，/w"ge—￡ (x，y，l)、 /mage—F—Z (x，y,2)禾口/wage—￡ (x,y,3)分别表示左视点纹理图像的旋转图像中图像坐标(x， y)处象素点的 亮度分量、蓝色色度分量和红色色度分量。所述的根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右 视点纹理图像的旋转图像步骤f) 把右视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量 和红色色度分量都设置为0;g) 根据下列式子，计算从右视点到虚拟视点的旋转矩阵 fo义尸尸=M * *J *J ;其中，及j和i —￡分别是右视点相机的内参和外参，^和r—五分别是用户指 定的虚拟视点相机的内参和外参，toJ/一PP是从右视点到虚拟视点的旋转矩阵；h) 根据下列式子，计算右视点深度图像中每个象素的深度值/ —Zc(3c,力=(255 x MaxZ x Mf"Z) /(" — i (^' 1) x (MaxZ — M!'"Z) + 255 x M!'"Z);其中，W^,U是右视点深度图像中图像坐标(x， y)处象素点的亮度值， MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，及—&^^是右视点深度图像中图像坐标(x， y)处象素点的深度值。i) 根据下列式子，计算右视点纹理图像中每个象素点旋转到虚拟视点后的 图像坐标，得到从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数f o丄R 1及to r户尸xy x及—Zc(3c,力 1i 」o丄单'力=壽翠」o丄^/ 」o丄到； W」o—^y^,力=c/ip]Y及—to义Yc/及to—Zc，；其中，x和y分别是右视点纹理图像中当前象素点的横坐标和纵坐标， d!》X向和c^]T力分别是x方向和y方向的修剪函数，附淑和州g/^分别为深度图 像的宽度和高度，i _to—Li^是从右视点到虚拟视点的旋转矩阵，i Jd;cf3c，力和 及—&_^>^,力分别是从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数；j)根据下列式子，计算右视点纹理图像的旋转图像//wage—( i 」o—jc&, W ， 及—to—Kj(3c,^， i) 二/wage—i (x，y,i); 其中，i G{1，2，3}， /mage_i 是右视点纹理图像，i jo_「—jc"，力和i _to_K_j^，力 分别是从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数，是 右视点纹理图像的旋转图像，/mage—r—i (x，y,l)、 /mage—FJ (x，y，2)禾B/wage—FJ (x,y，3)分别表示右视点纹理图像的旋转图像中图像坐标(x， y)处象素点的 亮度分量、蓝色色度分量和红色色度分量。所述的对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图 像的插值图像步骤-k)根据左视点纹理图像的旋转图像，设置左视点纹理图像的插值图像中每 个象素点的亮度分量、蓝色色度分量和红色色度分量/膨ge—/"吵 (x， y， i )=/wage—￡(x， y， i ); 其中，i e{ 1; 2， 3 }， /m"ge—LZ是左视点纹理图像的旋转图像， 是左视点纹理图像的插值图像，//^^_7_丄_/"吵(x，y, 1 )、 /"吵(x，y,2)和/wage—7—丄—/"印(x,y,3)分别表示左视点纹理图像的插 值图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红色色度分1)对左视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值，计 算插值因子<formula>formula see original document page 8</formula> 如果<formula>formula see original document page 8</formula>其中，/m昭e—Kj:是左视点纹理图像的旋转图像，/mage—,"力是相邻象素 的亮度值，^ ,w力)是冲击函数，F—丄&^是左视点纹理图像的旋转图像中图像坐标(x， y)处象素点的插值因子。m)对左视点纹理图像的旋转图像中每个象素点，根据象素点的插值因子， 进行自适应插值，具体步骤如下如果F一丄^力小于或者等于5，则不对当前象素点进行插值；如果F—Z(3c，力大 于5，则根据如下公式对当前象素点插值<formula>formula see original document page 8</formula>其中，i e{ 1} 2， 3 }， //^gL[Z是左视点纹理图像的旋转图像， /mflge——,"力是相邻象素的亮度值，尸_丄(3c,力是左视点纹理图像的旋转图像中 图像坐标(x， y)处象素点的插值因子，/附"ge—丄一/"吵是左视点纹理图像的插 值图像，/wage—/w吵(x，y,l)、 /膨ge—(x，y,2)禾口/膨ge—F—丄—/w印(x，y，3) 分别表示左视点纹理图像的插值图像中图像坐标(x， y)处象素点的亮度分量、 蓝色色度分量和红色色度分量。；所述的对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像 的插值图像步骤n)根据右视点纹理图像的旋转图像，设置右视点纹理图像的插值图像中每 个象素点的亮度分量、蓝色色度分量和红色色度分量/wage—H/"吵(x， y， i )=(x， y， i );其中，i G{ i， 2， 3 }， /,ge—FJ 是右视点纹理图像的旋转图像， /膨ge—FJ J"吵是右视点纹理图像的插值图像，/mage_K/"W ( x,y, 1 )、 /wage—rj —/"吵(x，y，2)(x，y,3)分别表示右视点纹理图像的插 值图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红色色度分o)对右视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值， 计算插值因子jc-l^附《;c+l 一 —义f, T/p/ M、— J1 如果/则ge一r—i (m，",l)! = 0 S 匸/mage K k >)— { ;— 如果/附age一KJ (附,"，1) == 0其中，/mage一FJ 是右视点纹理图像的旋转图像，/mflgeJl及—,"力是相邻象素 的亮度值，^ (/mage—rj —,"力)是冲击函数，FJ 是右视点纹理图像的旋 转图像中图像坐标(x， y)处象素点的插值因子。p)对右视点纹理图像的旋转图像中每个象素点，根据象素点的插值因子， 进行自适应插值，具体步骤如下如果FJ &力小于或者等于5，则不对当前象素点进行插值；如果FJ (3c，"大 于5，则根据如下公式对当前象素点插值-/膨ge—/"吵 (x， y， i) = ( J] 7wage_" (7w'"," ) /F—; 其中，i ￡{1， 2, 3}， /m^e—rj 是右视点纹理图像的旋转图像，/m"ge一rj —，"力是相邻象素的亮度值，FJ (3c，力是右视点纹理图像的旋转图像 中图像坐标(x, y)处象素点的插值因子，/mage—FJ —/"吵是右视点纹理图像的 插值图像，imafge义i —7n印(x，y,l )、 /附age—/"印(x,y，2)禾口/mage_F—i 一/"吵(x,y,3 ) 分别表示右视点纹理图像的插值图像中图像坐标(x， y)处象素点的亮度分量、 蓝色色度分量和红色色度分量。所述的根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行 重叠式填充，得到虚拟视点图像步骤q)根据右视点纹理图像的插值图像，设置虚拟视点图像中每个象素点的亮 度分量、蓝色色度分量和红色色度分量/附，—F (x， y， i ) =(x， y， i );其中，i e { i， 2， 3 }， /附"^_^/ _/"吵是右视点纹理图像的插值图像，/膨g^r 是虚拟视点图像，(x,y，l)、 /mager (x,y，2)F (x，y，3)分别表 示虚拟视点图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红色色度分量。r)对图像右视点纹理图像的插值图像中亮度值为0的象素点，根据下列式子 进行重叠式填充/膨ge—F (x， y， i ) 一 image—(x， y, i);/wage—r (x—l， y， i) 二 i 一/"吵 (X—1， y， i);/mage_F (x—2， y， i)= 细ge—F—(X—2， y， i);iwflge_F (x+l， y， i) 二 i 一/"吵 (x+l， y， i);/wage—F (x+2， y， i) 二 /膨ge—F—i —Mr; (x+2， y， i);其中，i e { l， 2， 3 }， /"吵是左视点纹理图像的插值图像，/mage—r是虚拟视点图像，/mage一r (x,y，l)、 (x,y，2)禾卩/mage—F (x,y,3)分别表示虚拟视点图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红 色色度分量。物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质量。本 发明通过自适应插值和重叠式填充很好地抑制了遮挡和量化误差所产生的噪 声，提高了虚拟视点图像绘制的质量。
图1是立体电视系统中虚拟视点图像绘制的方法示意图；图2是左视点深度图；图3是左视点纹理图；10图4是右视点深度图； 图5是右视点纹理图； 图6是左视点纹理图的插值图像； 图7是右视点纹理图的插值图像； 图8是本发明绘制的虚拟视点图像，具体实施方式
图1给出了本发明的结构示意图。本发明提供了一种立体电视系统中虚拟 视点图像绘制的方法。它包括如下步骤步骤1，根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左 视点纹理图像的旋转图像步骤a) 把左视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量 和红色色度分量都设置为0;b) 根据下列式子，计算从左视点到虚拟视点的旋转矩阵=W x￡ x (I—五-'J x W J ;其中，丄j和z^分别是左视点相机的内参和外参，r^和r—5分别是用户指定的虚拟视点相机的内参和外参，丄—to—FJ^是从左视点到虚拟视点的旋转矩阵。 C)根据下列式子，计算左视点深度图像中每个象素的深度值丄—Zc^:,;;」=(255x AfaxZxM/wZ)/(Z) — x(MaxZ — M/wZ) + 255xM/wZ);其中，D —Z(3c,乂l卩是左视点深度图像中图像坐标(x， y)处象素点的亮度 值，MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，￡—2(扭力是左视点深度图像中图像坐标(x， y)处象素点的深度值。如果深度图像中象素点的亮度为0，表示该象素点距离世界坐标系中原点的 距离为MaxZ;如果深度图像中象素点的亮度为255，表示该象素点距离世界坐 标系中原点的距离为MinZ 。d)根据下列式子，计算左视点纹理图像中每个象素点旋转到虚拟视点后的 图像坐标，得到从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数1=Z to K尸尸x丄—Zc(3c' ^ 1其中，x和y分别是左视点纹理图像中当前象素点的横坐标和纵坐标，c/^J^x」 和c/^祝分别是x方向和y方向的修剪函数，肌淑和Mgfe分别为深度图像的宽 度和高度，Kr一厅是从左视点到虚拟视点的旋转矩阵，to—r一难，W和 z」o一rj仅"分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数；e) 根据下列式子，计算左视点纹理图像的旋转图像-image—F—丄(丄」o一r一单'；^， Z」o一^j^x'少」，i) =/mage—丄 (x，y,i); 其中，i e{l，2，3}， /wagej:是左视点纹理图像，Z—to—jc(3c,^和Z—to—yj(3c,力 分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数，/m"^—F一Z是 左视点纹理图i象的方定转图f象，￡ (x，y，l)、 /wage—Fj: (x,y，2)和/附age—(x,y，3)分别表示左视点纹理图像的旋转图像中图像坐标(x， y)处象素点的 亮度分量、蓝色色度分量和红色色度分量。图2是左视点深度图像，图3左视点纹理图像。步骤2，根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右 视点纹理图像的旋转图像步骤f) 把右视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量和 红色色度分量都设置为0;g) 根据下列式子，计算从右视点到虚拟视点的旋转矩阵 i 」o丄尸尸=M * * (7 —F' J * (7 _,」；其中，i —^和i —￡分别是右视点相机的内参和外参，7j和r—E分别是用户指 定的虚拟视点相机的内参和外参，及—toJ^P户是从右视点到虚拟视点的旋转矩阵；h) 根据下列式子，计算右视点深度图像中每个象素的深度值i —Zc「x， yj = (255 x AfaxZ x AZ/7 Z) /(/)—及f3c， 乂 1」x (AfaxZ — M/力Z) + 255 x M/'wZ); 其中，D一i^，乂l卩是右视点深度图像中图像坐标(x， y)处象素点的亮度值， MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度，i _Zc^， ^是右 视点深度图像中图像坐标(x， y)处象素点的深度值。i) 根据下列式子，计算右视点纹理图像中每个象素点旋转到虚拟视点后的图 像坐标，得到从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数<formula>formula see original document page 12</formula>其中，x和y分别是右视点纹理图像中当前象素点的横坐标和纵坐标，w^r》和d^]r力分别是x方向和y方向的修剪函数，附c^和历gto分别为深度图像的宽 度和高度，及—r—pp是从右视点到虚拟视点的旋转矩阵，难,力和i JoJO^力分别是从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数；j)根据下列式子，计算右视点纹理图像的旋转图像/附age一r一i ( i 」o_r—jc(3c'力，i —to一^jYx,W ， i) =/wage—i (x，y，i); 其中，i e { i， 2， 3 }， /附agej 是右视点纹理图像，及—to—F一jc(3c'少」和i to—Fjf3c'" 分别是从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数，/m^e—FJ 是 右视点纹理图f象的旋转图像，/wage—7—i (x,y,l)、 /m"ge—FJ (x，y，2)和/附age—FJ (x,y,3)分别表示右视点纹理图像的旋转图像中图像坐标(x， y)处象素点的 亮度分量、蓝色色度分量和红色色度分量。图4是右视点深度图像，图5右视点纹理图像。步骤3,对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图 像的插值图像步骤k)根据左视点纹理图像的旋转图像，设置左视点纹理图像的插值图像中每 个象素点的亮度分量、蓝色色度分量和红色色度分量/膨ge—F"—丄—/"吵 (x， y， i ) =iwage—丄(x， y， i ); 其中，i e { l 2， 3 }， /mflge_7—￡是左视点纹理图像的旋转图像， /mage_F—是左视点纹理图像的插值图像，/mage—7—Z—/"frp ( x,y,l )、 /mage—/wfr; (x,y,2)禾n/wage—/"&p (x，y,3)分别表示左视点纹理图像的插 值图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红色色度分1)对左视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值，计 算插值因子义" T/r/ .、、—卩 如果/附"ge—Z(w,"，l)! = 0 5 <v/wage K丄f附,w,^J— { , ;—0 如果/mageJ^—"m,",l) = 0其中，Z是左视点纹理图像的旋转图像，//m^一r—Z^m,"力是相邻象素 的亮度值，^ (/m"ge—7—￡ ,"力)是冲击函数，F—丄(3c,力是左视点纹理图像的旋 转图像中图像坐标(x， y)处象素点的插值因子。纹理图像的旋转图像中每个象素点，根据象素点的插值因子，进行自适应插值，具体步骤如下如果d&^小于或者等于5，则不对当前象素点进行插值；如果d&"大 于5,则根据如下公式对当前象素点插值-/膨ge—/w吵 (x, y，i) = ( Z Tmage—— w力)/&，力；其中，i e { i， 2， 3 }， /m"g^7—Z是左视点纹理图像的旋转图像， //^ge一r—￡ ，"力是相邻象素的亮度值，F一Z f3c,力是左视点纹理图像的旋转图像中 图像坐标(x， y)处象素点的插值因子，/rn"ge—d/"吵是左视点纹理图像的插 值图像，iw，—/"吵(x,y，l)、 /附，—K一Z—/"吵(x,y,2)禾口/w，—F"—(x,y,3) 分别表示左视点纹理图像的插值图像中图像坐标(x， y)处象素点的亮度分量、 蓝色色度分量和红色色度分量。；步骤4，对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图 像的插值图像步骤n)根据右视点纹理图像的旋转图像，设置右视点纹理图像的插值图像中每 个象素点的亮度分量、蓝色色度分量和红色色度分量i —i""吵 (x, y， i ) =iwflgej—i (x， y, i ); 其中，i e{ i， 2， 3 }， /脂gdi 是右视点纹理图像的旋转图像，/wagtrj Jw r;7是右视点纹理图像的插值图像，i —/"吵(x,y， 1 )、 /wage—rj —J"吵(x,y,2)禾n/wage—(x,y，3)分别表示右视点纹理图像的插 值图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红色色度分o)对右视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值， 计算插值因子义f,T/D/ .、、—〖1 如果/附age—rj (附,",l)h0 —_ [0 「—及(附，"，1)==0其中，/m^—rj 是右视点纹理图像的旋转图像，/m昭0^—,"力是相邻象素的亮度值，^ (/附flge—rj —,"力)是冲击函数，FJ &"是右视点纹理图像的旋 转图像中图像坐标(x， y)处象素点的插值因子。p)对右视点纹理图像的旋转图像中每个象素点，根据象素点的插值因子，进行自适应插值，具体步骤如下如果FJ (3c,力小于或者等于5，则不对当前象素点进行插值；如果FJ &"大 于5，则根据如下公式对当前象素点插值/附"ge—K/w吵 (x， y, i) = ( Z //wage—7 ()w,w，z;j ) /F—及(3c,力；其中，i e { 1， 2， 3 }， /mflge—rj 是右视点纹理图像的旋转图像， /附"ge—KJ — ，w力是相邻象素的亮度值，F—i fx，"是右视点纹理图像的旋转图像 中图像坐标(x， y)处象素点的插值因子，/附age—K/"吵是右视点纹理图像的 插值图像，r一及—/"吵(x,y,l )、 iw，一K/w吵(x,y,2)禾口(x，y，3) 分别表示右视点纹理图像的插值图像中图像坐标(x， y)处象素点的亮度分量、 蓝色色度分量和红色色度分量。步骤5，根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进 行重叠式填充，得到虚拟视点图像步骤q)根据右视点纹理图像的插值图像，设置虛拟视点图像中每个象素点的亮 度分量、蓝色色度分量和红色色度分量/附agej (x， y， i )= 7wage_F—i —Mr/7 (x, y， i );其中，i e { l， 2， 3 }， /magO^J —/"吵是右视点纹理图像的插值图像，/顧ge—r 是虚拟视点图像，/mage—r (x，y,l)、 (x,y,2)禾B/mage—K (x，y，3)分别表示虚拟视点图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红 色色度分量。r)对图像右视点纹理图像的插值图像中亮度值为0的象素点，根据下列式子 进行重叠式填充/脂gej (x， y， i ) = /wage—i —/w吵 (x, y， i);/腿ge一K (x—1， y， i) = (x—1， y， i);/wage—F (x—2， y， i) = /贈ge—i 一/"吵 (x—2， y， i);/附age一F (x+l， y， i) — image—(x+l， y， i);/脂ge一K (x+2， y， i) = (x+2， y, i);其中，i E { 1， 2， 3 }， /mflgtd/"吵是左视点纹理图像的插值图像，/膨ge—r 是虚拟视点图像，(x,y,l)、 /mage—r (x,y,2)禾tl/wage—K (x,y,3)分别表 示虚拟视点图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红 色色度分量。物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质量。本发明通过自适应插值和重叠式填充很好地抑制了遮挡和量化误差所产生的噪 声，提高了虚拟视点图像绘制的质量。 图8是本发明绘制的虚拟视点图像；物体之间遮挡和象素坐标的量化误差严重影响虚拟视点图像绘制的质量。 本发明通过自适应插值和重叠式填充很好地抑制了遮挡和量化误差所产生的噪 声，提高了虚拟视点图像绘制的质量。
权利要求
1.一种立体电视系统中虚拟视点图像绘制的方法，其特征在于包括如下步骤1)根据左视点深度图像，把左视点纹理图像旋转到虚拟视点，得到左视点纹理图像的旋转图像；2)根据右视点深度图像，把右视点纹理图像旋转到虚拟视点，得到右视点纹理图像的旋转图像；3)对左视点纹理图像的旋转图像进行自适应插值，得到左视点纹理图像的插值图像；4)对右视点纹理图像的旋转图像进行自适应插值，得到右视点纹理图像的插值图像；5)根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像。
2. 根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法， 其特征在于，所述的根据左视点深度图像，把左视点纹理图像旋转到虚拟视点， 得到左视点纹理图像的旋转图像步骤a) 把左视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量 和红色色度分量都设置为0;b) 计算从左视点到虚拟视点的旋转矩阵；c) 计算左视点深度图像中每个象素的深度值；d) 计算左视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到 从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数；e) 根据下列式子，计算左视点纹理图像的旋转图像-细geJ—Z (to—;c(3c,力，tojj(3c, ， i) = 7wage一丄 (x,y,i);其中，i S{1,2，3}， /wage—丄是左视点纹理图像，丄—to—F—jc(3c，力禾口 to—rj&力 分别是从左视点到虚拟视点的横坐标映射函数和纵坐标映射函数，/m"geJ^Z是 左视点纹理图像的旋转图像，(x，y,l)、 /wage—丄(x,y,2)禾口/wage—r—丄 (x,y，3)分别表示左视点纹理图像的旋转图像中图像坐标(x， y)处象素点的 亮度分量、蓝色色度分量和红色色度分量。
3. 根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法， 其特征在于，所述的根据右视点深度图像，把右视点纹理图像旋转到虚拟视点， 得到右视点纹理图像的旋转图像步骤f) 把右视点纹理图像的旋转图像中每个象素点的亮度分量、蓝色色度分量 和红色色度分量都设置为0;g) 计算从右视点到虚拟视点的旋转矩阵；h) 计算右视点深度图像中每个象素的深度值；0计算右视点纹理图像中每个象素点旋转到虚拟视点后的图像坐标，得到 从右视点到虚拟视点的横坐标映射函数和纵坐标映射函数； j)根据下列式子，计算旋转后的图像-/wage—F—i ( i jo—jc(3c,;^ ， i —to—r_j;f3c'力，i) =/mage—i (x，y，i); 其中，i e{l,2，3}， /wage J 是右视点纹理图像，i —to—x(3c, ^和i —to—JOY《力 分别是右左视点到虚拟视点的横坐标映射函数和纵坐标映射函数，//^ge一rj 是 右视点纹理图像的方定转图f象，(x,y,l)、 /wage—(x,y,2)禾B/wage—FJ (x，y，3)分别表示右视点纹理图像的旋转图像中图像坐标(x， y)处象素点的 亮度分量、蓝色色度分量和红色色度分量。
4. 根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法， 其特征在于，所述的对左视点纹理图像的旋转图像进行自适应插值，得到左视 点纹理图像的插值图像步骤k)根据左视点纹理图像的旋转图像，设置左视点纹理图像的插值图像中每 个象素点的亮度分量、蓝色色度分量和红色色度分量；1)对左视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值， 计算插值因子；m)对左视点纹理图像的旋转图像中每个象素点，根据当前象素点的插值因 子，进行自适应插值。
5. 根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法， 其特征在于，所述的对右视点纹理图像的旋转图像进行自适应插值，得到右视 点纹理图像的插值图像步骤n)根据右视点纹理图像的旋转图像，设置右视点纹理图像的插值图像中每 个象素点的亮度分量、蓝色色度分量和红色色度分量；o)对右视点纹理图像的旋转图像中每个象素点，根据相临象素的亮度值， 计算插值因子；p)对右视点纹理图像的旋转图像中每个象素点，根据当前象素点的插值因 子，进行自适应插值。
6. 根据权利要求1所述的一种立体电视系统中虚拟视点图像绘制的方法，其特征在于，所述的根据左视点纹理图像的插值图像，对右视点纹理图像的插 值图像进行重叠式填充，得到虚拟视点图像步骤q)根据右视点纹理图像的旋转图像，设置虚拟视点图像中每个象素点的亮 度分量、蓝色色度分量和红色色度分量；r)对图像右视点纹理图像的插值图像中亮度值为0的象素点，根据下列式子进行重叠式填充:/膨ge一K (x， y，i )=/w吵(x， y，i);/脂ge—r (X—1，y， i)=/wage—(X—1，y，i)/脂ge—K (x—2，y， i)=(x—2，y，0/膨ge—F (x+l，y， i)=(x+l，y，i)/膨ge—r (x+2，y， i)=(x+2，y，i)其中，i G { l， 2， 3 }， /mage_r_Z—/"吵是左视点纹理图像的插值图像，/m昭e—r 是虚拟视点图像，/wage—F (x,y，l)、 /wage—r (x,y，2)r (x,y，3)分别表 示虚拟视点图像中图像坐标(x， y)处象素点的亮度分量、蓝色色度分量和红 色色度分量。
全文摘要
本发明公开了一种立体电视系统中虚拟视点图像绘制的方法。它包括如下步骤1)根据左、右视点深度图像，把左、右视点纹理图像旋转到虚拟视点，得到左、右视点纹理图像的旋转图像；2)对左、右视点纹理图像的旋转图像进行自适应插值，得到左、右视点纹理图像的插值图像；3)根据左视点纹理图像的插值图像，对右视点纹理图像的插值图像进行重叠式填充，得到虚拟视点图像。本发明首先把左视点纹理图像和右视点纹理图像旋转得到旋转图像，然后对旋转图像进行自适应插值得到插值图像，最后对插值图像进行重叠式填充得到虚拟视点图像。本发明可以有效地抑制遮挡和量化误差所产生的噪声，提高虚拟视点图像绘制的质量。
文档编号H04N13/00GK101330632SQ20081012019
公开日2008年12月24日 申请日期2008年7月25日 优先权日2008年7月25日
发明者刘济林, 许士芳 申请人:浙江大学