专利名称：一种获取虚拟视图的方法和装置的制作方法
技术领域：
本发明涉及计算机视觉领域，特别涉及一种获取虚拟视图的方法和装置。
背景技术：
近年来，随着自由立体显示技术的快速发展，出现了可以让人们体验到立 体感和真实感的立体视频，并且还出现了不需要观察者佩戴立体眼镜或者其他 特制设备就可以体验到立体感和真实感的立体视频。与传统的二维视频相比， 立体视频是一种更有效、更真实的表达方式。它克服了二维视频的片面性与被
动性的缺点，能够更充分地满足人们的视觉感官需求，在交互式FVV(Free Viewpoint Video,自由一见点一见频)、虚拟现实、3DTV ( 3 Dimension Television, 3 维电视)、3D游戏、体育直播、广告传媒等很多领域有着广泛的应用前景。基 于立体视频的种种优点，如何制作立体视频获得了研究界和工业界越来越多的 关注，立体视频的制作技术也越来越成熟。制作立体视频时， 一般需要先获取 虚拟视图，然后根据虛拟视图就可以很容易地得到立体视频，因此制作立体视 频的关键在于如何获取虚拟视图。
目前获取虚拟视图的方法通常是首先，通过图像采集设备采集得到多个 不同视点的原始图像；然后，使用一些专用的图像编辑软件(如Photoshop等)， 由熟练的技术人员 一 帧 一 帧地对采集到的多个不同视点的原始图像进行人工处 理，得到虚拟视图。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题 现有的方法需要大量的人工参与，如以每秒24帧计算， 一分钟的立体视频 就需要处理1440帧图像，因此，工作量非常大，成本也很高。
发明内容
为了减少获取虚拟视图过程中人工参与量、降低成本，本发明实施例提供 了一种获取虚拟视图的方法和装置。所述技术方案如下一方面，本发明实施例提供了一种获取虚拟一见图的方法，所述方法包括 利用N个图像采集设备采集得到N个不同视点的原始图像，所述N为大于 1的自然数；
对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个 相邻图傳_对应的深度图 <象；
从N个所述原始图像中任选一个图像作为参考视图，并在所述参考视图和 其相邻原始图^象之间，确定待获取虚拟视图的位置；
根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以 及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得 到所述待获取虚拟视图。
另一方面，本发明实施例提供了一种获取虚拟视图的装置，所述装置包括
原始图像获取模块，用于利用N个图像采集设备采集得到N个不同视点的 原始图像，所述N为大于1的自然数；
深度图像获取模块，用于在所述原始图像获取模块得到N个不同视点的原 始图像后，对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中 每两个相邻图像对应的深度图像；
参考视图获取模块，用于在所述深度图像获f^莫块得到深度图像后，从N 个所述原始图像中任选一个图像作为参考视图，并在所述参考视图和其相邻原 始图像之间，确定待获取虚拟视图的位置；
虚拟视图获取模块，用于在所述参考视图获^^莫块确定待获取虚拟视图的 位置后，根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像， 以及所述待获取虛拟视图相对所述参考视图的距离，对所述参考视图进行平移 得到所述待获取虛拟^L图。
本发明实施例提供的技术方案的有益效果是
通过对原始图像进行像素窗口匹配和平移得到虚拟视图，不需要人工参与， 减少了工作量，降低了成本。
图l是本发明实施例l提供的一种获取虚拟一见图的方法流程图； 图2是本发明实施例2提供的一种获取虚拟视图的方法流程图；图； 图4是本发明实施例3提供的另 一种获取虚拟视图的装置结构示意图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明 实施方式作进一步地详细描述。 实施例1
本发明实施例提供了一种获取虚拟视图的方法，参见图1,具体包括 101:利用N个图像采集设备采集得到N个不同视点的原始图像，N为大于 1的自然婆丈。
图像采集设备可以是摄像机、照相机、数码相机等可以采集图像的设备。 图像采集设备采集到的原始图像一般为RGB (Red Green Blue,红绿蓝)空间的 图像；N个图像采集设备可以根据具体情况，按照平行或者汇聚的方式依次排 列在采集对象的周围，分别从不同角度对采集对象进行采集，得到N个不同视 点的原始图像。
102:对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相 邻图像对应的深度图像。
需要说明的是，N个原始图像中每两个相邻图像是指该两个图像是由位置 相邻的图像采集设备采集得到的，并且文中其他地方的相邻的图像采集设备是 指位置上相邻。每两个相邻图像可以得到一个对应的深度图像，可根据实际应 用状况需要得到需要个数的深度图像，实际应用中并不一定需要得到N个原始 图像中所有两个相邻图像对应的深度图像。
103:从N个原始图像中任选一个图像作为参考视图，并在参考视图和其 相邻原始图像之间，确定待获取虚拟视图的位置。
其中，参考视图的相邻原始图像可以是与参考视图相邻的任一原始图像， 可以根据实际应用状况，灵活选择。待获取虚拟视图是需要得到的虚拟视图。 待获取虚拟视图需要参考哪个原始图像得到，则选择该原始图像作为该待获取 虛拟视图的参考视图。
104:根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待 获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图。其中，对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相 邻图像对应的深度图像，具体包括
为N个原始图4象中的每个图像中的每个像素预设一个匹配窗口 ；
将N个原始图像中的每个图像中的每个像素分别作为当前像素，根据当前 像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设 的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像 素对当前像素的支持权重；
在将N个原始图像中的每个图像中的每个像素的支持权重计算完成后，将 N个原始图像中的每个图像分別作为当前图像，将当前图像中的每个像素分别 作为当前像素，从当前图像的相邻图像中为当前像素选择多个待匹配像素，根 据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利用预设的像 素窗口权重累积平方差计算公式，分别计算得到当前像素与多个待匹配像素中 的每个待匹配像素的像素窗口权重累积平方差值；
在将每两个相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平 方差值计算完成后，根据计算得到的所有像素窗口权重累积平方差值，为每个 图像中的每个像素，在其对应的多个待匹配像素中，选择一个待匹配像素作为 该像素的匹配像素；
根据N个所述原始图像中各个图像之间相互匹配的像素、N个所述图像采 集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度图像像素 值计算公式，计算得到N个所述原始图像中每两个相邻图像对应的深度图像的 像素值。
本发明实施例中为N个原始图像中的每个图像中的每个像素预设一个匹配 窗口可以为将N个校正后的图像中的每个图像中的每个像素分别作为中心像 素，将以每个中心像素为中心的该中心像素的周围的其他像素组合得到每个像 素对应的预设大小的匹配窗口。还可以根据实际应用状况采用其他方法为N个 原始图像中的每个图像中的每个像素预设一个匹配窗口 。
其中，预设的像素支持权重计算公式具体为
<formula>formula see original document page 13</formula>
其中，wQ^)表示像素q对像素p的支持权重，A、表示p、 q两像素的颜 色的欧几里德度量，Agp,表示p、 q两像素的距离的欧几里德度量，^、 ^是与人类视觉系统的视场有关的系数，&、。的数值可调节； 预设的像素窗口权重累积平方差计算公式具体为
， & )=…p-^-
其中，/V夂分别表示N个原始图像中两相邻图像之间的参考像素和待匹 配像素，五OvPJ表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重
累积平方差，w(^，&)， W(^，^)分别表示^对A的支持权重、^对^的支持权
重，^p表示像素A对应的匹配窗口中的所有的像素，W-表示像素A对应的 匹配窗口中的所有的像素，,《rf)表示两相邻图像的对应的匹配窗口中同一位 置的像素之间的平方差值；
预设的深度图像像素值计算公式具体为
、
其中，Z表示N个原始图像中两个相邻图像对应的深度图像；/表示N个 图像采集设备中两个相邻图像采集设备的焦距的平均值；Z^表示N个图像采集设 备中两个相邻图像采集设备之间的基线距离；《表示N个原始图像中两个相邻 图像之间相互匹配像素的位置的相对距离的绝对值。
进一步地，为N个原始图像中的每个图像中的每个像素预设一个匹配窗口 之后，将N个原始图像中的每个图像中的每个像素分别作为当前像素，根据当 前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预 设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个 像素对当前像素的支持权重之前还包括
将N个原始图像从红绿蓝RGB空间转换到CIELab空间；
相应地，将N个原始图像中的每个图像中的每个像素分别作为当前像素， 根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息， 利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中 的每个像素对当前像素的支持权重具体为
在CIELab空间中，将N个原始图像中的每个图像中的每个像素分别为当前 像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配 窗口中的每个像素对当前像素的支持权重。
其中，根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及 待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视
图具体包括
才艮据参考视图，参考视图和其相邻原始图像对应的深度图像，利用预设的 虚拟视图相对参考视图的距离公式，计算得到待获取虚拟视图相对参考视图的 距离；
根据计算得到的待获取虚拟视图相对参考视图的距离，对参考视图进行平 移，得到待获取虚拟视图。
其中，预设的虚拟视图相对参考视图的距离公式具体为
《=A 2 J Z
其中，《表示待获取虚拟视图与参考视图之间对应像素的位置的相对距离； /表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；Z表示N 个所述原始图像中两个相邻图像对应的深度图像的像素值；62表示待获取虚拟视
图与参考视图的基线距离，且&2=&， A为大于1的自然数，^表示N个图像采
集设备中两个相邻图像采集设备之间的基线距离。
进一步地，利用N个图像采集设备采集得到N个不同视点的原始图像之后， 对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应 的深度图像之前还包括
对N个图像采集设备采集到的N个不同视点的原始图像进行外极线校正， 得到N个校正后的图像；
相应地，对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个 相邻图像对应的深度图像具体为
对N个校正后的图像进行像素窗口匹配，得到N个校正后的图像中每两 个相邻图像对应的深度图像；
相应地，从N个原始图像中任选一个图像作为参考视图，在参考视图和其 相邻原始图像之间，确定待获取虚拟视图的位置具体为
从N个校正后的图像中任选一个图像作为参考视图，在参考视图和其相邻 的校正后的图像之间，确定待获取虚拟视图的位置；相应地，根据参考视图，参考视图和其相邻原始图像对应的深度图像，以 及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟
视图具体为
根据参考视图，参考视图和其相邻的校正后的图像对应的深度图像，以及 待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视 图。
本发明实施例所述的获取虚拟视图的方法，通过对原始图像进行像素窗口 匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。并 且通过利用立体匹配中的基于颜色和距离的区域度量法则，可以较好地描述空 间事物的特征属性。可以根据具体情况选择生成多个虚拟视图，可以在不同采 集条件下，得到多个不同的虚拟视图，可以有效地利用已有的图像采集设备。 由于采用了自适应权重的窗口匹配，能够对不同深度层面的像素赋予比较合适 的权重，提高了匹配的准确性。可以分别获取深度图像和虚拟视图，能够应用 于各种不同商业需求，具有很广泛的适用性，对于不同的立体显示器，可以采 取不同的立体视图合成方法，达到多视点自由立体显示效果。
实施例2
本发明实施例提供了一种获取虚拟视图的方法，参见图2，具体包括 201: N个图像采集设备对采集对象进行采集，得到N个不同视点的原始
图像，其中N为大于1的自然数。
图像采集设备可以是摄像机、照相机、数码相机等可以采集图像的设备。N
个图像采集设备可以根据具体情况，按照平行或者汇聚的方式依次排列在采集
对象的周围，分别从不同角度对采集对象进行采集，得到N个不同视点的原始图像。
202:对N个图像采集设备采集到的N个不同视点的原始图像进行外极线 校正，得到N个校正后的图像。
需要说明的是，在双视几何中，如果一个像素的深度未知，那么该像素就 可能对应参考视图中的一条直线上的所有像素，也就是说在参考视图中的这条 直线上的所有像素都可能与该像素匹配，但是实际上匹配像素只有一个，并且 一般情况下这条直线不是一条水平直线，而是一条斜线，称为该像素对应的外极线。通过外极线校正可使得立体图像对应的外极线为水平方向，消除垂直方 向上的视差，使得在立体匹配过程中可以更快速准确地寻找匹配像素，也就是 说可以在一条水平线上找匹配像素，可将寻找范围缩小到一维，减少计算量。
203:将N个校正后的图像中的每个图像中的每个像素分别作为中心像素， 将以每个中心像素为中心的该中心像素的周围的其他像素组合得到每个像素对 应的预i殳大小的匹配窗口。
其中，每个像素对应的预设大小的匹配窗口可以相同也可以不相同；本发 明实施例中预设大小的匹配窗口采用奇数大小的窗口，可以是lx3像素、3x5 像素、3x3像素、7x7像素等，并且可以选择窗口的形状是正方形、矩形、长 方形、圆形、椭圓形等，可以根据实际需要进行设置。本发明实施例中优选设 置预设大小的匹配窗口为7x7像素，则将N个才交正后的图^f象中的每个图^f象中的 每个像素作为中心像素，建立每个像素对应的预设大小的匹配窗口为7x7像素， 例如， 一个图像中包括M个像素，则将该图像中的每一个像素分别作为中心像 素，建立每个像素对应的预设大小的匹配窗口为7 x 7像素，则共建立M个7 x 7像素大小的窗口。需要说明的是，当将每一个图像的四个角的像素或是4个周 边的像素作为中心像素建立预设大小的匹配窗口时，会遇到该像素的周围没有 像素的情况，这时可以将该像素的周围的没有的像素设为0,或者可以直接建立 该些像素对应的窗口大小为1 x 1像素(即将该些像素本身作为一个窗口)等， 并不限于该两种方法，可以根据具体情况灵活处理。
204:将N个校正后的图像从RGB空间转换到CIELab空间，并在C正Lab 空间中，将N个校正后的图像中的每个图像中的每个像素分别作为当前像素， 根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息， 利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中 的每个像素对当前像素的支持权重。
需要说明的是，本发明实施例中由于当前像素对应的匹配窗口是将当前像 素作为中心像素建立的，所以每个像素相对当前像素的颜色和距离信息也相当 于是每个像素相对中心像素的颜色和距离信息。
CIELab是惯常用来描述人眼可见的所有颜色的最完备的色彩模型，它被 设计来接近人类视觉，致力于感知均匀性。将图像从RGB空间转换到CIELab 空间的具体过禾呈如下首先，将图像从RGB空间转换到XYZ空间，具体的转换公式如下
X=0.412453*R+0.357580*G+0.189423*B Y=0.212671 *R+0.715160*G+0.072169*B Z=0.019334*R+0.119193*G+0.950227*B
其中，R、 G和B分别表示图像在RGB空间下的R像素值、G像素值和B 像素值；X、 Y和Z分别表示图像在XYZ空间下的X像素值、Y像素值和Z像 素值。
然后，将图像从XYZ空间转换到CIELab空间，具体的转换公式如下
= 116/(7/。-16
'""oo[/CY7;r")-/(y/;rj〗
"200[/("。-/(Z/ZJ〗 其中，L表示亮度(O-IOO), a(绿色到红色)和b(蓝色到黄色)表示颜色对立维 度；X、 Y和Z分别表示图像在XYZ空间下的X像素值、Y像素值和Z像素值； 义 、 i;、 Z"是参考白点的CIE XYZ三色刺激值，X =244.66128、 y =255.0、 Z
V" f>(6/29)3
=277.63227;/(0 =
备(;)2"^ /为其他取值。 3 6 116
才艮据心理学的格式塔法则，颜色相似，距离相近的像素趋向于属于同一物体。
因此当前像素p与其邻近像素q的相关性可以通过某种颜色和距离的度量法则 来4軒量，^口下戶斤示
咖,《)=F( , )=岸c^) 早；)
其中，w(AW表示像素q对像素P的支持权重。Acpg、 Agw分别表示两像素颜
色和距离的Euclidean (欧几里德)度量；基于人类视觉感知系统的特点，对Ac^
采用CIELab空间中的Euclidean度量，对Ag^采用像素之间位置的Euclidean度
量。F是表征距离和颜色相关性的准则函数，F函数的选择应该满足当A ，Agw最
小的时候，F函数的值最大(说明此时对应的邻近像素与当前像素关系最紧密， 反之越不紧密)。因此，就本质而言，只要能够大致反映出这种关系模式的函数 都可以，各种各样的线性函数递减，非线性递减都可以，高斯函数，三角函数 都可以。
具体地采用CIELab空间中的Euclidean度量的A、如下所示具体地采用像素之间位置的Euclidean度量的Agw如下所示
= M -"2 + (Gp - G》2 + (A - A)2 具体地尸(A、)和F(Ag^)分别采用Laplacian (拉普拉斯)内核描述即
<formula>formula see original document page 19</formula>
其中，exp表示指数函数，c、 ^是与人类视觉系统的视场有关的系数，& rp的
数值可调节，其取值的变化幅度如果不大，对结果影响不大，本发明实施例中 & 。的取值范围为[10， 15]。
从而本发明实施例中像素支持权重的计算公式具体如下所示
w( A《)=F(A^, Agw)=牟S) 牟^) = exp(一 ，) exp(-,)
需要说明的是，当前像素p对其自身也有支持权重，也就是说上述的邻近像
素q中也包括当前<象素p，即q的取^直也可以为p。
205:在将n个校正后的图像中的每个图像中的每个像素的支持权重计算完
成后，将n个校正后的图像中的每个图像分别作为当前图像，将当前图像中的
每个像素分别作为当前像素，从当前图像的相邻图像中为当前像素选择多个待
匹配像素，根据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，
利用预设的像素窗口权重SSD( sum of squared distance,累积平方差)计算公式，
分别计算得到当前像素与多个待匹配像素中的每个待匹配像素的像素窗口权重
累积平方差值。
具体地，预设的像素窗口权重累积平方差计算公式如下
<formula>formula see original document page 19</formula>
其中，；v^分别表示n个校正后的图像中两个相邻图像的参考像素和待 匹配像素，表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差，W(^,&)， W(^,^)分别表示^对A的支持权重、^对/^的支持 权重，Wp表示以A为中心像素建立的预设大小的匹配窗口中的所有的像素，
Wp表示以&为中心像素建立的预设大小的匹配窗口中的所有的像素，e(&,") 表示两相邻图像的对应的预设大小的匹配窗口中同 一位置像素之间的SD (squareddistance,平方差)值。需要说明的是，像素窗口权重累积平方差计算公 式并不限于上述一种，可以根据实际应用状况，进行灵活设置。
具体地，两相邻图像是指该两个图像分别是由位置相邻的两个图像采集设 备所拍摄得到的；两个相邻图像的参考像素和待匹配像素，可以将两个相邻图 像中的一个图像的像素作为参考像素，在另 一 图像中预设与该参考像素对应的 区域，预设的与该参考像素对应的区域中的每一个像素可以分别称为该参考傳_ 素的待匹配像素。在另一图像中预设的与该参考像素对应的区域可以是在另 一图像中以与该参考像素的位置对应的像素为中心，预设的长度为半径的圆； 或者是在另 一图像中以与该参考像素的位置对应的像素为起点，预设的长度为 水平长度的直线段等，可以根据实际情况灵活设置该区域。本发明实施例中由 于对原始图像进行了外极限校正，可以在一条水平线上找匹配像素，因此在另 一图像中预设的与该参考像素对应的区域可以是一条水平线，可将寻找范围缩 小到一维，减少计算量。
206:在将每两个相邻图像之间的参考像素和待匹配像素的像素窗口权重累 积平方差值计算完成后，根据计算得到的所有像素窗口权重累积平方差值，为 每个图像中的每个像素，在其对应的多个待匹配像素中，选择一个待匹配像素 作为该像素的匹配像素。
具体地，可以选择参考像素和待匹配像素的像素窗口权重累积平方差值最 小的值对应的待匹配像素为该参考像素的匹配像素，从而得到N个校正后的图 像中各个图像之间相互匹配的像素。也可以根据具体情况设置其他的选择规则， 例如可以选择参考像素和待匹配像素的像素窗口权重累积平方差值为某一 固 定值时对应的待匹配像素为该参考像素的匹配像素等。
207:根据N个校正后的图像中各个图像之间相互匹配的像素、N个图像采 集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度图像像素 值计算公式，计算得到N个校正后的图像中每两个相邻图像对应的深度图像的 像素值。其中，预设的深度图像像素值计算公式具体为
<formula>formula see original document page 21</formula>
其中，Z表示N个校正后的图像中两个相邻校正后的图像对应的深度图像 的像素值；/表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值； ^表示N个图像采集设备中两个相邻图像采集设备之间的基线距离；《表示N 个校正后的图像中两个相邻图像之间相互匹配像素的位置的相对距离的绝对 值；需要说明的是， 一般采集图像时所选用的图像采集设备的焦距都是相同的， 并且， 一般各个相邻图像采集设备之间的距离也是相同的。
208:从N个校正后的图像中任选一个图像作为参考视图，并在参考视图和 其相邻原始图像之间，确定待获取虚拟视图的位置。
其中，参考视图的相邻原始图像可以是与参考视图相邻的任一原始图像， 可以根据实际应用状况，灵活选择。待获取虚拟视图是需要得到的虚拟视图。 待获取虚拟视图需要参考哪个原始图像得到，则选择该原始图像作为该待获取 虚拟视图的参考视图。
209:根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待 获取虛拟视图相对参考视图的距离，对该参考视图进行平移得到待获取虚拟视 图。
具体地，首先，根据参考视图，参考视图和其相邻原始图像对应的深度图 像，利用预设的虚拟视图相对参考视图的距离公式，计算得到待获取虚拟视图 相对该参考一见图的距离。
预设的虚拟视图相对参考视图的距离公式具体为<formula>formula see original document page 21</formula>
其中，《表示待获取虚拟视图与参考视图之间对应像素的位置的相对距 离；/表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；62表
示待获取虚拟视图与该参考视图的基线距离，62 =么，&为大于1的自然数，、表
示N个图像采集设备中两个相邻图像采集设备之间的基线距离。
需要说明的是，可以根据实际合成立体视频时需要相对该参考视图生成的 虚拟视图的个数，将^取为不同的值，例如需要2个虛拟视图，则可以分别取
^l和^1,从而根据上述公式计算得到2个待获取虚拟视图相对该参考视 图的3巨离。然后，根据计算得到的待获取虚拟视图相对参考视图的距离，对参考视图 进行平移，得到虚拟-见图。
为了便于理解，下面举例进行说明
当有2个图像采集设备采集得到2个图像时(即当N=2时)，将2个校正后 的图像(只有2个图像，该2个图像为相邻图像)中一个图像中的每个像素依 次作为参考像素，在另一图像中预设与该参考像素对应的区域，依次计算一个 图像中的参考像素与另 一 图像中预设的与该参考像素对应的区域中包含的每一 个像素(即多个待匹配像素)之间的窗口权重SSD值，将计算出的参考像素和 所有待匹配像素之间的窗口权重SSD值中的窗口权重SSD值最小的值对应的待 匹配像素作为该参考像素的匹配像素，求取2个图像中相互匹配的像素的位置 的相对距离的绝对值，即得到该2个图像对应的深度图像的深度值。
当有3个图像采集设备拍摄得到3个图像时(即当N=3时)，为了便于说明 按照顺序(从左到右、或顺时针、或逆时针等顺序)将3个图像依次称为第一 图像、第二图像和第三图像，可以将校正后的第一图像中的每个像素作为参考 像素，在校正后的第二图像中预设与该参考像素对应的区域，依次计算第一图 像中的参考像素与第二图像中预设的与该参考像素对应的区域中包含的每个像 素(即多个待匹配像素)之间的窗口权重SSD值，将计算出的参考像素和所有 待匹配像素之间的窗口权重SSD值中的窗口权重SSD值最小的值对应的待匹配 像素作为该参考像素的匹配像素，找到第 一 图像和第二图像相互匹配的像素后， 再将校正后的第二图像中的每个像素作为参考像素，在校正后的第三图像中预 设与该参考像素对应的区域，按照上述方法找到第二图像和第三图像相互匹配 的像素，求取第一图像和第二图像中相互匹配的像素的相对位置距离的绝对值， 以及第二图像和第三图像中相互匹配的像素的差的绝对值，将两次求得的距离 的绝对值取平均，即得到该3个图像对应的深度图像的深度值。当N=4、 5等时， 可以按照与上述N二3时类似的方法进行处理，此处不再——赘述。
本发明实施例所述的获取虚拟视图的方法，通过对原始图像进行像素窗口 匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。并 且通过利用立体匹配中的基于颜色和距离的区域度量法则，可以较好地描述空 间事物的特征属性。可以根据具体情况选择生成多个虚拟视图，可以在不同采 集条件下，得到多个不同的虚拟视图，可以有效地利用已有的图像采集设备。 由于采用了自适应权重的窗口匹配，能够对不同深度层面的像素赋予比较合适的权重，提高了匹配的准确性。可以分别获取深度图像和虚拟视图，能够应用 于各种不同商业需求，具有^f艮广泛的适用性，对于不同的立体显示器，可以采 取不同的立体视图合成方法，达到多视点自由立体显示效果。
实施例3
本发明实施例提供了一种获取虚拟视图的装置，参见图3，该装置包括
原始图像获取模块301，用于利用N个图像采集设备采集得到N个不同视 点的原始图像，N为大于l的自然数。
深度图像获取模块302,用于在原始图像获取模块301得到N个不同视点 的原始图像后，对N个原始图像进行像素窗口匹配，得到N个原始图像中每两 个相邻图像对应的深度图像。
参考视图获取模块303,用于在深度图像获取模块302得到深度图像后，从 N个原始图像中任选一个图像作为参考视图，并在参考视图和其相邻原始图像 之间，确定待获取虚拟视图的位置。
虚拟视图获取模块303,用于在参考视图获取模块303确定待获取虚拟视图 的位置后，根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及 待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视 图。
其中，深度图像获取模块302具体包括
匹配窗口获取单元，用于在原始图像获取模块3 01得到N个不同视点的原 始图像后，为N个原始图像中的每个图像中的每个像素预设一个匹配窗口；
支持权重获取单元，用于在匹配窗口获取单元得到每个像素对应的匹配窗 口后，将N个原始图像中的每个图像中的每个像素分别作为当前像素，根据当 前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预 设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个 像素对当前像素的支持权重；
像素窗口权重累积平方差值获取单元，用于在支持权重获取单元在将N个 原始图像中的每个图像中的每个像素的支持权重计算完成后，将N个原始图像 中的每个图像分别作为当前图像，将当前图像中的每个像素分别作为当前像素， 从当前图像的相邻图像中为当前像素选择多个待匹配像素，根据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利用预设的像素窗口权重累积 平方差计算公式，分别计算得到当前像素与多个待匹配像素中的每个待匹配像
素的像素窗口权重累积平方差值；
选择单元，用于在像素窗口权重累积平方差值获取单元在将每两个相邻图 像之间的参考像素和待匹配像素的像素窗口权重累积平方差值计算完成后，根 据计算得到的所有像素窗口权重累积平方差值，为每个图像中的每个像素，在
其对应的多个待匹配像素中，选择一个待匹配像素作为该像素的匹配像素；
深度图像获取单元，用于在选择单元选择得到N个原始图像中各个图像之 间相互匹配的像素后，根据N个原始图像中各个图像之间相互匹配的像素、N 个图像釆集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度 图像像素值计算公式，计算得到N个原始图像中每两个相邻图像对应的深度图 像的像素值。
其中，预设的像素支持权重计算公式具体为
w(p，《)=exp(-- exp(--
其中，《)表示像素q对像素p的支持权重，△、表示p 、 q两像素的颜 色的欧几里德度量，Ag^表示p、 q两像素的距离的欧几里德度量，^、；是与人 类视觉系统的视场有关的系数，。的数值可调节；
预设的像素窗口权重累积平方差计算公式具体为
Z! e ，;d復w" ， & )—A ，《c/ ， ^ ) 五(A ， & ) = ~~^-^-
其中，iV^分别表示N个原始图像中两相邻图像之间的参考像素和待匹 配像素，表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重 累积平方差，wQv&)， w(^,^)分别表示^对/^的支持权重、^对^的支持权 重，Wp表示像素^对应的匹配窗口中的所有的像素，A^表示像素^对应的
匹配窗口中的所有的像素，e(&,《J表示两相邻图像的对应的匹配窗口中同 一位 置的像素之间的平方差值；
预设的深度图像像素值计算公式具体为其中，z表示N个原始图像中两个相邻原始图^f象对应的深度图像；/表示N 个图像采集设备中两个相邻图像采集设备的焦距的平均值；^表示N个图像采集 设备中两个相邻图像采集设备之间的基线距离；《表示N个原始图像中两个相 邻图像之间相互匹配像素的位置的相对距离的绝对值。
进一步地，深度图像获取模块302还包括
转换单元，用于在匹配窗口获取单元为N个原始图像中的每个图像中的每 个像素预设一个匹配窗口之后，支持权重获取单元将N个原始图像中的每个图 像中的每个像素分别作为当前像素，根据当前像素对应的匹配窗口中的每个像 素相对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别 计算得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重之前， 将N个原始图像从红绿蓝RGB空间转换到CIELab空间；
相应地，支持权重获取单元，具体用于在转换单元将N个原始图像从RGB 空间转换到CIELab空间后，在CIELab空间中，将N个原始图像中的每个图像 中的每个像素分别为当前像素，根据当前像素对应的匹配窗口中的每个像素相 对当前像素的颜色和距离信息，利用预设的像素支持权重计算公式，分别计算 得到当前像素对应的匹配窗口中的每个像素对当前像素的支持权重。
其中，虚拟视图获取模块303具体包括
距离获取单元，用于在深度图像获取模块302得到深度图像后，才艮据参考 视图，所述参考视图和其相邻原始图像对应的深度图像，利用预设的虚拟视图 相对参考视图的距离公式，计算得到待获取虚拟视图相对参考视图的距离；
平移单元，用于在位移获取单元得到待获取虚拟视图相对参考视图的距离 后，根据计算得到的待获取虛拟视图相对参考视图的距离，对参考视图进行平 移，得到待获取虚拟视图。
其中，预设的虚拟视图相对参考视图的距离公式具体为
其中，《表示待获取虚拟视图与参考视图之间对应像素的位置的相对距离； /表示N个图像采集设备中两个相邻图像采集设备的焦距的平均值；Z表示N 个原始图像中两个相邻图像对应的深度图像的像素值62表示待获取虚拟视图与参考视图的基线距离，且62=夂A:为大于1的自然数，^表示N个图像采集设 备中两个相邻图像采集设备之间的基线距离。
进一步地，参见图4,该装置还包括
外极线校正模块305,用于在原始图像获取模块301得到N个不同视点的 始图像之后，深度图像获取模块302对N个原始图像进行像素窗口匹配，得到 N个原始图像中每两个相邻图像对应的深度图像之前，对N个图像采集设备采 集到的N个不同视点的原始图像进行外极线校正，得到N个校正后的图像；
相应地，深度图像获取模块302，具体用于在外极线校正模块305得到N 个校正后的图像后，对N个校正后的图像进行像素窗口匹配，得到N个校正后 的图像中每两个相邻图像对应的深度图像；
相应地，参考视图获取模块303，具体用于在深度图像获取模块302得到深 度图像后，从N个校正后的图像中任选一个图像作为参考视图，并在参考视图 和其相邻的校正后的图像之间，确定待获取虚拟视图的位置；
相应地，虚拟视图获取模块304,具体用于在参考视图获取模块303确定待 获取虚拟视图的位置后，根据参考视图，参考视图和其相邻的校正后的图像对 应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平 移得到待获取虚拟视图。
本发明实施例所述的获取虚拟视图的装置，通过对原始图像进行像素窗口 匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。并 且通过利用立体匹配中的基于颜色和距离的区域度量法则，可以较好地描述空 间事物的特征属性。可以根据具体情况选择生成多个虚拟视图，可以在不同采 集条件下，得到多个不同的虚拟视图，可以有效地利用已有的图像采集设备。 由于采用了自适应权重的窗口匹配，能够对不同深度层面的像素赋予比较合适 的权重，提高了匹配的准确性。可以分别获取深度图像和虚拟视图，能够应用 于各种不同商业需求，具有4艮广泛的适用性，对于不同的立体显示器，可以采 取不同的立体视图合成方法，达到多视点自由立体显示效果。
以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现， 其软件程序存储在可读取的存储介质中，存储介质例如计算机中的硬盘、光 盘或软盘。包含在本发明的保护范围之内。
权利要求
1、一种获取虚拟视图的方法，其特征在于，所述方法包括利用N个图像采集设备采集得到N个不同视点的原始图像，所述N为大于1的自然数；对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像；从N个所述原始图像中任选一个图像作为参考视图，并在所述参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置；根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获取虚拟视图。
2、 根据权利要求1所述的获取虚拟视图的方法，其特征在于，所述对N个 所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对 应的深度图像，具体包括为N个所述原始图像中的每个图像中的每个像素预设一个匹配窗口 ；将N个所述原始图像中的每个图像中的每个像素分别作为当前像素，才艮据 当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用 预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中的每 个像素对当前像素的支持权重；在将N个所述原始图像中的每个图像中的每个像素的支持权重计算完成 后，将N个所述原始图像中的每个图像分别作为当前图像，将当前图像中的每 个像素分别作为当前像素，从当前图像的相邻图像中为当前像素选择多个待匹 配像素，根据当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利 用预设的像素窗口权重累积平方差计算公式，分别计算得到当前像素与多个待 匹配像素中的每个待匹配像素的像素窗口权重累积平方差值；在将每两个相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平 方差值计算完成后，根据计算得到的所有像素窗口权重累积平方差值，为每个 图像中的每个像素，在其对应的多个待匹配像素中，选择一个待匹配像素作为该像素的匹配〗象素；冲艮据n个所述原始图像中各个图像之间相互匹配的像素、n个所述图像采 集设备中每两个相邻图像采集设备之间的基线距离，利用预设的深度图像像素值计算公式，计算得到n个所述原始图像中每两个相邻图像对应的深度图像的像素值。
3、根据权利要求2所述的获取虚拟视图的方法，其特征在于，所述预设的 像素支持权重计算公式具体为<formula>formula see original document page 3</formula>其中，w(/^)表示像素q对像素P的支持权重，Ac^表示p、 q两像素的颜 色的欧几里德度量，A&《表示p、 q两像素的距离的欧几里德度量，^、 ^是与人 类视觉系统的视场有关的系数，r。、。的数值可调节；所述预设的像素窗口权重累积平方差计算公式具体为<formula>formula see original document page 3</formula>其中，分别表示n个所述原始图像中两相邻图像之间的参考像素和 待匹配像素，五(A,^)表示两相邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差，wOv^), w(A，^)分别表示&对A的支持权重、^对A的支持权重，Wp表示像素^对应的匹配窗口中的所有的像素，W歹表示像素A对 应的匹配窗口中的所有的像素，K《rf,^)表示两相邻图像的对应的匹配窗口中同一位置的像素之间的平方差值；所述预设的深度图像像素值计算公式具体为<formula>formula see original document page 3</formula>其中，Z表示n个所述原始图像中两个相邻图像对应的深度图像的像素值； /表示n个所述图像采集设备中两个相邻图像采集设备的焦距的平均值；^表示 n个所述图像采集设备中两个相邻图像釆集设备之间的基线距离；《表示n个 所述原始图像中两个相邻图像之间相互匹配像素的位置的相对距离的绝对值。
4、 根据权利要求2所述的获取虚拟视图的方法，其特征在于，所述为N个 所述原始图像中的每个图像中的每个像素预设一个匹配窗口之后，将N个所述 原始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的 匹配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持 权重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像 素的支持权重之前还包括将N个所述原始图像从红绿蓝RGB空间转换到CIELab空间； 相应地，所述将N个所述原始图像中的每个图像中的每个像素分别作为当 前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距 离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹 配窗口中的每个像素对当前像素的支持权重具体为在CIELab空间中，将N个所述原始图像中的每个图像中的每个像素分别为 当前像素，根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和 距离信息，利用预设的像素支持权重计算公式，分别计算得到当前像素对应的 匹配窗口中的每个像素对当前像素的支持权重。
5、 根据权利要求1所述的获取虚拟视图的方法，其特征在于，所述根据所 述参考视图，所述参考视图和其相邻原始图像对应的深度图像，以及所述待获 取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移得到所述待获 取虚拟视图具体包括根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像，利 用预设的虚拟视图相对参考视图的距离公式，计算得到所述待获取虛拟视图相 对所述参考视图的距离；根据计算得到的所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移，得到所述待获取虚拟视图。
6、 根据权利要求5所述的获取虚拟视图的方法，其特征在于，所述预设的 虛拟视图相对参考视图的距离公式具体为<formula>formula see original document page 4</formula>其中，《表示所述待获取虚拟视图与所述参考视图之间对应像素的位置的相对距离；/表示N个所述图像采集设备中两个相邻图像采集设备的焦距的平 均值；Z表示N个所述原始图像中两个相邻图像对应的深度图像的像素值；62表示所述待获取虚拟视图与所述参考视图的基线距离，且62=玍，A为大于1的自然数，6,表示N个所述图像采集设备中两个相邻图像采集设备之间的基线距离。
7、 根据权利要求1-6中任一权利要求所述的获取虚拟视图的方法，其特征 在于，所述利用N个图像采集设备采集得到N个不同视点的原始图像之后，对 N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图 像对应的深度图像之前还包括对N个图像采集设备采集到的N个不同视点的原始图像进行外极线校正， 得到N个校正后的图像；相应地，所述对N个所述原始图像进行像素窗口匹配，得到N个所述原始 图像中每两个相邻图像对应的深度图像具体为对N个所述校正后的图像进行像素窗口匹配，得到N个所述校正后的图像 中每两个相邻图像对应的深度图像；相应地，所述从N个所述原始图像中任选一个图像作为参考视图，在所述 参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置具体为从N个所述校正后的图像中任选一个图像作为参考视图，在所述参考视图 和其相邻的校正后的图像之间，确定待获取虚拟视图的位置；相应地，所述根据所述参考视图，所述参考视图和其相邻原始图像对应的 深度图像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视 图进行平移得到所述待获取虚拟视图具体为才艮据所述参考视图，所述参考视图和其相邻的校正后的图像对应的深度图 像，以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行 平移得到所述待获取虚拟视图。
8、 一种获取虚拟视图的装置，其特征在于，所述装置包括原始图像获取模块，用于利用N个图像采集设备采集得到N个不同视点的 原始图像，所述N为大于1的自然数；深度图像获取模块，用于在所述原始图像获取模块得到N个不同视点的原始图像后，对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中 每两个相邻图像对应的深度图像；参考视图获取模块，用于在所述深度图像获取模块得到深度图像后，从N 个所述原始图像中任选一个图像作为参考视图，并在所述参考视图和其相邻原 始图像之间，确定待获取虚拟视图的位置；虚拟视图获取模块，用于在所述参考视图获取模块确定待获取虚拟视图的 位置后，根据所述参考视图，所述参考视图和其相邻原始图像对应的深度图像， 以及所述待获取虚拟视图相对所述参考视图的距离，对所述参考视图进行平移 得到所述待获取虚拟-现图。
9、根据权利要求8所述的获取虚拟视图的装置，其特征在于，所述深度图 像获取模块具体包括匹配窗口获取单元，用于在所述原始图像获取模块得到N个不同视点的原 始图像后，为N个所述原始图像中的每个图像中的每个像素预设一个匹配窗口；支持权重获取单元，用于在所述匹配窗口获取单元得到每个像素对应的匹 配窗口后，将N个所述原始图像中的每个图像中的每个像素分别作为当前像素， 根据当前像素对应的匹配窗口中的每个像素相对当前像素的颜色和距离信息， 利用预设的像素支持权重计算公式，分别计算得到当前像素对应的匹配窗口中 的每个像素对当前像素的支持权重；像素窗口权重累积平方差值获取单元，用于在所述支持权重获取单元在将N 个所述原始图像中的每个图像中的每个像素的支持权重计算完成后，将N个所 述原始图像中的每个图像分别作为当前图像，将当前图像中的每个像素分别作 为当前像素，从当前图像的相邻图像中为当前像素选择多个待匹配像素，根据 当前像素对应的匹配窗口中每个像素对当前像素的支持权重，利用预设的像素 窗口权重累积平方差计算公式，分别计算得到当前像素与多个待匹配像素中的 每个待匹配像素的像素窗口权重累积平方差值；选择单元，用于在所述像素窗口权重累积平方差值获取单元在将每两个相 邻图像之间的参考像素和待匹配像素的像素窗口权重累积平方差值计算完成 后，根据计算得到的所有像素窗口权重累积平方差值，为每个图像中的每个像 素，在其对应的多个待匹配像素中，选择一个待匹配像素作为该像素的匹配像素；深度图像获取单元，用于在所述选择单元选择得到N个所述原始图像中各 个图像之间相互匹配的像素后，根据N个所述原始图像中各个图像之间相互匹 配的像素、N个所述图像采集设备中每两个相邻图像采集设备之间的基线距离， 利用预设的深度图像像素值计算公式，计算得到N个所述原始图像中每两个相 邻图像对应的深度图像的像素值。
10、根据权利要求9所述的获取虚拟视图的装置，其特征在于，所述预设 的像素支持权重计算公式具体为<formula>formula see original document page 7</formula>其中，w(;^)表示像素q对像素p的支持权重，Ac^表示p、 q两像素的颜 色的欧几里德度量，Ag 表示p、 q两像素的距离的欧几里德度量，^、 ^是与人 类视觉系统的视场有关的系数，。^的数值可调节；所述预设的像素窗口权重累积平方差计算公式具体为<formula>formula see original document page 7</formula>其中，A、^分别表示N个所述原始图像中两相邻图像之间的参考像素和 待匹配像素，五0^,&)表示两相邻图像之间的参考像素和待匹配像素的像素窗口 权重累积平方差，w(>d，&)， w(A,&)分别表示&对A的支持权重、^对;^的支 持权重，^p表示像素A/对应的匹配窗口中的所有的像素，w^表示像素^对 应的匹配窗口中的所有的像素，e(^,")表示两相邻图像的对应的匹配窗口中同 一位置的像素之间的平方差值；所述预设的深度图像像素值计算公式具体为<formula>formula see original document page 7</formula>其中，Z表示N个所述原始图像中两个相邻图像对应的深度图像的像素值； /表示N个所述图像采集设备中两个相邻图像采集设备的焦距的平均值；^表示 N个所述图像采集设备中两个相邻图像采集设备之间的基线距离；《表示N个所述原始图像中两个相邻图像之间相互匹配像素的位置的相对距离的绝对值。
11、 根据权利要求9所述的获取虚拟视图的装置，其特征在于，所述深度 图像获取模块还包括转换单元，用于在所述匹配窗口获取单元为N个所述原始图像中的每个图 像中的每个像素预设一个匹配窗口之后，所述支持权重获取单元将N个所述原 始图像中的每个图像中的每个像素分别作为当前像素，根据当前像素对应的匹 配窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权 重计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素 的支持权重之前，将N个所述原始图像从红绿蓝RGB空间转换到CIELab空间；相应地，所述支持权重获取单元，具体用于在所述转换单元将N个所述原 始图像从RGB空间转换到CIELab空间后，在C正Lab空间中，将N个所述原 始图像中的每个图像中的每个像素分别为当前像素，根据当前像素对应的匹配 窗口中的每个像素相对当前像素的颜色和距离信息，利用预设的像素支持权重 计算公式，分别计算得到当前像素对应的匹配窗口中的每个像素对当前像素的 支持权重。
12、 根据权利要求9所述的获取虚拟视图的装置，其特征在于，所述虚拟 视图获取模块具体包括距离获取单元，用于在所述深度图像获取模块得到深度图像后，根据所述 参考视图，所述参考视图和其相邻原始图像对应的深度图像，利用预设的虚拟 视图相对参考视图的距离公式，计算得到所述待获取虚拟视图相对所述参考视 图的3巨离；平移单元，用于在所述位移获取单元得到所述待获取虚拟视图相对所述参 考视图的距离后，根据计算得到的所述待获取虚拟视图相对所述参考视图的距 离，对所述参考视图进行平移，得到所述待获取虚拟视图。
13、 根据权利要求12所述的获取虚拟视图的装置，其特征在于，所述 预设的虚拟视图相对参考视图的距离公式具体为其中，《表示所述待获取虚拟视图与所述参考视图之间对应像素的位置的相对距离；/表示N个所述图像采集设备中两个相邻图像采集设备的焦距的平 均值；Z表示N个所述原始图像中两个相邻图像对应的深度图像的像素值；62表示所述待获取虚拟视图与所述参考视图的基线距离，JU2=A， it为大于1的自然数，6'表示N个所述图像采集设备中两个相邻图像采集设备之间的基线距离。
14、根据权利要求8-13中任一权利要求所述的获取虚拟视图的装置，其特 征在于，所述装置还包括外极线校正模块，用于在所述原始图像获取模块得到N个不同视点的原始图像之后，所述深度图像获取模块对N个所述原始图像进行像素窗口匹配，得到N个所述原始图像中每两个相邻图像对应的深度图像之前，对N个图像采集设备采集到的N个不同视点的原始图像进行外极线校正，得到N个校正后的图像；相应地，所述深度图像获取模块，具体用于在所述外极线校正模块得到N 个校正后的图像后，对N个所述校正后的图像进行像素窗口匹配，得到N个所 述校正后的图像中每两个相邻图像对应的深度图像；相应地，所述参考视图获取模块，具体用于在所述深度图像获取模块得到 深度图像后，从N个所述校正后的图像中任选一个图像作为参考视图，并在所 述参考视图和其相邻的校正后的图像之间，确定待获取虚拟视图的位置；相应地，所述虚拟视图获取模块，具体用于在所述参考视图获取模块确定 待获取虚拟视图的位置后，根据所述参考视图，所述参考^L图和其相邻的校正 后的图像对应的深度图像，以及所述待获取虚拟视图相对所述参考视图的距离， 对所述参考视图进行平移得到所述待获取虚拟视图。
全文摘要
本发明公开了一种获取虚拟视图的方法和装置，属于计算机视觉领域。方法包括利用N个图像采集设备采集得到N个不同视点的原始图像；对N个原始图像进行像素窗口匹配，得到N个原始图像中每两个相邻图像对应的深度图像；从N个原始图像中任选一个图像作为参考视图，并在参考视图和其相邻原始图像之间，确定待获取虚拟视图的位置；根据参考视图，参考视图和其相邻原始图像对应的深度图像，以及待获取虚拟视图相对参考视图的距离，对参考视图进行平移得到待获取虚拟视图。装置包括原始图像获取模块、深度图像获取模块、参考视图获取模块和虚拟视图获取模块。通过对原始图像进行像素窗口匹配和平移得到虚拟视图，不需要人工参与，减少了工作量，降低了成本。
文档编号H04N13/00GK101662695SQ20091009350
公开日2010年3月3日 申请日期2009年9月24日 优先权日2009年9月24日
发明者季向阳, 张佳宏, 戴琼海, 汛 曹 申请人:清华大学