专利名称：一种交互式多视点视频系统中虚拟视点的合成方法
技术领域：
本发明涉及一种交互式多视点视频系统中虚拟视点的合成方法，尤其涉及一种用于用户自主选择视点时视点切换过程视频图像生成方法的设计，属于信息传播技术领域。
背景技术：
多视点视频是视频处理的新兴领域。在这个领域中，单路视频源被环绕场景的拍摄的多路视频取代。多视点视频能够提供用户与场景的交互能力，即用户可以自主选择观察角度以获得更好的观看效果。虚拟视点是指在用户切换实际视点的过程中经过的没有实际摄像机拍摄的视点。依靠实际视点拍摄的视频生成虚拟视点的视频图像，达到视点平滑切换的目的成为目前多视点视频领域的重要问题。由于多视点视频系统中存在的摄像机数量多、相邻摄像机拍摄夹角大，传统合成方法在处理多视点视频合成问题时，存在着计算量大，处理摄像机夹角小和视频质量差的问题，限制了这些方法的实用性和应用场景。
发明内容
本发明的目的是提出一种交互式多视点视频系统中虚拟视点的合成方法，通过对前景图像的特征点提取和跟踪建立图像的对应关系；根据对应特征点进行视频对象的三角剖分；通过插值运算得到虚拟视点的视频前景图像；对于背景图像使用全景图生成方法得到拍摄场景背景的全景图；最后将前后景图像融合得到虚拟视点对应的虚拟图像。
本发明提出的交互式多视点视频系统中虚拟视点的合成方法，包括以下步骤(1)视频系统根据用户交互观看视频的请求，确定过渡视频图像质量的参数，进而确定相邻实际视点间需要插进的图像帧数，并确定用户当前的视点序号以及视角切换后的视点序号，进而计算视角切换所经过的实际视点的数量及其序号；(2)根据上述实际视点的序号读取各路实际视频当前时间点的视频帧并存储；(3)将上述实际视点的各视频帧分割成前景和背景图像，并按上述实际视点的序号依次分别存储；(4)利用上述背景图像得到背景的全景图像；(5)利用前景图像，得到前景的灰度图像，并对其进行中值滤波，去除噪声；(6)从上述滤波后的前景灰度图像中提取图像特征，并建立其与相邻实际视点拍摄的图像特征之间的对应关系；
(7)根据上述对应关系，对相邻实际视点的图像进行三角剖分，并根据三角剖分结果和上述插值帧数，在两个相邻实际视点之间进行插值运算，得到虚拟视点前景图像；(8)将上述虚拟视点前景图像与背景的全景图像进行叠加，得到虚拟视点图像。
上述方法中，将实际视点的各视频帧分割成前景和背景图像，包括以下步骤(1)对实际视点的多帧视频进行差值计算和平滑滤波，获得视频对象的大致区域；(2)对上述大致区域进行形态处理，构造视频对象的内外边界；(3)通过多值水线分割算法提取对象边界。
上述方法中，从滤波后的前景灰度图像中提取图像特征，并建立其与相邻实际视点拍摄的图像特征之间的对应关系的方法，包括以下步骤(1)计算前景灰度图像中所有象素对应矩阵A=ΣwIx2IxIyIxIyIx2]]>的特征值，λ1和λ2，且λ1大于λ2，其中A表示二阶矩阵，w表示搜索窗口，I表示提取特征的图像，IX＝I/x，IY＝I/y，x和y分别表示图像的水平和竖直方向；(2)根据上述每个象素的二阶矩阵特征值中较小的一个λ2，将图像中的所有象素做降序排序；(3)根据上述图像质量参数，从上述排序的象素中选取前n个象素作为图像特征，并存储特征的图像位置信息和顺序编号；(4)根据上述图像特征，在与其相邻的实际视点的前景图像中进行窗口匹配搜索，设定一个窗口误差域值，选取窗口匹配误差最小并且低于误差阈值的象素作为与上述图像特征相对应的特征，并存储其位置信息和对应特征编号，对该特征作成功标记，对窗口误差值高于阈值的象素，作失败标记；(5)重复步骤(4)，直到所有特征都打上标记；(6)对上述标记失败的图像特征，根据实际视点视频编码中的运动向量做步骤(2)；得到最终的对应特征集合。
上述方法中，对相邻实际视点的图像进行三角剖分的方法，包括以下步骤(1)计算前景灰度图像中每两个图像特征点之间的距离，并排序得到距离的最大值和最小值；(2)将上述最大值和最小值之差除以一个定值，得到搜索步长；(3)从图像中两点之间距离最小的任意一点出发，以上述搜索步长为初始半径的循环搜索，每个循环的搜索半径增加一个搜索步长，对搜索范围内的点进行三点共线判断，若共线则继续搜索，直至找到形成三角形的点，将该三个点标记为入选，并存储三角形序号和三个点的特征序号；(4)从上述找到的形成三角形的点出发，重复步骤(3)，直到所有的点都标记成入选；(5)按三角形重心的坐标大小，对上述所有形成的三角形进行升序排序，生成三角形列表。
上述方法中，在两个相邻实际视点之间进行插值运算，得到虚拟视点前景图像的方法，包括以下步骤(1)根据虚拟视点与相邻两个实际视点的距离大小的比例关系，确定虚拟视点图像的插值权重；(2)计算所有虚拟视点图像与相邻两个实际视点图像的剖分三角形之间的变换矩阵；(3)对每个虚拟视点中的象素，从上述三角形列表中寻找相应的三角形序号；(4)从上述三角形之间的变换矩阵中选择与上述三角形序号相对应的变换矩阵，并将虚拟视点中象素的仿射坐标分别乘以该变换矩阵，得到对应的相邻实际视点图像中的象素坐标；(5)读取相邻实际视点图像中的象素坐标对应的颜色信息，根据上述插值权重计算虚拟视点中象素的颜色值；(6)重复步骤(4)和(5)，计算虚拟视点图像中所有象素的颜色值。
上述方法中，将虚拟视点前景图像与背景的全景图像进行叠加，得到虚拟视点图像的方法，包括以下步骤(1)根据上述虚拟视点前景图像的插值权重，计算背景全景图中对应的背景窗口位置；(2)在上述位置的窗口的背景图像上叠加对应的虚拟视点前景图像，得到虚拟视点图像；(3)在上述叠加的虚拟视点图像上前景与背景的交接处，进行五阶高斯滤波，得到最终的合成视频图像。
本发明提出的一种交互式多视点视频系统中虚拟视点的合成方法，用于生成用户切换视点过程中的中间过渡视频序列，使得用户在观看视点切换的过程中得到平滑过渡的视觉效果。主要的优势在于低计算量，实时合成的可能性，较好的视频质量和算法使用现有硬件设备的良好接口。使用相邻摄像机视频流建立不完全三维结构关系来取代三维模型；并且通过提取并跟踪特征的方式来建立两个视频流之间的对应关系，可以不需要精确的摄像机标定方法，只要求摄像机的摆放是在同一水平线上并且是距离视频场景中的主要前景物体大致一样，搜索特征的时候不用考虑摄像机的旋转变化，降低搜索的复杂度。这种搜索和跟踪特征的方法可以处理25到30度摄像机夹角的拍摄图像。
具体实施例方式
本发明提出的交互式多视点视频系统中虚拟视点的合成方法，首先视频系统根据用户交互观看视频的请求，确定过渡视频图像质量的参数，进而确定相邻实际视点间需要插进的图像帧数，并确定用户当前的视点序号以及视角切换后的视点序号，进而计算视角切换所经过的实际视点的数量及其序号；根据实际视点的序号读取各路实际视频当前时间点的视频帧并存储；将实际视点的各视频帧分割成前景和背景图像，并按上述实际视点的序号依次分别存储；利用背景图像得到背景的全景图像；利用前景图像，得到前景的灰度图像，并对其进行中值滤波，去除噪声；从滤波后的前景灰度图像中提取图像特征，并建立其与相邻实际视点拍摄的图像特征之间的对应关系；根据对应关系，对相邻实际视点的图像进行三角剖分，并根据三角剖分结果和上述插值帧数，在两个相邻实际视点之间进行插值运算，得到虚拟视点前景图像；将虚拟视点前景图像与背景的全景图像进行叠加，得到虚拟视点图像。
以下详细介绍本发明的内容本发明的方法，首先由交互式多视点视频系统接受用户发送的变换视点位置的请求，请求中包括过渡视频图像质量参数和用户当前的视点序号M以及视角切换后的视点序号N，上述过渡视频图像质量参数提供高质量图像和低质量图像两种选择，分别对应相邻实际视点间需要插进的图像帧数为20帧和10帧，上述M-N+1为变换视点位置所经过的实际视点数量，其序号为包含在M和N之间的所有自然数。
根据上述实际视点的序号读取各路实际视频当前时间点的视频帧并存储；将上述实际视点的各视频帧分别与其所在实际视点的前一帧视频进行差值计算和平滑滤波，获得视频对象的大致区域，进而进行形态处理构造视频对象的内外边界，改进的多值水线分割算法精确提取对象边界，即对内外边界区域内的图像进行平滑消除噪声，使得属于同一物体区域的像素点平滑，并且使区域与区域之间的边界得到保持，从内外边界向区域内部进行区域扩张，当内边界扩张区域和外边界扩张区域相交时，相交的边界就是前景和背景图像的分割边界，并按上述实际视点的序号依次分别存储。
对于上述背景图像，以序号最小的图像为基准图像，其坐标原点作为全景图的坐标原点，其他序号的图像分别计算相对于基准图像的全局运动参数，并根据上述全局运动参数计算其所有象素的全景图坐标，进而拼接成背景的全景图。
对于上述前景图像，首先得到前景的灰度图像，并对其进行中值滤波，去除噪声；并对上述灰度图像每个象素计算其矩阵A=ΣWIX2IXIYIXIYIY2]]>的特征值λ1和λ2，且λ1大于λ2，其中A表示二阶矩阵，w表示搜索窗口，实际采用9×9的窗口，I表示提取特征的图像，IX＝I/x，IY＝I/y，x和y分别表示图像的水平和竖直方向；并根据λ2的大小对所有象素降序排序，选取前50个象素作为图像特征，存储上述图像特征的对应坐标和顺序编号。
根据上述图像特征，在与其相邻的实际视点的前景图像中进行窗口为9×9的匹配搜索，设定一个窗口误差域值500，选取窗口匹配误差最小并且低于误差阈值的象素作为与上述图像特征相对应的特征，并存储其位置信息和对应特征编号，对该特征作成功标记，对窗口误差值高于阈值的象素，作失败标记。
对上述标记失败的图像特征，其搜索起始位置加上实际视点视频编码中对应的运动向量得到新的搜索起始位置，并重复上述的图像匹配搜索过程，所有有成功标记的特征形成最终的对应特征集合。
计算前景灰度图像中每两个图像特征点之间的距离，并排序得到距离的最大值和最小值，上述最大值和最小值之差除以一个定值100，得到搜索步长，从图像中两点之间距离最小的任意一点出发，以上述搜索步长为初始半径的循环搜索，每个循环的搜索半径增加一个搜索步长，对搜索范围内的点进行三点共线判断，若共线则继续搜索，直至找到形成三角形的点，将该三个点标记为入选，并存储三角形序号和三个点的特征序号，从上述找到的形成三角形的点出发，重复上述搜索过程直到所有的点都标记成入选；按三角形重心的坐标大小，对上述所有形成的三角形进行升序排序，生成三角形列表；根据虚拟视点与相邻两个实际视点的距离大小的比例关系，确定虚拟视点图像的插值权重λ，并根据下面的公式计算所有虚拟视点图像与相邻两个实际视点图像的剖分三角形之间的变换矩阵，T=f1*T1⇒f2-1*T=T1⇒f2-1=T1*T-1T=f2*T2⇒f2-1*T=T2⇒f2-1=T2*T-1]]>其中假设p(x，y，1)时在虚拟视点图像中的象素，T是象素p所在三角形的仿射变换矩阵，p1，p2分别p是在左右两个真实图像中对应象素的仿射坐标，T1和T2分别代表从p到p1和p2所在三角形的仿射矩阵。f1和f2分别表示从中间视点到左右两个实际视点图像的变换矩阵。f1-1，f2-1分别表示了f1和f2的逆矩阵；对每个虚拟视点中的象素，从上述三角形列表中寻找相应的三角形序号，并进而选择与上述三角形序号相对应的变换矩阵，将虚拟视点中象素的仿射坐标分别乘以该变换矩阵，得到对应的相邻实际视点图像中的象素坐标；读取相邻实际视点图像中的象素坐标对应的颜色信息，根据下面的公式计算虚拟视点中象素的颜色值，C＝C1*λ+C2*(1-λ)其中C，C1和C2分别表示象素在中间视点，左视点和右视点的颜色值，而λ表示上述虚拟视点图像的插值权重；根据上述虚拟视点前景图像的插值权重λ，根据公式E1＝L*(1-λ)及E2＝L*(1-λ)+W计算背景全景图中对应的背景窗口位置，其中E1和E2表示窗口左右边界，L表示全景图长度，λ表示上述虚拟视点图像的插值权重，在上述位置的窗口的背景图像上叠加对应的虚拟视点前景图像，得到虚拟视点图像，在上述叠加的虚拟视点图像上前景与背景的交接处，进行5阶的高斯滤波，得到最终的合成视频图像。
权利要求
1.一种交互式多视点视频系统中虚拟视点的合成方法，其特征在于该方法包括以下步骤(1)视频系统根据用户交互观看视频的请求，确定过渡视频图像质量的参数，进而确定相邻实际视点间需要插进的图像帧数，并确定用户当前的视点序号以及视角切换后的视点序号，进而计算视角切换所经过的实际视点的数量及其序号；(2)根据上述实际视点的序号读取各路实际视频当前时间点的视频帧并存储；(3)将上述实际视点的各视频帧分割成前景和背景图像，并按上述实际视点的序号依次分别存储；(4)利用上述背景图像得到背景的全景图像；(5)利用前景图像，得到前景的灰度图像，并对其进行中值滤波，去除噪声；(6)从上述滤波后的前景灰度图像中提取图像特征，并建立其与相邻实际视点拍摄的图像特征之间的对应关系；(7)根据上述对应关系，对相邻实际视点的图像进行三角剖分，并根据三角剖分结果和上述插值帧数，在两个相邻实际视点之间进行插值运算，得到虚拟视点前景图像；(8)将上述虚拟视点前景图像与背景的全景图像进行叠加，得到虚拟视点图像。
2.如权利要求1所述的方法，其特征在于其中所述的将实际视点的各视频帧分割成前景和背景图像，包括以下步骤(1)对实际视点的多帧视频进行差值计算和平滑滤波，获得视频对象的大致区域；(2)对上述大致区域进行形态处理，构造视频对象的内外边界；(3)通过多值水线分割算法提取对象边界。
3.如权利要求1所述的方法，其特征在于其中所述的从滤波后的前景灰度图像中提取图像特征，并建立其与相邻实际视点拍摄的图像特征之间的对应关系的方法，包括以下步骤(1)计算前景灰度图像中所有象素对应矩阵A=ΣWIX2IXIYIXIYIY2]]>的特征值，λ1和λ2，且λ1大于λ2，其中A表示二阶矩阵，w表示搜索窗口，I表示提取特征的图像，IX＝I/x，IY＝I/y，x和y分别表示图像的水平和竖直方向；(2)根据上述每个象素的二阶矩阵特征值中较小的一个λ2，将图像中的所有象素做降序排序；(3)根据上述图像质量参数，从上述排序的象素中选取前n个象素作为图像特征，并存储特征的图像位置信息和顺序编号；(4)根据上述图像特征，在与其相邻的实际视点的前景图像中进行窗口匹配搜索，设定一个窗口误差域值，选取窗口匹配误差最小并且低于误差阈值的象素作为与上述图像特征相对应的特征，并存储其位置信息和对应特征编号，对该特征作成功标记，对窗口误差值高于阈值的象素，作失败标记；(5)重复步骤(4)，直到所有特征都打上标记；(6)对上述标记失败的图像特征，根据实际视点视频编码中的运动向量做步骤(2)；得到最终的对应特征集合。
4.如权利要求1所述的方法，其特征在于其中所述的对相邻实际视点的图像进行三角剖分的方法，包括以下步骤(1)计算前景灰度图像中每两个图像特征点之间的距离，并排序得到距离的最大值和最小值；(2)将上述最大值和最小值之差除以一个定值，得到搜索步长；(3)从图像中两点之间距离最小的任意一点出发，以上述搜索步长为初始半径的循环搜索，每个循环的搜索半径增加一个搜索步长，对搜索范围内的点进行三点共线判断，若共线则继续搜索，直至找到形成三角形的点，将该三个点标记为入选，并存储三角形序号和三个点的特征序号；(4)从上述找到的形成三角形的点出发，重复步骤(3)，直到所有的点都标记成入选；(5)按三角形重心的坐标大小，对上述所有形成的三角形进行升序排序，生成三角形列表。
5.如权利要求1所述的方法，其特征在于其中所述的在两个相邻实际视点之间进行插值运算，得到虚拟视点前景图像的方法，包括以下步骤(1)根据虚拟视点与相邻两个实际视点的距离大小的比例关系，确定虚拟视点图像的插值权重；(2)计算所有虚拟视点图像与相邻两个实际视点图像的剖分三角形之间的变换矩阵；(3)对每个虚拟视点中的象素，从上述三角形列表中寻找相应的三角形序号；(4)从上述三角形之间的变换矩阵中选择与上述三角形序号相对应的变换矩阵，并将虚拟视点中象素的仿射坐标分别乘以该变换矩阵，得到对应的相邻实际视点图像中的象素坐标；(5)读取相邻实际视点图像中的象素坐标对应的颜色信息，根据上述插值权重计算虚拟视点中象素的颜色值；(6)重复步骤(4)和(5)，计算虚拟视点图像中所有象素的颜色值。
6.如权利要求1所述的方法，其特征在于其中所述的将虚拟视点前景图像与背景的全景图像进行叠加，得到虚拟视点图像的方法，包括以下步骤(1)根据上述虚拟视点前景图像的插值权重，计算背景全景图中对应的背景窗口位置；(2)在上述位置的窗口的背景图像上叠加对应的虚拟视点前景图像，得到虚拟视点图像；(3)在上述叠加的虚拟视点图像上前景与背景的交接处，进行五阶高斯滤波，得到最终的合成视频图像。
全文摘要
本发明涉及一种交互式多视点视频系统中虚拟视点的合成方法，属信息传播技术领域。首先对视频系统初始化，根据实际视点的序号读取实际视频当前时间点的视频帧，将各视频帧分割成前景和背景图像；利用背景图像得到背景的全景图像；利用前景图像，得到前景的灰度图像，建立其与相邻实际视点拍摄的图像特征之间的对应关系；根据对应关系，对相邻实际视点的图像进行三角剖分，并根据三角剖分结果和上述插值帧数，在两个相邻实际视点之间进行插值运算，得到虚拟视点前景图像；将虚拟视点前景图像与背景的全景图像进行叠加，得到虚拟视点图像。本发明的方法，使用户在观看视点切换的过程中得到平滑过渡的视觉效果，而且计算量低、实时合成、视频质量好。
文档编号H04N5/262GK1694512SQ20051007747
公开日2005年11月9日 申请日期2005年6月24日 优先权日2005年6月24日
发明者李放, 孙立峰, 杨士强 申请人:清华大学