立体视频制作方法、立体视图制作方法和制作系统的制作方法_3

文档序号:9380943阅读:来源:国知局
越大扩散越明显, 取值范围0~0,一般取0~3 ;迭代次数:深度扩散算法参数,指得到所需满意的深度图 时,算法需要迭代多少次,取值范围〇~°°,一般取1~10。渲染权值:渲染算法参数,渲染 权值dscale控制渲染生成的立体视图中视差的大小,取值-1~1,建议值-0. 1。
[0057] 图层工具箱:主要用于对分割出的不同深度图层进行显示,图层之间可以相互拖 动调换位置,也可根据不同的需要对某个图层进行编辑,编辑操作包括对图层颜色、位置等 的改变。
[0058] 常用工具栏部分:保存:用于保存当前对图像或者视频所做的一些操作;撤销/恢 复:可以撤销当前的操作/恢复上一步的操作;放大/缩小:用于对源视图窗口中加载的图 像进行放大和缩小操作;实际尺寸:用于将源视图窗口中放大或缩小后的图像,恢复为图 像的原始尺寸进行显示;适应屏幕:用于将本身尺寸大于源视图窗口的图像适应该窗口进 行缩放显示;笔画扩展:用于将用户绘制的深度笔画扩散到整幅图像画面中。深度模式:用 于对用户绘制完成的深度图层进行深度模式赋值。
[0059] 以下结合附图描述根据本发明实施例的立体视频制作方法。
[0060] 半自动平面转立体视频转换是通过人机交互对人工选定的关键帧进行深度赋值, 并将关键帧的深度图通过深度传播算法扩展到非关键帧上。如图2所示,半自动平面转立 体视频转换主要分为6个步骤,关键帧选取、人机交互绘制深度笔画、深度笔画扩展、深度 模式选择、深度传播和立体视图渲染。
[0061] 步骤1:关键帧选取
[0062] 按照固定的间隔20选取关键帧,则选取的关键帧为第1、20、40、60、80、100帧图 像。
[0063] 步骤2 :人机交互绘制深度笔画
[0064] 对于每一帧关键帧,在源视频画面上直接"绘制"出具有一定颜色的笔画,以表示 该位置在画面中的相对深度,这些稀疏的颜色信息通过一定的映射转换成为深度值,比如 通过色彩系统变换法得到深度值D = 0. 299*R+0. 587*G+0. 114祁。此过程中,用户可以在常 用工具栏中选择对图像进行放大/缩小操作,或者在画笔工具箱中改变画笔线条的粗细, 从而可以完成对图像中的微小细节进行处理。
[0065] 步骤3 :深度笔画扩展
[0066] 通过变换域的滤波算法将稀疏的深度信息传播到整个画面中来,如图2中左边的 实时监看窗口,形成完整的深度视图。
[0067] 步骤4 :深度模式选择
[0068] 在图层工具箱中选定某一深度图层后,可以对该图层进行深度模式的赋值,可选 的深度梯度模式包括以下五种:图像深度从左至右逐渐增加,图像深度从左下至右上逐渐 增加,图像深度从下至上逐渐增加,图像深度从右下至左上逐渐增加,图像深度从右至左逐 渐增加。
[0069] 步骤5 :深度传播
[0070] 得到所有关键帧的深度视图后,可以对非关键帧进行深度传播,如图3所示,主要 包括以下步骤:
[0071] 对图像序列中的运动进行估计
[0072] 这里采用基于块的运动估计算法,首先计算相邻帧之间的块匹配误差如下:

[0077] 其中,ADR、ADG、ADB分别为相邻帧对应区域块在R、G、B三个通道上像素值的绝对 误差和,且(X 1, Y1)为第t帧区域块最左上角的像素点,而(X2, Y2)为第t+Ι帧区域块最左上 角的像素点。
[0078] 进而采用自适应性块匹配方法进行块分割和块搜索,最小化块匹配误差函数,求 得第t帧中每一个自适应区域块在第t+Ι帧中的最优匹配位置,可认为此最优匹配位置为 第t帧区域块在第t+Ι帧中的运动结果,从而可以计算出第t帧中每一个区域块的向前运 动矢量FMV。同理,以第t+Ι帧为参考帧可以求得向后运动矢量BMV。
[0079] 根据运动估计的可靠性进行深度扩展。
[0080] 首先计算运动估计的可靠性如下,令u为第t帧的某区域块,其在第t+Ι帧中的最 优匹配块为V,向前运动矢量为FMV ;同理V在第t帧中的最优匹配块为m,向后运动矢量为 BMV,它们之间满足的关系式如下:
[0081] V = u+FMV(t) (u)
[0082] m = v+BMV(t+1) (v)
[0083] 运动估计的可靠性检验如下:如果m在u的邻域内,则运动估计是可靠的,而如果 m不在u的邻域内,则运动估计不可靠。
[0085] 其中mask(t+1) (V)表示第t+Ι帧中的某个区域块V是否在第t帧中有运动估计可 靠的匹配点,ξ代表邻域半径。
[0086] 如果mask(t+1)(v) = 1则代表V区域有相应的匹配点,进而将V在第t帧中对应的 匹配区域u的深度值复制给V。
[0087] 如果mask(t+1) (V) = 0,则通过位移双边滤波算法进行深度扩展,公式如下:
[0090] 公式中,dt+1(i)表示第t+Ι帧中像素 i的深度估计值,而(ItU)贝IJ表示第t帧中像 素 j的参考深度值,j来自于以i+MV⑴为中心的邻域内。t表示空间权重,j和i+MV(i) 距离越远,其权值越小,而如果j位于i+MV(i)的邻域之外,权值为0。表示颜色权 重,其中ct+1(i)和Ct(i)分别表示第t+Ι帧和第t帧中像素 i的像素值,在两帧之间像素 i 的颜色差异越大,其权值越小。
[0091] 步骤6:立体视图渲染
[0092] 通过采用基于深度图的图像虚拟绘制技术,将原图像根据深度图的信息进行像素 移位,从而得到一个新的虚拟视图,将此虚拟视图与原输入图像按照不同的显示要求得到 不同的输出格式(主要为红-青立体式、左右并列式、上下排列式),作为双目立体视觉的立 体视频源输入。
[0093] 虚拟视图的生成公式如下:
[0094] I1(P-Cidr(P))=Ir(P)
[0095] 其中,I1(P)为已知的左参考视图中坐标为p的像素点的像素值,djp)为左参考 深度图坐标为P的像素点的深度值。α为渲染权值,控制渲染生成的立体视图中视差的大 小,取值-1~1,建议值-〇. 1。
[0096] 针对虚拟视图中存在的空洞问题,通过低通滤波器平滑深度图,减弱深度跳变的 幅度,从而减少和消除虚拟视点中的空洞。原深度图中点(x,y)的深度值记为d(x,y),则经 滤波器平滑后的深度值3(x,y)可以表示为:
[0098] 其中,g(u,σ u)和g(v,σ v)分别代表了水平方向和垂直方向上的高斯平滑系数。 w为平滑模板的大小,一般设置为3 σ u。
[0099] 以下结合附图描述根据本发明实施例的立体视图制作方法。
[0100] 本发明的另一个方面提出了一种实时、稳定、高精确度的半自动平面转立体图像 转换方法,采用所述的半自动平面转立体应用软件,包括半自动平面转立体图像转换方法。
[0101] 半自动平面转立体图像转换方法的步骤:
[0102] 人机交互绘制深度笔画
[0103] 首先用户在源视图界面上直接绘制出具有一定颜色的笔画,以表示该区域像素在 画面中的相对深度。此过程中,用户可以在常用工具栏中选择对图像进行放大/缩小操作, 或者在画笔工具箱中改变画笔线条的粗细,从而可以完成对图像中的微小细节进行处理, 提高深度赋值的精确性。这些稀疏的颜色信息进而通过一定的颜色-深度映射关系转换成 为相对深度值。
[0104] 深度笔画扩展
[0105] 通过一种深度扩展算法,将人工绘制的稀疏深度信息实时的扩散到整个画面中 来,在深度视图窗口中形成完整的深度视图,并在图层工具箱中显示出具有不同深度值的 深度图层。在此过程中,用户可以在参数调控工具箱中对深度扩散算法中的扩散系数和迭 代次数进行选择,从而完成对不同场景的深度扩展操作。<
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1