基于视频多帧内容分析的黑洞填充技术的制作方法
【专利摘要】本发明公开了基于视频多帧内容分析的黑洞填充技术，涉及图像处理方法，具体涉及一种基于视频多帧内容分析的黑洞填充方法。技术方案是：假设在这个视频段落中含有N帧图像，它们是带有黑洞的新视图，每幅图像含有已经正确分割的K个物体，即物体分割图。另外一个黑洞填补补偿区域定义图是根据预处理计算并定义了获得的每个“黑洞”像素点需要用来自哪个物体的信息进行补偿。本发明解决了传统的立体图像生成系统对于其中增生“黑洞”的处理方法，容易造成图像边缘模糊、失真等现象；以及造成了物体竖直边弯曲的现象的问题。
【专利说明】基于视频多帧内容分析的黑洞填充技术
【技术领域】
[0001]本发明涉及图像处理方法，具体涉及一种基于视频多帧内容分析的黑洞填充方法。
【背景技术】
[0002]传统的立体图像生成系统需要传送左眼视图和右眼视图来生成立体图像。基于深度信息的立体图像生成系统(DIBR)能够利用彩色图像及相应的深度图像生成新视点图像。然而，不同深度的各个物体在左右视图图像上的位移不同，从而决定了在生成的新视点视图中会出现形状不规则，尺寸大小不一的增生“黑洞”。对于其中增生“黑洞”的处理，最简单的是直接内插法，但实验结果表明，该方法对大尺寸“洞”的处理效果并不理想，容易造成图像边缘模糊、失真等现象。另一种方法是对深度图像进行预处理。目前应用较为广泛的方法有高斯滤波器法和边缘滤波法。基于深度图像的高斯滤波法可以减少新视图中大尺寸的“黑洞”的数量，但随之也造成了物体竖直边弯曲的现象。
【发明内容】
[0003]本发明提供基于视频多帧内容分析的黑洞填充技术，本发明解决了传统的立体图像生成系统对于其中增生“黑洞”的处理方法，容易造成图像边缘模糊、失真等现象；以及造成了物体竖直边弯曲的现象的问题。
[0004]为解决上述问题，本发明采用如下技术方案:基于视频多帧内容分析的黑洞填充技术，假设在这个视频段落中含有N帧图像，它们是带有黑洞的新视图，每幅图像含有已经正确分割的K个物体，即物体分割图。另外一个黑洞填补补偿区域定义图是根据预处理计算并定义了获得的每个“黑洞”像素点需要用来自哪个物体的信息进行补偿。
[0005]在这个实现过程中，需要采用业界通用的SIFT技术选在相同物体在2帧图像之间的匹配像素点，计算他们的位移并进行补偿。考虑到噪声的存在，选取的匹配点还需要通过RANSAC方法的过滤以提高匹配的准确性。
[0006]对于在图像Fi中的物体Mj，如果某个像素点的R/G/B值已经存在，则采用当前帧中的数据，如果不存在，但是在其它帧中存在，则采用加权平均的方法，来自离Fi越近的像素值具有更高的权重，从而保证视频补偿中的连续性。
[0007]本发明实现方法该方法的实现使得右视图中的很多黑洞均可以通过前后帧的信息得以正确地补偿，补偿之后的内容更加自然，大大地提高了系统的自动化程度。
【专利附图】
【附图说明】
[0008]图1是本发明流程图。
【具体实施方式】
[0009]下面用最佳的实施例对本发明做详细的说明。[0010]目前业界几乎所有的解决方案都是通过单一的，当前图像的内容来处理的，其总体效果无论如何都会受到一定的限制。然而，在处理视频内容的时候，情况就不一样了。视频内容一般包含有同一场景中的多个图像内容。随着相机的移动或者物体本身的移动，在某一帧被遮挡而需要决定的“黑洞”内容，在其它帧可能完整地出现。在这种情况下，我们的技术团队设计并开发了一种“基于视频环境下多帧图像内容分析的黑洞填充“技术，该方法不只是从当前的图像帧中去“猜测”黑洞内容，通过对图像内各个物体的运动匹配，找到各个物体在当前视频拍摄角度下的完整内容，从而能采用真实的内容进行“黑洞”补偿。
[0011]如图1所示，基于视频多帧内容分析的黑洞填充技术，假设在这个视频段落中含有N帧图像，它们是带有黑洞的新视图，每幅图像含有已经正确分割的K个物体，即物体分割图。另外一个黑洞填补补偿区域定义图是根据预处理计算并定义了获得的每个“黑洞”像素点需要用来自哪个物体的信息进行补偿。
[0012]在这个实现过程中，需要采用业界通用的SIFT技术选在相同物体在2帧图像之间的匹配像素点，计算他们的位移并进行补偿。考虑到噪声的存在，选取的匹配点还需要通过RANSAC方法的过滤以提高匹配的准确性。
[0013]对于在图像Fi中的物体Mj，如果某个像素点的R/G/B值已经存在，则采用当前帧中的数据，如果不存在，但是在其它帧中存在，则采用加权平均的方法，来自离Fi越近的像素值具有更高的权重，从而保证视频补偿中的连续性。
[0014]最后应说明的是:显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。
【权利要求】
1.基于视频多帧内容分析的黑洞填充技术，其特征在于，假设在这个视频段落中含有N帧图像，它们是带有黑洞的新视图，每幅图像含有已经正确分割的K个物体，即物体分割图。另外一个黑洞填补补偿区域定义图是根据预处理计算并定义了获得的每个“黑洞”像素点需要用来自哪个物体的信息进行补偿。
2.如权利要求1所述基于视频多帧内容分析的黑洞填充技术，其特征在于，在这个实现过程中，需要采用业界通用的SIFT技术选在相同物体在2帧图像之间的匹配像素点，计算他们的位移并进行补偿。考虑到噪声的存在，选取的匹配点还需要通过RANSAC方法的过滤以提高匹配的准确性。
3.如权利要求1所述基于视频多帧内容分析的黑洞填充技术，其特征在于，对于在图像Fi中的物体Mj，如果某个像素点的R/G/B值已经存在，则采用当前帧中的数据，如果不存在，但是在其它帧中存在，则采用加权平均的方法，来自离Fi越近的像素值具有更高的权重,从而保证视频补偿中的连续性。
【文档编号】H04N13/00GK103561256SQ201310565932
【公开日】2014年2月5日 申请日期:2013年11月13日 优先权日:2013年11月13日
【发明者】熊伟华, 范澍斐, 马燕军 申请人:江苏刻维科技信息有限公司