专利名称：一种用于视图合成的空洞填充方法
技术领域：
本发明涉及基于图像的绘制技术领域，具体来讲，涉及一种用于视图合成 的空洞填充方法。
背景技术：
随着视频显示技术的发展，多视点视频(multi-view video)技术己成为下一代 具有立体感、真实感和交互性特点的视频显示技术的基础。多视点视频的一个 重要特征是能够根据观察者视点的变化而生成对应的视图，产生连续环视 (continuous look-around)效果。为了达到这种效果，必须根据已有的两幅或多幅 参考图像，生成一定范围内的任意视点的视图，这就是多视点视频中的视图合 成(view synthesis)。有多种方法来合成任意视点的视图。然而合成的视图往往存 在空洞(holes)。空洞产生的原因大致分为两类第一类是将参考图像映射到目标 图像时，由于参考图像中的可见物体在目标图像上的投影发生了扩张而引起的； 第二类是由于物体的可见性Oisibility)发生变化而引起的。空洞填充的效果决定 着视图合成技术能否被进一步推广。
1993年，苹果公司的Shenchang Eric Chen和Lance Williams提出可以通过插 值相邻像素的颜色或偏移向量来填充空洞。这种方法不一定精确但复杂性较低。 但他们未给出具体实现的算法。2003年，Christoph Fehn提出用高斯滤波器平滑 深度图，以消除合成的视图中较大的空洞或者使之变小。2005年，Liang Zhang 等人在滤波器的选择以及滤波的区域方面做了改进。平滑深度图的方法已成为 目前常用的方法，但它通常不能消除所有的空洞，最后剩余的空洞通常还是得 依靠插值相邻像素的方法来填充。
发明内容
本发明的目的在于降低现有技术的计算量，提供一种新的用于视图合成的 空洞填充方法，该方法适用于视图合成之后剩余的较小的空洞的填充。
为了达到上述发明目的，本发明用于视图合成的空洞填充方法，包括以下 步骤
(1) 、在视图合成过程中，得到含有空洞的目标图像的同时生成一个大小 与目标图像相同，用于指示目标图像中某点是否为空洞的O-l矩阵，0表示是该 点是空洞点，l表示该点不是空洞点；
(2) 、确定目标图像空洞点的8邻域像素集中，哪些点为填充点，其像素 值用于填充该空洞点；
(3) 、根据0-l矩阵确定每个空洞点的填充点中不是空洞点的个数；在目 标图像中，对填充点中不是空洞点的个数大于或等于填充点数的空洞点进行填 充；填充后，在O-l矩阵中将该空洞点所对应的元素置为1，表示不是空洞；
(4) 、根据0-l矩阵确定每个空洞点的填充点中不是空洞点的个数，在目 标图像中，对填充点中不是空洞点的个数大于或等于填充点数减1的空洞点进 行填充；填充后，在O-l矩阵中将该空洞点所对应的元素置为1，表示不是空洞； 根据0-1矩阵判断，若还存在填充点中不是空洞点的个数大于或等于填充点数减 1的空洞点，则转到步骤(3)，否则转步骤(5);
(5) 、根据O-l矩阵确定每个空洞点的填充点中不是空洞点的个数，在目 标图像中，对填充点中不是空洞点的个数大于或等于填充点数减2的空洞点进 行填充；填充后，在O-l矩阵中将该空洞点所对应的元素置为1，表示不是空洞； 根据0-1矩阵判断，若还存在填充点中不是空洞点的个数大于或等于填充点数减 2的空洞点，则转到步骤(3)，否则转步骤(6);
(6) 、依据步骤(4) 、 (5)的方法，进一步减小填充点中不是空洞点个 数的判断数量，然后进行判断并填充；填充后，在O-l矩阵中将该空洞点所对应 的元素置为l，表示不是空洞；然后，根据0-l矩阵判断，若还存在填充点中不 是空洞点的个数大于或等于判断数量的空洞点，则转到步骤(3)，否则重复步 骤(6)，直至判断数量为1，并且不存在填充点中不是空洞点的个数大于或等 于1的空洞点为止。
本发明的特点是利用视图合成过程中得到的0-1矩阵记录合成的视图中哪 些点是空洞点。这样做的好处是可以准确辨别哪些像素是真正的空洞，节省了
计算量。另外，本发明在每一轮的填充过程中总是先插值那些填充点中不空较 多的空洞点，从而保证了用于填充的像素值接近真实值。
图1是本发明一具体实施方式
中填充点的选取示意图2是图1所示的填充点的选取方式下，处于图像边界处的填充点的选取
示意图。
具体实施例方式
为更好地理解本发明，下面结合具体实施方式
对本发明进行更为详细描述。 在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容 时，这些描述在这儿将被忽略。
实施例1
在本实施例中，经过视图合成过程得到含有空洞的目标图像，同时生成用
于指示某点是否为空洞点的O-l矩阵，其大小与目标图像相同，它的每一个元素
表示了目标图像中对应点当前是否已被填充的状态，o表示该点是空洞点，l表 示该点不是空洞点。
如图1所示，在本实施例中，确定目标图像空洞点的8邻域像素集中，上 下左右四个点为填充点，其像素值用于填充该空洞点。图1中，"x"表示选取， "0"表示为空洞。图2是图l所示的填充点的选取方式下，处于图像边界处的 填充点的选取示意图，此时，0-1矩阵边界外的点补充为0。
在本实施例中，步骤(3)为根据0-l矩阵确定每个空洞点的填充点数， 即上下左右四个点中不是空洞点的个数；在目标图像中，对填充点中不是空洞 点的个数等于填充点数，即4的空洞点进行填充。填充后，在0-l矩阵中将该空
洞点所对应的元素置为l，表示不是空洞。
在本实施例中，步骤(4)为根据0-l矩阵确定每个空洞点的填充点中不
是空洞点的个数，在目标图像中，对填充点，即上下左右四个点中不是空洞点
的个数中大于或等于填充点数减l，即3的空洞点进行填充。填充后，在0-l矩 阵中将该空洞点所对应的元素置为1，表示不是空洞；根据0-l矩阵判断，若还
存在填充点中不是空洞点的个数大于或等于填充点数减l，即3的空洞点，则转 到步骤(3)，否则转步骤(5);
在本实施例中，步骤(5)为根据0-l矩阵确定每个空洞点的填充点中不
是空洞点的个数，在目标图像中，对填充点，即上下左右四个点中不是空洞点
的个数中大于或等于填充点数减2，即2的空洞点进行填充。填充后，在0-l矩 阵中将该空洞点所对应的元素置为1，表示不是空洞；根据0-l矩阵判断，若还 存在填充点中不是空洞点的个数大于或等于填充点数减l，即2的空洞点，则转 到步骤(3)，否则转步骤(6);
在本实施例中，步骤(6)为依据步骤(4) 、 (5)的方法，进一步减小
填充点中不是空洞点个数的判断数量，在本实施例中，为1。然后在目标图像中，
对填充点，即上下左右四个点中不是空洞点的个数中大于或等于填充点数减3， 即1的空洞点进行填充，在0-l矩阵中将该空洞点所对应的元素置为1，表示不 是空洞；然后，根据0-l矩阵判断，若还存在填充点中不是空洞点的个数大于或 等于判断数量，即1的空洞点，则转到步骤(3)，否则，停止。在本实施例中， 由于判断数量已经为1，不再重复步骤(6)。
本实施例中，只选取了空洞点上下左右四个点作为，这样计算量进一步减 小，并且空洞填充的像素值也比较接近真实值。
实施例2
在本实施例中，具体步骤同实施例l，但选择的填充点为空洞点的左上、左 下、右上、右下四个点。 实施例3
在本实施例中，本发明所述的空洞点的填充按以下公式进行
<formula>formula see original document page 7</formula>
其中，F(x，力表示目标图像中，坐标为(;c,力的空洞点的填充像素值，F(x+f, y+;')表示目标图像中，坐标为(x+z', y+力的填充点的像素值，"ow—/zo/e(x+/， y+力表 示0-1矩阵中坐标为(^+/，>;+/)的元素值。
在本实施例中，将目标图像中，坐标为(X,力的空洞点的8邻域像素集中所 有点都作为填充点，其像素值用于填充该空洞点。本实施例中，填充像素值为 不是空洞点的填充点的像素值的平均值，进一步保证了用于填充的像素值接近 真实值。
实施例4
在本实施例中，将目标图像中，坐标为(x,力的空洞点的8邻域像素集中的 上下左右四个点为填充点，其像素值用于填充该空洞点，具体填充按以下公式
进行<formula>formula see original document page 8</formula>
其中，F(x，力表示目标图像中，坐标为x, _y的空洞点的填充像素值，F(x+/， >;+/) 表示目标图像中，坐标为X+Z,JH;/的填充点的像素值，"ow—/20/<^+/,^+力表示0-1 矩阵中坐标为x+/， y+y的元素值，但在填充过程时<formula>formula see original document page 8</formula>)置为0。
尽管上面对本发明说明性的具体实施方式
进行了描述，但应当清楚，本发 明不限于具体实施方式
的范围，对本技术领域的普通技术人员来讲，只要各种 变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而 易见的， 一切利用本发明构思的发明创造均在保护之列。
权利要求
1、一种用于视图合成的空洞填充方法，包括以下步骤(1)、在视图合成过程中，得到含有空洞的目标图像的同时生成一个大小与目标图像相同，用于指示目标图像中某点是否为空洞的0-1矩阵，0表示是该点是空洞点，1表示该点不是空洞点；(2)、确定目标图像空洞点的8邻域像素集中，哪些点为填充点，其像素值用于填充该空洞点；(3)、根据0-1矩阵确定每个空洞点的填充点中不是空洞点的个数；在目标图像中，对填充点中不是空洞点的个数大于或等于填充点数的空洞点进行填充；填充后，在0-1矩阵中将该空洞点所对应的元素置为1，表示不是空洞；(4)、根据0-1矩阵确定每个空洞点的填充点中不是空洞点的个数，在目标图像中，对填充点中不是空洞点的个数大于或等于填充点数减1的空洞点进行填充；填充后，在0-1矩阵中将该空洞点所对应的元素置为1，表示不是空洞；根据0-1矩阵判断，若还存在填充点中不是空洞点的个数大于或等于填充点数减1的空洞点，则转到步骤(3)，否则转步骤(5)；(5)、根据0-1矩阵确定每个空洞点的填充点中不是空洞点的个数，在目标图像中，对填充点中不是空洞点的个数大于或等于填充点数减2的空洞点进行填充；填充后，在0-1矩阵中将该空洞点所对应的元素置为1，表示不是空洞；根据0-1矩阵判断，若还存在填充点中不是空洞点的个数大于或等于填充点数减2的空洞点，则转到步骤(3)，否则转步骤(6)；(6)、依据步骤(4)、(5)的方法，进一步减小填充点中不是空洞点个数的判断数量，然后进行判断并填充；填充后，在0-1矩阵中将该空洞点所对应的元素置为1，表示不是空洞；然后，根据0-1矩阵判断，若还存在填充点中不是空洞点的个数大于或等于判断数量的空洞点，则转到步骤(3)，否则重复步骤(6)，直至判断数量为1，并且不存在填充点中不是空洞点的个数大于或等于1的空洞点为止。
2、 根据权利要求l所述的用于视图合成的空洞填充方法，其特征在于，步 骤(2)中所述的填充点的确定是目标图像空洞点的8邻域像素集中，上下左右 四个点。
3、 根据权利要求l所述的用于视图合成的空洞填充方法，其特征在于，步 骤(2)中所述的填充点的确定是目标图像空洞点的8邻域像素集中，左上、左卜、右上、右下四个点。
4、 根据权利要求1所述的用于视图合成的空洞填充方法，其特征在于，.所述的空洞点的填充按以下公式进行<formula>formula see original document page 3</formula>其中，F(x,少)表示目标图像中，坐标为(x,力的空洞点的填充像素值， jF+;')表示目标图像中，坐标为(^+/，>;+力的填充点的像素值，"0"_/20/<:(:+/,>;+力表 示0-1矩阵中坐标为^+/,_>;+/)的元素值。
5、 根据权利要求2所述的用于视图合成的空涧填充方法，其特征在于，所 述的空洞点的填充按以下公式进行<formula>formula see original document page 3</formula>其中，F(x,力表示目标图像中，坐标为(x,力的空洞点的填充像素值，K(x+i, y+力表示目标图像中，坐标为(义+/，>;+/)的填充点的像素值，"o"—Ao/e(Jc+/,_y+/^ 示0-l矩阵中坐标为(jc+f，;;+力的元素值，但在填充过程时，"o"_/K /e(x+l,_y+l)、 "o"—/zo/e(x+l,_y-l)、 "o"—//0/^(^:-1,,1)、 wow_/ c /e(;c-l,y+l)置为0。
全文摘要
本发明公开了一种用于视图合成的空洞填充方法，该方法是一种插值相邻像素的方法，适用于视图合成之后剩余的较小的空洞的填充。本发明首先填充那些4邻域像素集中不空的像素大于等于本轮域值的空洞点；并且每填完一轮空洞点之后都重新搜索4邻域像素集中所有像素都不空的空洞点以开始下一轮填充，直到所有的空洞都被填充后停止，从而得到最终的合成视图。本发明的特点是利用视图合成过程中得到的0-1矩阵记录合成的视图中哪些点是空洞点，这样做的好处是可以准确辨别哪些像素是真正的空洞，节省了计算量。另外，本发明在每一轮的填充过程中总是先插值那些填充点中不空较多的空洞点，从而保证了用于填充的像素值接近真实值。
文档编号H04N5/262GK101388967SQ20081004631
公开日2009年3月18日 申请日期2008年10月20日 优先权日2008年10月20日
发明者然 刘, 张小云, 刚 杨 申请人:四川虹微技术有限公司