专利名称：一种综合结构信息的图像补全方法
技术领域：
本发明属于图像修复技术领域，涉及一种综合结构信息的图像补全方法。
背景技术：
本发明中涉及到的背景技术有(1)TV图像修复算法基于整体变分法的图像修复模型最早是由Chan&Shen基于 变分原理建立的，称为TV模型，它是最好的基于偏微分方程保留结构信息的模型之一，即 利用物理学中的扩散方程将已知区域的信息传播到待修补区域中。TV图像修复算法对小尺 度破损有比较好的效果，能够有效地保留其结构信息。但是如果待修复区域面积较大则会 产生明显的模糊，不太符合人们的视觉感观。(2)基于纹理合成的图像补全算法CriminiSi提出了基于块的纹理合成的图像 补全算法来解决从图像中移除大面积物体的问题。利用该算法，可以用一种视觉上合理的 方式填充物体移除的区域。该算法有效地综合了基于样本的纹理合成技术及小尺度图像修 复技术的优势。这个算法提出了可信度的概念，它类似于小尺度图像修复技术中的信息传 播方式。该算法虽然消除了以前算法中的模糊效应，但是却容易造成匹配错误，因此对于结 构信息丰富的缺损图像，修复效果不佳。
发明内容
本发明的目的在于克服现有技术的上述不足，提供一种更高效的图像补全方法。 不需要人为干预达到了同时保留结构信息和纹理信息的效果。为此，本发明采用如下的技术方案一种综合结构信息的图像补全方法，包括下列 步骤1.确定图像的目标区域，读入已经标记过待修复的目标区域的图像。根据颜色值 判断出目标区域，得出掩模图像，用一个逻辑矩阵表示，其中矩阵中元素值为1表示该像素 点需要修复；元素值为0表示为已知像素。然后将该逻辑矩阵与拉普拉斯算子做卷积，找出 此目标区域的边界。
Y -C(q)2.计算节点自身的成本能量，Ei(xi) =C(i) .d(Xi,小)其中，=^，
表示节点可信度，而当与已知区域交叠时，d(Xi，表示块\与已知区域的匹配度，它用重 叠区域的像素间颜色值的差异平方和即SSD来衡量。3.计算节点的关联性能量函数，E2 (Xi, Xj)=入忑2乂\，Xj) + X2E2s(Xi， Xj)，E2t(Xi，Xj) = d(Xi, Xj)，其中，d(Xi，Xj)表示相邻块Xi和X」重叠区域的SSD。
E2s(x,,x;) = ^(xt,Xj) + dl(xt,x;)，其中 dgx(Xi，Xj)和 dgy(Xi，Xj)分别表示相邻块&和\在
X和Y方向的梯度差。4.确定整体目标函数五⑷二刀爲仏).S五。
ViGv
5.初始化相邻节点间的消息值，并作更新。将贝叶斯网络结构图G中任意两个节 点Iii和~间的消息初始为0，即= 0更新节点间的信息值。每次迭代时，对于解Xi来说，
从叫传播到1!」的信息的计算公式为
其
中N(j)\i表示Ilj的非叫领域集。Hlpit(Xi)表示Ilj节点对Xi为Ili的信任度。在T次迭代 后，匹配块为Xi的节点Hi的信度计算公式为 6.计算节点的最优解，找到使h (Xi)最小化的 < 就是节点Iii的最佳匹配块。即 本发明是在传统的基于纹理合成的图像补全算法和TV图像修复算法的基础之 上，提出了综合结构信息的图像补全算法，极大地改善了图像补全的效果。该发明的基本思 想是是针对图像特征提出相应的能量目标函数，然后用信度传播算法将其最优化，将选择 出来的最匹配块复制到缺损区域得出修复后的图像。本文提出了新的能量函数，它包括了 结构能量、纹理能量以及相关性能量。正是由于新的能量函数综合了结构和纹理信息，使得 该发明弥补了两类经典算法的不足，使得既能保留结构信息又能避免模糊效应，并从理论 和实验两方面证明了本发明的优越性。
图1基于综合结构信息的图像补全方法总体流程图。图2选取目标。图3待修补的初始图像。图4已标记出需要移除物体的图像。图5(a)、(b)、(c)分别为用TV图像修复算法修复的结果图、Criminisi方法的结 果图、本发明提出的综合结构信息的图像补全算法结果图。
具体实施例方式本发明提出了基于结构信息的块缺失图像修复算法框架，该算法利用贝叶斯网络 理论将适用于修复结构信息的TV算法和适用于修复纹理信息的纹理合成算法结合，它的 实质是针对图像特征提出相应的能量目标函数，然后将其最优化，然后将选择出来的最匹 配纹理块复制到缺损区域，得出修复后的图像。此发明不需要人为干预达到了同时保留结 构信息和纹理信息的效果。本发明是基于综合结构信息的图像补全方法，图1为总体流程图，具体包括以下 步骤1.确定图像的目标区域。如图4所示，读入已经颜色标记过待修复的目标区域的图像。根据颜色值判断出 目标区域，得出掩模图像，用一个逻辑矩阵表示，其中矩阵中元素值为1表示该像素点需要 修复；元素值为0表示为已知像素。然后将该逻辑矩阵与拉普拉斯算子做卷积，找出此目标 区域的边界。判断边界值，如果为非0，表示还有需要修复的像素，则往下执行；若为0，表示修复完成，退出。2.计算节点自身的成本能量设I表示整张图像，Ω是目标区域(即待补全区域)。和纹理合成技术一样，需要 先确定样本窗口 Ψ的大小，默认值为9X9像素。图2显示匹配能量函数的算法图。为了 定义算法中的节点，图像晶格由水平空间像素gapx和竖直空间像素gapy组成。已知观测标 签是由已经区域Φ的所有wXh块组成的，记为X= Ix1, x2，.··&}。而# =卜；^表示目标 区域中N个像素块，即为节点。按照公式(1)计算图2目标区域中每个节点自身的成本能量，即节点的修复成本。 其中，C(i)表示节点可信度，它的计算公式为(2)，目标区域越外层的像素点含有的C(i)值 越大，即需要越早填充；而在目标区域的中心的像素点的c(i)值更小。公式中ι Wi ι是块
Ψ 的面积。
而当与已知区域交叠时，d(Xi，Φ)表示块Xi与已知区域的匹配度，它用重叠区域 的像素间颜色值的差异平方和即SSD来衡量。当Xi与已知区域间没有重叠时，E1 (Xi) =0。 如图2所示，E1 (Xi)则是P块放到Xi位置上时区域1 (红线标记)的SSD值。3.计算节点的关联性能量函数如公示(3)，E2 (Xi，Xj)表示(Xi，Xj)的一致性成本。其中，E2tUi, Xj)表示图像中 相邻块的纹理一致性成本，E23 (xi; Xj)表示相邻块的结构一致性成本。λ工和λ 2为平衡纹 理成本和结构成本的权重系数。当目标区域中含有较显著的结构信息时，λ2则较大；当目 标区域中纹理信息比较丰富时，入工则较大。E2 (Xi，Xj) = λ 忑彳(Xi，Xj) + λ 2E2s (Xi，Xj)(3)E2tOci, Xj)定义为 其中，d(Xi，Xj)表示相邻块Xi和Xj重叠区域的SSD。如图2所示=E2tO^xj)是将 任意已知区域中的块P和P'分别放到Xi和\时，重叠部分即绿色标记区域的SSD值。E2s(Xi，Xj)定义为 其中dgx(Xi，Xj)和dgy(Xi，Xj)分别表示相邻块Xi和Xj在X和Y方向的梯度差。4.确定整体目标函数。整体目标函数定义为(6)。整体目标函数代表了整幅图像中的整体信息，例如结 构、纹理、整体一致性等。整体目标函数是目标区域所有节点的能量和。本算法中，节点的 能量函数包括自身的成本能量E1和与领域节点的关联性能量函数E2。整体目标函数的确 定是整个算法的关键，它关系到修复过程中整体信息是否能有效地保留。 其中，E1 (Xi)表示节点的修复成本，E2 (xi; Xj)表示(Xi，Xj)的一致性成本。
5.初始化相邻节点间的消息值，并作更新。将贝叶斯网络结构图G中任意两个节点Iii和η」间的消息初始为0，即M〗=0更新 节点间的信息值每次迭代时，对于解Xi来说，从Iii传播到Iij的信息的计算公式为 其中N(j)\i表示Iij的非叫领域集。Hij^t(Xi)表示η」节点对Xi为Iii的信任度。 在T次迭代后，匹配块为Xi的节点Iii的信度计算公式为( 6.计算节点的最优解。找到使I3i (Xi)最小化的Xi*就是节点Iii的最佳匹配块。即 图3是原图像，图4为已标记出需要移除物体的图像，图5(a)、(b)、(c)分别为用 TV图像修复算法修复的结果图、Criminisi方法的结果图、本发明提出的综合结构信息的 图像补全算法结果图。对三幅图的差异用红色矩形进行标记，可以看出(a)图中出现大面 积的模糊；(b)图中出现了比较严重的匹配错误，已标记红色矩形中的屋顶连线并不连续； (d)图明显地弥补了前两幅图中的缺陷。两个矩形中屋顶的颜色很完整，而且湖面补全效果 很好。
权利要求
一种综合结构信息的图像补全方法，包括下列步骤(1)确定图像的目标区域读入被标记的图像，根据颜色值判断出目标区域，得出掩模图像，用一个逻辑矩阵表示，其中矩阵中元素值为1表示该像素点需要修复；元素值为0表示为已知像素，然后将该逻辑矩阵与拉普拉斯算子做卷积，找出此目标区域的边界；(2)计算节点自身的成本能量，E1(xi)＝C(i)d(xi，φ)其中，表示节点可信度，而当与已知区域交叠时，d(xi，φ)表示块xi与已知区域的匹配度，它用重叠区域的像素间颜色值的差异平方和即SSD来衡量；(3)计算节点的关联性能量函数E2(xi，xj)＝λ1E2t(xi，xj)+λ2E2s(xi，xj)，E2t(xi，xj)＝d(xi，xj)，其中，d(xi，xj)表示相邻块xi和xj重叠区域的SSD；其中，dgx(xi，xj)和dgy(xi，xj)分别表示相邻块xi和xj在X和Y方向的梯度差；(4)确定整体目标函数(5)始化相邻节点间的消息值，并作更新将贝叶斯网络结构图G中任意两个节点ni和nj间的消息初始为0，即更新节点间的信息值，每次迭代时，对于解xi来说，从ni传播到nj的信息的计算公式为其中，N(j)\i表示nj的非ni领域集；表示nj节点对xi为ni的信任度；在T次迭代后，匹配块为xi的节点ni的信度计算公式为(6)计算节点的最优解，找到使bi(xi)最小化的xi*就是节点ni的最佳匹配块，即 <mrow><msubsup> <mi>x</mi> <mi>i</mi> <mo>*</mo></msubsup><mo>=</mo><mi>arg</mi><munder> <mi>min</mi> <msub><mi>x</mi><mi>i</mi> </msub></munder><mo>{</mo><msub> <mi>E</mi> <mn>1</mn></msub><mrow> <mo>(</mo> <msub><mi>x</mi><mi>i</mi> </msub> <mo>+</mo> <munder><mi>Σ</mi><mrow> <mi>j</mi> <mo>∈</mo> <mi>N</mi> <mrow><mo>(</mo><mi>i</mi><mo>)</mo> </mrow></mrow> </munder> <msubsup><mi>m</mi><mrow> <mi>j</mi> <mo>-</mo> <mo>></mo> <mi>i</mi></mrow><mi>T</mi> </msubsup> <mo>)</mo></mrow><mo>.</mo> </mrow>FDA0000020767800000011.tif,FDA0000020767800000014.tif,FDA0000020767800000015.tif,FDA0000020767800000016.tif,FDA0000020767800000017.tif,FDA0000020767800000018.tif,FDA0000020767800000019.tif
全文摘要
本发明属于图像修复技术领域，涉及一种综合结构信息的图像补全方法，包括下列步骤，对于一副图像，确定修复边界区域；计算节点自身的成本能量；计算节点的关联性能量；确定整体目标函数；初始化相邻节点间的消息值，并作更新；计算节点的最优解。本发明不需要人为干预达到了同时保留结构信息和纹理信息的效果，极大地改善了图像补全的效果。
文档编号G06T5/00GK101847255SQ20101015223
公开日2010年9月29日 申请日期2010年4月21日 优先权日2010年4月21日
发明者孙迪, 宋芸芸, 张加万, 张怡 申请人:天津大学