专利名称：结合破损块形状和邻域分类的唐卡图像修复方法
结合破损块形状和邻域分类的唐卡图像修复方法技术领域
结合破损块形状和破损块邻域分类的唐卡图像修复方法属于数字图像修复领域。
技术背景
所谓结合破损块形状和邻域分类的唐卡图像修复方法，就是计算机利用一种数字化仪对图像上信息缺损的部分，按照合理的规则，自动的用未破损区域的信息对原图中的损坏部分进行填充以达到良好视觉效果的技术。唐卡图像修复是一个实际应用问题，在文化遗产保护等方面具有重要的实际意义和理论价值。
数字图像修复技术是目前计算机视觉领域的研究热点，一个重要的应用是文化遗产、艺术品的虚拟修复。我国的唐卡作为一种活态文化和重要的非物质文化遗产，不仅是雪域高原上的绚丽奇葩，而且其厚重的历史意蕴、深邃的宗教思想、百科全书式的藏文化内涵，成为今天研究藏族历史、民族、民俗、宗教和绘画艺术等方面极其重要的实物资料，众多珍品独一无二。但历经沧桑，损毁严重，亟待抢救整理。毫无疑问，提高计算机对文化遗产、 艺术品及图像智能信息处理能力有极为重要的价值。目前国际上关于数字图像修复的技术主要有两类基于结构的修复方法和基于纹理的修复方法。基于结构的修复是通过信息的扩散对等照线进行由粗到精的估计，最终实现图像修复的过程。几种常见模型诸如 BSCB (BertaliuiO-Sapiro-Casel Ies-Bel lesterTV ( Total Variation) 模型和CDD (Curvature Driven Diffusions)模型等，这些模型对划痕、折痕等小尺度的破损有较好的修复效果，但是对纹理较强的破损区域却得不到好的修复，而且修复较大区域时容易引起模糊效应。另一类就是基于纹理的修复，该方法采用纹理合成技术填充丢失的信息，适合于较大块信息丢失的图像修复。基于纹理的修复又可以分为基于分解的图像修复和基于纹理合成的修复。基于分解的修复，其基本思想是先将待修复图像分解为结构部分和纹理部分，其中结构部分用基于结构的算法修复，而纹理部分用纹理合成技术修复， 最后合成两部分就可以得到修复完整的图像。该方法虽然能够同时修复图像的结构部分和纹理部分，但是由于其过程复杂、修复效率不高和图像分解易受噪声影响等缺陷，使得其应用并不太广泛。还有基于样本块的纹理修复技术，该方法首先从待修补区域的边缘上选取一个像素点，根据图像的纹理特征选取大小合适并以该点为中心的块，然后在待修补区域的周围寻找与之最相近的纹理匹配块来替代该块，对较大块的破损区域有一定的修复效果。总之，现有的图像修复方法都是面向具体对象的，每种算法都有一定的适用性和局限性。图像修复还没有统一的方法解决所有的破损图像修复问题。且唐卡图像的画面和破损情况都很复杂，目前还没有专门的用于唐卡图像的修复技术和实用的修复方法。发明内容
本发明的目的是解决破损唐卡的数字图像修复问题，提供一种适用于多种唐卡图像的结合破损块形状和破损块邻域分类的唐卡图像修复方法，该方法可以修复各类线状和块状，以及各类破损邻域的唐卡图像，修复各类破损形式如划痕、折痕和脱落等，修复速度快、效率高。
为了实现上述目的，本发明的技术方案是一种结合破损块形状和邻域分类的唐卡图像修复方法，其特征是根据破损块形状、破损块邻域的信息以及现有的修复算法特点等，自动选择合适的算法修复破损唐卡图像。主要包括第一，对破损块形状分类；首先使用现有的分水岭方法分割待修复图像，并对破损区域中各个破损块的形状分为线状和块状，实现破损块形状分类；第二，对破损块的邻域分类；采用灰度共生矩阵提取邻域块的二阶统计信息，通过灰度共生矩阵提取反应纹理的各种特征，并对特征进行高斯归一化，采用现有的K近邻法将邻域块分为纹理块和非纹理块，实现破损块邻域的分类；第三，对破损块修复；结合修复算法的特点、破损块的形状和破损块邻域的类型制定算法的选择规则，实现破损区域的自动修复，具体步骤如下a.对破损块形状分类通过分水岭分割方法和区域合并，将破损区域分割出来；其中分水岭图像分割分为排序过程和浸水过程。
a. 1分水岭图像分割分水岭图像分割分为两个步骤排序过程和浸水过程。
排序过程和浸水过程是在梯度图像上进行的，对梯度图像每个像素点的值按照由低到高的顺序排序，灰度值为h的像素点划分为一层，称h阶高度，其中h在0到255之间，具体过程分为以下4步a. 1.1计算原图像的梯度图像； a. 1. 2计算梯度图像的累积直方图；a. 1. 3根据累积直方图对梯度图像的像素值进行由低到高的排序； a. 1. 4从低到高实现浸水过程，对每一个局部极小值在h阶高度的影响域采用先进先出结构进行判断及标注。
a. 2区域合并排水和浸水过程形成了初始的分割区域，再将小区域合并到与其空间相邻颜色相近的区域，然后根据颜色信息和空间信息合并到颜色相近、空间相邻的区域； a. 2. 1小区域的合并a. 2. 1. 1将原图像从RGB空间转换到LUV空间；a. 2. 1. 2计算初始分割区域的LUV均值；a. 2. 1. 3获取各个分割区域的邻域；a. 2. 1. 4把小区域合并到与其空间相邻、颜色相近的区域；a. 2. 1. 5更新各个小区域的LUV均值和邻域信息，直至分割区域中不存在面积小于阈值吣的/」区域；a. 2.2颜色相近、空间相邻区域的合并a. 2. 2. 1在LUV空间计算每一个小区域与其邻域的平方误差；a. 2. 2. 2判断平方误差中是否存在小于阈值[的邻域，如果存在，则将当前小区域合并到平方误差最小的区域，并更新各个区域的LUV均值和邻域信息；否则不做任何操作； a. 2. 2. 3反复进行合并操作，直至没有可合并的区域；a. 3破损块形状分类 a. 3. 1获取破损块通过破损区域分割，就可以得到一幅图像的掩膜图像，其中破损区域每个像素点用1 表示，非破损区域每个像素点用0表示。通过区域生长来获取破损块，具体获取算法如下 a. 3. 1. 1沿扫描线方向扫描掩膜图像，初始化破损块标记= 2 ； a. 3. 1. 2若像素点的值为1，则该点入队列并将该点值更新为SlgW ； a. 3. 1.3弹出队列首元素，进行四邻域或八邻域区域生长，如果邻域像素点值为1，则入队列，同样将其值更新为S运《,否则不做处理，直到队列为空；a. 3. 1. 4 sign的值加1，重复a. 3. 1. 2、a. 3. 1. 3直到扫描完整幅图像为止； 通过上述过程得到了破损块标记的图像，即掩膜图像中像素值为1、像素值为2、…、像素值为k的像素点的集合为破损块。
a. 3. 2提取破损块形状特征a. 3. 2. 1统计沿水平扫描线方向破损块的最大连续宽度像素点的数量，获得破损块的最大宽度Mw ；a.3. 2. 2统计沿扫描线垂直方向破损块的最大连续高度像素点的数量，获得破损块的最大高度Mk ；破损块面积是破损块中破损像素点的数量。
a. 3.3破损块形状分类本发明采用线性分类器对破损块进行分类。线性分类器如式(1)所示，式(1) /(χ) = Hiin(MwfMA) - T式中Mw表示破损块的最大宽度，Aft表示破损块的最大高度，mm表示取Mw和Mfe两者中的较小的一个，了是非纹理结构的方法能够修复破损块的最大宽度；当时表示破损块为线状；当/(》2O时表示破损块为块状；b.破损块的邻域分类图像分割能将图像划分为互不相交的区域，如果要对破损块的邻域分类，就必须获取这些邻域的纹理信息。破损块邻域有下述状况破损块周围都是纹理区域；破损块周围都是非纹理区域；破损块周围是混合区域，也就是既有纹理区域又有非纹理区域。
b. 1破损块的邻域获取方法b. 1. 1获取分割后标记图像中破损块的外边缘标记，外边缘为非破损像素点，内边缘为破损像素点；b. 1. 2剔除重复的边缘标记，剩余的标记个数即破损块的邻域块数量； 剔除破损块标记的方法如下b. 1. 2. 1根据破损块标记图像的待修复破损块，找到分割图像的对应区域； b. 1. 2. 2统计分割图像对应区域的各个标记数量，找出数量最多的标记，数量最多的标记被默认为分割图像的破损块标记；b. 1. 2. 3判断该标记是否存在于破损块边缘标记中，如果存在于破损块边缘标记中， 则删除；否则不做任何处理。
b. 1.3以剩余标记为种子标记，使用区域生长法获取破损块在标记图像中的邻域块。
b. 2提取邻域块特征目前的图像修复算法分为纹理结构的修复算法和非纹理结构的修复算法。因此把破损块邻域分为纹理块和非纹理块，以选取相应的算法修复破损图像。
b. 2.1提取纹理特征使用灰度共生矩阵的方法提取图像的二阶统计信息，进而提取图像的纹理特征； b. 2. 1. 1灰度共生矩阵设/0.>')为一幅二维数字图像，灰度级别为Afg，则满足一定空间关系的灰度共生矩阵大小为，数学定义如式⑵所示，式⑵
权利要求
1. 一种结合破损块形状和邻域分类的唐卡图像修复方法，其特征是根据破损块形状、破损块邻域的信息以及现有的修复算法特点等，自动选择合适的算法修复破损唐卡图像；主要包括第一，对破损块形状分类；首先使用现有的分水岭方法分割待修复图像，并对破损区域中各个破损块的形状分为线状和块状，实现破损块形状分类；第二，对破损块的邻域分类；采用灰度共生矩阵提取邻域块的二阶统计信息，通过灰度共生矩阵提取反应纹理的各种特征，并对特征进行高斯归一化，采用现有的K近邻法将邻域块分为纹理块和非纹理块，实现破损块邻域的分类；第三，对破损块修复；结合修复算法的特点、破损块的形状和破损块邻域的类型制定算法的选择规则，实现破损区域的自动修复，具体步骤如下 a.对破损块形状分类通过分水岭分割方法和区域合并，将破损区域分割出来；其中分水岭图像分割分为排序过程和浸水过程；a. 1分水岭图像分割分水岭图像分割分为两个步骤排序过程和浸水过程；排序过程和浸水过程是在梯度图像上进行的，对梯度图像每个像素点的值按照由低到高的顺序排序，灰度值为h的像素点划分为一层，称h阶高度，其中h在0到255之间，具体过程分为以下四步a. 1.1计算原图像的梯度图像； a. 1. 2计算梯度图像的累积直方图；a. 1. 3根据累积直方图对梯度图像的像素值进行由低到高的排序； a. 1. 4从低到高实现浸水过程，对每一个局部极小值在h阶高度的影响域采用先进先出结构进行判断及标注； a. 2区域合并排水和浸水过程形成了初始的分割区域，再将小区域合并到与其空间相邻颜色相近的区域，然后根据颜色信息和空间信息合并到颜色相近、空间相邻的区域； a. 2. 1小区域的合并a. 2. 1. 1将原图像从RGB空间转换到LUV空间；a. 2. 1. 2计算初始分割区域的LUV均值；a. 2. 1. 3获取各个分割区域的邻域；a. 2. 1. 4把小区域合并到与其空间相邻、颜色相近的区域；a. 2. 1. 5更新各个小区域的LUV均值和邻域信息，直至分割区域中不存在面积小于阈值ζ的小区域；a. 2.2颜色相近、空间相邻区域的合并a. 2. 2. 1在LUV空间计算每一个小区域与其邻域的平方误差；a. 2. 2. 2判断平方误差中是否存在小于阈值T^的邻域，如果存在，则将当前小区域合并到平方误差最小的区域，并更新各个区域的LUV均值和邻域信息；否则不做任何操作； a. 2. 2. 3反复进行合并操作，直至没有可合并的区域； a. 3破损块形状分类 a. 3. 1获取破损块通过破损区域分割，就可以得到一幅图像的掩膜图像，其中破损区域每个像素点用1 表示，非破损区域每个像素点用0表示；通过区域生长来获取破损块，具体获取算法如下a. 3. 1. 1沿扫描线方向扫描掩膜图像，初始化破损块标记= 2 ；a. 3. 1. 2若像素点的值为1，则该点入队列并将该点值更新为J'igM ； a. 3. 1.3弹出队列首元素，进行四邻域或八邻域区域生长，如果邻域像素点值为1，则入队列，同样将其值更新为力炉 ，否则不做处理，直到队列为空；a. 3. 1. 4 _的值加1，重复a. 3. 1. 2、a. 3. 1. 3直到扫描完整幅图像为止；通过上述过程得到了破损块标记的图像，即掩膜图像中像素值为1、像素值为2、…、像素值为k的像素点的集合为破损块； a. 3. 2提取破损块形状特征a. 3. 2. 1统计沿水平扫描线方向破损块的最大连续宽度像素点的数量，获得破损块的最大宽度Mw ；a. 3. 2. 2统计沿扫描线垂直方向破损块的最大连续高度像素点的数量，获得破损块的最大高度Mf ；破损块面积是破损块中破损像素点的数量；a.3. 3破损块形状分类本发明采用线性分类器对破损块进行分类，线性分类器如式(1)所示，式(1)f(x) = niin(Mv3A#) — T式中表示破损块的最大宽度，表示破损块的最大高度，min表示取Aiw和ΑΛ两者中的较小的一个，Γ是非纹理结构的方法能够修复破损块的最大宽度；当/(Al+cO时表示破损块为线状；当时表示破损块为块状；b.破损块的邻域分类图像分割能将图像划分为互不相交的区域，如果要对破损块的邻域分类，就必须获取这些邻域的纹理信息，破损块邻域有下述状况破损块周围都是纹理区域；破损块周围都是非纹理区域；破损块周围是混合区域，也就是既有纹理区域又有非纹理区域； b. 1破损块的邻域获取方法b. 1. 1获取分割后标记图像中破损块的外边缘标记，外边缘为非破损像素点，内边缘为破损像素点；b. 1. 2剔除重复的边缘标记，剩余的标记个数即破损块的邻域块数量； 剔除破损块标记的方法如下b. 1. 2. 1根据破损块标记图像的待修复破损块，找到分割图像的对应区域； b. 1. 2. 2统计分割图像对应区域的各个标记数量，找出数量最多的标记，数量最多的标记被默认为分割图像的破损块标记；b. 1. 2. 3判断该标记是否存在于破损块边缘标记中，如果存在于破损块边缘标记中， 则删除；否则不做任何处理；b. 1. 3以剩余标记为种子标记，使用区域生长法获取破损块在标记图像中的邻域块；b. 2提取邻域块特征目前的图像修复算法分为纹理结构的修复算法和非纹理结构的修复算法；因此把破损块邻域分为纹理块和非纹理块，以选取相应的算法修复破损图像； b. 2. 1提取纹理特征使用灰度共生矩阵的方法提取图像的二阶统计信息，进而提取图像的纹理特征； b. 2. 1. 1灰度共生矩阵设/(U)为一幅二维数字图像，灰度级别为Afe，则满足一定空间关系的灰度共生矩阵大小为MgxMg，数学定义如式⑵所示，式⑵P . 'J) —Is其中，符号前加#号表示满足某种条件的像素点频数，Cx1,只)和Oc2，J2)分别表示像素点的空间坐标；符号e表示属于，S表示具有某种空间关系的像素对集合；1和』分别表示像素点的灰度值；把角二阶矩、对比度、相关性、熵和逆差矩作为纹理特性，具体计算方法如下 b. 2. 1. 2角二阶矩Ng-INg-I角二阶矩的计算如式⑶所示，式⑶F1 = i ^YdP2(Ij)‘反映了图像局i=0 J=OPi部均勻性，该值越大，表明纹理图像越均勻；否则表明图像有很多过渡灰度级； b. 2. 1. 3对比度Ng-I Ng-Wg-I对比度的计算如式⑷所示，式⑷F1 = Yn2 V YpdJ)；反映图像3=0 i=0 j=0F2的局部变化量，对于粗纹理的值较小；而对细纹理27的值较大；对于均勻图像"的值为0;b. 2. 1. 4相关性相关性的计算如式(5)所示，式(5) =2^ Z^-T^——-=0 ；=0σχσγ度共生矩阵中行和列之间相似程度的度量，反映灰度的线性依赖关系； b. 2. 1. 5 熵JVg-Wg-I熵的计算如式(6)所示，式(6) F4 = - V V /7( /; ;)lg p(ij)；反映纹理的复杂程度，越复杂其纹理熵越高，否则倾向于低熵； b. 2. 1. 6逆差矩Ng-Wg-I/ . a逆差矩的计算如式⑵所示，式(7) R- = y y ^厂。丄,；是灰度J 二台[l + (/ —J·)2] F5共生矩阵对比度的逆，测量图像的局部一致性；如果图像接近均勻，逆差矩趋向于1 ；分别计算四个方向0度、45度、90度和135度上灰度共生矩阵的上述角二阶矩、对比度、相关性、熵和逆差矩五个纹理特性度量值，然后取其期望和方差作为最终特征值； b. 3特征归一化特征归一化按高斯归一化公式如式(8)所示uFij — uFj + ι式(8):、" .；它能够将特征归一化到区间；NiU^) =---、^JJοHZltFij(0’1)b.4破损块邻域分类以邻域块的特征提取为基础，进行破损块邻域分类；本发明采用K近邻法对邻域进行分类；设有M个训练样本，其中N1个属于纹理,类，^T2个属于非纹理￡1 类；现有一个未知类别的样本X，要判断它所属的类别；用K近邻法就是计算该样本特征与M个训练样本特征之间的距离，并将距离从小到大排序，然后取其中较小的K个，K为奇数，最后根据这K个训练样本的类别标记进行投票，得到未知样本的类别标记；投票方法是如果这K个训练样本中类的数量多则X属于CO1, @类的数量多则属于战取尤二9 ；c.修复破损块 c. 1建立算法库将现有的基于样本块的图像修复算法命为算法1，基于样本的纹理合成算法命为算法2，Oliveira模型表示的算法命为算法3，CDD模型或TV模型的算法命为算法4，将4 个算法作为破损块的修复算法序列；c. 2根据破损块形状和破损块分类选择算法并进行修复 c. 2. 1根据破数块邻域的破损块分类同质非纹理破损块的定义如果破损块的邻域块只有1个且为非纹理邻域块，则破损块中不存在边缘，称这种破损类型为同质非纹理破损；异质非纹理破损块的定义如果破损块的邻域块多于1个，且都为非纹理邻域块，则破损块中存在边缘，称这种破损类型为异质非纹理破损；混合型破损块的定义如果破损块的邻域块多于1个，且同时存在非纹理块和纹理破损块，则破损块中存在边缘，称这种破损类型为混合型破损；同质纹理破损块的定义如果破损块的邻域块只有1个且为纹理块，则破损块中不存在边缘，称这种破损类型为同质纹理破损；异质纹理破损块的定义如果破损块的邻域块多于1个，且都为纹理块，则破损块中存在边缘，称这种破损类型为异质纹理破损； c. 2. 2算法选择与修复根据破损块数量重复进行以下步骤 c. 2. 2. 1破损块为线状若破损块邻域为异质纹理破损或混合性破损，选择算法1进行修复；若破损块邻域为同质纹理破损，选择算法2进行修复；若破损块邻域为同质非纹理破损，选择算法3进行修复；若破损块邻域为异质非纹理破损，选择算法4进行修复； c. 2. 2. 2破损块为块状若破损块邻域为异质纹理破损、混合性破损或异质非纹理破损，选择算法1进行修复； 若破损块邻域为同质纹理破损或同质非纹理破损，选择算法2进行修复； 当标记破损块数量的数值小于或者等于零时，整个修复过程结束。
全文摘要
结合破损块形状和邻域分类的唐卡图像修复方法，根据破损块形状、破损块邻域的信息以及现有的修复算法特点等，自动选择合适的算法修复破损唐卡图像。主要包括首先使用分水岭方法分割待修复图像，对破损区域中各个破损块的形状分为线状和块状，实现破损块形状分类；采用灰度共生矩阵提取邻域块的二阶统计信息，通过灰度共生矩阵提取反应纹理的各种特征，并对特征进行高斯归一化，采用现有的K近邻法将邻域块分为纹理块和非纹理块，实现破损块邻域的分类；结合修复算法的特点、破损块的形状和破损块邻域的类型制定算法的选择规则，实现破损区域的自动修复。本发明适用于修复各类线状、块状，以及各类破损邻域的唐卡数字图像，修复速度快、效率高。
文档编号G06T11/00GK102509319SQ201110320658
公开日2012年6月20日 申请日期2011年10月20日 优先权日2011年10月20日
发明者卢小宝, 王维兰, 胡文瑾 申请人:西北民族大学