一种规则碎纸自动拼接方法
【专利摘要】本发明属于图像处理技术，具体涉及一种规则碎纸自动拼接的方法。本发明的技术方案通过六步来实现：(1)准备图像数据集并进行预处理；(2)对碎纸按中英文、单双面进行分类；(3)提取每幅图像的局部区域特征，如碎纸片边界像素点的位置和灰度值、上(下)边界高度；对英文碎纸片特征的提取范围进行扩大，附加特征包括：英文碎纸片的行高、英文岁纸片的水平位置、英文碎纸片的行间距；(4)依据步骤(3)提取的特征值，对碎片进行再分类；(5)对碎片进行局部匹配，行匹配和列匹配；(6)将匹配好的图像进行还原。本发明提供的方法能够更加准确地对大量碎纸进行拼接。
【专利说明】一种规则碎纸自动拼接方法
【技术领域】
[0001]本发明属于图像处理技术的应用领域，具体涉及一种规则碎纸自动拼接方法。
【背景技术】
[0002]碎纸拼接技术是数字图像处理技术的一个重要研究分支，它是将一组相互间存在重叠部分的碎纸进行空间匹配对准，从而进行无缝拼接得到完整的、宽视角场景的图像。
[0003]碎纸自动拼接复原技术在司法物证复原、历史文献修复以及军事情报获取等领域都有着重要的应用。近年来，随着德国斯塔西文件恢复工程的公布，碎纸文件复原技术的研究引起了广泛的关注。
[0004]碎纸拼接必须完成的关键是碎片的匹配技术。传统破碎文件的拼接，更多的是使用碎片的边缘形状提取其轮廓曲线并利用计算机算法进行拼接。现如今随着碎纸机的广泛应用，越来越多的破碎纸片拼接问题中，碎纸的边缘形状都大致相同，边缘形状拼接不再适用。对于规则形状的碎纸，则是根据纸片边缘所包含的文字内容，通过图像配准运算确定碎纸边界的参数，对碎片进行匹配，最终实现无缝拼接。但是在实际应用当中，待拼接的纸片数量越大，具有相似文字信息的纸片边缘数量也就越大，且相似程度越高。而计算机扫描形成数字图像的分辨率具有一定的局限性，因此在拼接过程中，会出现一定量的错误拼接。理想的拼接技术所要达到的效果便是“零错误”。就现有的技术现状来看，现有的碎纸拼接方法大都针对于非规则形状，能够有效应用于大型宽幅规则纸片拼接的方法较为少见。
[0005]提高碎纸自动拼接质量的技术关键在于如何高质量地获取碎纸上的文字或图像信息。一般来说，碎片上的信息量越小，拼接错误甚至是无法拼接的几率越大。因此迄今为止，在该【技术领域】对碎纸图像进行自动拼接过程希望能够得到最终高质量的宽幅碎纸拼接存在纸较大的技术难度。
【发明内容】
[0006]本发明的目的是提供一种规则碎纸自动拼接的方法，能够更加准确地对大量碎纸片进行拼接。
[0007]本发明是通过以下技术方案实现的，主要包括以下六个步骤:
[0008]1.图像数据集的准备和预处理的具体步骤包括:
[0009]1.1将碎纸片从左到右、从上到下依次编号，记为1，2，3...η;若需要区分正反面，则正面记为al, a2, a3...an ;反面记为bl, b2, b3...bn ;
[0010]1.2将图像数字化，以像素点作为最小单位，并提取各像素点的灰度值和所在位置，建立函数矩阵；
[0011]1.3将图像进行值化:灰度值为“O”的点为黑色点，灰度值为“255”的点为白色点，“O”与“255”之间的为灰色点；
[0012]1.4去噪点:由于原始信息都是连续的模拟信号，数字化处理过后的图像也应该是一个具有连续趋势的间断点图像。针对同一颜色点完全包围异色点的情况，将异色点的颜色同化成周围点的颜色；
[0013]2.对碎纸整体进行分类，按中英文、单双面分为4种情况:中文单面、中文双面、英文单面、英文双面；
[0014]3.分别提取出每幅图像局部区域的特征，这些特征包括:碎纸片边界像素点的位置和灰度值、上(下)边界高度；对英文碎纸片特征的提取范围进行扩大，附加特征包括:英文碎纸片的行高、英文碎纸片的水平位置、英文碎纸片的行间距；
[0015]特征提取的方法具体如下:
[0016]i)碎纸片最外层的像素点的位置和灰度值:
[0017]定义碎纸片最左(右)端一列像素点为左(右)边界，最顶(底)端一行像素点为上(下)边界，提取各边界像素点的位置和灰度值；
[0018]ii)上(下)边界高度:
[0019]根据每一张碎片的上下边界是否完全白色分为白色边界高度和黑色边界高度两大类。具体分类方法如下:
[0020]以碎片的最底端为X轴，以碎片左边垂直于X轴向上为y轴，X轴与y轴的相交点为原点建立坐标系，将图片上各个像素点向y轴作投影。如图1所示。一个黑色或灰色点的投影记为一次有效投影，投影次数加1，而白色点的投影无效，投影次数不改变。记录与原点之间的距离为h个像素点的投影点上的投影次数f(h)。
【权利要求】
1.一种规则碎纸自动拼接的方法，其特征在于:该方法主要包括以下六个步骤: (1)图像数据集的准备和预处理，包括对碎纸进行编号、图像数字化、图像值化、去噪占.(2)对碎纸整体进行分类，按中英文、单双面分为4种情况:中文单面、中文双面、英文单面、英文双面； (3)分别提取出每幅图像局部区域的特征，对中文这些特征包括:碎纸片边界像素点的位置和灰度值、上下边界高度；对英文碎纸片特征的提取范围进行扩大，附加特征还包括:英文碎纸片的行高、英文碎纸片的水平位置、英文碎纸片的行间距； (4)依据步骤3所提取的特征集，对碎片进行分类:首先分为上下边界碎片、左右边界碎片、中间碎片三类；再依据行间距特征、上下边界高度、水平位置特征，将具有相同特征的碎片分为一类； (5)a:依据边界跟踪算法对碎片进行局部匹配，确定碎片边界特征的匹配指数；b:将步骤a获得的符合匹配条件的碎纸片，利用边界跟踪算法进行行匹配和列匹配； (6)将步骤5匹配之后的图像进行还原。
2.根据权利要求1所述的一张规则碎纸自动拼接的方法，其特征在于:步骤(I)所述的编号方法为:将碎纸片从左到右、从上到下依次编号，记为1，2，3...η;若需要区分正反面，贝1J正面记为al, a2, a3...an ;反面记为bl, b2, b3...bn ;步骤⑴所述的图像数字化是指:以像素点作为最小单位，并提取各像素点的灰度值和所在位置，建立函数矩阵；步骤⑴所述的图像值化是指:灰度值为“O”的点为黑色点，灰度值为“255”的点为白色点，“O”与“255”之间的为灰色点；步骤⑴所述的去噪点是指:针对同一颜色点完全包围异色点，将异色点的颜色同化成周围点的颜色。
3.根据权利要求1所述的一张规则碎纸自动拼接的方法，其特征在于:步骤(3)所述的碎纸片边界像素点的位置和灰度值特征及提取方法为:定义碎纸片最左或最右端一列像素点为左或右边界，最顶或最底端一行像素点为上下边界，提取各边界像素点的位置和灰度值； 步骤(3)所述的上下边界高度特征及提取方法为:根据每一张碎片的上下边界是否完全白色分为白色边界高度和黑色边界高度两大类；具体分类方法如下: 以碎片的最底端为X轴，以碎片左边垂直于X轴向上为y轴，X轴与y轴的相交点为原点建立坐标系，将图片上各个像素点向y轴作横向投影；一个黑色或灰色点的投影记为有效投影，投影次数加1，而白色点的投影无效，投影次数不改变；记录距离原点为h个像素点的投影点上的投影次数f(h)；
。,烟
255,/(//) > 当投影次数f(h)小于该行总像素点数η的1/10时，将y轴上点h的灰度值g(h)记为“O”;当投影次数f(h)大于或等于该行总像素点数η的1/10时，将点h的灰度值g(h)记为“255”； 在投影轴上，从碎片的上边界依次向下进行统计，直至出现颜色不同的点；这一段高度即为上边界高度，下边界高度亦然； 步骤(3)所述的英文碎纸片的行高特征及提取方法为:英文字母的高度以及在同一行中所占的位置高度大致相同，因此，对英文碎片进行横向投影后，灰度值为“I”的区间即是字母有效区间，定义有效区间的闻度为行闻，提取行闻; 步骤(3)所述的英文碎片的水平位置特征及提取方法为:对英文碎片进行横向投影后，字母的有效投影区间的上下边界，距碎纸片顶部的距离称为该行字母的所在水平位置，提取水平位置特征； 步骤(3)所述的英文碎纸片的行间距特征及提取方法为:两水平位置的垂直距离定义为行间距，提取行间距特征。
4.根据权利要求1所述的一张规则碎纸自动拼接的方法，其特征在于:步骤(4)所述的依据步骤3所提取的特征集，对碎片进行分类:具体步骤为: i)根据纸片边界是否有文字笔画信息，将碎纸分为三类:上下边界碎片、左右边界碎片和中间碎片； ?)依据行间距特征，分别对上述三类碎纸片进一步分类，相同行间距分为一类； iii)依据上下边界高度，对步骤i所形成的三类碎片集进行分类，上下边界高度相同或相近的碎片划分为同一碎片集； iv)利用水平位置特征，对步骤ii所形成的各个碎片集进一步分类，处于同一水平位置的碎片划分为一类。
5.根据权利要求1或4所述的一张规则碎纸自动拼接的方法，其特征在于:所述的步骤iii)中划分类别是需要遵守的条件为: (1)每一类的碎片数量必须等于或略小于纸张的纵切次数； (2)与其他高度相间隔的类别，若数量小于各类别碎片数量的1/5，则不独立为一个类别； (3)高度相互连续的几个类别归为同一类； (4)最终的类别总数为纸张的横切次数； (5)若还是无法确定类别，则再根据底部高度进行辅助判断。
6.根据权利要求1所述的一张规则碎纸自动拼接的方法，其特征在于:步骤(5)所述的对碎片进行匹配的步骤包括: a、依据边界跟踪算法对碎片进行局部匹配，即是两碎片之间的匹配，确定碎片边界特征的匹配指数； b、将步骤a获得的符合匹配条件的碎纸片，形成各个小的碎片集，利用边界跟踪算法对碎片集进行行匹配和列匹配。
7.根据权利要求6所述的一张规则碎纸自动拼接的方法，其特征在于:步骤a所述的局部匹配的判定标准为:定义Xu为第i张碎片右边界上第j行像素点的灰度值，定义Yi, j为第r张碎片左边界上第j行像素点的灰度值α古y );判定匹配与否的关键在于Xij和Yi, j之间的匹配程度，将步骤3提取的特征集，以右边界特征为基准，定义判定标准为: XijS白色，Yi, Yi,」、Yi, j+1出现灰白黑三色且不全为黑为正常，可进行匹配； XijS灰色，Yi, W、Yi, j、Yi, j+1出现任意色均为正常，可进行匹配； Xij为黑色，Yi, J-1> Y1- j> Y1- j+1不全为白色为正常，可进行匹配； 其余情况为不正常，不可进行匹配；Xij与Yi, j-1、Yi, j、Yi, j+i的关系如表一所不； 其中=Xij:第i张纸条的最左边一列的第j行像素点的灰度值； Yi, ^第i'张纸条的最右边一列的第j行像素点的灰度值。
8.根据权利要求7所述的一种规则碎纸自动拼接方法，其特征在于:根据所述的局部匹配的判定标准，确定图像匹配指数的数学模型，具体为:
其中: Sii,:第i张碎片与第i'张碎片总的匹配指数； N:碎纸片垂直高度上像素点的总数； Xij:碎片i右边界j行像素点的灰度值； Ti, (Xij):判断第i张碎纸第j行的右边界特征与对应行的第y张纸条的左边界特征的的数据的匹配指数； 该匹配指数具体表示为:
其中：
当且仅当Sii,指数为O时，两碎片才视为可匹配；若不为O则不能进行匹配，且数值越大，匹配程度越差。
9.根据权利要求6所述的一张规则碎纸自动拼接的方法，其特征在于:步骤a所述的边界跟踪算法具体流程如下: 1)选取碎片i和P； 2)假设碎片i和P相互匹配； 3)读取碎片i右边界j行像素点Xu的灰度值； 4)扫面碎片i'左边界与Xij相邻的j_l、j、j+Ι行的像素点Yi,」、Yi, (j+1)的，判断其是否全为白色； 5)若全为白色，且超出行范围，则j+Ι后返回3)； 6)若不全为白色，则j+Ι读取下一行，判断Xu是否为白色； 7)若为白色，则返回5)； 8)若不为白色，则判断Yi,j、Yi;(」+1)是否全为白色； 9)若全为白色，则返回5)； 10)若不为白色，则j+Ι读取下一行，判断Xu的颜色； 11)若为白色，则返回5)； 12)若为灰色，则返回5)； 13)若为黑色，则判断Yi,(」+1)是否全为白色； 14)若不为白色，则返回5)； 15)若全为白色，则碎片UPi'匹配过程结束，碎片i和i'不匹配；16)若j+1超出行范围，则碎片i和i'匹配过程结束，碎片i和P匹配。
10.根据权利要求6所述的一张规则碎纸自动拼接的方法，其特征在于:步骤b所述的进行行匹配和列匹配的具体过程为: (1)行匹配的具体过程: i)以其中一张碎片为基准，若两碎片的局部匹配成功，则将两碎片合并为一张碎纸片，放入新的碎片集；若局部匹配未成功，则保留基准碎片，继续局部匹配；原碎片集中的碎片均无法成功局部匹配时，均放入新碎片集； ?)新的碎片按照上述步骤重复进行，直至所有碎纸片拼接成整行； (2)根据上述过程，确定图像行匹配指数的数学模型，具体为: 目标函数:
约束条件:
其中，a为Sii,的个数； W的最小值为O ; M为碎纸片横向切割的次数； (3)将通过行匹配的碎片集形成碎片行，对碎片行矩阵进行转置，再进行列匹配，列匹配的具体过程与行匹配相同。
【文档编号】G06T7/00GK104182966SQ201410340616
【公开日】2014年12月3日 申请日期:2014年7月16日 优先权日:2014年7月16日
【发明者】段倩, 金鑫, 浦志强, 李医民, 朱峰 申请人:江苏大学