接：
[0061] 其中，4?表示在Si上侧的A图像，5s:表示在S2上侧的B图像，I表示最终拼接出 的图像；
[0062] 当内容重合度小于选定的阈值时，则需要在第二幅子图像上，寻找新的拼缝\，使 之与Si在内容上一致。具体方法可通过提取窗口内的特征进行匹配，得到两幅子图像在区 域P内的变换关系，利用此变换关系，可以找到与Si对应的拼缝S2。这时，可将位于A在Si 外侧的图像部分经坐标变换，使之与B在S2外侧的图像部分相交，即可完成当前局部区域 内的图像拼接：
[0064]其中，表示经T变换后的為$图像，％4 ,I意义同式（3);
[0065] 按上述两步骤遍历完最优拼缝，即可完成整体图像拼接。图4中显示了 51与52的 示意图。Si在某些区域需要扩展SS2，其余部分二者重合。
[0066] 本发明所提出的基于全局信息及局部对准的图像无缝拼接方法与基于全局信息 和局部对准的方法分别进行了比较。其中，基于全局信息的方法采用类似Kwatra的方法实 现，而基于局部对准的方法采用类似Fan的方法实现。评价是否拼接成功的准则如下：
[0067] 不出现图像内容错位或缺失；
[0068] 不出现较大图像内容变形，如直线变形，或字体变化较大；
[0069] 不出现图像内容重影及明显拼缝痕迹；
[0070] 基于上述标准，对采集的部分古籍文献进行了评价，附图5中是其中一例。附图5 中第一行图像为基于全局信息的拼接结果，横向曲线表示全局最优拼缝。可见直接将子图 像拼接起来，会导致出现图像内容错位，造成拼接错误。第二行图像为基于局部对准的拼接 结果，可见仅基于局部，会导致原本的直线变为曲线，影响电子化后的阅读，第三行图像为 本发明基于全局信息及局部对准的拼接结果。
[0071]由此可以总结出，基于全局信息的拼接方法在图像局部变形较大的情况下可能会 丢失图像信息，基于局部对准的拼接方法在局部纹理较少的情况下可能会造成图像局部拼 接错误，而本发明的方法综合考虑了两种情况，提出了一种稳定的处理策略，在拼接结果上 显示出较高的准确度。因此，本发明提出的方法可以在图像具有局部变形条件下实现图像 无缝拼接，在古籍的电子化保存和古文献的保护方面具有重要应用价值。
【主权项】
1. 一种融合全局信息及局部配准的古籍图像拼接方法，其特征在于：包括W下步骤： 步骤1、采集两幅子图像，建立多阶的子图像间纹理差异模型，通过全局优化得到全局 最优拼缝； 步骤2、建立内容重合度判别函数：利用最优拼缝在局部区域的纹理差异权重和W及 图像间局部内容的相似度作为内容重合度判别度量，形成最终的内容重合度判别函数； 步骤3、基于步骤2所得内容重合度判别函数，在不同区域进行基于全局或局部的拼 接；具体为，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，而基于局部的 拼接则需计算扩展的两条拼缝；然后将子图像位于各自拼缝两边的内容变换后拼接起来。2. 如权利要求1所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于： 步骤1中，构建多阶的子图像间纹理差异模型，其中图模型的节点数目设定为图像的像素 点数目，排布与图像像素排布一致，而边设定为两幅图像间的像素及邻近像素的多阶颜色 差异。3. 如权利要求2所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于： 多阶颜色差异定义如下： F(A，B) = ||A(Si)-B(s〇)M+MA(ti)-B(t〇)M，ie{-k，...0，...，k}，keN (1) 其中A和B分别代表两幅子图像，s。为当前像素的位置，t。为邻近像素的位置，k表示 某个自然数，i表示与当前像素偏离位移，如果i为0则表示仅计算两幅子图像相同位置的 像素颜色差异，而i取负则表示取A图当前位置的上方i个像素与B图当前位置相比，反之 亦然。4. 如权利要求1所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于： 步骤2中，利用步骤1的最优拼缝在局部区域的纹理差异权重和W及图像间局部内容的相 似度作为内容重合度判别度量，形成最终的内容重合度判别函数。5. 如权利要求4所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于： 结合两种度量形成最终的内容重合度判别函数为： fc=λ1.Sw+A2.S(A"^) 似 其中c指的是当前局部窗口，w为上一步骤中建立的图模型在局部窗口内的一条边 权重，Sw为当前局部窗口内的边的权重之和，A。与B。分别表示两幅子图像的局部窗口， S(At，B。）表示二者图像内容的相似度，λ1和λ2表示不同项的权重系数。6. 如权利要求1-5任一项所述的融合全局信息及局部配准的古籍图像拼接方法，其特 征在于：步骤3中，基于步骤2所得内容重合度判别函数，在内容重合度小于选定的阔值时， 将两幅子图像处于拼缝两边的图像内容拼接起来；而在内容重合度大于选定的阔值时，在 第二幅子图像上，寻找与第一条拼缝对应的第二条拼缝；当扩展的两条拼缝计算完成后，将 子图像位于各自拼缝两边的内容变换后拼接起来。7. 如权利要求6所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于， 基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，具体为： 设最优拼缝为Si，设区域Ρ为包含Si局部的图像小窗口，则在Ρ区域内，如果两幅子图 像的图像内容重合度大于某个选定的阔值，则可直接将两幅子图像位于拼缝两边的图像内 容拼接起来，实现当前局部区域内的图像拼接：(3) 其中，As,表示在Si上侧的A图像，As,表示在S2上侧的B图像，I表示最终拼接出的图 像。8. 如权利要求7所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于， 基于局部的拼接则计算扩展的两条拼缝，具体为：当内容重合度小于选定的阔值时，则在第 二幅子图像上，寻找与第一条拼缝Si对应的第二条拼缝S2,使之与Si在内容上一致；将位于 A在第一条拼缝Si外侧的图像部分经坐标变换，使之与B在第二条拼缝S2外侧的图像部分 相交，即可完成当前局部区域内的图像拼接。㈱ 其中，处;.4表示经T变换后的4,,图像，I意义同式做. 按基于全局的拼接、基于局部的拼接的上述两步骤遍历完最优拼缝，即可完成整体图 像拼接。9. 如权利要求8所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于， 在第二幅子图像上，寻找与第一条拼缝Si对应的第二条拼缝S2,具体为：通过提取窗口内的 特征进行匹配，得到第一幅子图像与第二幅子图像在区域P内的变换关系，利用此变换关 系，找到与第一条拼缝Si对应的第二条拼缝S2。
【专利摘要】本发明提供一种融合全局信息及局部配准的古籍图像拼接方法，建立多阶的子图像间纹理差异模型，通过全局优化得到全局最优拼缝，建立内容重合度判别函数；基于上述内容重合度判别函数，在不同区域进行基于全局或局部的拼接。具体来讲，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，而基于局部的拼接则需计算扩展的两条拼缝，然后将子图像位于各自拼缝两边的内容变换后拼接起来。该种融合全局信息及局部配准的古籍图像拼接方法，有效结合了全局信息及局部对准，实现了在图像具有局部变形条件下的无缝拼接，为用户扫描各种珍贵的古籍文献提供了完整的解决方案。
【IPC分类】G06T3/40
【公开号】CN105405096
【申请号】CN201510706169
【发明人】朱利民
【申请人】江苏思曼特信用管理有限公司
【公开日】2016年3月16日
【申请日】2015年10月27日