一种针对打印文件扫描放大图像的拼接方法与流程

本发明涉及一种图像拼接方法，尤其涉及对打印文件扫描放大图像进行图像拼接的方法。

背景技术：

在公共安全和法庭物证领域的文件检验工作中，需要把打印文件中的字符放大到50倍以上，对字符的细节进行观察及分析。对于这一应用，目前是采用具有放大显微功能的扫描摄像系统来实现的，这种系统能够把打印文件中的内容摄入成一系列左右及上下相邻的连续的放大图像，并且存入计算机中。

这一系统的原理如图1所示，是由CCD数码摄像机1、放大显微镜头2、LED光源3、移动平台4、仪器支架5以及底座6组成。CCD数码摄像机1是一种用CCD(电荷耦合器件，Charge Coupled Device)技术把外部物体拍摄成电子数码图像的设备。移动平台4是一种固定在底座6上，能够根据电子指令而上下左右移动的平板。移动平台4放置在底座6上且移动平台4上放置载物台8，放大显微镜头2和CCD数码摄像机1连接在一起，面向移动平台4，通过仪器支架5固定在底座6上并由调节螺旋钮7控制。CCD数码摄像机1和移动平台4的数据和控制线都连接到计算机上。

把打印文件防止在移动平台4上后，通过计算机控制的扫描摄像过程如下。

1、移动平台沿X轴移动一个步长。从CCD摄像机角度看，打印文件从左到右移动了一个步长。

2、CCD摄像机摄入一幅图像，并且输入到计算机内。

3、重复步骤1和2，直到移动平台在X轴上走完所规定的步长数(譬如10步)。这时CCD摄像机已经摄入了一组打印文件从左到右的图像到计算机内。

4、移动平台回到X轴的起点位置，再沿Y轴移动一个步长。从CCD摄像机角度看，打印文件从上到下移动了一个步长。

5、重复步骤1到4，让CCD摄像机从上到下摄入多组打印文件从左到右的图像，并且输入到计算机内，直到移动平台在X轴上走完所规定的步长数(譬如12步)。这时整个扫描摄像过程完成。

根据放大镜头的放大倍数，移动平台在X轴和Y轴步长值可以预先设置在某个范围内的一个值，使得每个图像和它上下左右相邻的图像都有重叠区域，如图2所示。所谓图像拼接，就是通过扫描摄像系统获取到摄入图像以后，自动地、精确地在合理时间范围内(数分钟内)基于重叠区域拼接成一个完整的全局图像。

然后，由于上述的扫描摄像系统是一种新型的系统，用于打印文件内容的放大及摄入，目前还没有完全对应的技术方案对摄入图像进行拼接，因此目前采用的方案是使用显微放大镜观察检验文件的显微图像。

这种简单的使用显微放大镜观察检验文件具有如下缺点：

(1)显微放大镜的视野小，一次只能文件中字符比划的一部分。文件检查人员无法观察放大字符的整体形态；

(2)文件检查人员每次只能观察文件中一个局部，无法对文件中的不同部位进行比较观察。

此外，现有的图像拼接技术都是针对全景照片的拼接，即摄像机放置在一个固定的位置上，变换角度摄入一组图像。每个图像和它上下左右相邻的图像都有部分内容重叠。现有的图像拼接技术是以每张摄入图像由显著差别的图形(譬如人物、房屋、树木)作为前提，通过找出摄入图像间的共同特征点，实现一个完整的全景照片的拼接。

然而，在对打印文件扫描放大图像的拼接中，会遇到如下的难题。

第一，在大多数情况下，由于设备的机械误差，CCD摄像机的矩形视野和移动平台的X轴不是完全平行。这会使得相邻图像不会在X轴和Y轴方向上完全对齐，X轴重叠部分就会在Y轴方向有偏移，而Y轴重叠部分就会在X轴方向有偏移。如图3所示，移动平台的移动方向和CCD矩形视野不完全平行，造成相邻图像的偏移。

第二，某些左右或上下相邻图像的重叠部分全部是背景点或者只有少量的字符前景点，如图4所示。

第三，在某些情况下，由于打印文件中的字符较小，所有上下(Y轴)相邻的图像的重叠部分全部是白色背景，没有任何内容，如图5所示。

这些问题都是现有的图像拼接方法无法解决的。

技术实现要素：

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种针对打印文件扫描放大图像的拼接方法，通过发现摄入图像间的最大重合度来实现拼接。

本发明的技术方案为：本发明揭示了一种针对打印文件扫描放大图像的拼接方法，包括：

步骤1：对打印文件的摄入图像进行二值化处理；

步骤2：计算X轴重叠值和Y轴偏移值；

步骤3：计算Y轴重叠值和X轴偏移值；

步骤4：取得全局的重叠值和偏移值；

步骤5：用全局的重叠值和偏移值做相应的偏移，进而拼接图像。

根据本发明的针对打印文件扫描放大图像的拼接方法的一实施例，在步骤2中，根据每组左右相邻的摄入图像的重叠内容，计算出所有X轴重叠值和Y轴偏移值。

根据本发明的针对打印文件扫描放大图像的拼接方法的一实施例，在步骤3中，根据每组上下相邻的摄图图像的重叠内容，计算出所有Y轴重叠值和X轴偏移值。

根据本发明的针对打印文件扫描放大图像的拼接方法的一实施例，在步骤3中，当无法计算出任何Y轴重叠值和X轴偏移值时，在每两行扫描之间增加一行 扫描，结合这些增加的扫描图像，计算出所有的X轴重叠值、Y轴偏移值、Y轴重叠值、X轴偏移值。

根据本发明的针对打印文件扫描放大图像的拼接方法的一实施例，在步骤2和步骤3中，如果重叠内容全部是背景点或者只有低于预设值的字符前景点，则放弃计算。

根据本发明的针对打印文件扫描放大图像的拼接方法的一实施例，在步骤4中，对在步骤2和步骤3中得到的所有的X轴重叠值、Y轴偏移值、Y轴重叠值、X轴偏移值各自从小到大排序，取其中的中位值作为全局的重叠值和偏移值。

根据本发明的针对打印文件扫描放大图像的拼接方法的一实施例，在步骤5中，在拼接过程中，首先每个摄入图像根据全局的X轴重叠值覆盖左边相邻图像的重叠区域，并根据全局的Y轴偏移值向上或向下偏移，然后每个摄入图像根据全局的Y轴重叠值覆盖上边相邻图像的重叠区域，并根据全局的X轴偏移值向左或向右偏移。

本发明对比现有技术有如下的有益效果：本发明中每张摄入图像都是放大的字符，没有显著差别的图形，是通过发现摄入图像间的最大重合度来实现拼接。具体而言，首先根据每组左右相邻的摄入图像的重叠内容，计算出所有X轴重叠值以及Y轴偏移值，如果重叠内容全部是背景点或者只有少量的字符前景点则放弃计算；然后根据每组上下相邻的摄入图像的重叠内容，计算出所有Y轴重叠值以及X轴偏移值，如果重叠内容全部是背景点或者只有少量的字符前景点则放弃计算；接着在前两个步骤中得到的所有的X轴重叠值、Y轴偏移值、Y轴重叠值以及X轴偏移值各自从小到大排序，取其中的中位值作为全局的重叠和偏移值；用这些全局的重叠及偏移值，去除相邻图像的重叠区域，同时做相应的偏移，把它们拼接到一起。相较于现有技术，本发明的拼接时间明显缩短，拼接效果好，所有的拼接处吻合完好，最终拼接好的图像如同一个整体，且拼接容错能力强，即使设备的机械误差使得CCD摄像机的矩形视野和移动平台移动方向不平行，拼接也能够在同样时间内达到完好的效果，即使部分摄入图像之间的重叠区域没有或只有少量前景内容，拼接也能够达到完好的效果。

附图说明

图1示出了具有高倍放大的扫描摄像系统的原理图。

图2示出了CCD摄入图像相邻之间有重叠区域的示意图。

图3示出了设备机械误差造成相邻图像的偏移的示意图。

图4示出了相邻图像的重叠部分全部是背景点的示意图。

图5示出了上下相邻的图像的重叠部分全部是背景点的示意图。

图6示出了本发明的针对打印文件扫描放大图像的拼接方法的较佳实施例的流程图。

图7示出了在两行扫描之间再增加一行扫描摄像的示意图。

图8示出了左右相邻图像的重叠区域范围以及重合度的计算的示意图。

图9示出了tcDX和重叠值toX及偏移值tdY的函数关系的示意图。

图10示出了快速搜索法的采样搜索的示意图。

图11示出了上下相邻图像的重叠区域范围的示意图。

图12示出了根据全局的重叠及偏移值拼接图像的示意图。

具体实施方式

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图6示出了本发明的针对打印文件扫描放大图像的拼接方法的较佳实施例的流程。请参见图6，下面是对本实施例的拼接方法的各个步骤的详细描述。

步骤1：对打印文件的摄入图像进行二值化处理。

CCD摄像机摄入的图像是灰度级0到255的黑白图像：0表示黑，255表示白，其它0到255之间的值表示介于黑与白之间的灰度。在这一步骤用现有的图像处理技术把这些摄入图像进行二值化处理：根据整个图像所有点的灰度值分布情况，找到最佳的分界值，把介于0与255之间的值归类成0或者255。二值化的目的是用来在下一步计算相邻图像的重叠部分的大小。

步骤2：计算X轴重叠值和Y轴偏移值。如果重叠内容全部是背景点或者只有少量的字符前景点则放弃计算。

扫描摄像系统的X轴扫描步长会被设定在某一个值，使得摄入图像的右边部分内容与它右邻摄入图像的左边部分内容是重叠的，而且重叠部分的大小(X轴值)是在某个可知的范围内。在本发明中用minX和maxX来表示这个范围的最小值和最大值。

对于如图3所示的，由机械误差所造成的上下相邻图像的Y轴偏移，只要保证扫描摄像系统满足预设的机械精度要求，这个偏移的范围就不会超过某个可知的固定值。本发明中用skewY来表示这个固定值，那么可能的偏移范围就在-skewY和+skewY之间。

针对每对左右相邻的二值化图像，图8显示了它们的重叠区域范围以及用来衡量重叠区域相似度的重合度。

如图8中的(a)部分所示，在本发明中用toX表示图像之间可能的X轴重叠值，用tdY表示可能的Y轴偏移值。toX值将在minX和maxX范围内；而tdY值将在-skewY和+skewY范围内。

在本发明中用tcDX来表示图像重叠区域的重合度。图8中的(b)部分显示了它的计算方法：对于两幅图像中的重叠部分，将所有相同位置点的灰度值(0或255)进行比较，值相同的点数占所有点数的百分比即为重合度。

重合度tcDX和toX以及tdY存在如图9所示的函数关系。当toX和tdY是正确的重叠及偏移值时，也即为moX和mdY时，重合度tcDX达到最大；当它们和正确值差别越大时，重合度tcDX就越小。

因此，本发明还揭示了一种类似于二进制搜索法的快速搜索法进行采样计算及搜索，而不是遍历所有可能的toX和tdY值。针对图9(c)中所示的toX和tdY二维平面上在(minX,minY)和(-skewY,+skewY)范围内的点，此快速搜索法使用从大到小不同的步长进行采样及搜索具有最大重合度的采样点，直到步长为1；此时具有最大重合度的采样点的值就是正确的X轴重叠值moX和Y轴偏移值mdY。此快速搜索法把计算时间缩短到只有原来的大约5％，极大地提高了这种拼接的实用价值。

在这一步骤中用快速搜索法进行采样及搜索来得到正确的X轴重叠值moX和Y轴偏移值mdY。快速搜索法的算法如图10所示。

1)用较大的步长值stepX1在minX到maxX范围内选取采样点作为toX。采样点一共会有numX1＝(maxX-minX)/stepX1个。

2)用较大的步长stepY1在-skewY到+skewY范围内选取采样点作为tdY。采样点一共会有numY1＝(skewY+skewY)/stepY1个。

3)在二维平面上就有numX1*numY1个采样点。对每个采样点的toX和tdY值，计算它们的重合度tcDX值。然后选取tcDX值最大的采样点，用SPt_1来表示。

4)以原步长的1/6作为新的步长stepX2及stepY2，也就是stepX2＝stepX1/6，stepY2＝stepY1/6，围绕SPt_1采样点为toX和tdY选取新的采样点。

5)在二维平面上就有5*5个新采样点。对每个新采样点的toX和tdY值，计算它们的重合度tcDX值，再选取tcDX值最大的采样点(包括SPt_1采样点)，用SPt_2来表示。

6)对SPt_2，重复第4)和第5)步，得到SPt_3，再重复第4)和第5)步，直到X和Y轴上的步长收敛为0。这时重合度tCDX值最大的采样点上的toX和tdY值就是正确的X轴重叠值moX和Y轴偏移值mdY。

步骤3：计算Y轴重叠值和X轴偏移值。如果重叠内容全部是背景点或者只有少量的字符前景点则放弃计算。

这一步骤计算每对上下相邻的二值化图像的Y轴重叠值及X轴偏移值。它的原理和方法和步骤2完全一样，只是把计算左右相邻的二值化图像的重叠及偏移值变成计算上下相邻的二值化图像的重叠及偏移值。为了全面起见还是在此给出相应的说明。

扫描摄像系统的Y轴扫描步长会被设定在某一个值，使得摄入图像的下边部分内容与它下邻摄入图像的上边部分内容是重叠的，而且重叠部分的大小(Y轴值)是在某个可知范围内，在本文中用minY和maxY来表示这个范围的最小与最大值。

对于如图3所示，由机械误差所造成的上下相邻图像的X轴偏移，只要保证扫描摄像系统满足预设的机械精度要求，这个偏移的范围就不会超过某个可知的 固定值。在本文中用skewX来表示这个固定值，那么可能的偏移范围就在-skewX和+skewX之间。

如图11所示，在本文中用toY表示图像之间可能的Y轴重叠值，用tdX表示可能的X轴偏移值。toY值将在minY和maxY范围内；而tdX值将在-skewX和+skewX范围内。

在本文中用tcDY来表示图像重叠区域的重合度，它的计算方法和步骤2中tcDX的计算方法相同。

和在步骤2中一样，重合度tcDY和toY以及tdX值也存在如图9所示的函数关系，只需用toY、tdX、minY、maxY、skewX代替toX、tdY、minX、maxX、skewY。

所以在这一步骤继续用快速搜索法在二维平面上进行采样及搜索，从而得到正确的Y轴重叠值moY和X轴偏移值mdX。具体算法和步骤2中图10所示的一样，只需用toY、tdX、minY、maxY、skewX代替toX、tdY、minX、maxX、skewY。

步骤4：取得全局的重叠值和偏移值。

把从步骤2及3中得到的所有moX、mdY、moY、mdX值各自从小到大排序，取其中的中位值作为全局的重叠及偏移值，分别用goX、gdY、goY、gdX来表示。

在图5所示的情况下，无法计算出任何Y轴重叠值和X轴偏移值，为解决此问题，本发明可以在每两行扫描之间增加一行扫描，如图6所示，根据这些增加的扫描图像，用同样的方法计算出相邻图像的moX、mdY、moY、mdY值，和原先的那些值一起取得全局的重叠及偏移值(goX、gdY、goY、gdX)。这个办法既解决了图5所示的问题，同时也从更多的相邻图像的moX、mdY、moY、mdY值中取得全局的goX、gdY、goY、gdX，使得这些全局的重叠及偏移值更加精确。

步骤5：用全局的重叠值和偏移值做相应的偏移，进而拼接图像。

把从CCD摄像机摄入的原始灰度级图像按照全局的重叠值及偏移值(也即goX、gdY、goY、gdX)从左到右及从上到下拼接起来，就成为最终的拼接图像。拼接方法如图12所示：

1)每个图像根据goX覆盖它左边相邻图像的重叠区域，并根据gdY值向上(如果值为负)或向下(如果值为正)偏移。

2)每个图像根据goY覆盖它上边相邻图像的重叠区域，并根据gdX值向左(如果值为负)或向右(如果值为正)偏移。

至此，整个图像的拼接已经完成。通过使用统一的X轴和Y轴重叠值，消除了图4所示的问题，也就是相邻图像的重叠内容全部是背景点或者只有少量的字符前景点，而造成拼接不正确或根本无法拼接的问题。

本发明中的关键点在于：

1)CCD摄像机的矩形视野和移动平台的移动轴不完全垂直的机械误差会造成左右相邻图像有上下偏移，以及上下相邻图像有左右偏移。在拼接时考虑并计算这些偏移值，从而使此机械误差不影响到拼接结果。

2)用增加中间扫描行的方法来取得额外的重叠及偏移值，以解决由于打印文件中字符较小而无法获得重叠及偏移值的问题，并使得获取的全局重叠及偏移值更加精确。

3)使用独创的快速搜索法在二值化的相邻图像上计算并取得重叠及偏移值。

4)对于上下左右相邻的摄入图像，计算并使用全局的重叠及偏移值来拼接图像。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟 (DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。