专利名称：一种文本图像的拼接方法及系统的制作方法
技术领域：
本发明属于图像处理技术领域，涉及一种图像的拼接方法，尤其涉及一种文本图 像的拼接方法；同时，本发明还涉及一种文本图像的拼接系统。
背景技术：
随着越来越多的手机集成了相机拍照功能，基于计算机视觉技术的应用软件在手 机上逐渐丰富起来，一种典型应用就是利用手机上的相机来扫描或者拍摄文本图像，实现 传统扫描仪的功能。由于手机能移动携带而且用手机上的相机来扫描，使用起来也非常方 便，因此手机上的扫描仪是一种非常有前景的应用。而目前的手机上的扫描仪功能，都是先用相机拍摄文本图片后，再加上一些图像 预处理，就得到最终的扫描结果。这种手机扫描仪软件都存在一个比较明显的缺点就是当 所拍摄的文本(文档)比较大时，由于相机相对离的较远，此时得到的图像中文字分辨率比 较低，图片中的文字都不是很清楚。为了提高文本图像的分辨率，使所有的文字都清晰可辨，有着跟传统扫描仪一样 的高质量扫描效果，一种有效的解决方案就是先使相机离文档很近，拍摄出文档的各个局 部图片，然后再将所有的这些局部文档图片拼接起来，最后得到一个完整的高分辨全图。采 用局部图像来拼接大图一个优点就是，相机离文档近了，对焦更准，受到噪声干扰的影响也 将随之降低，另外多幅局部图片拼接出来的扫描结果，将有更高的分辨率，像素可以达到 千万。以Iphone 3GS手机为例，该手机所带的相机像素为320万，如果采用五六幅320万 像素的局部文本图像拼接成一个大图，最后就能得到一幅高达一千多万像素的文本图像。将局部文本图像拼接成一个完整的大图，该方法跟全景拼图很类似。如一些文 献公开了专门介绍图像拼接的技术R Szeliski, "Image alignment andstitching :A tutorial，，，Foundations and Trends in Computer Graphics andVision, 2006.现有技术已经存在一些将多张图片拼接成大图的解决方案，如中国专利 CN200810237427.8公开了一种无控制点的图像拼接方法包括以下步骤(1)获取图像序 列；(2)提取图像序列中每幅图像的特征点集；(3)搜索相邻两幅图像之间的特征点的同名 点对；(4)利用RANSAC容错算法计算相邻图像之间的Homograph变换关系；( 利用连乘公 式和融合技术得到拼接结果。专利CN200710121181. 3公开了一种基于特征匹配的大幅面 文化遗产图像的拼接方法，涉及图像匹配、图像拼接领域。具有以下处理步骤1)针对文化 遗产图像的特点，采用角点检测的方法提取图像中的角点作为图像的特征用于图像间的匹 配；2)计算相邻图像匹配点间所连直线斜率，利用斜率相同或相近的特点，使用聚类的方 法预筛选图像间的相关点；幻使用最佳路径的方法生成一条像素差值较小的拼接路径，以 避开像素差异较大区域，达到消鬼影的目的；4)使用HSI颜色空间中的亮度分量，按照拼接 路径运用权重函数公式对亮度进行融合。但是对于一般的全景拼图软件，都是先拍摄好所有的局部图像，然后用户将所有 这些图片传到软件中进行处理，最后通过算法处理拼接得到一幅全景图。这种方法的一个缺点就是“它需要每幅局部图像之间要有重叠区域，如图像重叠区域过小，或者重叠区域 没有纹理信息。那么各个局部图像之间的拼接将会失败，这也是现在全景拼图软件常存在 的问题。”为了让各个局部图像相互之间有重叠区域，那么用户在拍摄的时候就不能随意乱 拍文档了，必须依次拍摄，而且保证各个拍摄的局部图像有重叠。这种有很多限制要求的拍 摄方式对于手机用户来说及其不方便。另外一个缺点对于多幅平面文档图像进行拼接时，如拼接第一幅和第二幅，需要 确定一个变换的参考平面，假如用第一幅文本图像所在的平面作为参考平面。要将第二幅 文本图像通过透视变换矩阵变换到到第一幅图像所在的参考平面后，才能和第一幅图像进 行拼接得到拼接后的图像。如果要将第三幅再进行拼接时，此时以第一第二幅所拼接出来 的图像所在的平面作为参考平面，将第三幅图片变换过去来做拼接，但此时很有可能是第 三幅图像与第二幅图像之间才有重叠区域，而变换矩阵是根据这个重叠区域得到的特征匹 配对计算出来的。而因为从第二幅变换到第一幅有误差，第三幅变换到第二幅也有误差，最 后计算第三幅到第一幅的变换时，此时导致参考平面的累计误差比较大，使最后得到的文 档全图，看起来是扭曲弯折的。为了解决拍摄的局部图像没有重叠区域或者因为重叠区域特征不明显，导致图片 无法拼接起来的问题，另外还有参考平面不统一，造成累计误差的情况，本申请人提出了一 种基于模板图像来进行特征匹配的文本全图拼接方法。
发明内容
本发明所要解决的技术问题是提供一种文本图像的拼接方法，可将多幅局部图 像拼接起来得到一幅清楚的全图。此外，本发明还提供一种文本图像的拼接系统，可将多幅局部图像拼接起来得到 一幅清楚的全图。为解决上述技术问题，本发明采用如下技术方案一种文本图像的拼接方法，所述方法包括Si，获取模板图像；S2，获取所有的文本局部图像；S3，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配 点对；S4，匹配成功后，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化 矩阵；S5，然后将局部图像按照变化矩阵，得到该局部图像变换后的图像；S6，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图。作为本发明的一种优选方案，步骤Sl中，获取模板文本图像的方法包括调整相 机离文档的距离，当要拍摄的文档恰好充满整个手机屏幕，此时按下拍摄按钮，得到初始的 文本图像；然后将初始文本图像作为模板图像，用于接下来的特征匹配；步骤S2中，获取局部文本图像的拍摄方法包括调整相机的距离，使相机离文档 更近些，当所要拍摄的文档局部区域占整个文档面积的设定值，按下拍摄按钮，此时由于相 机距离文档较近，所获得局部图像中的文字将更加清楚；然后移动相机，直到拍摄到的局部图像覆盖了整个文档区域。作为本发明的一种优选方案，步骤S3中，局部图像跟模板图像进行特征匹配的方 法包括S31，确定感兴趣的特征关键点；S32，提取关键点周围区域的特征向量描述子； S33，通过特征点的欧式距离来匹配各个特征向量描述子；步骤S33中，匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要查找 与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最 近的二个特征点，如果最近点的距离dnearet除以第二近点的距离dse。。nd小于设定阈值，则认 为该最近点为匹配点，否则不接收。作为本发明的一种优选方案，步骤S4中，根据匹配上的特征点对计算透视变换矩 阵的方法包括根据局部图像与模板图像二幅图像的匹配上的特征点对，计算二幅文本图像所在 平面之间的透视变化矩阵；设定src_p0ints为模板文本图像中所在平面的匹配点坐标，大小为hN，其中，N 表示点的数目；设定dst_p0ints为局部图像所在平面的匹配点坐标，大小为2xN ；透视变化矩阵为3 X 3的矩阵，使得 Si
1其中(Xi，Yi,1)为 dst_points 一个点的坐标，(x' y' 1)为 src_point 一个 点的坐标；输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小
V、,、,’—"丨 1'。
,'κ' 5 I·'. -r' ( ,,'IiIr..丨“二私 1 "」Γι
aX ‘ ‘‘ “·}μ、I /i··._·'；,· I. /'、·' ’‘IiM 1 //--.7. ！ /'Ti 。 作为本发明的一种优选方案，步骤S5中，将局部图像通过变换矩阵得到变换后的 局部图像的方法包括 修改透视变化矩阵
Zt315ZT325ZT33第三行(h31，h32，h33)是控制放大缩小的系数，为此将(h31，h32, h33)变化成(h31/ scale, h32/scale, h33/scale), scale为局部图像变化后相对于模板图像的放大系数；通过 透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行 下一步的拼接处理。作为本发明的一种优选方案，所述方法进一步包括步骤S7 拼接全图的后处理步 骤
如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像 放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处 理，保证得到完整的图像。作为本发明的一种优选方案，步骤S6中，将所有变换后的局部图像进行拼接的方 法包括将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接。一种文本图像的拼接方法，所述方法包括步骤110，获取模板图像；步骤120，获取所有的文本局部图像；步骤130，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征 匹配点对；步骤140，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定 值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤190 ；若特征匹 配对的点数达到或超过设定值，判断为成功，转到步骤150 ；步骤150，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵， 然后将局部图像按照变化矩阵，得到该局部图像变换后的图片；步骤160，判断是否所有局部图像都已处理完；如果答案为是，则转到步骤170， 否则转到步骤130，处理下一幅局部图像；步骤170，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全 图；步骤180，对拼接得到的全图进行后处理；步骤190，结束。一种文本图像的拼接系统，所述系统包括摄像单元，用以拍摄整幅文本图像作为模板图像，同时用于拍摄该文本的各个局 部区域；特征点匹配单元，用以将一幅还没有进行处理的局部图像与模板图像进行特征匹 配，得到特征匹配点对；透视变换矩阵计算单元，用以计算对应局部图像与模板图像之间的透视变化矩 阵；局部图像变换单元，用以将局部图像按照变化矩阵，得到该局部图像变换后的图 像；拼接单元，用以将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼 接全图。作为本发明的一种优选方案，所述特征点匹配单元将局部图像跟模板图像进行特 征匹配的方法包括S31，确定感兴趣的特征关键点；S32，提取关键点周围区域的特征向量 描述子；S33，通过特征点的欧式距离来匹配各个特征向量描述子；步骤S33中，匹配策略采 用最近邻比例匹配对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对 应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的 距离dn_st除以第二近点的距离dse。。nd小于设定阈值，则认为该最近点为匹配点，否则不接 收；包括修改透视变化矩阵所述透视变换矩阵计算单元根据匹配上的特征点对计算透视变换矩阵的方 法包括根据局部图像与模板图像二幅图像的匹配上的特征点对，计算二幅文本图像 所在平面之间的透视变化矩阵；设定srC_p0intS为模板文本图像中所在平面的匹配 点坐标，大小为&N，其中，N表示点的数目；设定dst_points为局部图像所在平面的
匹配点坐标，大小为透视变化矩阵为3X3的矩阵，使得
权利要求
1. 一种文本图像的拼接方法，其特征在于，所述方法包括 步骤110，获取模板图像； 步骤120，获取所有的文本局部图像；步骤130，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹 配点对；局部图像跟模板图像进行特征匹配的方法包括步骤131，确定感兴趣的特征关键 点；步骤132，提取关键点周围区域的特征向量描述子；步骤133，通过特征点的欧式距离来 匹配各个特征向量描述子；步骤133中，匹配策略采用最近邻比例匹配对于二幅图像的特 征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该 特征点欧式距离最近的二个特征点，如果最近点的距离dnearet除以第二近点的距离dse。。nd小 于设定阈值，则认为该最近点为匹配点，否则不接收；步骤140，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定值；若 低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤190 ；若特征匹配对 的点数达到或超过设定值，判断为成功，转到步骤150 ；步骤150，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后 将局部图像按照变化矩阵，得到该局部图像变换后的图片；其中，根据匹配上的特征点对计算透视变换矩阵的方法包括根据二幅图像的匹配 上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定srC_p0intS为 模板文本图像中所在平面的匹配点坐标，大小为&N，其中，N表示点的数目；设定dst_ points为局部图像所在平面的匹配点坐标，大小为2xN ；透视变化矩阵为3 X 3的矩阵，使得
2.一种文本图像的拼接方法，其特征在于，所述方法包括 Si，获取模板图像；S2，获取所有的文本局部图像；S3，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；S4，匹配成功后，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵；S5，然后将局部图像按照变化矩阵，得到该局部图像变换后的图像；S6，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图。
3.根据权利要求2所述的文本图像的拼接方法，其特征在于步骤Sl中，获取模板文本图像的方法包括调整相机离文档的距离，当要拍摄的文档 恰好充满整个手机屏幕，此时按下拍摄按钮，得到初始的文本图像；然后将初始文本图像作 为模板图像，用于接下来的特征匹配；步骤S2中，获取局部文本图像的拍摄方法包括调整相机的距离，使相机离文档更近 些，当所要拍摄的文档局部区域占整个文档面积的设定值，按下拍摄按钮，此时由于相机距 离文档较近，所获得局部图像中的文字将更加清楚；然后移动相机，直到拍摄到的局部图像 覆盖了整个文档区域。
4.根据权利要求2所述的文本图像的拼接方法，其特征在于 步骤S3中，局部图像跟模板图像进行特征匹配的方法包括S31，确定感兴趣的特征关键点；S32，提取关键点周围区域的特征向量描述子；S33，通 过特征点的欧式距离来匹配各个特征向量描述子；步骤S33中，匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要查找与第 一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的 二个特征点，如果最近点的距离dnearet除以第二近点的距离dse。。nd小于设定阈值，则认为该 最近点为匹配点，否则不接收。
5.根据权利要求2所述的文本图像的拼接方法，其特征在于 步骤S4中，根据匹配上的特征点对计算透视变换矩阵的方法包括根据局部图像与模板图像二幅图像的匹配上的特征点对，计算二幅文本图像所在平面 之间的透视变化矩阵；设定srC_p0intS为模板文本图像中所在平面的匹配点坐标，大小为hN，其中，N表示 点的数目；设定dst_p0ints为局部图像所在平面的匹配点坐标，大小为MN ； 透视变化矩阵为3X3的矩阵，使得
6.根据权利要求2所述的文本图像的拼接方法，其特征在于步骤S5中，将局部图像通过变换矩阵得到变换后的局部图像的方法包括修改透视变化矩阵
7.根据权利要求6所述的文本图像的拼接方法，其特征在于 所述方法进一步包括步骤S7 拼接全图的后处理步骤如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大 scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保 证得到完整的图像。
8.根据权利要求2所述的文本图像的拼接方法，其特征在于步骤S6中，将所有变换后的局部图像进行拼接的方法包括将需要拼接的局部图像变 化到同一坐标系之后，进行图像的拼接。
9.一种文本图像的拼接方法，其特征在于，所述方法包括 步骤110，获取模板图像；步骤120，获取所有的文本局部图像；步骤130，将一幅还没有进行处理的局部图像与模板图像进行特征匹配， 得到特征匹配点对；步骤140，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定值；若 低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤190 ；若特征匹配对 的点数达到或超过设定值，判断为成功，转到步骤150 ；步骤150，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后 将局部图像按照变化矩阵，得到该局部图像变换后的图片；步骤160，判断是否所有局部图像都已处理完；如果答案为是，则转到步骤170，否则转到步骤130，处理下一幅局部图像；步骤170，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图； 步骤180，对拼接得到的全图进行后处理； 步骤190，结束。
10.根据权利要求9所述的文本图像的拼接方法，其特征在于 步骤130中，局部图像跟模板图像进行特征匹配的方法包括步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述 子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；步骤133中，匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要查找与第 一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的 二个特征点，如果最近点的距离dnearet除以第二近点的距离dse。。nd小于设定阈值，则认为该 最近点为匹配点，否则不接收。
11.根据权利要求9所述的文本图像的拼接方法，其特征在于 步骤150中，根据匹配上的特征点对计算透视变换矩阵的方法包括根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定srC_p0intS为模板文本图像中所在平面的匹配点坐标，大小为hN，其中，N表示 点的数目；设定dst_p0ints为局部图像所在平面的匹配点坐标，大小为MN ； 透视变化矩阵为3X3的矩阵，使得
12.根据权利要求9所述的文本图像的拼接方法，其特征在于步骤150中，将局部图像通过变换矩阵得到变换后的局部图像的方法包括修改透视变化矩阵
13.根据权利要求9所述的文本图像的拼接方法，其特征在于步骤170中，将所有变换后的局部图像进行拼接的方法包括将需要拼接的局部图像 变化到同一坐标系之后，进行图像的拼接。
14.根据权利要求9所述的文本图像的拼接方法，其特征在于 所述步骤180中，拼接全图的后处理步骤包括如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大 scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保 证得到完整的图像。
15.一种文本图像的拼接系统，其特征在于，所述系统包括摄像单元，用以拍摄整幅文本图像作为模板图像，同时用于拍摄该文本的各个局部区域；特征点匹配单元，用以将一幅还没有进行处理的局部图像与模板图像进行特征匹配， 得到特征匹配点对；透视变换矩阵计算单元，用以计算对应局部图像与模板图像之间的透视变化矩阵； 局部图像变换单元，用以将局部图像按照变化矩阵，得到该局部图像变换后的图像； 拼接单元，用以将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图。
16.根据权利要求15所述的文本图像的拼接系统，其特征在于所述特征点匹配单元将局部图像跟模板图像进行特征匹配的方法包括S31，确定感兴 趣的特征关键点；S32，提取关键点周围区域的特征向量描述子；S33，通过特征点的欧式距 离来匹配各个特征向量描述子；步骤S33中，匹配策略采用最近邻比例匹配对于二幅图像 的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出 与该特征点欧式距离最近的二个特征点，如果最近点的距离cL st除以第二近点的距离dse。 。nd小于设定阈值，则认为该最近点为匹配点，否则不接收；所述透视变换矩阵计算单元根据匹配上的特征点对计算透视变换矩阵的方法包 括根据局部图像与模板图像二幅图像的匹配上的特征点对，计算二幅文本图像所在 平面之间的透视变化矩阵；设定srC_p0intS为模板文本图像中所在平面的匹配点 坐标，大小为&N，其中，N表示点的数目；设定dst_p0ints为局部图像所在平面的匹配点坐标，大小为透视变化矩阵为3X3的矩阵，使得力
全文摘要
本发明揭示了一种文本图像的拼接方法及系统，所述方法包括获取模板图像；获取所有的文本局部图像；将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；匹配成功后，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵；然后将局部图像按照变化矩阵，得到该局部图像变换后的图像；将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图。本发明提出的文本图像的拼接方法及系统，将拍摄的局部文本图像跟模板图像进行特征匹配，通过基于模板图像的特征匹配方法不仅能够提高匹配的速度而且保证匹配的准确性，让之后计算出来的透视变换矩阵更加准确。
文档编号G06T5/50GK102074001SQ20101055896
公开日2011年5月25日 申请日期2010年11月25日 优先权日2010年11月25日
发明者镇立新, 黄灿, 龙腾 申请人:上海合合信息科技发展有限公司