专利名称：提高文本图像清晰度的方法及系统的制作方法
技术领域：
本发明属于图像处理技术领域，涉及一种提高图像清晰度的方法，尤其涉及一 种提高文本图像清晰度的方法；同时，本发明还涉及一种提高文本图像清晰度的系统。
背景技术：
随着智能相机性能的提升，目前自带的数码相机已经成为了智能手机的标准配 置了。人们经常用手机上的相机来扫描或者拍摄文本图像。而目前的智能手机上的扫描 仪功能，都是先用相机拍摄文本图片后，再加上一些图像预处理，就得到最终的扫描结 果。这种手机扫描仪存在一个比较明显的缺点就是当所拍摄的文本(文档)比较大时， 由于相机相对离的较远，此时得到的图像中文字分辨率比较低，噪声大，导致文本图片 中的很多文字都不是很清楚。引起字体模糊的主要原因是(1)手机的相机像素有限，一般的手机相机拍出来的照片像素都是介于三百万 至五百万之间，因此对于一幅较大的文档时，要想拍清楚文档的所有细节，是不太可能 的。(2)由于要拍摄出完整的文档，文档较大时必然要使相机离得比较远，因此在较 远时，镜头对平面文档的对焦不可能非常准确，此时必会引起文本图像的模糊。对于提高图像的清晰度和分辨率的方法中，专利“United States Patent7106914 Bayesian image super resolution” 禾口 专 禾"United States Patent7613363 Image superresolution through edge extraction and contrastenhancement 者β介绍了提高图像分彭争率使 图像更清楚的方法。中国专利CN200910153544.0也公开了一种适用于压缩域的视频超 分辨率方法，充分利用前后多帧的信息来超分辨率重建目标帧，主要包括以下步骤首 先，解压缩低分辨视频，得到各种信息；然后，利用得到的信息，使用贝叶斯框架，来 分别得到当前窗口内的各单幅超分辨率图像；最后，利用当前窗口内的各单幅超分辨率 图像来重建目标帧的最终的超分辨率图像。上述方案均通过拍摄多幅相同分辨率的图像，然后通过一定的算法处理从而提 高文本图像的清晰度，这类方法的一大缺点就是所花时间较长，而且对提高文本图像的 清晰度效果不是很明显，不太适合用于手机平台，也不适合处理文本图像。
发明内容
本发明所要解决的技术问题是提供一种提高文本图像清晰度的方法，可提高 整个文档图像的清晰度。此外，本发明进一步提供一种提高文本图像清晰度的系统，可提高整个文档图 像的清晰度。为解决上述技术问题，本发明采用如下技术方案一种提高文本图像清晰度的方法，先拍摄一幅文档图像，接着近距离拍摄文档的各个局部区域，然后提取这些清晰的局部区域图像以及原文档图像的特征点，接着进 行匹配，得到局部图像与原文档图像的对应匹配特征点，根据特征点对，计算局部图像 到原文档图像的透视变换矩阵，然后按照透视变化矩阵将清晰的局部图像进行变换，将 变换后的局部图像去替代原来文档图像所在的区域，利用这种替代方式最后提高整个文 档图像的清晰度。一种提高文本图像清晰度的方法，所述方法包括如下步骤Si、拍摄整幅文本图像；S2、拍摄该文本的各个局部区域；S3、提取局部区域图像以及原整幅图像的特征点，进行匹配，得到局部图像与 原文本图像的对应匹配特征点；S4、根据特征点对，计算局部图像到原文本图像的透视变换矩阵；S5、按照透视变化矩阵将清晰的局部图像进行变换；S6、将变换后的局部图像替代整幅文本图像中对应的区域。作为本发明的一种优选方案，所述步骤Sl中，拍摄整幅文本图像的方法为调 整相机离文本的距离，当要拍摄的文本恰好充满整个手机屏幕，此时按下拍摄按钮，得 到初始的文本图像。作为本发明的一种优选方案，所述步骤S2中，调整相机的距离，使相机离文本 更近些；当所要拍摄的文本局部区域占整个文本面积的设定范围时，按下拍摄按钮；此 时由于相机距离文本较近，所获得局部图像中的文字将更加清楚。作为本发明的一种优选方案，所述步骤S3中，局部图像跟整幅文本图像进行特 征匹配的方法包括S31，确定感兴趣的特征关键点；S32，提取关键点周围区域的特征向量描述 子；S33，通过特征点的欧式距离来匹配各个特征向量描述子；步骤S33中，匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要 查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式 距离最近的二个特征点，如果最近点的距离dnearet除以第二近点的距离dse。。nd小于设定阈 值，则认为该最近点为匹配点，否则不接收。作为本发明的一种优选方案，所述步骤S4中，根据匹配的特征点对计算透视变 换矩阵的方法为根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变 化矩阵；设定srcjoints为整幅文本图像中所在平面的匹配点坐标，大小为2xN，其中， N表示点的数目；设定dSt_p0intS为局部图像所在平面的匹配点坐标，大小为2xN;透视变化矩阵为3X3的矩阵，使得 .力
1其中(X1, y,, 1)为 dst_points —个点的坐标，(χ'
点的坐标；
8
y ‘ “ 1)为 src_point—yi
输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小
γ-.. . 乂 — "11二'； L "壬",'J- ^j-'' L , , _ ^-llL ‘人‘二i
/ - ‘ . — τ— —；！ ', //. — ,j— —「― j j
i/''-U ‘ I5 /.iTi‘ /"Ii, · //Ti 。作为本发明的一种优选方案，所述步骤S5中，通过透视变换矩阵对局部图像进 行变换的方法为得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变 换，得到变换后的局部图像，变化后的局部图像将和整幅文本图像处于同一坐标系下。作为本发明的一种优选方案，所述步骤S6包括计算有效区域，将变换后的局 部图像按照有效区域进行粘贴；有效区域的计算方法为变化之前局部图像的四个顶点，左上点，右上点，左 下点，右下点。这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算 这四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；按照有效区域进行粘贴局部图像的方法为通过计算出来的粘贴区域，将要进 行粘贴的区域中，直接用局部图像像素替代原始文本图像的像素。—种提高文本图像清晰度的方法，所述方法包括如下步骤步骤110，获取文本全图；步骤120，将相机离的近些，拍摄文本的局部区域，得到待粘贴的清晰局部图 像；步骤130，将局部图像与文本全图进行特征匹配；步骤140，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设 定值，如低于设定值，无法计算透视变化矩阵，则判断为失败，转到步骤170，如特征匹 配对的点数达到或超过设定值，判断匹配成功，转到步骤150;步骤150，通过步骤130得到的匹配上的特征点，计算二幅图像之间的透视变化 矩阵，并将局部图像依照透视变化矩阵进行变换；步骤160，将变换后的局部图像替代原文本全图的相应区域；步骤170，判断是否还有需要拍摄的其它局部区域；如还有，转到步骤120， 拍摄文本的下一个区域，如没有要拍摄的局部区域，则转到步骤180;步骤180，结束。—种提高文本图像清晰度的系统，所述系统包括摄像单元，用以拍摄整幅文本图像，同时用于拍摄该文本的各个局部区域；特征点匹配单元，用以提取局部区域图像以及原整幅图像的特征点，进行匹 配，得到局部图像与原文本图像的对应匹配特征点；透视变换矩阵计算单元，用以根据特征点对，计算局部图像到原文本图像的透 视变换矩阵；局部图像变换单元，用以按照透视变化矩阵将清晰的局部图像进行变换；整合单元，用以将变换后的局部图像替代整幅文本图像中对应的区域。作为本发明的一种优选方案，所述特征点匹配单元将局部图像跟整幅文本图像 进行特征匹配的方法包括步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要查找与第一幅 图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二 个特征点，如果最近点的距离(Laret除以第二近点的距离cU。nd小于设定阈值，则认为该最 近点为匹配点，否则不接收；所述透视变换矩阵计算单元根据匹配的特征点对计算透视变换矩阵的方法为 根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵； 设定srC_p0ints为整幅文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点 的数目；设定dstjoints为局部图像所在平面的匹配点坐标，大小为2xN;透视变化矩阵
为3X3的矩阵，使得力
权利要求
1. 一种提高文本图像清晰度的方法，其特征在于，所述方法包括如下步骤步骤 110，获取文本全图；方法为调整相机离文本的距离，当要拍摄的文本恰好充满整个 手机屏幕，此时按下拍摄按钮，得到初始的文本图像；步骤120，调整相机与文件间的 距离，拍摄文本的局部区域，得到待粘贴的清晰局部图像；步骤130，将局部图像与文本全图进行特征匹配；特征匹配的方法包括步骤131， 确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述子；步骤 133，通过特征点的欧式距离来匹配各个特征向量描述子；步骤133中，匹配策略采用最 近邻比例匹配对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应 匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的 距离cL-除以第二近点的距离4。_小于设定阈值，则认为该最近点为匹配点，否则不接 收；步骤140，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定 值，如低于设定值，无法计算透视变化矩阵，则判断为失败，转到步骤170，如特征匹配 对的点数达到或超过设定值，判断匹配成功，转到步骤150;步骤150，通过步骤130得到的匹配上的特征点，计算二幅图像之间的透视变化 矩阵，并将局部图像依照透视变化矩阵进行变换；其中，根据匹配的特征点对计算 透视变换矩阵的方法为根据二幅图像的匹配上的特征点对，计算二幅文本图像所 在平面之间的透视变化矩阵；设定src_p0ints为初始文本图像中所在平面的匹配点坐 标，大小为2xN，其中，N表示点的数目；设定dSt_p0intS为局部图像所在平面的匹配点坐标，大小为2xN;透视变化矩阵为3X3的矩阵，使得力J,'1,中(X1, Y1, 1)为dst_points中一个点的坐标，(χy1)为 src_point 中其即下式最小 其中，通过透点的坐标；输出的3x3的透视变化矩阵，使得反投影错误总和最/J· V- . - i i '*',· ！ /' · ■■ , , f-kJι-ι" ’ /'_'_.".· '丫 ‘‘μ、！ ., I /''■· ‘‘“;卜Λ, 1 / ._"'/■ ‘.视变换矩阵对局部图像进行变换的方法为得到透视变化矩阵之后，将局部图像的每个 像素点按照透视变化矩阵进行变换，得到变换后的局部图像，变化后的局部图像将和初 始文本图像处于同一坐标系下；步骤160，将变换后的局部图像替代原文本全图的相应区域；步骤160包括计算有 效区域，将变换后的局部图像按照有效区域进行粘贴；有效区域的计算方法为变化之 前局部图像的四个顶点，左上点，右上点，左下点，右下点；这个四个点通过透视变化 矩阵变换，得到变换后的位置坐标，然后计算这四个变换后顶点的有效的内接矩形，此 内接矩形代表要要粘贴的有效区域；按照有效区域进行粘贴局部图像的方法为通过计 算出来的粘贴区域，将要进行粘贴的区域中，直接用局部图像像素替代原始文本图像的 像素；步骤170，判断是否还有需要拍摄的其它局部区域；如还有，转到步骤120，拍摄 文本的下一个区域，如没有要拍摄的局部区域，则转到步骤180;步骤180，结束。
2.—种提高文本图像清晰度的方法，其特征在于，所述方法包括如下步骤51、拍摄整幅文本图像；52、拍摄该文本的各个局部区域；53、提取局部区域图像以及原整幅图像的特征点，进行匹配，得到局部图像与原文 本图像的对应匹配特征点；54、根据特征点对，计算局部图像到原文本图像的透视变换矩阵；55、按照透视变化矩阵将清晰的局部图像进行变换；56、将变换后的局部图像替代整幅文本图像中对应的区域。
3.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于所述步骤Sl中，拍摄整幅文本图像的方法包括调整相机离文本的距离，当要拍摄 的文本恰好充满整个手机屏幕，此时按下拍摄按钮，得到初始的文本图像；所述步骤S2中，调整相机的距离，使相机离文本更近些；当所要拍摄的文本局部区 域占整个文本面积的设定范围时，按下拍摄按钮；此时由于相机距离文本较近，所获得 局部图像中的文字将更加清楚。
4.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于 所述步骤S3中，局部图像跟整幅文本图像进行特征匹配的方法包括S31，确定感兴趣的特征关键点；S32，提取关键点周围区域的特征向量描述子； S33，通过特征点的欧式距离来匹配各个特征向量描述子；步骤S33中，匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要查找 与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离 最近的二个特征点，如果最近点的距离Clnearet除以第二近点的距离cU-小于设定阈值，则 认为该最近点为匹配点，否则不接收。
5.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于 所述步骤S4中，根据匹配的特征点对计算透视变换矩阵的方法包括根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定srC_p0ints为整幅文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表 示点的数目；设定dSt_p0intS为局部图像所在平面的匹配点坐标，大小为2xN; 透视变化矩阵为3X3的矩阵，使得ft其中(X1, y,, 1)为 dst_points —个点的坐标，(χ' y'1)为 src_point —个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小y。"— /· 1 ι-//· I ^l-'. , , ιι ‘‘ ".'ι r. //力._·/.. ι h.>、、'h h-M I. t / :·.!·//, i /.·'■；", ' . o
6.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于所述步骤S5中，通过透视变换矩阵对局部图像进行变换的方法包括 得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得 到变换后的局部图像，变化后的局部图像将和整幅文本图像处于同一坐标系下。
7.根据权利要求2所述的提高文本图像清晰度的方法，其特征在于 所述步骤S6包括计算有效区域，将变换后的局部图像按照有效区域进行粘贴； 有效区域的计算方法为变化之前局部图像的四个顶点，左上点，右上点，左下 点，右下点；这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这 四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；按照有效区域进行粘贴局部图像的方法为通过计算出来的粘贴区域，将要进行粘 贴的区域中，直接用局部图像像素替代原始文本图像的像素。
8.—种提高文本图像清晰度的方法，其特征在于，所述方法包括如下步骤 步骤110，获取文本全图；步骤120，将相机离的近些，拍摄文本的局部区域，得到待粘贴的清晰局部图像； 步骤130，将局部图像与文本全图进行特征匹配；步骤140，判断特征匹配是否成功；判断标准匹配上的特征点对是否达到设定 值，如低于设定值，无法计算透视变化矩阵，则判断为失败，转到步骤170，如特征匹配 对的点数达到或超过设定值，判断匹配成功，转到步骤150;步骤150，通过步骤130得到的匹配上的特征点，计算二幅图像之间的透视变化矩 阵，并将局部图像依照透视变化矩阵进行变换；步骤160，将变换后的局部图像替代原文本全图的相应区域；步骤170，判断是否还有需要拍摄的其它局部区域；如还有，转到步骤120，拍摄 文本的下一个区域，如没有要拍摄的局部区域，则转到步骤180;步骤180，结束。
9.根据权利要求8所述的提高文本图像清晰度的方法，其特征在于 所述步骤130中，局部图像跟初始文本图像进行特征匹配的方法包括步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描 述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；步骤133中，匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要查找 与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离 最近的二个特征点，如果最近点的距离C^aret除以第二近点的距离cU-小于设定阈值，则 认为该最近点为匹配点，否则不接收。
10.根据权利要求8所述的提高文本图像清晰度的方法，其特征在于 所述步骤150中，根据匹配的特征点对计算透视变换矩阵的方法包括根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定SrC_p0intS为初始文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表 示点的数目；设定dSt_p0intS为局部图像所在平面的匹配点坐标，大小为2xN; 透视变化矩阵为3X3的矩阵，使得其中(X1, y,, 1)为 dst_points 中一个点的坐标，(χ' y' 1)为 src_point 中一个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误总和最小，即下式最小W — ^ 1Iii 1J[Izl1Ll. ^Ij ,- j , — Li」Jl^llL )、i' ‘ 1 /'\"i f丨 //⑵ "“‘ //-ι r, ι f"v>/ '。
11.根据权利要求8所述的提高文本图像清晰度的方法，其特征在于 所述步骤150中，通过透视变换矩阵对局部图像进行变换的方法包括得到透视变化矩阵之后，将局部图像的每个像素点按照透视变化矩阵进行变换，得 到变换后的局部图像，变化后的局部图像将和初始文本图像处于同一坐标系下。
12.根据权利要求8所述的提高文本图像清晰度的方法，其特征在于所述步骤160包括计算有效区域，将变换后的局部图像按照有效区域进行粘贴； 有效区域的计算方法为变化之前局部图像的四个顶点，左上点，右上点，左下 点，右下点；这个四个点通过透视变化矩阵变换，得到变换后的位置坐标，然后计算这 四个变换后顶点的有效的内接矩形，此内接矩形代表要要粘贴的有效区域；按照有效区域进行粘贴局部图像的方法为通过计算出来的粘贴区域，将要进行粘 贴的区域中，直接用局部图像像素替代原始文本图像的像素。
13.—种提高文本图像清晰度的系统，其特征在于，所述系统包括摄像单元，用以拍摄整幅文本图像，同时用于拍摄该文本的各个局部区域； 特征点匹配单元，用以提取局部区域图像以及原整幅图像的特征点，进行匹配，得 到局部图像与原文本图像的对应匹配特征点；透视变换矩阵计算单元，用以根据特征点对，计算局部图像到原文本图像的透视变 换矩阵；局部图像变换单元，用以按照透视变化矩阵将清晰的局部图像进行变换； 整合单元，用以将变换后的局部图像替代整幅文本图像中对应的区域。
14.根据权利要求13所述的提高文本图像清晰度的系统，其特征在于 所述特征点匹配单元将局部图像跟整幅文本图像进行特征匹配的方法包括步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描 述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；匹配策略采用最近邻比例匹配对于二幅图像的特征点匹配，要查找与第一幅图像 中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特 征点，如果最近点的距离dnearet除以第二近点的距离cU。nd小于设定阈值，则认为该最近点 为匹配点，否则不接收；所述透视变换矩阵计算单元根据匹配的特征点对计算透视变换矩阵的方法为 根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化 矩阵；设定src_p0ints为整幅文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dSt_p0intS为局部图像所在平面的匹配点坐标，大小为2xN;透视变化矩阵为3X3的矩阵，使得
全文摘要
本发明揭示了一种提高文本图像清晰度的方法及系统，先拍摄一幅文档图像，接着近距离拍摄文档的各个局部区域；然后提取这些清晰的局部区域图像以及原文档图像的特征点，接着进行匹配，得到局部图像与原文档图像的对应匹配特征点；根据特征点对，计算局部图像到原文档图像的透视变换矩阵；然后按照透视变化矩阵将清晰的局部图像进行变换，将变换后的局部图像去替代原来文档图像所在的区域。本发明采用图像处理、计算机视觉等领域的技术，利用多幅清晰的局部文档图像去替代原来文档的所在区域，通过这种替代方式提高了图像的清晰度，也使文字更容易辨别。本发明解决了用户使用相机在拍摄一幅较大文档时，拍摄到的文本图片模糊不清的问题。
文档编号G06T5/50GK102013094SQ201010558948
公开日2011年4月13日 申请日期2010年11月25日 优先权日2010年11月25日
发明者镇立新, 黄灿, 龙腾 申请人:上海合合信息科技发展有限公司