图像变换方法及其装置以及图像识别方法及其装置的制造方法
【技术领域】
[0001]本发明涉及图像处理领域，具体涉及一种图像变换方法、图像识别方法以及与二者分别对应的装置。
【背景技术】
[0002]图像变换是很多图像处理操作的有益预处理步骤，例如，图像识别操作。当待识别图像的方向如图1所示不正时，图像识别操作的性能不可避免地下降，或者导致图像识别算法变得复杂而增加计算时间。所以，有益地，在进行图像识别前，首先将待识别图像转正至如图2所示的正方向。这里，“正”是指端正的、不歪斜的。
[0003]现有一些方法可以完成图像变换操作。
[0004]在一类方法中，已知图像边框为矩形。可以通过检测图像边框并将其与矩形框比对来完成图像变换，例如转正。这类方法依赖于边框检测，当边框不明显时容易变换失败。
[0005]在另一类方法中，利用已知的模板图像，由其确定待变换图像的变换目标。具体地，首先通过寻找待变换图像和模板图像中的角点找到关键点，在关键点邻域提取描述子。之后，在两个图像中基于描述子生成候选匹配对。然后，在候选匹配对中选择一组自洽的候选匹配对，并基于此生成图像间的几何变换。最后，可根据该几何变换变换待变换图像。当上述图像变换方法用于文档印刷件图像时，由于文字的角点繁多且相似度高，导致候选匹配对繁多，显著增加了计算量且容易造成变换失败。
[0006]图像变换的计算量直接影响图像识别的计算量，而且如果图像变换失败，将很可能造成图像识别发生错误。
【发明内容】
[0007]鉴于上述问题，提出了本发明以便提供一种至少部分地解决上述问题的图像变换方法、图像识别方法以及与二者分别对应的装置。
[0008]根据本发明一个方面，提供了一种图像变换方法。该图像变换方法，包括:步骤SlOO:对包含文字的待变换图像进行文字预识别；步骤S200:基于待变换图像的文字预识别结果以及模板图像的文本区域，生成待变换图像与模板图像之间的候选匹配对；步骤S300:在候选匹配对中选择自洽的候选匹配对并且根据自洽的候选匹配对生成待变换图像到模板图像的几何变换；以及步骤S400:根据几何变换变换待变换图像，使得在待变换图像中的文字与在模板图像中的对应文字大小和方向相同。
[0009]可选地，上述步骤SlOO包括:对待变换图像进行文字样式识别。其中，文字样式可以包括以下项中的一项或多项:文字字体、文字颜色、文字长宽比、文字大小和文字特殊效果O
[0010]可选地，上述步骤SlOO进一步包括:针对所预识别的文字，确定文字识别的识别置信度，其中识别置信度作为文字预识别结果的一部分。
[0011]可选地，上述步骤S200包括:识别文字预识别结果中的预定字；以及针对文字预识别结果中的、预定字以外的字生成候选匹配对。
[0012]根据本发明另一方面，还提供了一种图像识别方法。该图像识别方法包括:步骤a:按照上述图像变换方法对包含文字的待识别图像进行变换；以及步骤b:对经变换的图像进行模式识别。
[0013]可选地，上述模式识别是字符识别。
[0014]可选地，上述步骤b包括:根据经变换的图像与模板图像的文字对应关系，提取经变换的图像的结构化信息；以及根据结构化信息确定经变换的图像中的文字内容。
[0015]根据本发明又一方面，还提供了一种图像变换装置。该图像变换装置包括:预识别模块，用于对包含文字的待变换图像进行文字预识别；粗匹配模块，用于基于待变换图像的文字预识别结果以及模板图像的文本区域，生成待变换图像与模板图像之间的候选匹配对；细匹配模块，用于在候选匹配对中选择自洽的候选匹配对并且根据自洽的候选匹配对生成待变换图像到模板图像的几何变换；以及变换模块，用于根据几何变换变换待变换图像，使得在待变换图像中的文字与在模板图像中的对应文字大小和方向相同。
[0016]可选地，上述预识别模块包括:样式识别模块，用于对待变换图像进行文字样式识另O。其中，文字样式可以包括以下项中的一项或多项:文字字体、文字颜色、文字长宽比、文字大小和文字特殊效果。
[0017]可选地，上述预识别模块进一步包括:置信度确定模块，用于针对所预识别的文字，确定文字识别的识别置信度，其中识别置信度作为文字预识别结果的一部分。
[0018]可选地，上述粗匹配模块包括:预定字识别模块，用于识别文字预识别结果中的预定字；以及匹配对生成模块，用于针对文字预识别结果中的、预定字以外的字生成候选匹配对。
[0019]根据本发明再一方面，还提供了一种图像识别装置。该图像识别装置包括:上述图像变换装置，用于对包含文字的待识别图像进行变换；以及模式识别模块，用于对经变换的图像进行模式识别。
[0020]可选地，上述模式识别模块具体用于对经变换的图像进行字符识别。
[0021]可选地，上述模式识别模块包括:信息提取模块，用于根据经变换的图像与模板图像的文字对应关系，提取经变换的图像的结构化信息；以及内容确定模块，用于根据结构化信息确定经变换的图像中的文字内容。
[0022]根据本发明的图像变换方法、图像识别方法以及与二者分别对应的装置，既避免了现有技术中过分依赖边框检测的问题，又避免了现有技术中包含文字的图像变换时角点过多且相似度高以及其带来的候选匹配对繁多、计算量大、变换容易错误的问题。相应地，取得了图像变换的计算量小，正确率高的有益效果。因为图像变换的计算量小、结果准确，上述图像识别方法和其对应装置也在具有较小计算量的前提下，能够由于文字变正而取得较好识别效果。
[0023]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0024]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0025]图1和图2分别示出了根据本发明一个实施例的、两个不同方向的图像的示意图；
[0026]图3示出了根据本发明一个实施例的图像变换方法的流程图；
[0027]图4示出了根据本发明一个实施例的待变换图像到模板图像的几何变换示意图；
[0028]图5示出了根据本发明一个实施例的图像识别方法的流程图；
[0029]图6示出了根据本发明一个实施例的、经文字识别的图像的示意图；
[0030]图7示出了根据本发明一个实施例的图像变换装置的示意性框图；以及
[0031]图8示出了根据本发明一个实施例的图像识别装置的示意性框图。
【具体实施方式】
[0032]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0033]文字是人类用来交流的符号系统，是纪录思想和事件的书写形式。文字是由简单图形形成，早期更加接近图画，现在更加接近几何线条。例如拉丁字母是简单的直线、弧线和点构成。汉字主要是由直线构成，所以叫做“方块汉字”。包含文字的图像，可能包含过多图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点，也即角点。这给基于角点的图像变换带来了极大负面影响，进而也对图像识别造成了很大困扰。
[0034]为解决上述问题，根据本发明一个方面，提供了一种