在步骤S3120 (还被称为未对齐基线修正步骤）中，对于所识别的其端点为未对齐 端点的基线中的每一基线，基于所有获得的基线中的与该识别的基线紧邻的两个正常基线 来修正该识别的基线的未对齐端点。
[0319] 在未对齐基线修正步骤中，紧接在所识别的基线之前和之后的基线的端点被直接 连接或者拟合以生成裁定线，然后使所识别的基线朝所生成的裁定线延伸以相交，从而交 点用作该基线的修正端点。
[0320] 在步骤S3130中，基于包括修正后的基线的所有基线的端点来确定文本区域的边 界。
[0321] 下文，将参照图32至34详细描述用于左边界和右边界的文本边界确定处理的实 现。该描述针对文本区域的左对齐的情况，并且本领域技术人员可想到，这样的文本边界确 定处理可等同地应用于其它情况（例如，文本区域的右对齐、文本区域的中央对齐）。
[0322] 对于要被识别的基线的左端点，要被使用的裁定线可通过直接连接或者拟合与该 基线相邻（例如，紧接在该基线之前和之后）的基线的左端点来生成。在此情况中，预定数 量的相邻基线是两条基线。
[0323] 然后，可基于生成的裁定线来确定基线的左端点是否未对齐，例如通过判断该基 线的左端点是否在裁定线的右侧且与之相距一定距离（第三阈值，例如大于文本高度的一 半的距离，当然，其它值也是可能的）。如果是，则此左端点被标记为缩进或未对齐端点。如 图32中所示，由圆圈指示的端点被识别为未对齐端点。
[0324] 然后，对于其左端点被识别为缩进或者未对齐端点的基线，被识别的基线被向左 侧延伸，直至与裁定线相交，从而交点将作为该基线的修正左端点，并且将用于生成文本区 域的左边界。应指出，基线的延伸可被以多种方式实现。在优选实现中，基线可在左端点处 沿切线方向延伸。
[0325] 对于基线的右端点，上述的针对基线的左端点的处理也可应用于右端点以便修正 未对齐右端点。
[0326] 但是，考虑到在左对齐情况中总是存在连续缩进或未对齐（对于左对齐文本，左 侧文本区域边界上通常不存在连续缩进或未对齐的情况），为了获得右端点的更好修正结 果，优选地，可应用与用于左端点的处理不同的处理。
[0327] 在用于修正基线的右端点的处理中，首先，可通过拟合与该基线相邻的预定数量 的基线的端点来生成裁定线。该拟合可以是现有技术中的任何方式的数学拟合，诸如线性 回归，基于局部畸变为线性的假设的RANSAC(随机抽样一致性算法）等。相邻基线的数量 可被任意设定，诸如为5个，而并不局限于此。
[0328] 图33(a)示出了对于基线的右端点获得的裁定线，该裁定线被用于估计当前基线 的右端点附近的局部区域的垂直畸变，该局部区域由N条（例如，5条）基线的终端区域构 成。
[0329] 然后，可基于从相邻基线的正常端点（既非缩进也不是未对齐端点）生成的裁定 线确定该基线的右端点是否未对齐。
[0330] 对于基线的右端点，如果其在裁定线的左侧且与之相距一定距离（第四阈值，例 如大于文本高度的一半的距离，当然，其它值也是可能的）。如果是，则此右端点被标记为未 对齐端点（图33(b)中的圆圈指示）。否则，其被标记为正常端点。
[0331] 接下来，将修正所识别短基线的未对齐右端点。对于该识别的未对齐右端点（诸 如文字"权"附近的圆圈所指示的），将选择最接近该端点的两个正常端点（例如，分别由文 字"先"和"他"附近的圆圈指示的端点）。然后，使用这两个正常端点来拟合线。然后，将 被识别的基线向右侧延伸，直至与被拟合的线相交，从而交点将是基线的修正右端点，并且 将用于生成文本区域的右边界（如图33 (c)所示）。应指出，基线的延伸可被以多种方式实 现。在一种优选实现中，基线可在该右端点处的切线方向上延伸。
[0332] 基于基线的修正后端点，可改进地生成文本区域的边界。如图34所示，基于修正 的左端点和右端点分别生成文本区域的左边界和右边界。边界可通过校正相邻基线的端点 来生成。当然，其它的边界生成方式也是可能的。
[0333] 应指出，在上述描述中，基线的未对齐端点通过该基线周围的预定数量的基线被 修正，但是上述描述仅是示例性的而不是限制性的。对于其端点未对齐的顶部和底部基线 而言，顶部和底部基线可通过该基线之前或之后的预定数量的相邻基线被修正。
[0334] 下文，将参照图35描述根据本发明的第三实施例的文本区域边界确定单元，考虑 到该畸变校正设备与第一或第二实施例的区别主要在文本区域畸变信息获得单元（尤其 是文本区域边界确定单元），图35主要示出了根据本发明的第三实施例的文本区域边界确 定单元，其可与根据本发明的第一实施例的文本区域畸变信息获得单元1700或者根据本 发明的第二实施例的文本区域畸变信息获得单元2800相结合，而畸变校正设备中的与第 一或第二实施例中的那些相同的其它部件将从附图中被省去。
[0335] 该文本区域边界确定单元可直接应用于根据第一实施例的畸变校正设备，以便用 于修正所有获得的基线并由此确定文本区域的边界。在优选实现中，该文本区域边界确定 单元可被应用于根据本发明的第二实施例的畸变校正设备，以便用于修正所提取的长基线 和经延伸的短基线的全部并由此确定文本区域的边界。
[0336] 在第三实施例中，文本区域边界确定单元3500可位于根据第一或第二实施例的 文本区域畸变信息获得单元中。当文本区域畸变信息获得单元可包括被配置用于执行步骤 S210至S230中的处理的子单元时，文本区域边界确定单元3500中包括的单元可位于用于 执行上述的步骤S210中的处理的子单元中，或者位于执行上述的步骤S220中的处理的子 单元中，或者可被分布在执行上述的步骤S210或S220中的处理的子单元之间。
[0337] 或者，文本区域边界确定单元3500可在根据本发明的第一或第二实施例的文本 区域畸变信息获得单元外部与之交互。文本区域边界确定单元3500甚至可位于根据第一 或第二实施例的畸变校正设备外部。
[0338] 文本区域边界确定单元3500可包括未对齐基线识别单元3501，被配置用于识别 所获得的基线的全部（可以是原始提取的基线或者可包括提取的长基线以及通过第二实 施例的延伸处理的经延伸的基线）所提取的长基线和经延伸的基线的全部中的端点为未 对齐端点的基线；未对齐基线修正单元3502,被配置用于对于所识别的端点为未对齐端点 的基线中的每一个，基于提取的长基线和经延伸所获得的基线的全部中的紧邻所识别的基 线的两个正常基线来修正所识别的基线的未对齐端点，以及边界生成单元3503,被配置用 于利用包括修正后的未对齐基线的所有基线的端点来生成文档图像的文本区域的边界。
[0339] 优选地，未对齐基线识别单元3501可包括被配置用于基于所获得的基线的全部 中的与该基线相邻的预定数量的基线的端点来生成裁定线的单元；以及被配置用于基于所 述裁定线来识别基线的端点是否是未对齐端点的单元，其中，对于所有获得的基线中的每 一个顺序执行这样的生成和识别。
[0340] 优选地，未对齐基线修正单元3502可进一步包括被配置用于直接连接或拟合该 基线的两个最相邻基线的基线端点以生成线的单元；以及被配置用于使基线朝所生成的线 延伸以相交以使得交点用作该基线的修正端点的单元。
[0341] [有利效果]
[0342] 如上所述，已经提出了本发明的一种解决方案，其修正文档图像的文本区域中的 文本行的基线的端点，以便准确确定文本区域的边界，然后基于这样的文本区域的边界进 行校正。
[0343] 与现有技术的基于边界的方法相比，本发明的该解决方案本发明的该解决方案可 以处理四条边界都是非线性曲线构成的任意情况。
[0344] 因此，对于其中垂直畸变为非线性的文档图像，本发明的该解决方案可通过准确 确定文本区域的左和右边界来准确和有效地确定和校正文档图像的畸变。
[0345] 图36示出通过现有技术的方法和根据本发明的第三实施例的方法获得的基线校 正结果之间的比较。如图36所示，对于原始输入的文档图像，例如，通过现有技术获得的文 本区域的第一段的左边界仍稍微畸变（如图36中的中间视图示出），而这样的左边界可被 本发明的解决方案准确地检测和表示（如图36中的右侧视图示出）。
[0346] 此外，结合第二实施例，对于其中垂直畸变为非线性的文档图像，即使文本图像复 杂地畸变并且可包括多个短文本行，本发明的解决方案仍可通过准确确定文本区域的左边 界和右边界来准确和有效地确定和校正畸变。
[0347] [工业应用性]
[0348] 本发明可用于许多应用。例如，本发明可用于识别和处理通过照相机捕获的文档 图像，并且尤其对于配备有照相机的手持设备（配有照相机的移动电话）是有利的。
[0349] 应指出，本说明书中描述的方法和设备可被实现为软件、固件、硬件或它们的任何 组合。一些组件可例如被实现为在数字信号处理器或微处理器上运行的软件。其它组件例 如可被实现为硬件和/或专用集成电路。
[0350] 可采用多种方式来实行本发明的方法和设备。例如，可通过软件、硬件、固件或它 们的任何组合来实行本发明的方法和系统。上文所述的该方法的步骤的顺序仅是说明性 的，并且除非另外具体说明，否则本发明的方法的步骤不限于上文具体描述的顺序。此外， 在一些实施例中，本发明还可具体化为记录介质中记录的程序，包括用于实施根据本发明 的方法的机器可读指令。因此，本发明还涵盖了存储用于实施根据本发明的方法的程序的 记录介质。
[0351] 虽然已经参考示例实施例描述了本发明，但是本领域技术人员应当理解，上述示 例仅仅是说明性的而不是打算限制本发明的范围。本领域技术人员应理解上述实施例可在 不背离本发明的范围和精神的情况下被修改。本发明的范围由所附的权利要求限定，所附 的权利要求的范围将被给予最宽泛的解释，以便包含所有这些修改以及等同结构和功能。
【主权项】
1. 一种用于包括文本区域和非文本区域的文档图像的畸变校正设备，包括： 边界检测单元，被配置用于检测文档图像的边界； 文本区域畸变信息获得单元，被配置用于获得文本区域的畸变信息； 图像畸变信息确定单元，被配置用于基于文本区域的畸变信息和检测的文档图像的边 界确定整个文档图像的畸变信息；以及 校正单元，被配置用于基于所确定的整个文档图像的畸变信息来校正文档图像。2. 根据权利要求1所述的设备，其中，畸变信息为包含网格线的网格的形式，并且其 中，图像畸变信息确定单元被配置用于延伸文本区域的网格中包含的网格线至文档图像的 对应边界，以确定文档图像的对应非文本区域的网格。3. 根据权利要求2所述的设备，其中，图像畸变信息确定单元包括： 延伸交点确定单元，被配置用于确定网格线与对应边界的延伸交点； 网格线延伸单元，被配置用于将网格线延伸至所述延伸交点； 结点定位单元，被配置用于在从网格线到所述延伸交点的延伸线中定位结点；以及 结点连接单元，被配置用于连接各个延伸线中的对应结点以形成用于对应非文本区域 的网格，并且 其中，整个文档图像的网格基于文本区域的网格和非文本区域的网格被形成。4. 根据权利要求3所述的设备，其中，延伸交点确定单元包括： 被配置用于确定基准网格线与对应边界的基准延伸交点的单元； 被配置用于对于除基准网格线之外的其余网格线中的每一个，从基准网格线之一开 始，依次基于该网格线的端点与前一网格线的对应端点之间的距离来计算该网格线与边界 的延伸交点的单元， 其中，其余网格线中的每一个的交点被计算为使得该交点与前一网格线和文档图像的 边界的交点之间的距离和文档图像的该边界的长度的比率对应于网格线的最接近边界的 端点与前一网格线的对应端点之间的距离和该文本区域的对应边界的长度的比率，并且 其中，该文档图像的边界的长度是基于所确定的基准延伸交点被确定的。5. 根据权利要求4所述的设备，其中，延伸交点确定单元进一步包括： 被配置用于确定平行于且最接近于对应边界的网格线与平行于且最接近于基准网格 线的文档边界的辅助交点的单元； 其中，该基准延伸交点和该辅助交点被确定为使得该基准延伸交点、辅助交点、对应边 界的最接近端点和文本区域的网格的最接近拐点构成平行四边形。6. 根据权利要求3所述的设备，其中，结点定位单元包括： 被配置用于对于从网格线到对应延伸交点的每一延伸网格线，基于延伸网格线的长度 和文本区域中的网格线中的平均结点间隔确定要在延伸网格线中添加的结点的数量的单 元； 被配置用于基于各个延伸网格线的各自结点数量的统计值来确定延伸网格线中的均 匀结点数量的单元；以及 被配置用于根据所确定的均匀结点数量确定要在各个延伸网格线中添加的结点的位 置的单元。7. 根据权利要求6所述的设备，其中，要在延伸网格线中添加的结点的位置被确定为 使得延伸网格线按所确定的均匀结点数量被划分成具有相同长度的分段。8. 根据权利要求2所述的设备，其中，文本区域畸变信息获得单元包括： 基线提取单元，被配置用于提取文档图像中包括的文本区域中的文本行的基线，其中 每个文本行对应于一条基线；以及 基线延伸单元，被配置用于基于所提取的基线中包含的长基线来延伸所提取的基线中 包含的短基线， 其中，网格线基于所提取的长基线和经延伸的短基线形成以便获得文本区域的网格。9. 根据权利要求2所述的设备，其中，文本区域畸变信息获得单元包括： 基线提取单元，被配置用于提取文档图像中包含的文本区域中的文本行的基线； 未对齐基线识别单元，被配置用于识别所有提取的基线中的端点是未对齐端点的基 线. 未对齐基线修正单元，被配置用于对于所识别的端点是未对齐端点的基线中的每一 个，基于所有提取的基线中的紧邻所识别的基线的两个正常基线来修正所识别的基线的未 对齐端点，以及 边界生成单元，被配置用于利用包括修正后的未对齐基线的所有基线的端点来生成文 档图像的文本区域的边界， 其中，网格线基于所提取的基线和所生成的文本区域边界形成，以便获得文本区域的 网格。10. 根据权利要求8所述的设备，其中，文本区域畸变信息获得单元进一步包括： 未对齐基线识别单元，被配置用于识别所提取的长基线和经延伸的短基线的全部中的 端点为未对齐端点的基线； 未对齐基线修正单元，被配置用于对于所识别的端点是未对齐端点的基线中的每一 个，基于所提取的长基线和经延伸的短基线的全部中的紧邻所识别的基线的两个正常基线 来修正所识别的基线的未对齐端点；以及 边界生成单元，被配置用于利用包括修正后的未对齐基线的所有基线的端点来生成文 档图像的文本区域的边界， 其中，网格线可基于所提取的长基线、经延伸的短基线和所生成的文本区域边界形成， 以便获得文本区域的网格。11. 一种用于包括文本区域和非文本区域的文档图像的畸变校正方法，包括： 边界检测步骤，用于检测文档图像的边界； 文本区域畸变信息获得步骤，用于获得文本区域的畸变信息； 图像畸变信息确定步骤，用于基于文本区域的畸变信息和检测的文档图像的边界确定 整个文档图像的畸变信息；以及 校正步骤，用于基于所获得的整个文档图像的畸变信息来校正文档图像。
【专利摘要】本发明涉及用于文档图像的畸变校正方法和设备。用于包括文本区域和非文本区域的文档图像的畸变校正设备包括边界检测单元，被配置用于检测文档图像的边界；文本区域畸变信息获得单元，被配置用于获得文本区域的信息；图像畸变信息确定单元，被配置用于基于文本区域的畸变信息和检测的文档图像的边界确定整个文档图像的畸变信息；以及校正单元，被配置用于基于所获得的整个文档图像的畸变信息来校正文档图像。
【IPC分类】H04N1/387, H04N1/00
【公开号】CN105450900
【申请号】CN201410286936
【发明人】魏晓明
【申请人】佳能株式会社
【公开日】2016年3月30日
【申请日】2014年6月24日