墨水笔记中的表格检测的制作方法

专利名称：墨水笔记中的表格检测的制作方法
墨水笔记中的表格检测
悲旦 冃足
计算机用户习惯于使用鼠标和键盘作为与个人计算机交互的一种方式。尽 管个人计算机提供了优于印刷文档的多个优点，但是用户通常继续使用印刷纸
张来执行某些功能。这些功能中的某一些包括阅读手写文档。在注释的情况下， 由于用户放置在其上的注释，印刷文档呈现出更大的重要性。然而，具有手写 文档的困难之一是后者需要将内容输回到电子形式的文档中。这需要原始用户 或另一用户费力地读完该手写文档然后将其输入个人计算机中。在某些情况 下，用户将扫描输入手写内容和原始文档，由此创建一新的文档。这多个步骤 使得印刷文档与电子版本的文档之间的交互难以在重复的基础上处理。此外， 扫描输入的图像通常是不可修改的。可能没有方法来将手写内容与原始文本分 离。这使得使用手写文档变得困难。因此，需要一种处理手写内容的改进方法。 随着计算机和电子数据库的普及性的增加，对于数字形式的文档的有效存
储、处理和检索的需求也越来越大。文档可以是可由用户注释的、手写的或机 器生成的文档。因此，表格和其它类型的手写对象通常被包含在文档中。例如， 表格通常在文档中用于描述统计和关系信息。由此，提取手写表格在文档处理 中起很重要的作用。表格具有许多应用，包括填充数据库"该数据库随后可被 操纵或查询或将目标重定为图表。
检测和处理手写对象随着计算机系统上的电子文档的越来越多的使用和 传输而变得愈发重要。增强的支持将有助于办公自动化。
概述
检测手写文档中的表格。从绘出的笔画中导出线段，以便获得候选表格的 边界框架。因此从该边界框架、该边界框架内的线段、以及候选表格的交叉点 中识别相关联的表格结构。确定反映至少一个表格特性的分类器，并且由此确 认候选表格。
提供本概述以便用简化的形式介绍将在以下详细描述中进一步描述的一 些概念。本概述并非旨在确定所要求保护的主题的关键特征或必要特征，也不 旨在用于确定所要求保护的主题的范围。
附图简述
当结合附图阅读时，可以更好地理解以上本发明的概述以及以下较佳实施 例的详细描述，附图作为示例而非对所要求保护的本发明的限制而被包括在 此。


图1是可用于实现本发明的各方面的常规通用数字计算环境的一个示例 的功能框图。
图2示出了根据本发明的一个说明性方面的包含文本、图表、图形以及表 格的手写文档的一个示例。
图3示出了根据本发明的一个说明性方面的用于检测手写文档中的表格 的算法的流程图。
图4示出了根据本发明的一个说明性方面的图3所示的流程图的延续。
图5示出了根据本发明的一个说明性方面的解析手写文档的装置。 图6示出了根据本发明的一个说明性方面的可检测和不可检测表格。 图7示出了根据本发明的一个说明性方面的所检测到的线段的示例。 图8示出了根据本发明的一个说明性方面的笔画分段和逼近。 图9示出了根据本发明的一个说明性方面的线段的合并。 图10示出了根据本发明的一个说明性方面的用于检测表格边界框架的流 程图。
图11示出了根据本发明的一个说明性方面的合成框架线段的示例。 图12示出了根据本发明的一个说明性方面的线段的线性度。 图13示出了根据本发明的一个说明性方面的用于确定两条线段的串接强 度的各因素。
图14示出了根据本发明的一个说明性方面的用于确定一对线段的相似性 的各因素。
图15示出了根据本发明的一个说明性方面的用于确定候选边界框架的矩
形度的各因素。
图16示出了根据本发明的一个说明性方面的对候选边界框架的显著度的 确定。
图17示出了根据本发明的一个说明性方面的虚拟边界框架的形成。 图18示出了根据本发明的一个说明性方面的表格框架的标准化。
图19示出了根据本发明的一个说明性方面的表格结构识别。
图20示出了根据本发明的一个说明性方面的放弃与错误交叉点有关的线段。
图21示出了根据本发明的一个说明性方面的第i个单元格和第j个笔画的 公共区域。
图22示出了根据本发明的一个说明性方面的关于书写输入是否对应于被 确认的表格的判决树。
图23示出了根据本发明的一个说明性方面的没有表格检测的解析树的结构。
图24示出了根据本发明的一个说明性方面的带有表格检测的解析树的结构。
图25示出了根据本发明的一个说明性方面的手写文档的检测结果。 图26示出了根据本发明的一个说明性方面的表格检测的示例。 图27示出了根据本发明的一个说明性方面的表格检测的示例。 图28示出了根据本发明的一个说明性方面的检测多个表格的示例。 图29示出了根据本发明的一个说明性方面的手写文^中的歪斜的表格。 图30示出了根据本发明的一个说明性方面的通过水平地重新排列表格来
编辑图29所示的歪斜的表格。
图31示出了根据本发明的一个说明性方面的通过移动图30所示的表格内
的框架线对歪斜的表格的进一步编辑。
图32示出了根据本发明的一个说明性方面的对图29-31所示的表格的变
换以形成图表。
图33示出了根据本发明的一个说明性方面的由对象检测构架检测到的结 构化手写对象。
详细描述
本发明的各方面涉及区分书写输入的至少一部分的手迹类型。 为方便读者，下文按照小标题来分开。小标题包括术语、通用计算机、 手写文档的示例、检测手写表格的综述、预处理、检测边界框架、准表格形成、 表格结构识别、单元格内容的分析、分类器的确定、解析树的结构、实验结果、 表格检测之后的编辑、以及用于检测结构化手写对象的构架。
术语
笔可以包括或不包括存储墨水的能力的任何书写工具。在某些示例中， 不带有墨水能力的指示笔可被用作根据本发明的各实施例的笔。 一个示例是微
软的通用笔(uPen)。
笔画从笔按下(或鼠标按下)到笔提起(或鼠标提起)收集的点的时间
序列。笔画可以被分类为绘图笔画或书写笔画。绘图笔画是图形对象的一部分， 而书写笔画是书写文本的一部分。
段通过在高曲率点处切断笔画所获得的笔画的一部分。 曲线段笔画上两个端点之间的曲线路径。逼近弧的曲线段在该弧的半径 变得足够大或曲线段足够短时可以被简化为线段。
准表格由边界框架和该边界框架内的所有线段形成的候选表格。 语义表格包含诸如表格的结构和单元格内容等语义信息且因此可由软件
应用程序(例如，Microsoft Word)使用被确认的表格的结构和内容来处理的
所检测的表格。 遞册微
图l是可用于处理来自笔(例如，指示笔166)的书写输入的常规通用数 字计算环境的一个示例的功能框图。在图1中，计算机100包括处理单元110、 系统存储器120以及将包括系统存储器在内的各种系统组件耦合到处理单元 110的系统总线130。系统总线130可以是若干种总线结构中的任一种，包括 存储器总线或存储器控制器、外围总线、以及使用各种总线体系结构中的任一
种的局部总线。系统存储器120包括只读存储器(ROM) 140和随机存取存储 器(RAM) 150。
基本输入/输出系统160 (BIOS)包含诸如在启动期间帮助在计算机100 内的元件内传输信息的基本例程，它被储存在ROM 140中。计算机100还包 括用于对硬盘(未示出)进行读写的硬盘驱动器170，用于对可移动磁盘190 进行读写的磁盘驱动器180,以及用于对诸如CDROM或其它光学介质等可移 动光盘192进行读写的光盘驱动器191。硬盘驱动器170、磁盘驱动器180和 光盘驱动器191分别通过硬盘驱动器接口 192、磁盘驱动器接口 193和光盘驱 动器接口 194连接到系统总线130。驱动器及其相关联的计算机可读介质为个 人计算机100提供了对计算机可读指令、数据结构、程序模块和其它数据提供 了非易失性存储。本领域的技术人员可以理解，在示例操作环境中也可以使用 能储存可被计算机访问的数据的其它类型的计算机可读介质，诸如磁带盒、闪 存卡、数字视频盘、Bernoulli盒式磁带、随机存取存储器(RAM)、只读存 储器(ROM)等等。
多个程序模块可被储存在硬盘驱动器170、磁盘190、光盘192、 ROM 140 或RAM150中，包括操作系统195、 一个或多个应用程序196、其它程序模块 197以及程序数据198。用户可以通过诸如键盘101和定点设备102等输入设 备向计算机100输入命令和信息。其它输入设备(未示出)可以包括话筒、操 纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其它输入设备通常通 过耦合到系统总线的串行端口接口 106连接到处理单元110，但是也可通过诸 如并行端口、游戏端口或通用串行总线(USB)等其它接口连接。此外，这些 设备可以通过适当的接口 (未示出)直接耦合到系统总线130。监视器107或 其它类型的显示设备也通过诸如视频适配器108等接口连接到系统总线130。 除了监视器之外，个人计算机通常包括其它外围输出设备(未示出)。如扬声 器和打印机。
在一个实施例中，提供了笔数字化仪165和附带的笔或指示笔166以便数 字地捕捉手绘输入来为处理单元110提供书写输入(例如，手写文档)。尽管 示出了笔数字化仪165和串行端口之间的直接连接，但是在实践中，笔数字化 仪165可如本领域中已知的那样通过并行端口或其它接口以及系统总线130直
接耦合到处理单元110。此外，尽管数字化仪165被示为与监视器107分幵，
但是数字化仪165的可使用输入区域与监视器107的显示区域同广度是较佳 的。此外，数字化仪165可以被集成在监视器107中，或者可以作为覆盖或以 其它方式附加到监视器107的单独设备而存在。
计算机IOO可以使用到诸如远程计算机109等一个或多个远程计算机的逻 辑连接在联网环境中操作。远程计算机109可以是服务器、路由器、网络PC、 对等设备或其它常见的网络节点，并通常包括以上相关于计算机IOO所描述的 许多或所有元件，尽管在图1中仅示出了存储器存储设备111。图l所描绘的 逻辑连接包括局域网(LAN) 112和广域网(WAN) 113。这一联网环境常见 于办公室、企业范围计算机网络、内联网和因特网。
当在LAN联网环境中使用时，计算机100通过网络接口或适配器114连 接到局域网114。当在WAN联网环境中使用时，个人计算机100通常包括调 制解调器115或用于通过如因特网等广域网113建立通信的其它装置。调制解 调器115可以是内置或外置的，它通过串行端口接口 106连接到系统总线130。 在联网环境中，相对于个人计算机IOO所描绘的程序模块或其部分可以被储存 在远程存储器存储设备中。
手写jt"教游示賴
图2示出了根据本发明的一个说明性方面的包含诸如文本201、图表203 和213、图形211以及表格205-209的各种类型的结构化手写对象的手写文档 200。尽管手写文档200仅示出了手写成分，但是本发明的各实施例也支持可 以用手写对象来注释的机器格式化的内容。
随着诸如图形输入板PC和电子白板等基于笔的设备的引入，已经有了由 一整页或甚至是多页组成的在线文档或墨水笔记。典型的手写文档页面可包含 诸如图2所示的不同类型的表格(例如，表格205-209)、图表(例如，图表 203和213)、图形(例如，图形211)以及文本(例如，文本201)等不同的 所绘实体。通常，对扫描的或在线文档中的手写表格的检测和识别比在印刷文 档中更困难。例如，手写表格的符号和布局与具有直线结构，即完全由m列和 n行组成的划线或未划线的水平表格相比通常更加不规则且复杂。表格可以被
其它内容紧密地包围或甚至重叠，使得表格隔离会提出附加的问题。手写表格 可包括不完整的边界框架(例如，如图6所示的表格603)，并且可以带有绘
图不规则性(例如，覆盖痕迹(over-traced)或串接的笔画，或通过如图25-31 所示地歪斜表格)来绘出。此外，如将讨论的，所检测到的表格被进一步处理 以确定相关联的表格结构。
舒層拷表潜雌遂
图3示出了根据本发明的一个说明性方面的用于检测手写文档中的表格 的算法的流程图300。图4示出了根据本发明的一个说明性方面的流程图400， 它是图3所示的流程图300的延续。以下讨论提供了本发明的一个实施例的概 述，并且将被更详细地讨论。
过程301从包含在手写文档中的绘图笔画中获得线段。线段的方向由过程 303来确定和封闭(bin)。为了确定表格的方向(可能如图29所示是歪斜的)， 选择直方图峰值。对于表格，另一直方图峰值通常在离所选峰值大约90度处 出现。
过程305确定候选表格的边界框架。从最低到最高逐个地测试直方图的峰 值，以便搜索边界框架。如果边界框架是完整的，则过程305试图通过插入线 段来完成边界框架。
在形成了边界框架之后，过程307通过从线条列表中收集该边界框架内的 所有线段来形成准表格(候选表格)，这些线段可以是框架线。过程311标准 化该准表格以用实质上水平的线段替换近乎水平的线段，并用实质上垂直的线 段替换近乎垂直的线段。后续过程通过确定一概率度量并确定该概率度量是否 高于一预定阈值来确定该准表格是否是"真实的"表格(被确认的表格)。
过程313通过分析该准表格的交叉点的类型来识别该准表格的相关联结 构。表格可能具有不同类型的交叉，包括如图19所示的T接点、十字交叉以 及直角接点。
流程图400以逻辑连接315来继续流程图的逻辑流程。过程317找出每一 表格单元格的内容并检查穿过框架线的笔画数以确定与该内容相关联的置信 等级(度量)。如果该准表格具有太多穿过框架线的笔画，则该准表格因此可 被拒绝成为被确认的表格。
过程319从先前确定的置信等级来确定线性分类器，以获得该候选表格是
被确认的表格的总置信等级。过程321将该线性分类器与一预定阈值进行比较。 如果该线性分类器小于或等于该预定阈值，则执行退出过程325。在这一情况 下，可分析手写文档的一新区域以找到检测的表格。如果该线性分类器大于该 预定阈值，则将该准表格(候选表格)认为是被确认的表格，并且可执行对被 确认的表格的进一步处理(例如，如图30-31所示的编辑)。
图5示出了根据本发明的一个说明性方面的解析手写文档(在线文档或墨 水笔记)501的装置500。该装置包括前导引擎503、表格检测器505和其余引 擎507。
装置500支持高级解析器的流水线，其中整个在线文档501作为输入来处 理。高级解析器的引擎509、 511和513在表格检测引擎505之前，并且可帮 助进行表格检测。在线文档501可包含诸如文本、图形、流程图和表格等各种 语义实体。引擎509-513在表格检测之前被应用于在线文档501。首先，引擎 509 (书写解析器)进行基本的书写/绘图(W/D)分离并将书写笔画分组成三 个等级字、行和段。W/D分类引擎511随后基于特种特征来确定墨水笔记中 的一笔画是书写还是绘图。在W/D分离之后，仅绘图笔画用于检测表格框架 线。最后，未知绘图对象分组引擎513对附近的书写字和绘图笔画进行分组， 使得该手写对象在空间上被分离。每一手写对象是由之后的引擎，例如其余引 擎508检测到的潜在语义对象。尽管引擎509-513是在表格检测之前应用的， 但是如果处理时间不是关键的，则表格检测器505可以不依赖于引擎509-513， 因为表格检测器505可以检测线段并自己将线段分组成框架。W/D分离有助于 縮小候选笔画的范围，而未知对象分组有助于框架分段。如将讨论的，表格单 元格内容测试533有助于纠正来自书写解析器509的分组误差。表格检测器505 能够检测墨水笔记中的表格，并提取所检测的表格的结构。此外，表格检测器 505可以独立于引擎509-513来操作。然而，基于先前的解析结果来检测表格 可以加速该过程并具有更高的准确度。
表格检测器505包括预处理器515、特征提取器517和分类器519，并向 其余引擎507提供语义表格521。预处理器515包括从未知的绘图对象收集所
有线段的线分段器523以及按照对应的空间位置将线段分组成不同区域的线块
分段器525。
特征提取器517包括表格边界框架检测器527、表格框架标准化器529、 表格结构识别器531以及表格单元格内容测试器533。表格边界框架检测器试 图找出表格的边界框架。如果不存在完整的边界框架，则表格边界框架检测器 进而检测虚拟边界框架。表格框架标准化器529标准化候选表格(准表格)， 使得近乎水平的线段被实质上水平的线段代替，而近乎垂直的线段被实质上垂 直的线段代替。表格结构识别器531通过分析交叉点的类型来识别候选表格的 结构。表格单元格内容测试器533找出每一表格单元格的内容并分析穿过候选 表格的框架线的笔画。将讨论对表格边界框架检测器527、表格框架标准化器 529、表格结构识别器531和表格单元格内容测试器533的进一步讨论。
分类器519包括分类模块535和语义表格生成器537。分类模块535从由 框架提取器517提供的先前确定的置信等级中确定总置信等级(分类器)。如 果分类模块确认候选表格(例如，分类器大于预定阈值)，则生成器537从候 选表格中生成语义表格。
在一个实施例中，表格检测器505可检测两种类型的表格带有或不带有 完整的边界框架。对于两种类型的表格，内部框架线应当是明确的。否则，所 提取的结构信息可能是不正确的。当边界框架完整时，可检测到Microsoft Word支持的任何表格结构。对于具有一行或一列的表格，可能需要附加语义 信息，因为许多图示都包含类似的结构。
当边界框架不完整时，在存在其长度分别接近表格的^度和高度的至少一 .条水平线和一条垂直线时检测到表格。此外，边界框架应当由0或2条平行线 组成，并且至少一个表格单元格应包含书写笔画。
书写/绘图分类由W/D分类引擎511来提供。如果在装置500中没有配置 引擎511，则表格检测器505测试在该表格单元格中是否有笔画。因此，准确 度可能会略微降低。至少一个表格单元格应包含书写笔画以便区分该手写对象 是表格还是仅仅是特定的图，例如，Go棋谱。
表格检测器505被设计成能稳健地处理以下情况
1.表格可能具有各种类型的复杂结构，并且不需要对表格结构的先验知识。
2. 表格不需要是水平的。 一页上的多个表格可以是不同的方向。
3. 框架线可以被覆盖痕迹、被串接、或在一个或多个笔画中结束。
4. 表格在修改后仍能被检测到，只要修改的对象仍是表格。
5. 如果在一页中有许多表格，则它们都能被检测到，即使它们是并排的 导致表格边界模糊。
表格检测器505还提取结构信息，使得表格编辑(例如，旋转、缩放、移
动整个表格、移动框架线，单元格内容的对齐)能得到支持。逻辑上，表格检
测器505由以下处理阶段构成。在预处理阶段(例如，预处理器503)，对绘 图笔画进行分段，并用一线段序列来逼近，该线段序列被分组成空间上分开的 框架。在检测阶段(例如，表格检测器505)，找出边界框架。当没有真实的 完整边界框架时，如有可能，形成虚拟边界框架。(例如，参考图6中的表格 607，将虚拟线段623和625与虚拟边界框架607相结合)。边界框架连同该 边界框架内的所有线段一起形成了准表格(候选表格)。其次，标准化该准表 格。第三，识别表格结构，第四，测试表格单元格内容。在以上四个步骤中分 别提取了四个表格特征。只要一特征超过其阈值，检测过程就可以终止。否则， 应用组合了四个表格特性(度量)的最终线性分类器，并生成最终的语义表格。 否则，没有检测到任何表格。
图6示出了根据本发明的一个说明性方面的可检测和不可检测表格的示 例。根据以上讨论，表格601、 607、 609和613是可检测的，而表格603、 605、 611和615-619是不可检测的。
图7示出了根据本发明的一个说明性方面的检测到的线段701-723的示 例。顶行(笔画701-711)示出了输入笔画。底行(笔画713-723)示出了在逼 近之后的线段。输入笔画701示出了具有勾的笔画。输入笔画703示出了具有 自我覆盖痕迹的笔画。输入笔画705示出了由两条线段逼近的笔画。输入笔画 707示出了带有圆角的笔画。输入笔画709示出了由三条线段逼近的笔画。输 入笔画711示出了由四条线段逼近的笔画。
笔画线分段从未知的绘图对象中收集所有线段。由于用户可能在单个笔画 (例如，输入笔画705-711)中绘出若干框架线(诸如边界框架)，因此不应 当仅检査接近线段的那些笔画。线分段和逼近(对应于图3所示的过程301和 图5所示的预处理器515)对笔画进行分段和逼近并从绘图笔画中收集作为候 选框架线的所有线段。尽管用户可能在一笔画中绘出若干框架线，但是用户通 常在绘出表格时不会在单个笔画中绘出多于四条框架线(诸如边界框架)。因 此，可以仅考虑满足以下条件的绘图笔画-
1. 可以由1到4条线段来逼近的，以及
2. 相继线段之间的转角应当接近O度、或卯度、或180度。
图8示出了根据本发明的一个说明性方面的笔画分段和逼近801-807。对 于绘图笔画，首先通过计算在等式1 (将更详细讨论)中表达的线性度特性来 测试它是否接近线段。如果该线性度特性不对应于线段，则该笔画被分段并逼 近。图8示出了笔画分段和逼近的过程。首先，应用多项式逼近算法来用相连 的线段逼近每一绘图笔画，直到规定的误差容限(如由笔画801所示)。注意， 应当执行去勾(de-hook),即，应当丢弃笔画末端因无意的手抖动而导致的勾 (如由笔画803所示)，使得相关联的噪声被移除。其次，选择具有最大曲率 的三个点(对应于笔画801-807中的浓点)，这些点将笔画分段成四个子笔画。 对于线段数小于四的情况，选取所有的点。第三，根据两个端点的几何信息用 线段来逼近子笔画。对于一个实施例，不使用最大平方误差拟合，因为拟合可 能会消耗大量的计算。注意，线段可能不会越过曲率极值(如由笔画805所示)。 笔画逼近包括以下步骤 " 如果子笔画中的相连线段不是近乎平行的，则该笔画不能是矩形的一
部分，并且转向下一绘图笔画。
否则，子笔画中的近乎平行的线段(例如，图9所示的线段905-909) 被合并成一新线段(例如，线段915)。该新线段通过要合并的第一 条线段和最后一条线段的两个中点(对应于中点911和913)。该新 线段的起始点和结束点是逼近线段的起始点和结束点(对应于图9所 示的点901和903)分别在该新线段上的正交投影。 第四，合并或删除逼近线段。 1. 如果相继线段的方向近乎相同，则将其合并为单个段。合并过程 与第三步的相同。
2. 如果一线段的方向与其前导先前和后续线段相反，则它可以是该 线段的自我覆盖痕迹部分。因此删除它并且重新计算逼近线段。
3. 如果线段太短并且其前导线段和后续线段接近正交，则删除它们， 并且重新计算逼近线段(如由笔画807所示)。
4. 如果剩余线段数大于1，则检查剩余线段是否与其前导线段和后续
线段都接近正交。如果有四个线段，则还应当测试第一和最后一 个段的正交性。如果否，则该线段必然不是矩形的一部分。
5. 如果仅剩下一条线段或者剩余的线段通过了前一步中的测试，则
将剩余线段添加到线条列表，该列表储存了所有可能的候选框架 线。
线块分段
在线分段和逼近之后，所选择的笔画由其逼近线段来表示。在一页上可能 有多个表格。为检测所有这些表格，将在前一步中获得的线段按照其空间位置 分组成不同的区域。 一区域内的线段被认为是一线块。对每一线块，其中的所 有线段被储存在一线条列表中。然后构建一直方图以对围绕每一方向的线段的
数目计数。该直方图中的每一峰值对于表格可以与离其大约90度的另一峰值 相关联，这可能不是水平的。表格检测器检查每一峰值和相关联的分支以找出 是否有表格。如果检査了一整个块，则表格检测器转向下二块。
检纖雜菜 检测真实的完整边界框架
图10示出了根据本发明的一个说明性方面的用于检测表格边界框架的流 程图IOOO。图IO所示的过程试图找出表格的边界框架。如果不存在完整的边 界框架，则该系统进而如由过程1007所示地检测虚拟边界框架。
首先，从与每一方向范围相关联的多个线段的直方图中，选择其方向接近 或垂直于对应于一峰值的方向的线段。从最高到最低逐个测试直方图的峰值。
应用旋转，使得线段在近乎水平或垂直的方向上。然后如由过程1001所执行 地构建水平线条列表和垂直线条列表。
过程1003确定四条线段形成一边界框架的置信等级(PBF)。対Pbf的摘
定将更详细地讨论。过程1005然后确定该置信等级是否大于一预定阈值。如 果是，则过程1011收集边界框架内的所有线段并在过程1013中形成准表格。 如果置信等级小于或等于预定阈值，则过程1007试图构造一虚拟边界框架。 如果不可能，则该处理在过程1009中退出。
当需要处理覆盖痕迹和串接的框架线时，线条列表也储存作为某些可串接 和近乎平行的原始线段的组合的所有合成线段。图11示出了根据本发明的一 个说明性方面的合成框架线段1101-1105的示例。
测试两条水平线段和两条垂直线段(原始的或合成的)的所有可能组合以 如下所述地从四个度量(线性度、相似度、矩形度和显著度)计算形成边界框 架的可能性Pbf。
线段的线性度力
图12示出了根据本发明的一个说明性方面的线段的线性度度量。线性度 度量力描述了一线段(原始线段或合成线段)能多好地逼近由其表示的一个或 多个笔画。如果该线段是原始的(线段1201)，则该线段对应于它所逼近的笔
画1207的线性度<formula>formula see original document page 17</formula>(等式1)
其中Bw和Bh是其主要方向通过最小平方来计算的笔画的歪斜边界矩形的宽度 和高度，而L是该笔画的长度。注意，Bw/(Bh+Bw)测量了一笔画的平坦度，而 Bw/L测量了该笔画的波动。
如果该线段是合成的(对应于线段1203和1205)，则度量/i是组成笔画 1209和1211的线性度与相继笔画之间的串接强度fcon，的乘积
<formula>formula see original document page 17</formula>
(等式2)
其中fc。n = 1- e (A p + B) - C . p (1 + |d|)2，其中(假设线段是近乎水平的) e是两条线段(对应于线段1301和1303)之间的锐角(对应于图13所示的e
1309) ， p (对应于pl307)是连接点之间的水平距离，而d (dl305)在两条 线段彼此交叉的情况下为0，否则是两条线段的端点之间的垂直距离。图13 示出了根据本发明的一个说明性方面的用于确定两条线段的串接强度的各个 因素。
A、 B和C是根据经验确定的某些正参数。注意，如果两条线段在水平方 向上重叠，则p为负。串接强度fe。n在d、 p和e上是单调的，因此串接强度适 合人们的直观。如果两条线被完美地串接，则值为"1"。
线段对的相似度^
图14示出了根据本发明的一个说明性方面用于确定一对线段1401和 1403的相似度的各因素。相似度度量fp示出了两条线段是否可以是对应于真 实表格的底线和顶线(或左线和右线)的一对线段。相似度度量fp被定义为
<formula>formula see original document page 18</formula>
(等式3)
其中(假设线段近乎水平，如图14所示)0i E (-兀/4，兀/4)是第i条线 段的锐角，li是第i条线段的长度，而Pj是线段的端点的从左到右的四个后续 投影点。(等式3中包含的参数对应于图14所示的参数1405-1415)。用于矩 形对象的一对线段的线段具有共同的特性，即，线段具有大致相等的长度和方 向，并且必须对齐其中心。相似度度量fp反映了该共同特性。
可能边界框架的矩形度力
图15示出了根据本发明的一个说明性方面的用于确定候选边界框架的矩 形度度量的各因素。矩形度度量&描述了四条线是矩形区域1501中的真实矩 形1509的边框线的可能性。它由以下三个分量度量构成
四个方向(左、右、上、下)上的线段和边界框架之间的相对最
小距离(如在矩形区域1501中示出的)
<formula>formula see original document page 18</formula>(等式4)
其中Ab 1510是边界框架的底线段的端点和底部之间的较小距离，而 At 1511、 Al 1512和1513如图15所示类似地定义。
相继线段之间的四个锐角的平均值(如由矩形区域1503所示，
例如，0!是线段1517和1519之间的角)
<formula>formula see original document page 19</formula> (等式5)
力"有效"长度与"总"长度之比。"有效"长度是线段的长度和 相继线段之间的部分的长度两者中的较小者，而"总"长度是线段的 整体长度加上其端点与其相继线段之间的可能间隙(如由矩形区域
1505所示的，例如，长度1521是线段1525的总长度，而长度1523
是线段1525的有效长度)
<formula>formula see original document page 19</formula>
矩形度度量&是f:nin、 fangle和fvl的线性组合。它从形状、角度和长度的方 面示出了四条线能多好地适合一矩形的四条边框线。
可能边界框架的显著度/,
图16示出了根据本发明的一个说明性方面的对候选边界框架的显著度的
确定。显著度度量f;示出了一表格如何与其它外部笔画隔离。如果在可能的边
界框架周围有许多笔画，则被该边界框架所包围的区域可能不是表格，并且显
著度度量fs应减小。可能边界框架的灵敏框B2 1603和边界框Bt 1601之间的 区域，其中B2和Bi是同心的，并且称为灵敏率的其尺寸之比大于1。该灵敏
率是系统参数。显著度j;被定义为
<formula>formula see original document page 19</formula> (禁，7)
入——B,中所有笔画的数量 、寺工、〃 其中脏笔画(例如，笔画1605-1609)是在B, 1610外部且接触灵敏区域的笔 画。
如上所述，四个度量fi、 fp、 f;和f;描述了边界框架的特性。如果这四个 度量中的任一个低于其对应的阈值，则四条线段被拒绝，否则以上四个度量的 线性组合形成边界框架的四条线段的置信度pBF。如果最大p^超过一阈值， 则可提取相应的四条线段以判定这些线段是否形成边界框架。
检测虚拟边界框架
图17示出了根据本发明的一个说明性方面的虚拟边界框架的形成。如果 没有找到真实的完整边界框架，则装置500进而检测是否有不带完整边界框架
的表格。表格检测器505从确定如由线段集1701所示的一组准长度正交线段 开始。水平和垂直线条列表都从长到短进行排序。随后，表格检测器505交替 地搜索水平线条列表和垂直线条列表，使得下一所选的线段与从其它列表中选 择的所有线段相交，并且其长度和垂直(水平)位移都接近从同一列表中选择 的先前的线段的长度和位移。如果找到一组相交的线段1703，则通过对相应线 段(对应于线段1705-1711)的端点的线性回归获得虚拟边界框架(具有要么 是水平要么是垂直的组成线)。最后，表格检测器505判定一线段是否属于该 边界框架。(注意， 一个实施例的表格检测器505被设计成检测具有0或2条 平行边框线的表格)。如果找到边框线，例如底线1709，则调整该虚拟边界框 架。在确定了虚拟边界框架之后，表格检测器505如对真实的完整边界框架那 样继续。
形成准表格
在检测到真实的或虚拟的边界框架之后，然后通过从线条列表中收集在该 边界框架内的所有线段(可以是框架线)来形成准表格。将该组线段称为"准 表格"是因为该组线段是真实表格的候选，并且处理到此点处不能判定它是否 真的是表格。
表格框架标准化
图18示出了根据本发明的一个说明性方面的表格框架的标准化。为了获 得准表格1800的结构并简化后续计算，该过程标准化准表格1800，使得近乎 水平或垂直的线段被实质上完全水平或垂直的线段来代替。(例如，对于标准 化的准表格1850，线段1853代替了线段1851)。该过程还确定一垂直线段是 否与一水平线段相交。以下讨论提供了对标准化度量Pn。m的标准化和计算的 步骤，该度量测量了交叉的质量。假设一准表格具有m条水平线和n条垂直线， 则计算所有m*n个交叉点，并记录关于两条线是否真正相交或能通过延长它们
来彼此相交的信息。这可通过计算以下等式来获得
尸=(1 —户)^+;^2 (等式8a)
2 = (1-《fc+^2 (等式8b) 其中P是水平线，Pu = [xu, yu]T和Pi2 = [xi2， yi2]T分别是线P的起始点和结束 点，而p是标量数量的参数。等式8b中的参数被类似地定义。
对P-Q求解以上等式，可得到p和q的值，从这些值中可获得两条线的 交叉信息。对于每一(i,j)，可以获得值Pij和qij，并且因此获得两个度量PmX n和QmXn,它们描述了准表格的交叉信息。以下步骤将标准化所述线和交叉点。
力)=(1 - (/))2,x + gC0e,x (等式9a)
力)=(1-4)化.少+;^化2.少 (等式9b)
其中P(i) = (Pii + Pi2 + + Pin)/n (1 S i ^ m)且q(j) = (qij + q2j + . + qmj)/m (lSj^n)。因此，归一化之后的第i条线可以由分别作为起始点和结束点的两
个新的点Ps(i)和Pe(i)来表示。
尸,(0.x = x(l)尸,(Oj =少(O (等式1 Oa )
A (/〉jc = x(") A (/》=力) (等式1 Ob)
第j条垂直线可以被类似地表达。标准化了所有水平和垂直线之后，可计算标 准化的交叉点。最后，调整具有m个水平和n个垂直交叉点的表格的几何信息。 同时记录该交叉信息，即两条线是否真正相交。随后，可计算标准化度量Pn。^， 该度量可由以下两个子度量的线性组合形成交叉分量度量fto和有效框架线 分量度量fvfl。
交叉分量度量fint测量交叉的质量。它被定义为"坏"^交叉点的数量与所
有交叉点的数量之比。"坏"交叉点(例如，交叉1803)是被判定为交叉点、
但相应的两条线段并没有真正彼此交叉的点。
(—，"坏"交叉点的数量 ^楚寸"、 /int=所有交叉点的数量 (寺式ll)
有效框架线分量度量fvfl测量表格框架的干净度。如果有许多笔画穿过框
架线，则引擎将拒绝一候选表格。它被定义为无效线段的数量与所有线段的数
量之比
f ——，无效线段的数量 ^"M"
入力—所有线段的数量 、寺工、u
其中"无效"线段仅有一个交叉点(例如，线段1801)。无效线段和不与任何 其它线段相交的线段被放弃，使得它们不会影响表格结构。以上两个分量度量 被线性地组合以形成用于标准化准表格的标准化度量(置信等级)Pn。m。
表潜券餘激
图19示出了根据本发明的一个说明性方面的表格结构识别。在标准化之 后，获得所有线段的交叉信息或交叉关系。表格检测器505通过检查交叉点的 类型来识别表格的结构。有三种类型的交叉点十字交叉1901 (对应于表格
1906中的交叉点1907) 、 T接点交叉1903 (对应于交叉点1909)以及直角交 叉1905 (对应于交叉点1911)。如果一交叉点不是边界框的四个角之一，则 该交叉点只能是十字或T接点。图20示出了根据本发明的一个说明性方面的 放弃与错误的交叉点2009和2021有关的线段。如果直角类型的交叉点不存在 并且不是四个角的点之一，则表格检测器试图通过用以下方式检査与交叉点有 关的线段来移除此交叉点
如果交叉线段是原始的，则表格检査器505放弃该线段，例如，对于
准表格2001的错误的交叉点2009，放弃线段2005和2007。
否则，该线段由若干线段组成。表格检测器505按照其与错误的交叉 点2021的距离来放弃组成线段2011-2015，直到剩余的线段形成用于 准表格2003的有效表格结构。 在放弃了某些线段之后，获得了准表格的结构。然后，根据其左上角的坐 标从左到右然后从上到下对表格单元格排序。表格1906 4单元格排序的一个 示例。该步产生结构置信等级Pstr:
— (等式13)
N总交叉
其中N错误交叉是直角类型的、但不是表格边界框架的四个角的点之一的错误的交 叉点的数量，而N总交叉是所有交叉点的数量。
卓i潜/^吝游分析
图21示出了根据本发明的一个说明性方面的第i个单元格2101和第j个 笔画2103的公共区域。在这一过程之前，表格检测器505尚未确定一准表格
是否是真正的表格。如上所述，如果有太多的笔画穿过框架线，则表格检测器
505将拒绝一表格。该过程找出每一单元格的内容以完成表格信息，并且还检
查穿过框架线的笔画数以评估成为真正表格的置信度。单元格内容测试按照其
在一对象的边界框内的公共区域的比例来检查每一单元格的边界框以及包含
当前准表格的未知绘图对象中的所有对象(诸如段、行、字和笔画，在旋转之
后)的边界框。这是从顶级到底级来完成的。即，如果一段被判定为在一单元
格内，则测试停止。否则，继续测试线，依此类推。该过程可继续到笔画级。
对于绘图笔画，如果未知绘图对象分组引擎也分层地对绘图笔画分层，则测试
也是自顶向下的。该过程可以纠正来自先前的引擎的分组错误。例如，过度分
组的段、行或字可被拆分成在不同单元格内或在表格外的更小的部分。这一步
产生了内容输出的置信等级P②n。它被定义为<formula>formula see original document page 23</formula>(等式14)
其中A;/ 2105是第i个单元格2101和第j个笔画2103的边界框的公共 面积，Ai是第i个单元格的面积，Bj是第j个笔画的边界框的面积，)iij是反映
第j个笔画与第i个单元格的框架线的位置关系的参数，而N^和N^ke是分 别与单元格的框架线相交的单元格和笔画的数量。引入)lij是出于这样的考虑
如果笔画在框架线上，则置信等级在其接近框架线的末端时应比在其接近中心 时减少得更多，因为笔画通常是箭头的。如果一准表格具有虚拟边界框架并且 任何单元格中都没有书写笔画，则该准表格立即被拒绝。
实际上，表格检测器505动态地计算特征以便处理某些复杂情况，诸如若
干表格太靠近以致于无法将它们彼此分开，或者表格被修改了太多次数。例如，
如果表格检测器505不能判定手写输入是对应于两个彼此靠近的表格还是仅一 个大表格，则表格检测器505应当将这两种情况都认为是正确的。表格检测器 505分别计算两种情况中的所有度量，并随后比较最终的置信等级以找到较高 的那一个。当计算度量时，应用惩罚和鼓励(penalty and inspiring)机制，即， 如果一线段在一种情况下可被认为是表格的底线而在另一种情况下可被认为 是表格的顶线，则该度量值应被惩罚。
分类器細定
图22示出了根据本发明的一个说明性方面的关于书写输入是否对应于确 认表格的判决树2200。如上所述，摘定四个度量Pbf、 Pn。rm、 Pstr和Pc。n，它们
各自反映了表格的特性。 一个实施例可使用各种分类方案之一来得出结论。例
如，表格检测器505使用线性地组合四个度量的线性分类器(例如，相关联的
置信等级)。可以指定总置信度作为四个度量的线性组合
尸—。"=+ K尸應+ + K尸c。" (等式1 5 )
其中权重Wi (1SiS4)都是正值。采用表格检测器505，逐步地确定参 数和阈值。参数和阈值首先根据经验来选择。参数和阈值被手动调整以近似地 最小化表格检测结果误差。例如， 一个人可处理20个测试页面并检查相应的 结果。该过程可被重复多次。'所使用的参数和阈值可能不是最优的，但是如将 在以下解释的，自动调整可能是困难的。表格检测器505并不总是执行所有的 度量比较(对应于步骤2201-2209)。如果对应的置信等级对于一相应步骤太 低，则表格检测器505可立即终止并转向下一候选表格。如果总置信度Pftsi。n 超过一阈值(对应于步骤2209)，则表格检测器判定候选表格是真正的表格(对 应于步骤2213)，并输出语义表格。否则，没有检测到表格(对应于步骤2211)， 并且表格检测器505检査下一候选表格。
除了线性分类器之外，本发明的各实施例可利用其它类型的分类器。例如， 非线性分类器可包括其中度量取除1之外的其它数次幂的项。此外，分类器可 由支持矢量机或神经网络来提供。
微觸微
图23示出了根据本发明的一个说明性方面的没有表格检测的解析树2300 的结构。包括手写文本的绘图对象2301被相继解析成段(段对象2303)、行 (行对象2305)、字(字对象2307)和笔画(笔画对象2309-2311)。
图24示出了根据本发明的一个说明性方面的带有表格检测的解析树2400 的结构。手写文档可包括不同类型的结构化对象，包括手写文本和表格。如同 解析树2300 —样，解析树2400将文本(绘图对象2403)相继解析成段、行、 字和笔画。并且，解析树2400可解析表格(对应于表格2401)。因此，解析 树2400将表格(对象2401)解析成框架(框架对象2405)和单元格(单元格对象2407)。此外，解析树2400可支持如将在以下讨论的其它类型的结构化 对象(例如，绘图对象类型2409)。
魏祭菜
图25示出了根据本发明的一个说明性方面的手写文档的检测结果2500。 如在图25中高亮的，表格2501、 2503和2505己被表格检测器505正确检测 到。图26示出了根据本发明的一个说明性方面的表格检测的示例。手写文档 2600的表格2601在处理的文档2650中被正确地检测为如高亮的已检测表格 2651。图27示出了根据本发明的一个说明性方面的表格检测的示例。手写文 档2700的表格2701在处理的文档2750中被正确地检测为如高亮的已检测表 格2751。此外，本发明的各实施例可检测文档内的多个手写表格。图28示出 了根据本发明的一个说明性方面的检测多个表格2801-2807的示例2800。
测试数据集具有378个墨水笔记，这包含以英语书写的195个手写文档， 以中文书写的84个手写文档，以法语书写的44个手写文档和以德语书写的55 个书写文档。许多墨水笔记都是多页的。墨水笔记是从许多不同的人收集的， 而对书写文档的风格没有任何限制。墨水笔记可包含文本、图形、图表、流程 图、表格等等。表格可以随机地以任何大小和歪斜度来绘制。
由于所检测的结构化图形对象和实际的结构化图形对象之间的不同分组 或不同结构，对表格检测的评估通常是困难的。分组差异涉及分量的不同分组。 例如，当几个表格彼此太靠近时，这些表格可被检测为单个表格或多个表格， 或甚至是几个表格加上几个非表格。结构差异涉及分量之间一的不同关系。例如， 用于一个表格的框架线集与该实际表格的框架线集相同，但是框架线之间的交 叉关系不同，导致不同的表格。这些困难使得对所检测的表格和实际表格的正 确对齐变为有挑战性的问题。因此，人类检查可能是唯一的手段。
表微激之扁编齊
在提取了表格结构信息之后，可执行表格编辑，诸如旋转、縮放、移动整 个表格、单元格内容的对齐、到字符的变换等等。墨水解析器演示系统(对应 于装置500)的某些表格编辑示例在图29-32中示出。图29示出了根据本发明
的一个说明性方面的手写文档2900中的歪斜的表格2901。图30示出了根据本 发明的一个说明性方面的通过重新排列己处理文档3000的表格3001来编辑图 29所示的歪斜的表格。图31示出了根据本发明的一个说明性方面的通过移动 框架线3103-3105对歪斜的表格2901的进一步编辑以形成被处理文档3100的 己编辑表格3101。
可编辑手写表格以便于用户查看。此外，手写表格的内容可被移植到软件 应用程序以便将内容变换成另一结构化对象(例如，图32所示的图表3201)。 图32示出了根据本发明的一个说明性方面的对图29-31所示的表格的变换以 形成图表3201。
^f检/，錄称众手写对亲游沟,
图33示出了根据本发明的一个说明性方面的由对象检测构架检测到的结 构化手写对象3300。
如上所述，本发明的实施例提供了能够从在线手写文档中提取自由风格的 表格的稳健的表格检测系统。表格检测通常是具有挑战性的任务，因为手绘表 格的划线和布局通常比印刷表格的划线和布局要不规则和复杂得多。本发明的 各实施例可以被扩展并应用于其它结构化手写对象，诸如流程图、组织图表、 条形图或饼图以及注释，它们具有可以没有歧义地定义的结构。例如，由于结 构化图形对象的图元结构包括组成对象(例如，有向线、矩形以及圆圈，如对 于结构图形对象3300所示的)，因此结构化图形对象检测器可用对检测与表 格检测器505有关的图元结构和逻辑结构的适当修改来检^结构化图形对象。 线段可以用曲线段来概括。例如，圆圈可以从其中可获得弧形段的一个或多个 笔画形成。 '
本发明的各实施例提供了一种用于检测结构化手写对象的构架。例如，可 基于图5所示的装置500的检测装置支持以下特征(能力)
>检测图元结构一结构化图形对象通常包括图元结构。例如，如上所述， 表格包括诸如划线和边界框等组成对象。相关联的功能对应于先前对 预处理和检测边界框架所讨论的功能。当检测图元结构时，可检查直 方图(与具有相关联方向的段有关)中的峰值，在这些峰值中，段具
有除水平或垂直方向之外的不同方向，例如，段可能具有用于三角形 或菱形对象的对角方向。 >从图元结构中检测逻辑结构一当检测逻辑结构时，确定组成对象之间 的关系。例如，参考结构化手写对象3300，已知的规则可指示至少两 条有向线应存在于矩形(可以表示具有多个存储器单元的存储器位置) 和圆圈(可表示组合元素)之间。此外，本发明的各实施例可以通过
用包括其它结构化对象类型(例如，如图24所示的绘图对象2409) 扩展解析树2400来支持其它类型的结构化手写对象。相关联的功能对 应于先前对准表格形成、表格结构识别和单元格内容分析所讨论的功 能。
>总体检测和分类一对结构化手写对象的检测通常如上所述是分层且过 程性的。如果一总的置信等级(分类器)足够大，则检测到结构化图 形对象。相关联的功能对应于先前对分类器确定所讨论的功能。 由于在结构化手写对象检测器中可以有许多参数和阈值，因此当前在具有 每一页上密集的表格/非表格填充的特别设计的测试页上仅手动调整参数和阈 值的一个子集，以便于对检测准确度和速度进行快速的人员检查。这些参数和 阈值中的某一些可以对准确度和速度有显著影响。其余的参数和阈值被固定为 估算值。只要阈值不是太大，最终分类器基本J:就决定了检测准确度。此外， 有可能例如使用遗传算法来开发一种自动化参数调整系统，以便自动找出满标 度的最优参数和阈值，其中考虑了检测速度以便实现所需的性能目标。
本领域的技术人员可以理解，具有包含用于控制计算i系统的指令的相关
联计算机可读介质的计算机系统可用于实现此处所公开的示例性实施例。计算 机系统可包括至少一个计算机，诸如微处理器、数字信号处理器和相关联的外 围电子电路等。
尽管以对结构特征和/或方法动作专用的语言描述了本主题，但是可以理 解，所附权利要求书中所定义的主题不一定要限于以上所述的具体特征或动 作。相反，上述具体特征和动作是作为实现权利要求书的示例形式而公开的。
权利要求
1.一种具有用于执行以下步骤的计算机可执行指令的计算机可读介质，所述步骤包括(a)从手写文档中确定一线条列表(301)；(b)从所述线条列表中获得一候选表格的边界框架(305)；(c)从所述边界框架和所述线条列表中识别所述候选表格的结构(313)；以及(d)从确定所述候选表格是否对应于一被确认的表格的分类器中确认所述候选表格(321)。
2. 如权利要求1所述的计算机可读介质，其特征在于，还具有用于执行以下步骤的计算机可执行指令(e) 标准化所述候选列表的手写线段，以用实质上水平的线段替换大致水平的 线段，并用实质上垂直的线段替换大致垂直的线段(311)。
3. 如权利要求l所述的计算机可读介质，其特征在于，还具有用于执行以下步骤的计算机可执行指令(e)确定所述被确认的表格的单元格的对应内容。
4. 如权利要求l所述的计算机可读介质，其特征在于，还具有用于执行以下步骤的计算机可执行指令(e) 对一笔画进行分段以用相连的线段来逼近所述笔画。
5. 如权利要求l所述的计算机可读介质，其特征在于'，'所述分类器包括分类 器分量的(2201-2209)的线性组合。
6. 如权利要求l所述的计算机可读介质，其特征在于，还具有用于执行以下 步骤的计算机可执行指令(b)(i)当不能获得完整的边界框架时检测虚拟边界框架(1007)。
7. 如权利要求2所述的计算机可读介质，其特征在于，还具有用于执行以下 步骤的计算机可执行指令(f) 标准化对应于所述实质上水平的线段和所述实质上垂直的线段的交叉点。
8. 如权利要求5所述的计算机可读介质，其特征在于，所述分类器分量之一 包括标准化置信等级。
9. 如权利要求1所述的计算机可读介质，其特征在于，还具有用于执行以下 步骤的计算机可执行指令(C)(i)从交叉点类型中确定所述候选表格的结构。
10. 如权利要求9所述的计算机可读介质，其特征在于，还具有用于执行以 下步骤的计算机可执行指令(C)(ii)放弃对应于错误的交叉点的错误线段。
11. 如权利要求5所述的计算机可读介质，其特征在于，所述分类器分量之 一包括结构置信等级。
12. 如权利要求5所述的计算机可读介质，其特征在于，所述分类器分量之一包括边界框架置信等级。
13. 如权利要求12所述的计算机可读介质，其特征在于，所述边界框架置信 等级还包括线性度子分量、相似度子分量、矩形度子分量和显著度子分量。
14. 如权利要求5所述的计算机可读介质，其特征在于，还具有用于执行以下步骤的计算机可执行指令(e)确定包含在所述候选表格中的内容的内容置信等级， 所述分类器分量之一是所述内容置信等级。
15. 如权利要求1所述的计算机可读介质，其特征在于，还具有用于执行以下步骤的计算机可执行指令(e)从命令输入中编辑所述被确认的表格。
16. 如权利要求1所述的计算机可读介质，其特征在于，还具有用于执行以下步骤的计算机可执行指令(e) 重复(a)-(c);以及(f) 从确定另一候选表格是否对应于另一被确认的表格的对应分类器来确认 所述另一候选表格。
17. 如权利要求1所述的计算机可读介质，其特征在于，还具有用于执行以下步骤的计算机可执行指令(e)从所述被确认的表格中生成语义表格。
18. 如权利要求17所述的计算机可读介质，其特征在于，还具有用于执行以下步骤的计算机可执行指令(e)从所述语义表格中形成图形对象。
19. 一种检测手写文档中的表格的表格检测器(500)，所述表格检测器包括通过用相连的线段逼近绘图笔画来从所述手写文档的线条块中形成线条列表 的预处理器(515);特征提取器(517)，用于确定候选表格的边界框架、从所述边界框架和线条 列表中识别所述候选表格的结构、分析所述候选表格内的内容、以及确定与所述边 界框架、所述结构和所述内容相关联的置信等级；以及分类模块(519)，用于从关于所述候选表格是否对应于一生效表格的置信等级中形成一分类器，并当所述分类器大于一预定阈值时输出用于所述被确认的表格 的语义表格。
20. —种具有用于执行以下步骤的计算机可执行指令的计算机可读介质，所 述步骤包括(a) 从手写文档中确定线条列表(301);(b) 从所述线条列表中获得边界框架(305);(c) 从所述边界框架和所述线条列表中位于所述边界框架内部的线段中形成候选表格(307);(d) 通过用实质上水平的线段替换大致水平的线段，并用实质上垂直的线段替换大致垂直的线段来标准化所述候选表格(309);(e) 从所述候选表格的交叉类型中识别所述候选表格的结构(313);(f) 从笔画与所述候选表格的线段的交叉来分析所述候选表格的内容(317);(g) 确定提供关于所述候选表格是否为被确认的表格的置信等级的分类器；以及(h) 当所述分类器大于一预定阈值时输出一语义表格(321)。
全文摘要
检测手写文档中的表格的具有计算机可执行指令的计算机可读介质和装置。从绘图笔画中导出线段以获得候选表格的边界框架。随后从该边界框架、该边界框架内的线段以及其交叉点来识别相关联的表格结构。确定反映至少一个表格特性的分类器，并且由此确认或拒绝候选表格。
文档编号G06K9/62GK101366020SQ200680048902
公开日2009年2月11日 申请日期2006年12月18日 优先权日2005年12月21日
发明者C-H·胡, J·王, J·贺, Z·林, Z·钟 申请人:微软公司