专利名称：逻辑结构模型创建辅助设备和方法,用于其的记录介质的制作方法
逻辑结构模型创建辅助设备和方法，用于其的记录介质
与相关申请的交叉引用
本申请要求提交于2007年12月6日的日本专利申请No.2007-316318的优先权，通过引用将其整体结合在此。
背景技术：
近年来，随着计算机在商业中的使用，许多计算机化文档得以使用。 因此，作为用于将书面文档转换为计算机化文档的技术，图像识别技术诸 如光学字符读取器或光学字符识别(OCR)的重要性增加了。
日本降审公开No.2006 - 134106中公开了一种方法，其中希望从书面 文档中以图像识别提取的数据的'标题(heading)，和数据之间的关系，以 及'标题，之间的关系被作为'逻辑结构，事先记录在'逻辑结构模型，中，并且 有效地、准确地提取与'标题，相关联的数据，其中在所述书面文档中数据 根据预定的格式被输入。
例如，如果文档是'申请，，诸如'对象，，'全名，和'申请日期，的'标题， 将被包括在内的关系被事先记录为'逻辑结构模型，。如果可以在以OCR 识别的文档中发现这些字符串，可以指出文档是哪种类型的文档。此时， 除了'逻辑结构，的关系之外，还使用其位置关系。在上述申请公开中，公 开了一种方法，其中借助于使用'逻辑结构模型，，通过图像识别从书面文 档中提取数据。
然而，即使在具有相同对象的文档中，某些时候使用表示相同概念的 不同的单词。例如，对于'全名，，有时使用不同的表述诸如'名字，、'名和 姓，、'你的名字，和'你的全名，。这表示'填写文档的人的名字，，并且将被 提取的数据具有相同的类型。
因此，在具有不同格式的书面文档中，通过对表示相同概念的单词分 组并且记录实际的表达，而同时使用以概念定义的逻辑结构而不是具体的单词作为'一般逻辑结构模型，，不仅可以处理具有特定格式的书面文档， 而且可以处理未知的文档。然而，为了创建'一般逻辑结构模型，，必须提 取具有若干格式的文档的公共概念，并且记录具体的关系和表述。可能难
以记录各种格式的文档中的所有标题；即使在具有相同格式的文档中，必 须检查作为对象的'标题，是否存在于已有的'一般逻辑结构模型，中，并且 进一步作为应当考虑记录其概念的元素。另外，存在这样的问题，即，随 着记录的单词的增加，除了'一般逻辑结构模型，的创建者之外，将难以理 解其结构。
发明内容
太* BBAA S ，1,、一水免兹/tel扭/i"r田+緣缺沐; +4梦植缺始嫂刑站力11建
的逻辑结构模型创建辅助方法，其从图傳存储逻辑元素、与所述逻辑元素 相关联的字符串、以及逻辑结构，在所述图像中描述了分别与构成逻辑结 构的多个逻辑元素相关的字符串，其中基于输入图像的识别结果，提取输 入图像中的字符串和所述输入图像中的字符串之间的逻辑结构，根据提取 的所述输入图像中的字符串和分别与存储在所述逻辑结构模型中的多个 逻辑元素相关的字符串之间的类似程度，从多个逻辑元素中选择逻辑元 素，提取与所选择的逻辑元素相关的字符串以及输入图像中的与基于提取 的输入图像中的字符串之间的逻辑结构的逻辑元素相关的字符串，并且作 为与所选捧的逻辑元素相关联的字符串的候选更新目标，显示提取的字符串。
应当理解，前面的概要描述和后面的详细说明两者仅是示例和解释， 并且不另一对本发明的限制。
将作为例子而不是限制，通过下面的附图描述实施例。
图l是示出了根据本发明的示例实施例的逻辑节点结构的图2是示出了根据本发明的示例实施例的一般逻辑结构模型创建辅 助i殳备的结构的功能方才匡图3是根据本发明的示例实施例的一般逻辑结构模型的表达的例子 的图；图4是示出了根据本发明的示例实施例的一般逻辑结构模型更新处 理过程的流程图5是示出了才艮据本发明的示例实施例的一般逻辑结构模型和从输 ^^格获得的逻辑结构之间的抽象表达的例子的逻辑节点结构图6 - 7是示出了根据本发明的示例实施例的逻辑结构匹配处理过程 的流禾呈图8是示出了根据本发明的示例实施例用于确定类似节点的方法的 概述的图9是示出了才艮据本发明的示例实施例用于估计类似逻辑结构的方 法的概述的逻辑节点结构图10A是示出了根据本发明的示例实施例的确认屏幕的例子的图， 当给节点添加实际表达时(当将实际表达添加到正确的节点时)显示该确 认屏幕；
图10B是示出了根据本发明的示例实施例，已将实际表达添加到节 点的显示屏幕的例子的图11A是示出了根据本发明的示例实施例的确认屏幕的例子的图， 当给节点添加实际表达时(当将实际表达添加到不正确的节点时)显示该 确i^幕；
图11B是示出了根据本发明的示例实施例的管理屏幕的例子的图， 显示该管理屏幕以便提示指明将添加实际表达的正确节点；
图11C是示出了根据本发明的示例实施例的确i/^幕的例子的图， 当给节点添加实际表达时(当将实际表达添加到正确的节点时)显示该确 认屏幕；
图11D是示出了根据本发明的示例实施例，已将实际表达添加到节 点的显示屏幕的例子的图12是示出了根据本发明的示例实施例，通过拖拽和放置将实际表 M—个节点移动到另 一个节点时的显示屏幕的例子的图13是示出了根据本发明的示例实施例，通过输入多个相同类型的 书面表格进行的一般逻辑结构模型创建的例子的图14A - 14B是示出了根据本发明的示例实施例，通过输入多个相同类型的书面表格进行的一般逻辑结构模型创建处理过程的流程图。
具体实施例方式
在附图中，为了描述清楚，可能夸大尺寸和/或比例。还应当理解， 当元件被称为"连接到"另一个元件时，其可以被直接连接或间接连接，即， 可能存在中间元件。另夕卜，应当理解，当元件被称为位于两个元件"之间，， 时，其可能是这两个元件之间的唯一元件，或还存在一个或多个中间元件。 全文中类似的附图标记指示类似的元件。
下面将参考附图详细描述逻辑结构模型创建辅助程序、逻辑结构模型 创建辅助设备和逻辑结构模型创建辅助方法的示例实施例。注意，在下面 的示例实施例中，图像(对其进行图像识别并且从其创建逻辑结构模型) 表示这样的图像，其中字符串被描述为组成逻辑结构的多个逻辑元素，并 且例如是"表格"。然而，图像不限于"表格"，只要它是其中每个字符串被 描述为组成逻辑结构的多个逻辑元素的图像即可。此处应当理解，根术语 "组成"及其变体是开放的而非封闭的表述，并且应当理解为分别意味着 "包括"及其变体。
另外，在下面的示例实施例中，通过逻辑结构模型创建辅助程序、逻 辑结构模型创建辅助设备和逻辑结构模型创建辅助方法创建和更新的逻 辑结构模型是'一般逻辑结构模型，，它是若干类型的表格所共有的逻辑结 构模型。
具体地，在下面的示例实施例中，为了描述简单起见，'一般逻辑结 构模型，涉及具有归入'申请，类别的若干不同类型的格式的表格。 一般地， 如^^格为相同的类别，虽然布局和项目多少存在不同，但包括的项目和 项目之间的关系通常几乎是相同的。因此，对于根据M格获得的'标题， 估计的每类表格，在使用前切换'一般逻辑结构模型，。
然而，如果为每个类别的表格准备'一般逻辑结构模型，，存在给数据 库资源带来压力的缺点。因此，可以准备所有表格公共的'一般逻辑结构 模型，。这允许减小，如果不能防止的话，由于准^个表格的'一般逻辑 结构模型，而带来的对数据库资源的压力，并且允许更有效地管理'一般逻 辑结构模型，。
图1是示出了根据本发明的示例实施例的逻辑节点结构图。如图1所示，(l)首先，对书面输入表M行图像识别，并且获得输^格的逻
辑结构。此处，应当理解，书面输A^格包括出现在纸之外的介质，例如 膜等等上的打印的输A^格。出于讨论的目的，图l假设一个假定的并且 非限制性的输入表格，其在图1中被标记为"输^格"。
根据图1，在从输入表格获得的逻辑结构中，与被标记为"oo申请" 的'标题，相关联的节点作为根节点，在其之下的层中，出现有与被标记为 "你的名字"的'标题，和被标记为"2007年1月1日"的'标题，相关联的节点。
另外，在与被标记为"你的名字"的'标题，相关联的节点之下的层中， 出现有与被标记为"名"和"姓"的'标题，相关联的节点。数据"Fujitu"与 "名"相关联，并且数据"Taro"与"姓"相关联。
(2)其次，把事先准备的、更新之前的'一般逻辑结构模型，与在(l) 中获得的输^格的逻辑结构进行比较。在'一般逻辑结构模型，中，以椭 圆表示的节点是抽象逻辑元素，并且具有给定的名称(designation)。另夕卜， 与每个逻辑元素相关联并且以矩形表示的元素是与逻辑元素相关联的实 际数据(此后称为'实际表达，)。每个逻辑元素之间的关系组成'一般逻辑 结构模型，的逻辑结构。
例如，"~申请"和"~通知"作为'实际表达，与逻辑元素"题目"相关 联。由于标记为"~申请"的'实际表达，与作为输X^格的根节点的"XX申 请，，类似，可以假设与从输A^格获得的逻辑结构类似的逻辑结构出现在 逻辑元素"题目"的下层。
因此，当跟随逻辑元素"题目"之下的层时，出现具有名称"全名"的逻 辑元素。作为该逻辑元素的名称的"全名"类似于输X^格的逻辑结构中的 被标记为"你的名字"的'标题，。然而，仅有'实际表达，"全名"与逻辑元素 "全名"相关联，并且未记录与输入表格的逻辑结构中的'标题，"你的名字" 相同的'实际表达，。
另夕卜，当跟随逻辑元素"全名，，之下的层时，出现逻辑元素"名"和"姓"， 它们与输A^格的逻辑结构中的'标题，"名"和"姓"匹配。然而，仅有'实际 表达，"姓氏"和"名"分别与逻辑元素'姓，和'名，相关联，并且未记录与输 Aj^格的逻辑结构中的'标题，"姓"和"名"相同的'实际表达，。类似地，当 跟随逻辑元素"题目"之下的其他层时，出现具有名称"申请日期"的逻辑元 素。可以假设作为逻辑元素的名称的这个"申请日期"类似于在输入表格的 逻辑结构中被标记为"2007年1月1日"的'标题，。另外，当跟随逻辑元素"申请曰期"之下的层时，可以看到出现了逻辑
元素"年"，"月，，和"日"。仅有"2006"， "3"和"5"与每个逻辑元素的'实际 表达，相关联。由于当分析输入表格的逻辑结构中的"2007年1月1曰"时， "2007年1月1日，，可被分解为"2007"，"年"，"1"，"月"，"l，，和"日，，， 可见"2007"， "l"和"l"可能分别是逻辑元素"年"，"月，，和"日"的'实际表 达，。2007", "l"和"l"未被记录为逻辑元素"年"，"月"和"日"的'实际表 达，。
如上所述，虽然输入表格的逻辑结构中的'标题，当中的某一些相应于 '一般逻辑结构模型，的逻辑元素，如果它们未被记录为逻辑元素名称或4实 际表达，，可能难以使用该'一般逻辑结构模型，正确地执行输X^格的图像 识别；因此，'标题，必须被记录为'一般逻辑结构模型，的'实际表达，。
(3)因此，为了克服上面的缺点，开发了用于辅助进行添加从输入 表格获得的'标题，作为'一般逻辑结构模型，中的相应的逻辑元素的'实际 表达，的操作的逻辑结构模型创建辅助程序、逻辑结构模型创建辅助设备 和逻辑结构模型创建辅助方法。
如(3)中所示，"你的名字"，"名，，,"姓，，,"2007"， "1"和T被分 别作为逻辑元素"全名"的'实际表达，，逻辑元素"名"的'实际表达，，逻辑 元素"姓"的'实际表达，，逻辑元素"年"的'实际表达，，逻辑元素"月"的'实 际表达，和逻辑元素"日"的'实际表达，而添加到'一般逻辑结构模型，中。
在相关技术中，随着'一般逻辑结构模型，的逻辑结构变得更为复杂， 从'一般逻辑结构模型，中提取与输入表格的逻辑结构匹配的逻辑结构，并 且将'实际表达，添加到适当的逻辑元素的操作也变得更为困难。相对比而 言，不论'一般逻辑结构模型，的渐增的复杂性如何，相应于图l的本发明 的实施例实现了这种难度的减小，并且使得除了 '一般逻辑结构模型，的设 计者、作者和管理者之外的人更容易基于输7^糾'实际表达，添加到'一 般逻辑结构模型，中的适当的逻辑元素。
图2是示出了根据本发明的示例实施例的一般逻辑结构模型创建辅 助设备IOO的结构的功能方框图。图2可以与图1的逻辑节点结构兼容。 如图2所示， 一般逻辑结构模型创建辅助设备100连接到图像识别处理设 务200。
一般逻辑结构模型创建辅助i殳备100连接到终端设备104,其从输入 设备105,例如键盘、鼠标等接收操作指令以便创建或更新一般逻辑结构模型，输出设备106，例如用于显示将被创建或更新的一般逻辑结构模型 的显示器，连接于终端设备104。
图像识别处理设备200具有控制单元201和输V输出接口单元202， 输A/输出接口单元202是用于与一般逻辑结构模型创建辅助设备100和 扫描仪设备203通信的接口 。图像识别处理设备200中的控制单元201具 有用于分析输Aj^格的文档结构的文档结构分析处理单元201a,用于识 别书写于输A^格内的字符的字符识别处理单元201b，和用于分析输入 表格的逻辑结构，并且将该逻辑结构发送给一般逻辑结构模型创建辅助设 备100的逻辑结构分析处理单元201c。另外，图像识别处理设备200连 接到用于读取表格的扫描仪i殳备203。
一般逻辑结构模型创建辅助设备100具有控制单元101 ，存储单元102 和输^/输出接口单元103，输V输出接口单元103是用于与图像识别处 理i殳备200和终端i殳备104通信的接口 。
控制单元101是控制设备，例如微型计算机，其可以控制整个一般逻 辑结构模型创建辅助设备100，并且可以具有逻辑结构管理处理单元 101a、类似逻辑结构估计处理单元101b、添加/更新目标显示和确认处理 单元101c和逻辑结构模型添加/更新处理单元101d。
逻辑结构管理处理单元101a是用于管理存储在后面描述的一般逻辑 结构模型DB (数据库)102a中的一般逻辑结构模型，并且管理输Aj^格 中的'标题，和从图像识别处理设备200接收的'标题，的逻辑结构的处理单 元。更具体地，接收自输入设备105的来自用户的表格读取指令作为触发 器，逻辑结构管理处理单元101a指示图像识别处理设备200通过扫描仪 设备203读取和输入表格，分析输X^格的文档结构，识别输^格中的 字符，并且分析输入表格的逻辑结构。另夕卜，逻辑结构管理处理单元101a 从图像识别处理设备200接收被分析的输入表格的逻辑结构，并且将其传 递给类似逻辑结构估计处理单元101b。
另外，当没有具有类似于从图像识别处理设备200接收的输入表格中 的'标题，和'标题，的逻辑结构的'一般逻辑结构模型，被以后面描述的一般 逻辑结构模型DB 102a记录时，逻辑结构管理处理单元101a创建相应于 输^格的'标题，和'标题，的逻辑结构的新'一般逻辑结构模型，。
类似逻辑结构估计处理单元101b M储在后面描述的一般逻辑结构 模型DB 102a中的'一般逻辑结构模型，的逻辑结构与从逻辑结构管理处理单元101a接收的输A^格的逻辑结构进行比较。
更具体地，从输^格的逻辑结构中的根节点的'标题，开始，类似逻 辑结构估计处理单元101b搜索后面描述的一般逻辑结构模型DB 102a， 以便检查是否以'一般逻辑结构模型，记录了与每个'标题，类似的逻辑元素 的名称，或类似于'标题，的逻辑元素的'实际表达，。另外，类似逻辑结构 估计处理单元101b确定类似的输A^格的'标题，的逻辑结构和与'一般逻 辑结构模型，的'实际表达，相关联的逻辑元素的逻辑结构是否类似。以这种 方式，类似逻辑结构估计处理单元101b估计'一般逻辑结构模型，的逻辑 结构中的与输入表格的逻辑结构类似的部分。
添加/更新目标显示和确认处理单元101c使得输出设备106显示'一般 逻辑结构才莫型，的逻辑结构中的被类似逻辑结构估计处理单元ioib估计
为与输^格的逻辑结构类似的部分，以及使用显示屏M示用户确认， 以便将输入表格中的'标题，添加到逻辑结构中的每个逻辑元素的'实际表 达，。
更具体地，共同提取'一般逻辑结构模型，的逻辑结构中的被类似逻辑
元素的'实际表达，以及输入表格中的被估计为与逻辑元素相关联的'标 题，，并将它们列出，以便通过图形用户接口 (GUI)询问用户是否可以 根据列表中的内容更新' 一般逻辑结构模型，中的逻辑元素的'实际表达，。 用户确认GUI上的显示内容，并且通过输入设备105输入关于是否更新 '一般逻辑结构模型，中的逻辑元素的'实际表达，的指令。
当从用户收到更新' 一般逻辑结构模型，中的逻辑元素的'实际表达，的 指令时，添加/更新目标显示和确认处理单元101c在逻辑结构模型添加/ 更新处理单元101d上执行对存储在一般逻辑结构模型DB 102a中的'一般 逻辑结构模型，中的逻辑元素的'实际表达，的更新。
注意，当向用户做出关于是否根据其中共同提取并列出了'一般逻辑 结构模型，的逻辑结构中的被类似逻辑结构估计处理单元101b估计为与 输入表格的逻辑结构类似的部分的逻辑元素的'实际表达，以及输入表格 中被估计为与该逻辑元素相关联的'标题，的内容，更新'一般逻辑结构模 型，中的逻辑元素的'实际表达，的询问时，如果'一般逻辑结构模型，中的 将添加输入表格中的'标题，的逻辑元素的位置不适合，用户使用输入设备 105诸如鼠标将'标题，拖放到适合的逻辑元素，从而给出修改要添加'标题，的位置的指令。
存储单元102是存储器，其可以存储DB，并且包括一般逻辑结构模 型DB 102a。 一般逻辑结构模型DB 102a是存储'一般逻辑结构模型，的 DB。'一般逻辑结构模型，可以具有分层结构，例如树结构。因此，可以用 例如图3所示的可扩展标记语言(XML)格式管理数据。
图3是示出了根据本发明的示例实施例，^达为XML格式的一般 逻辑结构模型的表达的例子的图。在图3中，XML中的"类(class)"相 应于'一般逻辑结构模型，中的逻辑元素。"类名(class name)"是逻辑元素的 名称。另外，写于"实例类型(instance type)-" ""和"/实例，，之间的字符 串是"实例"，"实例"是抽象概念"类"的具体实现名。注意，"实例类型" 指明了作为"类"的具体实现名的"实例"的属性(attr)。由于属性说明之外 的字符串不能被记录为"实例"，因此不需要一般逻辑结构模型中的逻辑元 素的名称或'实现值，与输^格中的'标题，的比较。
图4是示出了根据本发明的示例实施例的一般逻辑结构模型更新处 理过程的流程图。首先， 一般逻辑结构模型创建辅助设备IOO中的逻辑结 构管理处理单元101a向图像识别处理设备200发送用于表格的逻辑结构 分析的指令信号(步骤S101 )。
当图像识别处理设备200中的文档结构分析处理单元201a收到来自 一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a的 用于表格的逻辑结构分析的指^Ht号时(步骤S201为肯定)，处理i^步 骤S202,另一方面，当未收到用于表格的逻辑结构分析的指令信号时(步 骤S201为否定)，重复步骤S201。
在步骤S202中，图像识别处理设备200中的文档结构分析处理单元 201a通过扫描仪设备203接收表格输入。随后，文档结构分析处理单元 201a和字符识别处理单元201b执行文档分析(步骤S203 )。更具体地， 在步骤S203中，文档结构分析处理单元201a分析输入表格的布局(步骤 S203a)和表(步骤S203b ),并且字符识别处理单元201b识别输Aj^格 中的字符串(步骤S203c)。
即，对由扫描仪i殳备203输入图像识别处理设备200的输A^皿行 文档结构分析处理，例如布局分析和表分析，并且提取表中的区域，例如， 表和图，以M中的单元位置。此后，通过字符识别处理提取字符串信息。
注意，在字符识别处理过程中执行词素分析，并且将字符串分解为单词级和基本块级。例如，单词'onamae(名字)，被分为'o(前缀)，和'namae(名 字)，，并且分别与'一般逻辑结构模型，中的逻辑元素的名称和实际表达比 较。
随后，图像识别处理设备200中的逻辑结构分析处理单元201c使用 上述的布局分析结果和字符识别结果，并且4吏用表中的单元和字符串中的 位置关系，来估计逻辑结构(步骤S204 )。通itxt输^M行布局分析 和表结构分析，可以掌握节点结构和每个节点的具体数据('标题，)。另 外，通过利用布局信息，可以估计输X^格的逻辑结构。可以使用已有的 技术执行这种处理。
随后，图像识别处理设备200中的逻辑结构分析处理单元201c将步 骤S204中的输^格的逻辑结构的分析结果发送给一般逻辑结构模型创 建辅助设备100 (步骤S205 )。
同时， 一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单 元101a从图〗象识别处理设备200接^M^格的逻辑结构分析的结果(步骤 S102)。然后，逻辑结构管理处理单元101a确定是否收到了表格的逻辑结 构分析的所有结果(步骤S103 )。当确定收到了表格的逻辑结构分析的所 有结果(步骤S103为肯定)，处理iiX步骤S104，另一方面，如果确定 未收到表格的逻辑结构分析的所有结果(步骤S103为否定)，处理i^V步 骤S102。
随后，在步骤S104中， 一般逻辑结构模型创建辅助设备IOO中的类 似逻辑结构估计处理单元101b以存储在一般逻辑结构模型DB 102a中的 '一般逻辑结构模型，执行在步骤S102接收的表格的逻辑结构分析的结果 的逻辑结构匹配处理(逻辑结构匹配处理；例如见下面图6的讨论)。通 过这个处理，可以获得输^格的基于在步骤S102接收的表格的逻辑结 构分析的结果的逻辑结构与'一般逻辑结构模型，的逻辑结构相匹配的部 分，因此，可以发现要将相应的输Aj^格的逻辑结构中的节点的'标题，添 加到'一般逻辑结构模型，中的'实际表达，的部分。
随后， 一般逻辑结构模型创建辅助i殳备100中的添加/更新目标显示 和确认处理单元101c使得输出设备106向用户显示确认显示，并且基于 响应输入的结果，确定是否修改更新内容(步骤S105),该更新内容用于 将相应的输入表格的逻辑结构中的节点的'标题，添加到'一般逻辑结构模 型，中的'实际表达，，并且更新'实际表达，。即，当确定修改用于更新' 一般逻辑结构模型，中的'实际表达，的更新
内容时(步骤S105为肯定)，处理^步骤S106，另一方面，当确定不 修改用于更新'一般逻辑结构模型，中的'实际表达，的更新内容时(步骤 S105为否定)，处理进入步骤S107。
在步骤S106中， 一般逻辑结构模型创建辅助设备IOO中的添加/更新 目标显示和确认处理单元101c接收用户对用于更新'一般逻辑结构模型， 中的'实际表达，的更新内容的修改，并且修改更新内容。当这个处理结束 时，处理进入步骤S107。
在步骤S107，根据在步骤S105中确定为不被修改的用于更新'一般 逻辑结构模型，中的'实际表达，的更新内容或在步骤S106中修改的用于更 新'一般逻辑结构模型，中的'实际表达，的更新内容，更新'一般逻辑结构模 型，中的'实际表达，。
接着，在图4的步骤S104的逻辑结构匹配处理的详细描述之前，描 述'一般逻辑结构模型，和从输X^格获得的逻辑结构之间的抽象表达。基 于该抽象表达描述逻辑结构匹配处理。图5是示出了一般逻辑结构模型和 从输^^格获得的逻辑结构之间的抽象表达的例子的逻辑节点结构图。
首先参考图5的左侧描述一般逻辑结构模型的抽象表达。在图5中， 以椭圆围绕的"Cn" (11=1，2，3，...，8,9，10)是组成'一般逻辑结构模型，的逻辑 元素。"Cn，，是逻辑元素的名称。分别与逻辑元素相关联的以矩形围绕的 字符串(例如与逻辑元素"C2"相关联的"C2-1"和"C2-2")是逻辑元素 的'实际表达，。此后，'实际表达，被抽象表达为"Cn-k"。
然后，每个逻辑元素"Cn"组成一个分层结构，其中如图所示各"Cn" 通过实线彼此关联。虽然图中未示出，注意每个逻辑元素"Cn"可被设置 为各自的属性值"Cn - T"，作为可被关联的'实际表达，的字符串的属性的 期望值。该属性值"Cn-T"允许基于字符串的属性值，事先从'实际表达， 的添加候选中排除不能明显地与逻辑元素"Cn"相关联的字符串。
接着，将参考图5的右侧描i^输^^格获得的逻辑结构的抽象表 达。在图5中，以矩形围绕的串"Dn，， (n=l,2,3，4,5)是组成从输Aj^格获 得的逻辑结构的'标题，。每个'标题，"Dn，，组成一个分层结构，其中如图所 示各"Dn"通过实线彼此相关联。另外，"D6"和"D7"是'标题，，并且它们 中的每一个以虚线与"D4"和"D5"相关联，并且被以矩形围绕，是"D4"和 "D5"中的每一个的4标题，。注意，逻辑结构中的关系可以具有(假设是树结构)父节点和子节点，
或可^L^示为一般图的邻接矩阵。然而，为了清楚树的各层的上下关系， 例如，总是为子节点设置更大的数字。
基于上述的理解，将描述图4的步骤S104中的逻辑结构匹配处理的 细节。图6和7是示出了根据本发明的示例实施例的逻辑结构匹配处理过 程的流程图。如图6和7所示， 一般逻辑结构模型创建辅助设备100中的 类似逻辑结构估计处理单元101b首先确定在所有的"Dn" (n=l，2，3，4，5 ) 中是否在'一般逻辑结构模型，中发现了类似的节点(逻辑元素)(步骤 S131)。此处，"Dn"的类似节点表示一个逻辑元素，其名称或'实际表达， 类似于'一般逻辑结构模型，中的"Dn"。
当确定在所有的"Dn" U=l,2,3,4,5)中已经在'一般逻辑结构模型，中 发现了类似的节点(逻辑元素)(步骤S131为肯定)，处理ii^图7的步 骤S141。当未确定在所有的"Dn" (n=l，2，3，4，5)中在'一般逻辑结构模型， 中发现类似的节点(逻辑元素)(步骤S131为否定)，处理&V步骤S132。
在步骤S132,类似逻辑结构估计处理单元101b选择还未确定其类似 节点的"Dn"。然后，类似逻辑结构估计处理单元101b确定是否获得了在 步骤S132中选择的"Dn，，与所有"Cn，，之间的类似程度(步骤S133 )。此处， 以例如Levenshtein (莱文斯坦)距离获得类似程度，并且Levenshtdn 距离越小越相类似。注意除了 Levenshtein距离之外，任何指示器都是适 合的，诸如字符间相关系数，只要其指示字符串(或字符)的类似程度即 可。
当确定已经获得了在步骤S132中选择的"Dn"与所有"Cn"之间的类 似程度时(步骤S133为肯定)，处理进入步骤S134，另一方面，当未确 定获得在步骤S132中选择的"Dn"与所有"Cn"之间的类似程度时(步骤 S133为否定)，处理i^步骤S135。
在步骤S134,对于在步骤S132选择的每个"Dn"，类似逻辑结构估 计处理单元101b将具有最高类似程度的"Cn"设置给类似节点。当该处理 结束时，处理i^步骤S131。
同时，在步骤S135,类似逻辑结构估计处理单元101b选择尚未获得 与在步骤S132选择的"Dn"的类似程度的"Cn"。随后，类似逻辑结构估计 处理单元101b获得在步骤S132选择的"Dn，，与在步骤S135选择的"Cn，， 之间的类似程度(步骤S136 )。随后，类似逻辑结构估计处理单元101b确定'实际表达，是否已经与 在步骤S135选择的"Cn，，相关联(步骤S137)。当确定'实际表达，已经与 在步骤S135选择的"Cn，，相关联(步骤S137为肯定)时，处理i^步骤 S138,在另一方面，当未确定'实际表达，与在步骤S135选择的"Cn"相关 联(步骤S137为否定)时，处理进入步骤S133。
在步骤S138,类似逻辑结构估计处理单元101b获得在步骤S132选 择的"Dn"和作为与在步骤S135选择的"Cn，，相关联的'实际表达，的"Cn -k"中的尚未获得其类似程度的"Cn - k"之间的类似程度。
随后，类似逻辑结构估计处理单元101b确定是否获得了相对于与在 步骤S135中选择的"Cn"相关联的所有"Cn - k"的类似程度(步骤S139 )。 当确定已经获得了相对于与在步骤S135中选择的"Cn"相关联的所有"Cn -k"的类似程度(步骤S139为肯定)时，处理i^步骤S140，另一方面， 当未确定获得相对于与在步骤S135中选择的"Cn，，相关联的所有"Cn - k" 的类似程度(步骤S139为否定)时，处理进入步骤S138。
在步骤S140，类似逻辑结构估计处理单元101b将"Cn"的类似程度 设置为在步骤S132选择的"Dn"与在步骤S135选择的"Cn，，以及与该"Cn，， 相关联的所有"Cn - k"之间的类似程度中的最高类似程度。当这个处理结 束时，处理ii^步骤S133。
同时，在步骤S141，类似逻辑结构估计处理单元101b以类似程度的 降序顺序对'标题，的节点"Dn"分类。随后，类似逻辑结构估计处理单元 lOlb选择具有最高类似程度的'标题，的节点"Dn，，作为'参考节点，，以及'一 般逻辑结构模型，中相应于该"Dn"的逻辑元素(步骤S142 )。
另外,类似逻辑结构估计处理单元101b预先将在'一般逻辑结构模型， 中搜索"Dn"的类似节点的搜索范围限制到以类似程度的降序分类的'标 题，的节点"Dn"中的所希望的等级(例如，第四个位置)(搜索范围设置)， 忽略对具有较低类似程度的"Dn"的搜索，以便减少处理时间。
注意，可由用户任意选择在上述步骤S141中选择的'参考节点，，或 者另 一个节点可作为'参考节点，而不使用具有最高类似程度的"Dii，，作为 '参考节点，。
随后，类似逻辑结构估计处理单元101b按照'参考节点，的下层、上 层和同层的顺序，在'一般逻辑结构模型，中搜索相对于'参考节点，具有次 高类似程度的'标题，的节点"Dn"的类似节点(逻辑元素)(步骤S143 )。随后，类似逻辑结构估计处理单元101b确定是否在'一般逻辑结构模型， 中找到相对于'参考节点，具有次高类似程度的'标题，的节点"Dn"的类似节 点(步骤S144 )。
当确定已经在'一般逻辑结构模型，中找到了相对于'参考节点，具有次 高类似程度的'标题，的节点"Dn，，的类似节点(步骤S144为肯定)时，处 理进入步骤S145，另一方面，当未确定在'一般逻辑结构模型，中找到相对 于'参考节点，具有次高类似程度的'标题，的节点"Dn"的类似节点(步骤 S144为否定)时，处理进入步骤S143。
在步骤S145,类似逻辑结构估计处理单元101b保存作为上次搜索目 标的逻辑元素"Cn"和作为此次搜索目标的逻辑元素"Cn"的节点之间的关 系(逻辑结构)。随后，类似逻辑结构估计处理单元101b确定是否对所有 搜索目标(上述的搜索范围中的"Dii")完成了 '一般逻辑结构模型，中的类 似节点的搜索(步骤S146)。
当确定已经对所有搜索目标(上述的搜索范围中的"Dn")完成了'一 般逻辑结构模型，中的类似节点的搜索(步骤S146为肯定)时，处理i^ 步骤S147，另一方面，当未确定对所有搜索目标完成了'一般逻辑结构模 型，中的类似节点的搜索(步骤S146为否定)时，处理iiX步骤S143。
在步骤S147,类似逻辑结构估计处理单元101b基于在步骤S145存 储的节点之间的关系，确定相应于输入表格的逻辑结构的逻辑结构是否出 现在'一般逻辑结构模型，中。
当确定相应于输A^格的逻辑结构的逻辑结构出现在'一般逻辑结构 模型，中(步骤S147为肯定)时，处理进入步骤S148，另一方面，当未 确定相应于输入表格的逻辑结构的逻辑结构出现在'一般逻辑结构模型， 中(步骤S147为否定)时，处理进入步骤S149。
在步骤S148，添加/更新目标显示和确认处理单元101c为用户在输出 设备106上显示通过把'实际表达，添加到'一般逻辑结构模型，中的逻辑元 素而将被进行更新的更新候选，连同'一般逻辑结构模型，的逻辑元素和逻 辑结构，以便确认。在由用户确认之后，逻辑结构添加/更新处理单元101d 以上述的更新候选更新'一般逻辑结构模型，中的逻辑元素的'实际表达，。 当这个处理结束时，处理返回图4的一般逻辑结构模型更新处理。
同时，在步骤S149,添加/更新目标显示和确认处理单元101c在输出 设备106上向用户显示消息'没有相应的逻辑结构，，并且处理返回图4的一般逻辑结构模型更新处理。
注意，当在步骤S149于输出设备106上显示消息'没有相应的逻辑结 构，之后，处理可以不返回图4的一般逻辑结构模型更新处理，可改变'参 考节点，，或可以改变"Dn"的选择准则，其中接着'参考节点，之后，在'一 般逻辑结构模型，中搜索该"Dn，，的类似节点，然后处理可以再次进入步骤 S142，以便重新执行处理。
接着，将描述用于确定类似节点的方法的概述，在图6的逻辑结构匹 配处理的步骤S132到S140中执行该方法。图8是示出了根据本发明的示 例实施例的确定类似节点的方法的概述的图。如图8所示，对于一个"Dn" (它是输7^格中的'标题，)，获得相对于'一般逻辑结构模型，中的所有逻 辑元素的名称的类似程度。
结果，假设"Dn"和"Cl"之间的类似程度为3， "Dn"和"C2"之间的类 似程度为2， "Dn"和"C3"之间的类似程度为4。另外，由于"C2-1"和"C2 -2"作为'实际表达，与"C2"相关联，还获得"Dn"， "C2 - 1"和"C2 -2"之 间的类似程度。结果，假设"Dn，，和"C2 - l"之间的类似程度为1 ，并且"Dn" 和"C2 - 2"之间的类似程度为3。
此处，由于当使用Levenshtein距离作为类似程度时，数值越小约相 类似，"Dn"和"Cl"之间的类似程度为3，由于与"C2 — l"的类似级别，"Dn" 和"C2"之间的类似程度为1，并且"Dn"和"C3"之间的类似程度为4。因 此，最终确定"Dn"的类似节点是"C2",并且其类似程度为"l"。
接着，将描述在图7的逻辑结构匹配处理的步骤S141到S146执行 的估计类似结构的方法的概述。图9是示出了根据本发明的示例实施例的 用于估计类似逻辑结构的方法的概述的图。如图9所示，假设'一般逻辑 结构模型，中的每个逻辑元素"Cn" ( n=l，2，3，...，8，9，10 )附近的每个"Dn" (n=l,2,3，4，5)通过图6的逻辑结构匹配处理的步骤S132到S140的处理 作为类似节点相关联。
基于上述的理解，图9示出了用于检查从输^格获得的逻辑结构中 的'参考节点，之下的逻辑结构是否保持在'一般逻辑结构模型，中的处理的 概述。此处，按类似程度的降序对5个"Dn" (n=l,2，3,4，5)估计类似逻辑 结构。
首先，以具有最高的类似程度的"D2"和相应于"D2"的'一般逻辑结构 模型，中的逻辑元素"C5"作为'参考节点，，可见与"D2"和"D5"相关联的具有相对于'参考节点，的次高类似程度的"C9"和"D5"出现在'参考节点，的 下层处。因此，估计"D2"、 "D4"和"D5"的逻辑结构与"C5"、 "C9"和"C10" 的逻辑结构匹配。
接着，保存相应于关于"D4"和"D5"具有次高类似程度的"D3，，的 "C6"与"C10，，之间的节点间关系。最后，^M!"相应于"D1"的"C1"和"C6" 之间的节点间关系(逻辑结构)。可见以这种方式被保存的每个逻辑元素 "C5"， "C9"， "C10"， "C6"和"C1"的逻辑结构与输入表格中的'标题，的 逻辑结构匹配。
接着，将参考图10A到12描述在图7的逻辑结构匹配处理的步骤 S148中向用户显示在输出设备106的显示屏幕上的显示屏幕的例子。注 意，此后假设估计逻辑元素、逻辑元素的名称、以及'一般逻辑结构模型， 中的逻辑元素间的与输A^格中的逻辑结构相匹配的逻辑结构，并且以树 结构的方式示出这种估计的结果。
图10A是示出了根据本发明的示例实施例，当将实际表达添加到节 点时(当实际表达被添加到正确的节点时)显示的确认屏幕的例子的图。 图10B是示出了根据本发明的示例实施例一个显示屏幕的例子的图，其 中实际表达已经被添加到节点。在图10A中，在显示屏幕上，当确定'你 的名字，应被作为'申请人，(逻辑元素)节点的'实际表达，添加到已有的'全 名，时，显示确认屏幕501以便询问用户是否可实际添加。此时，由于将'你 的名字，添加到'申请人，节点的'实际表达，是适合的，用户以鼠标等在操作 显示单元501a上点击并且按下"是"。然后，如图IOB所示，将'你的名字， 添加到'申请人，节点的'实际表达，，并且与已有的'全名，一起显示。
图11A是示出了根据本发明的示例实施例的确i/^幕的例子的图， 当将实际表达添加到节点时(当实际表达被添加到不正确的节点时)显示 该确认屏幕。图11B是示出了根据本发明的示例实施例的消息屏幕的例子 的图，显示该消息屏幕以便提示指明将添加实际表达的正确节点。图11C 是示出了根据本发明的示例实施例的确i^幕的例子的图，当将实际表达 添加到节点时(当实际表达被添加到正确的节点时)显示该确认屏幕。图 11D是示出了根据本发明的示例实施例的显示屏幕的例子的图，其中实际 表达已经被添加到节点。
在图11A中，在显示屏幕上，当确定'姓，应当被作为'申请人，节点(逻 辑元素)的'实际表达，添加到已有的'全名，时，显示确认屏幕502以便询问用户是否可实际进行添加。此时，由于将'姓，添加到'申请人，节点的'实
际表达，不适合，用户以鼠标等在操作显示单元502b上点击并且按下 "否，,。
然后，如图11B所示，进一步显示消息屏幕503以l更提示用户指明 将作为'实际表达，添加'姓，的节点。用户确定将'姓，作为'实际表达，添加到 '姓，节点是适合的，并且以鼠标等点击'姓，节点。然后，如在图IIA中那 样，如图11C所示，在显示屏幕上显示确认屏幕504以便询问用户'姓， 是否可被作为'姓，(逻辑元素)节点的4实际表达，实际添加到已有的'姓氏，。 此时，由于将'姓，添加到'姓，节点的'实际表达，是适合的，用户以鼠标等在 操作显示单元501a上点击并且按下"是"。然后，如图IID所示，'姓，被 添加到'姓，节点的'实际表达，，并且被与已有的'姓氏，一起显示。
注意，在观看显示在输出设备106上的显示屏幕的同时，用户可以在 任意时候通过以作为输入设备105的鼠标等拖拽和放置，改变与'实际表 达，相关联的节点(逻辑元素)。图12是示出了根据本发明的示例实施例， 当通过拖拽和放置将实际表达从一个节点移动到另一个节点时的显示屏 幕的例子的图。
如图12所示，在该显示屏幕上，'全名，和'姓，作为'申请人，节点的'实 际表达，彼此相关联。然而，假设用户确定'姓，不适合作为'申请人，节点的 '实际表达，，并且'姓，适合作为'姓，(逻辑元素)节点的'实际表达，。用户 可以通过以鼠标拖拽和放置将作为'实际表达，的'姓，移动到'姓，的'实际表 达，的显示部分。
在图1的实施例1中，例如，如上所述，已经描述了存储在一般逻辑 结构模型DB 102a中的'一般逻辑结构模型，的初始状态中的模型。可以通 过指定若干具有分层逻辑结构的逻辑元素并且提供名称，手工地创建'一 般逻辑结构模型，的初始状态的模型。
通过输入来自许多表格的信息，填充'一般逻辑结构模型，的内容，从 而提高了估计的逻辑结构的类似程度，以及指明用于'实际表达，的添加/ 更新候选的添加节点的准确性。然而，当希望在早期在一定程度上确保识 别将被识别的表格的准确性时，手工地创建'一般逻辑结构模型，有时可能 是冗长乏味的工作。
对于某个表格，当获得未填写的一个表格时， 一般逻辑结构模型创建 辅助设备100可以使用图像识别处理设备200对该表格的逻辑结构分析结果莱创建初始状态的'一般逻辑结构模型，。由于类名是一种概念，它应被 手工输入，然而，可以照原样使用表格中描述的标题的名称。
然而，当仅获得了书面表格时，可以使用根据下面描述的另一个实施
例(例如，见图13)的方法，图13示出了才艮据本发明的示例实施例，通 过输入多个相同类型的书面表格进行的一般逻辑结构模型创建的例子。图 13的一般逻辑结构模型创建辅助设备的配置可以例如与图2的一般逻辑 结构才莫型创建辅助设^^目同，因此，将忽略对它的描述。
在图13中，可以通过输入多个相同类型的书面表格产生一般逻辑结 构模型创建。使用多个书面表格以便通过图像识别处理设备200获得逻辑 结构。在该逻辑结构中，关于纸张内的位置的信息被设置为将被输出。
此处，对于表格中从开始处起已被填写的部分，即使在多个书面表格 中，相同的字符串出现在相同的位置处。当一个坐标和该字符串匹配时， 这个部分被假设为'标题，。另外，写在相同位置(但不总是相同)附近的 字符串可被估计为是要填写'数据，的部分。
虽然图像识别处理设备200可能做出餘溪的字符识别，但通过使用多 个表格的识别结果的匹配程度和频率信息，确定是否存在^:，并且可以 提取正确的字符串。即，估计在大部分表格中被识别出的字符串是出现在 相同坐标处的字符串当中的正确的字符串。
参考图13，由于相同的字符串"AAAAA，，出现在所有表格的相同坐标 处，"AAAAA，，被认为是'标题，。另外，虽然"BBBBB"， "GGGGG，，和 "BBBBB"写在"AAAAA"附近的相同位置，但它们不总是相同的字符串， 因此它们被认为是'数据，。
另夕卜，对于"&*)*)",虽然相同的字符串"6^ab，，出现在两个表格中
的相同坐标处，不同的字符串"& &o"出现在另 一个凑^格中的相同坐标处。 由于其中"^) ^)"被字符识别的表格的数目较多(频率较高)，*)o" 也被假设为是"&&&"，并且被认为是'标题，。类似地，对于"DD，，，虽然 相同的字符串"DD"出现在两个表格中的相同坐标处，不同的字符串"o o" 出现在另 一个表格的相同坐标处。由于"DD"被字符识别的表格的数目较 多(频率较高)，"oo"也被假设为"DD",并且被认为是'标题，。
接着，将描述通过输入多个相同类型的书面表格进行的一般逻辑结构 模型创建处理。图14A和14B—起是示出了根据本发明的示例实施例， 通过输入多个相同类型的书面表格进行的 一般逻辑结构才莫型创建处理过程的流程图。
如图14A和14B所示，首先， 一般逻辑结构模型创建辅助^殳备100 中的逻辑结构管理处理单元101a向图像识别处理设备200发送用于表格 的逻辑结构分析的指^Ht号(步骤Slll )。
当从一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单 元101a收到用于表格的逻辑结构分析的指^Hf号时，图〗象识别处理i史备 200中的文档结构分析处理单元201a可以执行与图4的步骤S201到步骤 S205相同的处理。
注意，由图像识别处理设备200中的字符识别处理单元201b进行的 步骤S203c的字符识别用于识别字符(或字符串)，并且获得该字符(或 字符串)在输^^格中的坐标。然后，在步骤S205，表格的逻辑结构分
到一般逻辑结构模型创建辅助设备100。
一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元
然后，逻辑结构管理处理单元101a将包括在收到的表格逻辑结构分析结 果中的字符串与坐标相关联，并且存储得到的数据/信息(步骤S113 )。
然后， 一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单 元101a确定是否收到了表格的逻辑结构分析的所有结果(步骤S114)。 当确定已经收到了表格的逻辑结构分析的所有结果时(步骤S114为肯 定)，处理i^步骤S115,另一方面，当未确定收到表格的逻辑结构分析 的所有结果时(步骤S114为否定)，处理ii^步骤S112。
在步骤S115， 一般逻辑结构模型创建辅助设备100中的逻辑结构管 理处理单元101a确定是否按用户指令进一步识别表格。当确定进一步识 别表格时(步骤S115为肯定)，处理进入步骤Slll，在另一方面，当确 定不再进一步识别表格时(步骤S115为否定)，处理a步骤S116。
在步骤SU6， 一般逻辑结构模型创建辅助设备100中的逻辑结构管 理处理单元101a确定在多个识别的表格中相同的字符串是否与相同的坐 标相关联。当确定相同的字符串与相同的坐标相关联时(步骤S116为肯 定)，处理iiX步骤S117,另一方面，当未确定相同的字符串与相同的坐 标相关联时(步骤S116为否定)，处理进入步骤S118。在步骤S117， 一般逻辑结构模型创建辅助设备100中的逻辑结构管 理处理单元101a将多个识别的表格中的与相同坐标相关联的相同的字符 串设置为逻辑元素和逻辑元素的名称。当该处理结束时，处理i^步骤 S119。
同时，在步骤S118中， 一般逻辑结构模型创建辅助设备IOO中的逻 辑结构管理处理单元101a基于与相同坐标相关联的字符串的频率，将多 个识别的表格中具有较高频率的字符串设置为逻辑元素和逻辑元素的名 称。当该处理结束时，处理ii^步骤S119。
在步骤SU9， 一般逻辑结构模型创建辅助设备100中的逻辑结构管 理处理单元101a确定是否确定了所有逻辑元素和名称。当确定已经确定 了所有逻辑元素和名称时(步骤S119为肯定)，处理进入步骤S120，另 一方面，当未确定已经确定了所有逻辑元素和名称时(步骤S119为否定)， 处理进入步骤SU6。
在步骤S120， 一般逻辑结构模型创建辅助设备100中的逻辑结构管 理处理单元101a根据获得的逻辑元素、名称和逻辑结构创建'一般逻辑结 构模型，。
常规地，为了创建'一般逻辑结构模型，，必须已经人工地发现表格的 逻辑结构。相对比而言，根据本发明的至少一个实施例，由于可以自动从
表格提取'标题，，并且自动地搜索逻辑结构中相应于'标题，的候选的位置， 所以用户仅需要执行确认。通过输入来自许多表格的信息填充'一般逻辑 结构模型，的内容，这从而提高了逻辑结构中相应于估计的'标题，的候选位 置的准确性。结果，还减少了用于确认的时间和费用。
一般逻辑结构模型创建辅助设备100是用于辅助进行将'实际表达，添
加到'一般逻辑结构模型，中的每个逻辑元素的操作的设备。然而，通过与
辅助进行添加'实际表达，的操作相同的方法，可以辅助进行将'逻辑元素，
添加到'一般逻辑结构模型，的逻辑结构。也是在这种情况下，与当辅助进
行添加'实际表达，的操作时相类似，可以借助于筒单的操作诸如例如GUI
上的鼠标操作，辅助进行添加逻辑结构到任意用户选择的位置，以及确定 逻辑结构的名称。
另外，关于示例实施例，被描述为自动执行的所有或某些处理可被手 工执行，可替换地，被描述为手工执行的所有或某些处理可通过已知的方 法自动执行。另外，除非明确地指出，否则可以用任意方式修改上面的实施例中所描述的处理过程、控制过程、具体名称以及包括各种数据和参数 的信息。
所示出的每个设备的每个组件是功能概念化的，并且不必然需要被如
所示出的那样物理地组成。即，每个i殳备的分布和集成的具体形式不限于 示出的形式，并且它们中的全部或某些可根据各种负载和使用条件来构 建、功能地或物理地分布或集成在任意单元内。
更具体地， 一般逻辑结构模型创建辅助设备100、终端设备104、图 像识别处理i更备200和扫描仪设备203可被物理地集成地构建。另外，一 般逻辑结构模型创建辅助设备IOO和图4象识别处理i殳备200可被物理地集 成地构建。
另夕卜，每个设备中所执行的每个处理功能中的全部或某些，可以在中 央处理单元(CPU)(或微型计算机诸如微处理单元(MPU)或微控制器 单元(MCU))中实现，可以通过在CPU (或微型计算机诸如MPU或 MCU)中被分析和执行的程序实现，或者通过布线逻辑以硬件方式实现。
根据上述的配置，作为与逻辑元素相关联的字符串的更新候选，显示 与存储在逻辑结构模型中的逻辑元素相关联的字符串，以及显示输入图像
的逻辑元素的字符串，从而尽力减少当将输入图像中的字符串添加到与逻 辑元素相关联的字符串时的工作量。
另外，根据上述的配置，在多个选择的逻辑元素当中，从参考逻辑元 素开始，确定分别与分层结构中的上层逻辑元素、下层逻辑元素或同层的 逻辑元素相关联的字符串和分别与从输入图像提取的多个逻辑元素相关 联的字符串之间的类似程度，并且基于确定结果，估计存储在逻辑结构模 型中的逻辑结构与输入图像中的字符串间的逻辑结构之间的类似程度，从 而尽力快速地掌握输入图像中的字符串间的逻辑结构。
另夕卜，根据上述的配置，逻辑结构模型包括若干不同类型图像中的每 一个的逻辑元素、分别与这些逻辑元素相关联的字符串、以及若干不同图 像中的每一个的逻辑结构，从而尽力在一个逻辑结构模型中存储若干不同 类型图像中的每一个的逻辑元素、分别与这些逻辑元素相关联的字符串、 以及若干不同图像中的每一个的逻辑结构。
另外，根据上述的配置，与逻辑结构模型中的每个逻辑元素相关联的 字符串包括逻辑元素的名称和逻辑元素的实际表达，从而即使以不同的表达形式表达字符串，只要字符串具有相同的语义内容，也尽力使得能够实 现与相同逻辑元素的关联。
另夕卜，根据从输入图#^取的输入图像中的字符串与存储在逻辑结构 模型中的多个逻辑元素的每一个的名称和/或逻辑元素的实际表达之间的 类似程度，从根据上述配置的多个逻辑元素中选择逻辑元素，从而即4吏以 不同的表达形式表达字符串，只要字符串具有大体类似的语义内容(如果 不是相同的语义内容的话)，也可尽力确定类似的字符串。
另外，根据上述配置，对于多个选择的逻辑元素，根据优先级，确定 分别与参考逻辑元素的分层结构中的上层逻辑元素、下层逻辑元素或同层 逻辑元素相关联的逻辑元素的名称和/或逻辑元素的实际表达与从输入图 像提取的输入图像中的字符串之间的类似程度，并且基于确定结果，估计 存储在逻辑结构模型中的逻辑结构与从输入图像中提取的输入图像中的 字符串间的逻辑结构之间的类似程度，从而即使以不同的表达形式表达字 符串，只要字符串具有大体类似的语义内容(如果不是相同的语义内容的 话)，也可尽力确定具有类似逻辑结构的字符串。
另夕卜，根据上述配置，提取与包括在逻辑结构模型的、类似于从输入 图像中提取的输入图像中的字符串间的逻辑结构的逻辑结构中的逻辑元
素相关联的字符串，以及输入图像中与基于从输入图像中提取的输入图像 中的字符串间的逻辑结构的逻辑元素相关联的字符串，从而即使以不同的 表达形式表达字符串，由于认为该字符串具有大体类似的语义内容(如果 不是相同的语义内容的话)，也可尽力减少当将输入图像中的字符串添加 到与已被确定为类似逻辑结构的逻辑元素相关联的字符串时的工作量。
另夕卜，根据上述配置，当基于存储在逻辑结构模型中的逻辑结构与输 入图像中的字符串间的逻辑结构之间的类似程度，不存在与存储在逻辑结 构模型中的逻辑元素相关联的字符串，以及不存在与从输入图像中提取的 输入图像中的字符串相关联的逻辑元素时，显示新逻辑元素作为添加候 选，它将被添加到逻辑结构模型以便与输入图像中的字符串相关联，从而 尽力减少当将新逻辑元素添加到逻辑结构模型以便与输入图像中的字符 串相关联时的工作量。
另外，根据上述配置，接收与逻辑结构模型中的逻辑元素相关联的字 符串的更新候选和/或对将被添加到逻辑结构模型的逻辑元素的修改，并 且基于修改结果更新逻辑结构模型，从而当用户确认时，可尽力更新字符串和/或将逻辑结构添加到逻辑结构模型。本发明的至少 一个实施例可被 体现为计算机可读介质，其包括记录在计算机可读介质上的可执行指令。 该计算机可读介质是可以存储数据(包括可执行指令)的任意数据存储设 备，并且可被计算机系统读取，以便给计算机系统提供包括在记录数据内
的可执行指令用于执行。计算机可读介质的例子包括只读存储器(ROM )、 随机访问存储器(RAM)、 CD-ROM、磁带、软盘和光数据存储设备。 计算机可读介质还可以分布在联网计算机系统上，从而以分布式方式存储 和执行计算机可读代码。
此处已经公开了本发明的示例实施例，并且虽然采用了特定的术语， 仅出于一般和说明性意义使用和解释它们，而不是出于限制的目的。因此， 本领域的普通技术人员应当理解，可以做出形式和细节上的各种改变，而 不脱离权利要求中提出的本发明的精神和范围。
权利要求
1. 一种计算机可读记录介质，当被计算机读取并执行时使得该计算机执行用于辅助进行逻辑结构模型的创建的逻辑结构模型创建辅助方法，所述逻辑结构模型存储来自其中描述了分别与组成逻辑结构的多个逻辑元素相关联的字符串的图像的逻辑元素、与所述逻辑元素相关联的字符串、以及逻辑结构，所述方法包括首先提取输入图像中的字符串以及所述输入图像中的字符串间的逻辑结构；根据提取的输入图像中的字符串和分别与存储在所述逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中的一个；其次提取与所选择的逻辑元素相关联的字符串以及输入图像中的与基于提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串；和显示提取的字符串作为与所选择的逻辑元素相关联的字符串的更新候选。
2. 如权利要求1的计算机可读介质，其中， 所述逻辑结构模型的逻辑结构具有分层结构，所述选择分配优先级顺序，并且根据提取的输入图像中的字符串和分 别与存储在逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似 程度，选择多个逻辑元素当中的若干逻辑元素，并且使得具有最高优先级 的逻辑元素成为参考逻辑元素，并且所述方法进一步包括根据优先级针对若干选择的逻辑元素，确 定分别与参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元素或字符串之间的类似程度，并且基于所述确定的结果，估计存储在逻辑结构 模型内的逻辑结构和提取的输入图像中的字符串间的逻辑结构之间的类 似程度。
3.如权利要求1的计算机可读介质，其中，逻辑结构模型包括若干不同类型的图像中的每一个的逻辑元素，分别与逻辑元素相关联的字符串，和若干不同图像中的每一个的逻辑结构。
4. 如权利要求1的计算机可读介质，其中，与逻辑结构模型中的每一个逻辑元素相关联的字符串包括逻辑元素 的名称和逻辑元素的实际表达，并且为实际表达建立针对字符串的属性的 限制M。
5. 如权利要求4的计算机可读介质，其中，所述选择根据输入图像中提取的字符串与存储在所述逻辑结构模型 中的多个逻辑元素中的每一个的名称以及逻辑元素的实际表达中的至少 一个之间的类似程度，选择多个逻辑元素中的逻辑元素。
6. 如权利要求4的计算机可读介质，其中，所述估计根据所述优先级针对所述若干选择的逻辑元素，确定分别与 参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元素或同层的逻 辑元袭/^关联的逻辑元素的名称和/或逻辑元素的实际表达与所述提取的 字符串之间的类似程度，并且基于所述确定的结果，估计存储在逻辑结构似程度。
7. 如权利要求2的计算机可读介质，其中，所述其次提取用于提取与包括在逻辑结构模型的逻辑结构内的逻辑 元素相关联的字符串，对于所述逻辑结构，已经估计了其相对于提取的输 入图像中的字符串间的逻辑结构的类似程度，并且提取输入图像中的与基 于提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串。
8. 如权利要求1的计算机可读介质，还包括当未选择多个逻辑元素中的逻辑元素时，基于估计的存储在逻辑结构 模型中的逻辑结构与提取的输入图像中的字符串间的逻辑结构之间的类 似程度，作为附加逻辑元素候选，连同添加位置一起显示要被与输入图像 中的字符串相关联并且要被添加到逻辑结构模型的逻辑元素。
9. 如权利要求1的计算机可读介质，还包括接M更新候选的修改，该更新候选用于与所选择的逻辑元素相关联 的字符串，和执行以下中至少之一更新与字符串的修改后的更新候选中的逻辑元素相关联的字符串，接M要被与输入图像中的字符串相关联并且要添加 到逻辑结构模型的逻辑元素的名称和添加位置的修改，对它们进行显示， 以及以修改后的名称并且在所述添加位置处将逻辑元素添加到所述逻辑 结构模型。
10. —种用于辅助进行逻辑结构模型创建的逻辑结构模型创建辅助设备，所述逻辑结构模型存储来自其中描述了分别与组成逻辑结构的多个逻 辑元素相关联的字符串的图像的逻辑元素、分别与逻辑元素相关联的字符串、以及逻辑结构，所述设备包括存储器，用于存储所述逻辑结构模型；字符串逻辑结构提取单元，用于基于输入图像的识别结果，存储输入 图像中的字符串以及输入图像中的字符串间的逻辑结构；逻辑元素选择单元，用于根据由所述字符串逻辑结构提取单元提取的 输入图像中的字符串和分别与存储在逻辑结构模型中的多个逻辑元素相 关联的字符串之间的类似程度，选择多个逻辑元素中的逻辑元素；字符串提取单元，用于提取与所选择的逻辑元素相关联的字符串，以 及输入图像中的与基于由所述字符串逻辑结构提取单元提取的输入图像 中的字符串间的逻辑结构的逻辑元素相关联的字符串；和显示单元，用于显示由所述字符串提取单元提取的字符串，作为与由 逻辑元素选择单元选择的逻辑元素相关联的字符串的候选更新目标。
11. 如权利要求10的逻辑结构模型创建辅助设备，其中，存储在逻辑结构模型中的逻辑结构模型的逻辑结构具有分层结构，所述逻辑元素选择单元分配优先级顺序，并且根据提取的输入图像中 的字符串和分别与存储在逻辑结构模型中的多个逻辑元素相关联的字符 串之间的类似程度，选择多个逻辑元素中的若干逻辑元素，并且使得具有 最高优先级的逻辑元素成为参考逻辑元素，并且进一步包括，逻辑结构类似度估计单元，用于根据优先级针对由 逻辑元素选择单元选择的若干逻辑元素，确定与参考逻辑元素的分层结构 中上层的逻辑元素、下层的逻辑元素或同层的逻辑元素相关联的字符串和 与多个提取的逻辑元素相关联的字符串之间的类似程度，并且基于所述确 定的结果，估计逻辑结构模型的逻辑结构与提取的输入图像中的字符串间 的逻辑结构之间的类似程度。
12. 如权利要求10的逻辑结构模型创建辅助设备，其中，逻辑结构模型包括若干不同类型的图像中的每一个的逻辑元素，分别 与逻辑元素相关联的字符串，和所述若干不同图像中的每一个的逻辑结构o
13. 如权利要求10的逻辑结构模型创建辅助设备，其中，与逻辑结构模型中的逻辑元素中的每一个相关联的字符串包括逻辑 元素的名称和逻辑元素的实际表达，并且为实际表达建立针对字符串的属 性的限制^Hf。
14. 如权利要求13的逻辑结构模型创建辅助设备，其中，所述逻辑元素选择单元根据输入图像中提取的字符串与存储在逻辑 结构模型中的多个逻辑元素的名称和/或逻辑元素的实际表达之间的类似 程度，选择多个逻辑元素中的逻辑元素。
15. 如权利要求13的逻辑结构模型创建辅助设备，其中，所述逻辑结构类似度估计单元根据优先级针对所述若干选择的逻辑 元素，确定与参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元与所述提取的输入图像的字符串之间的类似程度，并且基于所述确定的结 果，估计存储在逻辑结构模型内的逻辑结构与^^的输入图像中的字符串 间的逻辑结构之间的类似程度。
16. 如权利要求11的逻辑结构模型创建辅助设备，其中，所述字符串提取单元用于提取与包括在逻辑结构模型的逻辑结构内 的逻辑元素相关联的字符串，对于所述逻辑结构，已经估计了其相对于提 取的输入图像中的字符串间的逻辑结构的类似程度，并且用于提取输入图 像中的与基于提取的字符串间的逻辑结构的逻辑元素相关联的字符串。
17. 如权利要求10的逻辑结构模型创建辅助设备，还包括附加逻辑元素候选显示单元，当基于存储在逻辑结构模型中的逻辑结 构与提取的输入图像中的字符串间的逻辑结构之间的估计的类似程度，未 选^^存储在逻辑结构模型中的多个逻辑元素中的逻辑元素时，作为附加逻 辑元素候选，连同添加位置一起显示要被与输入图像中的字符串相关联并 且要,皮添加到所述逻辑结构模型的逻辑元素。
18. 如权利要求10的逻辑结构模型创建辅助设备，还包括 逻辑结构模型添加/更新单元，用于进行下面操作中的至少之一接M更新候选的修改，该更新候选用于与所述逻辑结构模型中的所 选择的逻辑元素相关联的字符串，更新与字符串的修^的更新候选中 的逻辑元素相关联的字符串，接M要被与输入图像中的字符串相关联并 且要被添加到逻辑结构模型的逻辑元素的名称和添加位置的修改，并且以 修改后的名称并且在所述添加位置处将所述逻辑元素添加到逻辑结构模 型。
19. 一种用于辅助进行逻辑结构模型创建的逻辑结构模型创建辅助方 法，所述逻辑结构模型存储来自其中描述了分别与组成逻辑结构的多个逻 辑元素相关联的字符串的图像的逻辑元素、与逻辑元素相关联的字符串、 以及逻辑结构，所述方法包括首先基于输入图像的识别结果，提取输入图像中的字符串以及输入图 像中的字符串间的逻辑结构；根据提取的输入图像中的字符串和分别与存储在所述逻辑结构模型 中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中 的一个；其次提取与所选择的逻辑元素相关联的字符串以及输入图像中与基于提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串； 和显示提取的字符串，作为与所选择的逻辑元素相关联的字符串的候选 更新目标。
20. 如权利要求19的逻辑结构模型创建辅助方法，其中，存储在所述逻辑结构模型中的逻辑结构具有分层结构，所述选择分配优先级顺序，并且根据提取的输入图像中的字符串和分 别与存储在逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似 程度，选择多个逻辑元素中的若干逻辑元素，并且使得具有最高优先级的 逻辑元素成为参考逻辑元素，并且进一步包括，根据优先级针对所述若干选择的逻辑元素，确定分 别与参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元素或同层串之间的类似程度，并且基于所述确定的结果，估计存储在逻辑结构模型 内的逻辑结构与提取的输入图像中的字符串间的逻辑结构之间的类似程 度。
全文摘要
一种用于辅助进行逻辑结构模型创建的方法，该逻辑结构模型存储来自其中描述了分别与组成逻辑结构的多个逻辑元素相关联的字符串的图像的逻辑元素、与所述逻辑元素相关联的字符串、以及逻辑结构，其中提取输入图像中的字符串以及输入图像中的字符串间的逻辑结构；根据提取的字符串和分别与存储在所述逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中的逻辑元素；提取与所选择的逻辑元素相关联的字符串以及输入图像中与基于提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串。
文档编号G06F17/22GK101452443SQ200810180800
公开日2009年6月10日 申请日期2008年12月5日 优先权日2007年12月6日
发明者堀田悦伸, 小泽宪秋, 武部浩明, 田中宏, 皆川明洋, 藤井勇作, 藤本克仁 申请人:富士通株式会社