对文档进行数字化的装置及方法

专利名称：对文档进行数字化的装置及方法
技术领域：
本发明涉及用于对纸质文档(paper document)进行数字化的装置及方法。
背景技术：
近年来，以互联网为代表的网络的广泛传播增加了对文档进行数字化分发的机 会，但是仍然经常分发印刷纸形式的文档。在这种情况下，一直在考虑即使手头只有纸质文 档时、也能够获得文档的内容作为可再利用的数据的技术。例如，有一种如下的技术，即通过扫描器等读取纸质文档，从终端将所得到的图像 数据发送到服务器，并且使服务器进行识别并将数据转换成可再利用的形式，然后将所得 到的数据返回到终端(参见日本专利特开平11-167532号(1999年)公报)。在另一种技术中，根据类型将文档的图像数据划分成区域，以使数据可以基于区 域而单独输出(参见日本专利特开2005-346137号公报)。当通过扫描纸质文档生成的文档图像(图像数据)经历文档数字化处理时，用户 根据其目的或者用途而期望得到不同的数据格式。无论如何，很多用户期望文档被数字化 成便于利用的格式。例如，当文档包括表时，意图在表上执行包括行/列的插入/删除的编辑操作的用 户，期望对文档进行数字化，以使电子文档包括作为表对象的可编辑表。另一方面，意图不 作改变地重新打印文档以作为纸质文档使用的用户，也期望对文档进行数字化，以使表的 线布局等的可视信息尽可能忠实地再现。然而，在电子文档的一些格式规范中，当文档图像中的表被转换成表对象时，表结 构或者表的线布局可能无法按原样再现。而且，在将表作为矢量对象进行绘制以再现表上的可视信息的方法中，不能进行 包括行/列的插入/删除的编辑操作。当参照表结构使用表中的表元(cell)内的值来执行计算等时，优选以电子表格 应用程序格式(基于表元矩阵结构表现表结构的格式)来再现表。然而，在基于表元矩阵 结构来表现表结构的格式中，当同一页(页单(sheet))包含有多个表时，对所述多个表中 的一个表执行的编辑操作可能无意地影响其他表。图13A示出了表1311和表1312总共两个表存在于同一页单上的状态。由于在 电子表格应用程序等中，表元之间的边界落在线位置，因此，执行表元的合并等以再现两个 表。图1 示出了在上述条件下、在页单编辑窗口 1313上执行的在表元1313的右侧添加 新列的操作的结果。可以看到，在表1311中新列1321插入到表元1313的右侧，但是同时 无意的列1322也插入到表1312中。在删除列、改变表元宽度等的其他操作中，如果对一个 表执行编辑操作，则其他表会无意地受到影响。直到现在，也很难实现能够同时满足用户的各种要求而不产生上述问题的纸质文 档的数字化。

发明内容
根据本发明提供一种装置，该装置包括区域提取单元，其被构造为提取包含区域 的细节的区域数据，所述区域被包括在文档图像数据中的表对象占据；表结构分析单元，其 被构造为分析关于所述表对象的所述区域数据，并提取关于所述表对象的表结构信息；页 单生成单元，其被构造为通过使用关于所述表对象的所述区域数据以及所述表结构信息， 来生成显示页单以及各表对象的编辑页单，所述显示页单用于再现所述文档图像数据中的 表对象的外观，所述编辑页单用于对表进行编辑；以及电子文档生成单元，其被构造为生成 将所述显示页单与所述编辑页单相关联的电子文档。根据本发明的电子文档(工作簿文档)包括编辑页单和打印显示页单。这使得能 够针对包括表的文档忠实地再现文档布局，同时确保表编辑的便利性。通过参照附图对下面示例性实施例的描述，本发明的其他特征将变得清楚。


图1是示出根据实施例1的示例性系统结构的图；图2是例示实施例1中的操作的功能框图；图3是关于表对象的信息的树状结构图；图4是例示页单生成单元中的处理流程的流程图；图5是由扫描器读取的示例性文档图像；图6是示出表区域信息和表结构信息的示例的图；图7是示出字符识别处理的示例性结果的图；图8A和图8B是示出示例性显示页单的图；图9A和图9B是示出示例性编辑页单的图；图10是示出示例性工作簿文档的图；图11是示出通过显示/编辑程序显示的示例性显示页单的图；图12A和图12B是示出通过显示/编辑程序显示的示例性编辑页单的图；图13A和图13B是例示相关现有技术的图；图14是示例性文档图像；图15A和图15B是示出通过显示/编辑程序显示编辑页单和显示页单的状态的 图；图16是例示根据实施例2的页单生成单元中的处理流程的流程图；图17是示出示例性确定表的图；以及图18是示出示例性文档图像的图。
具体实施例方式(实施例1)图1是示出根据本实施例的示例性系统结构的图。附图标记100表示图像处理装置。附图标记101表示扫描器，其用作扫描纸质文档以获得文档图像(图像数据)的 读取装置。
附图标记102是CPU，其执行用于对所获得的图像数据执行根据本发明的各种类 型的处理的数字化处理程序。附图标记103表示存储器，其用于例如在CPU 102执行数字化处理程序时，临时存 储工作记忆(work memories)禾口数据。附图标记104表示硬盘，其存储数字化处理程序和数据。附图标记105表示网络I/F(接口)，其用于从外部装置接收数据或者将数据发送 至外部装置。 附图标记110表示网络(LAN)。附图标记120表示个人计算机(PC)，其经由LAN 110连接至图像处理装置100。附图标记121表示显示/编辑程序，其能够使图像处理装置100生成的电子文档 显示在PC 120的显示器上以便用户编辑。图2是例示本实施例中的操作的功能框图。假设图2中所示的各单元通过CPU 102执行数字化处理程序来实现，但是它们中 的一部分或者全部也可以由电路构成。附图标记200表示作为由扫描器101读取纸质文档的结果而获得的图像数据。附图标记210表示数字化处理单元，其对接收到的图像数据200执行数字化处理。附图标记220表示数字化处理单元210生成的工作簿文档。在这点上，本说明书 中的术语“工作簿文档”是指能够通过存储在PC 120中的显示/编辑程序121来显示和 编辑的电子文档，并包括多个页单。本说明书中的显示/编辑程序121是电子表格应用程 序(例如，Microsoft OfficeExcel (注册商标))。页单(电子表格(spreadsheet))是这 样的电子数据，在其中表布局能由组织成列和行的最小单位(称作表元)的表结构和其他 能够自由布置的对象(浮动对象)来表现。在这点上，在本实施例中描述的工作簿文档以 XML (可扩展标记语言，Extensible MarkupLanguage)格式来记述。应当理解，XML格式是 一个示例，也可以采用应用程序特有的二进制格式。块211至215中的各个示意性地示出数字化处理单元210执行的、作为独立构成 要素的各功能。附图标记211表示区域提取单元，其分析接收到的文档图像(图像数据)，然后根 据对象类型(例如表、字符、自然图像等)将所得到的图像划分成区域，然后基于对象来提 取区域数据。区域数据包括对象类型信息，以及还包括关于对象位置、对象大小、对象倾斜 等的信息。在这点上，为了更容易理解，将表对象的区域数据简称作“表区域数据”，将字符 对象的区域数据简称作“字符区域数据”。附图标记212表示表结构分析单元，其分析区域提取单元211提取的表区域数据 中的表结构，然后提取并生成表结构信息。附图标记213表示字符识别单元，其识别字符区域数据中的字符，并生成包括字 符代码数据的字符识别信息。图3是示出关于通过区域提取处理、表结构分析处理以及字符识别处理而获得的 表对象的信息的树状结构图。首先将关于表的信息粗略划分成表区域信息和表结构信息两 种。表区域信息通过区域提取处理获得。然后将表区域信息分成关于形成表的外框的矩形的坐标信息、大小信息和倾斜信息。假设文档图像的左上角点被定义为原点(0，0)，则 坐标信息表示形成表的外框的矩形的左上角位置的坐标。利用由水平轴方向上的位置χ和 垂直轴方向上的位置y构成的坐标(x，y)来表现坐标信息。大小信息表示形成表的外框的 矩形的大小，包括描述宽度w和高度h的信息(w，h)。倾斜信息是关于表的垂直线段相对 于文档的垂直方向倾斜多少的信息，用度(° )表示。表结构信息通过表结构分析处理获得。表结构信息是关于分别用行和列定义、作 为表的最小单位的表元的信息(表元信息)的集合。而表元信息又分为字符代码数据、行 列坐标信息、矩形信息、背景信息及线信息(格线信息，ruled line information)等。行 列坐标信息包括通过列c和行r表示表元的位置的信息(c，r)。矩形信息包括如下两种信 息的组合(x，y_w，h)，其中一种信息(水平轴位置X，垂直轴位置y)表示在假设形成表的外 框的矩形的左上角点被定义为原点(0，0)的情况下的表元的左上角位置，另一种信息(宽 度《，高度h)表示表元的大小。背景信息是关于表元的背景的颜色及图案等的信息。线信 息是表示表元的线段的颜色及线类型(例如，实线、虚线、粗实线、细实线以及双线)等的信 肩、ο对应于上述表区域信息的区域信息与其他对象(例如，字符区域信息等)相关地 存在，并且以类似的树状结构进行管理和存储。在这点上，树状结构是用于管理关于表的信 息的一种技术，类似的信息也可以用其他技术管理和存储。附图标记214表示页单生成单元，其基于针对各对象获得的区域数据来生成显示 页单221和编辑页单222。附图标记215表示工作簿文档生成单元，其由页单生成单元214生成的页单，来生 成工作簿文档220作为电子文档。工作簿文档220包括作为工作簿文档中的页单位的显示 页单221和编辑页单222。工作簿文档220可以通过PC 120中的显示/编辑程序121来显 示或者编辑。显示页单221是用于在PC 120的显示器上显示文档图像、并在打印机(未示出) 上打印该文档图像的电子数据。由于显示页单221是用于对文档图像中的对象的布局给予 最高的重要度、并显示图像而不改变布局的页单，故被称为“显示页单”。编辑页单222是用于对包括在文档图像中的表执行编辑操作(例如，添加列或者 删除行)的电子数据。由于编辑页单222是用于编辑文档图像中的表的页单，因此被称为 “编辑页单”。下面说明电子文档生成单元210的各功能(各处理单元)的处理的具体步骤的细节。(区域提取单元)首先，在区域提取单元211中，将通过扫描器101接收的图像数据基于对象而划 分成区域，并且针对各对象提取区域数据。对于提取，可以应用诸如美国专利5680478号 公报中描述的已知方法。在采用美国专利5680478号公报中描述的方法的情况下，从图像 数据中提取黑色像素的块和白色像素的块，之后基于形状、大小及集合状态等，针对按照 诸如字符、图片、绘画、表、自然图像、框和线等的类型来分类的对象中的各个来提取区域。 应当注意，作为从图像数据中提取表的方法，有一种对输入图像数据执行霍夫变换(Hough transform)等以提取线段信息的方法，在这种情况下，可以检测相对于文档倾斜的表。
当提取区域时，也提取关于对象的位置(布局)、大小及倾斜等的信息。通过示例 来描述表对象。除了上述表区域信息，即，除了形成表的外框的矩形的坐标信息和大小信息 之外，还提取表示表相对于文档倾斜了多少的倾斜信息。也就是说，区域数据包括关于对象 的类型、位置、大小和倾斜等的信息。图5中的附图标记500表示扫描器101读取的文档图像的示例。附图标记501表 示被提取作为字符区域的区域，附图标记502和503分别表示被提取作为表区域的区域。然后，图6中的附图标记601表示与表区域502和503 —起提取的表区域信息。 对于表区域502，示出形成表的外框的矩形的左上角位置的坐标信息(90，550)和表示矩形 的宽度和高度的大小信息O200，570)。另外，由于表区域502的垂直方向上的线段平行于 文档图像500的垂直方向，因此，倾斜信息表示“0° ”。对于表区域503，示出形成表的外 框的矩形的左上角位置的坐标信息G20，1630)，以及表示矩形的宽度和高度的大小信息 (1350，540)。类似地，倾斜信息表示“0° ”。(表结构分析单元)当针对各对象完成区域数据的提取时，表结构分析单元212进而分析表区域数 据，以提取诸如表的行列结构、表元的坐标、线的颜色和类型等的表结构信息。对于分析表 区域数据以提取表结构信息的方法，存在例如日本专利特开2004-086436号公报中描述的 方法等。在该方法中，首先，在表区域内的白色像素块的边界附近计算两方向上的边缘，然 后，基于由所计算出的两方向上的边缘中的各个计算的边缘直方图，来获得部分线信息。基 于这样获得的部分线信息，通过获得表区域的线信息来分析表结构。图6中的附图标记602表示提取的关于表区域502和503的表结构信息。对于表 区域502，示出在将形成表区域的外框的矩形的左上角定义为原点(0，0)的情况下，位于第 一行第一列的表元的矩形的左上角位置的坐标(0，0)和矩形的大小(580，190)。另外，作为 背景信息示出“无”，作为线信息示出“黑，实线”。对于直到第三行第三列表元的表元(总共 9个表元)示出类似信息。对于表区域503，示出位于第一行第一列的表元的矩形的左上角 位置的坐标(0，0)和矩形的大小(600，180)，并且作为背景信息示出“无”，作为线信息示出 “黑，实线”。对于直到第三行第二列表元的表元(总共6个表元)示出类似信息。(字符识别单元)当表结构的分析完成时，字符识别单元213对基于字符区域数据和表区域数据的 表元范围执行字符识别处理。已知的字符识别技术可以用于字符识别处理。下面，将描述 对字符区域数据执行的字符识别的示例。首先，对于字符区域数据，字符识别单元213确定字符方向是水平的还是垂直的， 即行朝哪个方向延伸。作为确定技术，有对图像数据进行二值化、然后测量垂直和水平投 影、进而将投影分散较低的方向确定为行方向的方法等。接下来，逐字符地将字符区域数据划分成图像数据组。具体来说，使用二值化图像 在行方向上的投影在要切断的行之间寻找边界，由此逐行地将字符区域数据划分成图像数 据组(行图像数据)。然后，使用在与行垂直的方向上的投影在要切断的字符之间寻找边 界，由此逐字符地将行图像数据划分成图像数据组(字符图像数据)。随后，从划分的各字符图像数据组中读取特征，然后使用预先存储有所有字符类 型的特征的词典，来检索与读取的特征最接近的特征。然后，具有这样检索到的最接近特征的字符类型的字符代码，即是字符图像数据的字符识别结果。另外，当识别各字符图像数据组中的字符时，也同时获取关于字符的大小的信息， 并计算所有存在于字符区域数据中的字符的大小的平均值。通过这种方式，针对各字符区 域数据组计算了字符大小信息。对这样获得的字符代码数据和字符大小信息进行组合，以 生成关于字符区域数据的字符识别信息。在表区域数据中的表元范围内，针对构成表的各表元执行类似的处理。当区域提 取单元211从提取的表区域数据中获取了关于表中的字符的字符区域数据时，可以对所获 取的字符区域数据执行字符识别处理。图7示出对图5所示的三个区域501至503上的图像数据执行字符识别处理的结果。

在字符区域501中，示出作为识别结果的字符串“Member List”、形成字符区域 501的外框的矩形的位置和大小信息(170，120-1050)，以及字符大小信息(180)。对于表区域502，针对第一列第一行表元示出字符串“Name”和字符大小信息“45 像素”。同样，在第二列第一行表元中示出字符串“Email”。在第三列第一行表元中示出字 符串“Group”。在第一列第二行表元中示出字符串“Maruko Taro”。在第二列第二行表元中 示出字符串“marukotfexx. co. jp”。在第三列第二行表元中示出字符串“Α”。在第一列第三 行表元中示出字符串“Kosugi Ichiro”。在第二列第三行表元中示出字符串“kosugiifexx. co. jp”，在第三列第三行表元中示出字符串“B”。另外，在表区域503中的第一列第一行表 元中示出字符串“Group”。然后，在第二列第一行表元中示出字符串“Leader”。在第一列 第二行表元中示出字符串“A”。在第二列第二行表元中示出字符串“Maruko Taro”。在第 三列第一行表元中示出字符串“B”，在第三列第二行表元中示出字符串“Kosugi Ichiro”。 然后，示出45 (像素)，作为从表区域502和503的各表元中提取的上述字符串的字符大小 fn息ο(页单生成单元)当字符识别处理完成时，页单生成单元214执行生成显示页单221和编辑页单222 的处理。在描述页单生成单元214中的处理的流程之前，将详细描述记述在页单上的各元 素。在接下来的描述中，将根据需要参照图8和图9。作为页单格式的根元素的Sheet元素，包括存储表元信息的Table元素，以及存储 关于能够被自由放置在页单上的浮动对象的信息的Siapes元素。Sheet元素的Name属性 表示页单名称。Shapes子元素的Text元素是处理字符串信息的元素，包括示出在页单的左上角 被定义成原点(0，0)的情况下的绘制(rendering)的左上角位置的χ属性和y属性、指定 字符的大小的fontSize属性、以及用于识别要被显示的字符的字符信息。Siapes子元素 的Image元素是处理图像对象的元素，其存储示出在页单的左上角被定义成原点(0，0)的 情况下的绘制的左上角位置的χ属性和y属性，以及作为图像对象的内容的图像数据。Table元素包括存储列信息(column information)的Column元素，以及存储行信 息的Row元素。Column元素包括表示列编号的c属性和表示列宽度的width属性。Row元 素包括表示行编号的r属性、表示高度的height属性，以及子元素Cell。
Cell元素对应于页单上的表元。Cell元素包括表示表元对应于哪一列(Column 元素)的c属性、表示值的属性的type属性、表示字体大小的fontSize属性、表示表元的 值的value属性，以及表示线颜色的borderColor属性。接下来，将参照图4中的流程图，来详细描述页单生成单元214中的处理的流程。首先，在步骤401，页单生成单元214生成描述有除表之外的对象的显示页单。具 体来说，将字符和/或自然图像等的对象表现在独立于表元层的层上，作为能够被自由放 置的浮动对象，由此生成再现文档中的对象布局的页单。图8A是描述有图5所示的文档图像500中字符区域501的字符对象的示例性显示 页单。可以看到，页单具有通过作为页单名称的“viewSheet”、作为字符区域的矩形的位置 及大小信息的χ =“170”、y =“120”及fontSize =“180”以及作为内容的“Member List” 来识别的字符串的text元素。应当注意，在文档图像500的情况下，只有字符对象作为除表之外的对象存在。然 而，如果其他图像或者图形形式或自然图像等的对象存在，则以类似的方式将其描述在显 示页单中。 接下来，在步骤402，页单生成单元214针对表对象生成编辑页单。具体来说，针对 各表(表对象单位)生成描述有表结构信息的页单。在这种情况下，如果存在多个待处理 的表对象，则编辑页单可以按任意顺序依次生成，或者可以通过并行处理针对所有表对象 生成。图9A和图9B分别是针对表区域502的表对象和表区域503的表对象的示例性编 辑页单。例如，在图9A的情况下，可以看到，页单名称为“TableEditSheetl”，对于排列在三 行三列中以形成表区域502的表元，以表元形式表现关于大小及线等的信息，并且字符识 别的结果被表现为表元值。同样，在图9B中，页单名称为“ableEditSheet2”，对于排列在三 行二列中以形成表区域503的表元，以表元形式表现关于大小及线等的信息，并且字符识 别的结果被表现为表元值。然后，在步骤403，页单生成单元214确定是否针对所有表对象生成了编辑页单， 当针对所有表对象完成了编辑页单的生成时，处理进入到步骤404。在步骤404，页单生成单元214参照步骤402中生成的各编辑页单上的表来生成绘 制对象，并将绘制对象作为参照信息添加到步骤401中生成的显示页单上。在这点上，通过 绘制编辑页单上指定的范围，来获得绘制对象。当用于绘制的编辑页单上的表被编辑时，将 用于参照的显示页单上的图像对象的内容，根据编辑后的内容进行更新。图8B是通过将参照表区域502和503的编辑页单(图9A和图9B)的绘制对象 801、添加至字符区域501的显示页单(图8A)而得到的示例性显示页单。这里，表示图像 数据的Image元素的内容是Script元素，在其中描述了适合于本实施例中的说明的虚拟 Script 语言。"Thisfforkbook. Sheet ( “ TableName “ ) · getRenderlmage ()，，的意思是用 于获取同一工作簿文档中的TableName页单的绘制图像的指示。结果，两个编辑页单 (TableEditSheetl, TableEditSheet2)的绘制图像被放置在显示页单上。(工作簿文档生成单元)当由页单生成单元214完成页单生成处理时，工作簿文档生成单元215基于所生成的页单来生成工作簿文档。具体来说，生成包括显示页单和编辑页单被相互关联的 Workbook元素、Sheets元素及Sheet元素的电子文档。这里，将描述各元素。作为根元素的Workbook元素包括描述有关于形成自身的页 单的信息的Sheets元素。其次，Sheets元素包括Sheet元素，并且Sheet元素使用ref属 性来参照显示页单或者编辑页单。图10是示例性工作簿文档。工作簿文档具有分别存储文件名“ViewSheet. xml”、 “TableEditSheetl. xml”及“TableEditSheet2. xml” 的 ref 属性值。可以理解，图 10 中的 工作簿文档由经历了添加处理的显示页单(图8B)和两个编辑页单(图9A和图9B)构成。以此方式，针对由扫描器101进行读出的纸质文档，生成工作簿文档作为电子文 档。图11示出了通过显示/编辑程序121显示经历了添加处理的显示页单(图8B)
的PC 120的显示器的状态。附图标记1101表示显示窗口，附图标记1102表示页单编辑窗□。布置在页单编辑窗口 1102内的自由位置的表图像1103和1104，分别是对应于图 9A和图9B中的编辑页单的绘制图像，在其中与表元无关地显示了表位置和线位置。图12A和图12B示出了通过显示/编辑程序121显示编辑页单(图9A和图9B)的 PC 120的显示器的状态。在图12A中，表1的选项卡1201是激活的，因此，对应于表区域 502的编辑页单(图9A)被显示在页单编辑窗口 1102上。同样，在图12B中，选项卡1202 是激活的，因此，对应于表区域503的编辑页单(图9B)被显示在页单编辑窗口 1102上。与 显示页单的情况不同，以使得表位置和线位置与表元的矩形相匹配的方式，来显示页单。当在画面上对显示的表执行行/列的插入/删除、或者表元中的文本编辑等时，编 辑的内容即时反映在图11所示的显示页单中。如上所述，在作为根据本发明生成的电子文档的工作簿文档中，表的实际数据被 表现在针对各表的编辑页单上。因此，即使当同一页中包括多个表时，也可以互不影响地 (即，不产生如图13B所述的情况)对表进行编辑。另外，下面描述当图14所示的文档图像1400被输入时的处理。使文档图像1400上的表区域1404相对于文档的垂直方向顺时针倾斜约15度。当 使表以如上所述的方式倾斜时，在相关现有技术中，仅有一种表现表的技术，其将表表现为 没有行列结构的图形对象等、而非表现为具有行列结构的表对象。然而，在本发明中，可以将这种倾斜的表表现为表对象。图15A和图15B例示了当通过显示/编辑程序、来显示通过对文档图像1400应用 本发明而获得的编辑页单以及经历了添加处理的显示页单时的状态。从图15B可以清楚地看到，在显示页单上，表保持约15度的倾斜，文档图像1400 的概观被无改变地保持。另一方面，在图15A中的编辑页单中，表的实际数据被表现为行列 结构，以使得能够对表进行编辑操作。另外，由于显示页单上的表被作为绘制对象从编辑页 单进行参照，因此使得能够进行旋转表等的操作。如上所述，利用根据本实施例的图像处理装置，可以将纸质文档转换成电子文档， 同时既能够实现包括在文档中的表的可编辑性，又能够实现文档总体的布局的精确再现。(实施例2)
在实施例1中，当在经由扫描器101接收的文档图像中存在表区域时，针对各表生 成编辑页单。然而，即使在希望编辑表的文档数字化中，文档图像中的一些表也可能不需要 编辑。为了解决该问题，作为实施例2描述仅在需要时生成编辑页单的实施例。图16是示出根据本实施例的页单生成单元214中的处理流程的流程图。下面，将 根据流程图详细描述该处理，并且简化或省略与根据实施例1的图4中的流程图相同的部 分的描述。以下主要描述与实施例1的不同之处。首先，在步骤1601，页单生成单元214生成描述了除表对象之外的对象的显示页 单。这类似于步骤401。接下来，在步骤1602，页单生成单元214确定是否针对表对象生成编辑页单。具体 来说，页单生成单元214使用描述用于生成编辑页单的预定条件的确定表，来确定表对象 是否满足生成条件。如果确定表对象满足生成条件，则处理进入到步骤1604。如果确定表 对象不满足生成条件，则处理进入到步骤1603。图17是示出示例性确定表的图。在图17所示的确定表中，基于工作簿文档的规 范、与其他对象的位置关系以及与其他表的位置关系三个主要方面，来确定是否应当生成 编辑页单。在关于工作簿文档的规范的条件中，条件被进一步分成两个元素，即倾斜和表元 背景。“倾斜”是如下条件，即当表相对于文档的倾斜是除0度、90度、180度和270度之外 的任何其他角度时，生成编辑页单。换句话说，当表相对于文档以除直角之外的任何角度 (例如，30度)倾斜时，生成编辑页单。“表元背景”是如下条件，即除了当表元的背景是单 色背景时之外，生成编辑页单。换句话说，当表元的背景是多色背景时，生成编辑页单。关于与其他对象的位置关系的条件是如下条件，即当表对象的区域整体地或者部 分地与除表之外的其他对象交叠时，生成编辑页单。关于与其他表的位置关系的条件是如下条件，即当存在多个表、并且表之间的位 置关系导致在行方向和列方向中的任意一者上的交叠时，生成编辑页单。换句话说，当以使 得对表中的一个执行诸如插入/删除行/列等的操作可能会影响其他表的位置关系、对表 进行了布置时，生成编辑页单。在这点上，以示例的方式描述了上述用于生成确定表的生成条件，也可以设置除 此之外的其他各种条件。例如，在其他可能条件中，当在垂直方向上垂直布置的表的线的 X坐标没有对齐时，或者当在横向方向上并列布置的表的线的Y坐标没有对齐时，可以生成 编辑页单。在其他可能的条件中，当存在两个或者更多表时，可以总是生成编辑页单。用户 可以根据自己的使用目的或者数字化文档的用途，来任意地设置用于生成确定表的条件。在步骤1603，页单生成单元214在步骤1601中生成的显示页单上，以添加方式将 表描述作为浮动对象。当该添加完成时，处理进入到步骤1605。另一方面，在步骤1604，页单生成单元214针对表对象来生成编辑页单。具体过程 类似于步骤402。当编辑页单的生成完成时，处理进入到步骤1605。在步骤1605，确定是否已将所有表对象添加到显示页单中，或者是否已针对所有 表对象生成了编辑页单。如果确定完成，处理进入到步骤1606。在步骤1606，页单生成单元214参照在步骤1605中生成的编辑页单上的表，来生成 绘制对象，然后将绘制对象添加到步骤1603中生成的显示页单上。该步骤类似于步骤404。
下面，将描述将图17中的确定表用于根据本实施例的处理的应用的具体示例。首先，将描述图18所示的文档图像1800的示例。在图18所示的文档图像1800 中，存在两个在上下方向和左右方向上没有对齐的表(1801和1802)。首先，如同在实施例1的情况下，区域提取单元211针对表区域1801和1802提取 区域数据作为表对象。然后，区域提取单元211提取各种关于表区域1801的信息的项目， (110，600)作为位置信息，(1100，500)作为大小信息，以及0度作为倾斜角。同样，对于表 区域1802，提取(1350,1400)作为位置信息，提取(1000,550)作为大小信息，并且提取0度 作为倾斜角。随后，表结构分析单元212分析各个表的表区域数据。在这种情况下，针对所有表 元提取RGB#FFF(白色)作为关于表元背景色的信息。然后，使用图17中的确定表，来确定是否应当生成编辑页单。首先，在表区域 1801,1802 二者中均没有倾斜，且表元背景为单色背景。因此，表1801、1802不满足关于工 作簿文档的规范的编辑页单的生成条件。另外，由于没有所述表之外的对象，因此，表不满 足关于与其他对象的位置关系的生成条件。同样，由于两个表之间的位置关系不涉及在X 轴和Y轴两个方向上的叠合，因此，两个表不满足关于与其他表的位置关系的生成条件。因此，不生成编辑页单，且两个表被添加到显示页单中，其后页单生成单元214的 处理结束。结果，生成仅包括显示页单的工作簿文档。接下来，将描述图14所示的文档图像1400的示例。首先，区域提取单元211针对表区域1401提取区域数据作为表对象，并同时提取 表示15度倾斜的信息。在进行了分析之后，表结构分析单元212使用图17中的确定表，来确定是否应当 生成编辑页单。在这种情况下，由于表区域1401倾斜15度，因此，表满足关于工作簿文档 的规范的编辑页单的生成条件。这样，生成了编辑页单，然后，将参照所生成的编辑页单上的表的绘制对象添加到 显示页单中，其后页单生成单元214的处理结束。结果，生成包括显示页单和编辑页单的工作簿文档。如上所述，根据本实施例，能够通过基于预定条件确定是否应当生成编辑页单，来 禁止生成不必要的编辑页单。这样使得能够在响应用户的各种需求的同时，将纸质文档数 字化成电子文档。其他实施例本发明的各方面还可以通过读出并执行记录在存储装置上的用于执行上述实施 例的功能的程序的系统或设备的计算机(或诸如CPU或微处理单元(MPU)的装置)、以及由 系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的 程序来执行各步骤的方法来实现。鉴于此，例如可以经由网络或者从用作存储装置的各种 类型的记录介质(例如计算机可读介质)向计算机提供程序。虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公 开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有变型、等 同结构及功能。
权利要求
1.一种对文档进行数字化的装置，该装置包括区域提取单元，其被构造为提取包含区域的细节的区域数据，所述区域被包括在文档 图像数据中的表对象占据；表结构分析单元，其被构造为分析关于所述表对象的所述区域数据，并提取关于所述 表对象的表结构信息；页单生成单元，其被构造为通过使用关于所述表对象的所述区域数据以及所述表结构 信息，来生成显示页单以及各表对象的编辑页单，所述显示页单用于再现所述文档图像数 据中的所述表对象的外观，所述编辑页单用于对表进行编辑；以及电子文档生成单元，其被构造为生成将所述显示页单与所述编辑页单相关联的电子文档。
2.根据权利要求1所述的装置，其中，所述页单生成单元生成包括对所述表对象的所述编辑页单进行参照的绘制对象的所 述显示页单，并且由此在所述编辑页单被编辑的情况下，所述显示页单上的所述绘制对象被更新以反映 所述编辑后的内容。
3.根据权利要求1所述的装置，其中，所述页单生成单元还包括确定单元，所述确定单元被构造为基于预定生成条件是否被 满足来确定是否生成所述编辑页单。
4.根据权利要求3所述的装置，其中，所述预定生成条件包括关于以下任意一者的条件表相对于所述文档的倾斜的角度、 表元背景的颜色、表与其他对象之间的位置关系以及表之间的位置关系。
5.根据权利要求1所述的装置，其中，所述区域数据包括关于所述表对象的位置、所述表对象的大小以及所述表对象的倾斜 中的至少一者的信息，并且所述表结构信息包括关于行/列结构、表元的坐标、线颜色以及线类型中的至少一者 的信息。
6.根据权利要求1所述的装置，其中，所述电子文档的格式为XML格式。
7.一种对文档进行数字化的方法，所述方法包括以下步骤提取包含区域的细节的区域数据，所述区域被包括在文档图像数据中的表对象占据； 分析关于所述表对象的所述区域数据，并提取关于所述表对象的表结构信息； 使用关于所述表对象的所述区域数据以及所述表结构信息，来生成显示页单以及各表 对象的编辑页单，所述显示页单用于再现所述文档图像数据中的所述表对象的外观，所述 编辑页单用于对表进行编辑；以及生成将所述显示页单与所述编辑页单相关联的电子文档。
全文摘要
本发明提供一种对文档进行数字化的装置及方法。根据本发明的所述装置包括区域提取单元，其被构造为从包括表的文档图像数据中提取针对各对象的区域数据；表结构分析单元，其被构造为分析所提取的区域数据当中的关于表对象的区域数据，并提取关于所述表对象中的各个的表结构信息；页单生成单元，其被构造为通过使用关于各对象的区域数据和所述表结构信息，来生成显示页单以及各表对象的编辑页单，所述显示页单用于再现所述文档图像数据中的所述对象的布局，所述编辑页单用于编辑所述表；以及电子文档生成单元，其被构造为生成将所述显示页单与所述编辑页单相关联的电子文档。
文档编号G06K9/00GK102117269SQ20111000896
公开日2011年7月6日 申请日期2011年1月6日 优先权日2010年1月6日
发明者榎本诚 申请人:佳能株式会社