专利名称：图像处理方法、系统、程序、程序存储介质以及信息处理设备的制作方法
技术领域：
本发明涉及读取和计算机化打印的文档的技术。
背景技术：
近年来，在环境问题的需求中，提倡转换到无纸办公，并且已经提出处理数字文档的各种技术。
例如，作为把纸张文档转换成数字文档的方法，例如，日本专利申请公开2001-358863描述了通过扫描仪扫描纸文档，把扫描的数据转换成数字文档格式(例如，JPEG等等)，并且发送转换的数据的技术。然而，由于在日本专利申请公开2001-358863中描述的上述技术的目的是把通过扫描仪扫描的图像转换成例如JPEG等等的数字文档，它未考虑使用打印的文档的保存文件的搜索处理。因此，必须重复打印和扫描处理，并且转换的数字文档图像逐渐退化。
另一方面，日本专利申请公开8-147445公开了把文档数据分割成各个特性的区域，并且保存所有区域作为原始图像数据(或压缩的图像数据)的技术。然而，由于各个区域被作为图像来处理，需要较大文件尺寸，并且在进行例如放大等等的编辑处理的情况下，图像退化。
另一方面，已经提出搜索对应于纸文档的数字信息的技术。例如，日本专利申请公开10-063820公开了根据扫描的输入图像识别相应数字信息的技术，并且还描述了提取输入图像和数字信息之间的差异，并且把提取的差异复合到识别的数字信息上的信息处理设备。另一方面，日本专利申请公开10-285378公开了以下技术。即，在数字多功能外设(MFP)(包括复制功能，扫描功能，打印功能等等)中，确认在扫描的图像包含指示页ID的图形代码的情况下，以及在发现图形代码的情况下，在数据库中搜索相应页ID。如果在数据库中发现页ID，则丢弃当前扫描的图像，读出与该页ID相关的打印数据，并且打印图像由打印操作产生并且被打印在纸张上。另一方面，如果在数据库中没有发现相应的页ID，则扫描的图像被以复制模式直接复制在纸张上，或把PDL命令追加到扫描的图像上以把扫描的图像转换成PDL格式，并且以传真或文件模式发送转换的数据。
然而，由于在日本专利申请公开10-063820中的技术通过搜索对应于输出纸文档的原始数字文档来提取差异信息，所以额外写在纸文档上的信息能够作为差异图像被保留。然而，由于差异信息直接操作扫描的图像，所以需要较大存储容量。此外，如果没有发现对应于输出纸文档的原始数字文档，则处理结束。在日本专利申请公开10-285378中的技术中，如果没有发现对应于纸文档的原始数字文档，则PDL命令被追加到扫描的图像上以把该图像转换成PDL格式。然而，当PDL命令仅仅被追加到扫描的图像上以把该图像转换成PDL格式时，需要较大的文件尺寸，并且这种文件会填满数据库。
发明内容
考虑到这些问题而提出了本发明，并且本发明的目的是提供一种技术，该技术根据要复制的文档的图像数据指定对应于该文档的原始文档文件，根据该文件打印文档以防止图像质量退化，以及通过执行向量化处理，来执行未注册文档的注册处理以便在早期阶段抑制图像质量退化。
为了实现上述目的，例如，基于本发明的图像处理系统包括以下方案。即，图像处理系统包括搜索装置，用于根据输入文档图像，搜索存储在存储装置中的原始数字数据；向量化装置，用于当不能指定原始数字数据作为搜索装置的搜索结果时，执行输入文档图像的向量化处理；以及存储控制装置，用于把通过所述向量化装置转换的文档图像的向量数据存储在存储装置中。
通过以下结合附图的描述，将能够明白本发明的其它特征和优点，其中在其所有附图中，相似附图标记指定相同或类似部分。
图1是本发明的实施例中的网络系统图；图2是本发明的实施例中的多功能外设(MFP)的模块图；图3是本发明的实施例中的管理PC的模块图；图4是示出本发明的实施例中的MFP的外观的视图；图5是示出本发明的实施例中的管理PC的处理序列的流程图；图6示出本发明的实施例中要存储在数据库中的数据结构；图7是说明当扫描纸文档时的块分割的处理内容的视图；图8示出通过块分割产生的数据的内容；图9是示出在本发明的实施例中的二维条形码的扫描/解码处理序列的流程图；图10示出在本发明的实施例中具有二维条形码的文档的例子；图11是示出本发明的实施例中的文件搜索处理序列的流程图；图12是示出本发明的实施例中的另一个文件搜索处理序列的流程图；图13A和13B是示出在本发明的实施例中，根据扫描的文档的布局的布局搜索处理序列的流程图；图14是解释本发明的实施例中的线条分割的向量化处理的内容的视图；图15是解释本发明的实施例中的线条分割的向量化处理的内容的视图；图16是示出本发明的实施例中的成组处理的示意处理序列的流程图；图17是示出本发明的实施例中的图形单元的检测处理序列的流程图；图18示出DAOF的数据结构；图19是示出本发明的实施例中的应用数据生成处理序列的流程图；
图20是图19中步骤S8002中的文档结构树生成处理的详细流程图；图21A以及21B是解释文档结构树的结构的视图；图22是示出本发明的实施例中，使用二维条形码编码指针信息，以及把编码的指针信息追加到图像上的序列的流程图；图23示出在本发明的实施例中区域的设置窗口的例子；图24示出在本发明的实施例中区域的设置窗口的例子；图25示出在本发明的实施例中区域的设置窗口的例子；图26示出在本发明的实施例中区域的设置窗口的例子；图27示出在本发明的实施例中区域的设置窗口的例子；图28示出本发明的实施例中向量化处理的设置内容确认窗口；图29示出本发明的实施例中向量化处理的另一个设置内容确认窗口；图30是示出一个文本块的处理序列的流程图；图31示出当执行文本区域的向量化处理时准备的字典的结构；以及图32示出当执行文本区域的向量化处理时中间数据的结构。
具体实施例方式
现在根据附图详细描述本发明的优选实施例。
<系统综述>
图1是示出基于本发明的图像处理系统的方案的例子的模块图。
这个图像处理系统将示例说明通过因特网104连接办公室10和20的环境。由于办公室20中的布置基本上与办公室10中的布置相同，下面将解释办公室10。
MFP(多功能外设作为网络扫描仪和网络打印机的复印机)100，用于控制MFP 100的管理PC 101，客户PC 102，管理文档文件的文档管理服务器(文件服务器)106，能够使用文档数据等等的格式进行搜索处理的数据库105，以及代理服务器103被连接到在办公室10中形成的LAN 107。图1只图解了一个客户PC，但是能够连接多个客户PC。
办公室10中的网络107通过代理服务器103被连接到因特网。这同样适用于办公室20。因此，办公室10和20的网络能够通过因特网彼此传送信息。注意，期望通过例如VPN等等的已知技术避免第三方闯入办公室10和20中的网络，但是由于这种技术自身不直接涉及本发明，因此省略其描述。
在这个实施例中的MFP 100负有纸文档的图像扫描单元(扫描仪)的责任以及扫描图像信号的一些图像处理(预先处理等等)的责任，并且通过LAN 109向管理PC 101提供图像数据。管理PC 101包括通用个人计算机，其具有图像存储装置(硬盘)，图像处理装置(图像处理电路或程序)，显示装置，以及输入装置(键盘以及例如鼠标(mouse)等等的点击设备)。
图2是示出MFP 100的结构的模块图。参照图2，包含自动文档馈送器(ADF)的图像扫描单元110使用来自光源的光照射一或多个堆叠文档的每个文档上的图像，通过透镜在固态图像传感单元上形成文档反射的光的图像，并且从固态图像传感单元获得具有光栅顺序的扫描图像信号以作为具有例如600dpi的分辨率的图像数据。在普通复制处理中，扫描的图像信号在数据处理设备115中经历各种校正处理等等以转换成记录信号，其被暂时存储(保存)在例如硬盘等等的存储设备111中。MFP 100通知管理PC 101记录信号被存储，并且在管理PC 101的控制下向记录设备(也作为打印机引擎)112顺序输出记录信号，因而在纸张上形成图像。
注意，由于这个实施例的MFP也作为网络打印机，所以它具有基于页描述语言产生打印图像数据的功能。当MFP作为网络打印机时，数据处理设备115把从客户PC 102输出并且通过网络I/F 114从LAN107接收的打印数据转换成可记录光栅数据，并且暂时把光栅数据存储在存储设备111中。接着，MFP通知管理PC 101该光栅数据的存储，并且在管理PC 101的控制下向记录设备112顺序输出光栅数据，因而在纸张上形成图像。此时，指示是通过扫描获得产生的图像数据还是作为网络打印机功能的结果而产生该图像数据的信息也被发送到管理PC。
附图标记113表示输入设备，其包括各种按键和开关，以及在液晶显示器屏幕上形成的触摸面板；并且附图标记116表示液晶显示器。
在上述结构中，通过稍后给出的描述将会明白，由于在MFP 100中的存储设备111被管理PC 101直接访问，管理PC 101通过网络109连接到MFP 100的原因是保证存储设备111的高访问速度并且防止对网络107的传输的影响。
图3是在这个实施例中的管理PC 101的模块图。在这个实施例中的管理PC 101通过通用个人计算机实现。参照图3，附图标记30表示控制整个设备的CPU；附图标记31表示存储引导程序，BIOS等等的ROM；并且附图标记32表示被用作CPU 30的工作区的RAM。在RAM32上，加载并且执行用于管理这个实施例中的MFP 100的OS和程序。
附图标记34表示引入视频RAM的显示控制器。附图标记35表示显示设备。在这个实施例中，液晶显示设备被用作显示设备35，但是可以使用其他的例如CRT等等的显示设备。附图标记36表示在显示设备35的屏幕的前表面提供的触摸面板。附图标记37表示用于与MFP100通信的网络I/F；并且附图标记38表示用于连接到网络107的I/F。
通常，个人计算机包括例如键盘，点击设备(鼠标(mouse)等等)，等等的输入设备。然而在这个实施例中，触摸面板取代这些设备作为输入设备。个人计算机可以包括键盘和鼠标，或键盘和鼠标，以及触摸面板可以同时使用。
图4示出包含管理PC 101的MFP 100的外观。如图4所示，管理PC101的显示设备35和触摸面板36被如此布置，就好象它们看上去是MFP 100的一部分。注意，普通PC的键盘和点击设备(鼠标等等)可以被容纳在MFP的外壳中，以便允许容易地进行管理PC 101的维护。
通过以下描述将会明白，管理PC 101的显示设备35和触摸面板36基本上作为MFP 100的用户界面。如果采用这种方案，则可以向MFP100加入实现管理PC 101的处理的功能。然而，由于管理PC 101包括各种处理，所以在这个实施例中，根据实现这些处理的程序的容易开发，管理以及版本更新的要求，引入独立于作为多功能外设的MFP的通用个人计算机。
<处理综述的描述>
将在下面描述这个实施例中的系统的处理内容。
在MFP 100中，通过图像扫描单元110把在ADF上设置的文档扫描为具有600dpi分辨率的图像数据。通过预处理(各种校正处理)，把扫描的图像数据在MFP 100的存储设备111中存储为一页的图像数据。管理PC 101通过网络109监视新图像数据是否被存储在MFP 100的存储设备111中。可选地，管理PC可以在MFP 100存储文档图像在存储设备111中时通过网络109接收消息。
在任一情况下，当管理PC 101确定图像数据被存储在MFP 100的存储设备111中时，它执行以下处理。
通过图像区域分离把扫描的图像数据分割成区域(块分割处理)。接着检查是否包含指示原始文件的位置的指针信息。例如，在假设在预定区域位置上形成二维条形码的情况下，扫描二维条形码。如果二维条形码能够被识别及解码，则由于该信息包含对应于扫描的文档的原始文件的位置信息(具有服务器名的文件名+路径)，在管理PC 101的显示设备35上显示位置信息。例如，显示消息″在文件服务器(文档管理服务器)″xxxxx″中的″共享文件夹xxx″中存储为″xxxxx″″。
注意，二维条形码被用作指针信息，但可以使用其它方法。例如，可以描述指示URL的字符串对象，并且该对象可以经历字符识别以获得指针信息。并且，使用通过微小改变相邻字符之间的间隔来嵌入信息的方法，把信息嵌入为半色调图像中的数字水印的方法等等，指针信息可以包含在图像中。
当用户使用MFP 100扫描文档以用于复制时，管理PC 101从指定的文档管理服务器获得原始文件，基于该原始文件产生图像数据，并且在产生的图像数据的预定位置复合包含原始文件的位置信息的二维条形码图像。管理PC 101把复合图像数据存储在MFP 100的存储设备111中。此时，管理PC 101清除先前扫描并且存储在存储设备111中的图像数据，或在扫描的图像数据上覆盖根据原始文件产生的图像数据。接着，管理PC 101向MFP 100输出打印处理指令命令以控制它执行打印处理。
通过从MFP 100向管理PC 101发送指示用户是否已经启动在MFP的控制面板上提供的用于确认原始文件的位置的按键或复制按键的信息，确定是否为了复制或确认原始文件的位置而扫描文档。并且，即使在为了确认位置而扫描文档时，当在显示设备35上显示上述消息之后，仍然在触摸面板36上显示用于选择是否发出打印指令的按钮，并且当检测到触摸该按钮时，执行打印处理。
并且，MFP 100能够被用于除复制之外的编辑目的。例如，当文档被MFP 100扫描时，其原始文件被找到(chased up)，并且显示指示其位置的信息。因此，用户能够使用他或她自己的客户PC通过网络再次编辑该原始文件。
当文档被复制时，基于对应于该文档的原始文档产生并且打印图像数据。因此，即使在要扫描的文档被略微弄脏(contaminated)时，始终能够复制高质量图像。
另一方面，将通过MFP 100扫描的文档可以不具有指针信息(二维条形码等等)。即，管理PC 101确定存储在MFP 100的存储设备111中的图像数据没有条形码。在这种情况下，在已经注册的原始文件中搜索接近扫描的文档图像数据的文件，基于通过搜索发现的作为候选的原始数据产生缩略图像，并且在管理PC 101的显示设备35上列表显示缩略图像以及指示其位置的信息。接着，用户使用触摸面板36选择一个文件，因而基于相应原始文件打印图像。如果用户已知该原始文件的位置，他或她可以明确指定其位置及文件。
如果没有发现对应于文档图像的候选，则确定扫描的文档未被注册，在显示设备35上显示相应给出建议的消息，并且显示用于指示是否注册的按钮，因而使用户确认注册。
当用户输入注册指令(通过触摸″注册″按钮)时，扫描的文档数据被转换成预定的数据格式，并且被注册为在相同网络上出现的文档管理服务器中的新文件。由于在注册时确定该文件的位置，所以在打印时把位置信息复合为二维条形码。
即使在发现原始文件时，如果该原始文件是例如JPEG，TIFF等等的所谓图像文件，则用户能够选择是否在向量化之后重新注册该文件。
当MFP作为网络打印机时，上述消息被发送到作为打印数据源的客户PC，并且在客户PC的屏幕上显示。
因此，当运行在客户PC上的应用程序建立并且打印新文档时，由于该打印数据没有二维条形码，所以如上所述显示用于选择相应文件的窗口。如果新文档未在文档管理服务器的数据库中注册，则该用户指示在文档管理服务器中保存由他自己或她自己建立的文档文件。
<处理内容的细节>
已经解释了这个实施例中的概况。处理序列(主要是管理PC 101的处理序列)的细节将参照图5的流程图在下面描述。下面将主要解释纸文档被MFP 100扫描的情况。在MFP 100作为网络打印机时执行的处理能够通过以上及下面的描述而得以理解。
使MFP 100的图像扫描单元110(包括ADF)能够按光栅顺序扫描一个页的文档，并且获得600dpi的图像信号(每个像素8位)。图像信号经过数据处理设备115的预处理(例如校正处理等等的转换处理等等)，并且在存储设备111中被存为一个页的图像数据。
图5中的流程图是在一个页的图像数据被存储在MFP 100的存储设备111中的情况下当从MFP 100接收到存储完成消息时，或当在MFP100的存储设备111中检测到存储有一个页的图像数据时，执行的CPU30的处理序列。
在步骤S40，通过LAN 109把存储在存储设备111中的图像数据加载在RAM 32上。在步骤S41，文本/线图像区域及半色调图像部分经过区域分离以得到相应矩形块。文本部分被分成矩形块，这些矩形块组合为相应段落的簇，并且线图像部分被分成表以及由线形成的图形，并且接着这些表以及图形被分割。另一方面，半色调图像部分被分割成相应块，例如半色调图像部分，背景部分，等等的独立对象。
当流程前进到步骤S42时，检测在文档图像中作为附加信息记录的指针信息(二维条形码等等)，并且条形码被解码。接着，从在步骤S42解码的信息中检测在存储原始数字文件的存储设备中的指针信息(步骤S43)。
在这个实施例的描述中，指针信息由二维条形码表示。然而，本发明不限于二维条形码，并且指示原始文件位置的URL可以在文档图像的预定位置上描述。在某些情况下，个人看不见的指针信息可以通过所谓数字水印技术嵌入。当然，可以使用任何这些方法。在这个方面，作为嵌入信息为数字水印的方法，可以使用通过调整相邻字符之间的间隔以嵌入信息的方法，通过改变半色调图像中的像素值以嵌入信息的方法，等等。
在步骤S44检查是否检测到指针信息。如果确定检测到指针信息，则流程前进到步骤S45，以检查该指针信息指定的文档管理服务器中(在办公室10或20)是否存储文件。如果能够确认文件的存在，则流程前进到步骤S46，以在显示设备35上显示该存储地址，以及显示打印指令按钮和非打印指令按钮。注意，可以取代非打印指令按钮而显示编辑按钮，传送按钮等等。
如果在步骤S47确定触摸了非打印指令按钮，则这个处理结束(如果取代非打印指令按钮而显示编辑按钮，传送按钮等等，则执行编辑处理，传送处理等等)。如果在步骤S47确定触摸了打印指令按钮，则流程前进到步骤S48，以加载由指针信息指定的原始文件，以基于该原始文件产生打印图像数据，以及在产生的图像数据的预定位置产生及复合包含指针信息的二维条形码图像。通过LAN 109，把复合打印图像数据存储在MFP 100的存储设备111中。此时，删除通过扫描文档获得的，并且已经存储在存储设备111中的图像数据。此后，流程前进到步骤S49，以向MFP 100的数据处理设备115发出打印指令。响应这个指令，MFP 100的数据处理设备115把打印图像数据转换成相应记录颜色分量的数据(在彩色打印机的情况下)，并且控制记录设备112以打印图像。
另一方面，如果在步骤S44没有检测到指针信息(包含没有检测到二维条形码的情况)，或如果指针信息能够被检测到但是在步骤S45没有发现相应的原始文件，则流程前进到步骤S50，并且对在上述块分割处理中确定作为文本区域的块中的字符进行识别处理(OCR处理)。在步骤S51，从OCR结果中提取字以进行全文搜索，或根据各个对象的布局以及对象的特性进行所谓的布局搜索。这个搜索是针对数据库105实施的。
由数据库105管理的数据库的内容具有例如图6示出的结构。如图6所示，一个记录由指示文件位置的指针字段，包含形成一个页的分割块的位置，数量以及特性(指示文本，线图像，或半色调区域的信息)的布局字段，以及包含在文本区域中的字符代码信息构成。
通过向数据库105传递一个扫描页的分割块的位置及特性信息，以及通过OCR处理获得的多个字，进行步骤S51的搜索处理。
如果执行这个搜索请求处理，并且发现类似候选文件，则由于从数据库105发送搜索结果(包含指针信息以及布局信息)，所以基于候选的布局信息产生相应候选的缩略图像，并且在显示设备35上显示为列表，因而提示用户选择候选中的一个(步骤S52)。由于每个缩略图像具有较小尺寸，所以通过使用″·″等等显示字符，并且粘贴适当图形和图像数据以作为图形和图像部分，产生缩略图像。可选地，缩略图像可以通过缩减原始文件来产生。用户视觉上比较由他自己或她自己扫描的文档的粗略布局，和在显示屏幕上显示的候选的布局，并且通过触摸它来选择缩略图像中的期望的一个。
如上所述，如果在步骤S51检索候选并且在步骤S52选择这些候选之一，则流程前进到步骤S53，以使用对应于选择的缩略图像的指针信息搜索相应原始文件。如果选择的原始文件是例如JPEG，TIFF，BMP等等的非向量化图像文件，则发出关于是否在向量化之后注册该图像文件的询问。如果用户输入注册指令，则执行下面的步骤S54至S57。另一方面，如果对应于选择的缩略图的原始文件是向量化文件，则流程前进到步骤S46，而无需任何关于向量化的询问，并且执行步骤S47的处理以及后续步骤。
如果作为步骤S51的搜索结果没有发现类似于文档图像的文件，则在步骤S52发送指示没有发现类似图像的消息，并且在步骤S53确定没有发现原始数字文件。流程接着前进到步骤S54。
如果在步骤S45确定发现原始文件，并且如果该原始文件是例如JPEG，TIFF等等的非向量化图像文件，则在步骤S53发出关于是否在向量化之后注册该文件的询问。当接收到注册指令时，可执行步骤S54至S57中的处理。
如果没有发现原始文件，或如果确定发现原始文件但它是例如JPEG，BMP等等的非向量化图像文件，并且接收到用于把该图像文件转换成向量代码并且注册转换的文件的指令，则流程前进到步骤S54，以基于预先设置的内容执行相应分割块的向量化处理(以后描述)。
例如，对于确定为文本区域的分割块，识别字符图像的轮廓以沿着字符图像的轮廓提取轮廓向量，因而向量化该文本区域。在这种情况下，OCR处理结果被保存为对应于相应字符的向量数据的字符代码。
取代根据字符图像的轮廓提取轮廓向量的上述处理地，由于已经获得作为OCR处理结果的字符代码，识别忠实再现文档图像所需的字符尺寸，样式以及字体，并且可以使用为每个字符类型(字体类型，样式)准备的轮廓数据来向量化OCR结果的字符代码。
可选地，可以对应于OCR精度地自动切换处理(例如，OCR结果的识别率或相似度能够被用作OCR精度的指标)如果OCR精度高，则可以执行″基于OCR结果和各字符类型的轮廓数据的向量化处理″；如果OCR精度低或没有可用的相应字体，则可以执行″基于字符图像的轮廓提取轮廓向量的向量化处理″。
如果各字符类型的轮廓数据被安装在MFP或客户PC中，则具有相应分段的格式的文本数据可以通过识别OCR结果的字符代码以及其字符尺寸，样式和字体来产生，并且可以被用作向量化数据。
假定要使用的这些向量化序列之一被预先设置。
通过提取线图像的轮廓向量来对被确定为图形区域的分割块进行向量化处理。
对于被确定为半色调区域(例如照片的自然图像区域)的分割块，使用例如JPEG等等的压缩技术。
根据对应于各特性的处理设置处理各块的这些处理内容。对各块进行这些向量化处理，并且保存各块的布局信息。
在向量化处理之后，流程前进到步骤S55，以根据布局信息把各块合并成一个文件，并且把该文件转换成能够被应用程序编辑的应用程序数据文件。后面会描述应用程序数据文件的生成的细节。例如，把图像数据和向量数据嵌入文档，并且以rtf(RICH TEXT格式)格式保存嵌入的文档。通过由能够处理这种rtf文件的应用程序加载所保存的rtf文件，不仅文本数据而且图形和图像数据能够被恢复至可编辑状态。注意，要转换的应用程序数据文件不限于能够嵌入对象的rtf格式，而是可以转换至例如SVG(可伸缩向量图形)格式等等的其他文件格式。
流程前进到步骤S56，以在管理PC 101连接到的本地文档管理服务器106中注册文件。并且，在数据库105中一起注册通过块分割处理获得的各分割块的位置，数量以及特性(文本，图形，或半色调图像类型)，通过OCR处理获得的字符代码，以及当在文档管理服务器106中存储文件时的指针信息。
在此以后，在步骤S57产生被存储为二维条形码的索引信息(包含指针信息)，并且流程接着前进到步骤S46。
当流程前进到步骤S46时，通知注册时文件的位置。如果在步骤S47发出打印指令，则基于产生的索引信息产生二维条形码，并且二维条形码被复合到从MFP 100的存储设备111读出的图像数据中(步骤S48)，因而发出打印指令。
在上述描述中，在MFP 100上设置并且扫描文档。如上所述，这个实施例的MFP 100也作为网络打印机。因此，当从客户PC 102接收文档图像的打印数据时，进行相同的处理。即，当MFP从客户PC接收打印数据时，它也暂时把一个页的文档图像存储在存储设备111中。然而在这种情况下，从管理PC 101通过网络107向客户PC发送原始文件的位置消息。
此后详细描述各处理的内容。
在块分割处理(也称作块选择处理)中，一个页(图7的左边)的扫描图像数据被识别成各对象的簇，确定各块的特性(文本/图形/照片/线条/表等)，并且图像数据被分割成具有不同特性的区域，如图7右边所示。
下面将描述块分割处理的一个实施例。
输入图像被二值化为单色图像，并且通过轮廓跟踪提取由黑像素约束的像素簇。对于具有较大面积的黑像素簇，在簇中对白像素进行轮廓跟踪以提取白像素簇。此外，从具有预定面积或更多的白像素簇中递归提取黑像素簇。
根据获得的黑像素簇的尺寸和形状，其被分类成具有不同特性的区域。例如，确定纵横比接近于1并且尺寸属于预定范围的像素簇为对应于一字符的簇。此外，把其中相邻字符规则排列并且能够被组合的部分确定为文本区域。并且，把低分布(profile)像素簇分类为线条区域，把由包含规则排列的矩形白像素簇的黑像素簇所占的范围分类为表区域，把其中分布了具有不确定形式的像素簇的区域分类为照片区域，并且把具有任意形状的其它像素簇分类为图形区域，等等。
图8示出由块分割处理获得的每个块的块信息，以及用于管理包含在输入图像中的块的输入文件信息。
各块的这些信息段被用于把数据转换成能够由应用程序编辑的格式(此后这个处理将被称为向量化)，或被用于实施搜索。
将在下面描述从图像信息中提取文件的存储位置的处理(对应于步骤S43的处理)。
图9是示出解码被追加在文档图像中的二维条形码(QR代码符号)，并且输出数据字符串的序列的流程图。图10示出追加有二维条形码的文档310的例子。
通过用MFP 100扫描这个文档310，MFP 100中的数据处理设备执行各种处理，并且把一个页的扫描图像数据存储在存储设备111中。通过LAN 109读出该图像数据，并且通过CPU 30扫描该图像数据以根据上述块分割处理结果检测预定二维条形码符号311的位置。由于QR代码的位置检测模式由位于符号的4个角中的3个角上的相同位置检测单元模式构成，所以检测该QR代码的位置检测模式(步骤S300)。
接着，解码与位置检测模式相邻的格式信息以获得纠错等级以及应用于符号的屏蔽模式(步骤S301)。
在确定符号的型号之后(步骤S302)，使用从格式信息获得的屏蔽模式对编码区域位模式进行异或，以解除屏蔽处理(步骤S303)。注意，依照对应于该型的布局规则读取符号字符，以便解码消息数据以及纠错码字。(步骤S304)。
检测解码的代码是否包含错误(步骤S305)。如果检测到任何错误，则流程前进到步骤S306以校正该错误。根据来自纠错数据的模式指示符以及字符计数指示符把数据码字分成分段(步骤S307)。根据规定模式解码数据字符，因而输出结果(步骤S308)。
注意，二维条形码中要编码的数据表示相应文件的地址信息(指针信息)，其由包含文件服务器名的路径信息以及文件名构成。或者由针对相应文件的URL构成地址信息。
在这个实施例中，已经描述了追加有使用二维条形码的指针信息的文档310。可选地，指针信息可以使用字符串来记录。在这种情况下，通过上述块选择过程检测基于预定规则的字符串的块(例如，位于预定位置的文本块)，并且对指示指针信息的字符串的字符进行字符识别，因而获得原始文件的地址信息。
并且，通过把察觉不到的调制应用到例如图10示出的文档310的字符块312或313的字符串中相邻字符之间的间隔以便把信息嵌入字符间隔，从而能够赋予指针信息。例如，当在执行字符识别处理(以后描述)时检测到字符间隔时，能够获得指针信息。并且，指针信息能够被赋为自然图像314中的不可见数字水印。
下面利用图11描述基于指针信息的文件搜索处理(对应于步骤S45的处理)。
基于包含在指针信息中的地址指定文件服务器(步骤S400)。
如上所述，文件服务器在这个实施例中是指文档管理服务器，但是在某些情况下可以是客户PC，或在图像存储/管理功能被追加到MFP 100的情况下，可以是MFP 100。
注意，地址是URL或包含服务器名以及文件名的路径信息。
在能够指定文件服务器之后，把地址传送给文件服务器(步骤S401)。
当接收到地址时，文件服务器检索相应文件(步骤S402)。如果没有发现文件(在步骤S403为“否”)，则文件服务器发送给相应建议的消息给管理PC。
另一方面，如果发现文件(在步骤S403为“是”)，则如上所述，该文件被传送给请求源(管理PC)(步骤S408)。
基于通过块分割产生的块的布局位置的搜索处理(对应于步骤S51的流程)将在下面参照图13A和13B的流程图进行描述。即，在输入文档图像没有指针信息的情况下，在指针信息可用但是没有发现数字文件的情况下，或在数字文件是图像文件的情况下，进行这个处理。
将在下面描述一种情况，其中通过块分割提取的块具有图8示出的信息(块信息，输入文件信息)。
作为信息内容，示例出OCR信息的特性，坐标位置，宽度和高度，以及可用性。特性把每个块分类成文本，线条，照片，图像，表等等之一。为了简单，按照坐标X的升序排列各块。即，在图8中，X1＜X2＜X3＜X4＜X5＜X6，并且各块被相应命名为块1，2，3，4，5和6。块的总数指示包含在一个页的输入图像中的块的数量，并且在图8是″6″。将在下面参照图13A和13B的流程图描述使用这些信息段从数据库中对类似于输入文件的文件进行布局搜索的处理序列。
在这些流程图的流程中，经过MFP 100扫描并且通过块分割处理而获得的多段信息依次与数据库105中相同类型的信息相比较。
在步骤S510，初始化相似度水平等等(以后描述)。在步骤S511，比较块的总数。如果在步骤S511为“是”，则依次比较各文件中各块的各段信息。当比较块的信息时，在步骤S513，S515以及S518计算特性，尺寸以及OCR相似度水平，并且在步骤S522基于这些水平计算全部相似度水平。由于计算每个相似度水平的方法能够使用已知技术，所以将省略其描述。如果在步骤S523确定总相似度水平高于预定阈值Th，则在步骤S524确定该文件为相似候选。在图13A和13B中，N，W以及H分别是输入文档图像中块的总数，每个块的宽度，以及每个块的高度，并且ΔN，ΔW以及ΔH是考虑针对输入文件的块信息的误差的值。并且，n，w以及h分别是存储在数据库中的文件的块的总数，每个块的宽度，以及每个块的高度。尽管未示出，但是可以当在步骤S514比较尺寸时比较位置信息X，位置信息Y等等。
针对存储在数据库105中的所有数据重复上述搜索处理，并且把具有高于阈值Th的相似度水平以及被存为候选(步骤S524)的数据库文件显示为缩略图像等等(步骤S52)。如果操作人员必须选择多个候选之一，则通过操作人员的输入操作来指定文件。
下面详细描述向量化图像数据的处理(对应于步骤S54的处理)。
在这个实施例中，准备用户界面，该用户界面用于和分割块的类型相应地设置处理方法。基于这些用户界面上的设置进行向量化处理。
例如，对于文本区域的块，能够专门地设置″向量数据″，″二值图像″，或″多值图像″，并且能够设置″追加OCR信息″的开/关(ON/OFF)。当″向量数据″被选择及设置时，如上所述，能够进一步将″基于字符图像的轮廓的向量化″，″基于OCR结果以及每个字符类型的轮廓数据的向量化″，″基于识别率的自动处理切换″等等选择和设置为向量化执行方法(图23中未示出)。
如图24或25所示，对于线图像区域的块(由线条构成的图形等等的区域)或线条的块，能够专门设置″向量数据″，″图像″，或″包含在背景对象中″。
如图26所示，对于表区域的块，能够专门设置″向量数据″，″二值图像″，″多值图像″，或″包含在背景对象中″，并且能够设置″追加OCR信息″的开/关。然而，当背景对象中包含这个块时，″追加OCR信息″总是关闭。
此外，如图27所示，对于例如照片等等的图像区域，能够专门设置″图像″或″包含在背景对象中″。
作为默认设置，假定为文本区域设置″向量数据″(基于轮廓的向量化)以及″追加OCR信息″，为线图像区域及线条区域设置″向量数据″，为表区域设置″向量数据″以及″追加OCR信息″，并且为照片区域设置″图像″。当用户输入设置改变指令时，图23至27示出的用户界面被调用以设置期望的数值。这些设置被写入甚至能够在关闭电源之后保存内容、例如硬盘等等的非易失存储区域，并且被从硬盘读出来，并且在下一次和后续启动处理时自动设置。即，一旦进行这些设置，则基于这些设置内容进行处理，除非它们被改变。
将在下面描述基于使用上述界面的内容的处理的细节。例如，如果为文本区域设置″二值图像″，则二值化该文本区域以获得向量化处理的结果；如果设置″多值图像″，则通过例如JPEG等等来压缩该文本区域以获得向量化处理的结果。另一方面，如果设置″二值图像″或″多值图像″，并且关闭″追加OCR信息″，则单独输出图像数据以作为向量化处理的结果，而不追加任何字符识别结果(通过跳过字符识别处理)；如果开启″追加OCR信息″，则执行《字符识别》处理以输出字符代码，字符尺寸，以及识别结果的位置，以及作为向量化结果的图像数据。如果设置指示″向量数据″，则基于上述设置进行向量化。在这种情况下，如果开启″追加OCR信息″，则输出字符代码以及向量数据以作为向量化处理的结果；如果关闭它，则单独输出向量数据以作为向量化处理的结果。
对于线图像/线条区域，设置被同样读出，并且基于读出的设置进行处理。
例如，当设置″向量数据″时，提取该块中的线条/线图像的轮廓以基于轮廓产生轮廓向量，因而完成向量化处理，即，把该块中的数据转换成可重用的向量数据。另一方面，当设置″图像″时，提取该区域作为一个图像数据，并且进行压缩处理等等，因而获得向量化结果。当设置″包含在背景对象中″时，跳过该区域的向量化处理，并且把该区域作为一部分背景对象来处理。
对于表区域，设置被同样读出，并且基于读出的设置进行处理。
例如，当选择以及设置″向量数据″时，提取格线(ruled line)，字符等等的轮廓以基于轮廓产生轮廓向量，因而完成向量化处理。注意，可以允许附加设置以执行格线的″基于轮廓的向量化处理″，并且执行与上述文本区域相同的向量化处理。当开启″追加OCR信息″时，输出字符代码以及向量数据以作为向量化处理的结果；当关闭它时，单独输出向量数据以作为向量化结果。当设置″二值图像″或″多值图像″，并且关闭″追加OCR信息″时，只输出该区域的图像数据以作为向量化处理的结果，而不追加任何字符识别结果(没有任何字符识别处理)。另一方面，当开启″追加OCR信息″时，执行《字符识别》处理以输出字符代码，字符尺寸，以及识别结果的位置，以及作为向量化结果的图像数据。当设置″包含在背景对象中″时，没有任何向量化处理地把相应区域作为一部分背景对象处理。
对于照片区域，设置被同样读出，并且基于读出的设置进行处理。例如，当设置″图像″时，通过例如JPEG来压缩该区域。当设置″包含在背景对象中″时，把相应区域作为一部分背景对象来处理。
在字符识别处理中，使用模式匹配方法之一识别为每个字符提取的图像以获得相应字符代码。在这个识别处理中，把通过从字符图像获得的特征转换成数十维(several-ten-dimensional)数字值串而获得的观察特征向量，与针对每个字符类型预先获得的字典特征向量相比较，并且输出作为识别结果的具有最短距离的字符类型。各种已知方法均可用于特征向量提取。例如，已知有把字符分割成网模式，并且根据各网孔中字符线的方向将所述字符线计为线单元，以获得(网孔计数)维向量来作为特征的方法。
当对通过块分割处理而提取的文本区域进行字符识别时，针对该区域确定书写方向(水平或垂直)，在相应方向中提取行，并且接着提取字符图像。当确定书写方向(水平或垂直)时，计算在该区域中的像素值的水平和垂直投影，并且如果水平投影的偏差大于垂直投影的偏差，则能够确定该区域为水平书写区域；否则，能够确定该区域为垂直书写区域。在分解成字符串和字符时，在水平书写的情况下，使用水平投影提取行，并且基于提取的行的垂直投影提取字符。在垂直书写文本区域的情况下，水平和垂直参数之间的关系可以互换。此时，能够检测字符尺寸。
对应于字型号地准备用于字符识别的字典，并且当匹配时字型和字符代码一起输出，因而识别字符的字体。即，当具有短距离的特征向量信息的字典能够通过字符识别来指定时，确定该字典为相应字符图像的字体。
通过使用通过字符识别和字体识别获得的字符代码和字体信息，以及为每个字符准备的轮廓数据，把字符部分的信息转换成向量数据。如果扫描的图像具有彩色字符，则每个字符的颜色被提取，并且与向量数据一起被记录。
通过以上处理，属于文本块的图像信息能够根据OCR结果被转换成具有几乎真实的形状，尺寸以及颜色的向量数据。
当为文本区域设置基于字符图像的轮廓的向量化时，或当它被设置成在线图像(图形)，线，或表区域中执行向量化处理时，如下所述，根据提取的像素簇的轮廓把该区域的信息转换成向量数据。
更具体地，构成轮廓的像素的点序列被分成位于被认为是角的点处的部分，并且通过部分线或曲线来逼近每个部分。角表示对应于最大曲率的点，并且如图14所示，获得这样的点作为对应于最大曲率的点，在该点处，任意点Pi和在左和右方向与点Pi分隔k个点的点Pi-k和Pi+k之间绘制的弦之间的距离变得最大。此外，令R为Pi-k和Pi+k之间的弦长/弧长。接着，数值R等于或小于阈值的点能够被认为是角。通过针对线的点序列使用最小平方方法等等，以及针对曲线使用第三样条函数等等，能够向量化在每个角的分割之后获得的部分。
当对象具有内轮廓时，使用通过块选择提取的白像素轮廓的点序列，通过部分线或曲线对其进行类似的逼近。
如上所述，使用部分线逼近(partial line approximation)，具有任意形状的图形的轮廓能够被向量化。当原始文档具有彩色图像时，从彩色图像提取图形的颜色并且与向量数据一起被记录。
如图15所示，当外部轮廓接近于内轮廓或给出部分中的另一个外部轮廓时，可以将两个轮廓组合表示为具有指定宽度的线。更具体地，从指定轮廓上的各个点Pi向另一个轮廓上的点Qi绘制连线，其中每个连线具有到相应点的最短距离。当距离PiQi平均保持常数值时，通过使用中间点Ri作为点序列的线或曲线来逼近有关部分，并且距离PiQi的平均值被设置为该线或曲线的宽度。如上所述，线或作为一组线的表格线能够被有效地向量化为一组具有指定宽度的线。
在如上所述将具有任意形状的图形的轮廓向量化之后用于组合每个图形对象的向量化部分线的处理将在下面描述。
图16示出直到组合每个图形对象的向量数据的处理序列。
计算每个向量数据的初始和终端点(步骤S700)。使用各个向量的初始点信息和终端点信息，检测图形单元(步骤S701)。检测图形单元是检测由部分线构成的闭合图形。通过应用构成闭合形状的每个向量具有连接到其两端的向量的原理进行检测。接着，图形单元中出现的其它图形单元或部分线被组合以设置单个图形对象(步骤S702)。如果在图形单元中不存在其它图形单元或部分线，则该图形单元被设置为图形对象。
图17是示出检测图形单元的流程的流程图。通过排除非期望向量，从向量数据中提取闭合图形形成向量，所述非期望向量的两端未被连接到其它向量(步骤S710)。闭合图形形成向量的有关向量的初始点被设置为起始点，并且向量被依次顺时针跟踪。进行这个处理，直到到达起始点，并且所有经过的向量被组合为构成一个图形单元的闭合图形(步骤S711)。并且，闭合图形中出现的所有闭合图形形成向量均被组合。此外，还未被组合的向量的初始点被设置为起始点，并且重复以上处理。最后，从在步骤S710排除的非期望向量中，联结被组合为步骤S711的闭合图形的向量的那些向量被检测，并且被组合为一个图形单元(步骤S712)。
使用以上处理，能够把图形块作为独立可重用图形对象进行处理。
一个页的图像数据的块分割以及向量化的结果被转换成具有中间数据格式的文件。此后，这种中间数据格式将被称为文档分析输出格式)DAOF)。图18示出DAOF的数据结构。
参照图18，附图标记791表示保存与将处理的文档图像数据相关的信息的头。布局描述数据字段792保存各个块的特性信息以及块地址信息，这些块是针对各个特性，例如TEXT(文本)，TITLE(标题)，CAPTION(字幕)，LINEART(线图像)，PICTURE(自然图像)，FRAME(帧)，TABLE(表)等等而识别的。字符识别描述数据字段793保存通过执行例如TEXT，TITLE，CAPTION等等的TEXT块的字符识别获得的字符识别结果。表描述数据字段794存储TABLE块的结构的细节。图像描述数据字段795存储通过各个块的向量化处理产生的向量数据(或在设置成将这些块保存为图像时的图像数据)，PICTURE块的图像数据，等等。
这种DAOF自身经常被保存为取代中间数据的文件。然而，在文件的状态下，通用文档创建应用程序不能重用个体对象。因此，将在下面详细描述把DAOF转换成应用数据的处理。
图19示出转换成应用数据的总体处理序列。
在步骤S8000，输入DAOF数据。在步骤S8002，产生作为应用数据基础的文档结构树。在步骤S8004，基于文档结构树输入DAOF中的实际数据，因而产生实际应用数据。
图20是在步骤S8002中的结构树生成处理的详细流程图，并且图21A和21B是文档结构树的说明性视图。作为整个控制的基本规则，处理流程从微块(microblock)(单个块)转变到宏块(macrob1ock)(一组块)。在图20的描述中，块是指微块以及宏块。
在步骤S8100，根据垂直方向的相关性，针对各个块进行重新组合。在流程开始之后立即针对各个微块进行确定。注意，通过检查是否相邻块之间的距离较小，各块具有几乎相同的块宽度(在水平方向的情况下为高度)，等等，能够确定相关性。参照DAOF能够提取距离，宽度，高度等等的信息。
图21A示出实际页结构，并且图21B示出该页的文档结构树。
作为步骤S8100的处理的结果，确定T3，T4以及T5以构成一个组V1，确定T6以及T7以构成一个组V2，并且产生这些组以作为属于相同层的组。
在步骤S8102，检查垂直隔离标志的存在/不存在。物理上，隔离标志是DAOF中具有线特性的对象。
逻辑上，隔离标志是应用中明确分割块的单元。当检测到隔离标志时，在相同层重新分割组。
接着，在步骤S8104使用组长度检查是否存在更多的分割。如果垂直方向的组长度与页高度(有关页中出现的多个块的最上和最下端之间的距离)一致，则文档结构树生成处理结束。
在图21A和21B情况下，组V1和V2没有隔离标志，并且其组高度不与页高度一致。因此，流程前进到步骤S8106。
在步骤S8106，根据水平方向的相关性，对各个块进行重新组合。相关性的定义以及其确定信息与垂直方向的相同。
在图21A以及21B情况下，T1以及T2产生组H1，并且V1以及V2产生组H2。产生组H1以及H2以作为属于比V1以及V2高一层的相同层的组。
在步骤S8108，检查水平方向上隔离标志的存在/不存在。
由于图21A以及21B包含隔离标志S1，该隔离标志在树中注册，因而产生层H1，S1以及H2。
在步骤S8110使用组长度检查是否没有更多分割存在。
当水平方向的组长度与页宽度(有关页中出现的多个块的最左和最右端之间的距离)一致，则文档结构树生成处理结束。否则，流程返回到步骤S8102，以便在高一层的上层中从垂直方向的相关性检查开始重复处理。
在图21A以及21B情况下，由于组长度与页宽度一致，处理结束，并且表示整个页的最上层V0最后被追加到文档结构树中。
在文档结构树完成之后，基于该信息在步骤S8006产生应用数据。
将在下面解释在图21A以及21B的情况下的实际例子。即，由于H1包含水平方向的两个块T1以及T2，它被输出为两个列。在输出T1的内部信息之后(参照DAOF，作为字符识别结果的文本，图像等等)，设置新列，并且输出T2的内部信息。在此之后，输出隔离标志S1。
由于H2包含水平方向的两个块V1以及V2，它被输出为两个列。按T3，T4以及T5的顺序输出V1的内部信息，并且设置新列。接着，按T6以及T7的顺序输出V2的内部信息。通过这种方式，由于能够按输出顺序进行到应用数据的转换处理，例如，转换的应用数据能够具有文本区域等等的正确读取顺序。
将在下面描述图5中步骤S48的指针信息追加处理。
当在一页纸上记录存储的文档时，基于指针信息的图像数据被附加记录。当打印的文档被再次复制时，能够方便地获得原始文件数据，并且能够获得高质量打印。
图22是示出通过二维条形码把数据字符串编码(成像)为指针信息(QR码符号JIS X0510)，并且把转换的条形码追加到图像上的序列的流程图。
通过二维条形码编码的数据表示相应文件的地址信息，其由包含文件服务器(文档管理服务器)名的路径信息以及文件名构成。或由相应文件的URL，在存储相应文件的数据库105或MFP 100自身的存储设备中管理的文件ID等等构成地址信息。
为了识别将被编码的字符的不同类型，分析输入数据序列。并且，选择检错以及纠错等级，并且选择能够存储输入数据的最小型号(步骤S900)。
输入数据序列被转换成预定位序列，并且根据需要追加指示模式(数字，字母数字，日本汉字，等等)的指示符以及结束模式。此外，位序列被转换成预定位码字(步骤S901)。
此时，为了纠错，码字序列被根据型号以及纠错等级分割成预定数量的块，并且产生各个块的纠错码字，并且纠错码字被追加在数据码字序列之后(步骤S902)。
连接在步骤S902获得的各个块的数据码字，并且把所需的纠错码字以及剩余码字连接在数据码字序列之后(步骤S903)。
接着，在矩阵中设置码字模块以及位置检测模式，隔离模式，定时模式，对准模式(步骤S904)。
此外，选择对于符号编码区域最优的屏蔽模式，并且通过计算与在步骤S904获得的块的异或来转换屏蔽模式(步骤S905)。
最后，产生在步骤S905获得的块的类型信息以及型号信息，因而完成二维码符号(步骤S906)。
当把例如将被打印的数字文件转换成光栅数据时，引入地址信息的上述二维条形码被追加到光栅数据上的预定位置，并且接着进行图像形成。接收了经过这样的图像形成的纸张的用户通过图像扫描单元110扫描该纸张，因而从步骤S43的指针信息中检测原始数字文件的存储位置。
作为为相同目的提供附加信息的手段，能够应用直接把指针信息作为字符串追加到文档中的方法，以及所谓的水印方法，包含通过调制文档中字符串的间隔(尤其是相邻字符之间的间隔)来嵌入信息的方法，在文档中把信息嵌入半色调图像中的方法，等等。
通常，当构成网络并且设置由文档管理服务器代表的文件服务器时，第三方的重用通常是受限制的。
在存储在文档管理服务器中的所有文件能够被自由访问，并且整个文件或文件的一些对象可被重用的条件下，说明了以上实施例。因此，将在下面使用图12描述与一种情况相关的另一个实施例，在该情况中，当使用上述实施例中的指针信息搜索文件时，能够被指定为搜索结果的文件的访问权限是受到限制的。图12替换图11。
由于步骤S400到S403与图11中的实施例中的那些步骤相同，将省略其描述。
当文件被指定时，文档管理服务器检查该文件的访问权信息。如果该文件的访问权被限制(步骤S404)，则文档管理服务器请求管理PC101发送口令(步骤S405)。管理PC 101提示操作人员输入口令，并且把输入的口令发送到文件服务器(步骤S406)。在这个实施例中，由于触摸面板被用于输入，在显示设备35上显示虚拟键盘，并且通过触摸虚拟按键来输入口令。
文档管理服务器核对接收的口令以进行认证(步骤S407)。如果认证成功，则服务器通知文件地址，并且在用户希望的处理是图像文件数据的获取的情况下，向管理PC 101传送文件(步骤S408)。注意，用于访问权控制的认证方法不限于步骤S405以及S406中使用口令的方法。例如，能够采用例如流行的生物认证(例如，指纹认证)，使用卡的认证等等的所有其他认证手段。
在上述实施例中，由附加提供给纸文档的指针信息指定文件。相同控制能够应用于这样一个情况，其中通过图5的步骤S51以及S52中的搜索处理来指定文件。
并且，能够限制图5中步骤S54至S56中解释的向量化处理。即，当基于通过扫描该纸文档而获得的图像信息中的水印等等检测到对指定纸文档的访问权限定时，仅在认证成功时执行向量化处理，因而限制了高保密文档的使用。
在上述实施例中，如参照图5描述的，通过扫描文档而获得的图像信息中用于指定原始文件数据的手段基于追加到文档的指针信息来指定文档，或根据文档中描述的每个对象信息来搜索相应数字文件。为了更加准确地指定原始文件，可以一起使用这两种手段。即，即使在能够基于从文档中获得的指针信息检测原始文件的存在时，仍然使用文档中的对象信息针对所检测的文件执行基于布局信息的布局搜索或基于通过字符识别而获得的关键字的全文搜索，并且能够产生高匹配率的文件被正式指定为原始文件。例如，即使在指针信息的低位部分是有疑问的并且不能通过纠错来校正时，仍然能够通过缩小搜索范围来指定文件。因此，能够快速并且准确地指定文件。
将在下面说明文本区域向量化的另一个实施例。
在一个文档的处理的开始处，准备没有存储向量数据的字典。当向量化指定文本块时，从文本块提取一个字符，并且从字符图像提取特征。进行提取的特征和字典之间的匹配，并且在它们不匹配的情况下，字符的特征提取结果被注册在字典中，并且产生引用注册的字符的字符号的中间数据。在字符的提取特征与字典匹配的情况下，产生引用字典中字符的字符号的中间数据。中间数据由图像中有关字符的位置和尺寸，以及在字典中匹配该字符的字符号构成，并且具有例如图31所示的结构。″x″表示字符矩形的左上x坐标值，″y″表示字符矩形的左上y坐标值，″w″表示字符矩形的宽度的像素值，″h″表示字符矩形的高度的像素值，并且″n″指示有关字符与字典中的第n个字符匹配。当一个文本块的处理完成时，根据在字典中注册的字符的图像产生向量数据，并且中间数据和产生的字符向量数据被复合以获得文本块的向量化结果。
图30是示出一个文本块的处理序列的流程图。
令Nv为处理开始时字典中注册的字符的数量，并且令N为处理期间字典中注册的字符的数量。于是，在处理开始时Nv＝N。
在步骤S1201的一个字符的提取处理中，从输入文本块的图像数据提取一个字符区域。在步骤S1202检查作为步骤S1201的结果，是否能够提取字符。如果在步骤S1202为“是”，则流程前进到步骤S1203；否则，流程前进到步骤S1208。
在步骤S1203，提取字符的特征。字符的特征包含纵横比，重心位置，轮廓数据的矩形图向量等等(可以使用其他的特征)。
在步骤S1204，进行在步骤S1203提取的字符的特征和在字典中注册的字符之间的匹配。最初，将纵横比和重心位置与字典中第一个字符的纵横比和重心位置相比较。如果它们大大地不同，则由于该字符明显是不同的字符，所以选择字典中将要比较的下一个字符，而不使用其它类型的信息进行比较。如果两个纵横比几乎彼此相等，则比较轮廓数据的矩形图向量。在这种情况下，通常计算向量之间的距离，并且随着距离的降低，匹配成功。提取距离等于或小于预定值的字符作为候选字符。通过这种方式，进行与字典中所有字符的匹配。
在步骤S1205检查是否作为步骤S1204的结果而发现匹配的字符。如果在步骤S1205为“是”，则流程前进到步骤S1207；否则，流程前进到步骤S1206。
在步骤S1206，在字典中注册其处理正在进行中的字符的特征数据。字典具有图32示出的格式，并且特征数据被加到字典的尾部。在这种情况下，字典中的字符数量增加1(N＝N+1)。中间数据ID存储图31中的字符号。
在步骤S1207，产生具有图31示出的格式并且被赋予字典中的字符号的中间数据。
当文本块中所有字符和字典之间的匹配处理完成时，执行步骤S1208的处理。由于在处理开始时在字典中注册Nv个字符，并且在处理结束时在字典中注册N个字符，执行(N-Nv)个字符的向量化处理。在这种情况下，使用存储在字典中的字符的至少一个字符图像产生向量数据。
在步骤S1209，复合在字典中注册的各个字符的中间数据和向量数据，并且输出组合结果以作为文本块的向量化结果。
通过这个处理，由于相同向量数据能够被用于各个文本块的相同字符，所以文档图像中的各个字符能够被协调，因而改进外观。由于使用文档中的字符图像产生向量数据，所以也可以产生忠实于扫描文档的向量数据。
在上述实施例中，当搜索装置不能指定原始文件时，对整个文档图像进行向量化处理。例如，在一般文档的情况下，并非文档中的所有对象都是新建立的对象，并且一些对象可以转自其它文件。例如，文档创建应用程序准备背景对象的一些图案(墙纸)，并且用户通常选择并且使用这些图案之一。因此，这种对象更可能作为可重用向量数据出现在文档文件数据库的其它文档文件中。
因此，作为图5的向量化处理(步骤S54)的另一个实施例，在数据库中搜索包含基本上与通过块选择处理分割的各个对象中的每个相匹配的对象的文件，并且从该文件单独获得匹配的对象的向量数据。结果，由于整个文档不需要被向量化，所以能够保证更快速的向量化，并且能够防止由于向量化造成的图像质量的退化。
另一方面，在图5中，当在搜索处理中原始文件能够被指定为PDF(S51至S53)时，作为附加文件的该PDF通常具有通过已经把字符识别应用于该文档中的文本对象而获得的字符代码。当向量化这种PDF文件时，如果使用字符代码文件，则能够跳过步骤S54的向量化处理中的字符识别处理以及后续步骤。即，能够更加快速地进行向量化处理。
当将执行向量化处理时，可以在显示设备35上显示如图28所示用于确认当前设置内容的界面。使用图23至27示出的界面设定该设置内容，并且该设置内容被保存在例如硬盘的存储设备中。当用户触摸图28中的″转换″按钮时，启动向量化处理。当用户触摸″改变″按钮时，显示图23至27示出的设置窗口，并且能够改变当前设置。然而，这种设置改变只在当前向量化处理中有效，并且设置信息未被写入硬盘中。通过这种方式，能够根据用户的目的或将被处理的文档来改变向量化处理内容。
并且，如图29所示，通过准备″缺省″按钮，改变的设置内容能够被写入例如硬盘等等的存储设备中，因而改变了在下一个向量化处理中将显示为缺省设置的设置。通过这种方式，能够进行基于用户目的的向量化处理。
如上所述，基于这个实施例，当纸文档被复印机复制时，对应于该文档的原始数字文件的位置能够被确认，并且基于原始数字文件进行打印处理，因而获得没有任何图像质量退化的拷贝。
即使当将扫描其原始数字文件不可用的纸文档时，仍在早期阶段执行向量化处理以注册其数字文件，从而抑制进一步的图像质量退化。
此外，在扫描其原始数字文件不可用的纸文档时执行的注册处理中，以允许应用程序重新编辑该文件的格式注册该文件。因此，能够利于文档校正处理等等。
由于纸文档被转换成向量数据，所以与把文档图像存储为图像文件的情况相比，能够降低所需的存储容量。
由于纸文档被转换成向量数据，所以即使在应用例如放大等等的图像处理时，仍能够抑制图像质量的退化。
由于能够把文档图像分割成各个特性的区域，并且能够针对每个特性设置向量化处理的执行方法，所以能够产生与用户的目的匹配的数据。
通过实施例的描述能够容易地理解，作为这个实施例的特有特征的大多数处理由作为通用信息处理设备的管理PC 101所执行的计算机程序来实现。因此，本发明在其范围内包含这种计算机程序。通常，由于在计算机上运行的程序在例如CD-ROM等等的计算机可读存储介质被设置并且该程序被复制或安装在系统中之后能够被执行，所以本发明在其范围内还包含这种计算机可读存储介质。
如上所述，本发明能够提供下列环境。即，由将被复制的文档的图像数据指定对应于将被复制的文档的原始文档文件，并且基于指定的文件进行打印处理以防止图像质量的退化。并且，当将被复制的文档未被注册时，执行注册处理以在早期抑制图像质量的退化。
由于本发明的许多明显广泛不同的实施例可以在不偏离其宗旨及范围的情况下得到，因此可以理解，本发明不限于其具体实施例，而是在权利要求中限定。
权利要求
1.一种图像处理方法，其特征在于包括根据输入文档图像搜索存储在存储装置中的原始数字数据的搜索步骤；当在搜索步骤中不能指定原始数字数据为搜索结果时，对输入文档图像执行向量化处理的向量化步骤；以及把在向量化步骤中转换的文档图像的向量数据存储在存储装置中的存储步骤。
2.如权利要求1所述的方法，其特征在于还包括当在搜索步骤中指定原始数字数据时，通知发现的原始数字数据的存储地址，以及当在搜索步骤中未指定原始数字数据时，通知在向量化步骤中转换的文档图像的向量数据的存储地址的通知步骤。
3.如权利要求1所述的方法，其特征在于，搜索步骤包含识别被追加到输入文档图像并且指示原始数字数据的存储地址的标识，以及根据标识的识别结果搜索原始数字数据的步骤。
4.如权利要求3所述的方法，其特征在于二维条形码，字符串，以及水印中的至少一个被用作指示原始数字数据的存储地址的标识。
5.如权利要求1所述的方法，其特征在于，向量化步骤包含根据包含在文档图像中的对象的特性把文档图像分割成多个区域，以及对各个分割的区域执行向量化处理的步骤。
6.如权利要求5所述的方法，其特征在于，向量化步骤包含从具有文本特性的区域提取有意义像素的轮廓，以及根据提取的轮廓产生轮廓向量的步骤。
7.如权利要求5所述的方法，其特征在于，向量化步骤包含根据该区域的字符识别结果以及预定的向量数据产生具有文本特性的区域的向量数据的步骤。
8.如权利要求5所述的方法，其特征在于，向量化步骤包含当字符识别精度较高时，根据该区域的字符识别结果以及预定的向量数据产生具有文本特性的区域的向量数据，以及当字符识别精度较低时，根据形成字符的像素的轮廓产生轮廓向量的步骤。
9.如权利要求5所述的方法，其特征在于，向量化步骤包含从具有文本特性的区域检测相同字符图像，以及通过把由字符图像产生的向量数据应用于各个检测的相同字符图像而产生该区域的向量数据的步骤。
10.如权利要求5所述的方法，其特征在于，向量化步骤包含从具有线或线图像特性的区域提取有意义像素的轮廓，以及根据提取的轮廓产生轮廓向量的步骤。
11.如权利要求5所述的方法，其特征在于，向量化步骤包含从具有表特性的区域提取有意义像素的轮廓，以及根据提取的轮廓产生轮廓向量的步骤。
12.如权利要求5所述的方法，其特征在于，向量化步骤包含根据具有表特性的区域的格线部分的格线条的轮廓产生轮廓向量，以及对文本部分执行类似于针对具有文本特性的区域的向量化处理的向量化处理的步骤。
13.如权利要求5所述的方法，其特征在于，向量化步骤包含对具有照片特性的区域执行图像压缩处理的步骤。
14.如权利要求5所述的方法，其特征在于还包括针对向量化处理中的各个特性设置向量化处理方法的设置步骤，并且其特征还在于，向量化步骤包含根据在设置步骤中针对各个特性设置的向量化处理方法执行向量化处理。
15.如权利要求14所述的方法，其特征在于，设置步骤包含允许用户设置是否将有关区域转换为向量数据或作为图像数据处理的步骤。
16.如权利要求14所述的方法，其特征在于，设置步骤包含允许用户设置是否追加字符识别结果的步骤。
17.如权利要求14所述的方法，其特征在于，设置步骤包含允许用户进行设置以在背景对象中包含有关区域的步骤。
18.如权利要求1所述的方法，其特征在于还包括向存储在存储装置中的数据追加指示数字数据的存储地址的信息，以及打印该数字数据的打印控制步骤。
19.如权利要求1所述的方法，其特征在于还包括把在向量化步骤中已经转换成向量数据的文档图像转换成能够通过文档处理应用程序访问的规定格式的格式转换步骤，并且其特征还在于存储步骤包含存储格式转换的文档图像的步骤。
20.如权利要求1所述的方法，其特征在于，搜索步骤包含根据包含在文档图像中的字符的字符识别结果搜索原始数字数据的步骤。
21.如权利要求1所述的方法，其特征在于，搜索步骤包含根据文档图像中的各个对象的布局搜索原始数字数据的步骤。
22.如权利要求1所述的方法，其特征在于，搜索步骤包含当发现原始文档数据的多个候选时，显示所述候选，以及提示用户选择一个候选的步骤。
23.如权利要求1所述的方法，其特征在于，向量化步骤包含当在搜索步骤中指定的原始数字数据是图像数据，并且接收到执行向量化处理的指令时，对图像执行向量化处理的步骤。
24.一种计算机可执行的计算机程序，用于使信息处理设备执行以下步骤根据输入文档图像搜索存储在存储装置中的原始数字数据的搜索步骤；当在搜索步骤中不能指定原始数字数据为搜索结果时，对输入文档图像执行向量化处理的向量化步骤；以及把在向量化步骤中转换的文档图像的向量数据存储在存储装置中的存储步骤。
25.一种存储计算机程序的计算机可读存储介质，所述程序用于使信息处理设备执行以下步骤根据输入文档图像搜索存储在存储装置中的原始数字数据的搜索步骤；当在搜索步骤中不能指定原始数字数据为搜索结果时，对输入文档图像执行向量化处理的向量化步骤；以及把在向量化步骤中转换的文档图像的向量数据存储在存储装置中的存储步骤。
26.一种图像处理系统，其特征在于包括根据输入文档图像搜索存储在存储装置中的原始数字数据的搜索装置；当不能指定原始数字数据作为所述搜索装置的搜索结果时，对输入文档图像执行向量化处理的向量化装置；以及把通过所述向量化装置转换的文档图像的向量数据存储在存储装置中的存储控制装置。
27.一种能够控制至少具有扫描仪的配备扫描仪的设备的操作的信息处理设备，其特征在于包括搜索装置，用于根据通过配备扫描仪的设备扫描的输入文档图像搜索存储在存储装置中的原始数字数据；向量化装置，用于当不能指定原始数字数据作为所述搜索装置的搜索结果时，对输入文档图像执行向量化处理；以及存储控制装置，用于把通过所述向量化装置转换的文档图像的向量数据存储在存储装置中。
全文摘要
本发明提供一种技术，其使用例如二维条形码的文档标识符指定对应于复制的文档的原始文档文件，使用原始文档文件打印文档而不丢失图像质量，并且通过向量化处理注册未注册的文档，以便抑制早期图像质量退化。
文档编号H04N1/387GK1745381SQ20048000314
公开日2006年3月8日 申请日期2004年1月27日 优先权日2003年1月31日
发明者福冈茂雄, 谷冈宏, 宇佐美彰浩, 太田健一, 金田北洋, 伊藤裕彦, 加藤进一, 秋庭朋宏, 金津知俊, 三沢玲司, 寺尾仁秀, 鹈沢充 申请人:佳能株式会社