专利名称：图像处理装置及其方法
技术领域：
本发明涉及允许文档图像的使用、修改、显示、移动、共享等的图像处理装置及其方法。
背景技术：
多功能外围设备(MFP)已经获得了非常先进的功能，而且除拷贝与打印功能之外还具有扫描与传真功能的那些MFP变成了市场上的主流。办公室中的MFP作为打印在纸张上的信息和数字数据之间的接口起着重要的作用。
特别地，MFP的扫描功能可以有效地将大量文档变换成数字数据。为此，文档被扫描并保存到网络或MFP本身的数据库(DB)中，并在许多情况下进行文档管理。通过扫描文档获得的数字数据在下文中称为“文档图像”。
随着个人计算机(PC)的流行，利用这种PC上应用软件的文档创建是很普遍的。由应用软件创建的数字数据状态的文档在下文中称为“电子文档”。
与打印在纸张上的文档相比，文档图像和电子文档具有数据容易重新编辑和重新使用、很多人容易地共享数据、不会随时间流逝而损坏等好处。另一方面，与文档图像和电子文档相比，打印在纸张上的文档具有高可读性、容易处理、高便携性、高可理解性等好处。为此，在许多例子中，将电子文档和文档图像打印在纸张上常常是有效的。
相反，常常需要与打印在纸张上的文档相同或相似的文档图像和电子文档。例如，用户损坏了打印在纸张上的一些文档页并想打印初始状态的电子文档。而且，用户想重新打印彩色的电子文档，该电子文档原先是彩色文档但作为单色文档进行了打印。
有许多其中一起包括在文档图像中的照片、文本、表格及艺术线条被分别分析且分析结果要被重新使用的情形。例如，当文档图像用作文本数据时基于字符识别的数据变换、如果特定区域被放大到容易看见则变换成不会有任何图像质量损坏的向量图像等就是在这种情况下进行的。
以这种方式，需要以打印在纸张上的文档作为起点并允许用户容易地对数据进行使用、修改、显示、移动、共享等的文档管理系统。
当通过扫描包括照片和文本两者的文档所生成的文档图像被重新打印时，例如，A4大小、300dpi的JPEG压缩彩色扫描图像具有接近3.5MB的数据大小，而且如果大量的文档图像在网络上流动，则网络的负担变得很重。但是，当分辨率下降时，文本区域的图像质量恶化。由此，施加到一页文档图像的统一图像处理是有局限性的，所以提出了以下现有技术。
日本专利特开号8-204950公开了将输入图像分段成照片区域和文本区域并将照片区域和文本区域的分辨率设置成可变的图像管理。但是，只有光栅图像具有可变的分辨率，而向量图像和文本区域的字符识别结果是不受管理的。日本专利特开号2003-348326公开了用于将各行的文档图像分段并重新组合分段的行，从而将扫描图像显示在便携式终端(PDA)上的技术。但是，输出目的地限于便携式终端，被处理的对象仅仅是光栅图像，向量图像和字符识别结果是不支持的。
日本专利特开号2000-306103公开了用于将文档图像分段成文本区域、图像区域和背景区域并将这些区域分布到事先准备的层以便大大减小文档图像数据的数据大小并以允许数据容易地重新使用的格式保存文档数据的技术。即使在其格式允许容易地重新使用的文档数据中，每个区域的信息也只是一种类型。
这些现有技术的共同特征是图像是对各个属性的区域进行管理的。但是，即使具有相同属性的区域也有不同的本质。例如，在单个文档图像中给出两个不同的文本区域，一个区域可以具有高字符识别率，而另一个区域可能不具有这么高的识别率。以这种方式，即使当提供相同类型的信息时，因为它们具有相同的属性，也很难说就可以提供满意的信息。
这些现有技术在数据寄存时以受限的方式执行如分辨率变换等的处理，而且不支持用于变换成用户想要的在输出时的分辨率的处理。
在目前的情况下，当用户想将本来是彩色电子文档但作为单色文档打印的电子文档重新打印为彩色文档时，或者当用户想获得基于打印在纸张上的文档的原始拷贝的电子文档时，他或她通常询问创建该原始电子文档的人来获得所需的电子文档。
如打印机、监视器、PDA等的多种装置用于输出文档图像，而输出的内容常常是完整或部分的文档图像。此外，常常需要可以被修改的数据，而且对于文档图像需要各种类型的信息。
但是，在日本专利特开号8-204950中，只有光栅图像可以具有可变的分辨率。向量图像、文本区域的字符识别结果等都不被管理。而且，在日本专利特开号2003-348326中，其输出目的地限于PDA，要修改的对象仅仅是光栅图像，而向量图像和字符识别结果是不被支持的。
有许多其中被一起包括在文档中的照片、文本、表格及艺术线条被分别分析、而文档要通过按照对象属性施加图像处理来输出的情况。如上所述，日本专利特开号2000-306103中的技术以允许容易地重新使用的格式保存文档图像。但是，每个区域只有一种类型的信息输出到其它装置或应用。
这些区域管理用于各属性的区域的图像。但是，如上所述，尽管区域具有相同的属性，但它们具有不同的本质。即使当提供相同类型的信息时，因为它们具有相同的属性，信息也常常不能满意地传输。
此外，对于文档的各个对象，文档不能通过依赖文档的输出模式、对象内容等替换数据格式或数据本身来输出。
发明内容
本发明的第一方面公开了一种图像处理方法，包括步骤获得存储在存储器中的文档图像的输出目的地的信息；基于输出目的地的信息和文档图像中各个区域的属性对各个区域确定要输出的输出信息类型；对各个区域获得要输出类型的输出信息片段；将对各个区域所获得的输出信息片段组合成文档图像；及将组合的文档图像输出到输出目的地。
本发明的第二方面公开了一种图像处理装置，包括第一获得器，布置成获得存储在存储器中的文档图像的输出目的地的信息；确定器，布置成基于输出目的地的信息和文档图像中各个区域的属性对各个区域确定要输出的输出信息类型；第二获得器，布置成对各个区域获得要输出类型的输出信息片段；组合器，布置成将对各个区域所获得的输出信息片段组合成文档图像；及输出单元，布置成将组合的文档图像输出到输出目的地。
根据本发明，当输出文档图像的每个区域的输出信息时，可以输出根据其输出目的地的一种类型的输出信息。
本发明的更多特征将通过参考附图从以下示例实施方式的描述变得显而易见。
图1是显示图像处理装置的布置的方框图；图2是显示用于在图像处理装置中寄存数据的处理的流程图；图3是显示依赖区域属性所选择的输出模式与输出信息之间关系的表格；图4示出了彩色文档图像的例子；图5是说明将每个分段区域的文档信息与输出信息关联的视图；图6是显示用于输出输出信息的处理的流程图；图7示出了可以从现有输出信息类型变换出的输出信息类型；图8示出了通过单色拷贝彩色文档所获得文档的数字图像的例子；图9是用于解释在监视器显示的情况下输出信息设置处理的流程图；图10是用于解释在PDA显示的情况下输出信息设置处理的流程图；图11是用于解释在放大显示的情况下输出信息设置处理的流程图；图12示出了放大区域的例子；图13是用于解释在超放大显示的情况下输出信息设置处理的流程图；图14是说明将每个分段区域的文档信息与输出信息关联的视图；图15是显示根据第二实施方式用于在图像处理装置中寄存数据的处理的流程图；图16是显示从图4所示的文档图像生成的输出信息例子的表格；图17A至17C是显示照片区域输出信息组的例子的视图；图18示出了给定分段区域的文档信息、输出信息及使用授权信息之间关系的例子；图19A和19B是显示依赖输出模式的使用授权的表格例子；图20A至20D是显示依赖内容的使用授权的表格例子；图21是显示用于输出输出信息的处理的流程图；图22A至22D示出了对应于图4所示文档图像的寄存数据的输出例子；图23A和23B是显示根据第三实施方式要对图4所示文档图像设置的依赖输出模式的使用授权的表格；及图24是用于解释当输出信息不能仅仅基于对寄存数据准备的那些信息输出时所执行的处理的流程图。
具体实施例方式
根据本发明优选实施方式的图像处理装置及其方法将在下文中参考附图具体描述。
第一实施方式〔装置的布置〕图1是显示根据这种实施方式的图像处理装置布置的方框图。
CPU 101根据存储在ROM 102中的控制程序利用RAM 103作为工作存储器控制整个装置。ROM 102存储要由CPU 101执行的(以下将描述的)控制程序等。RAM 103和例如磁盘等的HDD 104存储(以下将描述的)处理程序、文档图像等。
扫描仪108通过通用接口(例如，未示出的USB或IEEE1394)连接到图像处理装置。扫描仪108扫描打印在纸张上的(原始)文档的图像并在CPU 101的控制下输出文档图像。CPU 101在显示器105上显示用户界面，并从通过例如USB等的接口连接的键盘106或例如鼠标等的定点设备107输入用户的指令。
图像处理装置通过网络接口(I/F)109连接到如局域网等的网络110。图像处理装置与网络上的其它装置(服务器、计算机、打印机、扫描仪、MFP等)通信，以便交换数据和程序。
图像处理装置还可以由通用计算机实现。在这种情况下，图像处理装置存储通过网络110或在HDD 104的存储介质中提供的控制程序和处理程序。然后，这些程序可以由CPU 101根据用户的指令等执行。
〔寄存处理〕图2是显示用于在图像处理装置中寄存数据的处理的流程图。这种处理是由CPU 101基于用户的指令等执行的。
要寄存的文档图像是从扫描仪108或网络110输入的(S201)，并分段成具有例如文本、照片、表格、艺术线条等属性的区域(S202)。文档信息对每个分段区域生成(S203)。文档信息包括感兴趣区域的属性信息、指示页面上位置坐标等的布局信息、区域信息等。应当指出，在文本属性的分段区域情况下，区域信息包括字符代码串、诸如段落、标题等的文档逻辑结构等。
接下来，每个分段区域被变换成输出信息(S204)。在这种实施方式中，要输出到其它装置、其它应用等的信息(要传输的信息)将称为输出信息。输出信息是呈现所需的信息，在具有文本属性的分段区域情况下，其包括例如以下信息分辨率可变的光栅图像、向量图像、单色图像或彩色图像，每个输出信息的文件大小、作为字符识别结果的文本、单个字符的位置和字体名称或类型、字符识别的可靠性等。
当输出输出信息时，以下输出模式是考虑区域的属性特征和用户的使用条件而准备的九种输出模式，包括彩色打印、彩色打印(高图像质量)、单色打印、单色打印(高图像质量)、监视器显示、PDA显示、放大显示、超放大显示及修改，及由用户设置的手动输出模式。
图3示出了10种输出模式与基于区域属性所选择的输出信息之间的关系。这种关系作为表格存储在例如HDD 104等中。
不是以上所有模式都需要作为每个区域的输出信息准备，而是可以准备期望频繁使用的模式。在这种情况下，可以保存存储输出信息的存储器。例如，在图3中，用于可能具有非常低的使用频率的组合“PDA显示-背景”的输出信息不作为缺省值准备。同样，用于组合“超放大显示-文本(高识别可靠性)”、“超放大显示-文本(低识别可靠性)”和“超放大显示-艺术线条”中每一个的输出信息不作为缺省值准备。此外，手动输出模式中区域属性与输出信息之间的关系是由用户利用用户界面、键盘106和定点设备107设置的。
在以下描述中，单色打印和监视器显示用作基本的输出模式(称为基本模式)，而其它输出模式(称为应用模式)具有比基本模式低的使用频率。因此，将解释其中只有用于每种基本模式的输出信息如下准备的情况
接下来，生成将各个分段区域的文档信息与输出信息关联并在树结构中描述的结构化文档(S205)。最后，所生成的数据组(各分段区域的文档信息和输出信息及结构化文档)保存(寄存)在HDD 104等中(S206)。应当指出，数据组的保存目的地可以是网络110上的服务器。
以下将解释其中上述寄存处理施加到图4所示彩色文档图像的情况。
黑色像素块(cluster)和白色像素块的集合从图4所示的文档图像中提取出来，而且具有例如文本、照片、图、表格、框架和艺术线条的属性的区域基于如其形状、大小、设置状态等的特征量提取出来。在图4所示的例子中，具有文本属性的区域301、303和306、具有彩色照片属性的区域302、具有图属性的区域304及具有表格属性的区域305被分段。假定连合活字的分段区域301具有低字符识别结果可靠性，因为它具有不同于通用字体的字符模式。而且，分段区域306中的字符比分段区域303中的字符小得多。
图5是说明将每个分段区域的文档信息与输出信息关联的信息的视图。
即，给定分段区域的文档信息401拥有在步骤S204中所获得的该区域的两个输出信息片段402和403。这种树结构可以分层表达各分段区域之间的关系。应当指出，文档信息可以拥有多种类型的输出信息。
这些关联的信息片段被生成并以由XML表示的结构化文档的格式保存。
〔输出信息的输出〕图6是显示用于输出输出信息的输出处理的流程图。这种处理是由CPU 101基于用户的指令等执行的。
由用户指定的寄存数据从HDD 104等中读取(S501)，并获得其输出目的地的装置信息(S502)。然后，按照根据输出目的地所确定的输出模式设置对于每个分段区域要输出的输出信息类型(S503)。应当指出，这种设置处理的细节将在后面描述。
检查所设置类型的输出信息是否可以用作每个分段区域的输出信息(S504)。当数据寄存时，准备每种基本模式的输出信息。因此，用于基本模式(单色打印和监视器显示)的输出信息片段总是可用的。另一方面，如果它是与基本模式相同类型的输出信息，则具有低使用频率的每种应用模式的输出信息可用。但是，不同于基本模式的类型的输出信息不可用。因此，检查所设置类型的输出信息是否可用。如果这种输出信息可用，则流程跳到步骤S513；否则，流程分支到步骤S505。
如果所设置类型的输出信息可用，则提取输出信息(S513)，并组合用于各个段的输出信息片段(S514)。组合的输出信息输出到输出目的地(S515)。
另一方面，如果没有所设置类型的输出信息可用，则检查现有的输出信息是否可以变换成所设置类型的输出信息(S505)。如果可以变换的输出信息可用，则流程分支到步骤S506；否则，流程分支到步骤S508。
图7示出了可以从现有输出信息变换出的输出信息类型。在图7中，O标记指示变换是可能的，而×标记指示变换是不可能的。这种信息作为表格存储在HDD 104等中。
例如，当要进行放大显示但适于放大显示的向量图像不可用时，检查可以变换成向量图像的现有输出信息是否可用。如果光栅图像可以用作输出信息，则它可以变换成向量图像，流程分支到步骤S506。另一方面，当寄存通过单色拷贝图4所示的彩色原始图所获得的文档的数字图像(图8)而且输出模式是彩色打印时，需要对于彩色打印分段区域302’所需的输出信息。因此，检查可以变换成适于彩色打印的彩色光栅图像的输出信息是否可以用作单色照片属性的分段区域302’的输出信息。在这种情况下，由于不可能将单色光栅图像变换成彩色光栅图像，因此如图7所示，流程分支到步骤S508。
如果可以在变换中使用的现有输出信息可用，则将该变换信息变换成所设置类型的输出信息(S506)。通过变换所获得的输出信息(变换信息)在文档信息的关联信息和用于当数据寄存时所生成的分段区域的输出信息中附加地描述(S507)。然后，组合用于各个区域的输出信息片段(S514)，组合的输出信息输出到输出目的地(S515)。
如果没有可以在变换中使用的现有输出信息可用，则适于输出模式的输出信息(可替换信息)利用分段区域的输出信息作为检索关键字从HDD 104或服务器检索(S508)。检查检索是否命中(S509)。如果检索命中，则流程前进到步骤S510；否则，流程前进到步骤S511。利用这种检索，例如，当单色照片属性的分段区域要被彩色打印时，相似的彩色图像利用该区域的输出信息(单色图像)作为检索关键字进行检索。这种处理的细节将被忽略。简而言之，在通过吸收由于图像角度变化、对象位置变化及拍摄条件造成的图像特征量的某些差异留下某些不确定性的同时，相似的图像检索可以适当地进行。应当指出，在日本专利特开号10-260983等中所描述的技术可以用作类似图像检索的实践例子。
如果没有可替换的信息被检索到，则指示没有适于分段区域输出的输出信息可用的消息和提示用户选择使用现有输出信息或取消输出的消息显示在显示器105上(S511)。基于步骤S512中的确定结果，如果用户输入输出取消指令，则处理结束；如果他或她输入现有输出信息的用户指令，则流程前进到步骤S513。
如果可替换信息可以检索到，则获得该信息(S510)，而且该信息在文档信息的关联信息和用于当数据寄存时所生成的分段区域的输出信息中附加地描述(S507)。然后，组合用于各个区域的输出信息片段(S514)，组合的输出信息输出到输出目的地(S515)。
尽管没有在图6中示出，但步骤S504至S513的处理对于各个分段区域重复执行。
〔输出信息的设置〕以下将描述用于设置每个分段区域的输出信息的处理(S503)。作为设置标准，除了分段区域的属性，还考虑所生成输出信息本身的特征。以下将对例如基本模式、应用模式等的每种模式描述输出信息的设置。
在作为基本模式的单色打印的情况下，要获得的输出信息忠实于原始拷贝并具有高分辨率。因此，光栅图像设置为每个分段区域的输出信息。
以图4所示的原始图像作为例子，作为各分段区域提供的输出信息片段如下。
在作为基本模式的监视器显示的情况下，不需要象用于打印的分辨率一样高的分辨率，但需要在监视器上清晰地看到的输出信息。考虑其中字符信息作为文本处理的情况，输出信息是基于分段区域的字符识别的可靠性设置的。
图9是用于解释在监视器显示的情况下输出信息设置处理(S503)的流程图。这种处理是由CPU 101执行的。
检查感兴趣分段区域(下文中称为兴趣区域)的属性是否是文本(S601)。如果兴趣区域具有文本属性，则基于与该兴趣区域关联的输出信息检查字符识别的可靠性是否等于或高于预定的值X％(S602)。
对于除文本属性以外属性的区域和具有小于X％的字符识别可靠性的文本属性的区域，设置低分辨率光栅图像(S603)。对于具有等于或高于X％字符识别可靠性的文本属性的区域，设置字符识别结果的文本(S604)。
检查对于文档图像中的所有分段区域是否都设置了输出信息的类型(S605)。如果还有要设置的分段区域，则流程返回步骤S601；否则，处理结束(流程前进到图6所示的步骤S504)。
当执行图9所示的处理时，要作为图4所示文档图像的每个分段区域提供的输出信息如下。
以下将描述对于应用模式(彩色打印、高图像质量打印、PDA显示、放大显示、超放大显示及修改)的输出信息的设置处理。
在彩色打印的情况下，除了由单色打印定义的条件，还需要色彩信息。在高图像质量打印的情况下，需要具有高于由单色打印和彩色打印所定义的条件的分辨率的光栅图像。在PDA显示的情况下，PDA具有有限的存储器大小，因此优选地设置具有小数据大小并允许高处理速度的输出信息。
图10是用于解释在PDA显示的情况下输出信息设置处理(S503)的流程图。这种处理是由CPU 101执行的。
检查感兴趣分段区域的属性是否是文本(S701)。如果感兴趣区域具有文本属性，则基于与兴趣区域关联的输出信息检查字符识别的可靠性是否等于或高于预定的值X％(S703)。对于具有字符识别可靠性的文本属性的区域，设置字符识别结果的文本(S707)。
如果感兴趣区域具有除文本属性以外的属性，则检查感兴趣区域的属性是否是照片(S702)。如果感兴趣区域具有照片属性，则设置低分辨率光栅图像(S705)。
如果感兴趣区域既不具有文本属性也不具有照片属性或如果文本属性的感兴趣区域的字符识别可靠性小于X％，则基于与感兴趣区域关联的输出信息检查光栅图像的文件大小是否是Y个字节或者更少(S704)。由于文件大小是Y个字节或者更少的光栅图像适于PDA显示，因此在这种情况下设置低分辨率光栅图像(S705)。如果光栅图像的文件大小超过Y个字节，则该光栅图像不适于PDA显示，因此设置向量图像(S706)。
检查是否对于文档图像中的所有分段区域都设置了输出信息的类型(S708)。如果还有要设置的分段区域，则流程返回步骤S701；否则，处理结束(流程前进到图6所示的步骤S504)。
当执行图10所示的处理时，要作为图4所示文档图像的每个分段区域提供的输出信息如下。
接下来，在放大显示的情况下，设置忠实于原始拷贝并且即使在放大后也不会被恶化的输出信息。应当指出，可以有多个要放大的区域，或者区域的一部分可以被放大。
图11是用于解释在放大显示的情况下输出信息设置处理(S503)的流程图。这种处理是由CPU 101执行的。
选择文档图像中要放大的分段区域(S801)。在这种情况下，区域可以跨属性设置。
检查感兴趣区域的属性是否是照片(S802)。如果感兴趣区域具有照片属性，则设置高分辨率光栅图像(S804)。如果感兴趣区域具有除照片属性以外的属性，则设置向量图像(S803)。检查是否对于数字图像中的所有分段区域都设置了输出信息的类型(S805)。如果还有要设置的分段区域，则流程返回步骤S801；否则，处理结束(流程前进到图6所示的步骤S504)。
当放大图4所示分段区域302和305的部分(图12所示的区域901)后执行图11所示的处理时，要作为图12所示放大区域901提供的输出信息如下。
接下来，在超放大显示的情况下，需要即使在比上述放大显示放大更多以后仍不会损坏的输出信息。
图13是用于解释在超放大显示的情况下输出信息设置处理(S503)的流程图。这种处理是由CPU 101执行的。在图11所示放大显示的情况下，对于照片属性区域的放大显示，设置高分辨率光栅图像(S804)。但是，在图13所示超放大显示的情况下，对于照片属性区域的超放大显示，设置超高分辨率光栅图像(S1001)。在这种处理中，超放大显示与放大显示不同，但其它处理与放大显示相同。
当超放大图4所示分段区域302和305的部分(图12所示的区域901)后执行图13所示的处理时，要作为图12所示放大区域901提供的输出信息如下。
在以上描述中，输出信息是对每种模式自动设置的。但是，这种自动设置常常不能获得用户想要的输出信息。因此，如图3所示，准备允许用户确定输出模式及对应于每种区域属性的输出信息的手动模式。例如，用户可以设置字符识别结果的文本作为图4所示数字图像的表格区域305的输出信息。而且，在手动模式中，用户可以创建如上述五种不同设置方法的模板。
〔变换信息(可替换信息)的关联〕以下将描述用于关联变换信息(可替换信息)的处理(S507)。
图14是说明将每个分段区域的文档信息与输出信息关联的信息的视图。
给定分段区域的文档信息1101保持该区域的输出信息1102(当数据寄存时所生成的现有输出信息)。当在步骤S506或S510中获得新的输出信息时，添加输出信息1103(新输出信息)。当然，这种添加可以只限于新获得的输出信息1103更有可能在将来被重新使用或者保存该输出信息的存储器有足够余量的情况。如图14所示，如果添加输出信息，则当再次需要输出信息1103时，可以立刻使用。
第二实施方式下文将描述根据本发明第二实施方式的图像处理装置及其方法。应当指出，第二实施方式中相同的标号指示与第一实施方式中相同的部分，其具体描述将被忽略。
〔寄存处理〕图15是显示用于在图像处理装置中寄存数据的处理的流程图。这种处理是由CPU 101基于用户指令等执行的。应当指出，数据寄存指示处理通过扫描仪108或网络I/F 109读取的文档图像的处理并且将处理过的文档图像存储在RAM 103或HDD 104中。
要寄存的文档图像是从扫描仪108或网络110输入的(S1101)，并分段成具有例如文本、照片、表格、艺术线条等属性的区域(S1102)。然后，选择其中一个分段区域(S1103)。
生成所选分段区域的文档信息(S1104)。
将所选分段区域的文档信息变换成输出信息(S1105)。
例如，文档的给定分段区域常常包括不能没有商标或版权的照片、包括机密信息的文本等。在这种情况下，可以准备具有相同数据格式但具有不同显示内容的输出信息。即，准备通过原封不动地提交文档信息所获得的输出信息及其中例如镶嵌、涂黑等不可见处理施加到对应分段区域的输出信息的组合。可选地，如具有相似内容的无版权照片的不会引起问题的其它信息也可以从网络110上的数据库获得，或者可以作为一种输出信息添加。
以下将解释其中图4所示文档的照片区域包括版权照片并准备以下三种输出信息片段的例子(1)通过原封不动地呈现文档信息所获得的输出信息，(2)施加镶嵌处理的输出信息，及(3)具有无版权的相似照片的输出信息。图16示出了基于图4所示的文档图像通过以上处理所生成的输出信息的例子。
图17A至17C示出了照片区域302的输出信息组的例子。图17A示出了通过原封不动地呈现文档图像所获得的照片，图17B示出了通过对图17A所示照片施加镶嵌修改所获得的照片，而图17C是与图17A所示照片相似的无版权照片。
接下来，使用授权信息附加到文档信息和输出信息(S1106)。后面将解释使用授权信息的细节。
生成关联分段区域的文档信息与输出信息并在树结构中描述的结构化文档(S1107)。应当指出，每个分段区域的文档信息与输出信息之间的关联就象前面利用图5所解释的那样。
检查是否对所有分段区域的处理都已经完成(S1108)。重复步骤S1103至S1107中的处理，直到对所有分段区域的处理都已经完成。
最后，所生成的数据组(各分段区域的文档信息与输出信息及结构化文档)保存(寄存)在HDD 104等中(S1109)。应当指出，数据组的保存目的地可以是网络110上的服务器。
〔使用授权信息〕图18示出了给定分段区域的文档信息、输出信息及使用授权信息之间的关系的例子。
使用授权信息包括两种类型的使用授权，即，为输出信息的每种使用目的设置的依赖于输出模式的使用授权和为输出信息的每种内容设置的依赖于内容的使用授权。一个分段区域包括一个文档信息501和多个输出信息片段503至505。作为一种使用授权信息的依赖于输出模式的使用授权502为文档信息501设置，而依赖于内容的使用授权506至508为各输出信息片段503至505设置。
依赖于输出模式的使用授权对包括在分段区域中的所有输出信息片段起作用，而依赖于内容的使用授权对对应的输出信息起作用。即，在图18中，依赖于输出模式的使用授权502对三个输出信息片段503至505起作用，而依赖于内容的使用授权506只对输出信息503起作用。
图19A和19B示出了指示依赖于输出模式的使用授权502的表格的例子。这个表格对每个分段区域保持。即，依赖于输出模式的使用授权502根据用户的使用授权等级限制可用的输出模式。例如，在图19A中，使用授权等级为1的用户可以选择每种输出模式，但使用授权等级为3的用户可以选择的输出限制到单色打印、监视器显示和放大显示。
如图19A和19B所示，由于不同的依赖于输出模式的使用授权502对各分段区域可用，因此表格内容对各分段区域是不同的。通过保持这种表格作为依赖于输出模式的使用授权502，分段区域的输出可以根据使用授权等级对包括在文档图像中的机密信息、私人信息、版权照片等进行限制。
图20A至20D示出了指示依赖于内容的使用授权的表格的例子。这种表格是对每种输出信息保持的。即，依赖于内容的使用授权根据用户的使用授权等级确定对应的输出信息本身是否可以使用。例如，在给定的分段区域中准备版权输出信息和无版权的输出信息。然后，允许以下使用。即，版权输出信息允许由具有付费成员资格的成员(用户)使用，而无版权的输出信息向具有免费成员资格的成员(用户)提供。
即，通过组合依赖于输出模式的使用授权和依赖于内容的使用授权，以下使用限制可以对图4所示的照片区域302设置。图19A所示依赖于输出模式的使用授权对照片区域302进行设置。图20A所示依赖于内容的使用授权对对应于图17A(原始图像)的输出信息进行设置，图20B所示依赖于内容的使用授权对图17B(镶嵌图像)进行设置，图20C所示依赖于内容的使用授权对图17C(无版权图像)进行设置。以这种方式，使用授权等级为1的用户可以选择如原始图像的彩色或单色打印、显示、修改等的所有输出模式。使用授权等级为2的用户可以选择镶嵌图像的彩色或单色打印(除高图像质量之外)和显示(除PDA显示之外)。使用授权等级为3的用户可以选择无版权图像的单色打印、监视器显示和放大显示。
对于除图4所示照片区域302之外的分段区域，设置图19A所示依赖于输出模式的使用授权，并对各输出信息片段设置图20D所示依赖于内容的使用授权。因此，所有的输出模式对于除照片区域302之外的分段区域都是可用的，而无需考虑用户的使用授权等级。
〔输出信息的输出〕以下将描述输出信息的输出处理。输出信息的输出处理指示向例如显示器105、打印机或PDA(未示出)等的输出装置输出寄存在RAM103或HDD 104中的各分段区域的文档信息与输出信息及结构化文档(下文中称为“寄存数据”)的处理。
图21是显示用于输出输出信息的处理的流程图。这种处理是由CPU 101根据用户的指令等执行的。
获得用户的使用授权等级(S1301)。这种等级可以基于通过例如键盘106输入的用户信息从网络110上的数据库服务器获得。
打开寄存数据(S1302)，获得作为输出目的地的输出装置的信息(S1303)，并选择包括在寄存数据中的一个分段区域(S1304)。然后，确定对应于输出目的地条件的所选分段区域的数据格式(S1305)。
接下来，将用户的使用授权等级与分段区域的依赖于输出模式的使用授权和依赖于内容的使用授权进行比较，以便提取适合于用户使用授权等级的输出信息(S1306)。在步骤S1305中确定的数据格式的输出信息从所提取的输出信息中选择(S1307)。如果没有对应数据格式的输出信息可用，则相应建议的消息发送到用户，流程前进到下一处理。
检查寄存数据的所有分段区域的处理是否完成(S1308)，并重复步骤S1304至S1307中的处理，直到寄存数据的所有分段区域的处理都完成。
一旦完成所有分段区域的处理，就组合从分段区域选择的各输出信息片段(S1309)，组合的输出信息输出到输出装置(S1310)。
图22A至22D示出了对应于图4所示文档图像的寄存数据的输出例子。
在使用授权等级为1的用户的情况下，输出图22A所示的文档图像。由于使用授权等级为1的用户可以输出图17A中所示照片区域302的输出信息的原始图像，因此他或她可以输出几乎与图4所示相同的文档图像。
在使用授权等级为2的用户的情况下，输出图22B所示的文档图像。由于使用授权等级为2的用户可以输出图17B中所示照片区域302的输出信息的镶嵌图像，因此除了照片区域302经过镶嵌处理之外，他或她可以输出几乎与图4所示相同的文档图像。
在使用授权等级为3的用户的情况下，输出图22C所示的文档图像。由于使用授权等级为3的用户可以输出图17C中所示的无版权图像，因此除了照片区域302的图像已经被替换之外，他或她可以输出几乎与图4所示相同的文档图像。
使用授权等级为2的用户不能对照片区域302选择高图像质量打印和PDA显示。而且，使用授权等级为3的用户不能选择彩色打印、单色高图像质量打印、PDA显示和超放大显示。因此，当使用授权等级为2或3的用户发出不被允许的打印或显示指令时，照片区域302不打印或显示(空白状态)，如图22D所示。
以这种方式，相同数据格式的多种类型的输出信息可以对每个分段区域准备，而且可以对每个分段区域选择并输出根据用户的使用授权等级的输出信息。因此，对于文档的每个对象，文档可以被输出，同时根据文档的输出模式、对象的内容及用户的使用授权替换数据格式或数据本身。
第三实施方式下文将描述根据本发明第三实施方式的图像处理装置及其方法。应当指出，第三实施方式中相同的标号指示与第一和第二实施方式中相同的部分，其具体描述将被省略。
为了支持所有的输出模式，输出信息所有类型的数据格式都可以在数据寄存时准备。但是，可以只准备期望频繁使用的数据格式的一些类型的输出信息。然后，用户优选地事先对各区域属性的输出信息设置数据格式，其中输出信息是对应于输出模式准备的。
在以下描述中，单色打印和监视器显示将作为基本模式解释，而其它模式将作为应用模式解释。即，应用模式中的输出假定为具有比基本模式低的使用频率。
当在应用模式中要输出输出信息时，分段区域常常不包括期望数据格式的输出信息。在这种情况下，现有的输出信息变换成期望数据格式的输出信息，或者期望数据格式的输出信息利用现有输出信息作为关键字从数据库检索。在第三实施方式中，是执行变换还是检索是根据用户的使用授权等级确定的。
图23A和23B示出了要对图4所示文档图像设置的依赖于输出模式的使用授权。图23A所示依赖于输出模式的使用授权对照片区域302设置，而图23B所示依赖于输出模式的使用授权对其它分段区域设置。图22A至22D所示输出信息的依赖于内容的使用授权象第二实施方式中那样设置。
以下描述将在假定单色打印作为输出模式的使用频率高的情况下给出的，而且以下输出信息片段在对输出信息的变换处理(S1105)中准备。
·输出信息的变换与检索图24是显示当输出信息不能仅基于为寄存数据准备的那些信息输出时所执行的处理的流程图。这种处理是由CPU 101基于用户的指令等执行的。
检查适于输出数据格式和用户使用授权等级的输出信息是否可用(S1401)。如果这种输出信息可用，则流程跳到步骤S1409。
如果没有适于输出数据格式和用户使用授权等级的输出信息可用，则检查分段区域依赖于输出模式的使用授权，看用户是否被允许变换输出信息(S1402)。如果用户被允许，则流程前进到步骤S1403；否则，流程跳到步骤S1404。
如果用户被允许变换输出信息，则检查可用的输出信息是否能够变换成所需的数据格式(S1403)。可变换的数据格式事先设置(见图7)。如果可用的输出信息可以变换，则它被变换成输出数据格式(S1405)，流程跳到步骤S1409。另一方面，如果可用的输出信息不能变换，则流程跳到步骤S1404。
如果用户不被允许变换输出信息，或者如果不可能变换输出信息，则检查分段区域的依赖于输出模式的使用授权，看用户是否被允许检索输出信息(S1404)。如果用户不被允许检索，则流程跳到步骤S1408。
另一方面，如果用户被允许检索输出信息，则适于输出模式的信息利用该分段区域的输出信息作为检索关键字进行检索。应当指出，用户的使用授权等级在检索时是要考虑的。例如，当单色图像的输出信息要彩色打印时，相似的彩色图像利用该单色图像作为检索关键字进行检索(S1406)。
检查检索是否产生命中(S1407)。即使在相同的分段区域中，可用数据也会依赖用户的使用授权等级而变化。例如，版权数据可以提供给为版权付费的用户，而具有相似内容的无版权数据提供给不为版权付费的用户。如果检索产生命中，则流程前进到步骤S1409；否则(或者如果在预定义的检索时间周期中不发生命中)，流程前进到步骤S1408。
如果输出数据格式的输出信息可用，或者如果适于输出数据格式的输出信息通过变换或者检索获得，则该输出信息确定为要输出的输出信息(S1409)，从而结束处理。
在有些情况下，没有输出数据格式的输出信息可用，且用户不被允许变换和检索输出信息，或者尽管用户被允许变换和检索输出信息但没有发生命中。在这种情况下，指示输出数据格式的输出信息不能获得的消息发送到用户(S1408)，从而结束分段区域的处理。
·输出信息的输出下面将描述当用于彩色打印的数据格式的输出信息从只包括如上所述用于单色打印的输出信息的寄存数据获得且执行彩色打印时照片区域302的处理。
使用授权等级为1的用户可以对所有分段区域使用彩色打印模式。但是，照片区域302的输出信息包括单色图像，且不具有用于彩色打印的任何数据格式。用户被允许变换照片区域302的输出信息但单色图像不能变换成彩色图像。但是，由于用户被允许利用照片区域302的输出信息作为检索关键字检索其它信息，因此他或她利用单色图像作为检索关键字检索彩色图像，并利用命中的输出信息作为照片区域302的输出信息彩色打印该文档图像。
使用授权等级为2的用户可以对所有分段区域使用彩色打印模式。但是，照片区域302的输出信息包括单色图像，且不具有用于彩色打印的任何数据格式。用户被允许变换照片区域302的输出信息但单色图像不能变换成彩色图像。此外，用户不被允许利用照片区域302的输出信息作为检索关键字检索其它信息。因此，指示照片区域302的彩色图像不能输出的消息发送到用户，并利用该单色图像作为照片区域302的输出信息彩色打印该文档图像。
使用授权等级为3的用户可以对除照片区域302以外的分段区域使用彩色打印模式但不能对照片区域302使用彩色打印模式。因此，指示照片区域302的彩色图像不能输出的消息发送到用户，并利用该单色图像作为照片区域302的输出信息彩色打印该文档图像。
以这种方式，为每个分段区域准备相同数据格式的多种类型的输出信息，而且根据用户的使用授权等级的输出信息可以对每个分段区域选择并输出。因此，对于文档的每个对象，在根据文档输出模式、对象内容及用户的使用授权替换数据格式或数据本身的同时，文档可以输出。
如上所述，由于现有输出信息变换的允许/禁止，及利用现有输出信息作为检索关键字的检索对每个分段区域设置，因此，如果没有适于输出模式的数据格式的输出信息可用，则适当的输出信息可以尽可能多地输出。
实施方式的修改在以上实施方式中，解释了其中对应于文本属性的分段区域的输出信息包括字符识别结果文本的例子。可选地，可以准备通过将文本变换成其它语言获得的变换结果的文本。
对应于每个分段区域的输出信息解释为可见信息。可替换地，通过将每个分段区域的特征转换成音频数据所获得的音频信息可以作为该分段区域的输出信息来准备。例如，图4中照片属性的分段区域302的照片示出了其中两只鸟在天空和大海的背景上飞翔的状态。在这种情况下，例如“显示天空、大海和两只飞鸟的照片”等的音频信息附加到输出信息。另一方面，发声读出字符识别结果的文本的音频信息附加到图4所示文本属性的分段区域303。
作为每个分段区域的输出信息，可以准备对应于该区域特征的触觉信息。例如，对于文本属性的分段区域，附加通过将字符识别结果的文本转换成布莱叶盲文所获得的信息。对于艺术线条属性的分段区域，附加每个线条凹度和凸度的触觉信息。对于照片属性的分段区域，附加该区域对象的三维形状、纹理等的触觉信息。
可替换地，作为每个分段区域的输出信息，可以准备对应于该区域特征的嗅觉信息。例如，由于图4所示照片属性的分段区域302示出了大海，因此大海咸味的信息附加到输出信息。
此外，作为每个分段区域的输出信息，可以准备对应于该区域特征的味觉信息。例如，当照片属性的分段区域显示食物时，该食物的味觉信息作为该区域的输出信息附加。
以这种方式，为各区域准备多种类型的输出信息。当输出输出信息时，对每个区域选择适当类型的输出信息，从而提供对应于各种输出环境和请求的输出信息。当输出的时候没有适当类型的输出信息可用时，执行用于将现有信息变换成适当信息的处理，从而减少初始状态下的数据大小，并灵活地处理用户的动态请求。当然，由于通过变换新创建的输出信息类型又与分段区域关联，因此该输出信息的重用性可以提高。
其它实施方式本发明可以应用到由多个设备(例如，主计算机、接口、读卡器、打印机)构成的系统或者应用到包括单个设备(例如，复印机、传真机)的装置。
此外，本发明的目的还可以通过向计算机系统或装置(例如，个人计算机)提供存储用于执行上述处理的程序代码的存储介质、由该计算机系统或装置的CPU或MPU从存储介质读取程序代码然后执行程序来实现。
在这种情况下，从存储介质读出的程序代码实现了根据实施方式的功能，因此存储程序代码的存储介质构成本发明。
此外，如软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失类型存储卡及ROM的存储介质可以用于提供程序代码。
此外，除了根据以上实施方式的上述功能是通过执行由计算机读取的程序代码实现的以外，本发明还包括运行在计算机上的OS(操作系统)等执行根据程序代码设计的部分或整个处理并实现根据以上实施方式的功能的情况。
此外，本发明还包括在从存储介质读出的程序代码写到插入计算机的功能扩展卡或在连接到计算机的功能扩展单元中提供的存储器之后，包含在功能扩展卡或单元中的CPU等执行根据程序代码设计的部分或整个处理并实现根据以上实施方式的功能的情况。
在本发明应用到上述存储介质的情况下，存储介质存储对应于实施方式中所述流程图的程序代码。
尽管本发明参考示例实施方式进行了描述，但应当理解本发明不限于所公开的示例实施方式。以下权利要求的范围是要符合最宽的解释，从而包含所有这种修改及等效结构和功能。
权利要求
1.一种图像处理方法，包括步骤获得存储在存储器中的文档图像的输出目的地的信息；基于输出目的地的信息和文档图像中各个区域的属性对各个区域确定要输出的输出信息的类型；对各个区域获得要输出的类型的输出信息片段；将对各个区域所获得的输出信息片段组合成文档图像；及将组合的文档图像输出到输出目的地。
2.如权利要求1所述的方法，还包括步骤基于图像属性，将要寄存的文档图像分成多个区域；将所划分区域中的图像变换成一种或多种类型的输出信息；通过关联各区域的输出信息片段而生成指示文档图像结构的结构化文档信息；及将结构化文档信息和各区域的输出信息片段作为文档图像存储在存储器中。
3.如权利要求1所述的方法，其中所述输出信息的获得步骤包括对于没有要输出类型的输出信息可用的区域，将不同于要输出类型的类型的输出信息变换成要输出类型的输出信息，从而获得该区域的输出信息的步骤。
4.如权利要求3所述的方法，还包括将通过变换不同类型的输出信息所获得的输出信息存储到与该区域关联的存储器中的步骤。
5.如权利要求1所述的方法，其中输出信息的获得步骤包括对于没有要输出类型的输出信息可用的区域，检索与该区域中的图像相似的要输出类型的输出信息，从而获得作为该区域的输出信息的检索的输出区域的步骤。
6.如权利要求5所述的方法，还包括将检索出的输出信息存储到与该区域关联的存储器中的步骤。
7.如权利要求1所述的方法，其中存储在存储器中的与文档图像关联的信息包括每个区域的属性信息和布局信息。
8.如权利要求1所述的方法，其中输出信息是分辨率可变光栅图像、向量图像、单色图像、彩色图像、三维图像、字符识别结果文本、字体信息及到另一种语言的变换结果中的至少一种。
9.如权利要求1所述的方法，其中确定步骤包括基于输出目的地的信息和各个区域的输出信息特征为各个区域确定要输出的输出信息的类型的步骤。
10.如权利要求1所述的方法，还包括获得输入文档图像的输出指令的用户的授权信息的步骤，其中所述输出信息的获得步骤包括基于输出目的地的信息和用户的授权信息为每个区域获得输出信息的步骤。
11.如权利要求10所述的方法，其中存储在存储器中的与文档图像关联的信息包括为每个区域设置的使用授权信息，而且所述输出信息的获得步骤包括基于输出目的地信息、用户的授权信息和每个区域的使用授权信息为每个区域获得输出信息的步骤。
12.如权利要求11所述的方法，还包括步骤基于图像属性，将要寄存的文档图像分成多个区域；将所划分区域中的图像变换成一种或多种类型的输出信息；对每个区域设置使用授权信息；通过关联各个区域的输出信息片段和各个区域的用户授权信息片段而生成指示文档图像结构的结构化文档信息；及将结构化文档信息和各个区域的输出信息片段作为文档图像存储在存储器中。
13.如权利要求10所述的方法，其中用户的授权信息包括指示是否允许输出信息的变换的授权。
14.如权利要求10所述的方法，其中用户的授权信息包括指示是否允许检索类似于区域中的图像的输出信息的授权。
15.一种图像处理装置，包括第一获得器，布置成获得存储在存储器中的文档图像的输出目的地的信息；确定器，布置成基于输出目的地的信息和文档图像中各个区域的属性对各个区域确定要输出的输出信息的类型；第二获得器，布置成对各个区域获得要输出的类型的输出信息片段；组合器，布置成将对各个区域所获得的输出信息片段组合成文档图像；及输出单元，布置成将组合的文档图像输出到输出目的地。
全文摘要
文档包括具有高字符识别率的区域和具有不那么高的字符识别率的区域。因此，即使当提供相同类型的信息时，因为它们具有相同的属性，也很难说就可以提供满意的信息。而且，依赖于输出方法，需要不同类型的信息。为了解决这些问题，对每个区域要输出的输出信息是基于文档图像的输出目的地的信息和文档图像中各个区域的属性确定的，而且要输出的输出信息片段被组合，以便输出到输出目的地。对每个区域要输出的输出信息可以基于文档图像的输出目的地的信息和文档图像中各个区域的属性及用户的授权信息确定。
文档编号H04N1/32GK1925541SQ20061012669
公开日2007年3月7日 申请日期2006年9月1日 优先权日2005年9月1日
发明者山崎妙子 申请人:佳能株式会社