专利名称：：图像处理设备和方法
技术领域：
：本发明涉及一种用于在图像数据之间进行关联处理的图像处理设备以及方法。
背景技术：
：随着数字化和网络化的进展，将各种信息转换成用于存储和分发的电子内容的实践已经变得广泛。例如，将通过个人计算机(PC)生成的文档数据、通过利用扫描器设备数字化纸质文档(paperdocument)所生成的图像数据，以及通过数字照相机拍摄的图像数据按天存储在服务器中或者通过电子邮件分发。在这种情况下，有如下情况在会议举行之后，除通过使用PC等输入的文本文件作为准备的会议记录材料外，存储并保存图像数据。这种实践的例子可以包括通过扫描具有手写备注的散发材料(handout)来生成图像数据、或者通过数字地拍摄在会议处的白板上的手写内容来生成图像数据(参见日本特开平10-97608)。当之后重新查阅会议记录时，有必要查阅写在白板上的内容以了解多个材料的关系。然而，由于通常单独存储这些多个图像数据，因而不能记录关于白板的手写内容和散发材料的内容之间的关联的任何信白、由于这个原因，用户不得不基于用户的记忆来判断这些关联。可选择地，用户需要单独地准备描述这些关联的管理表，或者用户需要手动地将关联信息嵌入文件中。然而，存在如下问题前者存在关联信息变得不确定的可能，而后者花费大量的时间并且麻烦。对于图像的这种关联，提出了使用标记识别的文档关联技术。日本特开平10-976087>开了如下设备该设备用于读耳又在两个关联页上标记了相同符号的多页的句子、并用于在识别该符号时使用允许访问相互页的结构描述语言(structuredescriptionlanguage)来生成文档。利用该i殳备，用户通过将相同的符号附给两个关联页并使得设备读取这些页可以生成在两页之间指定了关联的文档。然而，日本特开平10-97608中7〉开的技术用于生成具有针对页的关联信息的单个文档，并不用于允许在多个文档间的交叉参考。另外，仅在两页之间添加关联信息。因此，不能针对某一项而相互关联多个文件。
发明内容本发明的目的在于促进相互独立的图像数据之间的简便、可靠的关联。根据本发明的一个方面，一种图像处理设备，包括至少一个输入装置，用于输入多条内容数据；识别单元，用于识别所述多条内容数据中包括的标记；以及关联处理单元，用于基于由所述识别单元识别出的所述标记、通过在至少两条内容数据之间相互地建立链接来进行关联处理。根据本发明的典型实施例，例如，如果将标记写在纸质文档和白板上，则在通过利用扫描器读取纸质文档所获得的图像数据和通过利用数字照相机拍摄白板所获得的图像数据之间自动进行关联。因此，可以简便、可靠地进行相互独立的图像数据之间的关联。根据本发明的另一方面，一种方法，包括输入多条内容数据；识别所述多条内容数据中包括的标记；以及基于识别出的标记、通过在至少两条内容数据之间相互地建立链接来进行关联处理。根据下面参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并和说明书一起用来说明本发明的原理。图l是示出根据本发明典型实施例的多功能外围设备的结构的例子的图。图2是示出根据本发明典型实施例的网络系统的结构的例子的图。图3是示出根据本发明第一典型实施例的多功能外围设备所进行的处理操作的流程图。图4是示出根据本发明第一典型实施例的多功能外围设备所进行的处理操作的流程图。图5是示出根据本发明第一典型实施例的散发材料和白板之间的关系以及关联处理的结果的图。图6A和6B是示出用于执行关联处理的操作画面的例子的图。图7是示出根据本发明第一典型实施例的对其进行了关联处理的图像数据的打印处理的结果的图。图8是示出根据本发明第二典型实施例的多功能外围设备所进行的处理操作的流程图。图9是示出根据本发明第二典型实施例的散发材料和白板之间的关系以及关联处理的结果的图。具体实施方式下面将参考附图，详细说明本发明的各典型实施例、特征和方面。第一典型实施例图l是示出根据本发明典型实施例的多功能外围设备的结构的例子的图。多功能外围设备用作图像处理设备。多功能外围设备包括图像形成单元101、控制单元102、以及扫描器单元103。控制单元102控制多功能外围设备。扫描器单元103用作图像读取单元。多功能外围设备还包括操作单元104、发送/接收接口105、输入接口106、以及纸张排出单元107。通过专用接口将图像形成单元IOI、扫描器单元103、操作单元104、发送/接收接口105、输入接口106、以及纸张排出单元107连接至控制单元102。控制单元102包括中央处理单元(CPU)108和存储装置(存储器)109。可以操作操作单元104以选择用于存储图像数据的发送目的地和发送模式。另外，可以将原稿放置在扫描器单元103上。还可以操作操作单元104以指定通过输入接口106从外部设备输入的图像、或者存储在存储装置109中的图像作为操作对象图像。在利用扫描器单元103对原稿进行读取处理时，可以进行读取原稿大小、读取分辨率以及色彩模式的读取设置。在对利用扫描器单元103读取的图像数据进行存储处理时，可以选择并指定存储用的文件格式、文档名称、以及存储目的地。此时，如有必要，可以根据指定的存储目的地或文件格式适当地进行图像转换。可以指定多功能外围设备的存储装置109或者网络上的文件服务器作为存储目的地。此外，通过才乘作单元104可以选择多个图像以指示关联处理。当指示了关联处理时，多功能外围设备判断多个图像的关联、生成链接信息、并且在将所选择的图像转换成指定的文件格式时，在存储多个图像之前将链接信息嵌入在多个图像中，图2是示出根据本发明典型实施例的网络系统的结构的例子的图。在图2中，网络系统包括根据本实施例的多功能外围设备201以及存储文档数据的文件服务器202，多功能外围设备201和文件服务器202均连接至网络。文件服务器202包括中央处理单元203、存储装置204以及通信接口205作为主要单元。另夕卜，在图2中，网络系统包括作为摄像设备的数字照相机206、会议中使用的白板207、以及在会议中分发的纸质文档(散发材料)208。现在参考图5来说明图像数据的关联处理。图5是示出根据本实施例的散发材料208和白板207之间的关系以及关联处理的结果的图。在与散发材料208相关联的白板207中，用户写下与写在散发材料208中的特定标记(在所示的例子中，一个星号标记或者两个星号标记)类似的标记。在图5中所示的例子中，将一个星号标记写到白板207上的图像，将两个星号标记写到白板207上的另一图像。然后，用户利用扫描器单元103读取散发材料208,利用数字照相机206拍摄白板207。现今的一些白才反包括允许用户扫描白板207上的信息的扫描器。应认识到可以利用这种扫描器而不是数字照相机206捕获来自白板207的信息。然后，用户使得多功能外围设备201捕获散发材料208的图像数据以及白板207的拍摄的图像数据，并基于该标记来进行关联处理。根据该处理，将到与散发材料208相关联的白板207的拍摄的图像数据的链接信息(参考信息)嵌入在散发材料208的图像数据中。下面参考图3详细说明图像数据的关联处理。图3是示出多功能外围设备201所进行的处理操作的流程图。例如，多功能外围设备201在以下图像数据之间进行关联处理通过利用扫描器单元103读取在会议中分发的纸质文档(散发材料)208所获得的图像数据和通过利用数字照相机206拍摄在会议中使用的白板207所获得的图像数据，并在关联处理之后存储图像数据。在用户将标记写到散发材料208和白板207上的各关联部分之后，多功能外围设备201读取散发材料208并拍摄白板207。在步骤S301,用户操作操作单元104以指示多功能外围设备201捕获图像数据。多功能外围设备201通过输入接口106将通过利用数字照相机206拍摄在会议中使用的白板207所获得的图像数据捕获至存储装置109。多功能外围设备201可以通过通用串行总线(USB)物理上直接地连接至数字照相机206,或者多功能外围设备201可以通过使用无线电技术或装置端口(deviceport)连接至数字照相机206。在步骤S302,在通过操作单元104进行适当的读取设置之后，用户利用扫描器单元103读取散发材料208。多功能外围设备201将扫描的图像数据捕荻至存储装置109。在读取散发材料208时，可以进行读取原稿大小、读取分辨率、以及色彩模式的读取设置。在步骤S303,用户对文件格式、文档名称、以及用于存储所捕获的图像数据的存储目的地进行存储设置。可选择的文件格式包括标签图像文件格式(TagImageFileFormat,TIFF)、联合图像专家组(JointPhotographicExpertsGroup,JPEG)、可移植文档格式(PortableDocumentFormat,PDF)、以及超文本标记语言(HyperTextMarkupLanguage,HTML)。在指定PDF和HTML作为文件格式的情况下，用户可以指定关联处理。另外，用户可以指定多功能外围设备201的存储装置109或者网络上文件服务器202的目录作为图像数据的存储目的地。在步骤S304，中央处理单元108判断在步骤S303的存储设置期间是否指定了关联处理。如果在步骤S304中判断为"否"，则在步骤S313中，中央转换成在步骤S303中指定的文件格式。然后，在步骤S312,中央处理单元108将转换后的图像数据存储在指定的存储目的地中，然后处理结束。如果在步骤S304中判断为"是"，则在步骤S305中，用户操作操作单元104以在步骤S301中捕获的白板207的拍摄的图像数据中指定要关联的图像数据。在步骤S306,中央处理单元108将在步骤S302中读取的散发材料208的图像数据转换成在步骤S303中指定的文件格式。在步骤S307,中央处理单元108识别在步骤S302中读取的散发材料208的图像数据中包括的所有标记。类似地，在步骤S308,中央处理单元108识别在步骤S305中指定的要关联的白板207的拍摄的图像数据中包括的所有标记。在步骤S309,中央处理单元108在步骤S305中指定的白板207的拍摄的图像数据中检索具有与在步骤S307中识别出的标记类似的标记的拍摄的图像数据。在这种情况下，中央处理单元108判断该标记是否是具有一定幅度的类似程度但不完全相同的类似标记，因为该标记是手写的。在步骤S310,在转换成步骤S306中指定的文件格式的散发材料208的图像数据中，中央处理单元108将该标记转换成表示建立了链接的字符串(在示出的例子存储单元108根据在步骤S309中检索到的白板207的拍摄的图像数据(具有类似标记)的存储信息来生成链接信息，并将该链接信息嵌入在散发材料208的图像数据中。此时，将最初写在散发材料208中的标记的图像信息保存为文件中的不可见信息。在步骤S310中将标记转换成字符串并进行链接信息的嵌入处理之后，然后在步骤S311，中央处理单元108判断是否处理了步骤S307中识别出的所有标记。如果在步骤S311中判断为"是"，则在步骤S312,中央存储单元108将嵌入了链接信息的散发材料208的图像数据存储在步骤S303中指定的存储目的地中，然后处理结束。如果在步骤S311中判断为"否"，则处理返回步骤S309。图6A和6B示出根据本实施例的用于执行关联处理的操作画面的例子。在步骤S305，当用户在图6A中示出的操作画面上选择作为关联对象目标的图像、并按压"关联"按钮601时，如图6B所示，显示提示用户进行确认的对话框602。当用户按压对话框602中的"是"按4丑603时，执行关耳关处理。接着，下面参考图7说明用于打印关联的图像数据的处理。图7是用于示出对其进行了关联处理的图像数据的打印处理的结果的图。作为关联处理的结果，尽管散发材料208的图像数据中嵌入了链接信息，但是在打印散发材料208的图像数据的情况下，打印最初写入的标记，而不是字符串。下面参考图4说明散发材料208的图像数据的打印处理。图4是示出由多功能外围设备201进行的处理操作的流程图。在步骤S401中，中央处理单元108将嵌入了链接信息的散发材料208的图像数据(散发材料文件)捕获至存储装置109。在步骤S402,中央处理单元108解释在步骤S401中捕获的散发材料文件的描述、选择该散发材料文件中包括的对象、并判断所选择的对象是否是到关联的图像数据的链接信息。如果在步骤S402中判断为"是，，，则在步骤S403,中央处中包括的标记的图像信息进行光栅化。然后，在步骤S404，中央处理单元108用标记的光栅化后的图像信息来替换表示链接的字符串。如果在步骤S402中判断为"否"，则在步骤S405中，中央处理单元108光栅化该对象。在步骤S406，中央处理单元108判断是否处理了在步骤S401中捕获的散发材料文件中包括的所有对象。如果在步骤S406中判断为"是"，则在步骤S407中，多功能外围设备201打印由图像形成单元101光栅化后的图像。然后，处理结束。如果在步骤S406中判断为"否，，，则处理返回步骤S402。第二典型实施例根据本发明的第二典型实施例，不仅将参考信息嵌入在散发材料208的图像数据中，而且还将参考源信息嵌入在白板207的拍摄的图像数据中作为参考目的地。因此，可以提高用户的方便性。下面参考图9说明根据第二典型实施例的图像数据的关联处理。图9是示出散发材料208和白板207之间的关系以及关联处理的结果的图。在与散发材料208相关联的白板207中，用户写下与写在散发材料208中的特定标记类似的相同标记(在所示的例子中，为一个星号标记)。在图9所示的例子中，用户对白板207的两个图像的每个写下一个星号标记。然后，用户利用扫描器103读取散发材料208,利用数字照相机206拍摄白板207。然后，用户使得多功能外围设备201捕获散发材料208的图像数据以及白板207的拍摄的图像数据、并基于该标记进行关联处理。根据该处理，将写在散发材料208中的标记作为链接信息(参考目的地信息)嵌入至与散发材料208相关联的白板207的拍摄的图像数据。此外，将到与白板207相关联的散发材料208的图像数据的链接信息(返回目的地信息)嵌入在白板207的拍摄的图像数据中。此外，将两个拍摄的图像数据组之间的相互链接信息(关联信息)嵌入在白板207的拍摄的图像数据中。下面将参考图8详细说明图像数据的关联处理。图8是示出由多功能外围设备201进行的处理操作的流程图。例如，多功能外围设备201在以下图像数据之间进行关联处理通过利用扫描器单元103读取在会议中分发的纸质文档(散发材料)208所获得的图像数据和通过利用数字照相机206拍摄在会议中使用的白板207所获得的图像数据，并在关联处理之后存储图像数据。在用户将标记写到散发材料208和白板207上的各关联部分之后，多功能外围设备201读取散发材料208并拍摄白板207。在步骤S801，用户操作操作单元104以指示多功能外围设备201捕获图像数据。多功能外围设备201经由输入接口106将通过利用数字照相机206拍摄在会议中使用的白板207所获得的图像数据捕获至存储装置109中。多功能外围设备201可以通过USB物理上直接地连接至数字照相机206，或者多功能外围设备201可以通过使用无线电技术或装置端口连接至数字照相机206。在步骤S802,用户在通过操作单元104进行合适的读取设置之后，利用扫描器单元103读取散发材料208。多功能外围设备201将扫描后的图像数据捕获至存储装置109。在读取散发材料208时，可以进行读取文档大小、读取分辨率、以及色彩模式的读取设置。在步骤S803,用户对文件格式、文档名称、以及用于存储所捕获的图像数据的存储目的地进行存储设置。可选择的文件格式包括TIFF、JPEG、PDF、以及HTML。在指定PDF和HTML作为文件格式的情况下，用户可以指定关联处理。另外，用户可以指定多功能外围设备201的存储装置109或者网络上文件服务器202的目录作为图像数据的存储目的地。在步骤S804,中央处理单元108判断在步骤S803的存储设置期间是否指定了关联处理。如果在步骤S804中判断为"否"，则在步骤S819中，中央处理单元108将在步骤S802中读取的散发材料208的图像数据转换成在步骤S803中指定的文件格式。然后，在步骤S818,中央处理单元108将转换后的图像数据存储在指定的存储目的地中，然后处理结束。如果在步骤S804中判断为"是"，则在步骤S805中，用户操作操作单元104以从在步骤S801中捕获的白板207的拍摄的图像和在步骤S802中读取的散发材料208的图像中指定用作为参考源的图像。类似地，在步骤S806,用户操作操作单元104以从白板207的拍摄的图像和散发材料208的图像中指定作为参考目的地的图像。在步骤S807,中央处理单元108识别在步骤S805中指定的参考源图像数据中包括的所有标记。类似地，在步骤S808,中央处理单元108识别在步骤S806中指定的参考目的地图像数据中包括的所有标记。在步骤S807和S808中对处理对象图像数据中包括的标记进行识别之后，然后在步骤S809,中央处理单元108将处理对象图像数据转换成在步骤S803中指定的文件格式。在步骤S810,中央处理单元108判断在步骤S809中经过转骤S805中指定的参考源图像数据。如果在步骤S810中判断为"是"(如果该处理对象图像数据是参考源图像数据)，则在步骤S811中，中央处理单元108检索具有与在步骤S807中识别出的标记类似的标记的参考目的地图像数据。在步骤S812，在转换成步骤S809中指定的文件格式的参考源图像数据中，中央处理单元108将该标记转换成表示建立了链接的字符串(在示出的例子中，为"参考")。然后，中央处理单元108根据在步骤S811中检索到的参考目的地图像数据(具有类似标记)的存储信息来生成链接信息，并将该链接信息嵌入在参考源图像数据中。在本实施例中，内容数据的例子是图像数据。根据另一典型实施例，认为可以从要显示的HTML数据调用图像。同样，在消除图像中的标记时，可以利用HTML数据作为参考源来定义用于参考参考目的地的链接信息。内容数据的例子可以是图像数据和HTML数据。也就是说，准备了两种图像数据组。可以从对应于要显示的该图像的HTML数据调用每个图像数据。例如，如果图〗象X中有个标记，可以将用于定义该图像X作为参考目的地的链接嵌入在与具有类似标记的其它图像Y相对应的HTML数据中。通过在对应于具有类似标记的图像的HTML文件之间建立《连接可以调用HTML数据。也就是说，内容数据包括用于调用图像的HTML数据。然后，将链接嵌入在HTML数据中。在HTML数据组之间建立链接。如果在步骤S810中判断为"否"(如果该处理对象图像数据是参考目的地图像数据)，则在步骤S813,中央处理单元108检索具有与在步骤S808中识别出的标记类似的标记的参考源图像数据和参考目的地图像数据。在步骤S814，中央处理单元108判断在步骤S813中检索出的图像数据是否是参考源图像数据。如果在步骤S814中判断为"是，，(是参考源图像数据)，则在步骤S815中，在转换成步骤S809中指定的文件格式的参考源图像数据中，中央处理单元108将该标记转换为表示建立了链接的字符串(在示出的例子中，为"返回")。然后，中央存储单元108根据在步骤S813中检索到的参考源图像数据(具有类似标记)的存储信息生成链接信息，并将该链接信息嵌入在参考目的地图像数据中。此时，将最初写下的标记的图像信息保存为文件中的不可见信息。另一方面，如果在步骤S814中判断为"否"(是参考目的地图像数据)，则在步骤S816中，在转换成步骤S809中指定的文件格式的参考目的地图像数据中，中央处理单元108将该标记转换为表示建立了链接的字符串(在示出的例子中，为"关联")。然后，中央存储单元108根据在步骤S813中检索到的参考目的地图像数据(具有类似标记)的存储信息生成链接信息，并将该链接信息嵌入在参考目的地图像数据中。此时，将最初写下的标记的图像信息保存为文件中的不可见信息。在步骤S812、步骤S815或步骤S816中的处理之后，然后在步骤S817，中央处理单元108判断是否处理了在步骤S805和步骤S806中指定的所有处理对象图像。如果在步骤S817中判断为"是"，则在步骤S818中，中央处理单元108将该图像数据存储在步骤S803中指定的存储目的地中，并且处理结束。如果在步骤S817中判断为"否，，，则处理返回至步骤S809。如上所述，当用户写下表示关联的特定标记并指示关联处理时，可以自动将该标记转换成链接信息，并且可以自动嵌入该链接信息。因此，用户没有必要基于用户的记忆来判断关联，没有必要单独准备描述关联的管理表或者手动地将关联信息嵌入在文件中。因此，可以确保关联信息并且可以避免用户不得不进行关联的麻烦。另外，当打印经过关联处理的图像数据时，复原并打印最初写下的、非字符串的标记。因此，可以使用打印出的图像再次进行关耳关处理，/人而可以巩固文档循环。此外，由于可以指定参考源和参考目的地，在有多个表示关联的标记的情况下，可以根据参考源和参考目的地的关系来嵌入关联信息作为"参考"、"返回目的地"、以及"关联"。因此，可以在保存更多具体的关联信息时存储图像数据。其它典型实施例还可以通过如下方式来实现本发明向系统或设备提供存储有用于实现上述典型实施例的功能的软件的程序代码的存储介质，并且系统或设备的计算机(或CPU或微处理单元(MPU))读取并执行存储介质中存储的程序代码。在这种情况下，从存储介质读取的程序代码自身实现上述典型实施例的功能。用于提供程序代码的存储介质包括，例如，软盘、硬盘、光盘、磁光盘、致密盘只读存储器(CD-ROM)、可记录致密盘(CD-R)、磁带、非易失性存储卡和只读存储器(ROM)。另外，运行在计算机上的操作系统(OS)基于程序代码的指令可以执行实际处理的部分或者全部，并可以实现上述典型实施例的功能。此外，将从记录介质读取的程序代码写在插入计算机中的功能扩展板或者连接到计算机的功能扩展单元中设置的存储器中。然后，功能扩展板或者功能扩展单元中设置的CPU根据程序代码的指令执行实际处理的部分或者全部，并且可以实现上述典型实施例的功能。尽管已经参考典型实施例说明了本发明，^旦应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。权利要求1.一种图像处理设备，包括至少一个输入装置，用于输入多条内容数据；识别单元，用于识别所述多条内容数据中包括的标记；以及关联处理单元，用于基于由所述识别单元识别出的所述标记、通过在至少两条内容数据之间相互地建立链接来进行关联处理。2.根据权利要求l所述的图像处理设备，其特征在于，所述多条内容数据包括图像数据，以及中的字符串，并且将链接信息嵌入在所述图像数据中。3.根据权利要求2所述的图像处理设备，其特征在于，当打印嵌入了所述链接信息的多条内容数据时，所述图像处理设备打印所述标记。4.根据权利要求l所述的图像处理设备，其特征在于，所迷多条内容数据包括由用于读取原稿的图像的图像读取单元所读取的图像数据。5.根据权利要求l所述的图像处理设备，其特征在于，所述多条内容数据包括由摄像设备所拍摄的图像数据。6.根据权利要求l所述的图像处理设备，其特征在于，所述多条内容数据包括用于调用图像的超文本标记语言数据，将链接嵌入在所述超文本标记语言数据中，并且在所述超文本标记语言数据之间建立所述链接。7.—种方法，包括输入多条内容数据；识別所述多条内容数据中包括的标记；以及基于识别出的标记、通过在至少两条内容数据之间相互地建立链接来进行关联处理。8.根据权利要求7所述的方法，其特征在于，所述多条内容数据包括图像数据，以及其中，所述方法还包括在所述图像数据中将所述标记转换成字符串，并将链接信息嵌入所述图像数据中。9.根据权利要求8所述的方法，其特征在于，还包括在打印嵌入了所述链接信息的多条内容数据时，打印所述标记。10.根据权利要求7所述的方法，其特征在于，所述多条内容数据包括由用于读取原稿的图像的图像读取单元所读取的图像数据。11.根据权利要求7所述的方法，其特征在于，所述多条内容数据包括由摄像设备所拍摄的图像数据。12.根据权利要求7所述的方法，其特征在于，所述多条内容数据包括用于调用图像的超文本标记语言数据，将链接嵌入在所述超文本标记语言数据中，并且在所述超文本标记语言数据之间建立所述《连接。全文摘要本发明涉及一种图像处理设备和方法。该图像处理设备包括至少一个输入装置，用于输入多条内容数据；识别单元，用于识别所述多条内容数据中包括的标记；以及关联处理单元，用于基于由所述识别单元识别出的标记、通过在至少两条图像数据之间相互地建立链接来进行关联处理。文档编号H04N1/32GK101330554SQ20081008477公开日2008年12月24日申请日期2008年3月21日优先权日2007年6月22日发明者大熊聪,森田裕康申请人:佳能株式会社