专利名称：信息处理装置及其控制方法
技术领域：
本发明涉及信息处理装置及其控制方法。
背景技术：
传统上，使用了一种将图像数据划分成多个区域并向所述各个区域中包含的文本对象、照片对象以及图形对象添加元数据的方法。例如，当向
文本对象添加此元数据时，添加通过执行OCR处理获得的字符编码信息。对于照片对象和图形对象，通过对位于要添加元数据的对象附近的文本对象执行OCR处理来获得字符串，并且将该字符串添加到照片对象或图形对象。这里，"图形"是指具有例如与诸如照片的自然图像相比物体的轮廓更加清楚、颜色存在更多限制等特征的图像。可以通过对使用图形设计软件创建的诸如线、箭头等的图像进行矢量化来生成图形。因此，用户能够利用添加到图像数据的元数据执行搜索等(参见日本特开2002-32397号公报)。
然而，表示此类照片对象或图形对象的内容的文本对象，并不一定总是位于该照片对象或图形对象的附近。另外，虽然图像数据的创建者有时使用图形对象来表现对象彼此之间具有的相关性、对象的重要度等，但是在上述方法中根本没有考虑这种信息。因此，该方法不向对象添加适当的元数据，并且对用户来说很难使用。
发明内容
根据本发明的一个方面，提供一种信息处理装置，该信息处理装置包括关联单元，其被构造为将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；添加单元，其被构造为基于各对象的类型向各对象添加元数据；以及确定单元，其被构造为确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中的不同于所述第 一区域的第二区域相关联的特定对象，其中，在所述确定单元己经确定存 在所述特定对象的情况下，所述添加单元还向所述多个区域中的所述第一 区域中存在的第一对象，添加用于将所述多个区域中的所述第二区域与所 述多个区域中的所述第一区域相关联的元数据。
根据本发明的另一个方面，提供一种信息处理装置的控制方法，所述 控制方法包括以下步骤将输入图像数据划分成多个区域并且将各区域与 一种或更多种类型的对象相关联;基于各对象的类型向各对象添加元数据； 以及确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个 区域中不同于所述第一区域的第二区域相关联的特定对象，其中，在所述 确定步骤己经确定存在所述特定对象的情况下，所述添加步骤还向所述多 个区域中的所述第一区域中存在的第一对象，添加用于将所述多个区域中 的所述第二区域与所述多个区域中的所述第一区域相关联的元数据。
根据以下示例性实施例(参照附图)的详细描述，本发明的其他特征 将变得清楚。
包括在说明书中并构成说明书一部分的附图，例示了本发明的实施例， 并与文字描述一起用于说明本发明的原理。
图1是例示根据本发明的实施例的使用MFP的示例性图像处理系统 的图2是例示根据本发明的实施例的MFP 100的示例性硬件框图； 图3是例示根据本发明的实施例的MFP 100的示例性功能框图； 图4是例示根据本发明的实施例的用于获得输入图像数据的示例性处 理的流程图5是例示根据本发明的实施例的用于获得输入图像数据的另一示例 性处理的流程图6是例示根据本发明的实施例的如何创建对象的流程图7是例示根据本发明的实施例的用于将输入图像数据701转换成被划分成了多个对象的数据702的示例性处理的图8是例示根据本发明的实施例的元数据添加处理的示例性详情的流
程图9是例示根据本发明的实施例的示例性特定对象的图； 图10是例示根据本发明的实施例的特定对象处理的示例性详情的流 程图IIA和图IIB是例示根据本发明的实施例的其中特定对象指示另一 对象的示例性状态的图12A到图12C是例示根据本发明的实施例的、由于前端区域指向对 象/后端区域指向对象的存在与否而产生的多条图像数据之间的差别的图13是根据本发明的实施例的当添加元数据时参照的示例性表1300;
以及
图14是例示根据本发明的第二实施例的在页的端部存在特定对象的 情况的图。
具体实施例方式
以下，将参照
本发明的实施例。在实施例中，多功能外围设 备(下文称"MFP")将用作根据本发明的信息处理装置。 (第一实施例)
首先，将利用图1到图3说明根据本实施例的MFP 100的结构。 (图像处理系统)
图1是例示根据本发明的实施例的使用MFP的示例性图像处理系统 的图。该图像处理系统用于这样的环境，在该环境中办公室A 110与办公 室B 120经由互联网130连接。
MFP100、管理PC101、本地PC102、文档管理服务器103以及用于 文档管理服务器103的数据库104连接到在办公室A 110中安装的LAN 106。MFP 100还经由LAN 108直接连接到管理PC 101。同时，本地PC 102、 文档管理服务器103以及用于文档管理服务器103的数据库104连接到在 办公室B 120中安装的LAN 107。 LAN 106和LAN 107连接到代理服务器105，并经由代理服务器105连接到互联网130。同时，LAN108用于MFP 100与管理PC 101之间的数据和控制信号等的交换。
MFP 100承担对通过读取原稿获得的输入图像数据执行的图像处理的 一部分。MFP 100将对输入图像数据执行的图像处理的结果经由LAN 108 输出给管理PC 101 。另外，MFP 100通过分析从本地PC 102或通用PC(未 示出)发送的页面描述语言(下文称"PDL")而用作打印机。此外，MFP 100具有用于将输入图像数据发送给本地PC 102或通用PC (未示出)的 功能。
管理PC101是包括图像存储功能、图像处理功能、显示功能、输入功 能等的计算机，并且控制MFP 100。 (MFP)
以下将利用图2和图3说明MFP 100的结构。图2是例示MFP 100 的示例性硬件框图。MFP100包括数据处理设备200、图像读取设备201、 存储设备202、记录设备203、输入设备204以及显示设备205。 MFP 100 分别经由网络I/F 206和网络I/F 207连接到LAN 106和LAN 108。
数据处理设备200执行对MFP 100的整体控制。更具体来说，当进行 通常复印功能时，数据处理设备200对图像数据执行用于复印的图像处理， 由此将图像数据转换成打印信号。当复印多页时，数据处理设备200首先 按页地将打印信号保持在存储设备202中，之后将所述信号顺次输出给记 录设备203，由此在记录纸上形成记录图像。数据处理设备200还对从本 地PC 102经由驱动器输出的PDL数据进行分析和处理。此外，数据处理 设备200还将元数据添加到输入图像数据，稍后将对此进行说明。
在本实施例中，"元数据"是指与由对象表示的内容有关的数据。例如， 当对象是照片时，由对象表示的数据是照片本身；然而，可以添加诸如照 片标题、拍摄地点等的关键字作为对象的元数据。利用这种元数据中包含 的关键字能够进行图像搜索、自动图像分类等，这反过来能够提高系统的 方便性。例如，当用户输入关键字时，作为搜索结果，显示添加有包含该 关键字的元数据的对象。
图像读取设备201包括自动文档给送器(未示出)，并且利用光源照射单张原稿上的图像或一束原稿上的图像；使用透镜将由此反射的图像形成 在固态图像传感器上。然后，固态图像传感器生成预定分辨率(例如，
600dpi)和预定亮度水平(例如，8比特)的图像读取信号，由此构成图 像数据，即，反过来由图像读取信号的光栅数据构成图像数据。
存储设备202保存来自图像读取设备201的数据、其中绘制有从本地 PC 102经由驱动器输出的PDL数据的数据等。记录设备203将从本地PC 102或另一通用PC (未示出)利用驱动器输出的PDL数据记录在记录纸 上。输入设备204是设置在MFP 100中的键操作单元等，并用于向MFP 100 输入操作及其他类型的数据。显示设备205显示操作输入状态、图像数据
等
图3是例示MFP 100的示例性功能框图。这里只提及描述本实施例所 需的最少功能，并省略其他功能的描述。MFP 100包括关联单元301、添 加单元302、存储单元303及确定单元304。
关联单元301将输入图像数据划分成多个区域，并将各区域识别为对 象。尽管在本实施例中将对象分类为例如文本、照片或图形(线，表等) 来进行描述，但是本发明并不限于这种分类。添加单元302向各对象添加 表示对象属性的元数据。存储单元303存储输入图像数据、特定对象(稍 后说明)等。数据处理设备200 执行关联单元301、添加单元302等的功 能，而存储设备202等执行存储单元303的功能。确定单元304确定是否 存在将输入图像数据内的区域与该区域以外的区域相关联的特定对象。 (输入图像数据获得处理)
接着将说明用于获得输入图像数据的处理。首先，将利用图4说明使 用MFP 100的图像读取设备201获得输入图像数据的情况。图4是例示用 于获得输入图像数据的示例性处理的流程图。通过数据处理设备200中的 CPU执行ROM中存储的计算机程序来执行该流程图所示的处理。将获得 的输入图像数据保存在例如存储单元303中。
在步骤S401中，图像读取设备201从原稿读取图像。
在步骤S402中，数据处理设备200对读取的输入图像数据执行依赖 于扫描器的图像处理。"依赖于扫描器的图像处理"例如是色彩处理、过滤处理等。
接着，将利用图5说明获得由本地PC 102上的应用程序生成的图像数
据的情况。图5是例示用于获得输入图像数据的另一示例性处理的流程图。 通过数据处理设备200中的CPU执行ROM中存储的计算机程序来执行该 流程图所示的处理。
在步骤S501中，MFP 100接收由本地PC 102上的应用程序创建并且 由打印机驱动器转换的打印数据。这里提及的"打印数据"是指PDL，例 如是LIPS、 PostScript等。
在步骤S502中，数据处理设备200利用解释器将接收到的打印数据 转换成显示列表。
在步骤S503中，数据处理设备200通过绘制将显示列表转换成位图 图像数据，转换结果被视作输入图像数据。 (对象的创建)
以下将利用图6说明用于从输入图像数据创建对象并向所述对象添加 元数据的处理。图6是例示示例性对象化处理的流程图。通过数据处理设 备200中的CPU执行ROM中存储的计算机程序来执行该流程图所示的处 理。
在步骤S601中，关联单元301将输入图像数据的显示区域划分成多 个对象。稍后将给出将区域划分成多个对象的详情。
在步骤S602中，添加单元302选择尚未添加元数据的单个对象作为 要处理的对象。
在歩骤S603中，确定单元304确定所选择的对象的类型。当对象是 位图格式时执行该确定。如果对象被确定是照片，则处理进行到步骤S604。 然而，如果对象被确定是图形，则处理进行到步骤S605。最后，如果对象 被确定是文本，则处理进行到步骤S606。
在步骤S604中，添加单元302按照JPEG格式压缩被确定为照片的对 象(下文称"照片对象")。
在步骤S605中，添加单元302对被确定为图形的对象(下文称"图 形对象")进行矢量化，由此将对象转换成矢量数据。在步骤S606中，添加单元302对被确定为文本的对象(下文称"文 本对象")进行矢量化，由此将对象转换成矢量数据。此外，数据处理设备 200对对象执行OCR处理，由此获得字符编码数据。
在步骤S607中，添加单元302基于所选择的对象的确定结果添加最 佳元数据。稍后将给出关于元数据的添加的详情。
在步骤S608中，添加单元302确定是否已向所有对象添加了元数据。 如果仍旧存在尚未添加元数据的对象(步骤S608中的"否")，则处理返 回到步骤S602，并且选择尚未添加元数据的单个对象。然而，如果已对所 有对象添加了元数据(歩骤S608中的"是")，则处理进行到歩骤S609。
在步骤S609中，添加单元302将添加有元数据的各个对象与输入图 像数据相关联，并且将结果保存在存储单元303中。
在步骤S610中，显示设备205显示所保存的图像数据。然后，图像 处理系统的用户能够例如使用添加到图像数据中的元数据执行数据搜索。 (对象划分处理)
以下将利用图7详细描述图6的步骤S601。图7是例示用于将输入图 像数据701转换成划分为多个对象的数据702的示例性处理的图。
按属性将输入图像数据701划分成多个矩形块。在对象划分处理中， 首先将输入图像数据701 二值化为黑白数据，并且提取由黑色像素轮廓围 绕的像素群(pixel cluster)。接着，估算所提取的黑色像素群中的像素数量， 并且对包含大于或等于预定数量的像素的黑色像素群内包含的白色像素群 进行轮廓追踪。然后，只要内部像素群的像素数量是大于或等于预定值的 值，则使用估算的白色像素群中的像素数量以及其中被追踪的黑色像素群， 递归地执行内部像素群的提取以及轮廓追踪的执行。然后，围绕像素群生 成触接由此获得的像素群的各外部边缘的矩形块，并且根据矩形块的大小 和形状确定属性。
如前所述，按照矩形块的属性存在"文本"、"照片"以及"图形"。例 如，具有接近1:1的长宽比和恒定范围的像素数量的矩形块可以是用于文 本区域的矩形块，由此被视作"文本对应块"。当相邻的文本对应块有规则 地排列 ，生成合并了这些文本对应块的新的矩形块，新的矩形块被视作文本区域矩形块。同时，平坦的像素群或者包含具有不少于一定数量像素 的、四角形形状的排列整齐的白色像素群的黑色像素群，被视作图形区域 矩形块，所有其他的不规则形状的像素群被视作照片区域矩形块。关联单 元301将通过由此划分成矩形块而获得的各区域识别为对象。 (元数据添加处理)
以下将利用图8详细说明图6的步骤S607。图8是例示元数据添加处
理的示例性详情的流程图。通过数据处理设备200中的CPU执行ROM中
存储的计算机程序来执行该流程图所示的处理。
在步骤S801中，确定单元304确定所选择的对象的类型。 如果对象被确定为文本对象，则处理进行到步骤S802，在步骤S802
中，添加单元302从该文本对象中提取字符串。可以通过语素分析 (morphemic analysis)、图像特征量提取、语法分析(syntax analysis)等
执行字符串提取。
在步骤S803中，添加单元302使用提取的字符串作为文本对象的元 数据，处理结束。
如果对象被确定为照片对象，则处理进行到步骤S804,在歩骤S804 中，添加单元302选择距该照片对象位置最近的文本对象。
在步骤S805中，添加单元302提取由所选择的文本对象表示的字符 串。如上所述，可以通过语素分析、图像特征量提取、语法分析等执行字 符串提取。注意，如果已经向文本对象添加了元数据，则添加单元302可 以使用由该元数据表示的字符串。
在步骤S806中，添加单元302将提取的字符串作为元数据添加到照 片对象，然后处理结束。
如果对象被确定为图形对象，则处理进行到步骤S807，在步骤S807 中确定单元304确定图形对象是否是特定对象。"特定对象"是指在处理输 入图像数据时预先定义的对象；特定对象具有前端区域和后端区域。
以下将利用图9说明特定对象。该"特定对象"是将输入图像数据内 的某一区域与某一其它区域相关联的对象。该"特定对象"还可以是表示 某一对象重要的对象。以下将详细描述该"特定对象"。图9是例示示例性特定对象的图。在
箭头形状的图形对象900中，区域901表示前端区域，而区域902表示后 端区域。如此，预先将定义有前端区域和后端区域的对象定义为特定对象 并将其保存在存储单元303中。尽管特定对象可以是如具有箭头形状的、 能够直观识别前端区域和后端区域的对象，但是特定对象并不限于这类对 象。
而且前端区域和后端区域没有必要线性排列，特定对象的形状可以是 如由图形对象910表示的。在此情况下，区域911表示前端区域，而区域 912表示后端区域。
另外，特定对象的形状可以是如由图形对象920表示的。尽管在该种 情况下两端均是箭头，但是将图形对象920的例如上部区域921视作前端 区域，而将图形对象920的下部区域922视作后端区域。
类似地，特定对象的形状可以是如由图形对象930表示的。尽管在该 种情况下两端也是箭头，但是将图形对象930的例如左侧区域931视作前 端区域，而将图形对象930的右侧区域932视作后端区域。
此外，气球形状的图形对象940具有气球内侧与外侧彼此相关联的特 性。在此情况下，对于对象940，将气球口的外侧的区域941视作前端区 域，而将气球口的内侧的区域942视作后端区域。
在确定所选择的对象是否是特定对象时可以使用已知方法。例如，当 特定对象具有箭头形状时，可以利用模式匹配方法来确定将要识别的箭头。
返回图8，如果对象被确定是特定对象(步骤S807中的"是")，则处 理进行到步骤S808。在步骤S808中，对特定对象进行处理；稍后将给出 该处理的详情。同时，如果对象被确定不是特定对象(步骤S807中的"否")， 则处理进行到步骤S804，在步骤S804中，将对象作为照片对象处理。 (特定对象处理)
以下将利用图IO详细说明图8的步骤S808。图IO是例示特定对象处 理的示例性详情的流程图。通过数据处理设备200中的CPU执行ROM中 存储的计算机程序来执行该流程图所示的处理。
在步骤SIOOI中，确定单元304检査特定对象是否将多个不同对象相关联，或者特定对象是否指示某一对象。更具体来说，确定是否存在多个 不同对象中的第一对象(换言之，即前端区域指示的对象)以及多个不同 对象中的第二对象(换言之，即后端区域指示的对象)。下文中，分别将前
端/后端区域指示的对象称为"前端区域指向对象(leading-region-pointed object)"禾卩"后端区域指向对象(tmiling-region-pointed object)"。
以下将利用图IIA和图IIB说明前端区域指向对象和后端区域指向对 象。图IIA是例示特定对象将两个不同对象相关联的状态的示例的图。与 图9类似，具有箭头形状的图形对象用作特定对象1100。这里，特定对象 1100的前端区域指向对象是指位于特定对象1100的前端区域附近的预定 区域1110内的对象。
在图11A的示例中，对象1111是特定对象1100的前端区域指向对象。 用户基于特定对象1100预先定义预定区域1110。可以使区域1110的范围 可变以适应特定对象1100的类型、显示大小等。类似地，特定对象1100 的后端区域指向对象是位于预定区域1120内的对象1121。
以相同方式，当特定对象具有气球形状时，如图11B所示，特定对象 1130的前端区域指向对象是指位于区域1140内的对象。在图11B的示例 中，对象1141是特定对象1130的前端区域指向对象。类似地，特定对象 1130的后端区域指向对象是位于区域1150内的对象1151。
注意，当预定区域内包含多个对象时，可以假定指示了该区域内包含 的所有对象，或者可以选择任意单个对象作为被指示的对象。可以选择与 特定对象1100最接近的对象作为任意单个对象。另外，也可以选择与预定 区域部分交叠的对象而非只有完全位于预定区域内的对象作为被指示的对
返回图10，如果在步骤S1001中存在前端区域指向对象和后端区域指 向对象二者，则处理进行到步骤S1002。如果只存在后端区域指向对象， 则处理进行到步骤S1003。同样，如果只存在前端区域指向对象，则处理 进行到步骤S1004。然而，如果这两种对象均不存在，则在歩骤S1005中 执行图8的步骤S804到S806所示的通常图形对象处理，之后处理结束。
在步骤S1002中执行用于前端区域指向对象和后端区域指向对象均存在的情况的元数据添加处理。在此情况下的图像数据的状态例如是如图
12A所示。图12A到图12C是例示由于前端区域指向对象/后端区域指向
对象的存在与否而产生的多条图像数据之间的差别的图。对于特定对象 1200，存在前端区域指向对象1202和后端区域指向对象1201 二者，特定 对象将这两个对象相关联。前端区域指向对象1202是照片对象，在本示例 中表示地图。后端区域指向对象1201是文本对象，在本示例中具有读作"集 合场所"的字符串。利用这种图像数据，观看者很可能认为具有箭头形状 的特定对象1200表现了前端区域指向对象1202与后端区域指向对象1201 之间的相关性，这里后者描述了前者。因此，添加"相关性"作为特定对 象1200的元数据。
还可以将用作前端区域指向对象1202的照片对象以及属于用作后端 区域指向对象1201的文本对象的字符串添加到特定对象1200的元数据中。 己添加了"相关性"作为元数据的对象是将其他对象相关联的对象。
另外，将属于用作后端区域指向对象1201的文本对象的字符串添加到 用作前端区域指向对象1202的照片对象的元数据中。同样，将用作前端区 域指向对象1202的照片对象添加到后端区域指向对象1201的元数据中。 由此，如上所描述的，基于前端区域指向对象1202的类型和后端区域指向 对象1201的类型添加适当的元数据。
因此，如果用户在执行搜索时输入包含在前端区域指向对象的元数据 中的关键字，则作为搜索结果显示前端区域指向对象；后端区域指向对象 的内容也包含在前端区域指向对象的元数据内。类似地，如果用户在执行 搜索时输入包含在后端区域指向对象的元数据中的关键字，则作为搜索结 果显示已添加有包含前端区域指向对象的内容的元数据的后端区域指向对 象。
另外，如果用户在搜索时输入"相关性"作为关键字，则作为搜索结 果显示特定对象。如果已向特定对象的元数据添加了前端区域指向对象或 后端区域指向对象的内容，则通过检查属于该特定对象的元数据能够搜索 到相关联的前端区域指向对象或后端区域指向对象。
用户使用图13所示的表1300预先定义要向对象的各组合添加何种元数据。表1300存储在存储单元303中。
图13是当添加元数据时参照的示例性表1300。针对前端区域指向对 象1301和后端区域指向对象1302的各组合定义要添加的元数据。在该表 中，前端区域元数据1303和后端区域元数据1304分别表示添加给前端区 域指向对象和后端区域指向对象的元数据。同时，特定元数据1305表示添 加给特定对象的元数据。
如果后端区域指向对象1302也是特定对象，如行1306，则还根据该 特定对象指示的对象来添加前端区域指向对象1301的元数据。在添加了元 数据之后处理结束。毋庸置疑，元数据的添加并不限于表1300所示的示例。
在步骤S1003中执行用于只存在后端区域指向对象的情况的元数据添 加处理。例如，图12B例示了这种状态。例如，当图像数据由多页组成时， 可能会发生这种状态。在这种情况下，可以认为特定对象1210的前端区域 指示了在包含特定对象1210的页的前一页上存在的图像数据的整体。因 此，将后端区域指向对象1211的元数据设定为"位于前一页的图像数据"， 将特定对象1210的元数据设定为"相关性"。将在第二实施例中给出关于 图像数据由多页组成的这类情况的详情。
然而，在诸如此类的情况下，可以假定特定对象不指示相关性，由此 可以执行图8的步骤S804到S806所示的通常图形对象处理。在添加了元 数据之后处理结束。
在步骤S1004中执行用于只存在前端区域指向对象的情况(或者换句 话说，特定对象指示另一对象的情况)的元数据添加处理。
例如，图12C例示了这种状态。利用这种图像数据，观看者很可能认 为具有箭头形状的特定对象1220表现了指示前端区域指向对象1222是重 要数据的重要度。因此，添加单元302添加"重要度"作为特定对象1220 的元数据。其中元数据添加有"重要度"的对象是表现其他对象的重要度 的对象。
例如，用户通过搜索其元数据添加有"重要度"的对象，能够容易地 检查高度重要的对象的图像数据。除了添加"重要度"作为元数据，也可 以添加前端区域指向对象的内容。可以根据对象的内容添加前端区域指向对象的元数据。
然而，在诸如此类的情况下，可以假定特定对象不指示相关性，由此
可以执行图8的步骤S804到S806所示的通常图形对象处理。在添加了元 数据之后处理结束。
根据以上所描述的本实施例，基于图形对象表示的内容添加元数据， 由此可以向图像数据内的对象添加适当的元数据。 (第二实施例)
本实施例论述在输入图像数据由多页组成的情况下可以使用的变型 例。这里，将省略对与第一实施例中相同的结构和处理的描述。将利用图 14给出本实施例的概要。图14是例示在页的端部存在特定对象的情况的 示例。
假定图像数据由两页或者由页1400和页1410组成。在由特定对象 1401的前端区域指示的区域中不存在对象。然而，因为特定对象1401位 于页的端部，所以可以认为对象1402指示下一页1410。因此，当特定对 象1401位于页的端部并且其前端区域或后端区域指示该页的外部区域时， 执行用于将该页与相邻页相关联的处理。
关于对象是否指示另一页的确定，可以通过确定由前端区域或后端区 域指示的预定区域是否容纳在该对象所处的页内来执行。如果所述确定区 域容纳在该页内，则确定对象不指示另一页。
然而，如果由特定对象的前端区域指示的对象未容纳在与特定对象所 处的同一页内，则确定特定对象指示另一页。如果前端区域指示下一页， 则将该下一页设定在后端区域指向对象的元数据中。同时，如果后端区域 指示前一页，则将前一页设定在前端区域指向对象的元数据中。更具体来 说，将前一页或后一页的縮略图设定在元数据中，将表示前一页或后一页 内容的字符串设定在元数据中，或诸如此类。如第一实施例中，将特定对 象的元数据设定为"相关性"。
以这种方式，即使当图像数据由多页组成时，也能够向图像数据内的 对象添加适当的元数据。 (第三实施例)在第一实施例中，在只存在前端区域指向对象的情况(或者，换句话 说，特定对象指示某一对象的情况)下，将特定对象的元数据设定为"重 要度"；这使得能够搜索高度重要的文档。然而在本实施例中，为单个对象 定义重要度，由此提高了用户的方便性。
在本实施例中，存储对象303存储各对象的重要度。关联单元301为 通过在图6的步骤S601中执行的划分而获得的各对象设定重要度。可以 对所有对象设定同一重要度，或者可以对各类型的对象设定不同的重要度。
在图10的步骤S1004中，添加单元302执行以下添加处理。首先， 添加单元302计算特定对象的显示大小。可以基于例如特定对象中的像素 数量来计算该显示大小。然后，添加单元302基于特定对象的显示大小向 前端区域指向对象添加表示重要度的元数据。可以向前端区域指向对象添 加表示特定对象越大重要度越高的元数据。
另外，可以基于特定对象的显示颜色来改变前端区域指向对象的重要 度的增加程度。例如，添加单元302计算特定对象的平均RGB值，并且 基于该平均值确定增加程度。
以这种方式，设置对象的重要度并根据特定对象改变重要度使用户能 够容易识别高重要度的对象。 (其他实施例)
通过读取并执行记录在存储设备上的程序以执行上述实施例的功能的 系统或装置的计算机(或者诸如CPU或MPU的设备)，以及通过由系统 或装置的计算机执行例如读取并执行记录在存储设备上的程序以执行上述 实施例的功能的步骤的方法，也可以实现本发明的各个方面。为此，例如 经由网络或从用作存储设备的各种类型的记录介质(例如，计算机可读介 质)向计算机提供程序。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明 并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽泛 的解释，以使其涵盖所有这种变型例以及等同的结构和功能。
权利要求
1.一种信息处理装置，该信息处理装置包括关联单元，其被构造为将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；添加单元，其被构造为基于各对象的类型向各对象添加元数据；以及确定单元，其被构造为确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中不同于所述第一区域的第二区域相关联的特定对象，其中，在所述确定单元已经确定存在所述特定对象的情况下，所述添加单元还向所述多个区域中的所述第一区域中存在的第一对象，添加用于将所述多个区域中的所述第二区域与所述多个区域中的所述第一区域相关联的元数据。
2. 根据权利要求l所述的信息处理装置，其中，所述特定对象将所述第一对象与所述多个区域中的所述第二区域中存在的第二对象相关联，所述添加单元基于所述第二对象的内容来添加所述第一对象的元数据，并且基于所述第一对象的内容来添加所述第二对象的元数据。
3. 根据权利要求2所述的信息处理装置，其中，所述添加单元向所述特定对象添加，表示所述特定对象是具有表现所述第一对象与所述第二对象相关联的内容的对象的元数据。
4. 根据权利要求l所述的信息处理装置，其中，在所述输入图像数据包含多页，并且所述多个区域中的所述第二区域由所述特定对象的前端区域指示的情况下，如果所述第二区域跟所述特定对象和通过所述特定对象同所述第二区域相关联的所述第一对象不在同一页上，则所述添加单元基于由所述特定对象所指示的页的内容，向所述第一对象添加元数据。
5. 根据权利要求4所述的信息处理装置，所述添加单元还向所述特定对象添加，表示所述特定对象是具有表现所述第一对象所在的页与第二对象所在的页相关联的内容的对象的元数据。
6. 根据权利要求1所述的信息处理装置，其中，所述确定单元还确定所述特定对象是否指示至少一个对象，并且其中，在所述特定对象指示所述至少一个对象的情况下，所述添加单元还向由所述特定对象指示的对象添加表示对象的重要度的元数据。
7. 根据权利要求6所述的信息处理装置，其中，所述添加单元基于所述特定对象的显示颜色以及所述特定对象的显示大小中的至少一个，还向由所述特定对象指示的对象添加表示重要度的元数据。
8. 根据权利要求6所述的信息处理装置，其中，在所述特定对象指示所述至少一个对象的情况下，所述添加单元还向所述特定对象添加表示由所述特定对象指示的对象重要的元数据。
9. 根据权利要求l所述的信息处理装置，其中，所述特定对象的形状是箭头形状。
10. 根据权利要求1所述的信息处理装置，其中，所述特定对象的形状是气球形状。
11. 一种信息处理装置的控制方法，所述控制方法包括以下步骤将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；基于各对象的类型向各对象添加元数据；以及确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中不同于所述第一区域的第二区域相关联的特定对象，其中，在所述确定步骤已经确定存在所述特定对象的情况下，所述添加步骤还向所述多个区域中的所述第一区域中存在的第一对象，添加用于将所述多个区域中的所述第二区域与所述多个区域中的所述第一区域相关联的元数据。
12. 根据权利要求11所述的控制方法，所述控制方法还包括以下步骤确定所述特定对象是否指示至少一个对象，并且其中，在所述特定对象指示所述至少一个对象的情况下，所述添加步骤还向由所述特定对象指示的对象添加表示对象的重要度的元数据。
全文摘要
本发明涉及一种信息处理装置及其控制方法。该信息处理装置包括关联单元，其被构造为将输入图像数据划分成多个区域并且将各区域与一种或更多种类型的对象相关联；添加单元，其被构造为基于各对象的类型向各对象添加元数据；以及确定单元，其被构造为确定在所述对象中是否存在将所述多个区域中的第一区域与所述多个区域中不同于所述第一区域的第二区域相关联的特定对象。在所述确定单元已经确定存在所述特定对象的情况下，所述添加单元还向所述多个区域中的所述第一区域中存在的第一对象，添加用于将所述多个区域中的所述第二区域与所述多个区域中的所述第一区域相关联的元数据。
文档编号H04N1/00GK101685469SQ20091017830
公开日2010年3月31日 申请日期2009年9月22日 优先权日2008年9月22日
发明者伊藤直树 申请人:佳能株式会社