图像处理装置、图像显示系统以及图像处理方法

专利名称：图像处理装置、图像显示系统以及图像处理方法
技术领域：
本发明涉及图像处理装置和方法、以及图像显示系统。
背景技术：
本发明提供图像处理装置和方法、以及图像处理系统，与其中不包 括周边部分图像地产生输出图像的图像数据的情况相比，所述图像处理 装置和方法、以及图像处理系统能够使得更容易把握组成原始图像的主 要部分图像的位置。
日本特开(JP-A) 1999-86014号公报公开了一种对应于诸如图例、 表格、标题、文本等类别而将文档图像分割成多个区域(部分图像)并 且将其显示的技术。在这种技术中，将部分图像作为独立文件存储，且 按用户观看部分图像的顺序向部分图像施加优先级。具有高优先级的部 分图像较快地显示或较大地显示。在该技术中，当在显示器单独地显示 部分图像或者显示多个部分图像时，如果在一屏中不能容纳要显示的多 个部分图像，则在改变这些部分图像的布置和相对尺寸等的情况下显示 这些部分图像。

发明内容
根据本发明的第一方面， 一种图像处理装置包括主要部分图像选 择器，其从组成原始图像的多个部分图像中选择主要图像以用作主要部 分图像；周边部分图像选择器，其选择在所述原始图像中布置在所述主 要部分图像周边并且满足预定条件的部分图像以用作周边部分图像；以 及产生如下的输出图像数据的产生器，在所述输出图像数据中，所述主 要部分图像和所述周边部分图像被布置为保留它们在所述原始图像中的 位置关系，并且所述主要部分图像和所述周边部分图像按照縮放倍率
5(scaling factor)而縮小以容纳在输出尺寸(dimension)中，各个縮放倍 率之间的差在预定范围内。
根据该配置，与其中不包括周边部分图像地产生输出图像的图像数 据的情况相比，可以更容易地确定组成原始图像的主要部分图像的位置。
在根据本发明的这一方面的图像处理装置中，所述产生器产生如下 的输出图像数据，在所述输出图像数据中，从所述主要部分图像提取的 一部分和所述主要部分图像的全部中的一个布置在所述输出尺寸中，并 且，包括至少一个周边部分图像的提取部分在内的一个或更多个周边部 分图像布置在布置了所述主要部分图像的所述一部分或全部之后剩下的 剩余区域中。
根据该配置，可以将縮小主要部分图像和周边部分图像时的缩放倍 率保持在能够分辨输出图像的内容的级别。
在根据本发明的这一方面的图像处理装置中，如果提取其一部分的 周边部分图像是分类为文本的部分图像，则所述产生器产生如下的输出 图像数据，在所述输出图像数据中，布置有所述一部分，并且所述一部
分按照满足以下两个条件中的至少一个的縮放倍率进行了縮小第一条 件所述一部分中包括的文本的尺寸至少是预定尺寸，以及第二条件 所述一部分中包括的文本的每行或每列的字符数至少是预定数量。
根据该配置，可以避免在縮小之后文本太小和不可辨别、或者字符 数量太少且不能充分分辨内容。
在根据本发明的这一方面的图像处理装置中，当所述产生器产生其 中布置有所述主要部分图像的提取部分的输出图像数据时，所述产生器 基于所述提取部分中包括的信息量来确定所述提取部分的位置。
根据该配置，与没有提供该结构的情况相比，可以更容易地分辨主 要部分图像的内容。
在根据本发明的这一方面的图像处理装置中，所述产生器产生其中 所述主要部分图像和所述周边部分图像按照可见范围内的縮放倍率进行 縮小的输出图像数据，在所述可见范围内的縮小是按照基于縮小之后的 所述主要部分图像和/或所述周边部分图像的所述提取部分中包括的信息量而确定的縮放倍率的縮小。
根据该配置，与没有提供该结构的情况相比，可以更容易地分辨主 要部分图像的内容。
在根据本发明的这一方面的图像处理装置中，如果所述周边部分图 像是分类为文本的部分图像，则所述产生器产生如下的输出图像数据， 在所述输出图像数据中，布置有所述周边部分图像，所述周边部分图像 按照使得该周边部分图像中包括的文本的尺寸至少是预定尺寸的缩放倍 率进行了减小。
根据该配置，可以避免在縮小之后文本太小和不可辨别。
在根据本发明的这一方面的图像处理装置中，所述主要部分图像选 择器选择由用户指定的部分图像和满足对在组成所述原始图像的页中的 布置位置、在整个原始图像中的位置、大小、像素特征和类别中的至少 一个进行指定的条件的部分图像中的一个，作为所述主要部分图像。
根据该配置，与没有提供该结构的情况相比，可以更加根据用户的 需求来选择主要部分图像。
在根据本发明的这一方面的图像处理装置中，所述周边部分图像选 择器选择满足对在组成所述原始图像的页中的布置位置、在整个原始图 像中的位置、大小、像素特征和类别中的至少一个进行指定的条件的部 分图像，作为所述周边部分图像。
根据该配置，与没有提供该结构的情况相比，可以选择更适合作为 要包括在输出图像中的图像的周边部分图像。
在根据本发明的这一方面的图像处理装置中，所述周边部分图像选 择器选择满足对以下多项中的至少一项进行指定的条件的部分图像作为 所述周边部分图像在组成所述原始图像的页中的布置位置；在整个原 始图像中的位置；大小；像素特征；类别；以及在所述产生器产生其中 布置有所述周边部分图像的提取部分的输出图像数据的情况下，所述提 取部分中包括的信息量。
根据该配置，与没有提供该结构的情况相比，可以选择更适合作为 要包括在输出图像中的图像的周边部分图像。在根据本发明的这一方面的图像处理装置中，所述周边部分图像选 择器选择与所述主要部分图像一起包括在所述原始图像中的内容在可见 范围内縮小的由输出尺寸限定的区域内的部分图像作为所述周边部分图 像，在所述可见范围内的縮小是按照基于縮小之后的所述输出尺寸限定 的区域中包括的信息量而确定的縮放倍率的縮小。
根据该配置，与没有提供该结构的情况相比，可以选择更适合作为 要包括在输出图像中的图像的周边部分图像。
根据本发明的这一方面的图像处理装置还可以包括显示部，所述显 示部基于由所述产生器产生的输出图像数据而显示输出图像。
根据该配置，与其中不包括周边部分图像地产生输出图像的图像数 据的情况相比，可以更容易地确定组成原始图像的主要部分图像的位置。
根据木发明的第二方面， 一种图像显示系统包括图像发送装置， 该图像发送装置包括根据第一方面所述的图像处理装置、和发送由所述 图像处理装置产生的输出图像数据的发送器；以及显示装置，该显示装 置包括接收从所述图像发送装置发送的输出图像数据的接收器、和基于 所述接收器接收的输出图像数据来显示输出图像的显示部。
根据该配置，与其中不包括周边部分图像地产生输出图像的图像数 据的情况相比，可以更容易地确定组成原始图像的主要部分图像的位置。
根据本发明的第三方面， 一种图像处理方法包括以下步骤从组成 原始图像的多个部分图像中选择主要部分图像；选择在所述原始图像中 布置在所述主要部分图像周边并且满足预定条件的周边部分图像；以及
产生如下的输出图像数据，在所述输出图像数据中，所述主要部分图像 和所述周边部分图像被布置为保留它们在所述原始图像中的位置关系， 并且所述主要部分图像和所述周边部分图像按照縮放倍率而縮小以容纳 在输出尺寸中，各个縮放倍率之间的差在预定范围内。
根据该配置，与其中不包括周边部分图像地产生输出图像的图像数 据的情况相比，可以更容易地确定组成原始图像的主要部分图像的位置。


8将基于下面的附图详细地说明本发明的示例性实施方式，在附图中: 图1是示出根据本发明示例性实施方式的图像处理装置的示意性结 构的框图2是概要地说明根据示例性实施方式的图像处理装置执行的处理 的说明图3是示出输出图像数据产生的主例程的流程的示例的流程图； 图4是示出主要部分图像选择的示例的流程图5是示出在自动选择并指定主要部分图像的情况下主要部分图像 选择的示例的流程图6是示出周边部分图像选择的示例的流程图7是示出输出图像数据产生的示例的流程图8是示出在通过提取并使用周边部分图像的一部分或者主要部分 图像和周边部分图像的一部分而产生输出图像数据的情况下、图7的步 骤196中执行的处理的细节的流程图9是说明原始图像的具体示例和图像分割处理的说明图10是示意性地示出图9中所示的原始图像的上半区域中存在的部 分图像的布置状态的图11是示出主要部分图像和周边部分图像的布置的示例的图，以及 示出当提取分类为文本的周边部分图像的一部分时所提取部分的示例的 图12是说明示例性实施方式的第四变型例的输出图像数据产生处理 的说明图13是说明求出文本大小的方法的说明图14A是示出图像处理装置和显示装置连接到通信网络的状态的 图；以及
图14B是示出显示装置的总体结构的图。
具体实施例方式
此后，将参照附图详细地说明本发明的示例性实施方式。图1是示出根据示例性实施方式的图像处理装置10的示意性结构的
框图。图像处理装置IO包括CPU 12、 RAM 14、 ROM 16、 I/O (输入/ 输出)接口 18以及通信接口20。它们通过总线22彼此连接。
CD-ROM驱动器24、 FD (软盘)驱动器28以及HDD (硬盘驱动 器)32连接到I/0接口 18。 CD-ROM驱动器24从作为便携式记录介质 的CD-ROM 26读取数据。FD驱动器28在作为便携式记录介质的FD 30 读取并写入数据。HDD 322在内置硬盘读取并写入数据。
键盘34和定点装置36也连接到I/O接口 18。键盘34用于根据用户 的操作输入各种信息。定点装置36通过用户用其在显示器38显示的画 面上指示任意位置来输入指令。显示器38根据来自CPU 12的指令而显 示诸如图像等的信息。这里，给出了设置键盘34和定点装置36作为输 入装置设置的构造。如果显示器38是触摸板显示器，则显示器38也可 以用作输入装置。即，输入装置并不特别限于键盘34和定点装置36。
从原稿读取图像的扫描仪40连接到I/O接口 18。 CPU 12指示扫描 仪40进行读取原稿的图像的操作，获取扫描仪40读取的图像数据，且 在RAM 14中存储数据。
通信接口 20连接到诸如电信线路、LAN等的网络。经由通信接口 20，图像处理装置10与连接到网络的其他终端(例如，显示装置60)交 换信息(参见图14A)。
CPU 12执行存储在ROM 16和HDD 32等中的指令。采用RAM 14 作为帧存储器，用于临时存储各种图像数据，诸如经由通信接口20从其 他终端输入的图像数据、从扫描仪40等输入的图像数据、新产生的图像 数据等等。RAM14还在指令执行过程中用作工作存储器。
存储由CPU 12执行的指令的记录介质并不限于上述ROM 16、 HDD 32等。该记录介质可以是CD-ROM驱动器24、 FD驱动器28等。例如， 尽管没有示出，但是记录介质可以是诸如DVD盘、磁光盘、IC卡等的 便携式记录介质、设置在图像处理装置10外部的诸如HDD等的存储介 质等等。此外，记录介质可以是通过网络连接的数据库、另一计算机系 统及其数据库、或者诸如电气通信电路中的载波的传播介质。本示例性实施方式的图像处理装置IO的特征在于以下功能产生用
于在分辨率低于原始图像的显示装置60 (例如，计算机、PDA (便携式
信息终端)、便携式电话等)的小显示屏幕上显示通过扫描、传真接收等
输入的图像(参见图2 (l))的一部分的图像数据。此处的图像数据不限 于显示目的，也可以是为打印目的而产生的。
图2 (2)示出了在小显示屏幕上显示从原始图像(与原始图像具有 相同的显示倍率的图像)提取的一部分的图像的情况下的显示示例。相 反，在本示例性实施方式的图像处理装置10中，通过此后说明的处理， 如图2 (3)所示，在基本维持原始图像的布局的状态下，产生包括被选 择为主要图像的部分图像(主要部分图像)及其周围的部分图像(周边 部分图像)的输出图像的图像数据(此后，称为输出图像数据)。例如， 当要分辨诸如图例、表格、照片等的部分图像的内容时，通过单独观看 该图像可能不能充分地分辨内容。然而，在本示例性实施方式中，按照 将该图像周围的图像(例如，诸如标题等的文本图像等)包括在显示中 的方式来产生输出图像数据。
图14B示出了显示装置60的总体结构。显示装置60包括CPU62、 RAM 64、 ROM 66， I/O (输入/输出)接口68和通信接口70。它们通过 总线76彼此相连接。
操作键74和显示器72连接到I/O接口 68。操作键74用于根据用户 的操作输入各种信息。显示器72根据来自CPU 62的指令而显示诸如图 像等的信息。
通信接口 70连接到诸如电信线路、LAN等的网络。经由通信接口 70，图像处理装置60与连接到网络的其他终端(例如，图像处理装置IO) 交换信息。
CPU 62执行存储在RAM 64中的指令。采用RAM 64作为帧存储器， 用于临时存储经由通信接口 70从其他终端输入的图像数据。RAM 64还 在指令执行过程中用作工作存储器。
下面，将说明根据本示例性实施方式的图像处理装置10的CPU 12
执行的产生输出图像数据的操作。图3是示出CPU 12执行的输出图像数据产生的主例程的流程示例的
流程图。
在步骤100， CPU 12获取作为要对其产生输出图像数据的原稿的图 像的图像数据。原始图像的该图像数据可以是通过使用扫描仪40等读取 原稿而获得的图像数据，可以是通过图像创建软件产生的图像数据，可 以是经由通信接口 20从外部终端输入的图像数据，并且可以是存储在诸 如CD-ROM 26、 FD 30等的记录介质中的图像数据。CPU 12在RAM 14、 HDD32等中存储获取的图像数据。此后，将获取的原始图像的图像数据 称为原始图像数据。原始图像可以是对应于单页输出纸张的仅仅一页图 像，或者可以由多页图像组成。
在步骤102， CPU 12基于原始图像数据在显示器38显示原始图像， 并且提示用户指定输出尺寸。此处要指定的输出尺寸是输出图像的尺寸。 例如，在便携式电话等的显示器上显示图像的情况下，指定该显示器可 以显示的图像大小，作为输出尺寸。用户在观看显示器38上显示的图像 的同时使用定点装置36指示区域且指定输出尺寸，或者通过直接输入水 平方向和垂直方向的像素数量而指定输出尺寸。
这里，说明用户指定输出尺寸的情况的示例。然而，如果将执行显 示的终端的屏幕大小是预先知道的，则CPU 12可以自动指定该屏幕大小 作为输出尺寸。而且，CPU12可以用作经由网络自动获取输出尺寸的系 统。当在步骤102中指定了输出尺寸时，CPU12前进到步骤104。
在步骤104， CPU 12基于原始图像数据执行原始图像的图像分割， 并且准备图像列表。
术语"图像分割"的意义包括将图像分割成对应于预定类别的多个部 分图像。根据诸如文本、CG图例、表格、照片等的预先指定的类别(对 象类)执行分割。这里，CG图例表示在图形软件等中准备的计算机图形 图像，诸如具有简单颜色的线图像等。表格意味着在电子数据表等中准 备的具有直线包围的矩阵元素的文本的集合。
可以进一步划分CG图例，在曲线和除了曲线之外的图片图例之间 进行区分。另选的是，可以将CG图例、照片等指定到图片的总类别。此外，可以划分具有文本类别的部分图像，在诸如标题(布置在原始图 像最上方并且由大文本大小的单行字符组成的文本区域)、题目(由文本 大小小于标题的单行字母组成的文本区域)、正文(由超过一行的多行文 本形成的文本区域)等的更详细类别之间进行区分。
使用广泛知晓的算法执行图像分割。例如，通过识别输入图像中的 字符的字符识别软件的布局识别处理，将输入的原始图像分割成正文部 分图像、表格部分图像、图例部分图像等。在分割的部分图像具有正文 的外部特征的情况下，根据行来执行字符识别处理。在存在表格部分图
像的情况下，分析其结构，从直线(ruledline)中拣出字符，然后应用字 符识别处理。该布局识别处理的算法也可以用于图像分割。
可以基于图像数据中的变化情况执行图像分离。例如，其中图像数 据在白色和黑色位置具有峰值并且浓度突变的区域是文本部分图像，而 其中图像数据的浓度变化相对缓和的区域是照片部分图像。
此外，要进行识别的字符可能具有由线条部分的集合构成的外观。 因此，可以使用一种技术，其中，通过从原始图像提取文本、直线等的 任意宽度的线条部分来识别文本区域，并将其他区域识别为图片区域(例 如，参见日本特开2001-060247号公报)。
将如上所述的通过图像分割获得的部分图像的图像数据存储在 RAM 14的相应预定区域。
CPU 12在图像列表中记录通过图像分割获得的各个部分图像。该图 像列表相关联地登记关于部分图像的位置、范围和类别的信息。具有相 同类别但不同位置的部分图像在图像列表中登记为不同的部分图像。此 处提到的位置信息包括关于该部分图像在整个原始图像内的位置、以及 该部分图像在组成原始图像的单页内的放置位置二者的信息。记录顺序 并没有特别限制。例如，原始图像的左上角可以是原点(如果原始图像 由多页组成，则第一页上的图像的左上角可以是原点)，可以按与原点的 接近度的顺序来登记部分图像。
例如，如果原始图像是图9中示出的图像，则在图像列表中登记十 个部分图像图例部分图像A1、文本部分图像A2、照片部分图像A3、文本部分图像A4、文本部分图像A5、文本部分图像A6、表格部分图像 A7、文本部分图像A8、图例部分图像A9以及图例部分图像AIO。
这里，说明了原始图像的图像分割的示例。然而，如果在步骤100 获得己经经过了图像分割的图像数据，则不必进行该图像分割处理。
在步骤106， CPU 12执行选择主要部分图像的主要部分图像选择。 术语"主要部分图像"的意义包括作为组成输出图像的多个部分图像中的 主要部分(例如，用户应检查的部分或应观察的部分)的部分图像。 图4是示出CPU 12执行的主要部分图像选择的示例的流程图。 在步骤120， CPU 122初始化主要部分图像的指定。 在步骤122， CPU122显示图像列表的内容。例如，可以按登记顺序 来显示登记在图像列表中的部分图像的相应位置、范围和类别的信息， 或者可以个别地显示部分图像本身。另选的是，可以显示整个原始图像， 并且限走部分图像的线条图像叠加在显示的原始图像上。用户在观看在 显示器38等显示的图像的同时，通过使用定点装置36或键盘34选择任
一部分图像来指定主要部分图像。
在步骤124， CPU 12确定用户是否已选择部分图像。当确定了已经 选择部分图像时，在步骤126， CPU 12将选择的部分图像指定为主要部 分图像。
另一方面，如果CPU 12在步骤128确定了已经输入结束指令而没有 在步骤124选择部分图像，则主要部分图像选择结束，而不指定主要部 分图像。
这里，说明了通过用户来选择主要部分图像的示例。然而，通过图 像处理装置10自动地选择并指定主要部分图像的结构也是可以的。图5 示出了在自动选择并指定主要部分图像的情况下主要部分图像选择的流 程图的示例。
在步骤140， CPU 12初始化主要部分图像的指定。 在步骤142， CPU 12设置变量"k"为1。
在步骤144， CPU 12确定在图像列表中的位置"k"登记的部分图像是 否满足预定条件。例如，如果预定条件是类别为"表格"的条件，则CPU 12
14确定位置"k"的部分图像的类别是否是"表格"。如果CPU 12确定位置"k"的部分图像满足预定条件，则在步骤146，将位置"k"的部分图像指定为主要部分图像。
另一方面，如果CPU 12在步骤144确定了图像列表中的位置"k"的部分图像不满足预定条件，则在步骤148，将"k"递增l。
在步骤150， CPU 12确定"k"是否超过图像列表中登记的部分图像的数量。如果CPU 12在步骤150确定"k"没有超过图像列表中登记的部分图像的数量，则CPU 12返回步骤144并且重复如上所述的相同处理。
另一方面，如果CPU 12在步骤150确定"k"超过了图像列表中登记的部分图像的数量，则在步骤152， CPU 12给出不存在对应图像的通知(例如，在显示器38等显示消息等等)，结束主要部分图像选择。
这里，从登记在图像列表中的多个部分图像中选择主要部分图像的条件不限于上面示例的条件。条件可以指定在组成原始文档的页中的放置位置、在整个原始文件中的位置、大小、像素特征以及类别中的一个或更多个。术语"像素特征"的意义包括从部分图像中包括的像素值中求出并且限定外观、内容等的图像特征。例如，像素特征可以是颜色组成中包括的主颜色成分、边缘成分的数量、亮度，并且，如果类别是文本，则像素特征可以是字符的间距、行数等。
例如，所述条件可以如下部分图像属于类别"照片"且布置在最接近原始图像的第一页的图像的左上角的位置。另选的是，所述条件可以如下部分图像属于类别"照片"，属于大小小于100x100像素的部分图
像，被布置在整个原始图像中的最前面。另选的是，所述条件可以如下
部分图像是布置在整个原始图像中包括的"题目"图像中的第二个的"题目"图像，或者部分图像是布置在整个原始图像中包括的"表格"图像中的最前面的"表格"图像。
其他条件例如可以如下部分图像中的边缘区域的数量很大，部分
图像是微红的(即，RGB空间的预定范围中的像素超出指定比例)，图像
是黑白的(即，没有彩色成分)，或者图像是公章(圆中包含文本区域，单一颜色)。当步骤106的主要部分图像选择结束时，在步骤108， CPU 12确定是否未指定主要部分图像。例如，如果在图4所示的主要部分图像选择中步骤124的确定结果为否并且步骤128的确定结果为是，则未指定主要部分图像。另选的是，如果在图5中示出的主要部分图像指定处理中步骤144的确定结果为否并且步骤150的确定结果为是，则未指定主要部分图像。
如果在步骤108确定了未指定主要部分图像，则输出图像数据产生处理结束。另选的是，如果在步骤108确定了己经指定主要部分图像，即，己经指定了部分图像之一作为主要部分图像，则CPU12前进到步骤110。
在步骤IIO，执行选择周边部分图像的周边部分图像选择处理。周边
部分图像是在原始图像中布置在主要部分图像周边的部分图像，并且是要与主要部分图像一起包括在输出图像中的部分图像。
图6是CPU 12执行的周边部分图像选择处理的示例的流程图。在步骤160， CPU12初始化周边部分图像列表。在步骤162， CPU 12设置变量"m"为1。
在步骤164，CPU12确定在图像列表中的位置"m"登记的部分图像是否是主要部分图像。如果CPU 12确定在图像列表中的位置"m"登记的部分图像不是主要部分图像，则CPU 12进行到步骤166。
在步骤166， CPU 12确定在图像列表中的位置"m"登记的部分图像是否满足预定条件。用户可以提前指定该条件的结构是可以的。如果CPU12确定了图像列表的位置"m"的部分图像满足预定条件，则在步骤168，将位置"m"的部分图像登记为周边部分图像。
这里，说明如下情况的示例其中，按照"是完全包含在由主要部分图像的左上原点和输出尺寸限定的区域中的图像"的条件来选择周边部分图像。
图10是示意性地示出图9所示的原始图像的上半区域中存在的部分图像的布置状态的图。
在主要部分图像是图例部分图像Al并且输出尺寸是MxN个像素的情况下，从主要部分图像的左上原点P开始由输出尺寸限定的区域是图
10中的虚线示出的区域A0。因此，在这种情况下，完全包含在由主要部分图像Al的左上原点P和输出尺寸限定的区域A0中的图像仅是文本部分图像A5。因此，将文本部分区域A5登记在周边部分图像列表中。
在上面示例的条件的情况下，如果输出尺寸小，则可能不存在完全包含在区域AO中的部分图像。因此，可以将条件指定为"是当整个原始图像在可见范围内縮小时完全包含在由主要部分图像的左上原点和输出尺寸限定的区域中的图像，，(例如，以主要部分图像的左上原点作为图像縮小的中心基准点进行縮小)。
这里，可见范围意味着这样的范围其中，当縮小整个图像时，颜色数量、空间频率、边缘数量以及线条部分数量中的一个或更多个在缩小之后的縮小值至少是预定阈值。 ，
如果图像过度縮小，则颜色数量、空间频率、边缘数量以及线条部分数量减小，并且图像可能处于用肉眼不能分辨或难以分辨原始图像的
内容的状态。因此，可以将上述阈值设置为如下即使图像縮小，在稍
后说明的输出图像数据产生处理中，主要部分图像和周边部分图像也不会处于不能分辨内容的状态或难以分辨内容的状态。例如，使用逐步增加的缩小倍率来縮小各种类型的测试图像，同时检査是否能分辨其内容。然后，求出当使用在肉眼可以分辨原始图像的内容的范围内的最大縮小倍率来缩小测试图像时的颜色数量、空间频率、边缘数量以及线条部分数量。将这些值和原始值之间的差异设置为阈值。可以将阈值设置为对于主要部分图像和周边部分图像的所有类别均相同，或者可以将阈值设置为根据主要部分图像和周边部分图像的类别而变化。
另一方面，如果在步骤164的确定结果为是(位置"m"的部分图像是主要部分图像)或者在步骤166的确定结果为否(位置"m"的部分图像不满足预定条件)，或者当步骤168的处理结束时，则在步骤170， CPU 12将"m"递增1。
在步骤172， CPU 12确定"m"是否超过在部分图像列表中登记的部分图像的数量。如果CPU 12在步骤172确定了"m"没有超过部分图像列表
17说明书第14/22页
中登记的部分图像的数量，则CPU12返回步骤164，重复与上述相同的处理。
另一方面，如果CPU 12在步骤172确定"m"超过了部分图像列表中登记的部分图像的数量，则CPU 12结束周边部分图像选择处理。
通过上述处理，从部分图像列表中登记的部分图像中选择满足用于选择周边部分图像的预定条件的所有部分图像，并且将其登记在周边部分图像列表中。
在周边部分图像选择处理之后，在步骤112，执行输出图像数据产生处理。图7是示出CPU 12执行的输出图像数据产生处理的示例的流程图。
在步骤180， CPU 12初始化为存储输出图像数据而保留的RAM的区域(此后称为输出图像区域)。
在步骤182， CPU 12从RAM 14的已经存储了主要部分图像数据的
存储区域中读取所存储的主要部分图像的图像数据。
在步骤184， CPU 12将主要部分图像的图像数据传送到输出图像区
域，使得主要部分图像布置在输出图像的左上角与主要部分图像的左上角重合的位置。
在步骤186， CPU 12设置变量"n"为1。
在步骤188， CPU 12从RAM 14的己经存储了登记在周边部分图像列表中的位置"n"的周边部分图像的图像数据的存储区域中，读取位置"n"的周边部分图像的图像数据。
在步骤190， CPU12将读出的"n"位置的周边部分图像的图像数据传送到输出图像区域，使得在输出图像中"n"位置的周边部分图像相对于主要部分图像的位置是与在原始图像中"n"位置的周边部分图像相对于主要部分图像的位置相同的位置。
这里，说明了传送图像数据以使得主要部分图像和周边部分图像之间的位置关系在输出图像中和在原始图像中相同的示例。然而，周边部分图像相对于主要部分图像的位置关系可以稍微改变，只要这种改变是容纳在使得位置关系对于观察的眼睛而言没有很大变化(即，保持位置关系)的预定范围内的小位置移动即可。在步骤192， CPU 12将"n"递增1 。
在步骤194， CPU 12确定"n"是否超过在周边部分图像列表中登记的 部分图像的数量。如果CPU 12在步骤194确定"n"没有超过周边部分图 像列表中登记的周边部分图像的数量，则CPU 12返回步骤188且重复如 上所述的相同处理。由此，传送登记在周边部分图像列表中的周边部分 图像的图像数据。
另一方面，如果CPU 12在步骤194确定"n"超过了周边部分图像列 表中登记的周边部分图像的数量，则主要部分图像和所有周边部分图像 的合成结束。因此，在步骤196， CPU 12縮小已经传送到输出图像区域 的整个合成图像数据，使得输出图像将容纳在输出尺寸中。此縮小的图 像数据用作输出图像数据。如果输出图像无需縮小就容纳在输出尺寸中， 则不进行縮小地产生输出图像数据(即，如果縮小倍率处于0到1的范 围内，则将縮小倍率处理为l)。
在縮小倍率处于可见范围内并且周边部分图像是文本部分图像的情 况下，可以按縮小倍率进行縮小以使得字符的尺寸至少是预定尺寸。
这里，说明了在将主要部分图像的图像数据和周边部分图像的图像 数据合成之后进行縮小的情况的示例。然而，也可以在单独地分别縮小 主要部分图像的图像数据和周边部分图像的图像数据之后，对它们进行 合成。在这种情况下，各个縮小倍率可以相同。不过，只要缩放倍率的 差处于使得在原始图像和输出图像之间布局没有很大变化的预定范围 内，就可以按不同缩小倍率进行縮小。
在步骤112的输出图像数据产生处理结束之后，在步骤114， CPU 12 经由通信接口20将产生的输出图像数据输出(发送)到显示装置60。当 显示装置60经由通信接口 70接收了输出图像数据时，CPU62基于接收 的输出图像数据执行控制，从而在显示器72显示输出图像。由此，在显 示装置60的显示器72显示输出图像。如果不需要立刻显示输出图像等 等，图像处理装置10可以将输出图像输出并保存在诸如HDD 32等的记 录介质。此外，可以基于产生的输出图像数据将输出图像显示在图像处 理装置10的显示器38。
19本发明不限于上述示例性实施方式。可以在所附权利要求中说明的 本发明的范围内实施设计中的很多变型。下面，将说明很多变型例。 第一变型例
对于上述示例性实施方式的周边部分图像选择处理，说明了在诸如 "是完全包含在由主要部分图像的左上原点和输出尺寸限定的区域中的 图像"、"是当整个原始图像在可见范围内縮小时完全包含在由主要部分 图像的左上原点和输出尺寸限定的区域中的图像"等的条件下选择周边 部分图像的示例。然而，将布置在主要部分图像的周边并且满足下面限 定的条件中的一个或更多个的部分图像选择为周边部分图像的指定也是 可以的其在组成原始图像的页内的布置位置、在整个原始图像内的位 置、像素特征和类别。因此，条件并不限于上述具体示例。
例如，可以按照如下条件来选择周边部分图像部分图像与主要部 分图像的距离在预定范围内且类别是"文本"。
上述选择条件可以根据以下信息中的一个或更多个来确定在主要 部分图像在组成原始图像的页内的布置位置、主要部分图像在整个原始 图像内的位置、其大小、主要部分图像的像素特征、以及主要部分图像 的类别。
例如，如果主要部分图像的类别是"表格"，则可以按照如下条件来 选择周边部分图像其为文本部分图像，是布置在主要部分图像正上方 或正下方的具有少数几行的独立部分。这是因为布置在表格上方或下方 的具有少数几行的文本通常是指示表格主题的文本。
此外，如果主要部分图像的类别是"曲线"，则可以选择与主要部分 图像的距离在预定范围内并且颜色组成与主要部分图像相同(或基本相 同)的部分图像。这是因为具有与曲线相同的颜色组成的部分图像通常 表示与该曲线相关联的具体示例。
可以将条件确定如下如果主要部分图像布置在组成原始图像的页 的左上角，则选择位于主要部分图像正下方的部分图像，但是如果主要 部分图像布置在组成原始图像的页的左下角，则选择位于主要部分图像 正上方的部分图像，等等。可以按诸如下->右->上_>左等的预定顺序搜索主要部分图像的周边， 并且将第一个发现的部分图像选择为周边部分图像。在这种情况下，仅 选择一个部分图像作为周边部分图像。即，对布置在主要部分图像的正 上方、正下方、正左方和正右方中的每一个的部分图像，预先确定根据 放置位置的优先级。因此，将布置在具有最高优先级的位置的部分图像 选择为周边部分图像。
例如，按下->右->上->左的顺序搜索主要部分图像的周边。在图11 (1)中，在主要部分图像的上方、下方、左方和右方的所有位置都布置
了部分图像。因此，选择布置在主要部分图像正下方的部分图像"a"。 第二变型例
在上述输出图像数据产生处理中，根据周边部分图像选择条件，如 果縮小图像数据以使得主要部分图像和周边部分图像的全体都容纳在输 出尺寸中，则可能存在内容被縮得太小而不能用肉眼分辨的情况。
因此，并不合成周边部分图像的所有的图像数据，可以提取其一部 分并且与主要部分图像的图像数据进行合成，并且用使得主要部分图像 以及周边部分图像的一部分在可见范围内容纳在输出尺寸中的縮小倍率 来产生输出图像数据。另选的是，可以在合成之前分别将它们縮小，然 后进行合成。
如果存在多个周边部分图像，则可以从各组周边部分图像的图像数 据中提取一部分并且与主要部分图像的图像数据进行合成，将合成的图 像数据縮小以产生输出图数据。也可以从多个周边部分图像中的一个或 更多个周边部分图像的图像数据中提取一部分并使用，使用其他周边部 分图像的全部图像数据，将它们与主要部分图像的图像数据进行合成， 并缩小合成的图像数据以产生输出图像数据。另选的是，可以在合成之 前分别将它们縮小，然后进行合成。
第三变型例
如果如第二变型例所述地从周边部分图像的图像数据中提取一部分 并且使用，那么，在步骤110的周边部分图像选择处理中，可以将所述 条件指定为选择所包括的信息量(此后称为所提取信息量)最大的部分或者所包括的信息量等于或大于预定量的部分。根据颜色数量、空间频 率、边缘数量、线条部分数量等来确定所提取信息量。
现在，将具体说明其中按照条件"类别为图片的部分图像"来选择主 要部分图像、并且按照条件"与主要部分图像的距离在预定范围内的类别 为文本的部分图像，如果该范围内存在多个文本部分图像，则是这些部 分图像中具有最大所提取信息量的部分图像"来选择周边部分图像的情 况的示例。
在图11 (1)所示的示例中，在主要部分图像的上方、下方、左方和
右方都布置有文本的部分图像。因此，CPU12对文本部分图像"a"、 "b"、 "c"和"d"的全部求出表示提取信息量的值(例如，颜色数量、空间频率、 边缘数量、线条部分数据和字符数量中的一个或更多个)，选择具有最大 值的部分图像为周边部分图像。
在图11 (2)中，针对部分图像"a"、 "b"、 "c"和"d"中的每一个示出
其一部分的提取图像的示例。虚线示出的区域是提取图像。这里，为了 简化图示，使用共同文本来例示部分图像'"a"、 "b"、 "c"和"d"的提取图像。 CPU 12首先求出表示未縮小状态下的各个提取信息量的值。
如果主要部分图像布置在输出图像的左上角与主要部分图像的左上 角重合的位置、并且部分图像"a"布置在主要部分图像的右方，则CPU 12 求出表示部分图像"a"的容纳在输出尺寸中的一部分(提取部分)的提取 信息量的值。
然后，如果主要部分图像布置在输出图像的左上角与主要部分图像 的左上角重合的位置、并且部分图像"b"布置在主要部分图像的下方，则 CPU 12求出表示部分图像"b"的容纳在输出尺寸中的一部分的提取信息
量的值。
然后，如果主要部分图像布置在输出图像的右下角与主要部分图像 的右下角重合的位置、并且部分图像"c"布置在主要部分图像的上方，则 CPU 12求出表示部分图像"c"的容纳在输出尺寸中的一部分的提取信息 量的值。
然后，如果主要部分图像布置在输出图像的右下角与主要部分图像的右下角重合的位置、并且部分图像"d"布置在主要部分图像的左方，则
CPU 12求出表示部分图像"d"的容纳在输出尺寸中的一部分的提取信息
量的值。
最后，CPU12对求出的各个值进行比较并且选择具有最大值的部分 图像。
在所有部分图像都在未縮小的输出尺寸之外的情况下，CPU 12按与 上面相同的方式、但是针对按预定的縮小倍率(例如，可见范围内的最 大縮小倍率)进行了縮小的状态，求出表示提取信息量的值。然后，CPU 12对求出的各个值进行比较并且选择具有最大值的部分图像。
第四变型例
在第二变型例中，说明了提取并使用周边部分图像的一部分来产生 输出图像数据的示例。在这种情况下，除了周边部分图像之外，也可以 提取并使用主要部分图像的一部分来产生输出图像数据。下面，参考图8 来说明以这种方式创建输出图像数据的情况的变型例。
图8是示出在通过提取并使用周边部分图像的一部分或者主要部分 图像和周边图像的一部分产生输出图像数据的情况下在图7的步骤196 中执行的处理的示例的细节的流程图。
这里，如图12 (1)所示，针对将图片部分图像选择为主要部分图像
并且将单个文本部分图像选择为周边部分图像的情况来说明输出图像数 据产生处理。这里，术语"图片部分图像"表示具有除了文本之外的类别 (例如表格、直线、框、印章、照片、CG图例等)的部分图像。产生输 出图像的图像数据时的主要部分图像和周边部分图像的相应的縮小倍率 是相同的。
在步骤200， CPU12按如下方式产生縮小的图像数据D1:使得在图 12 (2)所示的输出尺寸中，传送到输出图像区域的合成图像数据包含整 个图片部分图像并且包含文本部分图像的所提取部分中的各行的X个字 符。在本示例性实施方式中，乂个字符=5个字符。
在步骤202， CPU 12求出缩小之后的文本部分图像的字符大小，并 确定该字符大小是否至少为预定阈值Sth。对于字符大小，如图13的示例所示，针对文本部分图像的各行(水平文本的情况)或各列(垂直文 本的情况)来计算宽度(在这种情况下为像素单位)，并用平均值作为表 示字符大小的值。阈值Sth是表示可以分辨文本轮廓的最小大小的值。这 里，将阈值Sth设置为16个像素，但是本发明并不限于该值。
如果CPU 12在步骤202确定了縮小后的字符大小等于或大于阈值 Sth (在这种情况下为16个像素)，则在步骤204，将图像数据D1设置为 输出图像数据(见图12 (3))。
另选的是，如果CPU 12在步骤202确定了縮小后的字符大小小于阈 值Sth，则在步骤206， CPU 12产生图像数据D2。从图像数据D2中省 略了图片部分图像的一部分，使得传送到输出图像区域的整个合成图像 数据按使得文本部分图像的字符大小至少是Ypix的缩放倍率縮小，并且 文本部分图像的提取部分中的每一行的X个字符包含在输出尺寸中。
在步骤208, CPU 12确定图像数据D2表示的图像中的省略了上述 部分的图片部分图像的面积是否是整个图片部分图像面积的至少R^的 面积。这里，11%是50%，但是本发明并不限于该值。
如果CPU 12在步骤208确定省略了上述部分的图片部分图像的面积 等于或大于图片部分图像的全部面积的R^，则在步骤210，将图像数据 D2设置为输出图像数据(见图12 (4))。
另选的是，如果CPU 12在步骤208确定省略了上述部分的图片部分 图像的面积小于图片部分图像的全部面积的RX，则在步骤212， CPU确 定縮小倍率以使得图片部分图像的至少RX和文本部分图像的每行X个 字符包含在输出尺寸中，并且产生图像数据D3，其中传送到输出图像区 域的合成图像数据按所确定的縮小倍率縮小。
然后，在步骤214， CPU 12将图像数据D3设置为输出图像数据。 这里，包含在图像数据D3中的文本部分图像的字符大小可能小于能够分 辨文本轮廓的最小大小Sth。然而，这里将图像数据D3设置为输出图像 数据，因为即使字符大小小于Sth，也可以分辨部分图像的布置状态以及 部分图像的形状等。
注意，这里例示的字符最小大小(16个像素)、文本部分图像每行包
24括的字符数量(5个字符)以及图片的面积比例(50Q/O的各个值是示例； 其他值也是可以的。而且，如果不能满足全部条件则指定哪一个要求优
先(在上面的说明中，当产生最终的图像数据D3时，使得字符数量优先
于字符大小，等等)也是示例。相反，在创建输出图像数据时，可以使 字符大小优先于字符数量。而且，这些值和要求(下面统称为输出图像 数据产生条件)可以预先指定，并且可以在用于创建数据图像数据的处 理的执行过程中动态地指定。
而且，可以根据原稿(原始图像)的类型、主要部分图像的类型、
显示输出图像的显示器60的显示特性等而自动地具体指定输出图像数据
产生条件。
这里，原稿的类型意味着表示原稿的内容的类型，例如小册子、技 术文档、帐目记录等。原稿的类型也可以按照读取实际文本的容易程度、 针对文本布置的多样性是否需要进行逐字读取来进行分类。主要部分图 像的类型可以按照类别、颜色数量、空间频率、边缘数量、线条部分数 量、字符数量等进行分类。显示终端的显示特性例如意味着分辨率、再 现颜色数量的能力、图像处理处理器的能力等。
而且，可以为用户单独指定输出图像数据产生条件。可以由用户在 每次产生输出图像数据时指定文档的类型、主要部分图像的类型以及显 示终端显示特性，并且可以根据这些指定来设定输出图像数据产生条件。 此外，可以自动分析原稿的类型并且自动指定输出图像数据产生条件。
在第四变型例中，说明了在确定每行的字符数量的情况下产生输出 图像数据的示例。然而，可以在确定每一列的字符数量的情况下产生输 出图像数据。
一第五变型例一
在产生其中提取并布置主要部分图像的一部分的输出图像数据的情
况下，如第四变型例的数据图像D2或D3中那样，可以指定并从主要部 分图像中提取包括最大信息量(下面称为所提取信息量)的部分或者至 少预定信息量的部分。所提取信息量的容量是由颜色数量、空间频率、 边缘数量、线条部分的数量等确定的。在周边部分图像选择中，可以根据主要部分图像的提取位置来选择 周边部分图像。例如，在图ll (1)中示出的原始图像的情况下，如果从 主要部分图像提取一部分以产生输出图像数据，那么，如果从主要部分 图像提取的部分是右半区域，则选择与该右半区域相邻的文本部分图像
"a"。如果从主要部分图像提取的部分是下半区域，则选择与该下半区域 相邻的文本部分图像"b"，如果从主要部分图像提取的部分是上半区域，
则选择与该上半区域相邻的文本部分图像"c"，并且，如果从主要部分图
像提取的部分是左半区域，则选择与该左半区域相邻的文本部分图像
"d"。
在上述示例性实施方式中，说明了通过图像处理装置IO产生输出图 像数据的情况。然而，可以通过显示装置60产生并显示输出图像数据。
这里，上述示例性实施方式和变型例说明了图像处理装置的功能由 记录了软件的记录介质来实现的示例，但是图像处理装置的功能也可以 由硬件来实现。
对本发明示例性实施方式的前述描述是为了例示和描述的目的而提 供的。其并非旨在穷举或者将本发明限于所公开的确切形式。显然，许 多变型和修改对于本领域技术人员是显而易见的。选择并描述这些示例 性实施方式是为了最好地说明本发明的原理及其实际应用，从而使得本 领域其他技术人员能够理解本发明的适用于所构想特定用途的各种实施 方式和各种变型。旨在由所附权利要求书及其等同物来限定本发明的范 围。
2权利要求
1.一种图像处理装置，该图像处理装置包括主要部分图像选择器，其从组成原始图像的多个部分图像中选择主要部分图像；周边部分图像选择器，其选择在所述原始图像中布置在所述主要部分图像周边并且满足预定条件的周边部分图像；以及产生如下的输出图像数据的产生器，在所述输出图像数据中，所述主要部分图像和所述周边部分图像被布置为保留它们在所述原始图像中的位置关系，并且所述主要部分图像和所述周边部分图像按照缩放倍率而缩小以容纳在输出尺寸中，各个缩放倍率之间的差在预定范围内。
2. 根据权利要求l所述的图像处理装置，其中，所述产生器产生如 下的输出图像数据，在所述输出图像数据中，从所述主要部分图像提取的一部分或者所述主要部分图像的全部中 的一个布置在所述输出尺寸中，并且包括至少一个周边部分图像的提取部分在内的一个或更多个周边部 分图像布置在布置了所述主要部分图像的所述一部分或全部之后剩下的 剩余区域中。
3. 根据权利要求2所述的图像处理装置，其中，如果提取其一部分 的周边部分图像是分类为文本的部分图像，则所述产生器产生如下的输 出图像数据，在所述输出图像数据中，布置有所述一部分，并且所述一 部分按照满足以下两个条件中的至少一个的縮放倍率进行了縮小第一条件所述一部分中包括的文本的尺寸至少是预定尺寸，以及 第二条件所述一部分中包括的文本的每行或每列的字符数至少是 预定数量。
4. 根据权利要求2所述的图像处理装置，其中，当所述产生器产生其中布置有所述主要部分图像的提取部分的输出图像数据时，所述产生 器基于所述提取部分中包括的信息量来确定所述提取部分的位置。
5. 根据权利要求2所述的图像处理装置，其中，所述产生器产生其中所述主要部分图像和所述周边部分图像按照可见范围内的缩放倍率进 行縮小的输出图像数据，在所述可见范围内的縮小是按照基于縮小之后 的所述主要部分图像和/或所述周边部分图像的所述提取部分中包括的信 息量而确定的缩放倍率的縮小。
6. 根据权利要求l所述的图像处理装置，其中，如果所述周边部分 图像是分类为文本的部分图像，则所述产生器产生如下的输出图像数据， 在所述输出图像数据中，布置有所述周边部分图像，所述周边部分图像 按照使得该周边部分图像中包括的文本的尺寸至少是预定尺寸的縮放倍 率而进行了减小。
7. 根据权利要求l所述的图像处理装置，其中，所述主要部分图像 选择器选择以下二者中的一个，作为所述主要部分图像由用户指定的部分图像，和满足对在组成所述原始图像的页中的布置位置、在整个原始图像中 的位置、大小、像素特征和类别中的至少一个进行指定的条件的部分图 像。
8. 根据权利要求l所述的图像处理装置，其中，所述周边部分图像 选择器选择满足对在组成所述原始图像的页中的布置位置、在整个原始 图像中的位置、大小、像素特征和类别中的至少一个进行指定的条件的 部分图像，作为所述周边部分图像。
9. 根据权利要求2所述的图像处理装置，其中，所述周边部分图像 选择器选择满足对以下多项中的至少一项进行指定的条件的部分图像作 为所述周边部分图像在组成所述原始图像的页中的布置位置，在整个原始图像中的位置，大小，像素特征，类别，以及在所述产生器产生其中布置有所述周边部分图像的提取部分的输出 图像数据的情况下，所述提取部分中包括的信息量。
10. 根据权利要求l所述的图像处理装置，其中，所述周边部分图像 选择器选择与所述主要部分图像一起包括在所述原始图像中的内容在可 见范围内縮小的由输出尺寸限定的区域内的部分图像作为所述周边部分 图像，在所述可见范围内的縮小是按照基于縮小之后的所述输出尺寸限 定的区域中包括的信息量而确定的縮放倍率的縮小。
11. 根据权利要求1所述的图像处理装置，该图像处理装置还包括显 示部，所述显示部基于由所述产生器产生的输出图像数据而显示输出图 像。
12. —种图像显示系统，该图像显示系统包括 图像发送装置，所述图像发送装置包括根据权利要求l所述的图像处理装置，和发送由所述图像处理装置产生的输出图像数据的发送器；以及 显示装置，所述显示装置包括-接收从所述图像发送装置发送的输出图像数据的接收器，和 基于所述接收器接收的输出图像数据来显示输出图像的显示部。
13. —种图像处理方法，该图像处理方法包括以下步骤从组成原始图像的多个部分图像中选择主要部分图像；选择在所述原始图像中布置在所述主要部分图像周边并且满足预定条件的周边部分图像；以及产生如下的输出图像数据，在所述输出图像数据中，所述主要部分 图像和所述周边部分图像被布置为保留它们在所述原始图像中的位置关 系，并且所述主要部分图像和所述周边部分图像按照縮放倍率而縮小以 容纳在输出尺寸中，各个縮放倍率之间的差在预定范围内。
全文摘要
本发明提供图像处理装置、图像显示系统以及图像处理方法。图像处理装置包括主要部分图像选择器、周边部分图像选择和产生器。主要部分图像选择器从组成原始图像的多个部分图像中选择主要部分图像。周边部分图像选择器选择在所述原始图像中布置在所述主要部分图像周边并且满足预定条件的周边部分图像。产生器产生如下的输出图像数据，在所述输出图像数据中，主要部分图像和周边部分图像被布置为保留它们在所述原始图像中的位置关系，并且主要部分图像和周边部分图像按照缩放倍率而缩小以容纳在输出尺寸中，各个缩放倍率之间的差在预定范围内。
文档编号H04N1/00GK101677348SQ20091012975
公开日2010年3月24日 申请日期2009年3月26日 优先权日2008年9月16日
发明者前泽浩明 申请人:富士施乐株式会社