图像处理装置和图像处理方法

专利名称：图像处理装置和图像处理方法
技术领域：
的技术。
背景技术：
近年来，扫描仪或硬盘等大容量存储装置允许用计算机对一直以来存储为纸文档的文档进行处理的简单操作，以及将文档存储为电子文档的简单操作。尤其是，不仅扫描纸文档以将其转换成图像数据， 一 般还执行了通过字符识别技术来读取写在纸文档上的字符信息以将其存储为图像的附加信息。对于已经以这种方式存储的电子文档，用户通过将包括在输入的原始文档中的字符串作为搜索关键字，可以高速地从大量存储的文档组中检索出所期望的文档。
另外，提出了如下的技术，在用户使用搜索关键字对涉及了这样的字符信息的电子文档进行搜索时，突出显示(highlight)在文档图像上描述了该搜索关键字的部分，从而使用户能够识
别出该部分(例如，日本特开2000-322417)。在这种方式下，由于是在突出显示的状态来显示与该搜索关键字相对应的字符部分，所以即使在文档中出现相同关键字的多个描述点的情况下，通过切换页面图像，用户可以高效率地识别出关4建字的描述点。然而，还有 一 种将字符识别处理的结果作为透明文本(transparent text)(被指定为绘制颜色的透明色的字符代码)嵌入到图像文件中，并以PDF(便携文档格式)格式来存储的技术。当显示已经以这种方法创建的PDF文件时，将透明文本绘制在文档图像中的字符图像上。因此，当进行关键字搜索时，搜索透明文本。然而，用户不能看到透明文本自身，从而看上去好像 搜索图像。在这种方式下，基于利用能够绘制图像和字符的页 面描述语言来描述的格式的文件，可以绘制能够利用搜索关键 字搜索的图像。
为了使用PDF或SVG等页面描述语言来绘制在电子文档中 字符，需要每个字符的字符形状信息，即字体数据。然而，由 于一般字体数据的大小很大，出于减小电子文档的大小的目的，
一般不将字体数据存储在电子文档中，并且在电子文档中做出 对字体种类的指定。这样，当利用应用程序(application)来绘制 时，可以使用安装在个人计算机中的字体来完成绘制。
另一方面，存在一些期望将字体数据存储在电子文档中的 情况。例如，在使用其它个人计算机打开了已经通过使用文档 创建应用程序而创建的电子文档的情况下，当在该电子文档中 使用的字体数据没有被安装在该个人计算机时，不能准确地打 开该电子文档。换句话说，如果字体数据自身存储在电子文档 中，即使在使用未安装有指定的字体数据的个人计算机或应用 程序来再生电子文档的情况下，也可准确地再生该电子文档。
另外，依赖于应用程序，在一些情况下，将用于绘制字符 的字体数据存储在电子文档中是优选的必要条件。例如，对于 意图长期存储的文件，在经过长的时间段后，由于OS的改变， 作为默认安装的字体可能改变。因此，预计需要存储字体数据 存储的形式。
此外，依赖于格式的形式，还存在将字体数据存储在电子 文档中是必要条件的格式。例如，在XPS (XML Paper Specification, XML文件规格)格式中，在存储了文本数据的情 况下，还需将字体数据一同存储。
然而，当将字体数据存储在电子文档中时，电子文档自身
7的大小增大。在文件大小增大的情况下，存在当通过网络发送 电子文档时需要长的时间，或者存储时需要大的存储容量的问 题。
以这种方法，在通过使用存储在电子文档中的字体数据来 绘制文件格式的电子文档中，期望防止文件大小的增大。尤其 是，在将扫描图像、字符识别处理的结果的文本数据以及用于 文本绘制的字体数据一同存储在电子文档中的情况下，期望防 止文件大小的增大。当由于格式的限制或系统的限制而必须将 字体数据存储在电子文档中时，文件大小的增加可能是难以解 决的。
另外，突出显示搜索结果时，依赖于显示文档的查看器
(viewer)的特性，存在对搜索结果的不同的突出显示方法。即， 依赖于对搜索结果突出显示的性能，有可能难以看到图像上的 字符图像。
在这样的情况下，在将纸文档转换为可以进行电子搜索的 电子文档的处理中，需要如下的功能。即，期望在将电子文档 的大小最小化的同时确保搜索的突出显示时的可见度，即使将 要使用的字体数据保持在电子文档中。

发明内容
本发明的一个目的是在能将电子文档的大小最小化的同时 确保搜索的突出显示时的可见度，即使将要使用的字体数据保 持在电子文档中。
根据本发明的第一个方面，提供一种图像处理装置，包括 字符识别单元，用于通过对文档图像中的多个字符图像执行字 符识别处理，来获得与每个字符图像相对应的字符代码；以及 生成单元，用于生成存储了所述文档图像、多个所述字符代码以及多种字体数据的电子文档，其中多个所述字符代码是由所 述字符识别单元获得的，其中，在绘制与多个所述字符代码相 对应的字符时，选择所述多种字体数据中的一种字体数据，并 且对于多个所述字符代码共同使用所选择的字体数据。
根据本发明的第二个方面，提供一种图像处理装置，包括 搜索单元，用于利用输入的关键字来对存储了文档图像、多个 字符代码以及多种字体数据的电子文档进行搜索，其中，所述 多个字符代码是通过对所述文档图像执行字符识别处理而获得 的，以及所述多种字体数据在绘制与所述多个字符代码相对应 的字符时由所述多个字符代码共同使用；切换单元，用于接收 来自用户的、关于所述多种字体数据的字体数据切换指示；以 及电子文档显示单元，用于使用所述切换单元切换的字体数据， 来突出显示作为所述搜索单元的搜索结果的、与所述关键字相 一致的部分。
根据本发明的第三个方面，提供一种图像处理装置，包括 搜索单元，用于利用输入的关键字来对存储了文档图像、多个 字符代码、多种字体数据以及属性数据的电子文档进行搜索， 其中，所述多个字符代码是通过对所述文档图像执行字符识别 处理而获得的，所述多种字体数据在绘制与所述多个字符代码 相对应的字符时由所述多个字符代码共同使用，以及所述属性 数据在选择用于绘制的字体数据时用作判断标准；以及电子文 档显示单元，用于使用基于用作判断标准的所述属性数据从所 述多种字体数据之中选择出来的字体数据，来突出显示作为所
述搜索单元的搜索结果的、与所述关键字相一致的部分。
根据本发明的第四个方面，提供一种图像处理方法，包括 通过对文档图像中的多个字符图像执行字符识别处理来获得与 每个字符图像相对应的字符代码；以及生成存储了文档图像、多个所述字符代码以及多种字体数据的电子文档，其中所述多 个所述字符代码是通过所述字符识别处理而获得的，其中，在 绘制与多个所述字符代码相对应的字符时，选择所述多种字体 数据中的一种字体数据，并且对于多个所述字符代码共同使用 所选择的字体数据。
根据本发明，纸文档被转换成包括被扫描的页面图像的绘 制描述和(用透明色)绘制已经从该页面图像提取出的字符的描 述的电子文档。在这种情况下，在该电子文档的内部部分，存 储了由简单的字符形状形成的多种字体数据。另外，在每种字 体数据中，使得由多个字符种类(多个不同的字符代码)共同使 用一种字符形状。由此，尽管要使用的字体数据被保持在该电 子文档中，也只需要少量的字体数据(字符形状数据)，所以能 够将该电子文档的文件大小(数据容量)最小化。此外，存储了 一些字体数据，并且可以在多个字符形状之中进行切换并进行 绘制。从而，即使在使用不同的应用程序的突出显示搜索的情 况下，也可以实现高的可见度或操作性的显示
根据以下(参照附图)对典型实施例的说明，本发明的其它 特征将变得显而易见。


图l是示出根据本发明的实施例1和2的图像处理装置的配 置例子的框的例子的流程图3是示出根据本发明的实施例l和2的电子文档搜索和浏 览处理的例子的流程图4是示出在图2中的步骤S208中执行的电子文档数据生成处理的例子的流程图5是示出在图3中的步骤S307中执行的页面的绘制处理
的例子的流程图6是根据本发明的实施例1生成的电子文档的 一 个例子； 图7是在本发明的实施例l和2中处理的页面图像的一个例
子；
图8是示出在本发明的实施例l和2中执行的区域分析处理 的例子的图9是在本发明的实施例1和2中生成的区域数据的 一 个例
子；
图IO是示出在本发明的实施例1和2中执行的字符识别处理 的例子的码串数据的例子；
图12是在本发明的实施例1和2中使用的字符代码串表的一 个例子；
图13是在本发明的实施例1和2中执行的、将搜索点突出显
示的页面显示的例子；
图14是在本发明的实施例1中执行的、将搜索点突出显示的
页面显示的例子；
图15是根据本发明的实施例2生成的电子文档的 一 个例子； 图16是在本发明的实施例1中显示的UI的例子； 图17是当突出显示了搜索部分时，字符图像变为不可见的
页面显示的例子；
图18是要处理的页面图像的例子；
图19是将搜索结果突出显示的页面显示的例子；以及 图20是将搜索结果突出显示的页面显示的例子。
具体实施例方式
下面将参照

根据本发明的优选实施例。然而，应 理解，这些实施例中说明的组件是出于说明性的目的，本发明 的范围不限于这些组件。
实施例1
下面将参照

根据本发明的典型实施例。 图l是示出可以实现本发明的图像处理装置的配置的框图 的一个例子。
附图标记100表示由如下各装置构成的、将纸文档转换成电
子文档的图像处理装置。
附图标记101表示将已经被读取的纸文档的版面(page space)信息转换成图像的数据的扫描仪。附图标记102表示执行 例如分析图像数据并将该图像数据转换成可搜索的电子文档的 程序的CPU。存储器103和硬盘104是用于存储利用上述程序操 作进行的向电子文档转换的结果或进程(progress)中的数据的 存储装置。
附图标记105表示向装置外部输出已经根据上述程序生成 的数据的网络I/F。附图标记106表示用于接收来自用户的指示 的接口 ，该接口由输入键或触摸板等输入装置以及液晶等显示 装置构成。
附图标记110表示搜索并浏览已经在图像处理装置100处创 建的电子文档的图像处理装置，该图像处理装置由如下装置构 成。
CPU lll执行解释电子文档的数据并创建用于搜索或浏览 的显示数据的程序，或者执行控制搜索操作的程序。存储器112 和硬盘113是用于存储电子文档数据或者存储根据上述程序的操作而创建的显示数据或进程中的数据的存储装置。附图标记 1 14表示用于将已经在装置外部创建了的电子文档传送到装置
中的网络I/F。附图标记115表示用于接收来自用户的指示的接
口，该接口由输入键或触摸板等输入装置以及液晶等显示装置构成。
附图标记120表示在图像处理装置100和图像处理装置110 之间提供电子的连接的网络。
现在，使用图2和3的流程图说明根据实施例l的处理的例子。
图2是示出从已经通过例如在图像处理装置100处扫描纸文 档而获得的图像数据来创建可搜索的电子文档，并且将该电子 文档发送到图像处理装置110的处理的例子的流程图。
首先，在步骤S201中，根据来自用户的指示操作，确定要 创建的电子文档的发送目的地和发送方法。经由用户接口 106 执行来自用户的指示。另外，从电子邮件或使用FTP的文件传
当用户设置纸文档并按下开始键时，在步骤S202中，扫描 仪101通过使用已知的光电转换技术来扫描纸文档，以将纸文档 转换成页面图像数据(文档图像)。在手动或使用自动文档给送 器输入多个文档页面的情况下，将已经被扫描的纸文档的每一 个页面转换成一个页面图像数据，并按输入顺序将其存储在存 储器103中。
图7示出页面图像的例子。在图7的页面图像701中，出现了 照片704以及由"A、 I、 U (每个均为日文字符)"的字符串702和 "KA、 KI、 KU(每个均为日文字符)"的字符串703组成的字符图 像。顺便提及，出于说明的目的，尽管用黑色矩形来简单地示 出照片704,照片704实际上是自然图像。此外，在图7的例子中，尽管仅示出了字符串702和703以及照片704的例子，但是还可以 是图形等其它区域。在图7中，示出了文档图像的例子，其中作 为字符串702、 703说明了平假名字符(日文字符)，然而在本实 施例中，字符不限于平假名字符，也可以使用字母和汉字字符 (中文字符)等其它字符。图18是包括字母字符串1802、 1803和 照片1804的文档图像1801的例子。即，如果执行适合于每种语 言的字符识别处理，则可以类似地对^使用其它语言描述的文档 执行将在后面说明的处理，而不限于日文文档。
至于页面图像数据的形式，例如，当纸文档为彩色时，是 利用RGB的各8比特来表现其灰度的彩色图像；当纸文档为黑白 时，是利用8比特来表现亮度的灰度级(gray scale)图像或者利用 1比特来表现黑白的二值图像。
在步骤S203中，选择存储在存储器103中的未处理的页面 图像数据作为处理对象图像。顺便提及，在有多个页面的图像 的情况下，按输入顺序选择一个页面的图像作为处理对象。
在步骤S204中，从已经被选择的图像中，对具有文本区域、
识别的区域分析处理，并且生成关于每个已经-陂识别出的区域 的区域数据并将其存储在存储器103中。顺便提及，在该区域数 据中，包括了在关于相应区域的边界矩形(bounding rectangle) 的左上位置的图像中像素的x和y方向上的坐标值x和y;代表该 边界矩形的大小(宽度和高度)的像素宽度和高度的数值Wi d t h 和Height;以及文本和照片等区域类型。
在上述的区域分析处理中，采用了已知的技术(该技术还被 称为区域识别处理、区域确定处理和区域揭_耳又处理)。例如，在 采用了日本特开平6-68301所公开的技术的情况下，可以从二值 文档图像数据中，提取沿横向或纵向排成一行的类似大小的黑像素块的范围作为文本区域。
这里，在图8和9中，示出了对在图7中示出的页面图像701 进行区域分析处理的例子。图8中的附图标记801表示^皮确定为 文本区域的区域，并且附图标记802表示被确定为照片区域的区 域。图9是通过该区域分析处理而获得的区域数据的例子。同样 当对包括字母字符串的页面图像(例如，图18中的图像1801)执 行区域分析处理时，将获得与图7中的区域分析结果类似的区域 分析结果。
接着，在步骤S205中，通过对已经被区域分析处理所识别 的各文本区域中的字符图像执行字符识别处理，来获得各文本 区域的字符代码串的数据并将其存储在存储器103中。这里，字 符代码串的数据中，包括了作为对区域中的每个字符图像的 识别结果的字符代码信息；以及每个字符图像的边界矩形信息 (边界矩形的左上处的坐标x和y及其宽度(Width)和高度(Height) 信息)。
这里，将简要说明上述字符识别处理的例子。顺便提及， 字符图像的字符识别处理可以采用已有的技术。
首先，在文档图像不是二值图像的情况下，对文本区域的 内部部分执行二值化以获得在文本区域中的二值图像。对于该 已经被二值化的各文本区域的内部部分，对每个垂直行或水平 行中的黑像素的数量进行计数以创建直方图。基于长度和宽度 的直方图，令周期性的直方图的方向为行方向，并且令直方图 的黑像素的数量不小于预定阈值的部分成为形成字符行的部 分，从而获得行图像(line image)带(strip)。随后，对每个行图 像在垂直于行方向的方向上获得直方图，并且基于直方图的结 果切割出每个字符的图像。该已经被切割出的范围是一个字符 的边界矩形信息。顺便提及，尽管这里使用对黑像素的数量进行计数的直方图来做出判断，还可以使用示出每一行中有无黑 像素的投影来做出字符区域的判断。
接着，从每个字符图像的边界矩形中的图像，检索例如边 界成分以获得特征矢量，将该特征矢量与已经预先登记的字符 识别字典中的特征矢量进行比较，以获得相似度。然后，将具 有最高相似度的字符种类(字符的种类)的代码作为该矩形中的 字符图像的字符代码。以这种方式，对于在文本区域中出现的 所有字符的边界矩形，可以获得分配了字符代码的数据。然后，
将已经从每个文本区域获得的字符代码集(set)作为字符代码串。
另外，关于英文句子的字符区域，还判断在字符之间是否 存在单词之间的空格。例如，做出关于单词之间的距离是否很 长的判断，或者通过字符图像的字符识别结果的字符串和单词 字典之间的匹配来做出关于是否为单词之间的间隙的判断，由 此可以判断是否存在单词之间的空格。在判断为存在单词之间 的空格的情况下，将该空格的字符代码插入到字符代码串中。
顺便提及，上述的说明是一个例子，并且通过采用利用了 其它已知技术的处理方法，可以获得字符代码串。
在图IO以及图11A和11B中，示出了对图8中示出的文本区 域8 01进行字符识别处理的例子。
从图10中的文本区域1000，切割出第一字符行l001和1002, 并且从字符4亍1001的内部进一步切割出三个字符1011、 1012和 1013。然后，识别出每个字符，并且作为结果，获得对应于每 个字符的字符代码，来生成如图11A的表1101所示的字符代码 串数据。以相同的方法，对已经从字符行1002的内部切割出的 三个字符1021、 1022和1023进行字符识别处理，由此生成图11B 中的字符代码串数据1102。图IO以及图11A和11B示出对日文文本区域执行字符识别处理的情况，然而，本发明不限于日文。 例如，还可以通过对包括其它语言(例如，英语字母)的文本区 域类似地执行字符识别处理来获得字符代码。即，当英文字母 等字符被识别时，替代日文字符代码将字母的字符代码输入到
图11A和11B中的字符代码串数据中。
随后，在步骤S206中，使将要处理的页面图像数据、区域 数据和字符代码串数据相关联，并将它们存储在存储器10 3或硬 盘104中。
在步骤S207中，判断是否存在尚未处理的图像数据。当存 在未处理的图像数据时，操作返回到步骤S203，并进行下一页 面图像数据的处理。当没有未处理的图像数据时，操作进入到 步骤S208。
在步骤S208中，按页面顺序(处理的顺序)合成存储在存储 器103或石更盘104中的所有页面的凄t据，以生成由多个页面形成 的可搜索的电子文档。
在上述步骤S 2 0 8中生成的电子文档的数据是能够保持绘 制信息和内容信息两者的数据，其中绘制信息用于在显示器等 上电子地显示每个页面图像或使用打印机打印每个页面图像， 以及内容信息用于使得能够利用搜索关键字进行搜索。作为满 足这样的数据保持条件的数据格式，存在PDF格式或SVG格式 等多种已知的例子。在本实施例中，作为要在这时生成的电子 文档的格式，假定要指定嵌入字体数据。顺便提及，作为具有 嵌入字体数据的必要条件的格式形式，例如XPS。尽管在下文 中，在假定使用XML表示的页面描述格式的规格(specification) 情况下做出了描述，但本发明不限于该格式。当然也可以使用
图6是在输入了由两页的页面图像形成的文档的情况下，基于在本发明的说明中所使用的页面描述格式的规格而生成的电
子文档的页面描述的例子。顺便提及，尽管这里，如图6所示， 页面描述格式的例子是在 一 个文件中做出了全部描述的 一 个例 子，但是并不限于该例子。例如，可优选为这样的格式(例如 XPS):在该格式中字体数据的部分在另一文件中，从主体的文 件引用字体数据文件，并且通过例如ZIP压缩使这些文件合并在 一个电子文档。
以下，将使用图4的流程图说明在步骤S208中执行的电子 文档数据生成处理的例子。
首先，在步骤S401中生成表示电子文档的开始的描述。
在根据本发明的说明的页面数据描述格式规格中，要素 (element) 〈Document:M戈表电子文档的开始标识(tag),并且夹在 该〈Document〉和4乍为该文档的结束才示i口、的〈/Document〉之间的 范围中的XML描述是与包括在该文档中的每个页面有关的描 述数据。在图6的例子中，附图标记601表示电子文档的开始标 识，并且附图标记613表示结束标识。
在步骤S402中，从尚未描述的页面之中指定第一页面的数 据，并使其成为要处理的对象。
在步骤S403中，生成代表要处理的页面数据的开始的标识 以对其进行描述。在本例子中，要素标识〈page〉描述页面数据 的开始，并且夹在该〈page〉和作为该页面的结束标识的</page> 之间的范围中的XML描述为该页面中的绘制数据和内容数据。 另外，在< &86〉标识中，使用表示该页面的^f象素的宽度和高度 的属性Width和Height以及表示分辨率的属性Dpi来描述页面的 物理大小，并且还使用表示页面数量的属性Number来描述页面 数量。
在图6的描述例子中，在〈page〉要素的开始标识602中，描述了该页面的宽度Width二"1680"、高度Height二"2376"、分辨率 Dpi—'200"和页面数量NumbeF"l"。此外，从标识603到结束标 识606 (603到606)描述了这一页面的数据。
在步骤S404中，生成形成页面的数据中代表图像的绘制数 据的标识描述(图像绘制描述)(图像绘制描述生成)。
在本发明说明的页面数据描述格式规才各中， 一个〈Image〉 要素代表一个图像的绘制数据。另外，在属性Data中描述图像 数据的内容，并且利用属性X、 Y、 Width和Height的坐标信息 来描述在页面中绘制出的该图像的位置。在页面中存在多个图 像的情况下，这意味着按出现的顺序来重写各个图像数据。在 属性Data中描述的是已经被已知方法压缩了的图像数据，例如， 在彩色或灰度级图像数据的情况下，图像数据为已经被JPEG压 缩了的代码串；而在二值图像数据的情况下，图像数据为已经 被MMR压缩了的代码串。
在图6的描述例子中，在标识603中，描述了 X="0"、 Y="0"、 Width="1680，^pHeight="2376",从而将已经在图2的步骤S203 中选择出的文档的第 一 页面上的扫描图像绘制到整个页面上。 另外，描述了令转换成JPEG压缩图像的代码串的文本后的字符 串为属性数据值的〈Image〉要素603 (顺便提及，在图6中，为了 简单地示出图，省略Data属性的字符串的一部分)。
在步骤S405中，生成形成页面的数据中代表字符的绘制数 据的描述(字符绘制描述)(字符绘制描述生成)。
在本发明说明的页面数据描述格式规格中， 一个〈TexP要 素描述垂直的或水平的每 一 行字符的绘制数据。如下是在 〈Text〉要素中描述的属性数据。
属性Direction,表示字符串的垂直书写/水平书写(顺便提 及，在没有指定Direction的情况下，默认为水平书写) 属性X和Y，指定字符开始位置的坐标
属性FONT,指定绘制字符时所应用的字体数据的ID
属性Size，指定字体大小
属性Color，利用R成分值、G成分值、B成分值和代表透 明度的阿尔法(alpha)通道值这四个值的集合来指定绘制时的字 符颜色
属性String,指定字符串的内容(字符代码串) 属性Cwidth，指定String中从每个字符到下一字符的给送 宽度
属性CGlyphld，指定在绘制时使用的String中每个字符的 字符形状数据，即字形的ID。
这里，形成〈Text〉要素的字符串是通过将已经在图2的步骤 S205中生成的字符代码串的数据进一步分割成各个字符行而 获得的字符串，其中该字符行是垂直或水平延伸的字符的集合。 顺便提及，在还没有定义属性Font的情况下，将对应于默认字
在图6的描述例子中，两个〈Text〉标识604和605涉及第 一页 面的字符绘制描述，并且是分别对应于图11的字符代码串数据 1101和1102的描述。
例如，在与图11A的数据1101中的水平书写的字符串"A、 I、 U (每个均为日文字符)"的三个字符相对应的〈TexP要素描述 604中，将每个属性值按如下进行描述。
将属性X和Y指定为X—'236"和Y-"272",作为这三个字
符的边界矩形的左上处的坐标。
没有定义字体数据ID的属性Font。
通过估计行中字符的高度，将字体大小的属性Size指定 为"97"像素。 将属性Direction指定为水平书写"Horizontals
将绘制时字符颜色的属性Color指定为"0， 0, 0, 255", 意味着R成分值二G、成分值二B、成分值^0和alpha通道二255(即， 指定了透明色)。
将指定字符串内容(与各个字符相对应的字符代码的序 歹寸)的属'性String^旨定为"0x2422， 0x2424， 0x2426，，。在上述的 例子中，当识别出如图7所示的日文字符串的字符时，描述字符 代码，然而，当识别出如图18所示的文档图像中的英文字符串 的字符时，当然也会描述英文字符代码。
将指定每个字符的给送宽度的属性CWidth指定为"104, 96， 59",对于左边的两个字符，每个字符的给送宽度对应于与 其右侧的下一字符的左端之间的坐标差，对于最后一个字符， 其给送宽度对应于其字符宽度本身。
作为每个字符的字符形状数据的、指定字形的ID的属性 C G1 y p h I d通常被指定为与每个字符的字符形状数据相对应的字 形的ID。在本实施例中，然而，由于在扫描图像上绘制了透明 色字符的字符形状，任何字符形状都在用户可见度之外。因此， 在本实施例中，即使字符是不同的字符(字符种类)，通过相同 字形ID的指定，只需要少量的字符形状数据(字体数据)。因此， 在图6的例子中，将属性CGlyphld描述为相同的属性值"0, 0, 0"。另外，由该字形ID所指定的字符形状可以是简单的形状(例 如，矩形)。顺^更提及，下面将说明字形形状的细节。
顺便提及，上述的属性值是范例，并且可以描述为具有相 同含义的其它值。例如，优选地根据像素高度和图像分辨率， 不利用像素数量而利用点数量的值等来描述代表字体大小的属 性Size。另外，在本发明的说明中，要绘制的字符被指定为透 明色，不能被用户看到，因此使得要绘制的字符串可以不正好重叠在相应的字符图像上。例如，可以在相应的字符图像的下
端部处，绘制透明字符串。例如，在图6的例子604的情况下， 假定X- "236", Y= "368"并且Size: "10"，在字符图像的下 端部处绘制低的高度的透明字符串。此时，要绘制的透明字符 串的大小(高度)为小于字符图像的大小的预定大小(例如，10)。
将在后面利用搜索关键字进行搜索时使用要绘制的透明字 符串，并且突出显示(例如，以改变后的颜色来显示)与搜索关 键字相一致的字符串。由于在与相应的字符图像的位置基本相 对应的位置绘制透明字符串，尽管在搜索时使用透明字符串来 做出搜索，在用户看来如同搜索了字符图像。因此，在使用在 这样的搜索时突出显示字符的应用程序的情况下，即使在相应 的字符图像的下端部处绘制出透明字符串，在搜索时，就像相 应的字符图像被加以强调那样来突出显示并指定该透明字符 串，而不会产生问题。顺便提及，透明字符串的绘制位置不限 于下端部，也可以描述字符串使得透明字符串被绘制到字符图 像的上半部分或下半部分的位置。
现在，在步骤S406中，说明表示页面描述的结束的々Page〉。
在步骤S407中，判断是否存在未被描述的页面。在存在未 被描述的页面的情况下，从步骤S403开始重复操作；在不存在 未被描述的页面的情况下，操作进入到步骤S408。在图6的描 述例子中，还对第二页面执行步骤S404到S406的处理，并且将 描述607到610的部分。
在步骤S408中，生成包括该电子文档中绘制所使用的所有 字形的字体数据的内容的描述(字符形状数据描述)(字符形状 数据描述生成)。在本发明的页面数据描述格式规格中，将包括 在字体数据中的每个字形描述为夹在〈Font〉和〈/Font〉之间的 范围中的〈Glyph〉要素。在〈Font〉要素中，包括表示该字体的种类的属性ID。此外，在〈Glyph〉要素中，包括表示字形的种 类的属性ID和表示对应于该ID的字形(字符形状)的属性Path。 在〈Glyph〉要素中的属性Path,在令左下为原点的1024x 1024的 绘制矩形单位中，是使用直线或曲线函数来代表字形的描述。
在图6的描述例子中，在〈Font〉要素611和612中，分别在 〈Font〉要素611和612中定义了字体10= "Font 01"的字体和字 体ID- "Font 02"的字体。在各自的内容中，定义了具有ID二 "0"的字形的一个种类。代表〈Font〉要素611的"Font01"的 字形的字符形状的Path属性"MO,O V-1024 H1024 V1024 f，'的 含义如下。
"移动到原点(O, 0),向上绘制1024单位的垂直线，向右 绘制1024单位的水平线，向下绘制1024单位的垂直线，并且从 当前点向起始点绘制线以填充由这些线包围的范围。"
即，这是代表填充1024xl024范围的方形字形的描述。
另外，代表〈Font〉要素612的"Font02"的字形的字符形状 的Path属性"M0，0 V-64 H1024 V64 f，的含义如下。
"移动到原点(O, 0),向上绘制64单位的垂直线，向右绘 制1024单位的水平线，向下绘制64单位的垂直线，并且从当前 点向起始点绘制线以填充由这些线包围的范围。"
即，这是代表填充在绘制矩形单位的下部处1024x64区域 的水平直线字形的描述。
顺便提及，图6的〈Font〉要素611和612的描述只是一 个例
子，并且优选定义垂直直线、波浪线、虚线、三角形、圓形或 四边形等其它简单的字符形状。
接下来，在步骤S409中，描述表示电子文档的结束的 </Document>，并且结束电子文档的生成。将已经生成的电子 文档作为文件存储在图像处理装置100的存储器103或硬盘104中。在存储时，优选使用已知的文本压缩技术进行压缩。
这里，返回图2，进行描述。在步骤S209中，将已经在步 骤S208中生成的电子文档通过已经在步骤S201中指定的发送 方法传送到作为指定的发送目的地的图像处理装置110。发送处 理优选采用已知的技术，从而将省略描述。
如上所述，图像处理装置110通过网络接口 114接收已经被 传送的电子文档，并将电子文档存储在硬盘114中。
这里，用于在硬盘内部指定要存储的电子文档的信息优选 是文件名等任何ID信息。在本发明的说明中，指派关于接收时 间的字符串作为例子。尽管存在选择并自动给出唯一的编号或 者用户已经预先输入了文件名作为用户在图像处理装置100生 成时指定的信息等其它方法，由于这些方法是不同于本发明的 基本特征的处理，所以省略详细的说明。
现在，将根据图3的流程图说明使用图1的图像处理装置110 来搜索并浏览电子文档的处理的例子。这里，尽管将说明使用 图像处理装置110来进行搜索的例子，但并不限于该例子，并且 可以配置为使用图像处理装置100来做出搜索。
在步骤S301中，用户使用UI 115从电子文档所保持(hold) 的字体ID的列表中，选择在没有定义Font属性的情况下使用的 默认字体ID。图16示出了选4奪画面UI的一个例子，该选择画面
体的预览图像(图中，黑色四边形部分示出Font01的字形)。用 户可以使用这样的UI来选择默认字体ID。顺便提及，做出图3 中步骤S301的字体ID指定处理的序列顺序(s叫uential order)是 范例，而可以是在步骤S307之前的任意步骤。
在步骤S302中，为了从存储在图像处理装置110中的电子 文档组中搜索出所期望的电子文档的字符串，从UI 115输入用户认为包括在该电子文档的文本中的搜索关键字。这里已经被 输入的该字符串的长度为k。
在步骤S303中，对于所有存储在图像处理装置110的硬盘 114中的电子文档文件，判断是否存在未被搜索的电子文档文 件。在存在未被搜索的电子文档文件的情况下，指定其中的一 个电子文档文件。另外，在该电子文档文件被压缩后的情况下， 解压该电子文档文件并进入步骤S304。在不存在未被搜索的电 子文档的情况下，操作进入到S313,其中通知用户已经结束对 所有电子文档的搜索。
在步骤S304中，令已经在S303中指定的电子文档中的文本 数据为目标，为利用搜索关键字进行搜索做出准备。这里，排 列文档中的文本(字符代码)，初始化搜索开始位置n,即，设置 n=0。
这里，将在下面iJL明步骤S 3 0 4中处理的例子的详情。 在利用XML解析器(parser)来分析电子文档数据的阶段中， 当〈Text〉要素出现时，获得在属性String中描述的字符代码串。 另外，对于〈Text〉要素中String属性中描述的每个字符，将其字 符代码以及在电子文档数据中描述了该字符代码值的位置的组 添加给字符代码串表。这里，描述了该字符代码值的位置是表 示从电子文档数据的开头算起到描述该字符代码的第 一 个字符 的字符数量的值。
这里，为了清楚，在图12中示出了从图6的电子文档生成的 字符代码串表的例子。在该例子中，在图6中的〈Text〉要素604 的属性String中，描述了三个字符代码"0x2422", "0x2424"和 "0x2426"。这里，分别从该电子文档的开头算起的第1093个字 符位置、第IIOO个字符位置和第1107个字符位置开始描述这三 个字符代码。同样，基于〈Text〉要素605和609，对于剩下的6个字符代码的描述位置，也获得描述位置，并且生成如图12所
示的字符代码串表。顺便提及，在图12中，此时，以从0开始的 顺序给出字符串编号(No.)。
接着，在步骤S305中，对于字符代码串表，令搜索开始位 置n为原点，判断字符代码串表与搜索关键字的字符代码串是否 相一致。在检测到与搜索关键字的字符代码串相一致的部分的 情况下，令此时的变量n为相一致的字符串的开头位置，操作进 入到步骤S306。
反之，在步骤S305中判断为不一致的情况下，操作进入到 步骤S310,在步骤S310中判断是否搜索了该字符代码串表中的 所有字符。在判断为存储在字符代码串表中的所有字符代码串 的搜索已经结束的情况下，操作进入到步骤S312，在步骤S312 中通知作为当前搜索对象的电子文档的搜索结束。另一方面， 在判断为所有搜索还没有结束的情况下，操作进入到步骤 S311,在步骤S311中变量n增加l，并且操作返回到步骤S305, 在步骤S305中，判断在下一个搜索开始位置n,字符代码串表 与搜索关键字的字符代码串是否相一致。顺便提及，在步骤 S310中，在令存储在字符代码串表中的字符代码的总数量为N 的情况下，当iK(N-k)时，可以判断为所有搜索还没有结束；并 且当n〉气N-k)时，可以判断为所有4叟索已经结束。
对于图12的字符代码串表的例子，例如，在从开头起扫描 关键字字符"KA， KI (每个均为日文字符)"的字符代码串 "0x242b和0x242d",并且检测到了相 一致的部分的情况下，提 取11=3作为最初的相一致的字符串的字符串编号。另外，在下 面说明的S307中进一步继续搜索，并且检测出了下一个相一致 的字符串的情况下，提取位置11=6。顺便提及，在步骤S303到 S305中使用了令这些字符代码和描述位置成为 一对的字符代码和表的处理只是一个例子，并且可以采用其它方法。
接下来，在步骤S306中，指定了与相一致的字符串编号n 相对应的字符串数据属于电子文档的那个页面。例如，假定在 分析电子文档数据时，判断出在哪个〈Page〉要素中描述了 〈TexP要素，则可以从Number属性识别出页面编号。因此，从 图12的字符代码串表获取与已经在步骤S306中所指定的位置n 相对应的字符串的描述位置，并且依赖于该描述位置位于哪些 〈Page〉要素之间，可以指定出该字符串所属的页面。顺便提及， 在步骤S304中分析电子文档数据时，在判断出各〈Text〉要素被 描述在哪个页面，并且该判断结果已经被预先存储在图12的字 符代码串表的情况下，基于字符串编号可以容易地指定页面编 号。顺便提及，在步骤S305中的相一致的字符串的检测方法或 者在步骤S306中的页面编号的指定方法不限于上述的例子。
在步骤S307中，基于在步骤S306中确定的页面中所包括的 绘制描述，在UI 115上显示页面的绘制结果(电子文档显示)。此 时，在绘制字符串编号(No.)在n到(n+k-l)范围中的字符时，为 了使用户容易地识别出对应于该字符的点，突出显示该字符并 绘制出该字符。下面将说明与该搜索关键字相一致的部分的突 出显示的绘制的详情。
这里，将根据图5的流程图说明要在步骤S 3 0 7中执行的页 面绘制处理的详情。
在步骤S501中，从〈Page〉要素中的Width和Height属性的值 确定将作为绘制结果的页面图像的大小。
在步骤S502中，获得能够存储页面图像的像素信息的量的 存储器区域。
在步骤S503中，以从开头起的顺序提取出< &§6〉要素的子 要素中未被处理的一个要素，并且判断已经被提取出的该未被处理的要素的种类。在该未被处理的要素被判断为〈Image〉的 情况下，操作进入到步骤S504。另一方面，在该未被处理的要 被判断为〈Text〉的情况下，操作进入到步骤S505。在已经处理 了该〈Page〉要素中所有的字要素的情况下，操作进入到步骤 S517。
在步骤S504中，对描述为〈mage〉要素的Data属性值的压 缩图像进行解压缩。此外，缩放(scale)该解压缩后的图像以使 得该图像被保留在由X、 Y、 Width和Height属性来代表的页面 图像中的整个绘制矩形区域。另外，将该图像重写在已经在上 述步骤S502中获得的页面图像存储器的区域中。然后，操作返 回步骤S503。
另一方面，在步骤S505中，从描述在要被处理的〈Text〉要 素中的每个属性获得字符开始位置(X， Y)、字体ID (F)、字符 大小(S)和字符颜色(C)。另外，获得在该〈Text〉要素中描述的字 符的数量(N)。顺便提及，在没有如图6的例子的中所示出的定 义了字体ID的情况下，使用已经在上述的S301中指定的默认字 体ID。
在步骤S506中，获得用于字形图像生成的存储器区域。这 里，将获得用于1024xl024像素的二值图像的存储器。
在步骤S507中，将正在被处理的字符的计数器i初始化为1。 在步骤S508中，判断是否i〉N。当KN时，操作进入到步骤 S509; 并且当i>N时，结束该〈Text〉要素的处理以返回步骤 S503。
在步骤S509中，从〈Text〉要素的属性String获得第i个字符 的字符代码(P),并且从属性CGlyphld获得第i个字符的 Glyphld(Q)。
在步骤S510中，从电子文档检测出字体Id二F的〈Font〉要素描述，并且还从该〈Font〉要素描述的子要素中的字形Id二Q的 〈Glyph〉要素获得Path属性。
在步骤S511中，根据已经在步骤S510中获得的Path属性值， 对于已经在步骤S510中获得的字形图像生成存储器，生成字形 二值图像。顺便提及，字形二值图像是例如通过令被绘制部分 为l,并且令不被绘制的部分为O来代表的图像。顺便提及，在 本实施例中，将在后面用透明色绘制被绘制的部分l。
在步骤S512中，缩放字形的二值图像，以使图像成为基于 字符大小的属性值(S)的矩形大小。
在步骤S513中，在从页面图像存储器的位置(X, Y)开始的 矩形区域中，绘制了缩放后的字形二值图像的信息。利用如下 的表达式来定义当在页面图像上绘制二值图像时每个像素的像 素值。此时，依赖于二值图像中相应的像素的像素值是l还是O, 分别将在页面图像的目标区域中的像素值(r， g, b)改变为如下 的(r', g'， b')。
在字形二值图像的像素值为O的像素的情况下 (r'， g', b') = (r， g, b)
在字形二值图像的像素值为l的像素的情况下
(r'， g'， b') = (F (r， Cr), F (g， Cg)， F (b, Cb))
其中F (r， Cr) = (rxA+Crx(255-A))/255, F (g， Cg)= (gxA+Cgx(255画A))/255, F (b, Cb) = (bxA+Cbx(255-A))/255。另 外，A是字符颜色C的alpha通道值，Cr、 Cg和Cb分别是字符颜 色C的RGB值。顺便提及，在将25 5指定为alpha通道值的情况下， 由于该字形二值图像是透明的，即使对于字形二值图像的像素 值为l的像素，也有(r', g'， b') = (r， g, b)。
在步骤S514中，使用例如图12的字符代码串表来判断正在 被处理的第i个字符是否是字符串编号(No.)在n到(n+k-1)范围中的字符。更具体地，由于根据字符代码串表确定在n到(n+k-l) 范围中的字符的描述开始位置，基于正在被处理的字符i的开始 位置是否与任何一个相一致来做出判断。在字符i是n到(n+k-l) 范围中的字符的情况下，操作进入到步骤S515;在其它情况下， 操作进入到步骤S516。
在步骤S515中，做出突出显示以表示正在被处理的字符在 作为搜索字符串被检测的范围中。具体地，相应的字形二值图 像的像素值为0的像素保持不变，对于相应的字形二值图像的像 素值为l的像素，分别将像素值(r， g, b)改变为如下的(r'， g', b')。
(r'， g'， b') = (G (r), G (g)， G (b))
其中G(r) = 255-r, G (g) = 255-g，以及G (b)=255-b。
顺便提及，上述的突出显示是范例。例如，被突出显示的 宽度不是字形二值图像的宽度，而使用指定每个字符的给送宽 度的属性Cwidth的值，来无间隔地实心填充字符串。
另一方面，在步骤S516中，使X加上Cwidth属性的描述为 第i个字符的字符的给送宽度，还使i加l (i = i+l),并且从步骤 S503开始重复处理。在步骤S503的阶段，当不存在未处理的子 要素时，操作进入到步骤S517。
在步骤S517中，将作为 一个页面的绘制结果的页面图像存 储器的内容，即作为〈Page〉要素中的〈Image〉和〈Text〉要素描 述的绘制结果传送到UI 115的显示緩冲器并将其显示。
接着，说明在基于图6的电子文档中第一页面上的绘制描 述，执行图5的流程图示出的图3中步骤S307的处理的情况下的 例子。
通过在步骤S501中的处理，从图6中第一页面的〈Page〉要 素602的属性值Width二 "1680", Height = "2376"，确定页面的 图像大小为1680x2376^象素。通过在步骤S502中的处理，例如，在利用RGB24比特颜色 来表现页面图像的情况下，获得1680x2376x3比特的存储器。
通过在步骤S504中的处理，将在图6的〈Image〉要素603的 Data属性值中描述的压缩代码解压缩为图像数据，将该图像数 据重写在整个页面图像存储器上。顺便提及，在该例子中，图 像数据本来具有与页面的大小相同的大小的1680x2376像素， 所以没有应用缩;改处理。
通过在步骤S505中的处理，从图6中的〈Text〉要素604获得 X- "236"、 Y= "272"、字符数量]SK3、字符大小="97"和字 符颜色="0， 0， 0, 255"。在〈Text〉要素604中，没有定义Font 要素，从而指定在S301中已经指定的默认的字符代码。这里， 将在步骤S301中指定字体ID^ "FontOl"。
通过在步骤S509中的处理，首先，获得〈Text〉要素604的 String属性中的第 一 个字符代码:0x2422和CGlyphId= " 0"。
由于指定了默认的字体ID^ "FontOl",基于在图6的〈Font〉 要素611中的1(1= "0"的〈Glyph〉要素中所描述的Path属性来创 建要在步骤S511中生成的字形二值图像。具体地，基于Path属 性的描述，用l填充1024xl024像素的整个Glyph图像区域。
顺便提及，由于图6的电子文档中描述的〈Text〉要素604和 605中字符的CGlyphld都是"0"，结果，对于所有字符，步骤 S511的处理结果是相同的。因此，将已经在步骤S511中生成的 字形图像临时存储在存储器中，并且在绘制其它字符时，还将 使用该临时存储的字形图像。
在步骤S512中，利用字符大小="97"将字形的字符图像 缩放为97x97像素。
在步骤S513中，将从页面图像的位置(236, 272)开始的 97x97像素的矩形范围作为缩放后的字形的字符图像的绘制目标区域。在图6的例子中，然而，由于字符颜色="0， 0, 0, 255"，即alpha值A=255,即使字形二值图像的相应的像素值是1, 也总是(r'， g'， b') = (r, g, b)。即，在步骤S513的处理前后， 页面图像中该矩形区域中的像素值不发生改变。
在步骤S514中，基于字符代码串表判断图6中的〈Text〉要素 604中的第一个字符是否是已经在图3的步骤S305中获得的、在 位置范围n到(n+k-l)中的字符。
这里，例如，从图6的电子文档生成图12的字符代码串表， 并且假定已经在图3的步骤S305中判断为与关键字相一致的字 符串的位置在3到4的范围中。此时，在图6中的〈Text〉要素604 中第一个字符代码描述的开头位置是如图所示的第1093个。该 数值与字符代码串表的3到4的范围中的字符的描述位置都不一 致，从而通过步骤S516处理进入到下一个字符。
之后，处理继续，并且在图6中的〈Text〉要素605中的第一 个字符的处理中，在步骤S514中，该第一个字符的位置判断为 与字符代码串表的3到4的范围中字符的开始位置相一致。在步 骤S515中，执行突出显示处理。
关于该字符，在步骤S515中，对于从页面图像存储器的位 肆36, 472)^台的92x92的区域中相应的字形二值图像的像素 值为1的像素，将该像素的像素值(r, g, b)分别改变为(G(r)， G (g), G(b))。
在如上述所有〈Text〉要素被绘制出之后的页面图像如图13 所示。即，与在步骤S305中已经被判断为相一致的范围中的字 符相对应的区域成为每个矩形中亮度被反转的状态。反之，与 剩下的字符相对应的区域成为与利用〈Image〉要素绘制的图像 数据一样。在上述的例子中，说明了日文文档的情况，然而在 英文文档的情况下也可以进行类似处理。例如，当对图18中示出的图像执行图4中示出的电子文档数据生成处理时，生成用字 母字符代码来描述图6中的电子文档的604和605的电子文档。当 利用例如字符串"EF"来搜索电子文档数据时，执行图5中示 出的绘制处理，并且如图19所示，反转显示与被搜索的字符串 相对应的矩形区域中的图像。
因此，由于突出显示了已经被搜索到的字符串，用户可以 仅通过观看在步骤S307中显示的页面上的图像，容易地判断出 页面中搜索关键字位于何处。
另一方面，依赖于查看器应用程序的种类，存在以不同的 显示方法来突出显示的一些情况。即，依赖于图5中的步骤S515 的对字符部分突出显示处理的方法，在一些情况下，可能不会 做出合适的突出显示，从而用户不能识别出被描述的字符。例 如，在突出显示处理中，假定存在这样的查看器，该查看器使 得相应的字形二值图像的像素值为0的像素保持原样，并且对于 字形二值图像的像素值为l的像素，使得像素值(r， g, b)分别 改变成已经预先确定的颜色(例如，(0, 0， O))。在这种情况下， 由于才艮据本实施例的FontOH吏用实心填充的四边形的字形，当 突出显示时，将显示如图17中的页面图像。当处于如图17的状 态时，不能看封字符图像，并且用户可见度变差。
因此，在如上所述的本实施例中，假定了使用这样的查看 器应用程序的情况，在步骤S208中生成电子文档时，将存储具 有不同字形的多种字体数据。因此，在用户通过再次使用图3 的步骤S301中的字体ID指定处理来指定其它字体ID的情况下， 突出显示的方法可能被改变。
图14中示出了在步骤S301中将"Font02"指定为默认字体ID 并进行突出显示的情况下的页面图像显示的例子。当通过使用 在图6的描述612中指定的字形二值图像来绘制出分别改变为(0， 0, O)的像素值(r, g, b)的突出显示时，生成如图14的页面 图像。即，由于在"Font02"中使用的字形是在绘制矩形单元 下部处填充1024x64的区域的水平直线字形，在该部分处的像 素值为(O, 0， O)的情况下，将做出突出显示，像如图14中字符 为被添加了下划线的字符一样。因此，用户可以容易地判断出 已经被搜索出的字符串在页面中位于何处，还可以确保字符图 像的可见度。应注意，尽管图14示出包括日文字符串的文档图 像的例子，还可以类似地处理包括英文(字母)字符的文档图像。 例如，当利用字符串"EF"来搜索文档图像时，像如图20所示 的给字符串提供下划线那样来突出显示搜索到的字符串。
这里，说明返回到图3。在步骤S308中，由用户选择搜索 和浏览处理是否结束，或者是否另外将其它搜索点作为对象继 续搜索。在由用户选择结束搜索的情况下，图3的处理结束；并 且在选择继续搜索的情况下，操作进入到步骤S309。
在步骤S309中，n=n+k，并且操作返回到步骤S305,之后 重复处理。
如上所述，根据本发明的实施例l，在将纸文档转换成电子 文档时，做出描述，从而使得利用透明色在页面图像上绘制已 兹从页面提取出的字符，且存储具有不同^^f^来辨^H^ 体。对于该电子文档，用户可以选择在突出显示中使用的默认 字符形状，即，他/她可以做出字符形状的切换指示。因此，可 以切换到最适合各个查看器应用程序或者其文档图像的字符形 状，并且将该字符突出显示。可以在用户以高可见度确认与搜 索关键字相 一 致的点被突出显示的页面显示的同时继续搜索。
在根据本实施例的电子文档中，其内部部分存在对于一个 字符的由简单的字符形状形成的多种字体数据，当绘制文档中 的透明字符时，可以选择上述简单的字符形状中的 一 种来绘制。另外，在每种字体数据中，可以对于多个字符种类共同使用一 种字符形状。因此，尽管要使用的字体数据被保持在电子文档
中，但只有少量的字符形状数据，从而可以将该电子文档的文 件大小(数据量)最小化。另外，存储了多种字体数据，从而能 在突出显示搜索时做到高可见度或操作性的显示。 实施例2
现在，参照

根据本发明的第二典型实施例(实施例2)。
图15是根据该实施例2生成的电子文档的例子。同上述的实 施例l相同，图像处理装置100生成并发送电子文档，并且图像 处理装置110接收、浏览并搜索电子文档。
图15中的附图标记1501和1513表示代表电子文档的开始和 结束的描述。附图标记1502和1506表示代表在第一页面上的绘 制的开始和结束的描述。附图标记1503表示在第一页面上图像 数据绘制的描述。附图标记1504和1505表示在第一页面上字符 绘制的描述。另外，附图标记1507和1510表示代表在第二页面 上的绘制的开始和结束的描述。附图标记1508表示在第二页面 上的图像数据绘制的描述。附图标记1509表示在第二页面上的 制的描迷:^hffl^标义1511和1512^^,丁;在该电-子^^当中使 用的字体数据的描述。
尽管在实施例l中，在图3的步骤S301中由用户选择默认的 字体ID,在实施例2中，生成电子文档从而使得进行浏览操作 的应用程序(查看器)可以做出判断以选择字体ID。在这种情况 下，在图4的步骤S408中的字体数据描述中，将应用程序的用 于判断的属性添加到〈FonP要素。在本实施例中，可以从图15 中〈Font〉要素1511和1512中的Shape属性，容易地判断出字体数 据的形状(字体数据的特征)。在这种情况下，通过使用字体数据的该Shape属性作为判断参考，应用程序可选择适合于通过这 一应用程序进行突出显示的显示字体ID。顺便提及，上述附加 的属性只是一个例子，除了字体数据的特征以外，还可以将进 行浏览处理的应用程序的名称和种类作为属性来描述。在这种 情况下，令该属性作为判断参考，例如，应用程序做出包括有 该应用程序的名称的字体数据的判断，并且确定用于默认显示 的字体ID。
根据实施例2，在将纸文档转换成电子文档时，描述已经从 页面提取出的字符以在页面图像上利用透明色来绘制该字符， 描述了具有不同字符形状的多种字体，并且包括用于判断应用 程序应该使用哪种字体的属性。对于该电子文档，应用程序(查 看器等)可以判断上述属性并且自动选择字符形状，并且可以切 换到适合于使用该应用程序来突出显示的字符形状以被显示 出。此外，在用户确认与搜索关键字相一致的点被突出显示、 并且还自动确保字符图像的可见度的页面显示时，他/她可以继 续搜索。
如上所述，描述根据实施例2的电子文档，从而使得在绘制 出所有已经在文档中描述的透明字符时，应用程序(查看器等) 判断属性，并且从多种字符形状中选择 一 种字符形状并进行绘 制。另外，在每种字体数据中，可以对于多个字符种类共同使 用一种字符形状。因此，尽管电子文档保持使用在该电子文档 中的字体数据，但只有少量的字符形状数据，从而可以将该电
子文档的文件大小(数据量)最小化。此外，由于存储了一些字 体数据，可以在搜索的突出显示时做出最适合于该应用程序的 显示。
实施例3
另外，尽管在上述的实施例中，生成了在〈Image〉要素中描述对于扫描图像做出例如JPEG压缩的整个图像以及在 〈Text〉要素中描述透明文本的电子文档， <旦不限于这样的例子。 例如，替代〈Image〉要素中对通过JPEG压缩整个扫描图像 而获得的图像的描述，可以在字符区域或图形区域中存储通过 对各颜色创建二值图像以进行MMR压缩而获得的图像，并且在 其它区域存储经JPEG压缩后的图像。这样，分析包括在文档图 像中的区域以适当地做出压缩处理的方法，可以采用在例如日 本特开平07-236062或日本特开2002-077633中所描述的方法。 通过将根据本发明的抑制透明文本绘制中所使用的字体数据的 数据量的处理和该图像压缩处理结合，可以生成更好压缩的电 子文档。
此外，替代整个图像，优选地只将字符区域、图形区域、 表区域和照片区域等的部分区域与位置数据一起存储。 实施例4
此外，在上述的实施例中，如图3和5中所_说明的，在4叟索 时，按从文档开头开始的顺序来搜索与关键字相 一致的字符串， 并且突出显示被最先检测出的字符串。另外，在配置成存在"搜 索下一个"的指示的情况下，顺次地，搜索出下一个相一致的 字符串并突出显示。这样，尽管在上述实施例中，按从开头开 始的顺序来搜索与搜索关键字相一致的字符串，并且在每次找 到搜索关键字时顺次突出显示，但是不限于这种情况。例如， 优选配置成将包括在电子文档中的所有字符串与搜索关键字比 较，指定出与该搜索关键字相一致的所有字符串，并且同时突 出显示与该关键字相一致的所有字符串。
至此，已经说明了根据本发明的各种典型实施例。 还通过系统或装置的计算机(或CPU或MPU)从记录了进行 上述实施例中描述的流程图的操作的程序代码的记录介质读取并执行上述程序来实现本发明的目的。在这种情况下，从记录 介质读出的程序代码自身使得计算机实现上述实施例的功能。 因此，这些程序代码和存储并记录了程序代码的计算机可读记 录介质也成为本发明的一部分。
可以采用例如软盘(注册商标)、硬盘、光盘、》兹光盘、
CD-ROM、 CD-R、磁带、非易失性存储器卡和ROM作为用于提 供程序代码的记录介质。
施例的功能。另外，该程序的执行还包括基于程序的指示由在 计算机上操作的OS等来执行部分或全部实际处理的情况。
另外，还通过插入到计算机的扩展板或连接到计算机的扩 展单元来实现上述实施例的功能。在这种情况下，首先，将已 经从记录介质读出的程序代码写入到设置在插入到计算机的扩 展板或连接到计算机扩展单元上的存储器中。之后，基于该程 序代码的指示，设置在这样的扩展板或扩展单元上的CPU等执 行部分或全部实际处理。同样，通过这样的扩展板或扩展单元 的处理，实现了上述实施例的功能。
尽管已经参考典型实施例说明了本发明，但应理解，本发 明不限于所公开的典型实施例。所附权利要求书的范围符合最 宽的解释，以涵盖所有的修改、等同的结构和功能。
权利要求
1. 一种图像处理装置，包括字符识别单元，用于通过对文档图像中的多个字符图像执行字符识别处理，来获得与每个字符图像相对应的字符代码；以及生成单元，用于生成存储了所述文档图像、多个所述字符代码以及多种字体数据的电子文档，其中，多个所述字符代码是由所述字符识别单元获得的，其中，在绘制与多个所述字符代码相对应的字符时，选择所述多种字体数据中的一种字体数据，并且对于多个所述字符代码共同使用所选择的字体数据。
2. 根据权利要求l所述的图像处理装置，其特征在于，在 绘制存储在所述电子文档中的所述文档图像和所述字符代码 时，用于绘制所述字符代码的所述 一 种字体数据是由用户的指 示或用于绘制的应用程序从所述多种字体数据选择出来的。
3. 根据权利要求l所述的图像处理装置，其特征在于，所 述字体数据是具有简单形状的字体数据。
4.根据权利要求l所述的图像处理装置，其特征在于，存 储在所述电子文档中的所述多种字体数据包括具有矩形形状的 字体数据。
5. 根据权利要求l所述的图像处理装置，其特征在于，存 储在所述电子文档中的所述多种字体数据包括具有加了下划线 的形状的字体数据。
6. 根据权利要求l所述的图像处理装置，其特征在于，存 储在所述电子文档中的所述多种字体数据包括至少具有波浪 线、虚线、三角形、圓形或四边形之一的字体数据。
7. 根据权利要求l所述的图像处理装置，其特征在于，所 述生成单元用于在所述电子文档中存储属性数据，所述属性数据为在用于乡L多种
8. 根据权利要求l所述的图像处理装置，其特征在于，在 由所述生成单元生成的电子文档中包括用于在与所述文档图像 中的每个字符图像基本相对应的位置上利用透明色绘制与多个所述字符代码相对应的字体数据的描述。
9. 根据权利要求l所述的图像处理装置，其特征在于，所 述电子文档是以XML格式或XPS格式描述的电子文档。
10. 根据权利要求l所述的图像处理装置，其特征在于，还 包括压缩单元，用于压缩所述文档图像，其中，要存储在所述电子文档中的文档图像是由所述压缩 单元进行了压缩处理的文档图像。
11. 根据权利要求10所述的图像处理装置，其特征在于， 所述压缩单元对包括在所述文档图像中的区域进行分析，并且 适应性i也进^于压缩。
12. 根据权利要求l所述的图像处理装置，其特征在于，还 包括搜索单元，用于利用输入的关键字对所生成的所述电子文 档进行搜索，并且使用所述多种字体数据中的一种来突出显示 与所述关键字相一致的部分。
13. 根据权利要求2所述的图像处理装置，其特征在于，还 包括搜索单元，用于利用输入的关键字对所生成的所述电子文 档进行搜索，并且使用由用户的指示或用于绘制的应用程序从 所述多种字体数据之中选择出来的字体数据来突出显示与所述 关键字相一致的部分。
14. 一种图像处理装置，包括搜索单元，用于利用输入的关键字来对存储了文档图像、 多个字符代码以及多种字体数据的电子文档进行搜索，其中， 所述多个字符代码是通过对所述文档图像执行字符识别处理而 获得的，以及所述多种字体数据在绘制与所述多个字符代码相 对应的字符时由所述多个字符代码共同使用；切换单元，用于接收来自用户的、关于所述多种字体数据 的字体数据切换指示；以及电子文档显示单元，用于使用所述切换单元切换的字体数 据，来突出显示作为所述搜索单元的搜索结果的、与所述关键 字相一致的部分。
15. —种图像处理装置，包括搜索单元，用于利用输入的关键字来对存储了文档图像、 多个字符代码、多种字体数据以及属性数据的电子文档进行搜 索，其中，所述多个字符代码是通过对所述文档图像执行字符 识别处理而获得的，所述多种字体数据在绘制与所述多个字符 代码相对应的字符时由所述多个字符代码共同使用，以及所述 属性数据在选择用于绘制的字体数据时用作判断标准；以及电子文档显示单元，用于使用基于用作判断标准的所述属 性数据从所述多种字体数据之中选择出来的字体数据，来突出 显示作为所述搜索单元的搜索结果的、与所述关键字相一致的 部分。
16. —种图像处理方法，包括通过对文档图像中的多个字符图像执行字符识别处理来获 得与每个字符图像相对应的字符代码；以及生成存储了文档图像、多个所述字符代码以及多种字体数 据的电子文档，其中，所述多个所述字符代码是通过所述字符识别处理而获得的，其中，在绘制与多个所述字符代码相对应的字符时，选择 所述多种字体数据中的 一 种字体数据，并且对于多个所述字符 代码共同使用所选择的字体数据。
全文摘要
本发明提供一种图像处理装置和图像处理方法。在页面图像和字符的绘制描述的电子文档中，希望尽管绘制字符所需的字体数据被保持在电子文档中，但是可以将电子文档的大小最小化。另外，希望在突出显示搜索时确保可见度。生成了一种存储了文档图像、多个字符代码以及多种字体数据的电子文档，其中，多个字符代码是通过对文档图像执行字符识别处理而获得的。在绘制与多个所述字符代码相对应的字符时，选择所述多种字体数据中的一种字体数据，并且对于多个所述字符代码共同使用所选择的字体数据。字体数据是具有简单形状的字体数据，则是更令人满意的。
文档编号G06F17/30GK101458699SQ20081018328
公开日2009年6月17日 申请日期2008年12月12日 优先权日2007年12月12日
发明者中西惠子, 榎本诚, 金津知俊 申请人:佳能株式会社