专利名称：图像处理装置及方法
技术领域：
本发明涉及图像处理装置及方法，用于在色调特性有偏差的显示部件上显示图像。
背景技术：
近年来，作为出版物的发行手段之一，提出所谓的电子出版。通过上述电子出版而出版的电子出版物由表示文章的文章数据、和表示插图等图像的图像数据构成，存储在存储媒体中。读者预先准备备有存储媒体的读出装置和显示装置的装置，将上述存储媒体装入读出装置，上述存储媒体内的上述图像数据及上述文章数据由上述读出装置读出，提供给上述显示装置。上述图像数据表示的图像被显示在上述显示装置的显示画面上。上述文章数据首先用上述显示装置内预先备有的字符字型(フォン ト)变换为图像数据，变换后的图像数据表示的图像被显示在显示装置的显示画面上。
作为上述显示装置，例如可以举出液晶显示装置及阴极射线管。上述显示装置的显示画面由多个显示像素配置为行列状而构成。上述图像由多个像素配置为行列状而构成。图像数据由像素数据构成，该像素数据表示构成图像的各像素的亮度。上述显示装置按照与各像素数据对应的亮度使各显示像素发光。由此，在显示画面上显示图像数据表示的图像。
现在，电子出版物多是将已经出版的书、即内容(コンテンッ)进行数据化而得到的。因此，在形成上述电子出版物的情况下，多是用上述内容来形成上述文章数据及上述图像数据。为了用上述内容来形成上述电子出版物，首先，上述内容的各页被分为印刷文章的部分和印刷图画的部分。接着，印刷上述图画的部分用扫描仪来读取，形成上述图像数据。接着，印刷上述文章的部分用扫描仪来读取，形成图像数据，对该图像数据施加字符识别处理，形成上述文章数据。
在用上述过程来形成上述文章数据的情况下，有时在上述文章数据表示的文章中，发生因字符识别处理的识别错误等引起的错字、漏字。因此，尽管在形成上述内容的阶段完成了文章的校对，但是在形成上述文章数据的阶段还需要再一次校对上述文章数据表示的文章。因此，要双重进行文章的校对，所以上述文章数据的形成很麻烦，上述文章数据的形成成本也增加。
此外，上述文章数据是例如所谓的文本形式的数据，所以构成文章的各字符在上述文章数据内由字符码来表示。因此，在将上述文章数据表示的文章显示在上述显示装置上的情况下，上述文章的各字符用上述显示装置具有的字型来表示。因此，有时在上述显示装置上显示上述字符的情况下所用的字型、和在上述内容的各页上印刷字符的情况下所用的字型不同。因此，上述显示装置上显示的文章和上述内容的各页上印刷的文章给人的视觉印象不同，使读者感到不舒服。
因此，为了节省校对的时间，而且原封不动地保持上述内容的各页上印刷的文章的视觉印象，考虑将上述内容的各页不区分为文章和图画，而是分别看作一张图画。在此情况下，电子出版物由分别表示上述内容的各个整页的图像数据构成，上述各图像数据通过用扫描仪读取上述内容的各页来形成。此时，发生以下3个问题。
第1个问题是，在用扫描仪读取上述内容的各页来形成上述图像数据的情况下，上述图像数据表示的图像的对比度不一定是上述图像数据的规格上最大的对比度。这是因为，上述内容的各页的底色不一定是雪白的，而墨色也不是漆黑的。此外，也与扫描仪的特性有关。在将对比度低图像显示在上述显示装置上的情况下，有时字符很难认。在上述显示装置自身的对比度低的情况下，与上述图像数据的规格上最大的对比度的图像相比，显示画面上显示的图像内的字符的可识性容易降低。上述对比度低的图像是指，例如如图23A所示，图像内的底的部分的像素的颜色是雪白以外的颜色、例如奶油色，而图像内构成字符的像素的颜色是漆黑以外的颜色、例如深褐色。上述最大对比度的图像是指下述图像例如如图23B所示，图像内构成背景的部分的像素的颜色是雪白的，而图像内构成字符的像素的颜色是漆黑的。
特开昭63-39280号公报提出一种图像处理装置，用于在图像的色调集中在所谓的中间色调、即灰色的情况下，即在图像的对比度低的情况下，用伽马校正处理来提高图像的对比度。该公报的图像处理装置将与多个图像色调分布分别对应的伽马变换表预先存储在RAM中。上述图像处理装置在收到被处理图像后，首先检测上述图像的色调分布，将与检测出的色调分布对应的某一个上述伽马变换表从RAM中读出。用读出的伽马变换表对上述图像施加伽马校正。在该公报的图像处理装置中，上述伽马变换表是预想用本公报的图像处理装置要处理的图像的色调分布、按照预想的色调分布来形成的。因此，在处理未预想到的色调分布的图像的情况下，没有与该图像的色调分布对应的伽马变换表，所以难以提高图像的对比度。
第2个问题是，有时由于图像数据的分辨率和显示装置的分辨率不一致，致使上述显示装置的显示画面上显示的图像的可识性降低。以下说明该第2个问题。一般，显示装置的显示画面如图24所示，由多个显示像素配置为行列状而构成，分辨率因显示像素数而异。图24A是上述显示画面1整体的示意图，而图24B是上述显示画面1的一部分2的放大示意图。以下，在附图中，像素及显示像素分别由正方形来表示，像素及显示像素的亮度用正方形内的斜线的条数来表示。像素及显示像素的亮度越大，则斜线的条数越少。
一般，上述显示装置的分辨率低于上述扫描仪的分辨率及上述内容的印刷的分辨率。因此，上述内容是由比显示像素的大小更小的点或线构成的小字符来印刷的。在上述显示画面上，上述小字符基本上不能显示，但在使用所谓的黑白的中间色调的情况下，能够进行伪显示。为了用黑白的中间色调来显示上述小字符，将各显示像素的亮度设为与上述内容内的各显示像素相当的部分内的底的部分和该部分内的字符的一部分之间的亮度平均值。
在用黑白的中间色调来表示上述小字符的情况下，观看上述显示画面的人意识不到显示像素，而是感到上述小字符被圆滑地显示，但是上述小点或线也给人以模糊的印象。这是由于以下理由。如图25A所示，在上述内容3内描绘的构成字符4的线段的宽度和构成上述字符4的点的大小在显示像素5以下的情况下，包含上述线段和点的至少一部分的多个显示像素5的各亮度由各显示像素5的面积和上述至少一部分之间的比率来决定。即，在此情况下，上述至少一部分亮度分散在显示像素5整体上。因此，显示像素5的亮度如图25B所示，低于上述至少一部分的亮度。因此，上述小字符给人以模糊的印象。
由于上述理由而给人以模糊的印象的图像通过用所谓的拉普拉斯算符(ラプラシァン)施加锐化处理，能够变换为消除了模糊的好看的图像。作为与锐化处理有关的现有技术，有特开平5-167852号公报、及特开平7-240841号公报。
特开平5-167852号公报提出一种图像锐化方法，用于在对图像施加上述锐化处理的情况下，防止上述图像内的亮度变化平坦的部分变得粗糙。在执行上述图像锐化方法的情况下，首先，求被处理图像的各像素的亮度的2次微分的值，作为各像素的锐化的评价函数。接着，按照上述各像素的锐化的评价函数，分别决定表示各像素的锐化程度的系数。用上述系数对上述各像素施加上述锐化处理。
如上所述，在着眼于图像内的字符的边缘、进行锐化处理以增强边缘强的部分的锐化程度的情况下，上述图像内的小字符由于字符本身零碎、边缘难以增强，所以上述图像内的上述字符的部分的锐化程度容易减弱。此外，在上述情况下，大的字符或线段等虽然边缘增强了，但是如果在大的字符及线段处增强锐化程度，则线段的松垮、即所谓的ジャギ一(参差不齐)变得明显。因此，在使用上述锐化处理的情况下，难以使小字符易读。
此外，特开平7-240841号公报提出一种图像锐化处理装置，用于在对图像施加上述锐化处理的情况下，不管形成图像数据的扫描仪的图像恶化特性如何，总是能得到相同的处理结果。上述图像锐化处理装置首先用根据上述扫描仪的MTF而决定的扫描仪的特性参数来计算表示锐化处理的锐化程度的系数。接着，用上述系数对被处理图像施加上述锐化处理。
例如，如果对图26A所示的图像施加上述公报说明的锐化处理，则成为图26B所示的图像。在此情况下，如果锐化程度过强，则上述图像的亮度分布接近二值图像，所以用上述黑白的中间色调表示的字符失去平滑。因此，在施加上述公报说明的上述锐化处理、即不考虑字符和图画、而是对图像整体施加一样的锐化的情况下，难以使上述小字符易读。
此外，特开平6-308924号公报提出一种显示装置，用于在将图像显示在显示装置上时，使图像内的颜色不同的2个部分的界限明了。上述显示装置的显示画面由配置为行列状的多个点构成，各点的颜色分别由表示图像的图像数据内的多个数据来决定。在决定构成显示画面内任意1列或任意1行的多个点的颜色的数据按与点的排列相同的顺序来排列的情况下，如果点的颜色相等的多个数据并列，则将上述多个数据中最靠端部的数据变换为将点的颜色决定为黑色的数据。在对构成上述电子出版物的上述图像数据施加上述处理的情况下，决定表现上述小字符的像素的颜色的像素数据由于亮度的分散，与决定上述小字符周围像素的颜色的像素数据之间的亮度差小，所以该像素数据很少被变换为将点的颜色决定为黑色的数据。因此，难以使上述小字符易读。
第3个问题是，由于上述显示装置的色调特性的偏差，使得显示画面上显示的图像的可识性降低。以下具体说明。上述显示装置的色调特性是指像素数据表示的亮度和显示像素的亮度之间的对应关系，具体地说，表示随着像素数据表示的亮度变化、按照上述像素数据来发光的显示像素的亮度如何变化。一般，上述显示装置的上述色调特性多是非线性的。
上述色调特性例如如图27所示，通过曲线图的色调特性曲线11来表示，该曲线图将像素数据表示的亮度作为横轴，而将显示像素的亮度作为纵轴。色调特性曲线11越接近通过原点、斜率为45度的基准直线12，则上述色调特性越好。此外，在用将上述像素数据表示的亮度的对数作为横轴、而将上述显示像素的亮度的对数作为纵轴的曲线图的曲线来表示上述色调特性的情况下，上述曲线的斜率相当于所谓的伽马特性。图27的色调特性曲线11画出上述显示装置上显示的图28的图像的虚拟线段13上的多个显示像素的亮度和分别决定该像素亮度的多个像素数据。上述各像素数据按显示像素从左向右排列的顺序依次逐次增加预定的值。
为了校正上述色调特性，包含上述显示装置的图像处理装置包括与上述色调特性对应的亮度校正表。图29所示的亮度变换曲线14表示图27的色调特性曲线11表示的上述色调特性所对应的上述亮度校正表的输入亮度和输出亮度之间的关系。在对要显示的图像施加色调校正处理的情况下，上述图像的各像素的亮度被分别置换为与该各像素的亮度相等的上述亮度校正表内的输入亮度所对应的上述亮度校正表内的输出亮度。图30的曲线15表示在将施加了色调校正处理的上述图像显示在上述显示装置上的情况下、该图像的亮度和上述显示装置的显示像素的亮度之间的关系。如图30的曲线图所示，在上述情况下，上述曲线15与上述基准直线12一致。
此外，为了进行色调特性校正，上述图像处理装置包括与上述显示装置的色调特性对应的伽马校正表。图31的曲线图的亮度变换曲线16表示图27的色调特性曲线11表示的色调特性所对应的伽马校正表的输入亮度和输出亮度之间的关系。在对上述图像施加了伽马校正处理的情况下，上述图像的各像素的亮度被分别置换为与该各像素的亮度相等的上述伽马校正表内的输入亮度所对应的上述亮度校正表内的输出亮度。图32的曲线17表示在将施加了伽马校正处理的上述图像显示在上述显示装置上的情况下、该图像的亮度和上述显示装置的显示像素的亮度之间的关系。如图32的曲线图所示，在上述情况下，上述曲线17与上述基准直线12大致一致。
在上述显示装置的色调特性有偏差的情况下，即为非线性的情况下，上述色调特性曲线11越远离上述基准直线12，则上述显示画面上显示的图像越难看。与上述色调特性的偏差对应的图像的好看程度的变化在上述图像是所谓的浓淡图像、即图画的情况下不太能觉察到，而在上述图像内描绘了上述小字符的情况下很明显。在后一情况下，上述色调特性的偏差越大，则上述显示画面上显示的上述图像内记载上述小字符的区域内的黑的部分和白的部分之间的比例的平衡越显得偏离本来的平衡。例如，如果对图33A所示的图像施加上述的色调校正处理，则成为图33B所示的图像。由此，在上述区域中，为了表示相同粗细的线而应为相同浓度的多个像素在一部分上忽淡忽浓。因此，上述区域内的字符深浅不均，所以难看。特别是在上述显示装置是液晶显示装置的情况下，一般白色的小区域倾向于无效，在显示上述图像时，上述小字符多是飞白显示。
如上所述，上述图像处理装置有上述3个问题。此外，在将上述各公报提出的现有技术应用于上述图像处理装置的情况下，也难以解决第1及第2个问题。此外，几乎没有显示装置能够使用户自由地调整上述色调特性的偏差以解决第3个问题，所以解决第3个问题就更困难了。
本发明的目的在于提供一种图像处理装置及方法，能够防止上述色调特性的偏差、上述图像的对比度、及上述图像的分辨率引起的图像的可识性降低。
发明概述第1发明是一种图像处理装置，其特征在于，包含显示部件，具有预定的色调特性，图像输入部件，输入由多个像素构成的图像，对比度估计部件，估计上述图像的对比度，以及亮度校正部件，根据估计出的上述对比度来增大上述图像的对比度，而且根据上述色调特性来校正构成上述图像的各像素的亮度；
上述显示部件显示由上述亮度校正部件校正过各像素的亮度的图像。
根据本发明，图像处理装置内的亮度变换部件不仅考虑上述显示部件的色调特性，还考虑估计出的上述对比度，来进行构成上述图像的各像素的亮度变换。由此，上述图像处理装置不管上述图像具有什么样的对比度，总是能提高上述图像的对比度。同时，不管上述显示部件的色调特性的偏差如何，上述显示部件上显示的上述图像内描绘的字符都变得好看。因此，在上述显示部件上显示图像的情况下，能够防止上述图像的对比度及上述显示部件的色调特性两者引起的上述图像的可识性降低。此外，在从上述图像输入部件输入的上述图像和上述显示部件上显示的图像之间，没有上述显示部件的色调特性引起的亮度分布的变化。由此，能够提高上述图像的再现性。
此外，第2发明是一种图像处理装置，其特征在于，包含显示部件，具有预定的色调特性，图像输入部件，输入由多个像素构成的图像，字符区域提取部件，从上述图像内提取描绘字符的字符区域，锐化部件，对上述图像内的上述字符区域以外的剩余区域分别施加预定程度的锐化，对上述字符区域分别施加比对上述剩余区域施加的锐化程度更强程度的锐化，以及亮度校正部件，根据上述显示部件具有的上述色调特性，来校正分别构成施加了锐化的上述字符及上述剩余区域的各像素的亮度；上述显示部件显示由上述亮度校正部件校正过各像素的亮度的图像。
根据本发明，在上述图像处理装置内，上述锐化部件使对上述字符区域施加的锐化的程度比对上述剩余区域施加的锐化的程度更强。由此，改善了上述字符区域内描绘的字符的边缘部分的模糊，所以在上述图像被显示在上述显示部件上的情况下，上述字符变得易读。上述边缘部分的模糊是上述图像的分辨率和上述显示部件的分辨率之差引起的。而且，能够防止上述剩余区域内描绘的图画中包含的噪声由上述锐化处理而增强，使上述图画平滑。同时，在上述图像被显示在上述显示部件上的情况下，不管上述显示部件的色调特性的偏差如何，上述图像内描绘的上述字符都变得好看。因此，能够防止上述图像的分辨率和上述显示部件的分辨率之差及上述显示部件的色调特性两者引起的上述图像的可识性降低。此外，基于与第1发明的图像处理装置相同的理由，能够提高上述图像的再现性。
此外，第3发明的特征在于，上述锐化部件将构成上述图像的各像素的亮度f(x，y)和上述各像素的锐化程度的系数h(x，y)代入式g(x，y)=f(x，y)-h(x，y)×_2f(x，y)来分别求锐化过的各像素的亮度g(x，y)；上述各像素的锐化程度的系数h(x，y)在上述各像素位于上述剩余区域内的情况下，是预定的第1常数αi，而在上述各像素位于上述字符区域内的情况下，是比第1常数αi大的第2常数αc。
根据本发明，上述锐化部件根据上式，求上述字符区域和上述剩余区域的各像素的锐化过的亮度g(x，y)，将上述字符区域及上述剩余区域的各像素的亮度f(x，y)置换为各像素的上述锐化过的亮度g(x，y)。由此，对上述字符区域及上述剩余区域施加锐化。在此情况下，对上述字符区域和上述剩余区域分别施加的锐化的不同仅在于上式的系数h(x，y)。因此，只需对各像素，根据该各像素是否位于字符区域内，来变更上述系数h(x，y)，就能够对上述字符区域以比上述剩余区域更强的锐化程度来施加锐化。因此，变更各像素的锐化程度的过程简化。
此外，第4发明的特征在于，上述字符区域提取部件将构成上述图像的各像素的亮度二值化，求二值化过的亮度相等的多个像素连结而构成的1个或多个连结部分，分别求外接各连结部分的外接矩形，将至少一部分重合的外接矩形统合为单一外接矩形；在分别以各外接矩形为轮廓的图像内的1个或多个区域中，将区域内多个像素的亮度的最大值及最小值之差在预定的基准差分值以上的区域作为字符区域来提取。
根据本发明，上述字符区域提取部件按上述过程从上述图像中提取上述字符区域。由此，在上述图像内描绘至少一个字符的情况下，能够容易地提取外接该字符的外接矩形作为字符区域。
此外，第5发明的特征在于，上述字符区域提取部件将构成上述图像的各像素的亮度二值化，求二值化过的亮度相等的多个像素连结而构成的1个或多个连结部分，分别求外接各连结部分的外接矩形，将至少一部分重合的外接矩形统合为单一外接矩形；在分别以各外接矩形为轮廓的图像内的1个或多个区域中，将与预定的基准轴线大致平行而排列的区域作为字符区域来分别提取。
根据本发明，上述字符区域提取部件按上述过程从上述图像中提取上述字符区域。由此，在上述图像内、多个字符排列为直线状的情况下，能够容易地提取分别外接上述各字符的外接矩形作为字符区域。上述多个字符排列为直线状例如是在上述图像内描绘文章的情况。由于这些事实，在上述图像内描绘文章的情况下，即使求外接上述字符以外的连结部分的外接矩形，也能够防止提取该外接矩形作为字符区域。上述字符以外的连结部分例如是图像内描绘的图画的一部分。
此外，第6发明的特征在于，还包含对比度估计部件，估计上述图像的对比度；以及对比度校正部件，根据估计出的上述对比度，来增大上述图像的对比度。
根据本发明，在上述图像处理装置内，除了上述锐化部件进行的锐化处理、上述亮度校正部件进行的亮度校正处理之外，还由上述对比度校正部件将上述图像的对比度提高得比该图像原来的对比度更强。因此，不仅能够防止上述图像的分辨率和上述显示部件的分辨率之差及上述显示部件的色调特性两者引起的上述图像的可识性降低，还能够防止上述图像的对比度引起的上述图像的可识性降低。
此外，第7发明的特征在于，上述对比度估计部件形成构成上述图像的各像素的亮度的直方图；求在预定的基准亮度以上而在上述各像素取得的最大亮度以下的第1范围内的直方图的最大值所对应的第1亮度；求在上述各像素取得的最小亮度以上而不足上述基准亮度的第2范围内的直方图的最大值；判定上述第2范围内的上述直方图的最大值是否在预定的基准值以上；在第2范围内的直方图的最大值在基准值以上的情况下，根据第1亮度和与第2范围内的直方图的最大值对应的亮度来估计图像的对比度，而在第2范围内的直方图的最大值不足基准值的情况下，根据第1亮度和构成上述图像的所有像素的亮度中最低的亮度来估计图像的对比度。
根据本发明，上述对比度检测部件按上述过程来检测上述图像的对比度。这是由于以下理由。如果在上述图像是所谓的文档图像的情况下形成该图像的像素的亮度的直方图，则与该图像的底色相当的亮度的像素数常常远远大于与底色相当的亮度以外的其他亮度分别的像素数。然而，与字符的颜色相当的亮度的像素数有时与上述其他亮度分别的像素数大致同等。在此情况下，上述直方图的上述第2范围内的亮度的最大值不一定是与上述字符的颜色相当的亮度。因此，如上所述，根据上述第2范围内的亮度的最大值和基准值的大小关系，来变更求上述图像的对比度时作为基准的亮度。由此，不管与上述字符的颜色相当的亮度的像素数和上述其他亮度分别的像素数之间的关系如何，总是能够求上述图像的对比度。
此外，第8发明的特征在于，在上述各像素的亮度由预定的3色成分之和来表示的情况下，上述字符区域提取部件根据3色成分之和来提取字符区域，上述锐化部件对3色成分分别施加锐化，上述亮度校正部件分别校正3色成分。
根据本发明，在上述亮度用3色成分之和来表示的情况下，即在上述图像是彩色图像的情况下，各部件如上所述来操作。由此，即使在上述图像是彩色图像的情况下，上述图像处理装置也能够防止上述图像的分辨率和上述显示部件的分辨率之差及上述显示部件的色调特性两者引起的图像的可识性降低，而且能够提高上述图像的再现性。
此外，第9发明是一种图像处理方法，其特征在于，输入由多个像素构成的图像；估计上述图像的对比度；根据估计出的上述对比度来增大上述图像的对比度，而且根据用于显示上述图像的显示部件具有的色调特性来校正构成上述图像的各像素的亮度；将校正过上述各像素的亮度的上述图像显示在上述显示部件上。
根据本发明，在用上述图像处理方法来处理上述图像的情况下，能够不仅考虑上述显示部件的色调特性，还考虑估计出的上述对比度，来进行构成上述图像的各像素的亮度变换。因此，在上述显示部件上显示图像的情况下，能够防止上述图像的对比度及上述显示部件的色调特性两者引起的上述图像的可识性降低。同时，能够提高上述图像的再现性。
此外，第10发明是一种图像处理方法，其特征在于，输入由多个像素构成的图像；提取上述图像内描绘字符的字符区域；对上述图像内的上述字符区域以外的剩余区域施加预定程度的锐化，对上述图像内的上述字符区域分别施加比对上述剩余区域施加的锐化程度更强程度的锐化；根据用于显示上述图像的显示部件具有的色调特性，来校正分别构成施加了锐化的上述字符及上述剩余区域的各像素的亮度；将校正过上述各像素的亮度的上述图像显示在上述显示部件上。
根据本发明，在用上述图像处理方法来处理上述图像的情况下，对上述字符区域施加的锐化的程度比对上述剩余区域施加的锐化的程度更强。由此，在上述图像被显示在上述显示部件上的情况下，字符变得易读，同时，能够使上述剩余区域内的图画平滑。此外，在上述图像被显示在上述显示部件上的情况下，不管上述显示部件的色调特性的偏差如何，上述图像内描绘的上述字符都变得好看。因此，能够防止上述图像的分辨率和上述显示部件的分辨率之差及上述显示部件的色调特性两者引起的上述图像的可识性降低。同时，能够提高上述图像的再现性。
附图的简单说明通过下述详细说明和附图，本发明的这些目的以及其他目的、特色、和优点将会变得更加清楚。
图1是本发明第1实施例的图像处理装置31中包含的数据处理装置34的电结构方框图。
图2是上述图像处理装置31的概略电结构方框图。
图3是上述图像处理装置31执行的图像校正处理的说明流程图。
图4是提供给上述数据处理装置34的输入图像数据51表示所谓的文档图像的情况下的亮度直方图。
图5是输入图像数据51表示所谓的文档图像的情况下的亮度直方图。
图6是输入图像数据51表示所谓的文档图像的情况下的亮度直方图。
图7是上述数据处理装置所用的亮度校正用查找表CaLUT内的处理前的亮度值k和处理后的亮度值CaLUT[k]之间的关系曲线图。
图8是第2实施例的图像处理装置内的数据处理装置81的电结构方框图。
图9是第2实施例的图像处理装置执行的图像校正处理的说明流程图。
图10是提供给上述数据处理装置81的输入图像数据51表示的输入图像91的图。
图11是施加了二值化处理的输入图像数据51、即标记(ラベル)图像数据表示的标记图像92的图。
图12是图9的图像校正处理内的外接矩形提取处理结束后得到的上述标记图像92内的连结部分的外接矩形N1～Nn+2的图。
图13是图9的图像校正处理内的第1除外处理结束后得到的上述标记图像92内的连结部分的外接矩形N2～Nn+2的图。
图14是图9的图像校正处理内的第2除外处理结束后得到的上述标记图像92内的连结部分的外接矩形N2～Nn+2所对应的上述输入图像91内的部分M2～Mn的图。
图15是图9的图像校正处理的步骤b11中设定的各像素的锐化程度h(x，y)的图。
图16是图9的图像校正处理内的第2统合处理的详细说明流程图。
图17A～17C是上述第2统合处理的说明图。
图18是图9的图像校正处理内的第3除外处理的详细说明流程图。
图19是上述第3除外处理所用的搜索区域Sa(n)的说明图。
图20是第3实施例的图像处理装置内的数据处理装置101的电结构方框图。
图21是第3实施例的图像处理装置执行的图像校正处理的说明流程图。
图22是本发明第4实施例的图像处理装置121的电结构方框图。
图23A是现有技术中比图像数据的规格上最大的对比度小的对比度的图像的图。
图23B是现有技术中上述最大的对比度的图像的图。
图24A、24B是现有技术中显示装置的显示画面的结构的说明图。
图25A是现有技术中印刷点比上述显示画面的显示像素小的原稿的图。
图25B是显示图25A的原稿的显示画面的图。
图26A、26B是现有技术中未施加锐化处理的图像、和施加了锐化处理的图像的图。
图27是现有技术中显示装置的色调特性的曲线图。
图28是图27的曲线图的色调特性的显示装置的显示例。
图29是与图27的曲线图的色调特性对应的色调校正表的输入浓度和输出亮度之间的关系曲线图。
图30是具有图27的曲线图的色调特性的显示装置、而且进行图29的色调校正表的校正处理的图像处理装置整体的色调特性的曲线图。
图31是与图27的曲线图的色调特性对应的伽马校正表的输入浓度和输出亮度之间的关系曲线图。
图32是具有图27的曲线图的色调特性的显示装置、而且进行图31的伽马校正表的校正处理的图像处理装置整体的色调特性的曲线图。
图33A、33B是现有技术中未施加色调校正处理的特性、和施加了色调校正处理的特性的图。
发明的实施例以下，参照附图来详细说明本发明的优选实施例。
图1是本发明第1实施例的图像处理装置31中包含的数据处理装置34的电结构方框图。图2是上述图像处理装置31的概略电结构方框图。一起说明图1及图2。
图像处理装置31包含图像输入装置33、数据处理装置34、以及显示装置35。数据处理装置34包含数据存储部39、对比度估计部37、亮度校正部38、以及操作部42。对比度估计部37包含直方图形成部41、以及对比度检测部42。亮度校正部38包含色调特性校正用查找表存储部件44、亮度校正用查找表形成部件45、以及图像亮度变换部46。以下，将查找表简称为“LUT”(Look Up Table)。
图像输入装置33将表示被处理图像的数字信号、即图像数据提供给数据处理装置34。上述图像是所谓的多值图像，由多个像素配置为行列状来构成。上述图像数据由表示构成上述图像的各像素的亮度的像素数据按照与像素的排列对应的顺序排列来构成。具体地说，各像素数据相当于预定的像素亮度范围内的某一个亮度值。上述像素亮度范围是图像数据的规格上各像素数据取得的亮度值的范围。亮度值是指定量地表示亮度的数值。以下，将从图像输入装置33提供给数据处理装置34的图像数据称为输入图像数据51。此外，将输入图像数据51表示的图像称为输入图像。
数据处理装置34对输入图像数据51施加基于输入图像的对比度及显示装置35的色调特性的图像校正处理。以下，将施加了图像校正处理的输入图像数据51称为输出图像数据52。输出图像数据52被提供给显示装置35。显示装置35根据输出图像数据52在显示画面上显示图像。上述显示画面由多个显示像素配置为行列状来构成。多个显示像素的亮度根据构成输入图像数据的多个像素数据、和显示装置35的色调特性来决定。显示装置35的色调特性根据显示装置35的结构而唯一地决定。输出图像数据表示的图像与输入图像相比，只有各像素的亮度的实际数值不同，其他相同。输入图像的分辨率和显示画面的分辨率相等。即，输入图像的各像素与输出图像的各像素一一对应，输出图像数据表示的图像的各像素与显示画面的各显示像素一一对应。
对比度估计部37估计输入图像的对比度。为此，首先，直方图形成部41形成与输入图像的各像素的亮度有关的亮度直方图。接着，对比度检测部42根据上述亮度直方图来检测输入图像的对比度。
亮度校正部38根据输入图像的对比度和显示装置35的色调特性，分别校正构成输入图像的各像素的亮度。亮度校正部38的基本结构如下。色调校正用LUT存储部44存储预定的色调校正用查找表RLUT。色调校正用查找表RLUT用于为了进行显示装置用色调校正处理而变换构成上述显示装置用色调校正处理的被处理图像的各像素的亮度的情况。显示装置用色调校正处理是用于将显示装置35单体的色调特性线性化的处理。色调特性是像素数据表示的亮度和显示像素的亮度之间的对应关系，具体地说，表示随着像素数据表示的亮度变化、按照上述像素数据来发光的显示像素的亮度如何变化。即，显示装置35的色调特性相当于显示装置35的输入输出特性。
色调校正用查找表RLUT表示显示装置用色调校正处理的处理前的亮度值i(i=0，1，2…，Vmax)和显示装置用色调校正处理的处理后的亮度值RLUT[i]之间的对应关系。上述对应关系按照显示装置35的色调特性而唯一决定。例如，在显示装置35的色调特性由上述图27的色调特性曲线11来表示的情况下，色调校正用查找表RLUT的上述对应关系由图29的亮度变换曲线14来表示。显示装置35的色调特性曲线11以上述基准直线12为对称轴，与图29的亮度变换曲线14线对称。
亮度校正LUT形成部45根据对比度检测部42检测出的输入图像的对比度和色调校正用LUT存储部44中存储的色调校正用查找表，来形成亮度校正用查找表CaLUT。亮度校正用查找表CaLUT用于提高输入图像的对比度，同时，将图像处理装置31整体的色调特性线性化。图像处理装置31整体的色调特性表示输入图像数据51的各像素数据的亮度值、和与该各像素数据对应的显示像素的亮度之间的对应关系。即，图像处理装置31整体的色调特性相当于图像处理装置31的输入输出特性。图像亮度变换部46对输入图像数据的各像素数据分别施加基于亮度校正用查找表CaLUT的亮度变换处理。施加了上述亮度变换处理的像素数据的集合是输出图像数据52。
数据存储部39在对比度估计部41及亮度变换部42分别进行上述处理时，暂时存储处理所用的各种数据。为此，在数据存储部39内，设定了用于分别存储上述各种数据的多个存储区域。假设上述各存储区域的地址是预定的。数据存储部39例如由随机存取存储器来实现。操作部40例如由键盘或多个按钮来构成，用于图像处理装置31的操作者操作数据处理装置34时。
直方图形成部41、对比度检测部42、亮度校正用LUT形成部45、及图像亮度变换部46分别由不同的电路来实现。此外，上述部41、42、45、46中的至少2个部也可以为由单一中央运算处理电路的运算处理来实现的虚拟电路。
输入图像数据51可以由图像输入装置33自身来生成，也可以由与图像处理装置31不同的其他装置来生成并提供给图像输入装置33。在图像输入装置33自身生成输入图像数据51的情况下，图像输入装置33例如用光学读取装置或数字摄像机来实现。作为光学读取装置。例如可举出扫描仪。此外，在上述其他装置生成输入图像数据51的情况下，图像输入装置33例如用存储媒体的读取装置、或连接上述其他装置和数据处理装置34使得能够交换图像数据的连接装置来实现。在本实施例中假定图像输入装置33用扫描仪来实现，读取纸面上印刷所谓的二值图像而构成的原稿，来生成输入图像数据。此外，在以下的说明中假定输入图像的色调是单色的3个色调以上的色调、即所谓的半色调(ハ-フト-ン)。
在如上所述假定的条件下，最好上述扫描仪以比显示画面的分辨率高的分辨率来光学地读取原稿以生成图像数据，将生成的图像数据缩小到与显示画面的分辨率一致，来形成输入图像数据51。这是由于以下理由。在纸面上印刷图像来形成原稿的印刷装置的分辨率比上述扫描仪大，而上述扫描仪的分辨率比显示画面的分辨率大。在一开始就以与显示分辨率相同的分辨率来输入图像的情况下，根据该分辨率的不同，输入图像内的1个像素对应于原稿内的多种像素。其结果，特别是在检测对比度时，不能正确地检测构成字符的颜色。由此，为了检测正确的对比度，及为了检测字符，最好以能得到检测精度的高分辨率进行输入。
上述原稿的底色假定是奶油色或淡土黄色等、虽然近似于雪白但又不是完全雪白的颜色，此外，上述原稿的印刷点的颜色假定是深褐色等、近似于漆黑但又不是完全漆黑的颜色。雪白是指图像数据是上述像素亮度范围的上限值Vmax的像素的颜色，漆黑是指图像数据是上述像素亮度范围的下限值Vmin、即0的像素的颜色。此外，像素数据是大于上述像素亮度范围内的最小值而不足最大值的亮度值的像素的颜色是灰色，上述亮度值越大，则越接近白色。上述底色例如按照原稿的纸质来决定，而且上述印刷点的颜色等于原稿印刷所用的印刷油墨的颜色。即，输入图像的底色及输入图像的字符的颜色受原稿的纸质及印刷油墨的颜色影响。
图3是图像处理装置31执行的上述图像校正处理的说明流程图。用图3的流程图来说明上述图像校正处理。例如，如果图像处理装置31的操作者从操作部40指示执行图像校正处理，则从步骤a1进至步骤a2。
首先，图像输入装置33在步骤a2中将输入图像数据51存储到数据存储部39的预定的第1存储区域。输入图像数据51可以在图像校正处理开始后形成，也可以在开始图像校正处理前预先形成。
接着在步骤a3中，判定步骤a3以后的图像校正处理是否使用数据存储部39的预定的第2存储区域中已经存储的亮度校正用查找表CaLUT。在新形成亮度校正用查找表CaLUT的情况下，从步骤a3进至步骤a4。在使用上述存储区域中已经存储的亮度校正用查找表CaLUT的情况下，从步骤a3进至步骤a16。步骤a3的判定的细节将后述。步骤a4～a15的处理是形成亮度校正用查找表CaLUT的表形成处理。
在进行表形成处理的情况下，首先直方图形成部41在步骤a4中从数据存储部39的上述第1存储区域读出输入图像数据51，依次检查读出的输入图像数据51的各像素数据，形成亮度直方图。亮度直方图被存储到数据存储部39的预定的第3存储区域。亮度直方图表示输入图像数据中上述图像亮度范围内各亮度值的出现分布。
图4及图5是输入图像数据表示所谓的文档图像的情况下的亮度直方图。横轴是亮度值i，纵轴是亮度值的出现频度H[i]。i是在下限值Vmin以上而在上限值Vmax以下的正整数。任意亮度值i的出现频度H[i]是与该亮度值i相当的像素数据数、即与输入图像内的该亮度值相当的颜色的像素数。在输入图像数据51是扫描仪读入前述的原稿而形成的情况下，在表示亮度值的出现分布的曲线61上出现2个极大点PH、PL。
在2个极大点PH、PL中，与亮度高的极大点对应的亮度值相当于输入图像的底色或与上述底色极其接近的颜色。此外，在2个极大点中，与亮度低的极大点对应的亮度值相当于输入图像内的线及点的颜色或与上述线及点的颜色极其接近的颜色。上述线及点的颜色与原稿的印刷点的颜色大致相等。在本实施例中，假定原稿的印刷点的颜色接近漆黑，所以可以预想，与上述线及点的颜色相当的亮度值位于在上述下限值Vmin以上而不足上述像素亮度范围的中心亮度值Vcenter的低域部分W1内。此外，假定输入图像的底色接近雪白，所以可以预想，与上述底色相当的亮度值位于在上述中心亮度值Vcenter以上而在上限值Vmax以下的高域范围W2内。因此，在本实施例中，通过与输入图像的底色相当的上限亮度值Hv、和与输入图像上描绘的线及点的颜色相当的下限亮度值Lv的组合来定义输入图像的对比度，记作[Hv，Lv]。
再次参照图3。步骤a5～步骤a13是检测输入图像的对比度的对比度检测处理，由对比度检测部42执行。首先，在步骤a5中，对比度检测部42将上述亮度直方图从数据存储部39的上述第3存储区域中读出。接着，对比度检测部42求与输入图像的底色或接近该底色的颜色相当的亮度值。上述亮度值即是上述亮度直方图的2个极大值PH、PL分别对应的亮度值中大的亮度值Hmax。具体地说，求上述像素亮度范围的高域范围W2内的所有亮度值中出现频度最大的亮度值Hmax。
接着，对比度检测部42在步骤a6中求与输入图像内的线及点的颜色或接近该线及点的颜色的颜色相当的亮度值。上述亮度值是与亮度直方图的2个极大值PH、PL分别对应的亮度值中小的亮度值Lmax。具体地说，求上述像素亮度范围的低域范围W1内的所有亮度值中出现频度最大的亮度值Lmax。
接着，对比度检测部42在步骤a7中判定上述低域范围W1内出现频度的最大值、即上述小的亮度值Lmax的出现频度H[Lmax]是否在预定的阈值Th以上。步骤a7的判定是为了判定在曲线61上是否有明了的2个隆起而进行的。在上述低域范围W1内出现频度的最大值在阈值Th以上的情况下，认为曲线61上有明了的2个隆起。按照有无2个明了的隆起，来变更对比度的下限亮度值Lv的估计手法。步骤a7的判定的详细理由将后述。
在如图4、5所示在曲线61上有2个明了的隆起的情况下，上述小的亮度值Lmax的出现频度H[Lmax]在阈值Th以上。在此情况下，从步骤a7进至步骤a8，进行下限亮度值Lv的第1估计处理。如图6所示，在曲线61上没有2个明了的隆起的情况下，上述出现频度H[Lmax]不足阈值Th。在此情况下，从步骤a7进至步骤a10，进行下限亮度值Lv的第2估计处理。
首先，说明下限亮度值Lv的第1估计处理。
对比度检测部42在步骤a8中根据式1来求与上述2个极大值分别对应的亮度值Hmax、Lmax的中间的亮度值，作为分割基准亮度值Vmid。接着，在步骤a9中，对比度检测部42根据式2及3来求低亮度侧范围W3的亮度值的平均值Lmean，进而，根据式4来求低亮度侧范围W3的亮度值的标准偏差σL。低亮度侧范围W3是在像素亮度范围的下限值Vmin以上而不足上述分割基准亮度值Vmid的范围。此外，式3定义的“NL”是输入图像数据内所有像素数据中与上述低亮度范围W3内的亮度值相当的像素数据的数目。接着，对比度检测部42求低亮度侧范围W3的亮度值的平均值Lmean、和低亮度侧范围W3的亮度值的标准偏差σL之和，作为下限亮度值Lv。至此结束第1估计处理。
数1
接着，说明下限亮度值Lv的第2估计处理。
对比度检测部42首先在步骤a10中，求输入图像数据内所有像素数据中最小的亮度值，将上述最小的亮度值设定为下限亮度值Lv。上述最小亮度值如图6所示，是输入图像的亮度直方图中出现频度不是0的亮度值中最小的亮度值。因此，为了找到上述最小的亮度值，例如在输入图像的亮度直方图中，从亮度值的最小值Vmin起沿亮度值增加的方向依次判定各亮度值的像素的出现频度是否是0，将最初判定为出现频度不是0的亮度值看作是上述最小的亮度值即可。此外，也可以不是将上述最小的亮度值设定为是下限亮度值Lv，而是将下限亮度值Lv总是定义为最小值Vmin、即0。接着，对比度检测部42在步骤a11中求下限亮度值Lv和与亮度直方图的2个极大值PH、PL分别对应的亮度值中大的亮度值Hmax之间的中间亮度，作为上述分割基准亮度值Vmid。至此结束第2估计处理。
Vmid=(Lv+Hmax)÷2…(6)用上述第1及第2估计处理中的某一个估计下限亮度值Lv后，从步骤a9、a11进至步骤a12。接着，在步骤a12中，对比度检测部42根据式7来求高亮度侧范围W4的亮度值的平均值Hmean，进而根据式9来求高亮度侧范围W4的亮度值的标准偏差σH。高亮度侧范围W4是在上述分割基准亮度值Vmid以上而在像素亮度范围的上限值Vmax以下的范围。此外，式8定义的“NH”是输入图像数据51内所有像素数据中与上述高亮度范围W4内的亮度值相当的像素数据的数目。进而，对比度检测部42根据式10，求从高亮度侧范围W3的亮度值的平均值Hmean中减去高亮度侧范围W3的亮度值的标准偏差σH所得的差，作为上限亮度值Hv。
数2
以上，通过步骤a9或步骤a11求出的下限亮度值Lv、和步骤a12求出的上限亮度值Hv来定义输入图像的对比度[Lv，Hv]。所谓的对比度比，是下限亮度值Lv和上限亮度值Hv之比。对比度检测部件42将估计出的输入图像的对比度[Lv，Hv]提供给亮度校正LUT形成部45。以上，步骤a4～a12的处理是对比度估计部37用于估计输入图像的对比度[Lv，Hv]的对比度估计处理。
对比度估计部37不是使下限亮度值Lv及上限亮度值Hv与亮度直方图的2个极大值所对应的亮度值Lmax、Hmax分别一致，而是考虑标准偏差σL、σH来分别决定，这样做是由于以下2个理由。第1个理由是为了防止根据输入图像数据的所有像素数据来形成亮度直方图时的统计误差使得估计出的输入图像的对比度偏离实际的输入图像的对比度。第2个理由是，由于有时输入图像的底色与扫描仪读取的原稿的纸质对应，为雪白以外的颜色，所以用方差((σH2，σL2)使上述底色的颜色接近雪白。
接着，亮度校正LUT形成部45在步骤a13中，根据从对比度检测部42提供的输入图像的对比度[Lv，Hv]，来形成对比度校正用查找表CLUT。对比度校正用查找表CLUT用于对比度校正处理，用于将输入图像的对比度[Lv，Hv]提高到输入图像数据的数据规格上最大的对比度[Vmin，Vmax]。数据规格上最大的对比度通过上述像素亮度范围的下限值Vmin和上述像素亮度范围的上限值Vmax来定义。
表1表示对比度校正用查找表CLUT的具体结构。图7是对比度校正用查找表CLUT的亮度变换曲线71的曲线图。亮度变换曲线71表示处理前的亮度值j(j=0，1，2，…，Vmax)、和处理后的亮度值CLUT[j](j=0，1，2，…，Vmax)之间的关系。
表1
对比度校正用查找表CLUT内的处理前的亮度值j和处理后的亮度值CLUT[j]之间的关系如下所述。在处理前的亮度值j在像素亮度范围的下限值Vmin以上而在下限亮度值Lv以下的情况下，处理后的亮度值CLUT[j]是下限值Vmin。在处理前的亮度值j大于下限亮度值Lv而在上限亮度值Hv以下的情况下，处理后的亮度值CLUT[j]与处理前的亮度值j成正比而线性增加。在处理前的亮度值i大于上限亮度值Hv而在像素亮度范围的上限值Vmax以下的情况下，处理后的亮度值CLUT[j]是上限值Vmax。
再次参照图3。接着，亮度校正LUT形成部45在步骤a14中根据对比度校正用查找表CLUT、和色调校正用查找表RLUT，来形成亮度校正用查找表CaLUT。亮度校正用查找表CaLUT是处理前的亮度值k(k=0，1，2，…，Vmax)、和处理后的亮度值CaLUT[k](k=0，1，2，…，Vmax)分别一一对应而得到的。亮度校正LUT形成部45将步骤a14形成的亮度校正用查找表CaLUT在步骤a15中存储到数据存储部39的上述第2存储区域中。具体地说，在上述第2存储区域内预先设定有与处理前的各亮度值k分别对应的多个小区域，各处理后的亮度值CaLUT[k]被分别存储到各小区域中。
以下，详细说明亮度校正用查找表CaLUT。亮度校正用查找表CaLUT的各处理后的亮度值CaLUT[k]用式11来定义。
CaLUT[k]=RLUT[CLUT[k]]k=0，1，2，…，Vmax…(11)与任意的处理前的亮度值k对应的处理后的亮度值CaLUT[k]用以下的过程来决定。首先，求与任意处理前的亮度值k对应的对比度校正用查找表内的处理后的亮度值CLUT[k]。接着，在色调校正用查找表RLUT内，求与求出的处理后的亮度值CLUT[k]相等的处理前的亮度值i所对应的处理后的亮度值RLUT[CLUT[k]]。最后，求出的处理后的亮度值RLUT[CLUT[k]]被定义为亮度校正用LUT的处理后的亮度值CaLUT[k]，存储到与上述第2存储区域内的上述任意的处理前的亮度值k对应的小区域中。
即，亮度校正用LUT内的处理前的亮度值k和处理后的亮度值CaLUT[k]之间的关系如下所述。在处理前的亮度值k在像素亮度范围的下限值Vmin以上而在下限亮度值Lv以下的情况下，处理后的亮度值CaLUT[k]是下限值Vmin、即0。在处理前的亮度值k大于下限亮度值Lv而在上限亮度值Hv以下的情况下，处理后的亮度值CLUT[k]按照色调校正用查找表RLUT的亮度变换曲线14来变化。在处理前的亮度值k大于上限亮度值Hv而在上述像素亮度范围的上限值Vmax以下的情况下，处理后的亮度值CaLUT[k]是上限值Vmax。图7的曲线72是表示亮度校正用查找表CaLUT内的处理前的亮度值k和处理后的亮度值CaLUT[k]之间关系的亮度变换曲线。亮度变换曲线72内大于上述下限亮度值Lv而在上述上限亮度值Hv以下的范围的部分的形状等于将亮度变换曲线14内在下限值Vmin以上而在上限值Vmax以下的范围的部分与曲线图的横轴平行地缩小所得的形状。
再次参照图3。在步骤a16中，图像亮度变换部46根据亮度校正用查找表CaLUT，对输入图像数据51施加亮度变换处理。具体地说，图像亮度变换部46首先将亮度校正用查找表CaLUT从数据存储部39的上述第2存储区域中读出。接着，同样读出数据存储部39的上述第1存储区域中存储的输入图像数据51。根据下式12和亮度校正用查找表CaLUT来分别变换输入图像数据51的各像素数据f(x，y)，得到输出图像数据51的各像素数据g(x，y)。在数据存储部39内的预定的第4存储区域中，预先设定有多个小区域，用于分别存储输出图像数据52的各像素数据。得到的各像素数据g(x，y)被分别存储到上述各小区域中。f(x，y)及g(x，y)的“(x，y)”表示与各像素数据对应的像素的输入图像及输出图像内的位置坐标，x、y分别是任意整数。
g(x，y)=CaLUT[f(x，y)]…(12)即，输入图像数据51的任意图像数据f(x，y)用以下的过程来变换为输出图像数据的图像数据g(x，y)。首先，从亮度校正用查找表CaLUT内，检索与输入图像数据51的任意图像数据f(x，y)相等的处理前的亮度值k，接着，求与检索出的处理前的亮度值k对应的处理后的亮度值CaLUT[f(x，y)]。最后，求出的处理后的亮度值CaLUT[f(x，y)]被决定为与输入图像数据51的上述任意图像数据f(x，y)对应的输出图像数据51的图像数据g(x，y)，决定了的像素数据g(x，y)被存储到上述小区域中。对输入图像数据内的所有像素数据f(x，y)分别施加上述过程的处理后，在第4存储区域中存储构成输出图像数据52的所有像素数据g(x，y)。由此，得到输出图像数据52。最后，在步骤a17中，生成的输出图像数据52被提供给显示装置35，在步骤a18中结束图像校正处理。
进行步骤a3的判定的理由如下所述。在用用于电子出版的所谓的写作(ォ-サリング)系统对内容进行数据化时，有时将内容的各页整体看作1张图画，由分别表示各页整体的图像数据来构成电子出版物。在本实施例的图像处理装置31被用作上述写作系统的情况下，内容的各页分别通过扫描仪来读取，生成多个输入图像数据，对各输入图像数据分别施加图3的图像校正处理。因此，上述图像校正处理重复多次。内容的各页多是哪一页的纸质及印刷油墨的颜色都相等。因此，在多次重复图像校正处理的情况下，在第1次图像校正处理中，否定步骤a3的判定，在步骤a3～a15中形成亮度校正用查找表CaLUT，在第2次以后的图像校正处理中，肯定步骤a3的判定，用对第1页的输入图像数据施加图像校正处理时形成的亮度校正查找表CaLUT来进行步骤a16的处理即可。由此，在多次重复图像校正处理的情况下，能够简化第2次以后的图像校正处理，缩短处理所需的时间。是否肯定步骤a3的判定，可以按照操作者对操作部40进行的操作的结果来决定，也可以由数据处理装置34自身来自动判定。
此外，在多次重复图像校正处理的情况下，在第1次的图像校正处理中，最好在内容的各页中，将用扫描仪读取只印刷了字符的页而形成的输入图像数据作为处理对象。这是因为，上述图像数据的亮度直方图的亮度值的出现频度的分布曲线上可靠地包含2个明了的隆起，所以估计的输入图像的对比度[Hv，Lv]难以发生错误。因此，亮度校正查找表CaLUT可以可靠地适合内容的各页的纸质及印刷油墨的颜色。
此外，在上述情况下，也可以在第1次图像校正处理中，将预先准备的测试用图像数据作为处理对象，在第2次以后的图像校正处理中，将读取内容的各页而形成的图像数据作为处理对象。测试用图像数据是如下生成的在与内容的各页相同纸质的纸上，用与内容的各页相同颜色的印刷油墨，印刷底的部分和印刷印刷油墨的部分之间面积比率相等的图案，用扫描仪读取印刷了上述图案的纸面来生成。由此，也能够使生成的亮度校正查找表CaLUT可靠地适合内容的各页的纸质及印刷油墨的颜色。
此外，在第2次以后的图像校正处理中，也可以在被处理的输入图像数据和亮度校正用查找表CaLUT不适合的情况下，否定步骤a3的判定，重新形成亮度校正用查找表CaLUT。作为上述情况的例子，例如可举出下述情况生成被处理的输入图像数据时读取的页的纸质与其他页的纸质不同的情况、上述读取的页的印刷油墨的颜色与其他页的印刷油墨的颜色不同的情况、及上述读取的页中有图画的情况。
进行步骤a7的判定的理由如下所述。例如，在图像处理装置31被用于形成上述电子出版物的情况下，有时上述扫描仪读取的原稿上印刷的图像是所谓的文档图像。文档图像是指图像内只有字符的图像。在此情况下，如果字符数少，或者构成字符的线细，则有时与输入图像数据51内的字符的颜色相当的亮度值的像素数据的数目大致等于与字符的颜色相当的亮度值以外的其他的亮度值的像素数据的数目。在此情况下，有时在亮度直方图的曲线61的低域范围W1内的部分上不出现明了的隆起。在此情况下，低域范围W2内的亮度值中出现频度最大的亮度值不一定相当于字符的颜色或与字符的颜色类似的颜色。因此，在上述情况下，如果根据上述曲线61的与上述小的极大值对应的亮度值Lmax来估计对比度的下限亮度值Lv，则有时下限亮度值Lv和与实际的上述字符的颜色相当的亮度值不一致。因此，为了防止下限亮度值Lv的错误，通过步骤a7的判定，来改变下限亮度值Lv的估计手法。
此外，在步骤a7的判定中未判定上述高域范围W2内的出现频度的最大值是否在阈值Th以上，是由于以下理由。可以预想，与曲线61的高域范围W2内的隆起相当的亮度值相当于输入图像的底色、或与输入图像的底色极其接近的颜色。像素数据是与上述隆起相当的亮度值的像素构成输入图像的底的部分。可以预想，构成输入图像内的底的部分的像素的数目远远多于构成输入图像内的底的部分以外的剩余部分的像素的数目、即构成输入图像上描绘的线及点的像素的数目。因此，可以预想，输入图像数据51内的上述亮度值的出现频度远远多于其他亮度值的出现频度。因此，认为曲线61的高域范围W2内的部分中必然有明了的隆起，所以未判定有无隆起。
此外，在图3的图像校正处理中，也可以取代步骤a14、a15的LUT形成处理，根据式13～15来形成亮度校正用查找表CaLUT。
数3
与任意的处理前的亮度值k对应的处理后的亮度值CaLUT[k]用以下的过程来决定。首先，判定任意的处理前的亮度值k是否在下限亮度值Lv以上、及是否不足上限亮度值Hv。如果任意的处理前的亮度值不足下限亮度值Lv，则根据式13，处理后的亮度值CaLUT[k]被决定为0。如果任意的处理前的亮度值在下限亮度值Lv以上而在上限亮度值Hv以下，则计算式14的右边，处理后的亮度值CaLUT[k]被决定为计算出的数值。如果任意的处理前的亮度值超过上限亮度值Hv，则根据式15，处理后的亮度值CaLUT[k]被决定为上限值Vmax。最后，决定了的各处理后的亮度值CaLUT[k]被存储到与上述第2存储区域内的上述任意的处理前的亮度值k对应的小区域。由此，不用形成对比度校正用查找表CLUT，就能够用色调校正用查找表RLUT和输入图像的对比度[Lv，Hv]，来直接形成亮度校正用查找表CaLUT。因此，能够省去形成对比度校正用查找表CLUT的时间，简化表形成处理。
此外，色调校正用查找表按照显示装置35来预先形成，存储到上述色调校正用LUT存储部44。在将图像处理装置31内的显示装置35替换为色调特性不同的其他显示装置的情况下，只需按照上述其他显示装置的色调特性来变更该存储部44的存储内容，而无需变更图3的图像校正处理的各步骤的处理。由此，在变换显示装置35的情况下，数据处理装置35的变更部分少，所以能够简化显示装置35的变换所伴随的作业。
在图3的图像校正处理中，亮度校正部38也可以不形成亮度校正用查找表CaLUT，而是依次对输入图像数据51施加基于色调校正用查找表RLUT的亮度变换处理、和基于对比度校正用查找表CLUT的亮度变换处理。在如上所述形成亮度校正用查找表CaLUT的情况下，图像亮度变换部46只对输入图像数据51施加1次亮度变换处理，所以通过1次亮度变换处理，来同时进行对比度校正和色调校正，处理简化。此外，也可以省略步骤a7、a10、a11，直接连结步骤a6和步骤a8，来简化处理。
在将通过上述图像校正处理而得到的输出图像数据显示在显示装置35上的情况下，被显示图像的对比度被扩大为数据规格上最大的对比度[Vmin，Vmax]。由此，能够从显示装置上显示的图像的对比度中，去除输入图像数据上述原稿的纸质和印刷油墨的颜色等的影响，提高对比度。此外，由于根据输出图像数据的各像素数据和输入图像的各像素之间的对应关系来校正显示装置35的色调特性，所以图像处理装置31整体的色调特性为线性。上述对应关系相当于图像输入装置33和数据处理装置34构成的系统的输入输出特性。即，通过输出图像数据来吸收显示装置35的色调特性的偏差。这样，通过对输入图像数据施加上述图像校正处理，能够校正显示装置35的色调特性。由于这些事实，第1实施例的图像处理装置31能够同时校正输入图像的对比度和显示装置35的显示特性，提高显示装置35上显示的特性的可识性。
以下，说明本发明第2实施例的图像处理装置。第2实施例的图像处理装置与第1实施例的图像处理装置相比，不同点是数据处理装置34被置换为图8所示的数据处理装置81，其他相同，所以对相同结构的装置、数据、及表附以相同的标号，省略其说明。
图8是第2实施例的图像处理装置内的数据处理装置、81的电结构方框图。数据处理装置81包含字符区域提取部83、图像锐化部84、亮度校正部85、数据存储部86、以及操作部40。亮度校正部85包含色调校正用LUT存储部44、和图像亮度变换部87。字符区域提取部83从输入图像51内提取1个或多个字符区域。字符区域是指输入图像51内有字符的部分。图像锐化部84根据字符区域提取部83的字符区域提取结果，对输入图像数据51施加所谓的选择性锐化处理。在此情况下，对输入图像内的字符区域施加的锐化处理比对输入图像内的字符区域以外的剩余区域施加的锐化处理的锐化程度更强。将施加了锐化的输入图像数据51称为锐化图像数据。
亮度校正部85根据色调校正用查找表RLUT，对锐化图像数据施加亮度校正处理。为此，数据存储部39、图像亮度变换部46对锐化图像数据的各像素数据分别施加基于色调校正用查找表RLUT的亮度变换处理。施加了上述亮度变换处理的像素数据的集合是输出图像数据89。数据存储部86在字符区域提取部83、图像锐化部84、及亮度校正部85分别进行上述处理时，暂时存储处理所用的各种数据。为此，在数据存储部86内，分别设定有多个存储区域，用于分别存储上述各种数据。假设上述各存储区域的地址是预先设定的。数据存储部86例如由随机存取存储器来实现。
字符区域提取部83、图像锐化部84、及图像亮度变换部87分别通过不同的电路来实现。此外，上述部83、84、87中的至少2个部也可以为通过单一中央运算处理电路的运算处理而实现的虚拟电路。
首先，概略地说明锐化处理。锐化处理一般由式16来表示。式16～18公开于“画像解析ハンドブツク(图像解析手册)”(東京大学出版社，高木斡男下田陽久監修)的549页。在下式中，“F(x，y)”是输入图像数据51的函数表示。“_2F(x，y)”是所谓的拉普拉斯图像的函数表示。“G(x，y)”是锐化图像数据的函数表示。“h(x，y)”是锐化程度。
G(x，y)=F(x，y)-h(x，y)×_2F(x，y)…(16)h(x，y)=常数均一的锐化处理…(17)h(x，y)≠常数选择性锐化处理…(18)如式17所示，如果锐化程度h(x，y)总是预定的常数，则根据式16，对输入图像整体均一地施加锐化处理。此外，如式18所示，如果锐化程度在各像素中是根据预定的条件而变化的值，则根据式16对输入图像施加所谓的选择性图像锐化处理。例如，在锐化程度h(x，y)通过所谓的线检测算子(ォペレ-タ)来决定的情况下，只有输入图像内的线状结构的部分附近被锐化。
假定输入图像数据51是用扫描仪读入在纸面上印刷图画和字符而构成的原稿来形成的。将输入图像内描绘字符的部分称为字符区域。在此情况下，如果对输入图像数据施加锐化处理，则字符一般由于边缘周边的对比度高而易读。然而，在此情况下，如果锐化程度过强，则图像内的字符的边缘周边的像素的亮度偏雪白或漆黑，所以视觉上类似于二值化图像。由此，字符零碎或飞白，所以字符反倒难看。上述情况特别显著地发生在下述字符上构成1个字符的像素数少于在显示装置的结构上由于明了地显示1个字符所需的像素数。例如，在用半色调来表示字符的情况下，为了用能够判别的大小来显示包含一般汉字的印刷字符，需要20点×20点以上，在想用比这更少的构成像素来显示字符的情况下，发生前述问题。
此外，图画是用与所谓的浓淡图像相同的手法、或与所谓的网点图像相同的手法来描绘的。在对与浓淡手法相同的手法的图画施加锐化处理的情况下，输入图像数据中包含的噪声被增强，所以有时视觉上有粗糙的感觉，边缘部分的松垮很明显。此外，在对与网点图像相同手法的图画施加锐化处理的情况下，空间频率的高域频率成分被增强，有时发生云纹(モァレ)。为了回避这些问题，在本实施例的图像处理装置中，改变输入图像数据51内的字符区域和剩余区域的锐化程度h(x，y)。
图9是第2实施例的图像处理装置执行的图像校正处理的说明流程图。用图9的流程图来说明图像校正处理。例如，如果图像处理装置的操作者用操作部40来指示图像校正处理的执行，则从步骤b1进至步骤b2。
首先，图像输入装置33在步骤b2中将输入图像数据51存储到数据存储部86的预定的第1存储区域。输入图像数据51可以在图像校正处理开始后形成，也可以在开始图像校正处理前预先形成。输入图像数据51表示的输入图像91的例子示于图10。在图10中，用斜线来表示图画的暗的部分，而且假设斜线的条数越多则越暗。
接着，字符区域提取部83解析步骤b3～b10的字符区域提取处理。具体地说，首先，字符区域提取部83在步骤b3中对输入图像数据施加二值化处理。由此，在输入图像的所有像素数据中，与构成输入图像91的底的部分的像素对应的像素数据被变换为“0”，而与构成上述底的部分的像素对应的像素数据以外的剩余像素数据被变换为“1”。上述剩余的像素数据分别对应于构成字符的线及点的像素、以及构成图画或照片的暗的部分的像素。将施加了二值化处理的输入图像数据称为二值图像数据，将二值图像数据表示的图像称为二值图像。二值图像数据的各像素数据不表示亮度值。二值图像数据被存储在数据存储部86的预定的第2存储区域中。二值化处理具体地说例如使用判别分析法、模式法、或微分直方图法，各手法的参数被调整得使得输入图像数据的像素数据被如上所述变换。二值图像92示于图11。在图11中，像素数据是“1”的像素用黑像素来表记，而像素数据是“0”的像素用白像素来表记。在图11～13中，附加斜线的区域内的像素都是黑像素。
接着，字符区域提取部83在步骤b4中，在二值图像92内，求所有像素数据为1的像素的连结部分。连结部分是二值图像92内像素数据为1的多个像素依次邻接相连的部分。即，构成连结部分的像素的像素数据都是1，而且构成连结部分的任意1个像素与构成该连结部分的至少另一个像素邻接。为此，字符区域提取部83对二值图像数据施加所谓的标记(ラベリンゲ)处理，对与构成单一连结部分的各像素对应的像素数据附以相同的标记、即号码。标记处理的细节等于是公知技术，所以省略其详细说明。
在对表示图11的二值图像92的二值图像数据施加标记处理的情况下，得到多个连结部分。在步骤b4的处理结束的时刻，例如在“い”这样的、构成字符的线有多个的字符中，认为各线分别是独立的连结部分，对各线分别附以不同的标记。此外，在图画被描绘为所谓的浓淡图像的情况下，图画的暗的部分被看作1个连结部分。再者，在图画被描绘为网点图像的情况下，认为由2个以上的像素构成的多个网点分别是独立的连结部分。
接着，字符区域提取部83分别求步骤b4求出的各连结部分的外接矩形。可以预想上述连结部分是字符，所以所求的外接矩形成为候选字符区域。接着，字符区域提取部83形成标记表。标记表是对各外接矩形、将构成各连结部分的像素所附的标记、用于定义各连结部分的外接矩形的参数、各外接矩形的除外标志、以及各外接矩形的字符标志相互对应的表。用于规定第i个外接矩形的参数例如是该外接矩形的左上顶点坐标(si，ti)、该外接矩形的左下顶点坐标(ui，vi)、以及该外接矩形的高度hi及宽度wi。i是任意整数。上述顶点的坐标是二值图像92设定的二维坐标系的坐标，用于指明二值图像92内的像素的位置。各外接矩形的除外标志在步骤b5的初始状态下都是复位状态，表示各外接矩形是候选字符区域。通过后述的除外处理判定为不是字符区域的外接矩形的除外标志被置位。各外接矩形的字符标志被用于后述的第3除外处理。标记表被存储在数据存储部86的预定的第3存储区域中。
表2
表2表示根据图11的二值化图像92来求外接矩形的情况下形成的标记表。此外，在此情况下求出的各连结部分的外接矩形N1～Nn+2示于图12。以下，假定坐标(x，y)的x坐标值x及y坐标值y相当于从二值图像92内的预定的基准点平行于x坐标轴及y坐标轴到坐标(x，y)的像素所在的列及行的像素数。此外，假定外接矩形的宽度及高度的单位是点、即像素数。在步骤b5的处理结束的时刻，例如“ろ”这样的、由1条线构成的字符位于单一外接矩形内。相反，例如在“い”这样的、构成字符的线有多个的字符中，各线分别位于独立的外接矩形内，字符整体不位于1个外接矩形内。
即，步骤b3、b4的处理是外接矩形设定处理，在输入图像91中，设定亮度相互类似的多个像素连结而构成的连结部分所外接的外接矩形。可以预想上述连结部分是字符，所以设定的外接矩形成为候选字符区域。然而，在只进行上述外接矩形设定处理的情况下，像上述的“い”这样，由于字符的形状，有时单一字符不位于单一外接矩形内。此外，在上述情况下，除了字符的外接矩形之外，还同时求图画的暗的部分的外接矩形。再者，在上述情况下，如果输入图像91上描绘有格线，则还会同时求格线的外接矩形。为此，字符区域提取部83通过步骤b6～b10的字符判定处理，在外接矩形设定处理求出的所有外接矩形中，只选择字符的外接矩形。
首先，在步骤b6中，字符区域提取部83进行第1除外处理，根据各外接矩形的尺寸从所有外接矩形中除去字符以外的连结部分所外接的外接矩形。为此，字符区域提取部83分别判定标记表中存储的各外接矩形的高度及宽度是否适合要施加预定锐化的字符的高度及宽度的有关第1除外条件。上述第1除外条件用式19来表示。
(hi≥Smax)或(hi≤Smin)或(wi≥Smax)或(wi≤Smin)…(19)在任意标记号码i的外接矩形的高度hi及宽度wi中的至少一个不满足式19的各项条件中的至少一个的情况下，判定为不满足上述第1除外条件。Smin是要施加锐化的字符的高度及宽度的最小值。Smax是要施加锐化的字符的高度及宽度的最大值。例如，上述最小值Smin是2个点，而上述最大值Smax是30个点。是否能够判读为字符，取决于字符的构成点数。最小值Smin及最大值Smax的上述具体的值是处理显示分辨率的数据的情况下的值。2个点以下的连结成分可能是网点或二值化时的噪声，所以除去。30个点以上的连结成分即使是字符，如果有那么多点就能够判读，所以不太需要施加强的锐化，所以除去。此外，该最小值Smin及最大值Smax对于比显示分辨率高的分辨率的图像、例如用扫描仪读入的时刻的图像，为(输入分辨率/显示分辨率)倍的值。在一般的日语字型中，字符的外接矩形例如为正方形以及纵长及横长的长方形等各种形状，所以高度和宽度的最大值相等，而且高度和宽度的最小值也相等。
字符区域提取部83将适合第1除外条件的外接矩形从标记表中除去。具体地说，适合第1除外条件的外接矩形的除外标志被置位。在除外标志被置位的情况下，与该除外标志对应的外接矩形被从候选字符区域中除去，而在未被置位的情况下，认为与该除外标志对应的外接矩形是候选字符区域。
一般，与浓淡图像相同手法的图画的暗的部分大于要施加锐化的字符。此外，与网点图像相同手法的图画的网点小于要施加锐化的字符。再者，格线的高度及宽度中的任一个都大于要施加锐化的字符。因此，通过第1除外处理，能够将图画的暗的部分和格线的外接矩形从候选字符区域中去除。
表3
表3表示将图10的输入图像91作为处理对象的情况下的、步骤b6的处理结束的时刻的标记表。此外，在上述时刻，标记表中剩下的各外接矩形N2～Nn+2示于图13。在上述时刻，标记号码为1的外接矩形N1外接与图画的暗的部分相当的连结部分，所以被从候选字符区域中去除，而标记号码为2的外接矩形N2虽然外接与图画的暗的部分相当的连结部分，但是由于该连结部分的高度及宽度分别接近字符的高度及宽度，所以未从候选字符区域中去除。此外，标记号码为3～n+1的外接矩形N3～Nn+1分别外接字符或字符的一部分，所以未从候选字符区域中去除。
再次参照图9。接着，字符区域提取部83在步骤b7中进行第1统合处理。在第1统合处理中，除外标志未被置位的外接矩形中相互重合的被统合，成为1个外接矩形。为此，字符区域提取部83分别判定标记表内除外标志未被置位的外接矩形中任一个外接矩形是否与该任一个外接矩形以外的另一个外接矩形的至少一部分重叠。在上述任一个外接矩形有至少重叠一部分的另一个外接矩形的情况下，首先，求上述任一个外接矩形的连结部分和上述另一个外接矩形内的连结部分同时位于的最小的外接矩形。接着，将标记表内的、上述任一个外接矩形和上述另一个外接矩形中任一个的外接矩形的左上及右下顶点坐标、宽度以及高度分别置换、更新为求出的外接矩形的左上及右下顶点坐标、宽度以及高度，将上述任一个外接矩形和上述另一个外接矩形中的另一个的除外标志置位。例如按照标记的顺序变更按照上述任一个外接矩形来重复进行该处理，直至没有与其他外接矩形重合的外接矩形。
表4
图4表示在将图10的输入图像91作为处理对象的情况下、步骤b7的处理结束的时刻的标记表。在上述时刻，标记号码为1～n-1的外接矩形N1～Nn-1的状态与表3的状态相同。此外，标记号码为n的外接矩形Nn的参数被改写为外接“た”整体的外接矩形的参数，而标记号码为n+1、n+2的外接矩形Nn+1、Nn+2被从候选字符区域中去除。由此，在单一字符被分割为多个连结部分的情况下，如果外接各连结部分的外接矩形相互重叠，则可以统合这些外接矩形，得到外接上述字符整体的单一外接矩形。
再次参照图9。接着，字符区域提取部83在步骤b8中，进行第2统合处理。在第2统合处理中，在除外标志未被置位的外接矩形中，高度和宽度之比和预定的基准比差别很大的外接矩形被与上述不同的外接矩形的周边的外接矩形统合，成为1个外接矩形。在例如“い”这样、单一字符被分割为多个连结部分、而且外接各连结部分的外接矩形不相互重叠的情况下，进行第2统合处理，以得到外接上述字符整体的单一外接矩形。第2统合处理的细节将后述。通过进行步骤b7、b8的处理，能够得到“た”、“い”这样被分割为多个连结部分的字符整体所外接的外接矩形。
接着，字符区域提取部83在步骤b9中进行第2除外处理。在第2除外处理中，根据构成与输入图像91内的各外接矩形相当的部分的多个像素的亮度值中的最大值及最小值之差，来判定除外标志未被置位的各外接矩形是否是字符区域。输入图像91的各像素和二值化图像92的各像素分别一一对应，所以与输入图像91内的上述各外接矩形相当的部分是指通过与上述各外接矩形的参数相同值的参数、在输入图像91内定义的矩形为其外周的部分。表5表示在以图10的输入图像91为处理对象的情况下、步骤b9的处理结束的时刻的标记表。
表5
能够通过第2除外处理从除外标志未被置位的外接矩形中除去字符区域以外的外接矩形的理由用图14来说明。图14内的各矩形表示在步骤b9的处理结束的时刻、与标记表中剩下的各外接矩形相当的输入图像91内的部分M2～Mn。输入图像91内的部分Mn是与外接字符的外接矩形Nn相当的部分，而输入图像91内的部分M2是与图画的暗的部分所外接的外接矩形N2相当的部分。构成上述部分Mn内的字符的线的像素的亮度值相当于漆黑或接近漆黑的颜色，而且，构成上述部分Mn内的底的部分的像素的亮度值相当于雪白或接近雪白的颜色。因此认为，构成上述部分Mn的像素的亮度值的最大值及最小值之差大致等于像素亮度范围的最大值Vmax及最小值Vmin之差。
相反，构成与上述部分M2内的图画的暗的部分邻接的部分的像素的亮度值不一定相当于雪白或接近雪白的颜色。因此，构成上述部分M2的像素的亮度值的最大值及最小值之差容易小于像素亮度范围的最大值Vmax及最小值Vmin之差。为此，根据构成与上述各外接部分相当的输入图像91内的部分的多个像素的亮度值的最大值及最小值之差，能够判定上述各部分是否是字符区域。
为此，字符区域提取部83首先分别求与输入图像91内的上述各外接矩形相当的部分。接着，对求出的每个上述各相当的部分，分别求构成该各部分的多个像素的像素数据中的最大值及最小值、即构成该各部分的多个像素的亮度值中的最大值及最小值。接着，对每个上述各相当的部分，分别判定上述亮度值的最大值和上述亮度值的最小值之间的差分是否超过预定的阈值，按照判定结果来设定上述各外接矩形的除外标志。即，认为上述差分超过上述阈值的上述部分很可能是字符区域，与该部分相当的外接矩形的除外标志被保持在复位的状态。认为上述差分在上述阈值以下的上述部分是图画的一部分，与该部分相当的外接矩形的除外标志被置位。
接着，字符区域提取部83在步骤b10中进行第3除外处理。在第3除外处理中，根据除外标志未被置位的外接矩形的相互位置关系及上述外接矩形的尺寸是否类似，来判定上述各外接矩形是否是字符区域。第3除外处理由于以下理由来进行。在输入图像91内的字符构成文章的情况下，如果文章是竖写的，则多个字符的外接矩形沿上下方向排列，而如果文章是横写的，则多个字符的外接矩形沿左右方向排列。此外，在此情况下，各外接矩形的大小大致相等。然而可以认为，如果图画的暗的部分是单一的，则上述暗的部分的外接矩形孤立于字符的外接矩形之外，即使上述暗的部分有多个，各暗的部分的外接矩形也是无秩序地排列，尺寸也不一律。为此，根据上述外接矩形的相互位置关系及尺寸的类似性，能够判定上述各外接矩形是否外接字符。省略第3除外处理的详细说明。
通过以上处理，在标记表内，只有字符的外接矩形的除外标志仍旧保留为复位，而字符以外的连结部分的外接矩形的除外标志被置位。字符区域提取部83将标记表内除外标志仍旧保留为复位的外接矩形的参数和该外接矩形的标记相互对应，写入数据存储部86的上述第3存储区域。写入上述存储区域的数据构成最终的标记表。至此，结束字符区域提取处理。
接着，图像锐化部84在步骤b11中为了进行各区域的图像锐化处理而设定输入图像91的各像素(x，y)的锐化程度h(x，y)。x、y分别是任意整数，根据各像素在输入图像91内的坐标而唯一确定。各像素(x，y)的锐化程度h(x，y)通过式20来定义。预定的第1及第2常数αc、αi通过显示装置的特性、字符和像素的大小关系、及用户目视显示装置35时的感受来决定，第2实施例的图像处理装置的操作者预先输入到数据处理装置81中。例如，第1常数αc是0.5，而第2常数αi是0.2。
(x，y)∈剩下的外接矩形h(x，y)=αc其他h(x，y)=αi0≤αi＜αc≤1.0…(20)具体地说，图像锐化部84首先从数据存储部86中读入上述最终的标记表。接着，分别判定各像素(x，y)是否位于通过最终的标记表内的外接矩形的参数而定义的外接矩形、即字符区域内。字符区域内的像素的锐化程度h(x，y)被设定为预定的第1常数αc，而字符区域外的像素的锐化程度h(x，y)被设定为第2常数αi。由此，如图15所示，只有字符区域内的像素的锐化程度h(x，y)被设定为第1常数αc，而字符区域外的像素的锐化程度h(x，y)被设定为第2常数αi。
接着，图像锐化部84在步骤b12中用步骤b11定义的各像素的锐化程度h(x，y)对数据存储部86中存储的输入图像数据51施加选择性图像锐化处理。具体地说，用输入图像数据的各像素数据f(x，y)分别对应的像素的锐化程度h(x，y)根据式21来变换该各图像数据，得到锐化图像的像素数据g(x，y)。f(x+1，y)、f(x-1，y)、f(x，y+l)、f(x，y-l)分别是像素数据f(x，y)对应的像素的4邻接的像素的像素数据。得到的锐化图像的像素数据g(x，y)的集合是锐化图像数据G。锐化图像数据与输入图像数据相比，只有各像素数据的实际亮度值不同，其他相同。锐化图像数据G被存储到数据存储部86的预定的第4存储区域。至此，结束图像锐化处理。
g(x，y)=f(x，y)-h(x，y)×_2f(x，y)=f(x，y)-h(x，y)×[f(x+1，y)+f(x-1，y)+f(x，y+l)+f(x，y-l)-4×f(x，y)]…(21)接着，图像亮度变换部87在步骤b13中，对锐化图像数据G施加基于色调校正用查找表RLUT的亮度校正处理。具体地说，首先，从色调校正用LUT存储部44中读出色调特性校正用查找表RLUT，再将锐化图像数据G从数据存储部86的上述存储区域中读出。接着，根据式22和色调特性校正用查找表RLUT，对锐化图像数据G的各像素数据g(x，y)分别进行亮度变换，分别得到输出图像数据89的各像素数据ga(x，y)。得到的各像素数据ga(x，y)分别被存储到数据存储部86的预定的第5存储区域内的地址中。上述地址是根据得到的各图像数据ga(x，y)对应的像素的输出图像内的位置坐标而分别决定的。
ga(x，y)=RLUT[g(x，y)]…(22)步骤b13的亮度变换处理与第1实施例的图像处理装置的步骤a16的亮度变换处理相比，不同点是用锐化图像数据G取代输入图像数据51来作为处理对象，而且用色调校正用查找表RLUT来取代亮度校正用查找表CaLUT，其他相同。由此，得到输出图像数据89。最后，在步骤b14中，得到的输出图像数据89被提供给显示装置35，在步骤b15中结束图像校正处理。
在图9的图像校正处理中，依次进行第1～第3除外处理，此外，依次进行第1及第2统合处理。在上述图像校正处理中，进行3个除外处理中的至少1个即可。此外，在执行3个除外处理中的任意2个的情况下，可以任意决定执行的除外处理的组合及顺序。再者，进行3个除外处理的情况下的顺序也不限于上述顺序。实际上，在进行2个以上的除外处理的情况下，如果最后进行第3除外处理，则被处理的多个外接矩形的数目比第1个或第2个进行第3除外处理的情况减少，所以处理简单，是优选的。再者，在用步骤b3～b5的处理能只得到字符的外接矩形的情况下，也可以省略这些除外处理以简化处理。此外，在上述图像校正处理中，也可以只进行2个统合处理中的任一个。此外，进行2个统合处理的情况下的顺序不限于上述顺序。再者，在用步骤b3～b5的处理一定能将单一字符包含在1个外接矩形中的情况下，也可以省略这些统合处理以简化处理。
图16是上述第2统合处理的详细说明流程图。如果在图9的图像校正处理中从步骤b7进至步骤b8，则从步骤c1进至步骤c2。字符区域提取部83首先在步骤c2中对计数器n进行初始化，使其存储1。在标记表内，与计数器n存储的值相等的标记所对应的参数定义的外接矩形成为被处理的外接矩形。接着，在步骤c2中，字符区域提取部83判定与被处理的外接矩形对应的除外标志是否被置位。在被置位的情况下，从步骤c3进至步骤c18。在未被置位的情况下，从步骤c3进至步骤c4。
在步骤c4中，字符区域提取部83根据式23来设定与被处理的外接矩形的尺寸有关的第1值L(n)。第1值L(n)是被处理的外接矩形的高度hn及宽度wn中大的值。此外，在步骤c4中，字符区域提取部83在步骤c5中根据式24来设定与被处理的外接矩形的尺寸有关的第2值R(n)。第2值R(n)是被处理的外接矩形的高度hn与被处理的外接矩形的宽度wn之比、及被处理的外接矩形的宽度wn之比与被处理的外接矩形的高度hn中大的值。
L(n)=max(hn，wn) …(23)R(n)=max(hn/wn，wn/hn)…(24)接着，字符区域提取部83在步骤c6中判定被处理的外接矩形的高度和被处理的外接矩形的宽度是否相差很大、即被处理的外接矩形是否是正方形。为此，字符区域提取部83根据式25来判定第2值R(n)是否超过预定的常数c。
R(n)＞c …(25)在被处理的外接矩形外接单一字符整体的情况下，被处理的外接矩形大致为正方形，第2值R(n)接近1。在实际的处理中，考虑字符的种类不同而引起的偏差及误差，常数c例如被设定为1.5。这是由于存在字型的不同、及“り”、“つ”这样外接矩形不为正方形的字符。在第2值R(n)在常数c以下的情况下，认为被处理的外接矩形大致是正方形。在此情况下，被处理的外接矩形外接单一字符整体，所以认为无需进行第2统合处理。因此，在此情况下，从步骤c6进至步骤c18。此外，在第2值R(n)超过常数c的情况下，认为被处理的外接矩形n是纵长或横长的长方形。在此情况下，认为被处理的外接矩形只外接构成单一字符的多个连结部分中的一部分，所以需要进行近邻矩形的统合处理。因此，在此情况下，从步骤c6进至步骤c7。
在步骤c7中，字符区域提取部83设定搜索区域S(n)，用于检查有无能够与被处理的外接矩形统合的其他外接矩形。构成搜索区域S(n)的多个像素的坐标(x，y)例如通过下式26来分别定义。C(n)x及C(n)y是被处理的外接矩形的中心坐标的x坐标及y坐标。
{C(n)x-L(n)≤x≤C(n)x+L(n)}∩{C(n)y-L(n)≤y≤C(n)y+L(n)}…(26)接着，在步骤c8～c10中，字符区域提取部83在二值化图像92内设定的外接矩形中搜索被处理的外接矩形以外的剩余的外接矩形，即从标记不是n的所有外接矩形中，搜索与搜索区域S(n)重叠的外接矩形。具体地说，字符区域提取部83首先在步骤c8中，对计数器m进行初始化，使其存储1。与计数器m存储的值相等的标记所对应的参数定义的外接矩形成为被比较的外接矩形。接着，在步骤c9中，判定计数器m中存储的值与计数器n中存储的值是否不同，而且，与被比较的外接矩形对应的除外标志是否被置位。在计数器n、m中存储的值相等的情况下，或者在上述除外标志被置位的情况下，从步骤c9进至步骤c16。在计数器n、m中存储的值不同而且上述除外标志被复位的情况下，从步骤c9进至步骤c11。
字符区域提取部83在步骤c11中将被处理的外接矩形和被比较的外接矩形统合所得的外接矩形考虑为临时外接矩形v。上述临时外接矩形v是包含被处理的外接矩形内的连结部分和被比较的外接矩形内的连结部分的最小矩形。接着，计算上述临时外接矩形v的第1值L(v)及第2值R(v)。接着，字符区域提取部83在步骤c12中判定临时外接矩形的第1值L(v)是否满足式27所示的第1统合条件。第1统合条件用于限制外接矩形的大小的变动。在临时外接矩形的第1值L(v)不满足第1统合条件的情况下，从步骤c12进至步骤c16。在临时外接矩形的第1值L(v)满足第1统合条件的情况下，从步骤c12进至步骤c13。字符区域提取部83在步骤c13中，判定临时外接矩形的第2值R(v)是否满足式28所示的第2统合条件。第2统合条件用于确认临时外接矩形的高度和临时外接矩形的宽度之比是否接近1。在临时外接矩形的第2值R(v)不满足第2统合条件的情况下，从步骤c13进至步骤c16。在临时外接矩形的第2值R(v)满足第2统合条件的情况下，从步骤c13进至步骤c14。即，在临时外接矩形的第1及第2值L(v)、R(v)分别满足第1及第2统合条件的情况下，认为被处理的外接矩形内的连结部分和被比较的外接矩形内的连结部分都是构成同一个字符的多个连结部分中的一个。这里，假设a为0.2。
｜L(v)-L(n)｜÷L(n)＜a以及…(27)｜R(v)-1.0｜＜｜R(n)-1.0｜…(28)字符区域提取部83在步骤c14中设定被处理的外接矩形和被比较的外接矩形统合所得的新外接矩形，将标记表内的被处理的外接矩形的参数改写为新外接矩形的参数。上述新外接矩形的参数例如等于上述临时外接矩形的参数。接着，字符区域提取部83在步骤c15中将与标记表内的被比较外接矩形的参数对应的除外标志置位。
接着，字符区域提取部83在步骤c16中将计数器m存储的值加1来更新，在步骤c17中判定计数器m的更新值是否超过二值化图像92内设定的外接矩形的总数。在计数器m的更新值在上述总数以下的情况下，从步骤c17返回到步骤c9，将与计数器m的更新值相等的标记所对应的参数定义的外接矩形作为新的被比较的外接矩形，重复步骤c9～c16的处理。在计数器m的更新值超过上述总数的情况下，从步骤c17进至步骤c18。
接着，字符区域提取部83在步骤c18中将计数器n存储的值加l来更新，在步骤c19中判定计数器n的更新值是否超过上述总数。在计数器n的更新值在上述总数以下的情况下，从步骤c19返回到步骤c3，将与计数器n的更新值相等的标记所对应的参数定义的外接矩形作为新的被处理的外接矩形，重复步骤c4～c19的处理。在计数器n的更新值超过上述总数的情况下，在步骤c20中结束上述第2统合处理。
用图17来具体说明步骤c9～c16的处理。在图17中，外接矩形N3、N4分别外接输入图像91下部的文章中左端的句子的最上部的字符“い”的2个连结部分，外接矩形N5外接上述句子从上数第2个字符“ろ”。将被处理的矩形区域假定为外接矩形N3。此外，在图17A中，在被处理的外接矩形N3的搜索区域S3上附加斜线来表示。在此情况下，外接矩形N4、N5的一部分与搜索区域S(3)分别重叠，所以被选为被比较的外接矩形。如图17B所示，在假想统合外接矩形N3、N4的情况下，临时外接矩形N3+5的第1及第2值L(3+4)、R(3+4)如式29、31所示，分别满足第1及第2统合条件。如图17C所示，在假想统合外接矩形N3、N5的情况下，临时外接矩形N3+5的第1值L(3+5)如式31所示，不满足第1统合条件。
｜L(3+4)-L(3)｜÷L(3)=O.1＜a …(29)｜R(3+4)-1.0｜=0.05＜｜R(3)-1.0｜=1.0…(30)｜L(3+5)-L(3)｜÷L(3)=1．3＞a…(31)表6
(单位点)
对于临时外接矩形Ni(i=3，4，5，3+4，3+5)，得到上表的结果，所以式29～31的运算基于此。假设a为0.2是因为，如果大小变化2成以上，则不适于统合为同一字符。
这样，临时外接矩形N3+4是统合构成单一字符“い”的多个连结部分所分别外接的外接矩形而得到的，所以满足第1及第2统合条件。相反，临时外接矩形N3+5是统合构成单一字符“い”的多个连结部分中的1个所外接的外接矩形、和外接单一字符“ろ”的外接矩形而得到的，所以不满足第1及第2统合条件中的至少一个。因此，字符区域提取部83能够根据式27、28所示的第1及第2统合条件，只统合构成单一字符的多个连结部分所分别外接的外接矩形。
图18是第3除外处理的详细说明流程图。如果在图9的图像校正处理中从步骤b9进至步骤b10，则从步骤d1进至步骤d2。字符区域提取部83首先在步骤d2中将标记表内的所有字符标志设定为“未定”。接着，字符区域提取部83在步骤d3中对计数器n进行初始化，使其存储1。在标记表内，与计数器n存储的值相等的标记所对应的参数定义的外接矩形成为被处理的外接矩形。接着，在步骤d4中，字符区域提取部83判定与被处理的外接矩形对应的除外标志是否被置位。在被置位的情况下，从步骤d4进至步骤d16。在未被置位的情况下，从步骤d4进至步骤d5。步骤d5～d15是将字符标志选择性地置位的处理。
字符区域提取部83首先在步骤d5中，判定计数器n存储的值是否超过二值化图像92内设定的外接矩形的总数。在计数器n存储的值超过上述总数的情况下，从步骤d5进至步骤d17。在计数器n存储的值在上述总数以下的情况下，从步骤d5进至步骤d6。
字符区域提取部83在步骤d6中设定搜索区域Sa(n)，用于检查被处理的外接矩形是否是字符。构成搜索区域Sa(n)的多个像素的坐标(x，y)例如通过式32来定义。其结果是，搜索区域Sa(n)如图19所示，是以被处理的外接矩形为中心、分别平行于输入图像91内的上下方向及左右方向而延伸长度kL(n)的十字形区域。上下方向是与输入图像91设定的坐标系的x坐标轴平行的方向。左右方向是与输入图像91设定的坐标系的y坐标轴平行的方向。C(n)x及C(n)y是被处理的外接矩形n的中心坐标的x坐标及y坐标。L(n)是被处理的外接矩形的高度hn及宽度wn中大的值。k是用于限定搜索范围Sa(n)的广度的常数，例如假设为2.0。
(((C(n)x-L(n)÷2)≤x≤(C(n)x+L(n)÷2)) ∩((C(n)y-k×L(n))≤y≤(C(n)y+k×L(n))) ∪(((C(n)x-k×L(n))≤x≤(C(n)x+k×L(n))) ∩((C(n)y-L(n)÷2)≤y≤(C(n)y+L(n)÷2)))…(32)字符区域提取部83在步骤d7中，在标记表内的除外标志未被设定的外接矩形中从与搜索区域Sa(n)重叠的外接矩形中，搜索最接近被处理外接矩形的外接矩形，作为被比较的外接矩形。接着，在步骤d8中，字符区域提取部83判定是否搜索到被比较的外接矩形，即是否存在被比较的外接矩形。在不存在被比较的外接矩形的情况下，从步骤d8进至步骤d16。在存在被比较的外接矩形的情况下，从步骤d8进至步骤d9。
字符区域提取部83在步骤d9中根据被处理的外接矩形的大小和被比较的外接矩形的大小，判定被处理的外接矩形内的连结部分和被比较的外接矩形内的连结部分是否有可能都是字符。为此，字符区域提取部83判定被处理的外接矩形的第1值L(n)、和被比较的外接矩形的第1值L(m)是否满足式33的判定条件。β是常数，例如是0.2。在第1值L(n)、L(m)不满足式33的判定条件的情况下，认为被处理及被比较的外接矩形中的至少一个未外接字符。在此情况下，从步骤d9进至步骤d16。在第1值L(n)、L(m)满足式33的判定条件的情况下，认为被处理及被比较的外接矩形都外接字符。在此情况下，从步骤d9进至步骤d10。
｜L(n)-L(m)｜÷L(n)＜β…(33)接着，在步骤d10～d14中，字符区域提取部83判定被比较的外接矩形和搜索区域Sa(n)的偏差是否不足预定的大小。具体地说，首先，在步骤d10中，判定被比较的外接矩形和被处理的外接矩形是否沿纵方向排列。在沿纵方向排列的情况下，从步骤d10进至步骤d11。在不沿纵方向排列的情况下，认为被比较的外接矩形和被处理的外接矩形沿横方向排列，从步骤d10进至步骤d13。
字符区域提取部83在步骤d11中，判定被比较的外接矩形左端的边的坐标Pos(m)left、即被比较的外接矩形左上角的顶点的坐标x的坐标值sm是否满足下式34所示的判定条件。在被比较的外接矩形左端的边的坐标Pos(m)left不满足式34的判定条件的情况下，从步骤d11进至步骤d16。在被比较的外接矩形左端的边的坐标Pos(m)left满足式34的判定条件的情况下，从步骤d11进至步骤d12。接着，字符区域提取部83在步骤d12中判定被比较的外接矩形右端的边的坐标Pos(m)right、即被比较的外接矩形右下角的顶点的坐标的x坐标值um是否满足下式35所示的判定条件。在被比较的外接矩形右端的边的坐标Pos(m)right不满足式35的判定条件的情况下，从步骤d12进至步骤d16。在被比较的外接矩形右端的边的坐标Pos(m)right满足式35的判定条件的情况下，从步骤d12进至步骤d15。
(Pos(m)left＞(C(n)x-L(n)×δ))以及…(34)(Pos(m)right＜(C(n)x+L(n)×δ)) …(35)此外，字符区域提取部83在步骤d13中，判定被比较的外接矩形上端的边的坐标Pos(m)top、即被比较的外接矩形左上角的顶点的坐标的y坐标值tm是否满足式36所示的判定条件。在被比较的外接矩形上端的边的坐标Pos(m)top不满足式36的判定条件的情况下，从步骤d13进至步骤d16。在被比较的外接矩形上端的边的坐标Pos(m)top满足式36的判定条件的情况下，从步骤d13进至步骤d14。接着，字符区域提取部83在步骤d14中，判定被比较的外接矩形下端的边的坐标Pos(m)bottom、即被比较的外接矩形右下角的顶点的坐标的y坐标值vm是否满足式37所示的判定条件。在被比较的外接矩形下端的边的坐标Pos(m)bottom不满足式37所示的判定条件的情况下，从步骤d14进至步骤d16。在被比较的外接矩形下端的边的坐标Pos(m)bottom满足式37所示的判定条件的情况下，从步骤d14进至步骤d15。
(Pos(m)top＞(C(n)y-L(n)×δ))以及…(36)(Pos(m)bottom＜(C(n)y+L(n)×δ)) …(37)即，在步骤d10～d11中，只在被比较的外接矩形和被处理的外接矩形与纵方向大致平行排列的情况下，即在从通过被处理外接矩形的中心、与纵方向平行的假想直线到被比较外接矩形的左端及右端的边的各个距离都不足预定的距离L(n)×δ的情况下，才认为被比较的外接矩形和搜索区域Sa(n)之间的偏差不足基准偏差。此外，只在被比较的外接矩形和被处理的外接矩形与横方向大致平行排列的情况下，即在从通过被处理外接矩形的中心、与纵方向平行的假想直线到被比较外接矩形的上端及下端的边的各个距离都不足预定的距离L(n)×δ的情况下，才认为被比较的外接矩形和搜索区域Sa(n)之间的偏差不足基准偏差。预定的距离基本上是第1值L(n)的一半的值。然而，考虑到字符的不同和误差，常数δ被设定为例如8分之5(5/8)。
通过步骤d19～d14的处理，只在被处理的外接矩形和被比较的外接矩形的大小大致相等、而且被处理的外接矩形和被比较的外接矩形与纵方向或横方向大致平行排列的情况下，才进行步骤d15的处理。字符区域提取部83在步骤d15中，将被处理的外接矩形的字符标志和被比较的外接矩形的字符标志分别置1。
接着，字符区域提取部83在步骤d16中，将计数器n存储的值加1来更新，返回到步骤d4。由此，将与计数器n的更新值相等的标记所对应的参数定义的外接矩形作为被处理的外接矩形，重复步骤d4～d16的处理。
此外，在步骤d5中，在计数器n存储的值超过定义的外接矩形的总数的情况下，字符区域提取部83从步骤d5进至步骤d17，结束第3除外处理。
之后，字符区域提取部83将字符标志未被置位的外接矩形的除外标志置1。由此，在输入图像内的所有外接矩形中，只有与预定的字符的排列方向大致平行的多个外接矩形作为候选字符区域而留在标记表内。在图18的流程图的说明中，在输入图像内，是假定字符与纵方向或横方向平行排列来说明的，但是在字符既不是横方向、也不是纵方向、而是与斜方向平行排列的情况下，也可以根据字符排列的方向来变更搜索区域Sa(n)和步骤d10～d14的判定。
在如上所述的第2实施例的图像处理装置进行的选择性锐化处理中，字符区域的锐化程度比字符区域以外的剩余区域的锐化程度更强。再者，用色调校正LUT对锐化图像施加亮度变换处理。由此，字符区域内要锐化的字符通过锐化处理而改善了边缘模糊，而且通过色调校正处理改善了可识性。同时，上述剩余区域由于被施加了不至于增强噪声的适度锐化处理，所以改善了边缘周边的模糊，而且通过色调校正处理改善了可识性。由此，在将输出图像显示在显示装置上的情况下，字符区域内的字符变得易读，同时，上述剩余部分成为噪声少的好看的图像。
以下，说明本发明第3实施例的图像处理装置。第3实施例的图像处理装置与第1实施例的图像处理装置相比，不同点是数据处理装置34被置换为图20所示的数据处理装置101，其他相同，所以对相同结构的装置、数据、及表附以相同的标号，省略其说明。
图20是第3实施例的图像处理装置内的数据处理装置101的电结构方框图。在数据处理装置101中，对与第1及第2实施例的数据处理装置34、81内的装置进行相同操作的部附以相同的标号，省略其详细说明。
数据处理装置101包含对比度估计部37、对比度校正用LUT形成部104、字符区域提取部83、图像锐化部84、图像亮度变换部107、色调校正用LUT存储部44、数据存储部108、及操作部40。对比度校正用LUT形成部103根据对比度估计部37估计出的对比度[Lv，Hv]，形成对比度校正用查找表CLUT。图像亮度变换部107进行用于对比度校正的亮度校正处理、和用于色调校正的亮度校正处理。数据存储部108在对比度估计部37、对比度校正用LUT形成部104、字符区域提取部83、图像锐化部84、及图像亮度变换部107分别进行处理时，暂时存储处理所用的各种数据。为此，在数据存储部108内，预先设定有用于分别存储各种数据的多个存储区域，各存储区域的地址是预定的。
直方图形成部41、对比度检测部42、对比度校正用LUT形成部104、字符区域提取部83、图像锐化部84、及图像亮度变换部107分别由不同的电路来实现。此外，上述部41、42、104、83、84、107中的至少2个部也可以为由单一中央运算处理电路的运算处理来实现的虚拟电路。
图21是第3实施例的图像处理装置的数据处理装置101执行的图像校正处理的说明流程图。用图21的流程图来说明图像校正处理。图21的流程图包含进行与图2及图9的流程图类似的操作的步骤，省略进行类似操作的步骤的详细说明。
例如，如果图像处理装置的操作者例如用操作部40来指示图像校正处理的执行，则从步骤e1进至步骤e2。步骤e2的图像数据的输入处理、及步骤e3～e12的输入图像的对比度[Lv，Hv]的估计处理与图2的流程图的步骤a2的处理、及步骤a3～a12的处理分别相同。
对比度校正用LUT形成部104在步骤e13中通过与步骤a13相同的处理，来形成对比度校正用查找表CLUT。接着，对比度校正用LUT形成部104将步骤e14形成的对比度校正用查找表CLUT存储到数据存储部108的预定的第2存储区域。
接着，图像亮度变换部107在步骤e15中作为进行对比度校正的对比度校正部来操作。在此情况下，图像亮度变换部107根据对比度校正用查找表CLUT，对输入图像数据51施加亮度校正处理。具体地说，首先，从数据存储部108中读出对比度校正用查找表CLUT，再将输入图像数据51从数据存储部108中读出。接着，根据下式38和对比度特性校正用查找表CLUT，对输入图像数据51的各像素数据f(x，y)分别进行亮度变换，分别得到校正图像数据的各像素数据fa(x，y)。得到的各像素数据fa(x，y)被存储到数据存储部86的预定的第3存储区域内的地址中。上述地址根据得到的各像素数据fa(x，y)对应的像素在校正图像内的位置坐标来分别预定。校正图像是校正图像数据表示的图像。
fa(x，y)=CLIT[f(x，y)]…(38)步骤e15的亮度变换处理与第1实施例的图像处理装置的步骤a16的亮度变换处理相比，不同点是用对比度校正用查找表CLUT来取代亮度校正用查找表CaLUT，其他相同。由此，输入图像的对比度[Lv，Hv]被扩大为像素数据的规格上最大的对比度[Vmin，Vmax]。
步骤e16～e23的字符区域提取处理与图9的流程图的步骤b3～b10相比，不同点是用上述校正图像数据取代输入图像数据51来作为处理对象，其他相同。此外，步骤e24、e25的图像锐化处理与图9的流程图的步骤b11、b12的处理相同。由此，对上述校正图像数据施加第2实施例说明的选择性锐化处理。接着，图像亮度变换部107在步骤e26中作为用于进行色调校正的色调校正部来操作。在此情况下，图像亮度变换部107根据色调校正用查找表RLUT，对输入图像数据51施加亮度校正处理。步骤e24的色调校正用亮度校正处理与图9的流程图的步骤b13的处理相同。由此得到的输出图像数据在步骤e28中被提供给显示装置35，在步骤e29中结束图像校正处理。
在图21说明的图像校正处理中，也可以不用步骤e13的对比度校正用查找表CLUT，而是通过第1实施例中用式13～式15说明的手法来形成亮度校正用CaLUT，在步骤e15中用亮度校正用查找表来进行亮度校正处理。在此情况下，能够省略步骤a27用于色调特性校正的亮度校正处理，所以简化了处理。
通过以上处理，显示装置上显示的图像的对比度比输入图像扩大。此外，对输入图像内的字符区域施加的锐化处理的锐化程度比对字符区域以外的剩余区域施加的锐化处理的锐化程度更强。再者，施加与显示装置对应的色调校正。由于这3个理由，显示装置上显示的图像内记载的字符变得易读，此外，可识性也提高了。
图22是本发明第4实施例的图像处理装置121的电结构方框图。在第4实施例的图像处理装置内，对与第1实施例的图像处理装置相同结构的装置、数据、及表附以相同的标号，省略其说明。图像处理装置121由数据形成装置123和数据阅览装置124构成。数据形成装置123由图像输入装置33、数据处理装置34、和存储媒体写入装置126构成。数据阅览装置124由存储媒体读取装置127和显示装置35构成。
数据处理装置34对从图像输入装置33输入的图像数据施加预定的图像校正处理来形成输出图像数据，将输出图像数据提供给存储媒体写入装置126。此时，上述图像校正处理根据数据阅览装置124的显示装置35的显示特性来进行。存储媒体写入装置126将输出图像数据写入存储媒体128。存储媒体例如用软盘或CD-ROM来实现。存储媒体128能够分别装卸自由地装入存储媒体写入装置126及存储媒体读取装置127。写入了输出图像数据的存储媒体被从存储媒体写入装置126中取出，装入存储媒体读取装置124。存储媒体读取装置127从存储媒体128中读取输出图像数据，提供给显示装置35。显示装置35根据提供给的图像，在显示画面上显示图像。
这种结构的图像处理装置121可以例如将数据形成装置123用作所谓的电子出版的写作系统，将数据阅览装置124用作用于阅览所谓的电子出版的电子出版物的装置。在此情况下，存储媒体128作为电子出版物，存储将内容的各页整体分别作为1张图像来表示的多个图像数据。对这些各图像数据施加上述图像校正处理，所以显示装置35的显示画面上显示的图像能够防止色调特性的偏差、上述图像的对比度、及上述图像的分辨率引起的图像的可识性降低。因此，在将数据阅览装置124的显示装置35的显示画面的分辨率保持在现有技术的分辨率的同时，能够使显示画面上显示的图像记载的字符易读。由此，在电子出版物形成时能够节省校正的时间，简化形成处理，同时能够原封不动地保持内容的各页上印刷的文章的视觉印象，并且使其易读。
这样，在图像处理装置121中，能够分离数据形成装置123和数据阅览装置124。因此，图像处理装置123不一定由单一数据形成装置123和单一数据阅览装置124构成，可以由多个数据形成装置123和单一数据阅览装置124构成，可以由单一数据形成装置123和多个数据阅览装置124构成，也可以由多个数据形成装置123和多个数据阅览装置124构成。此外，也可以用第2实施例的图像处理装置的数据处理装置81及第3实施例的图像处理装置的数据处理装置101中的任一个来取代数据处理装置34。
在第1～第4实施例的图像处理装置的说明中，假定输入图像数据是黑白图像。这些图像处理装置也可以用彩色图像作为输入图像数据。简略地说明输入图像数据是所谓的RGB信号形态的数据、即由红亮度信号成分、绿亮度信号成分、和蓝亮度信号成分构成的数据的情况下的上述图像处理装置的处理过程。在上述情况下，为了对输入图像数据施加用于对比度校正及色调校正的亮度变换处理，图像处理装置首先从输入图像数据中只提取亮度信号成分。接着，用上述亮度信号成分来形成色调校正用及对比度校正用查找表。进而，对原来的图像、即RGB信号形态的输入图像数据的上述各色信号成分分别作用查找表，得到输出图像数据。上述亮度成分数据是所谓的YUV信号形态的数据中的Y信号。
此外，在上述情况下为了对输入图像数据施加锐化处理，图像处理装置首先从输入图像数据中提取亮度信号成分(Y信号)，只用上述亮度信号成分来进行字符区域提取处理。接着，根据上述字符提取处理得到的字符区域，对原来的图像、即RGB信号形态的输入图像数据的上述各色信号成分分别施加选择性锐化处理，得到输出图像数据。
第1～第4实施例的图像处理装置也可以由计算机来实现。为此，将包含程序及数据的软件存储到计算机可读的存储媒体中，该程序及数据用于使计算机的中央运算处理装置进行图2、8、20中分别说明的图像校正处理。该存储媒体例如可以举出CD-ROM及软盘。为了将包括图像输入装置和显示装置的计算机作为上述数据处理装置来操作，首先，将上述存储媒体装入计算机，将存储媒体内的软件安装到计算机中，接着使中央运算处理装置执行安装的软件内的程序。由此，计算机内的中央运算处理装置及存储器作为数据处理装置来操作，所以计算机整体作为图像处理装置来操作。由此，能够用通用计算机来容易地实现第1～第4实施例的图像处理装置。
第1～第4实施例的图像处理装置是本发明的图像处理装置的例示，只要主要操作相同，则可以用其他各种形式来实施。特别是各装置及部的详细操作，只要能得到相同的处理结果，则不限于此，也可以通过其他操作来实现。
本发明在不脱离其精神或主要特征的情况下，可以用其他各种形式来实施。因此，上述实施例在所有点上都不过只是例示，本发明的范围示于权利要求书，而丝毫不局限于说明书正文。
再者，属于权利要求的均等范围内的变形和变更都在本发明的范围内。
产业上的可利用性如上所述，根据本发明，图像处理装置同时考虑显示部件的色调特性和被处理图像的对比度，来进行构成上述图像的各像素的亮度变换。由此，在显示部件上显示图像的情况下，能够防止上述图像的对比度及上述显示部件的色调特性两者引起的图像的可识性降低。
此外，根据本发明，图像处理装置的锐化部件使对被处理图像内的字符区域施加的锐化的程度比对被处理图像内的字符区域以外的剩余区域施加的锐化的程度更强。同时，上述图像处理装置的亮度变换部件根据显示装置的色调特性，来进行锐化图像的各像素的亮度变换。由此，能够防止上述图像的分辨率和上述显示部件的分辨率之差及上述显示部件的色调特性两者引起的图像的可识性降低。
再者，根据本发明，上述锐化部件用所谓的选择性锐化处理对上述被处理图像施加锐化处理。由此，按照选择性锐化处理的被处理像素位于字符区域及剩余区域中的哪一个来变更锐化程度的过程简化了。
此外，根据本发明，为了求字符区域，首先分别求构成上述图像的各像素中亮度相互类似的多个像素连结而构成的1个或多个连结部分所分别外接的外接矩形，在所有外接矩形中，统合至少一部分重合的外接矩形。接着，在将上述图像内的各外接矩形分别作为轮廓的1个或多个区域中，将该区域内多个像素的亮度的最大值及最小值之差在预定的基准差分值以上的区域作为字符区域来提取。由此，在上述图像内描绘至少1个字符的情况下，能够容易地将外接该字符的外接矩形作为字符区域来提取。
再者，根据本发明，为了求字符区域，首先分别求构成上述图像的各像素中亮度相互类似的多个像素连结而构成的1个或多个连结部分所分别外接的外接矩形，在所有外接矩形中，统合至少一部分重合的外接矩形。接着，在将上述图像内的各外接矩形分别作为轮廓的多个区域中，将直线上排列的多个外接矩形作为字符区域来容易地提取。由此，在上述图像内描绘文章的情况下，能够只将构成文章的字符所外接的外接矩形作为字符区域来提取。
此外，根据本发明，在图像处理装置内，除了锐化部件进行的锐化处理、亮度校正部件进行的亮度校正处理之外，还可以通过对比度校正部件将被处理的上述图像的对比度比该图像的原来的对比度提高。因此，能够进一步防止上述图像的对比度引起的图像的可识性降低。
再者，根据本发明，上述对比度检测部件在构成上述图像的像素的亮度的直方图中，根据表示亮度的出现频度的曲线上是否有2个明了的隆起，来变更对比度的估计手法。由此，不管与字符的颜色相当的亮度的像素数和该亮度以外的其他亮度分别的像素数之间的关系如何，总是能够可靠地求出上述图像的对比度。
此外，根据本发明，在被处理的上述图像的各像素的亮度用3色成分之和来表示的情况下，上述字符区域根据3色成分之和来提取，上述锐化处理对3色成分分别施加，而且基于显示装置色调特性的亮度校正也对3色成分分别进行。由此，即使在上述图像是彩色图像的情况下，上述图像处理装置也能够防止上述图像的分辨率和上述显示部件的分辨率之差及上述显示部件的色调特性两者引起的图像的可识性降低。
再者，根据本发明，在本发明的图像处理方法中，同时考虑显示部件的色调特性和估计出的被处理图像的对比度，来进行构成上述图像的各像素的亮度变换。由此，在显示部件上显示图像的情况下，能够防止上述图像的对比度及上述显示部件的色调特性两者引起的图像的可识性降低。
此外，根据本发明，在本发明的图像处理方法中，对被处理图像施加选择性锐化处理，使得对上述字符区域施加的锐化的程度比对上述剩余区域施加的锐化的程度更强，而且对上述图像施加基于上述显示部件色调特性的亮度变换处理。因此，能够防止上述图像的分辨率和上述显示部件的分辨率之差及上述显示部件的色调特性两者引起的图像的可识性降低。
权利要求
1.一种图像处理装置，其特征在于，包含显示部件，具有预定的色调特性，图像输入部件，输入由多个像素构成的图像，对比度估计部件，估计上述图像的对比度，以及亮度校正部件，根据估计出的上述对比度来增大上述图像的对比度，而且根据上述色调特性来校正构成上述图像的各像素的亮度；上述显示部件显示由上述亮度校正部件校正过各像素的亮度的图像。
2.一种图像处理装置，其特征在于，包含显示部件，具有预定的色调特性，图像输入部件，输入由多个像素构成的图像，字符区域提取部件，从上述图像内提取描绘字符的字符区域，锐化部件，对上述图像内的上述字符区域以外的剩余区域分别施加预定程度的锐化，对上述字符区域分别施加比对上述剩余区域施加的锐化程度更强程度的锐化，以及亮度校正部件，根据上述显示部件具有的上述色调特性，来校正分别构成施加了锐化的上述字符及上述剩余区域的各像素的亮度；上述显示部件显示由上述亮度校正部件校正过各像素的亮度的图像。
3.如权利要求2所述的图像处理装置，其特征在于，上述锐化部件将构成上述图像的各像素的亮度f(x，y)和上述各像素的锐化程度的系数h(x，y)代入式g(x，y)=f(x，y)-h(x，y)×_2f(x，y)来分别求锐化过的各像素的亮度g(x，y)；上述各像素的锐化程度的系数h(x，y)在上述各像素位于上述剩余区域内的情况下，是预定的第1常数αi，而在上述各像素位于上述字符区域内的情况下，是比第1常数αi大的第2常数αc。
4.如权利要求2所述的图像处理装置，其特征在于，上述字符区域提取部件将构成上述图像的各像素的亮度二值化，求二值化过的亮度相等的多个像素连结而构成的1个或多个连结部分，分别求外接各连结部分的外接矩形，将至少一部分重合的外接矩形统合为单一外接矩形；在分别以各外接矩形为轮廓的图像内的1个或多个区域中，将区域内多个像素的亮度的最大值及最小值之差在预定的基准差分值以上的区域作为字符区域来提取。
5.如权利要求2所述的图像处理装置，其特征在于，上述字符区域提取部件将构成上述图像的各像素的亮度二值化，求二值化过的亮度相等的多个像素连结而构成的1个或多个连结部分，分别求外接各连结部分的外接矩形，将至少一部分重合的外接矩形统合为单一外接矩形；在分别以各外接矩形为轮廓的图像内的1个或多个区域中，将与预定的基准轴线大致平行而排列的区域作为字符区域来分别提取。
6.如权利要求2所述的图像处理装置，其特征在于，还包含对比度估计部件，估计上述图像的对比度；以及对比度校正部件，根据估计出的上述对比度，来增大上述图像的对比度。
7.如权利要求6所述的图像处理装置，其特征在于，上述对比度估计部件形成构成上述图像的各像素的亮度的直方图；求在预定的基准亮度以上而在上述各像素取得的最大亮度以下的第1范围内的直方图的最大值所对应的第1亮度；求在上述各像素取得的最小亮度以上而不足上述基准亮度的第2范围内的直方图的最大值；判定上述第2范围内的上述直方图的最大值是否在预定的基准值以上；在第2范围内的直方图的最大值在基准值以上的情况下，根据第1亮度和与第2范围内的直方图的最大值对应的亮度来估计图像的对比度，而在第2范围内的直方图的最大值不足基准值的情况下，根据第1亮度和构成上述图像的所有像素的亮度中最低的亮度来估计图像的对比度。
8.如权利要求2所述的图像处理装置，其特征在于，在上述各像素的亮度由预定的3色成分之和来表示的情况下，上述字符区域提取部件根据3色成分之和来提取字符区域，上述锐化部件对3色成分分别施加锐化，上述亮度校正部件分别校正3色成分。
9.一种图像处理方法，其特征在于，输入由多个像素构成的图像；估计上述图像的对比度；根据估计出的上述对比度来增大上述图像的对比度，而且根据用于显示上述图像的显示部件具有的色调特性来校正构成上述图像的各像素的亮度；将校正过上述各像素的亮度的上述图像显示在上述显示部件上。
10.一种图像处理方法，其特征在于，输入由多个像素构成的图像；提取上述图像内描绘字符的字符区域；对上述图像内的上述字符区域以外的剩余区域施加预定程度的锐化，对上述图像内的上述字符区域分别施加比对上述剩余区域施加的锐化程度更强程度的锐化；根据用于显示上述图像的显示部件具有的色调特性，来校正分别构成施加了锐化的上述字符及上述剩余区域的各像素的亮度；将校正过上述各像素的亮度的上述图像显示在上述显示部件上。
全文摘要
在图像处理装置中,为了在色调特性非线性的显示装置上显示图像,首先,对比度估计部 (37)估计从图像输入装置输入的图像数据(51)表示的图像的对比度。接着,亮度校正部(38)根据估计出的对比度和上述色调特性,对构成图像数据(51)的各像素数据施加亮度变换处理。此外,有时也对上述各像素数据进一步施加锐化处理。对图像数据(51)表示的图像内的1个或多个字符区域施加的锐化的程度大于对上述图像内的上还字符区域以外的剩余区域内的像素的像素数据施加的锐化的程度。由施加了这些处理的像素数据构成的图像数据(52)被提供给上述显示装置。由此,能够提高上述显示装置上显示的图像的可识性。
文档编号H04N5/20GK1284233SQ98813251
公开日2001年2月14日 申请日期1998年11月20日 优先权日1998年1月23日
发明者中村三津明, 岩崎圭介 申请人:夏普公司