专利名称：图像处理方法、图像处理装置以及程序的制作方法
技术领域：
本发明涉及图像处理方法、图像处理装置以及程序。
背景技术：
近年来，随着计算机和数码相机的普及，谁都能简单地拍摄和印刷照片。因此，个人处理大量的图像的情况也不少。其中，被拍摄的图像由于当时的拍摄条件等，并非总能得到足够的图像质量。因此，要求针对大量的图像根据每个图像的内容来自动地进行图像修正以实现高图像质量的技术。在显示或者印刷通过数码相机、扫描器等拍摄的图像的情况下，作为高图像质量化技术之一，大多进行使图像清晰化的处理。作为清晰化技术，广泛使用了被称为反锐化掩模(imsharp masking)的技术(非专利文献1)。当将图像设为f、将使其模糊后的图像设为fs时，能够得到如式⑴所示的那样被清晰化的图像g。g = f+λ (f-fs)(1)这里，λ是将图像的空间频率高的部分加入到原图像时的系数，即，是调整清晰化的强度的系数，该值在很多的图像中试行而可使用最佳的值。例如，优选的是在输入图像的场景是以建筑物等人造物为对象的情况下，对于调整清晰化的强度的系数设定乘以加强的清晰化的值，另一方面，在以自然物为对象的情况下，应用乘以减弱的清晰化的值。还已知有根据图像中的图像特征对清晰化处理中的参数进行调整的方法。在专利文献1中，叙述了在针对数字图像通过边缘增强来增强清晰度(sharpness)的情况下需要根据图像的特征来调整边缘的粗度(边缘增强的范围)。并且，作为该调整方法记载了以下方法当在关注像素的周边存在边缘的情况下，在该边缘的粗度和关注像素的位置关系中使增强半径或权重矩阵变化来调整边缘强度。在先技术文献专利文献专利文献1 日本专利文献特开2001-53974号公报。非专利文献非专利文献1 ^一义著“彩色复制(color reproduction)的理论”印刷学会出版部，1971年。
发明内容
发明所要解决的问题在背景技术中，记载了以下内容调整清晰化的强度的系数根据输入图像的场景而其最佳的值不同，例如，在输入图像的场景是人造物时为增强的设定，在是自然物的情况下，设定为减弱。但是，不一定限于上述。例如，在如植物那样的自然物中也存在如人造物那样由美丽的直线或曲线构成的自然物。针对这样的场景的图像，大多优选进行与人造物同样的处理。因此，应该认为不是针对自然物和人造物各自存在最佳处理，而是存在按照图像的每个部分进行最佳的处理的信息。另外，作为对图像的部分的清晰度的增强的手法，在专利文献1中记载了着眼于边缘的粗度和关注像素的位置关系并根据它们的特征来调整边缘强度的方法。但是，在针对任意的输入图像的最佳的边缘增强中，在边缘的粗度和位置上应对是不充分的。例如，当对于包含短边缘密集的区域的图像应用专利文献1的清晰度的增强手法时，清晰度过度，会引起图像质量的下降。因此，本发明是鉴于上述问题而完成的，其目的在于提供以下的图像处理装置、图像处理方法以及图像处理程序不依赖于图像中的自然物或人造物等被拍摄体的属性，而通过使图像中的部分的清晰度最佳来使图像高质量化。用于解决问题的手段用于解决上述问题的本发明是一种图像处理方法从应用清晰化处理的图像中检测边缘，并根据存在于清晰化处理的对象像素的附近的所述边缘的长度来决定所述对象像素中的清晰化处理的强度。解决上述问题的本发明是一种图像处理装置，包括图像清晰化强度决定部，所述图像清晰化强度决定部从应用清晰化处理的图像中检测边缘，并根据存在于清晰化处理的对象像素的附近的所述边缘的长度来决定所述对象像素的清晰化处理的强度；以及清晰化处理部，所述清晰化处理部基于所述清晰化处理的强度进行所述图像的清晰化。解决上述问题的本发明是一种程序，使信息处理装置执行以下处理图像清晰化强度决定处理，所述图像清晰化强度决定处理从应用清晰化处理的图像中检测边缘，并根据存在于清晰化处理的对象像素的附近的所述边缘的长度决定所述对象像素的清晰化处理的强度；以及清晰化处理，所述清晰化处理基于所述清晰化处理的强度来进行所述图像的清晰化。发明的效果本发明通过不依赖图像中的自然物和人造物等被拍摄体的属性而使图像中的部分的清晰度为最佳，能够使图像高质量化。
图1是示出本发明的第一实施方式的框图；图2是示出第一实施方式中的线段检测部的框图；图3是示出保存在线段列表中的内容例的图；图4是用于说明第一实施方式的图；图5是用于说明第一实施方式的图；图6是示出本发明的第一实施方式的框图。
具体实施例方式对本发明的实施方式进行说明。〈第一实施方式〉对第一实施方式进行说明。参考图1和图2对本发明的第一实施方式进行说明。图1是示出本发明的第一实施方式的框图。图2是示出本发明的线段检测部的框图。原图像1通常是由R (红)、G (绿)、B (蓝)三种分量的图像构成，图像转换部2将原图像1转换成亮度图像3和色差图像4。之后的清晰化处理被应用于亮度图像3。例如， 按照式(2)从由原图像1得到的RGB转换成构成亮度图像3的Y和构成色差图像4的Cb、 Cr三种分量。该情况下，由Y分量构成的亮度图像3被清晰化，但是也可以从RGB转换到 CIELAB颜色空间，将由该L*分量构成的明度图像视为亮度图像3来进行清晰化。另外，关于亮度分量或者明度分量，不仅限于上述YCbC,和颜色空间CIELAB，也可以利用YUV、HSV这样的颜色空间。另外，在原图像是单色的图像的情况下，由于不存在色差分量，因此仅进行亮度图像的清晰化。
= 0.2990Λ + 0.5870G + 0.1140B· Q =-0.16887Λ-0.3313G +0.50005(2)
Cr =0.5000/ -0.4187G-0.08135线段检测部5提取亮度图像3中的边缘。参考图2对线段检测部5的具体例子进行说明。对于亮度图像3，一次微分部51和二次微分部52发挥作用。对于二次微分部52 的输出，使零交差检测部53发挥作用。另外，对于一次微分部51的输出使二值化部M发挥作用。零交差检测部53的输出是宽度为1像素的边缘图像，但同时噪声也被较多地检测出。二值化部M的输出是具有宽度的边缘区域。通过对这两者进行组合，能得到宽度为1 像素、噪声少的边缘图像阳。关于其详细情况，例如能够参考(田村秀行著“计算机图像处理”，I82 I97页，才一 A社，2002年)。关于从图像提取边缘的方法，已知有KeNNy的边缘检测算法(“数字图像处理”， 209 210页，CG-ARTS协会，2004年)等以往较多的手法，因此也可以应用这些方法。边缘追踪部56追踪在边缘图像55中检测出的边缘，将应用直线的部分作为线段保存在线段列表57中。图3示出了线段列表57的内容的例子。图3是被写入了四根线段的线段列表57的例子。例如第三根线段表示由(2，4)、 (2,5), (2,6), (2,7), (2,8)五个像素构成的长度为5 (像素)的线段。图4以该被检测出的四根线段为像素单位进行图示。此外，这里将左上的坐标设为(0，0)。关于直线的应用，例如对于被追踪的η个像素(xi，yi) (i = 1、2、…η)求出距离的平方和最小的直线，在从该直线到各像素的距离的最大值比预先给出的阈值小的情况下，通过设为应用线段而能够执行。清晰化强度图生成部6生成清晰化强度像7。清晰化强度图生成部6第一向清晰化强度像7的各像素写入对图像整体给出的清晰化强度λ—第二，检查在线段检测部5的线段列表57中生成的各线段的长度，首先关于该长度1是阈值Ith以上的线段， 对清晰化强度像7的、该线段的附近的In像素写入给出强的清晰度的清晰化强度入lt) 艮口，形成长度1是阈值Ith以上的边缘线段的附近的边缘增强更加加强的清晰化强度像 7。并且，最后关于在相同的线段检测部5的线段列表57中生成的各线段的长度1小于阈值Ith的线段，对清晰化强度像7的、该线段的附近的In像素写入弱的清晰化强度入2。 这里，在已经被写入X1的情况下，在该像素位置上替换弱的清晰化强度入2。此外，上述阈值Ith和In是依赖于观察该图像的条件的常数，通过实验来决定。例
6如，在对图像以12像素/mm来进行印刷的情况下，阈值Ith为20 30像素是适当的，此时 In能够得到可设定为10像素左右的结果的情况多，但并不限于此。即，由于这些阈值说到底是目标，因此优选通过进行实验来决定最佳的阈值。这里，上述处理是用于对直线的边缘部分应用清晰化的处理。即，优选不是严格的直线，对具有弧的曲线也应用同样的处理。不是严格的直线的、具有弧的曲线通过上述的处理被分割为多个线段，但是如果是进行连结的，则利用该连结性而视为一个线段、或者按照该被分割的线段的长度能够满足阈值Ith的条件的方式来决定阈值Ith。在上述的例子中， 进行清晰化的附近的宽度In和清晰化强度X1由常数给出，但是也能够通过关系这些常数的与线段的长度有关的线性函数或者非线性函数来适应性地变化等来进行高度化。另外，清晰化强度λ” λ” λ 2是依赖清晰化的手法的常数。在较多的情况下，针对在自然物等中经常看到的边缘线段短的图像区域的清晰化强度λ 2可以与给予图像整体的清晰化强度λ 0相等地设置。在该情况下，A0^A1,A2的关系的一个例子如式(3)所示。A0= λ 2 < A1(3)此夕卜，λ0、人2的大小关系并不限于式(3)，只要比入工小即可。关于图像中的对象像素中的清晰化强度和附近的宽度In的参数决定，当周边存在多个边缘的情况下，通过选择基于短的边缘的长度的参数，能够抑制图像的清晰度过高这样的不良情况。图5示出了针对图4的线段图像以上面的处理为例设置为Ith = 4、ln = 2而执行的结果、被写入到清晰化强度像7的清晰化强度。在该图中形成线段的像素以网点示出，对到小于Ith的长度的线段编号1的线段为距离In以内的像素写入λ 2的强度，对到线段编号2、3、4的线段为距离In以内、到线段编号1的线段不在距离In以内的像素写入入工的强度，对剩余的像素写入λ ^的强度。图像清晰化部8针对亮度图像3参考清晰化强度像7对各像素例如式(4)那样进行清晰化。r{i,j)=Y{i,j)+ A(i,j)x-kj- /)g(w j(4)这里，Y(i，j)是亮度图像3的位置(i，j)中的像素值，λ2( , j)是清晰化强度像7的位置(i，j)中的像素值(=清晰化强度)，Y’(i，j)是进行清晰化处理后的结果的清晰化亮度图像9的位置(i，j)中的像素值。g(k，1)是针对亮度图像Y进行卷积的核函数，使用高斯函数等。式的H中的项为亮度图像3的空间频率高的分量，相当于式 (1)的(f-fs)。通过将其加入到原亮度图像Y，进行亮度图像3的清晰化。λ (i，j)是以像素为单位控制该加入程度的参数，进行在A2(i，j) = X1的像素位置强、在λ (i，j) = λ0 或者λ (i，j) = λ 2的像素位置弱的清晰化。式的计算结果，能够得到应用适于图像的各部分的清晰化的清晰化亮度图像 9。此外，在该例子中，采用了式(1)的基于反锐化掩模的清晰化，也可以利用作为{}内的项以往使用的DOG (Difference of Gaussian，高斯差)滤波器等其他的清晰化。图像转换部10从实施了清晰化处理的清晰化亮度图像9和色差图像4按照式5 对每个像素生成由R、G、B表现的清晰化图像11。
权利要求
1.一种图像处理方法，其中，从应用清晰化处理的图像中检测边缘，并根据存在于清晰化处理的对象像素的附近的所述边缘的长度来决定所述对象像素中的清晰化处理的强度。
2.如权利要求1所述的图像处理方法，其中， 从图像中检测边缘，从所述边缘中提取作为直线的边缘线段，根据存在于清晰化处理的对象像素的附近的边缘线段的长度来决定所述对象像素的清晰化处理的强度。
3.如权利要求1或2所述的图像处理方法，其中， 从图像生成亮度图像、以及色差图像或者色度图像， 对于所述亮度图像应用清晰化处理，来生成清晰化亮度图像，输出从所述清晰化亮度图像、以及所述色差图像或者所述色度图像被清晰化后的彩色图像。
4.如权利要求1至3中任一项所述的图像处理方法，其中，在所述图像是RGB图像的情况下，对于所述RGB的各分量的图像应用所述清晰化处理。
5.如权利要求1至4中任一项所述的图像处理方法，其中，在多个边缘存在于附近的情况下，基于短边缘的长度来决定清晰化处理的强度。
6.如权利要求1至5中任一项所述的图像处理方法，其中，在多个边缘存在于附近的情况下，基于短边缘的长度来决定清晰化处理的应用范围。
7.一种图像处理装置，包括图像清晰化强度决定部，所述图像清晰化强度决定部从应用清晰化处理的图像中检测边缘，并根据存在于清晰化处理的对象像素的附近的所述边缘的长度来决定所述对象像素的清晰化处理的强度；以及清晰化处理部，所述清晰化处理部基于所述清晰化处理的强度进行所述图像的清晰化。
8.如权利要求7所述的图像处理装置，其中， 所述图像清晰化强度决定部包括边缘检测部，所述边缘检测部从图像中检测边缘；边缘线段提取部，所述边缘线段提取部从所述边缘提取作为直线的边缘线段；以及边缘强度决定部，所述边缘强度决定部根据存在于附近的所述边缘线段的长度来决定所述图像中的对象像素的所述清晰化处理的强度。
9.如权利要求7或8所述的图像处理装置，其中，所述图像处理装置具有从图像生成亮度图像、以及色差图像或者色度图像的图像生成部，所述图像清晰化强度决定部基于所述亮度图像来决定清晰化处理的强度， 所述清晰化处理部基于所述清晰化处理的强度对所述亮度图像进行清晰化处理，并生成清晰化亮度图像，所述清晰化处理部具有图像转换部，所述图像转换部输出从所述清晰化亮度图像、以及所述色差图像或者所述色度图像被清晰化后的彩色图像。
10.如权利要求7至9中任一项所述的图像处理装置，其中，在图像是RGB图像的情况下，按照所述RGB的各分量的每个图像设置图像清晰化强度决定部和清晰化处理部。
11.如权利要求7至10中任一项所述的图像处理装置，其中，所述图像清晰化强度决定部在多个边缘存在于附近的情况下，基于短边缘的长度决定清晰化处理的强度。
12.如权利要求7至11任一项所述的图像处理装置，其中，所述图像清晰化强度决定部在多个边缘存在于附近的情况下，基于短边缘的长度决定清晰化处理的应用范围。
13.一种程序，使信息处理装置执行以下处理图像清晰化强度决定处理，所述图像清晰化强度决定处理从应用清晰化处理的图像中检测边缘，并根据存在于清晰化处理的对象像素的附近的所述边缘的长度决定所述对象像素的清晰化处理的强度；以及清晰化处理，所述清晰化处理基于所述清晰化处理的强度来进行所述图像的清晰化。
14.如权利要求13所述的程序，其中，所述图像清晰化强度决定处理包括从图像中检测边缘的边缘检测处理；从所述边缘中提取作为直线的边缘线段的边缘线段提取处理；以及根据存在于附近的所述边缘线段的长度决定所述图像中的对象像素的所述清晰化处理的强度。
15.如权利要求13或14所述的程序，其中，所述程序使信息处理装置执行从图像生成亮度图像、以及色差图像或者色度图像的图像生成处理，所述图像清晰化强度决定处理基于所述亮度图像决定清晰化处理的强度，所述清晰化处理基于所述清晰化处理的强度对所述亮度图像进行清晰化处理，并生成清晰化亮度图像，所述清晰化处理执行输出从所述清晰化亮度图像、以及所述色差图像或者所述色度图像被清晰化后的彩色图像的处理。
16.如权利要求13至15中任一项所述的程序，其中，在图像是RGB图像的情况下，对所述RGB的各分量的每个图像执行图像清晰化强度决定处理和清晰化处理。
17.如权利要求13至16中任一项所述的程序，其中，所述图像清晰化强度决定处理在多个边缘存在于附近的情况下基于短边缘的长度决定清晰化处理的强度。
18.如权利要求13至17中任一项所述的程序，其中，所述图像清晰化强度决定处理在多个边缘存在于附近的情况下，基于短边缘的长度决定清晰化处理的应用范围。
全文摘要
本发明是一种图像处理方法，从应用清晰化处理的图像中检测边缘，并根据存在于清晰化处理的对象像素的附近的所述边缘的长度来决定所述对象像素中的清晰化处理的强度。
文档编号H04N1/409GK102484673SQ20108003683
公开日2012年5月30日 申请日期2010年8月6日 优先权日2009年8月19日
发明者塚田正人, 田岛让二 申请人:日本电气株式会社