专利名称：图像处理装置、方法和程序的制作方法
技术领域：
本发明涉及用于处理图像的装置、方法和程序，具体涉及这样的用于处理图像的装置、方法和程序，它们可以再现图像，在所述图像中，即使当通过灰度转换(gradation conversion)而改变亮度信号电平时也保留色调。
背景技术：
当图像的亮度值中的改变是在例如边缘部分——其中亮度值中的改变通常应当是清楚的——逐渐进行的时候，所述图像产生模糊的印象。可以通过增强这样的图像的亮度值中的改变来获得清楚的图像。在电视接收机和数字照相机等中，采用用于锐化(sharpening)的方法来改善图像的清晰度。
在这种方法中，一般执行色差信号的调整，以便保持在调整前存在的亮度信号与色差信号的比率。也就是说，校正亮度信号和色差信号的电平，以便保持亮度信号(Y)与原始颜色的色差信号(C)的比率(Y/C比率)(以保持Y/C比率不变)。在例如日本未审查专利申请公开第11-252584号中公开了这样的色差信号的调整。
但是，在用于保持Y/C比率不变的校正(色差信号的校正)中，当通过灰度转换来降低亮度信号的电平(Y电平)时，图像在一些实际情况中看起来暗。而且，当色差信号的电平(C电平)大、亮度信号的电平(Y电平)小并且通过灰度转换来提高亮度信号的电平(Y电平)时，色差信号的电平(C电平)也被提高以保持Y/C比率不变。因此，色差信号的电平(C电平)不利地达到饱和点。
发明内容
根据上述情况来设想本发明，以便即使当通过灰度转换来改变亮度信号电平时也防止颜色看起来暗和防止颜色的饱和。
按照本发明的第一图像处理装置包括灰度校正部件，用于通过校正按照第一彩色系统(color system)的第一到第三元素中的第一元素的值的灰度来产生校正值，所述第一元素的值由输入图像信号限定；第一计算部件，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由所述输入图像信号限定；第二计算部件，用于基于由所述第一计算部件计算的第四到第六元素的值，计算由按照由第七到第九元素所表示的第三彩色系统的第七和第九元素限定的值；第三计算部件，用于基于按照所述第二彩色系统的第四元素的值和由所述第二计算部件计算并且由按照所述第三彩色系统的第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素的值。
按照所述第一彩色系统的第一元素可以是与亮度或值相关联的元素。
按照所述第三彩色系统的第七和第九元素可以分别是与色调和色度有关的元素。
所述第二彩色系统可以是XYZ彩色系统，第三彩色系统可以是芒赛尔颜色系统。
所述第一彩色系统可以是YCrCb彩色系统。
所述图像处理装置可以还包括第四计算部件，用于基于按照图像信号的彩色系统的独立元素，计算按照所述第一彩色系统的第一到第三元素。
按照本发明的第一图像处理方法包括灰度校正步骤，用于通过校正按照第一彩色系统的第一到第三元素中的第一元素的值的灰度来产生校正值，所述第一元素的值由输入图像信号限定；第一计算步骤，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由所述输入图像信号限定；第二计算步骤，用于基于在所述第一计算步骤中计算的第四到第六元素的值，计算由按照由第七到第九元素表示的第三彩色系统的第七和第九元素限定的值；第三计算步骤，用于基于按照所述第二彩色系统的第四元素的值和在所述第二计算步骤计算并且由按照所述第三彩色系统的第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素的值。
按照本发明的第一计算机可执行程序执行一种图像处理方法。所述图像处理方法包括灰度校正步骤，用于通过校正在按照第一彩色系统的第一到第三元素中的第一元素的值的灰度来产生校正值，所述第一元素的值由输入图像信号限定；第一计算步骤，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由所述输入图像信号限定；第二计算步骤，用于基于在所述第一计算步骤中计算的第四到第六元素的值，计算由按照由第七到第九元素表示的第三彩色系统的第七和第九元素限定的值；第三计算步骤，用于基于按照所述第二彩色系统的第四元素的值和在所述第二计算步骤计算并且由按照所述第三彩色系统的第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素的值。
按照本发明的第二图像处理装置包括第一计算部件，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由输入图像信号限定；第二计算部件，用于基于由所述第一计算部件计算的第四到第六元素的值，计算由按照由第七到第九元素表示的第三彩色系统的第八元素的值和第七和第九元素限定的值；灰度校正部件，用于通过校正由第二计算部件计算的第八元素的值的灰度来产生校正值；第三计算部件，用于根据由所述灰度校正部件产生的校正值，计算按照所述第二彩色系统的第五元素的值；第四计算部件，用于基于由所述第三计算部件所计算的、按照所述第二彩色系统的第五元素的值和由所述第二计算部件计算并且由所述第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素。
按照第三彩色系统的第八元素可以是与值相关联的元素。
按照所述第三彩色系统的第七和第九元素可以分别是与色调和色度有关的元素。
所述第二彩色系统可以是XYZ彩色系统，第三彩色系统可以是芒赛尔颜色系统。
所述第一彩色系统可以是RGB彩色系统。
按照本发明的第二图像处理方法包括第一计算步骤，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由输入图像信号限定；第二计算步骤，用于基于在所述第一计算步骤中计算的第四到第六元素的值，计算按照由第七到第九元素表示的第三彩色系统的第八元素的值和由第七和第九元素限定的值；灰度校正步骤，用于通过校正在所述第二计算步骤中计算的第八元素的值的灰度来产生校正值；第三计算步骤，用于根据在所述灰度校正步骤中产生的校正值，计算按照所述第二彩色系统的第五元素的值；第四计算步骤，用于基于在第三计算步骤中计算的、按照所述第二彩色系统的第五元素的值和在所述第二计算步骤中计算并且由所述第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素。
按照本发明的第二计算机可执行程序执行一种图像处理方法。所述图像处理方法包括第一计算步骤，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由输入图像信号限定；第二计算步骤，用于基于在所述第一计算步骤中计算的第四到第六元素的值，计算由按照由第七到第九元素表示的第三彩色系统的第八元素的值和第七和第九元素限定的值；灰度校正步骤，用于通过校正在所述第二计算步骤中计算的第八元素的值的灰度来产生校正值；第三计算步骤，用于根据在所述灰度校正步骤中产生的校正值，计算按照所述第二彩色系统的第五元素的值；第四计算步骤，用于基于在第三计算步骤中计算的按照所述第二彩色系统的第五元素的值和在所述第二计算步骤中计算并且由所述第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素。
在第一发明中，通过校正按照第一彩色系统的第一到第三元素中的第一元素的值的灰度来产生校正值，所述第一元素的值由输入图像信号限定。基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由所述输入图像信号限定。基于第四到第六元素的所计算的值，计算按照由第七到第九元素表示的第三彩色系统的第七和第九元素限定的值。基于按照所述第二彩色系统的第四元素的值和由按照所述第三彩色系统的第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素的值。
在第二发明中，基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由输入图像信号限定。基于第四到第六元素的所计算值，计算按照由第七到第九元素表示的第三彩色系统的第八元素的值和由第七和第九元素限定的值。校正第八元素的计算的值的灰度。根据所产生的校正值，计算按照所述第二彩色系统的第五元素的值。基于按照所述第二彩色系统的第五元素的值和由所述第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素。
图1是图解本发明所应用的一种典型数字照相机/摄像机的主要部分的结构的方框图。
图2是图解芒塞耳(Munsell)色调圆周的视图。
图3是图解当芒塞耳色调圆周是1YR时的芒塞耳浓色片(color chip)的视图。
图4是图解转换表的结构的视图。
图5是图解转换表的结构的视图。
图6是图解转换表的结构的视图。
图7是图解转换表的结构的视图。
图8是图解从图3中的芒塞耳浓色片转换来的YCrCb值的视图。
图9是图解在图1中的数字照相机/摄像机中的一个灰度调整进程的流程图。
图10是图解在通过灰度转换来降低亮度的情况中的校正值的视图。
图11是图解在通过灰度转换来提高亮度的情况中的校正值的视图。
图12是在亮度恒定情况中的芒塞耳彩色系统的彩色立体的一部分的视图。
图13是图解在亮度恒定的情况中的YCrCb彩色系统的彩色立体的一部分的视图。
图14是图解在图1中的数字照相机/摄像机中的另一个灰度调整进程的流程图。
图15是图解本发明所应用到的另一种典型数字照相机/摄像机的主要部分的结构的方框图。
图16是图解个人计算机的结构的方框图。
具体实施例方式
图1是图解本发明所应用到的典型摄像机——诸如数字照相机/摄像机100——的主要部分的结构的视图。
图像感测器件111由例如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)器件组成。图像感测器件111从作为图像信号的主体捕获光学图像，并且根据这些图像信号产生R、G和B的三基色信号。Y矩阵单元112对于这些R、G和B信号执行矩阵计算以计算Y信号(亮度分量)。C矩阵单元113对于R、G和B的三元素(three-element)信号执行矩阵计算以计算C信号(色差分量)。这些C信号(色差分量)由Cr和Cb色差信号组成。
由Y矩阵单元112计算的Y信号(亮度分量)被输入到灰度校正单元114和色差校正单元115。灰度校正单元114对于输入的Y信号(亮度分量)执行灰度校正，并且在未示出的随后阶段向一个处理单元输出作为灰度校正信号Y’的结果。灰度校正单元114也向色差校正单元115输出灰度校正的信号Y’来作为XYZ彩色系统的元素Y’。
由C矩阵单元113计算的C信号(色差分量)被输入到色差校正单元115。色差校正单元115基于从Y矩阵单元112发送的Y信号(亮度分量)、从灰度校正单元114发送的信号Y’(按照XYZ彩色系统的灰度校正的信号)和从C矩阵单元113发送的C信号(色差分量)来执行色差校正。然后，色差校正单元115在未示出的随后阶段向所述处理单元输出作为色差校正结果C’的结果。此时，执行色差校正，以便保留按照芒塞耳彩色系统的色调(H)和色度(C)。
现在说明芒塞耳彩色系统。
在芒塞耳彩色系统中，人基于作为三个彩色属性(元素)的色调(HHue)、值(V值)和色度(C色度)，使用以数字或符号分类的浓色片来将物体的颜色与用于表示颜色的浓色片相比较。在日本，芒塞耳彩色系统在JIS(JIS Z 8721)中被规定为“Sanzokusei niyoru Iro no Hyouji Houhou(彩色规范——按照它们的三个属性的规范)”。
在芒塞耳彩色系统中，例如，当描述苹果的颜色时，人搜索由图2所示的芒塞耳色调圆周表示的颜色来寻找最接近苹果的颜色的颜色，并且将所述最接近的颜色的值设置为苹果的值。图2中的芒塞耳色调圆周示出了实际使用的十种颜色(5Y(黄)、5YR(黄红)、5R(红)、5RP(红紫)、5P(紫)、5PB(紫蓝)、5B(蓝)、5BG(蓝绿)、5G(绿)和5GY(绿黄))，所述十种颜色的每种被划分为二(即，二十种颜色，另外包括10Y、10YR、10R、10RP、10P、10PB、10B、10BG、10G和10GY)。例如，当苹果的颜色被表示为占用在10RP和5R之间的中间位置的2.5R时，具有一个值(V)和一个色度(C)的颜色被设置为苹果的颜色，所述值(V)和所述色度(C)最接近芒塞耳浓色片(未示出)中的用于指示2.5R的值和色度的苹果的颜色的值和色度。
例如，当苹果的颜色最接近具有在芒塞耳浓色片(未示出)中的值(V)＝4和色度(C)＝12的颜色时，这个苹果的颜色被表示为“2.5R 4/12”。因为以三维来表达芒塞耳彩色系统(因为以色调、色度和值的三轴来表达所述系统)，因此可以向颜色分配值，如上所述。
图3是图解用于指示当芒塞耳色调是1YR时的值(V)/色调(C)的芒塞耳浓色片的视图。
在图3的示例中，色调固定在1YR，横坐标指示色度(C)，并且纵坐标表示值(V)。颜色当色度(C)变大时变得更浓，并且当值(V)变大时变得更亮。色度(C)＝N指示非彩色。
存在各种彩色系统(彩色空间)，并且按照一种彩色系统(彩色空间)的颜色可以被转换为按照另一种彩色系统(彩色空间)的颜色。例如，可以使用图4-7中所示的JIS Z 8721中所规定的转换表将按照芒塞耳彩色系统的颜色转换为按照XYZ彩色系统的颜色。可以使用在JIS X 9204中规定的矩阵来将按照XYZ彩色系统的颜色转换为按照RGB彩色系统的颜色。
例如，当要处理的信号是在数字照相机/摄像机中使用的信号时，通过方程(1)来表示用于将按照RGB彩色系统的颜色转换为按照XYZ彩色系统的颜色的变换矩阵XYZ=0.6070.1740.2000.2990.5870.1140.0000.0661.116×RGB---(1)]]>相反，由方程(2)来表示用于将按照XYZ彩色系统的颜色转换为按照RGB彩色系统的颜色的矩阵RGB=1.9104-0.5338-0.2891-0.98441.9985-0.02790.0585-0.11870.9017×XYZ---(2)]]>基于方程(3)、(4)和(5)，可以将按照RGB彩色系统的颜色转换为按照YCrCb彩色系统的颜色(在数字照相机/摄像机中使用的彩色空间中的颜色)Y＝0.30R+0.59G+0.11B(3)Cr＝R-Y (4)
Cb＝B-Y(5)色差信号Cr和Cb分别被方程(4)和(5)表示为在按照YCrCb彩色系统中的元素。可以通过将色差信号Cr和Cb带入方程(6)中来计算对应于在芒塞耳彩色系统中的色度C的值C=Cr2+Cb2---(6)]]>图8中示出了从在图3中的芒塞耳浓色片的值转换的YCrCb彩色系统中的YC坐标。在图8中，横坐标指示基于方程(6)计算的色差信号的值。纵坐标表示Y(亮度分量)。被分配到图8所示的独立方框的数字对应于在图3中所示的那些。
现在参照图9中的流程图来说明在图1中的数字照相机/摄像机100中的灰度调整进程(D范围压缩)。在这个进程中，对于按照按照YCrCb彩色系统的信号Y(亮度分量)执行所述灰度调整进程。这个进程响应于来自用户的用于拍摄图像的命令而开始。
在步骤S1中，在数字照相机/摄像机100中的图像感测器件111捕获RGB信号(原始颜色)。具体上，图像感测器件111从主体捕获光学图像来作为图像信号，并且根据这些图像信号获得(产生)RGB信号。
在步骤S2中，Y矩阵单元112和C矩阵单元113将所获得的RGB信号转换为YCrCb信号。具体上，基于方程(3)-(5)，将RGB信号转换为YCrCb信号。Y矩阵单元112产生Y信号，C矩阵单元113产生Cr和Cb信号，即C信号。
在步骤S3中，灰度校正单元114从Y矩阵单元112获得亮度信号Y，并且对于亮度信号Y执行所述灰度调整。即，对于亮度信号执行诸如晕光蒙片(unsharp mask)之类的各种过滤处理，以改善图像的锐度(sharpness)。因为按照XYZ彩色系统的Y值与按照YCrCb彩色系统的值相同，因此此时的Y’值是作为按照XYZ彩色系统的Y信号的信号Y’。
在步骤S4中，灰度校正单元114向色差校正单元115输出信号Y’(按照XYZ彩色系统的Y信号)，它是来自在步骤S3的灰度调整的结果。
在步骤S5中，色差校正单元115按照方程(7)执行计算以将具有原始颜色并且由Y矩阵单元112和C矩阵单元113在步骤S2中的处理中产生的YCrCb信号转换为按照XYZ彩色系统的信号
XYZ=1.14310.51370.31751001.1770-0.03361.0982×YCrCb---(7)]]>在步骤S6中，色差校正单元115按照芒塞耳彩色系统来计算值h1和h2。下面的方程(8)-(23)表示在XYZ彩色系统和按照芒塞耳彩色系统的色调(H)、色度(C)和值(V)之间的详细关系。方程(10)和(11)分别定义值h1和h2。这些方程被示出在例如公开文献Makoto Miyahara，KeitoutekiGazou fugouka(系统图像编码)(IPC公司，1990年7月31日)，第147-49页Xc＝1.020X(8)Zc＝0.847Z(9)h1＝F(Xc)-F(Y)(10)h2＝F(Zc)-F(Y)(11)h3＝F(Y) (12)在此，通过下面的方程(13)和(14)来定义函数F(A)，其中A是Xc、Y或ZcF(A)＝11.6A1/3-1.6 (13)A＝Xc，Y，Zc (14)通过方程(15)-(19)来表示坐标轴S1和S2与值M1到M3。θ满足方程(20)M1＝h1(15)M2＝0.4×h2 (16)M3＝0.23h3(17)S1＝(8.88+0.966cos(θ))×M1 (18)S2＝(8.025+2.558sin(θ))×M2 (19)θ＝tan-1(M2/M1) (20)按照芒塞尔彩色系统的H、C和V被方程(2)到(23)在坐标轴S1和S2上定义H＝tan-1(S2/S1) (21)C＝(S12/S22)-1/2(22)V＝M3 (23)
当确定分别由上述的方程(10)和(11)获得的值h1和h2时，唯一地确定色调(H)和色度(C)。如下所述这很清楚由过方程(21)和(22)所示的S1和S2来定义色调(H)和色度(C)，由通过方程(18)和(19)所示的θ、M1和M2来定义S1和S2，由通过方程(20)所示的M1和M2来定义θ，由通过方程(15)和(16)所示的h1和h2来定义M1和M2。在此，值h1和h2本身不等于色调(H)和色度(C)。
在此，按照芒塞尔彩色系统，假定由HVC(色调、值和色度)来指示原始颜色(在灰度转换之前的颜色)，并且由H’V’C’来指示在灰度转换后的颜色。在本实施例中，转换色差信号以便保留色调H和色度C。即，转换色差信号以便H’＝H并且C’＝C。
为了获得其中保留色调H和色度C的灰度转换，在灰度转换后的颜色需要是其中仅仅值V被改变而不改变色调H和色度C的颜色。但是，从实际角度来看，还没有在芒塞尔彩色系统和其他彩色系统(除了XYZ彩色系统之外的彩色系统)之间找到用于获得足够的精度的进行相互颜色转换的变换方程，所述其他彩色系统例如RGB、YUV、YPbPr和YCrCb彩色系统，都被用于许多图像处理装置中，诸如摄像机和电视接收器。因此，如上所述，使用在芒塞尔彩色系统和XYZ彩色系统之间的变换方程(8)-(23)。
于是，在本实施例中，在灰度转换后的HV’C(按照芒塞尔彩色系统的颜色，其中，仅仅将按照芒塞尔彩色系统的原始HVC中的V替换为V’)被转换为按照XYZ彩色系统的值(以下描述为X’Y’Z’)，以便获得其中色调和色度被保留并且仅仅值是不同的颜色。
在步骤S7，色差校正单元115基于按照YCrCb彩色系统的值Y，并且基于由色差校正单元115在步骤S6中的处理而计算的值h1和h2，计算按照XYZ彩色系统的X’和Z’(Y’已经在步骤S3和S4中的处理中被获得)，所述按照YCrCb彩色系统的值Y被灰度校正单元114在步骤S3的处理中执行灰度调整，即值Y’，它是在灰度调整后的按照XYZ彩色系统的Y信号。
具体上，使用下面的方程(24)-(29)来得到X’Y’Z’。根据方程(13)得到方程(24)A＝((F(A)+1.6)/11.6)3(24)然后，根据方程(10)获得F(Xc’)，并且定义在方程(25)中的XX。
F(Xc’)＝h1+F(Y’)＝XX (25)
在步骤S6中的处理中获得在方程(25)中的值h1。通过将Y’(已经在步骤S3中的处理中获得的Y’的值)替代在方程(13)中的A来获得F(Y’)的值。因此，可以根据方程(25)获得XX。
通过将Xc’替代在方程(24)中的A并且然后应用方程(25)来获得方程(26)。然后，通过将在方程(25)中的XX带入方程(26)中来计算Xc’Xc’＝((XX+1.6)/11.6)3(26)然后，根据方程(8)来获得方程(27)，并且通过将在方程(26)中获得的Xc’带入方程(27)来获得X’X’＝Xc’/1.020(27)通过与X’类似的计算来计算Z’。首先根据方程(13)导出方程(24)。然后，根据方程(11)来获得F(Zc’)，并且限定方程(28)中的YYF(Zc’)＝h2+F(Y’)＝YY (28)在此，在步骤S6中的处理中获得在方程(28)中的值h2。通过将Y’替代在方程(13)中的A来获得F(Y’)的值(已经在步骤S3中的处理中获得了Y’的值)。因此，可以根据方程(28)获得YY。
通过将Zc’替代在方程(24)中的A、然后应用方程(28)来获得方程(29)，并且计算Zc’Zc’＝((YY+1.6)/11.6)3(29)然后，根据方程(9)来获得方程(30)，并且可以通过将在方程(29)中获得的Zc’带入方程(30)来获得Z’Z’＝Zc’/0.847(30)在上述的处理中，按照XYZ彩色系统来表达按照芒塞尔彩色系统——其中不改变色调H和色度C而仅仅改变值V——的在灰度调整后的颜色，即获得颜色X’Y’Z’。
在步骤S7的处理后，在步骤S8，色差校正单元115根据在灰度转换后的X’Y’Z’，计算在原始颜色的彩色空间中的颜色(X’和Z’是由色差校正单元115在步骤S7中计算的值，Y’是由灰度校正单元114在步骤S3中产生的值)。具体上，色差校正单元115将X’Y’Z’替换在方程(2)中的XYZ，将所获得的RGB值带入方程(3)中以产生信号Y，将信号Y和R带入方程(4)以产生Cr，并且将信号Y和B带入方程(5)以产生Cb。
在步骤S9中，灰度校正单元114和色差校正单元115在随后的阶段向所述处理单元输出相应的计算结果来作为灰度调整的结果(输出为原始颜色的彩色空间)，并且完成进程。在这种情况下，输出YCrCb信号。在这些输出的YCrCb信号中，保留色调(H)和色度(C)。
在上述的情况下，在步骤S6中计算值h1和h2。或者，可以计算色调H和色度C本身。但是，值h1和h2的计算比色调H和色度C的计算简单。
图10和11图解了对于按照YCrCb彩色系统的信号Y(亮度分量)执行图9所示的灰度调整处理的结果。图10图解了通过对于图8所示的多个方框(被分配了编号的方框)中的一个特定方框的灰度调整而降低亮度的情况。
在图10中，横坐标表示C(色度，它是基于上述的方程(6)计算的色差信号的值)，并且纵坐标表示Y(按照YCrCb彩色系统的亮度分量)或芒塞尔V值(按照芒塞尔彩色系统的值)。在附图中，Cycrcb表示在执行灰度调整处理以便保持Y/C比率不变的情况下的校正值(以下这个校正技术被称为“不变YC比率(constant-YC-ratio)”技术)，并且Chvc表示在执行灰度调整处理以便原始颜色的色调(H)和色度(C)被保留并且仅仅改变值的情况下的校正值(以下，这种校正技术被称为“不变芒塞尔HC(constant-Munsell-HC)”技术，用于保持芒塞尔色调和色度不变)。
如图10所示，当Y/C比率不变时，用于指示颜色的方框沿着直线22移动。例如，当方框11的颜色的亮度被降低以便保持Y/C比率不变时，方框11沿着直线22移动到方框13的位置。
另一方面，当芒塞尔H和C值不变时，用于指示颜色的方框沿着具有向图的右方凸出的形状的曲线21(具有正微分特征)移动。例如，当方框11的颜色的亮度被降低到方框13的亮度水平以便保持芒塞尔H和C值不变时，方框11沿着曲线21移动到方框12的位置。如图10所示，当通过灰度调整来降低亮度值(Y或芒塞尔V值)时，在同一亮度的色度(方框13的色度Cycrcb和方框12的色度Chvc)取值使得Cycrcb＜Chvc。即，当通过灰度调整来降低亮度信号电平时，色度Chvc大于色度Cycrcb，色度Chvc是在芒塞尔H和C值不变情况下的校正值，色度Cycrcb是在Y/C比率不变情况下的校正值。因此，可以防止色度(C)比所需要的降低得更多，并且可以防止颜色看起来暗。
对应于图10，图11图解了通过对于在图8中所示的方框(被分配了编号的方框)中的一个特定方框进行灰度调整而提高亮度的情况。
在图11中，横坐标指示C(色度，它是根据上述的方程(6)计算的色差信号的值)，纵坐标指示Y(按照YCrCb彩色系统的亮度分量)或芒塞尔值(按照芒塞尔彩色系统的值)。在图中，Cycrcb指示在执行处理以便保持Y/C比率不变的情况下的校正值，Chvc表示在执行处理以便保持芒塞尔H和C值不变的情况下的校正值。
如图11所示，当Y/C比率不变时，指示颜色的方框沿着直线42移动。例如，当方框31的颜色的亮度被提高以便保持Y/C比率不变时，方框31沿着直线42移动到方框33的位置。另一方面，当芒塞尔H和C值不变时，指示颜色的方框沿着具有向图的右方凸出的形状的曲线41(具有正微分特征)移动。例如，当方框31的颜色的亮度被提高到方框33的亮度水平以便保持芒塞尔H和C值不变时，方框31沿着曲线41移动到方框32的位置。
如图11所示，当通过灰度调整来提高亮度值(Y或芒塞尔V值)时，在同一亮度的色度(方框33的色度Cycrcb和方框32的色度Chvc)取值使得Cycrcb＞Chvc。即，当通过灰度调整来提高亮度信号电平时，色度Chvc小于色度Cycrcb，所述色度Chvc是在芒塞尔H和C值不变的情况下的校正值，所述色度Cycrcb是在Y/C比率不变的情况下的校正值。因此，可以防止色度C的饱和。
现在参照图12和13来比较彩色空间(彩色系统)。图12是图解在亮度(值)不变情况下的芒塞尔彩色系统的彩色立体的一部分的视图。图13是图解在亮度(值)不变情况下的YCrCb彩色系统的彩色立体的一部分的视图。
在图12和13中，通过角度来表示色调(H)，通过半径来表示色度(C)。在图12中，横坐标表示S1(在方程(18)中计算的值)，纵坐标表示S2(在方程(19)中计算的值)。在图13中，横坐标表示Cb(按照YCrCb彩色系统的Cb)，纵坐标表示Cr(按照YCrCb彩色系统的Cr)。S1和S2分别对应于Cb和Cr。
在图12和13中，“×”、“Δ”、“□”和“○”分别表示C＝2、C＝4、C＝6和C＝8的情况。在关于图12的方程(22)中计算C的值，并且在关于图13的方程(6)中计算C的值。
在图12中，在色调的任何值(与中心的角度)，从中心到表示C＝2、C＝4、C＝6或C＝8的每种情况的位置的距离大致不变。即，这些位置大致位于同心圆的圆周上(在轴S1和S2上的同心圆的圆周上)。相反，在图13中，从中心到表示C＝2、C＝4、C＝6或C＝8的每种情况的位置的距离根据色调的值(与中心的角度)而不同，并且这些位置不位于同心圆的圆周上。即，发生失真。因此，因为在按照YCrCb彩色系统的颜色中的色差信号的校正(使用不变的Y/C比率的校正)中发生失真，如图13所示，颜色的外观在校正后改变。相反，因为在芒塞尔彩色系统中的色差信号的校正(使用不变芒塞尔H和C值的校正)中发生很少的失真，因此如图12所示，显然可以获得可靠的再现。
在上述的情况中，对于Y信号(亮度分量)执行灰度处理。或者，可以对于V信号(按照HVC彩色系统的V)执行灰度处理。
现在参照图14中的流程图来说明其中对于按照HVC彩色系统的信号V(值分量)执行灰度处理的灰度调整进程。这个进程响应于来自用户的用于拍摄图像的命令而开始。图15图解了执行在图14中的处理的数字照相机/摄像机100的结构。数字照相机/摄像机100的基本结构与图1所示的基本相同，但是Y矩阵单元112和C矩阵单元113不是必需的。
在步骤S51中，在数字照相机/摄像机100中的图像感测器件111从主体捕获光学图像来作为图像信号，并且根据这些图像信号获得RGB信号(原始颜色)。
在步骤S52中，色差校正单元115检索在步骤S51中的处理中获得的原始颜色的RGB信号，并且按照方程(1)进行计算来将原始颜色的RGB信号转换为按照XYZ彩色系统的信号。
在步骤S53中，基于在步骤S52中的处理中计算的Y(按照XYZ彩色系统的Y)，色差校正单元115通过将Y替换在下面的方程(32)中的a并且然后向方程(31)应用方程(32)来计算V。色差校正单元115向灰度校正单元114输出所计算的V(按照HVC彩色系统的V)V＝0.23×f(Y)(31)f(a)＝11.6×a1/3-1.6(32)而且，色差校正单元115计算由如上所述的方程(10)和(11)表示的值h1和h2。
在步骤S54中，灰度校正单元114获得由色差校正单元115在步骤S53的处理中计算并且被输入到灰度校正单元114的V(按照HVC彩色系统的V)，并且执行值信号V的灰度调整。
在步骤S55中，灰度校正单元114将作为灰度调整的结果(在步骤S54的处理中的灰度调整的结果)的值信号V’转换为信号Y’，它是按照XYZ彩色系统的Y信号。具体上，根据方程(33)和(34)导出Y’Y’＝finv(V’/0.23)(33)finv(a)＝((a+1.6)/11.6)3(34)在步骤S56中，灰度校正单元114向色差校正单元115输出在步骤S55中的处理中计算的信号Y’。
如上在图9所示的进程中所述，当由HVC(色调、值和色度)来指示原始颜色(在灰度转换之前的颜色)并且通过H’V’C’来指示在灰度转换后的颜色时，即使在灰度转换后也保留色调H和色度C。即，H’＝H和C’＝C。
在步骤S57中，色差校正单元115获得在步骤S53中的处理中计算的值h1和h2和作为在灰度调整后的按照XYZ彩色系统的Y信号并且在步骤S55的处理中被产生的Y’，并且使用如上所述的方程(24)-(29)来计算按照XYZ彩色系统的X’和Z’。所述说明与上述的说明相同，因此被省略。
在步骤S58中，色差校正单元115根据在灰度转换后的X’Y’Z’来计算按照原始颜色的彩色系统的颜色(X’和Z’是由色差校正单元115在步骤S57中被计算的，Y’是由灰度校正单元114在步骤S56中被计算的)。在这种情况下，因为所述原始颜色基于RGB彩色系统，因此按照X’Y’Z’彩色系统的颜色被转换为按照RGB彩色系统的颜色。具体上，通过将X’Y’Z’替代在方程(2)中的XYZ来计算RGB值。
在步骤S59中，色差校正单元115输出作为灰度调整的结果的相应计算结果(输出它们作为按照RGB彩色系统的颜色)，并且处理结束。在这种情况下，输出RGB信号。在这些输出的RGB信号中，保留色调(H)和色度(C)。当然，按照X’Y’Z’彩色系统的颜色可以被输出来取代RGB信号。
如上所述，本发明适用于对按照HVC彩色系统的信号V(值分量)执行灰度调整处理的情况。即，即使在对按照HVC彩色系统的信号V(值分量)执行灰度调整的情况下，也可以保留色调(H)和色度(C)。
当如上所述执行灰度调整时，可以通过调整色差信号来保留色调(colortone)以便保持按照芒塞尔彩色系统的H和C(色调和色度)不变。
而且，当通过灰度调整来降低亮度信号水平时，可以防止色度比所需要的降低得更多，并且可以防止颜色看起来暗。
而且，在色差信号电平大并且亮度信号电平小的情况下，当通过灰度调整来提高亮度信号电平时，可以防止色差信号的饱和。
而且，当执行灰度调整时，调整色差信号以便保持按照芒塞尔彩色系统的HC(色调和色度)不变。于是，可以再现其中保留与人的情绪匹配的按照芒塞尔彩色系统的色调和色度的颜色。
本发明可以不仅应用到数字照相机/摄像机，而且被应用到其他的用于处理图像信号的图像处理装置，诸如电视接收机、打印机、扫描器、传真机和复印机。在这种情况下，原始颜色的彩色系统被适当地替换为在相应的图像处理装置中使用的那些。
而且，因为可以在例如图像编辑工具(例如Phtoshop(商标))中中使用其中芒塞尔H和C值不变的算法，因此本发明可以被应用到这样的工具。
可以使用硬件或软件来执行上述的处理系列。在这种情况下，通过图16所示的个人计算机300来执行上述的处理。
在图16中，中央处理单元(CPU)301按照在只读存储器(ROM)302中存储的程序或从存储单元308向随机存取存储器(RAM)303安装的程序来执行各种类型的处理。RAM 303也在必要时存储例如CPU 301执行各种处理所需要的数据。
CPU 301、ROM 302和RAM 303通过内部总线304彼此连接。I/O(输入/输出)接口305连接到内部总线304。
下面的部件连接到I/O接口305输入单元306，它包括例如键盘和鼠标；显示器，它包括例如阴极射线管(CRT)或液晶显示器(LCD)；输出单元307，它包括例如扬声器；存储单元308，它包括例如硬盘；通信单元309，它包括例如调制解调器和终端适配器。通信单元309通过各种类型的网络来执行通信处理。所述网络包括例如电话线路和CATV。
驱动器310也在必要时连接到I/O接口305，并且在必要时安装包括例如磁盘、光盘、磁光盘或半导体存储器的可移动介质321。从可移动介质321读取的计算机程序在必要时被安装在存储单元308中。
当使用软件来执行处理系列时，从例如网络或记录介质安装构成所述软件的程序，所述记录介质在例如计算机中，所述计算机被包括在专用硬件或通用个人计算机中，专用硬件或通用个人计算机可以通过其中安装的各种程序来执行各种功能。
如图16所示，记录介质由封装介质构成，它从计算机被独立地分发到用户，用于提供程序，并且它包括其上记录了所述程序的可移动介质。所述记录介质也由ROM 302、包括存储单元308的硬盘等构成，通过将它们提前包括在器件的主体中来向用户分发它们，并且其上记录了所述程序。
在此，用于描述计算机程序的步骤可以包括如上所述以时间顺序执行的处理或不以时间顺序而是并行或独立地被执行的处理。
产业上的应用按照本发明的第一方面，当执行灰度调整时，可以再现其中保留了匹配人的情绪的、按照芒塞尔彩色系统的色调和色度的颜色。特别是，与其中Y/C比率不变的公知处理不同，当通过灰度调整来降低亮度信号电平时，可以防止色度比所需要的降低得更多，并且可以防止颜色看起来暗。而且，在色差信号电平大并且亮度信号电平小的情况中，当通过灰度调整来提高亮度信号电平时，可以防止色差信号的饱和。
按照本发明的第二方面，当进行灰度调整时，可以再现其中保留了匹配人的情绪的、按照芒塞尔彩色系统的色调和色度的颜色。特别是，与其中Y/C比率不变的公知处理不同，当通过灰度调整来降低亮度信号电平时，可以防止色度比所需要的降低得更多，并且可以防止颜色看起来暗。而且，在色差信号电平大并且亮度信号电平小的情况中，当通过灰度调整来提高亮度信号电平时，可以防止色差信号的饱和。
权利要求
1.一种图像处理装置，用于调整图像信号的灰度，包括灰度校正部件，用于通过校正按照第一彩色系统的第一到第三元素中的第一元素的值的灰度来产生校正值，所述第一元素的值由输入图像信号限定；第一计算部件，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由所述输入图像信号限定；第二计算部件，用于基于由所述第一计算部件计算的第四到第六元素的值，计算由按照由第七到第九元素表示的第三彩色系统的第七和第九元素限定的值；以及第三计算部件，用于基于按照所述第二彩色系统的第四元素的值和由所述第二计算部件计算并且由按照所述第三彩色系统的第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素的值。
2.按照权利要求1的图像处理装置，其中，按照所述第一彩色系统的第一元素是与亮度或值相关联的元素。
3.按照权利要求1的图像处理装置，其中，按照所述第三彩色系统的第七和第九元素分别是与色调和色度有关的元素。
4.按照权利要求3的图像处理装置，其中，所述第二彩色系统是XYZ彩色系统，第三彩色系统是芒赛耳颜色系统。
5.按照权利要求4的图像处理装置，其中，所述第一彩色系统是YCrCb彩色系统。
6.按照权利要求1的图像处理装置，还包括第四计算部件，用于基于按照图像信号的彩色系统的独立元素，计算按照所述第一彩色系统的第一到第三元素。
7.一种图像处理方法，用于调整图像信号的灰度，包括灰度校正步骤，用于通过校正按照第一彩色系统的第一到第三元素中的第一元素的值的灰度来产生校正值，所述第一元素的值由输入图像信号限定；第一计算步骤，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由所述输入图像信号限定；第二计算步骤，用于基于在所述第一计算步骤中计算的第四到第六元素的值，计算由按照由第七到第九元素表示的第三彩色系统的第七和第九元素限定的值；以及第三计算步骤，用于基于按照所述第二彩色系统的第四元素的值和在所述第二计算步骤计算并且由按照所述第三彩色系统的第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素的值。
8.一种程序，使得计算机执行用于调整图像信号的灰度的图像处理方法，所述图像处理方法包括灰度校正步骤，用于通过校正在按照第一彩色系统的第一到第三元素中的第一元素的值的灰度来产生校正值，所述第一元素的值由输入图像信号限定；第一计算步骤，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由所述输入图像信号限定；第二计算步骤，用于基于在所述第一计算步骤中计算的第四到第六元素的值，计算由按照由第七到第九元素表示的第三彩色系统的第七和第九元素限定的值；以及第三计算步骤，用于基于按照所述第二彩色系统的第四元素的值和在所述第二计算步骤计算并且由按照所述第三彩色系统的第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素的值。
9.一种图像处理装置，用于调整图像信号的灰度，包括第一计算部件，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由输入图像信号限定；第二计算部件，用于基于由所述第一计算部件计算的第四到第六元素的值，计算由按照由第七到第九元素表示的第三彩色系统的第八元素的值和第七和第九元素限定的值；灰度校正部件，用于通过校正由第二计算部件计算的第八元素的值的灰度来产生校正值；第三计算部件，用于根据由所述灰度校正部件产生的校正值，计算按照所述第二彩色系统的第五元素的值；第四计算部件，用于基于由所述第三计算部件所计算的按照所述第二彩色系统的第五元素的值和由所述第二计算部件计算并且由所述第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素。
10.按照权利要求9的图像处理装置，其中，按照第三彩色系统的第八元素是与值相关联的元素。
11.按照权利要求9的图像处理装置，其中，按照所述第三彩色系统的第七和第九元素分别是与色调和色度有关的元素。
12.按照权利要求11的图像处理装置，其中，所述第二彩色系统是XYZ彩色系统，第三彩色系统是芒赛尔颜色系统。
13.按照权利要求12的图像处理装置，其中，所述第一彩色系统是RGB彩色系统。
14.一种图像处理方法，用于调整图像信号的灰度，包括第一计算步骤，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由输入图像信号限定；第二计算步骤，用于基于在所述第一计算步骤中计算的第四到第六元素的值，计算按照由第七到第九元素表示的第三彩色系统的第八元素的值和由第七和第九元素限定的值；灰度校正步骤，用于通过校正在所述第二计算步骤中计算的第八元素的值的灰度来产生校正值；第三计算步骤，用于根据在所述灰度校正步骤中产生的校正值，计算按照所述第二彩色系统的第五元素的值；第四计算步骤，用于基于在第三计算步骤中计算的、按照所述第二彩色系统的第五元素的值和在所述第二计算步骤中计算并且由所述第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素。
15.一种程序，使得计算机执行用于调整图像信号的灰度的图像处理方法，所述图像处理方法包括第一计算步骤，用于基于按照第一彩色系统的第一到第三元素的值，计算按照第二彩色系统的第四到第六元素的值，所述第一到第三元素的值由输入图像信号限定；第二计算步骤，用于基于在所述第一计算步骤中计算的第四到第六元素的值，计算按照由第七到第九元素表示的第三彩色系统的第八元素的值和第七和第九元素限定的值；灰度校正步骤，用于通过校正在所述第二计算步骤中计算的第八元素的值的灰度来产生校正值；第三计算步骤，用于根据在所述灰度校正步骤中产生的校正值，计算按照所述第二彩色系统的第五元素的值；第四计算步骤，用于基于在第三计算步骤中计算的按照所述第二彩色系统的第五元素的值和在所述第二计算步骤中计算并且由所述第七和第九元素限定的值，计算按照所述第二彩色系统的第四到第六元素。
全文摘要
一种图像处理器件、方法和程序，其即使通过灰度转换来改变亮度信号电平也保留色调，由此再现图像。Y矩阵部(112)和C矩阵部(113)将从成像器件(111)获得的原始颜色转换为亮度信号和色差信号。灰度校正部(114)进行亮度信号Y的灰度调整以将亮度信号Y转换为亮度信号Y’并输出亮度信号Y’。而且，灰度校正部(114)将所述亮度信号转换为信号Y’来作为XYZ色度制的Y信号，并且向色差校正部(115)输出信号Y’。色差校正部(115)分别计算对应于芒塞尔系统的色调H和色度C的h1和h2，并且还根据作为XYZ色度制中的灰度调整后的Y信号的信号Y’来计算XYZ色度制中的X’和Z’，以便存储灰度校正后的h1和h2。本发明可被用于进行数字图像处理的产品。
文档编号H04N1/46GK1754189SQ200380109860
公开日2006年3月29日 申请日期2003年12月25日 优先权日2003年2月19日
发明者小森阳子 申请人:索尼株式会社