图像处理装置及方法

专利名称：图像处理装置及方法
技术领域：
本发明，涉及在采用了2调制系统的HDR(High Dynamic Range，高动态范围)显示器中适用于为了重现所期望的色彩的色彩管理处理等的图像处理装置及方法。
本申请，要求基于2004年9月16日提出的专利申请特愿2004-269674号及2005年6月6日提出的专利申请特愿2005-165202号的优先权，引用其内容于此。
背景技术：
在2调制系统的显示装置的情况下，因为在通常的1调制系统上光学串联另1个调制系统，所以用通常的1调制系统的色彩管理处理不能应对。因此，提出了以下所述的提案。
在日本专利第3523170号公报中公布的现有例，是2调制系统，采用调制光源作为1个调制系统。作为调制光源的结构，组合采用冷阴极管的恒定照明和采用白色LED(Light Emitting Diode，发光二极管)的调制照明。因此，起因于冷阴极管和白色LED的发光光谱的不同而伴随调制，光源光的色度发生变化。其色度变化用以下的(2)式公式化。在此，(1)式是用冷阴极管恒定照明的情况下的变换式。
(X，Y，Z)t＝M(R，G，B)t(1)(X，Y，Z)t＝M(R，G，B)t+gM′(R，G，B)t＝N(R，G，B)t(2)N＝M+gM′(3)在此，R，G，B是RGB信号，X，Y，Z是3刺激值，M是用冷阴极管恒定照明的情况下的3×3线性变换矩阵，M′是用白色LED照明的情况下的3×3线性变换矩阵，g是常数(增益＝由白色LED的亮度水平确定的值)。
但是，用(3)式不能应对另1个调制元件，例如，液晶面板那样，伴随调制而色度变化的情况。另外，在例如采用液晶面板代替上述调制光源而进行调制的情况下色度的变化成为非线性，不能如上述(2)式的白色LED那样用gM′的形式简单地表示。

发明内容
在如上述地现有的技术中，在具有如液晶面板那样相对于调制而色度非线性地变化的特性的调制元件中，存在难于得到高精细的色彩重现性的问题。本发明，鉴于这样的情形而为，目的在于提供能在2调制系统的显示装置的色彩管理处理中实现高精细的色彩重现的图像处理装置及方法。
为了解决上述问题，本发明的一个实施方式，是为了控制用亮度调制元件和色彩调制元件不相同的调制元件而构成的显示装置的装置，具备使用对每个亮度调制元件的控制值记述成为目标的色彩的值和色彩调制元件的控制值的关系的多个色彩变换矩阵，根据输入的成为目标的色彩的值而求出色彩调制元件的控制值的控制值确定单元；和按照色彩调制元件的特性而非线性地校正色彩调制元件的控制值的校正单元。依照于此，正确的色彩的显示，能以少量资源实现(运算，数据准备负荷轻)。
另外依照本发明的其他的实施方式，上述色彩变换矩阵，与独立于显示装置的色空间中定义的色彩的值相对地记述与色彩调制元件的控制值的关系。依照于此，通过例如作为独立于显示装置的色空间使用绝对XYZ、QMh、相对XYZ、Lab、JCh、Luv等，能容易地进行色彩匹配。
另外依照本发明的其他的实施方式，上述独立于显示装置的色空间，是绝对XYZ色空间。依照于此，因为采用能表现HDR的色空间，所以能实现重现自然光的HDR显示。
另外依照本发明的其他的实施方式，还具备将以相对色空间定义的成为目标的色彩的值变换成以绝对色空间定义的成为目标的色彩的值的变换单元。依照于此，使用与采用绝对色空间的情况相同的构成就能实行对于以相对色空间定义的成为目标的色彩的值的图像处理。
另外依照本发明的其他的实施方式，上述控制值确定单元，按照输入的成为目标的色彩的值而求出亮度调制元件的控制值，根据求得的亮度调制元件的控制值而选择色彩变换矩阵。依照于此，可以高速地确定各控制值，容易硬件化。
另外依照本发明的其他的实施方式，上述控制值确定单元，选择与多个亮度调制元件的控制值相对应的多个色彩变换矩阵并求出多个色彩调制元件的控制值，根据多个色彩调制元件的控制值而求出以独立于显示装置的色空间能够得到的多个色彩的值，按照其多个色彩的值和输入的作为目标的色彩的值的比较结果，确定各多个的值的哪一个作为亮度调制元件的控制值和色彩调制元件的控制值。依照于此，因为与目标的误差成为最小所以能实现更高像质的图像处理。
另外依照本发明的其他的实施方式，上述控制值确定单元，根据输入的作为目标的色彩的值而求出临时的亮度调制元件的控制值，根据临时的亮度调制元件的控制值选择对应于一定的范围内的亮度调制元件的控制值的多个色彩变换矩阵。依照于此，能容易地得到更高速度且像质和处理速度的平衡良好的构成。
另外依照本发明的其他的实施方式，上述控制值确定单元，按照输入的成为目标的色彩的值而求出亮度调制元件的临时的控制值，基于求得的亮度调制元件的临时的控制值而选择色彩变换矩阵，再根据输入的成为目标的色彩的值和选定的色彩变换矩阵而确定色彩调制元件的控制值，再按照输入的作为目标的色彩的值和确定的色彩调制元件的控制值而确定亮度调制元件的控制值。依照于此，能容易地得到更高速度的构成。
另外依照本发明的其他的实施方式，上述控制值确定单元，在按照输入的作为目标的色彩的值和确定的色彩调制元件的控制值而确定亮度调制元件的控制值时，基于上述确定的色彩调制元件的控制值而求出以独立于显示装置的色空间能够得到的色彩的值，求出从与其求得的色彩的值和规定的多个亮度调制元件的控制值相对应的多个色彩变换矩阵得出的以独立于显示装置的色空间能够得到的多个色彩的值，按照与输入的作为目标的色彩的值的比较结果，确定亮度调制元件的控制值。依照于此，能容易地得到更高像质且更高速度的构成。
另外依照本发明的其他的实施方式，上述控制值确定单元，根据上述临时的亮度调制元件的控制值采用与一定的范围内的亮度调制元件的控制值对应的多个色彩变换矩阵。依照于此，能容易地得到更高速度且像质和处理速度的平衡良好的构成。
另外依照本发明的其他的实施方式，准备对构成作为目标的色彩的值的多个成分的每个成分表示与亮度调制元件的控制值的对应关系的表，利用该表与多个成分相对应地求出对应于输入的作为目标的色彩的值的亮度调制元件的控制值，确定其中最大的(值)作为亮度调制元件的控制值。依照于此，能容易地实现正确的色彩重现及高速处理。
另外依照本发明的其他的实施方式，对构成作为目标的色彩的值的多个成分的每1成分表示与亮度调制元件的控制值的对应关系的表，是利用独立于显示装置的色空间的色彩重现范围内的值来准备的。依照于此，能容易地实现正确的色彩重现及高速处理。
另外本发明的另一个的实施方式，是用亮度调制元件和色彩调制元件不同的调制元件构成的显示装置的控制方法，包括使用为每1亮度调制元件的控制值记述成为目标的色彩的值和色彩调制元件的控制值的关系的多个色彩变换矩阵，根据输入的成为目标的色彩的值而求出色彩调制元件的控制值的控制值确定步骤；和按照色彩调制元件的特性而非线性地校正色彩调制元件的控制值的校正步骤。


图1是表示根据本发明的图像处理装置的一个实施方式的处理框图。
图2是在本实施方式中使用的HDR显示器的构成图。
图3是表示图1的实施方式中的处理的一例的流程图。
图4是表示图1的实施方式中的处理的另一例的流程图。
图5是表示图1的实施方式中的处理的再另一例的流程图。
图6是表示图1的实施方式中的处理的再另一例的流程图。
图7是1调制系统的构成图。
图8是详细地说明图1中的T值的选择处理的处理框图。
具体实施例方式
以下，参照

本发明的实施方式。本发明的实施方式，是用于进行以区别(独立)系统具备色彩调制元件和亮度调制元件的2调制系统的显示装置用的图像处理的构成，其能例如作为微处理器系统构成。但是，也可以将其一部分或者全部用通用的计算机和描述本发明的处理的程序构成。图1是表示根据本发明的图像处理装置的一个实施方式的处理框图。图2表示在本实施方式中使用的HDR显示器的构成例。本实施方式，虽然如图1所示进行2调制系统的图像处理，但是为了易于理解，首先参照图7就1调制系统的构成进行说明。
再者，在本说明书中，关于XYZ色空间(表色系)的表达方法采用如下的定义。即，XYZ色空间的表达方法，有绝对XYZ和相对XYZ两种。绝对XYZ，根据Y成为亮度值(cd/m2)的3刺激值XYZ而对色彩进行数值比。相对XYZ，由某种归一化(正规化)后的3刺激值而对色彩进行数值化。在相对XYZ中，通常白色点中的Y被以100或1这样的值归一化。在此，XYZ色空间，是CIE(国际照明委员会)标准表色系。
首先，利用图7说明作为1调制系统的通常的LCD(Liquid CrystalDisplay，液晶显示器)的色彩管理系统的处理组件的一例。图7中的色彩管理系统将作为RGB(Red-Green-Blue，红-绿-蓝)信号方式的输入信号的输入RiGiBi信号变换成用于在LCD中重现的输出信号RoGoBo。在此，例如输入RiGiBi是8比特的sRGB(standard RGB，标准RGB)信号。
因为sRGB信号是配合输出侧的γ(灰度系数)而进行逆γ的信号(被γ校正的信号)，所以通过在逆γ校正部(线性校正部)201～203乘以γ特性而进行逆γ校正(线性化)，得到线性的R’、G’、B’。在此关于sRGB的逆γ校正(线性化)的详细内容予以省略。通过得到的线性的R’、G’、B’，以3×3的线性sRGB＝＞XRYRZR变换矩阵204(从sRGB向相对XRYRZR的变换)的方式进行运算，得到相对XRYRZR。通过对得到的相对XRYRZR以3×3的XRYRZR＝＞输出线性RGB的逆变换矩阵205的方式进行运算而得到输出线性R”G”B”。通过对得到的输出线性R”G”B”在γ校正部(非线性校正部)206～208乘以与输出LCD设备的γ特性相一致的逆γ特性而进行γ校正(非线性化)得到输出RoGoBo。
γ校正通常利用γ校正表进行。在此，3×3的XRYRZR＝＞输出线性RGB的逆变换矩阵205以及γ校正部206～208内的γ校正表是基于用计测器测定LCD的显示并求出XYZ的方式的值。因为对于全部的输入值进行测定太花费时间，所以一般是例如，将输入值每隔规定值设定为例如0、8、16、…那样来进行测定，并利用内插求出其间的值。此外，虽然在此作为输入以sRGB色空间的信号为例，当然输入不限定于此，如是能变换成相对XRYRZR的色空间的信号，其他的色空间的信号也可以。
其次，采用图1就本发明的实施方式的图像处理装置的处理组件进行说明。
再者，在本实施方式中使用的HDR显示器的构成，如图2，利用中继透镜40光学串联地连接前级的3板式液晶色彩面板31、32、33和后级的单板式液晶亮度面板50。前级后级的关系即使逆反也可以完全相同地处理。作为向液晶面板的输入、向色彩面板31～33给予RGB分别8比特的共计24比特的信号，向亮度面板50给予8比特的亮度信号。
图2，表示投影型显示装置的构成例，投影型显示装置1，包括光源10，使从光源10入射的光的亮度分布均匀化的均匀照明单元20，分别调制从均匀照明单元20入射的入射光之中的3原色(R、G、B)的亮度的色彩调制部30，中继从色彩调制部30入射的光的中继透镜40，调制从中继透镜40入射的光的全波长区域的亮度的液晶亮度面板50，以及将从液晶亮度面板50入射的光投影到屏幕(未图示)上的投影透镜60。
光源10，由高压水银灯等的灯11，和反射来自灯11的出射光的反射器12构成。从光源10出射的光束由依次设置有第1蝇眼透镜21、第2蝇眼透镜22等的均匀照明单元20均匀化。
射出照明单元20的偏振(偏振方向)一致的光入射到色彩调制部30上，被分离成3原色(R、G、B)，由调制各自的色成分的液晶色彩面板31、32、33进行调制。
调制后的3原色光(R、G、B)由十字分色棱镜34合成并出射到中继透镜40上。在此，液晶色彩面板31、液晶色彩面板32、液晶色彩面板33分别形成R成分用、G成分用、B成分用的光调制元件，分色镜35使R成分的光透过，分色镜36使B成分的光透过。另外，对于液晶色彩面板31设置反射镜37，对于液晶色彩面板33、设置中继透镜38和2个反射镜39a及39b。
射出中继透镜40的调制光入射到另外一个液晶亮度面板50上，接受第二调制。在液晶亮度面板50中，调制入射的光的全波长区域的亮度，该调制光被向投影透镜60出射，由投影透镜60投影到未图示的屏幕上。
这样，通过光学串联地配置的各个光调制元件(液晶亮度面板50及液晶色彩面板31、32、33)以像素单元进行调制而形成投影图像。
那么，在图1所示的图像处理装置中，首先，说明作为输入而输入HDR图像形式的一种的.hdr形式的图像信号RiHDRGiHDRBiHDR的情况(图1的左上)。因为RiHDRGiHDRBiHDR本来就是线性信号所以不需要逆γ校正。因此，通过对RiHDRGiHDRBiHDR以3×3的输入HDRRGB＝＞XYZ变换矩阵101进行运算而得到XYZ值(绝对XYZ)。在此，得到的绝对XYZ值是应该显示的目标色彩的值。
虽然在本实施方式中使用绝对XYZ值，但是当然不应限定于此。因为如果如绝对XYZ那样能够进行独立于设备的色彩的指定则易于色彩管理，所以可以使用各种的设备独立的色空间(QMh、相对XYZ、Lab、JCh、Luv等)。但是，在本实施方式中使用绝对XYZ的理由，是因为在如Lab或相对XRYRZR那样的进行根据白色点的归一化的色空间中，如果用于能处理并且显示具有如HDR显示器那样非常高的亮度的HDR图像的系统中，则因为白色点被映射(转换)成最大亮度值，很有可能成为非常不自然的显示。另外，从作为HDR的特长之一的光的重现这个意义上来说，亮度的绝对值也是非常重要的因素，换而言之因为白色点的概念不成立了，所以在本实施方式中使用绝对XYZ。
其次从该绝对XYZ值求输出值。已知液晶面板进行灰度(等级)的色度变化，在本实施方式的硬件构成中也发生组合了由液晶色彩面板31～33本身的灰度等级进行的色度转换、和进而由单板液晶亮度面板50的灰度等级进行的色度转换的色度转换。因此，在本实施方式中使用由与作为单板液晶亮度面板50的亮度控制值的T值(在本实施方式中设为8比特，表记为T8bit)的每一个值对应的256个绝对XYZ＝＞输出线性RGB变换矩阵构成的绝对XYZ＝＞输出线性RGB变换矩阵组102，进行运算，取得输出线性R”G”B”。因为由γ校正部103～105进行的从线性R”G”B”向输出8bitRGB(R8bitG8bitB8bit)的γ校正如果只考虑色彩面板的γ特性，则没有问题，所以准备单一的γ校正表即可。如果对每个T值都保持γ特性则会成为更高精度这一点自不待言是明确的。
这样，在通过设置系统而具有RGBT的四元参数的HDR显示器中，通过准备非常少量的数据就可以进行高精度的色彩管理。作为色彩管理的另外的方法虽然也有实测RGBT的各种各样的值而作为表准备的LUT(Look Up Table，查找表)法，但是在RGBT的形式的情况下，测定点非常多而实用性非常小。与其相对，在本实施方式中因为准备必需的每个T值的变换矩阵，只测定某个T的值中的RGB的各成分的最大值Rmax(255，0，0)、Gmax(0，255，0)、Bmax(0，0，255)的绝对XYZ值即可。最大也就测定3×256(T值0～255)的768图样(パタ-ン)即可。但是，在液晶面板的情况下因为黑K(0，0，0)并非完全为黑所以需要对每个T值测定其K值，结果最大测定4×256的1024图样即可。
另外，也可以采用在图7的说明中所述的内插，在该情况下可以进一步减少测定图样。在本实施方式中，例如测定使T值为0、7、15、…、247、255这样的间隔8的4×33的132个图样，能利用内插而求出其他的T值的变换矩阵值。作为进行内插的情况下的内插方法，在测定间隔如该例那样充分狭窄的情况下可以是简单的线性内插，在其他情况下也可以采用样条内插或多项式近似等。
关于矩阵运算再稍微详细叙述一下。某个T值，在此假设T＝128的情况下测定Rmax、Gmax、Bmax、K的4个图样，分别如下地表示各自的绝对XYZ值。Rmax的XYZ值＝(XR，YR，ZR)，Gmax的XYZ值＝(XG，YG，ZG)，Bmax的XYZ值＝(XB，YB，ZB)，K的XYZ值＝(XK，YK，ZK)。
由这些4个图样的值，可以用以下式(4)表示T＝128的情况下的色彩面板的输出线性R”G”B”值，和该情况下表示的绝对XYZ值的关系。XXYZ=XR′XG′XB′YR′YG′YB′ZR′ZG′ZB′R′′G′′B′′+XKYKZK---(4)]]>在此，XR’＝XR-XK，YR’＝YR-XK，ZR’＝ZR-ZK，XG’＝XG-XK，YG’＝YG-XK，ZG’＝ZG-Zk，XB’＝XB-XK，YB’＝YB-XK，ZB’＝ZB-ZK。
反之根据式(4)，可以用以下的式(5)求出从绝对XYZ向输出线性R”G”B”的变换。
R′′G′′B′′=XR′XG′XB′YR′YG′YB′ZR′ZG′ZB′-1X-XKY-YKZ-ZK---(5)]]>用这两个式子，绝对XYZ和输出线性R”G”B”可以相互变换。另外，因为对每个T值都保持有上述变换矩阵及K矢量，所以在其他各T值上绝对XYZ和输出线性R”G”B”也可以相互变换。
关于γ校正中必需的γ校正表的测定，测定在设定为T＝255(透射率最高的值)时的R、G、B的值的变化，再归一化使Rmax、Gmax、Bmax为1即可。作为测定间隔，如在图7的现有例的说明中所述的那样，用间隔8左右就充分了，测定点以外由内插求得。另外，也可以如变换矩阵那样地改变T值来测定γ特性，再作成与T值对应的γ校正表。关于γ特性因为由T值引起的变动不太大，所以使用T＝255的值就足够了。但是，即使在进行与T值对应的计测的情况下，也因为测定的T值不太多就可以了，所以花在测定上的工夫不会增加太多即可。
其次，如图1的左下所示，考虑该系统中输入LDR(Low DynamicRange，低动态范围)图像信号的情况。LDR信号大多情况下为相对色空间。说明作为LDR信号在本实施方式中输入sRGB图像信号的例子。如果输入LDR图像信号RiLDRGiLDRBiLDR被输入，则逆γ校正部106～108对其进行逆γ校正，从而得到输入线性LDR图像信号R’G’B’。其次用变换矩阵109运算输入线性LDR图像信号R’G’B’，取得相对XRYRZR。关于sRGB的逆γ校正以及相对XRYRZR变换矩阵，如此省略说明。
需要将在图1的构成中其次取得的相对XRYRZR变换成作为该色彩管理系统的设备独立色空间的绝对XYZ。在该情况下，由LDR显示用XnYnZn设定部111设定某个最大显示亮度值XnYnZn，再通过由向绝对XYZ的变换部110将该XnYnZn乘以相对XRYRZR而得到绝对XYZ。由这样的结构，能使HDR图像和LDR图像在相同色彩管理系统中有效地处理。具体地，如果相对XRYRZR被归一化使得白(最亮的值)为100，则能够利用以下的计算式求得绝对XYZ。
X＝XR×Xn/100Y＝YR×Yn/100Z＝ZR×Zn/100虽然最大显示亮度值XnYnZn怎么设定都可以，但是认为如果显示一般的sRGB图像则亮度在200～10,000(cd/m2)的范围内为妥当。例如，如果以1,000(cd/m2)将xy色度是(0.333，0.333)的色彩设置为XnYnZn值，则为(1000，1000，1000)，在该情况下如果假设相对XRYRZR值为(10，50，70)，则绝对XYZ值为(100，500，700)。
其次利用图3～图6的流程图，说明本实施方式中的处理的流程。图3，是根据输入像素值确定T值、再根据输入像素值和对应于T值的变换矩阵确定色彩调制元件的值的处理流程图。根据输入HDR或LDR像素值，如上述那样得到绝对XYZ值(步骤S101)。根据该XYZ值确定T值(步骤S102)。关于T值的确定方法，虽然有种种考虑，但是可以采用例如预先准备表示XYZ的各值和T值的对应关系的表然后参照该表来选择对应于XYZ值的T值的方法，或进行下述的循环处理的评价而确定T值的方法。
其次，取得与确定的T值对应的XYZ＝＞线性RGB变换矩阵(及K矢量)(步骤S103)。其次，利用(5)式计算线性RGB值(步骤S104)，进行γ校正求出输出RGB值(步骤S105)，分别向液晶亮度面板50、液晶色彩面板31～33输出T值和输出RGB值(步骤S106)。因为该处理的流程非常简单，容易硬件化，可以预期如果硬件化能非常高速地处理。
其次，图4，是进行循环处理的评价而确定T值的情况的处理流程，具体来说是根据与多个T值对应的变换矩阵求出多个对应的色彩调制元件的值，计算由该求得的值显示的显示模拟值和输入像素值的误差，再将该误差为最小的T值和色彩调制元件的值确定作为显示值的处理流程图。即，图4的处理的基本的考虑是，不是根据输入XYZ值直接确定最终的T值，而是评价多个T值，选择能得到最接近输入XYZ值的显示的结果。
首先，根据输入HDR或LDR像素值，如上述那样，得到绝对XYZ值(步骤S201)。其次，为了对多个T值进行评价而确定其初始值(步骤S202)。因为在本实施方式中单板亮度面板是8比特，所以作为T值取0～255的值，设定0作为T值的初始值。其次，取得与设定T值对应的XYZ＝＞线性RGB变换矩阵(及K矢量)(步骤S203)，其次利用(5)式计算线性RGB值(步骤S204)，再进行γ校正求出输出RGB值(步骤S205)。
其次，求出误差而评价根据该T值和计算的结果求得的输出RGB值进行的显示与输入XYZ值接近到什么程度。为此，首先需要对输出RGB值进行逆γ校正而求出线性RGB值(步骤S206)。此时求得的线性RGB值有可能与先前的线性RGB值不同。其理由是，因为实际的输出RGB值是8比特的离散值所以取不到理想值，和存在超越范围的情况这两点。该线性RGB不同是产生误差的主要的理由之一。
其次，取得与设定T值对应的线性RGB＝＞绝对XYZ变换矩阵(步骤S207)，用(4)式计算，取得作为显示结果的模拟值的模拟XsYsZs值(步骤S208)。其次，计算输入XYZ值和模拟XsYsZs值的误差(步骤S209)。误差的计算方法虽然有各种各样考虑，但在本实施方式中用以下的式(6)求出。
误差E=((X-Xs)2+(Y-Ys)2+(Z-Zs)2)---(6)]]>在到目前为止该误差E为最小的情况下(在步骤S210中“Y”)，将当前T值和输出RGB值作为输出候选值保存(步骤S211)。然后，依次改变T值而同样地反复评价误差(在步骤S212中“N”，步骤S213，步骤S203～)，如果应当评价的T值全部评价完成(在步骤S212中“Y”)，因为作为输出候选值剩下的是与输入XYZ误差最小的T值和输出RGB值的组合，所以向亮度面板和色彩面板输出该值(步骤S214)。在本实施方式中作为应当评价的T值如果评价0～255即256个T值，能得到与输入XYZ值最接近的T值和输出RGB值的组合，与参照图3说明的根据XYZ值用表等确定T值的方法相比较、可以进行更高精度的色彩管理。
但是，在该方法中如上述例中所说也需要进行256次评价，非常花费处理时间。为此，接着说明对其进行了改善的处理例。
该处理，根据输入像素值确定临时T值，根据临时T值就一定范围内的T值进行误差值计算，确定误差少的T值和色彩调制元件的值作为显示值。在该方法中，首先确定临时T值，根据该临时T值只在一定范围内进行评价而确定值。例如确定128作为临时T值，对于从此处开始±8就是说120～136的17个值进行评价计算。求出在该120～136范围内最佳的T值和输出RGB值的组合。在该方法中，能比参照图4说明的处理更高速地、并且比不进行T值的评价的情况下的处理更高精度地进行色彩管理处理，像质和处理的平衡良好。在此，关于临时T值的确定方法虽然有各种各样的考虑，但后面对其描述。
图5是根据输入像素值确定临时T值，再根据输入像素值和对应于临时T值的变换矩阵确定色彩调制元件的值，然后根据输入像素值和确定的色彩调制元件的值确定T值的处理流程图。即，基本的考虑是最初确定临时T值，再由此首先确定输出RGB值，再由确定的输出RGB值校正T值而确定最终的T值的方法。作为处理的流程，首先由输入HDR或LDR像素值如上述那样得到绝对XYZ值(步骤S301)。其次，由该输入XYZ确定临时T值(步骤S302)。关于临时T值的确定方法虽然有各种各样考虑，但后面对其描述。然后，取得对应于临时T值的XYZ＝＞线性RGB变换矩阵(及K矢量)(步骤S303)。其次利用(5)式计算线性RGB值(步骤S304)，进行γ校正求出输出RGB值(步骤S305)。根据求得的输出RGB值和输入XYZ值最终地确定T值(步骤S306)，分别向亮度面板、色彩面板输出该T值和输出RGB值(步骤S307)。
在此，作为最终的T值的确定方法虽然有各种各样的考虑，作为一种方法，有计算由多个T值和确定的色彩调制元件的值显示的显示模拟值和输入像素值的误差、确定该误差成为最小的T值的方法。另外，此时，也可以根据临时T值以一定的范围内的T进行误差值计算，再确定误差小的T作为显示值。
图6，是说明T值的确定方法的图，基本上是根据确定的输出RGB值和多个T值而求出模拟XYZ值(步骤S401～S409)，确定与输入的误差成为最小的T值作为最终的T值(步骤S410～S414～S408～S415)。在图6中，步骤S401～S405与图5的步骤S301～S305，步骤S406及S407与图4的步骤S206～S202，而且步骤S408以下的处理与图4的步骤S207以下的处理，是分别同样的处理，在此省略各步骤的说明。
在图6中评价T值的初始设定，在2个面板的析像度相同的情况下，可以直接使用已经求得的临时T值，在2个面板的析像度不同的情况下，取得与亮度面板的析像度对应的输入XYZ值，再次根据该输入XYZ确定临时T作为初始值。
其次，说明基于输入XYZ值的T值的确定或临时确定方法。作为本实施方式的T值的确定方法，如上述那样按输入XYZ的各X、Y、Z的每一个，准备与图8所示的X-TX-1DLUT121、Y-TY-1DLUT122、Z-TZ-1DLUT123的T对应的表，再通过查该表而确定T值。具体来说，对于某个输入X值通过查X-TX-1DLUT121的表而求出TX值，对于某个输入Y值通过查Y-TY-1DLUT122的表而求出TY值，对于某个输入Z值通过查Z-TZ-1DLUT123的表而求出TZ值。然后，最大值选择部选择从各表求得的上述各TX、TY、TZ的值之中的最大值，再确定选择的值作为T值的方法。另外，作为各个T和X、Y、Z的对应表，在作成每个T值的变换矩阵时根据计测的值，与各个T对应的X用原色R(255，0，0)的X值，Y用原色G(0，255，0)的Y值，Z用原色B(0，0，255)的Z值。
由此，可以高速地确定输入XYZ进入色彩重现范围内的T值。不用说，T的确定方法并非限于该方法。用该确定的T值，从绝对XYZ＝＞输出线性RGB变换矩阵组102中选择出对应的绝对XYZ＝＞输出线性RGB变换矩阵。
如上所述，依照本发明的各实施方式，在亮度调制元件和色彩调制元件的2调制系统显示装置中，因为使其色彩管理处理保持多个按亮度调制元件的每个T值记述成为目标的色彩的值和色彩调制元件的值的关系的色彩变换矩阵，所以能够以少量资源实现正确的色彩的显示(即运算，数据准备负荷少)。
再者，本发明的实施方式不限定于上述方式，例如，可以适当变更而分割或者合并各处理模块，改变输入比特数、输出比特数或运算时的比特数等。另外，在上述的实施方式中，虽然作为调制元件示出了采用透射型液晶面板的方式，但是作为其他调制元件，也可以采用DMD(数字微反射镜设备)、GLV(光栅光阀)、LCOS(Liquid Crystal On Silicon，硅上液晶)、调制光源(LED、OLED、激光光源等)。
另外，权利要求中的构成要素，和实施方式中的构成的关系如下。亮度调制元件对应于液晶亮度面板50。色彩调制元件对应于液晶色彩面板31、32、33。多个色彩变换矩阵对应于绝对XYZ＝＞输出线性RGB变换矩阵组102。校正单元对应于γ校正部103～105。变换单元对应于向绝对XYZ的变换部110。控制值确定单元对应于图1所示的上述以外的构成或者图3～图6所示的各步骤的一部分或全部的处理。另外，亮度调制元件的控制值、输入的成为目标的色彩的值、色彩调制元件的控制值分别对应于T值、XYZ(或者RiHDRGiHDRBiHDR)、R”G”B”(或者R8bitG8bitB8bit)。
以上，虽然说明了本发明的优选的实施例，但是本发明并不限于这些实施例。在不脱离本发明的宗旨的范围，可以进行构成上的添加、省略、置换及其他变更。本发明不被上述的说明所限定，仅由所附的权利要求的范围限定。
权利要求
1.一种图像处理装置，是用于控制由亮度调制元件和色彩调制元件不相同的调制元件构成的显示装置的装置，其特征在于，具备控制值确定单元，其利用按亮度调制元件的每个控制值记述成为目标的色彩的值和色彩调制元件的控制值的关系的多个色彩变换矩阵，根据输入的成为目标的色彩的值求出色彩调制元件的控制值；和校正单元，其按照色彩调制元件的特性而非线性地校正色彩调制元件的控制值。
2.按照权利要求1所述的图像处理装置，其特征在于，上述色彩变换矩阵，对于以独立于显示装置的色空间定义的色彩的值记述与色彩调制元件的控制值的关系。
3.按照权利要求2所述的图像处理装置，其特征在于，上述独立于显示装置的色空间是绝对XYZ色空间。
4.按照权利要求3所述的图像处理装置，其特征在于，还具备变换单元，其将以相对色空间定义的成为目标的色彩的值变换成以绝对色空间定义的成为目标的色彩的值。
5.按照权利要求1所述的图像处理装置，其特征在于，上述控制值确定单元，按照输入的成为目标的色彩的值求出亮度调制元件的控制值，根据求得的亮度调制元件的控制值选择色彩变换矩阵。
6.按照权利要求5所述的图像处理装置，其特征在于，上述控制值确定单元，选择与多个亮度调制元件的控制值对应的多个色彩变换矩阵而求出多个色彩调制元件的控制值，根据多个色彩调制元件的控制值求出以独立于显示装置的色空间能够得到的多个色彩的值，按照该多个色彩的值和输入的作为目标的色彩的值的比较结果，确定各多个的值的哪一个作为亮度调制元件的控制值和色彩调制元件的控制值。
7.按照权利要求6所述的图像处理装置，其特征在于，上述控制值确定单元，根据输入的作为目标的色彩的值求出临时的亮度调制元件的控制值，选择与从临时的亮度调制元件的控制值开始一定的范围内的亮度调制元件的控制值对应的多个色彩变换矩阵。
8.按照权利要求1所述的图像处理装置，其特征在于，上述控制值确定单元，按照输入的成为目标的色彩的值求出亮度调制元件的临时的控制值，根据求出的亮度调制元件的临时的控制值选择色彩变换矩阵，根据输入的成为目标的色彩的值和选定的色彩变换矩阵确定色彩调制元件的控制值，按照输入的作为目标的色彩的值和确定的色彩调制元件的控制值来确定亮度调制元件的控制值。
9.按照权利要求8所述的图像处理装置，其特征在于，上述控制值确定单元，在按照输入的作为目标的色彩的值和确定的色彩调制元件的控制值来确定亮度调制元件的控制值时，根据上述确定的色彩调制元件的控制值求出以独立于显示装置的色空间能够得到的色彩的值，求出由与该求得的色彩的值和预定的多个亮度调制元件的控制值对应的多个色彩变换矩阵得出的以独立于显示装置的色空间能够得到的多个色彩的值，按照与输入的作为目标的色彩的值的比较结果，确定亮度调制元件的控制值。
10.按照权利要求9所述的图像处理装置，其特征在于，上述控制值确定单元，使用与从上述临时的亮度调制元件的控制值开始一定的范围内的亮度调制元件的控制值相对应的多个色彩变换矩阵。
11.按照权利要求5所述的图像处理装置，其特征在于，准备按照构成作为目标的色彩的值的多个成分的每个成分表示与亮度调制元件的控制值的对应关系的表，利用该表而与多个成分对应地求出多个与输入的作为目标的色彩的值对应的亮度调制元件的控制值，确定其中最大的值作为亮度调制元件的控制值。
12.按照权利要求11所述的图像处理装置，其特征在于，按照构成作为上述目标的色彩的值的多个成分的每个成分表示与亮度调制元件的控制值的对应关系的表，是用独立于显示装置的色空间的色彩重现范围内的值来准备的。
13.一种图像处理方法，是由亮度调制元件和色彩调制元件不相同的调制元件构成的显示装置的控制方法，其特征在于，包括利用按亮度调制元件的每个控制值记述成为目标的色彩的值和色彩调制元件的控制值的关系的多个色彩变换矩阵，根据输入的成为目标的色彩的值求出色彩调制元件的控制值的控制值确定步骤；和按照色彩调制元件的特性非线性地校正色彩调制元件的控制值的校正步骤。
全文摘要
本发明提供一种图像处理装置，其是用于控制由亮度调制元件和色彩调制元件不相同的调制元件构成的显示装置的装置，其具备利用按每个亮度调制元件的控制值记述成为目标的色彩的值和色彩调制元件的控制值的关系的多个色彩变换矩阵、根据输入的成为目标的色彩的值求出色彩调制元件的控制值的控制值确定单元；和按照色彩调制元件的特性而非线性地校正色彩调制元件的控制值的校正单元。
文档编号G09F9/30GK1750072SQ20051010310
公开日2006年3月22日 申请日期2005年9月14日 优先权日2004年9月16日
发明者新田隆志, 中村旬一, 内山正一, 旭常盛 申请人:精工爱普生株式会社