专利名称：投影显示图像颜色失真校正方法
技术领域：
本发明涉及一种投影显示领域的数字图像颜色校正方法，尤其涉及一种在日常生 活中常见的带有纹理或图案的表面上进行投影显示时的图像颜色失真校正方法。
背景技术：
随着投影显示技术的发展和便携式设备普遍的需求，投影显示设备逐渐向便携式 甚至缩微化的方向发展。由此，投影图像将不再只是在暗室环境下及白色屏幕上显示，而需 要在通常照明环境下的带有纹理或者图案的彩色表面上进行显示。此时，投影显示图像将 会受到环境照明的影响和表面上颜色的干扰而出现人眼视觉感知图像的失真。为了保真地再现投影图像，通常需要采用如图1所示由投影仪、相机和微处理及 存储系统三个部分组成的新型投影显示系统(简称投影仪相机系统)，设系统的颜色通道 为η。此时，如图2所示，由于输入原始图像每个像素的颜色值向量Iin将经过投影仪显示、 屏幕反射和相机成像三个过程而获得输出图像对应像素的颜色值向量I。ut，其中颜色向量 记为I = W1, d2，…，dn]T，《表示颜色值的第η个通道分量。Lp和Lc表示投影显示和经 过显示表面反射后的辐射度值向量，记为L = [I1, I2,..., 1η]τ，In表示辐射度值的第η个 通道分量。从Iin到Lp的映射关系和从Lp到Iin的逆映射关系分别记为fP和fp—1。从Lp到 Lc的映射关系和从L。到Lp的逆映射关系分别记为fs和fV1。从L。到I。ut的映射关系和从 Iout到L。的逆映射关系分别记为f。和U1。基于以上新型投影显示系统，已有的投影图像校正方法主要分为两类，其中一类 是空间独立校正方法，如美国哥伦比亚大学Shree K. Nayar和Michael D. Grossberg等人 分别在忽略环境光和考虑环境光影响的前提下建立了带纹理表面投影显示的辐射度模型 并提出了以原始图像作为目标图像的校正方法；德国魏玛大学Oliver Bimber等人则忽略 了投影仪和相机颜色通道之间的耦合效应，抽象出一种更简化的模型，并建立了一种适合 多投影仪的校正算法。该类算法对图像中每个像素点的颜色单独进行校正，而且不考虑该 点投影显示再现的可行范围，具有简单高效的特点，但鲁棒性较差，适应范围小。另一类是 空间相关的校正方法，如日本东京大学工业科学研究院Mark Ashdown等人将输入图像转 换到设备无关的颜色空间并以其在暗室环境中纯白屏幕上的投影显示图像作为理想目标 图像，并根据显示表面每点色域的简单描述以及人眼亮度视觉阈值特性建立补偿模型与算 法。该类算法能弥补第一类算法鲁棒性差的缺点，但是由于校正时需要综合考虑显示表面 的色度特性和人眼观察图像时的复杂视觉特性，效率往往很低，运算成本很高。针对投影仪 缩微化的发展趋势，投影显示图像校正方法需要综合考虑上述方法的优缺点，从而在成本、 性能和功能等多个方面都能达到最优。
发明内容
本发明的目的在于针对现有技术的不足，提供一种投影显示图像颜色失真校正方法。
本发明的目的是通过以下技术方案来实现的一种投影显示图像颜色失真校正方 法，包括以下步骤(1)几何映射建立输入图像每个像素点的坐标到输出图像对应像素点坐标之间 的几何对应关系。(2)辐射度定标建立fP、f/1、fs、ff1、fc和fj1六种映射关系并确定投影仪输出 辐射度Lp的动态范围； 其中，Cliin表示输入图像像素的颜色值第i个通道分量，LUTp和invLUTp分别为投影
仪阶调响应曲线的正向和逆向查找表，M为3X3的耦合矩阵，LJj=P,/gp,ZftpT，为输入图
像像素的颜色值第i个通道分量df经过投影仪阶调响应之后的辐射度值分量；K为3X3 的对角反射系数矩阵，“为环境照明光及背光调制向量；LUT。和irwLUT。分为相机响应曲线 的正向及逆向查找表，(Vut表示输出图像像素的颜色值第i个通道分量，V为输出图像像 素的颜色值第i个通道分量(Vut所对应的由显示表面反射到达相机的辐射度值。(3)颜色失真校正输入图像计算对输入的图像进行处理得到校正输入图像来对 表面的缺陷以及环境照明的影响带来的显示图像的颜色失真进行校正。本发明的有益效果是，本发明投影显示图像颜色失真校正方法将图像颜色失真的 校正分为三个简单地步骤，保证了校正过程的运算复杂度低，适应于低端的微处理器，从而 降低运算成本。有两种校正意图供选择，拓展了方法的适应范围，增加了投影显示的功能。 同时，通过越界步骤的处理，校正图像在有效补偿屏幕颜色失真的同时确保方法的鲁棒性。 而且，由于越界处理过程中会根据图像内容以及表面整体特征进行适应性地调整，保证了 校正输出图像的质量，从而达到产品开发中兼顾成本、功能和性能的目的，有利于促进投影 显示从高端应用向低端消费电子应用方向拓展。
图1是基于投影仪相机系统的投影显示示意图；图2是新型投影显示流程图；图3是投影显示图像颜色失真校正流程图；图4是S变换函数随参数m变化的效果图；图5是测试表面("Flower")和测试图像("No. 1”和"No. 2” )；图6是投影仪通道响应曲线的正向和逆向查找表；图7是相机通道响应曲线的正向和逆向查找表；图8是“No. 1”测试图像在“Flower”测试表面上的测试结果图9是“No. 2”测试图像在“Flower”测试表面上的测试结果图。
具体实施例方式针对本发明中方法的实施，采用了型号为VGA NEC LT 30+的投影仪和型号为 HITACHI HV-D30的相机来组成投影仪相机系统，颜色通道数η为3，分别记为r、g、b通道， 通道的量化位数为8位。调整相机的视场使其包含整个投影显示区域，并调整投影仪的输 出亮度范围在相机的动态范围之内。在本实例中，环境照明为一般办公室内的荧光灯照明。整个实施过程分为几何映射、辐射度标定和颜色失真校正输入图像计算三个部 分，按顺序完成。(1)几何映射几何映射部分是用来建立输入图像每个像素点的坐标到输出图像对应像素点坐 标之间的几何对应关系，已有的技术方法有很多，如专利文献“投影图像校正方法与装置” 中的技术方法，采用5幅包括900个色块的编码图。(2)辐射度定标辐射度定标部分是用来建立fP、f/1、fs、fs_\ 和fj1六种映射关系并确定投 影仪输出辐射度Lp的动态范围。根据文献“A Projection System withRadiometric Compensation for Screen Imperfections”所述投影仪相机系统显示图像的数据流程，上 述六种映射关系可以采用公式(6)，(7)，(8)，(9)，(10)，(11)所示的数学方程来描述 其中，df表示输入图像像素的颜色值第i个通道分量，LUTp和irwLUTp分别为投 影仪阶调响应曲线的正向和逆向查找表』为3\3的耦合矩阵，14=[/。/丨,/^]",1/为输入
图像像素的颜色值第i个通道分量elf经过投影仪阶调响应之后的辐射度值分量。
其中，K为3X3的对角反射系数矩阵，Le为环境照明光及背光调制向量。
其中，LUTc和irwLUTc分为相机响应曲线的正向及逆向查找表，(Vut表示输出图像 像素的颜色值第i个通道分量，Ii0为输出图像像素的颜色值第i个通道分量(Vut所对应的 由显示表面反射到达相机的辐射度值。具体实施步骤如下，第一步，获取相机噪声图像。将相机镜头的盖子盖上，抓取一张暗电流噪声图。第二步，建立投影仪阶调响应查找表LUTp和逆向查找表invLUTp。用实验系统中的投影仪在暗室环境下及均勻漫反射屏幕中央投影一组灰色色块， 色块灰阶值在
范围内均勻等间隔选取，色块数目在8个以上，本实例中取(0，0，0)，(16，16，16)，(32,32,32), (48,48,48), (64,64,64), (80,80,80), (96,96,96), (112,112， 112)，(128，128，128)，(144，144，144)，(160，160，160)，(176，176，176)，(192，192，192)， (208，208，208)，(224，224，224)，(240，240，240)，(255，255，255)总共 17 个颜色值，投影的 同时在屏幕的正前方用分光光度计PR650测量得到各个色块的亮度并用相机采集得到一 组色块图，将各个色块的亮度值除去(0，0，0)背光输出值并进行归一化，并采用三次样条 差值的方法建立LUTp和invLUTp，如图6所示。第三步，建立相机阶调响应查找表LUTe和逆向查找表invLUTc将相机采集得到的该组色块输出值减去噪声输出值，并以颜色值(255，255，255) 为参考白点对相机进行白平衡校正，校正计算过程如数学公式 其中，d/_°ut是校正后的第j个色块输出的颜色值分量。然后，取色块中间区域的 平均值作为相机的响应值，将各个色块的亮度值直接进行归一化，采用三次样条插值的方 法建立LUTc和invLUTc，如图7所示。第四步，建立耦合矩阵M及^1在屏幕上投影一组彩色色块，颜色值分别为(255,0,0), (0,255,0), (0,0,255), (255，0，255)，(255，255，0)，(0，255，255)，并用相机采集得到一组色块，同样去除噪声值并 进行白平衡校正后去中间区域的平均值作为各个色块的相机响应输出值。将漫反射屏幕的 对角反射系数矩阵取定为diag(l，l，l)，并由颜色值为(0，0，0)的输出图像去除噪声并利 用相机通道响应曲线的逆向查找表计算色块内的背光强度LE°，然后分别通过投影仪通道响 应曲线的正向查找表求得各个彩色色块对应的Lp和Lp'，再通过最小二乘拟合的方法求得 第五步，获得测试表面各个像素的反射系数矩阵K在测试表面上投影显示m(大于2)幅充满整个显示区域的均勻灰色图，例如m为 6，它们的颜色值分别为(0,0,0), (64，64，64)，(112，112，112)，(160，160，160)，(208，208， 208)，(255，255，255)，并用相机采集得到一组图像，由颜色值为(0,0,0)的输出图像计算 显示区域内每个像素对应的Le，然后由其他的输出图像计算得到每个像素对应的一组Lp' 和L。，采用最小二乘方法拟合得到每个像素的K。第六步，确定投影仪输出辐射度的动态范围由投影仪的阶调响应查找表LUTp求得颜色值为(0，0，0)和(255，255，255)的输
出辐射度，分别记为LP°和LP255，分别由LP°和Lp255向量中的元素的最大值(记为和最 小值(记为Ifflin255)即可求得投影仪输出辐射度的动态范围[S，β ]为[Ifflax0, Ifflin255]。(3)颜色失真校正输入图像计算颜色失真校正输入图像计算部分是用来对输入的图像进行处理得到校正输入图 像来对表面的缺陷以及环境照明的影响带来的显示图像的颜色失真进行校正。如图3所 示，该部分包括以下四个步骤第一步、确定校正意图和计算目标辐射度图像。
将输入的原始图像投影到显示表面之前，一方面，人们总是理想地期望校正输出 辐射度图像能在显示表面上准确地再现输入的原始图像，记为意图一；另一方面，由于人们 已经习惯于传统的投影显示，容易将显示表面与纯白色屏幕相比较，期望校正输出辐射度 图像能达到在纯白色屏幕上且理想暗室环境下观察时的显示输出结果，记为意图二。若是 意图一，目标辐射度图像各个像素的辐射度值可以由公式(13)来确定
(13)若是意图二，目标辐射度图像各个像素的辐射度值可以由公式(14)来确定
(14)其中，Iing是表示输入图像经几何映射后的输出图像像素的颜色值，Lobj是表示目 标辐射度图像像素的辐射度值。具体实施步骤如下将两种校正意图分别对应于投影显示系统的两种不同的工作模式，意图一模式为 投影显示系统的默认模式，而意图二模式为备选模式。当工作在意图一模式时，输入图像每 个像素的颜色值分别由上述实施过程建立的几何映射并按照邻近插值的方法赋给输出图 像对应像素，然后按照公式(13)并由相机的阶调响应逆向查找表得到目标辐射度图像。类 似地，当工作在意图二模式时，输入图像每个像素的颜色值分别由上述实施过程建立的几 何映射并按照邻近插值的方法赋给输出图像对应像素，然后按照公式(14)并由相机的阶 调响应逆向查找表得到目标辐射度图像。第二步、计算预校正输出辐射度图像。为了补偿照明调制和显示表面缺陷，需要计算预校正输出辐射度图像。具体实施步骤如下将步骤一得到的目标辐射度图像的每个像素的辐射度值按照公式(9)即可计算 得到预校正输出辐射度图像对应像素的辐射度值第三步、越界处理。在投影仪的输出范围有限的前提下，预期校正输出辐射图像将会超出投影仪输出 范围的边界，需要对预校正输出辐射度图像进行越界处理。具体实施步骤如下首先，对预校正辐射度图像中所有通道所有像素点的辐射度值进行统计，忽略最 亮和最暗的h (如，0. 1%)个像素，求得所有辐射度值的最大值、最小值和平均值，分别记为 Max, Min 禾口 Mean ；然后，将预校正辐射度图像中各个像素的辐射度值分别线性压缩或拉伸到第二部 分步骤六确定的范围[S，β]内，得到向量X，如公式X= (β - δ ) · (Lp-Min) · (Max-Min)“1+ δ(3)最后，所有像素对应的向量X再经过一个S型函数进行映射变换，如公式
(4)
其中，m 的计算公式为 m= (β-δ) · (Mean-Min) · (Max-Min) “1+ δ 0 取 η 等于 2， S型函数的形式随参数m的变化的情况，如图4所示。
第四步、计算校正需要的投影仪输入图像。由越界处理过后的预校正输出辐射度图像计算校正需要的投影仪输入图像。
具体实施步骤如下将越界处理过后的预校正辐射度图像的辐射度值由耦合矩阵M和投影仪阶调响 应的逆向查找表且按照公式(6)计算得到校正需要的输入图像像素颜色值，然后由部分一 建立的几何映射并按照临近值插值的方法将该颜色值映射为投影仪输入图像对应像素的 颜色值。采用如图5所示的带有一幅彩色图案的测试表面和图像处理算法中常采用的测试 图像进行实验，两幅测试图像的两种校正图像如图8，图9所示，为了补偿该测试表面的红 色区域，在校正图像对应区域会偏绿色。采用15个色觉正常的观察者直接对每组显示图 像，包括未校正显示图像(UD)和两种校正显示图像(CD1和⑶2)，进行喜好比较排序，结果 如下表所示，观察者普遍喜欢校正的显示图像，而且更喜欢意图一工作模式下的校正结果。
权利要求
一种投影显示图像颜色失真校正方法，其特征在于，包括以下步骤(1)几何映射建立输入图像每个像素点的坐标到输出图像对应像素点坐标之间的几何对应关系。(2)辐射度定标建立fP、fP-1、fS、fS-1、fC和fC-1六种映射关系并确定投影仪输出辐射度LP的动态范围；fP∶LP＝MLP′，LP′＝M-1LPfS∶LC＝K(LP+LE) <mrow><msubsup> <mi>f</mi> <mi>S</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msubsup><mo>:</mo><msub> <mi>L</mi> <mi>P</mi></msub><mo>=</mo><msup> <mi>K</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msup><mrow> <mo>(</mo> <msub><mi>L</mi><mi>C</mi> </msub> <mo>-</mo> <msub><mi>KL</mi><mi>E</mi> </msub> <mo>)</mo></mrow> </mrow> <mrow><msub> <mi>f</mi> <mi>C</mi></msub><mo>:</mo><msubsup> <mi>d</mi> <mi>i</mi> <mi>out</mi></msubsup><mo>=</mo><msub> <mi>LUT</mi> <mi>C</mi></msub><mrow> <mo>(</mo> <msubsup><mi>l</mi><mi>i</mi><mi>C</mi> </msubsup> <mo>)</mo></mrow><mo>,</mo><mi>i</mi><mo>=</mo><mi>r</mi><mo>,</mo><mi>g</mi><mo>,</mo><mi>b</mi> </mrow> <mrow><msubsup> <mi>f</mi> <mi>C</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msubsup><mo>:</mo><msubsup> <mi>l</mi> <mi>i</mi> <mi>C</mi></msubsup><mo>=</mo><mi>inv</mi><msub> <mi>LUT</mi> <mi>C</mi></msub><mrow> <mo>(</mo> <msubsup><mi>d</mi><mi>i</mi><mi>out</mi> </msubsup> <mo>)</mo></mrow><mo>,</mo><mi>i</mi><mo>=</mo><mi>r</mi><mo>,</mo><mi>g</mi><mo>,</mo><mi>b</mi> </mrow>其中，diin表示输入图像像素的颜色值第i个通道分量，LUTP和invLUTP分别为投影仪阶调响应曲线的正向和逆向查找表，M为3×3的耦合矩阵，liP为输入图像像素的颜色值第i个通道分量diin经过投影仪阶调响应之后的辐射度值分量；K为3×3的对角反射系数矩阵，LE为环境照明光及背光调制向量；LUTC和invLUTC分为相机响应曲线的正向及逆向查找表，diout表示输出图像像素的颜色值第i个通道分量，liC为输出图像像素的颜色值第i个通道分量diout所对应的由显示表面反射到达相机的辐射度值。(3)颜色失真校正输入图像计算对输入的图像进行处理得到校正输入图像来对表面的缺陷以及环境照明的影响带来的显示图像的颜色失真进行校正。FSA00000090341900011.tif,FSA00000090341900012.tif,FSA00000090341900016.tif
2.根据权利要求1所述投影显示图像颜色失真校正方法，其特征在于，所述步骤(2)具 体如下(A)获取相机噪声图像将相机镜头的盖子盖上，抓取一张暗电流噪声图。(B)建立投影仪阶调响应查找表LUTP和逆向查找表invLUTp用投影仪在暗室环境下及 均勻漫反射屏幕中央投影一组灰色色块，色块灰阶值在W，255]范围内均勻等间隔选取， 色块数目在8个以上，投影的同时在屏幕的正前方用分光光度计PR650测量得到各个色块 的亮度并用相机采集得到一组色块图，将各个色块的亮度值除去(0，0，0)背光输出值并进 行归一化，并采用三次样条差值的方法建立LUTP和invLUTp。(C)建立相机阶调响应查找表LUTe和逆向查找表invLUTe将相机采集得到的该组色块 输出值减去噪声输出值，并以颜色值(255，255，255)为参考白点对相机进行白平衡校正， 校正过程如下 其中，d/_°ut是校正后的第j个色块输出的颜色值分量。然后，取色块中间区域的平均 值作为相机的响应值，将各个色块的亮度值直接进行归一化，采用三次样条插值的方法建 立 LUTC 和 invLUTc。(D)建立耦合矩阵M及在屏幕上投影一组彩色色块，颜色值分别为(255，0，0)，(0， 255,0), (0,0,255), (255，0，255)，(255，255，0)，(0，255，255)，并用相机采集得到一组色块，同样去除噪声值并进行白平衡校正后去中间区域的平均值作为各个色块的相机响应输 出值。将漫反射屏幕的对角反射系数矩阵取定为diag(l，l，l)，并由颜色值为(0，0，0)的输 出图像去除噪声并利用相机通道响应曲线的逆向查找表计算色块内的背光强度“°，然后分 别通过投影仪通道响应曲线的正向查找表求得各个彩色色块对应的LP和L/，再通过最小 二乘拟合的方法求得 (E)获得测试表面各个像素的反射系数矩阵K在测试表面上投影显示m幅充满整个显 示区域的均勻灰色图，m大于2，并用相机采集得到一组图像，由颜色值为(0，0，0)的输出图 像计算显示区域内每个像素对应的LE，然后由其他的输出图像计算得到每个像素对应的一 组LP'和Le，采用最小二乘方法拟合得到每个像素的K。(F)确定投影仪输出辐射度的动态范围由投影仪的阶调响应查找表LUTP求得颜色值 为(0，0，0)和(255，255，255)的输出辐射度，分别记为LP°和LP255，分别由LP°和LP255向量中 的元素的最大值(记为和最小值(记为lmin255)，即可求得投影仪输出辐射度的动态范 围[S，3 ]为[lmax°，lfflin255]。
3.根据权利要求2所述投影显示图像颜色失真校正方法，其特征在于，所述步骤(3)具 体如下(a)确定校正意图和计算目标辐射度图像将输入的原始图像投影到显示表面之前， 一方面，人们总是理想地期望校正输出辐射度图像能在显示表面上准确地再现输入的原始 图像，记为意图一；另一方面，由于人们已经习惯于传统的投影显示，容易将显示表面与纯 白色屏幕相比较，期望校正输出辐射度图像能达到在纯白色屏幕上且理想暗室环境下观察 时的显示输出结果，记为意图二。若是意图一，目标辐射度图像各个像素的辐射度值可以由下式来确定 若是意图二，目标辐射度图像各个像素的辐射度值可以由下式来确定 其中，Iing是表示输入图像经几何映射后的输出图像像素的颜色值，L。bj是表示目标辐 射度图像像素的辐射度值。(b)计算预校正输出辐射度图像。将步骤(a)得到的目标辐射度图像的每个像素的辐 射度值按照了s、Lp=K ILc-KJ^)得到预校正输出辐射度图像对应像素的辐射度值。(c)越界处理首先，对预校正辐射度图像中所有通道所有像素点的辐射度值进行统 计，忽略最亮和最暗的h个像素，h为百分数，求得所有辐射度值的最大值、最小值和平均 值，分别记为MaX，Min和Mean ；然后，将预校正辐射度图像中各个像素的辐射度值分别线性 压缩或拉伸到步骤(F)确定的范围[6，日]内，得到向量X:X = - 8 ) (Lp-Min) (Max-Min)8 ；最后，所有像素对应的向量X再经过一个S型函数进行映射变换 (d)计算校正需要的投影仪输入图像将越界处理过后的预校正辐射度图像 的辐射度值由耦合矩阵M和投影仪阶调响应的逆向查找表且按照fP:LP = MLP'， /,P=LUTP(<") / = 6得到校正需要的输入图像像素颜色值，然后由步骤(1)建立的几 何映射并按照临近值插值的方法将该颜色值映射为投影仪输入图像对应像素的颜色值。
全文摘要
本发明公开了一种投影显示图像颜色失真校正方法，将图像颜色失真的校正分为几何映射、辐射度定标和颜色失真校正输入图像计算这三个简单地步骤，保证了校正过程的运算复杂度低，适应于低端的微处理器，从而降低运算成本。有两种校正意图供选择，拓展了方法的适应范围，增加了投影显示的功能。同时，通过越界步骤的处理，校正图像在有效补偿屏幕颜色失真的同时确保方法的鲁棒性。而且，由于越界处理过程中会根据图像内容以及表面整体特征进行适应性地调整，保证了校正输出图像的质量，从而达到产品开发中兼顾成本、功能和性能的目的，有利于促进投影显示从高端应用向低端消费电子应用方向拓展。
文档编号H04N9/31GK101860761SQ20101014851
公开日2010年10月13日 申请日期2010年4月16日 优先权日2010年4月16日
发明者徐海松, 邹文海 申请人:浙江大学