专利名称：一种在日常照明环境下的投影显示颜色再现方法
技术领域：
本发明公开一种投影显示领域的颜色再现方法，尤其涉及一种在日常生活中常见 的有环境照明且带有纹理的物理表面上进行投影显示时的等价颜色再现方法。
背景技术：
投影显示是一种将图像投射在辅助表面上的显示方式，大画面以及显示屏幕与自 身设备分离是其两大显著特点，而且通常以漫反射白色屏幕以及暗室观察环境为应用前 提。随着投影显示应用的普遍深入，传统的CRT投影显示技术逐渐被IXD、DLP、LC0S等多种 现代投影显示技术所替代，其应用场合也逐渐从教育多媒体、商务会议、数字影院等高端场 合拓展至展厅演示、家庭娱乐等低端场合。如今，投影仪已经进入了消费型电子产品行列， 在市场上出现了各种体积小且携带方便的娱乐型投影仪。同时，为了满足现代社会消费者 多样化的需求，单方向的演示在很多场合也已经不能满足要求，而需要给投影仪增加交互 式的功能，以增加信息传播的生动性和趣味性。于是，在投影显示领域发展起来了基于投影 仪相机系统的大屏幕拼接以及交互式投影显示技术，如文献“Introduction to building projection-based tiled display systems”所述。投影仪相机系统通常由投影仪、相机和 计算机三个部分组成，相机充当人眼完成智能传感的功能，计算机则是整个系统的控制中 心，完成信号显示、收集、处理及分析等功能。如图1所示为投影仪相机系统在日常生活中 常见的有照明环境下物理表面上进行投影显示的示意图，输入图像首先由计算机系统输出 到投影像面，再经过投影光学系统投影到显示表面；然后，投影图像经显示表面反射及环境 照明的调制形成现实物理空间中的投影显示图像；投影显示图像又可以由相机光学系统捕 获到成像像面并产生图像输出到计算机系统，从而构成了一个闭环的控制回路。另一方面， 随着投影显示应用的普遍深入，固定地以漫反射白色屏幕以及暗室观察环境为应用前提在 很多情况下将无法满足，而需要将画面投影显示在生活环境周围的物理表面上，以沉浸自 然的形式来丰富交流的方式。此时，由于投影显示图像将会受到显示表面图案和环境照明 调制的影响而颜色失真，依靠现有投影显示的颜色再现技术方法在日常生活中常见的有照 明环境的且带有图案的物理表面上将无法得到高质量的投影显示图像。于是，以投影仪相 机系统的应用为基础，发展投影显示颜色再现新技术将进一步拓展投影显示的应用范围， 促进投影显示向更灵活且更高质量的现代化方向发展。
发明内容
本发明的目的在于针对现有投影显示颜色再现技术的局限性，提供一种在日常照 明环境下的投影显示颜色再现方法。本发明的目的是通过以下技术方案来实现的一种在日常照明环境下的投影显示 颜色再现方法，该方法包括以下步骤(1)投影显示颜色再现特征化获得投影仪的阶调响应查找表P-LUT”投影仪的阶 调响应逆向查找表P-iLUT”耦合矩阵Mp。、反射调制系数P。、环境照明光亮度、和相机输
6出的零点颜色值队。(2)确定等价再现目标颜色值根据步骤(1)获得的参数确定投影显示颜色再现 的亮度范围，并由输入图像的颜色值获得目标输出图像的颜色值。(3)颜色等价再现根据目标输出图像的颜色值计算其等价再现所需的输入颜色 值，将输入颜色值由计算机或者微处理器控制输出到投影仪，并驱动投影仪的颜色信号发 生器，再由投影仪的照明光学系统在显示表面上形成颜色刺激，并由扫描系统产生近似于 白色屏幕上显示效果的再现图像。本发明的有益效果是，本发明的常见物理表面投影显示等价颜色再现技术方法不 限于漫反射白色屏幕以及暗室观察环境，可以应用在日常生活中常见的有环境照明的带有 纹理的物体表面上进行投影显示，并达到再现图像颜色与原始图像颜色亮度比较接近而色 度一致的等价再现目标。该再现方法包括投影显示颜色再现特征化、确定等价再现目标颜 色值以及颜色等价再现三个部分。投影显示颜色再现特征化用来分析描述投影仪相机系 统、显示表面以及环境照明的颜色特征；确定等价再现目标颜色值用来分析确定整个系统 在当前显示环境下的再现能力，并借此计算在再现能力范围内并与输入原始图像颜色等价 的目标颜色值；颜色等价再现用来对目标颜色值进行处理，并根据输入输出的颜色转换关 系，计算再现目标颜色值所需的输入颜色值。不依赖于其他物理设备的测量，运算成本低， 有利于投影显示向便携式灵活的移动应用方向发展。
图1是基于投影仪相机系统的投影显示图像再现示意图2是基于投影仪相机系统的常见物理表面投影显示颜色再现流程图3是常见物理表面投影显示等价颜色再现流程图4是投影显示颜色再现特征化流程图5是确定等价颜色再现目标值的流程图6是颜色等价再现的流程图7是估计相机伽马系数时所采用的拍摄场景图8是采用多次曝光技术自动定标获得的相机响应特性曲线图9是常见物理表面测试实例图10是环境照明在显示表面上的平均照度分布图(单位为Ix)；
图11是系统中投影仪阶调响应查找表P-LUT和P-iLUT颜色特征化结果图
图12是获取通道耦合矩阵所采用的色块图实例；
图13是ISO标准测试图像实例，(a)为BIRDS图，(b)为MON图14是由HOU测试图像计算得到的再现目标图像、再现输入图像和再现输出图像
结果图，其中，(a)为再现目标图像，(b)为再现输入图像，(c)为再现输出图像；图15是由BIRDS测试图像计算得到的再现目标图像、再现输入图像和再现输出图 像结果图，其中，(a)为再现目标图像，(b)为再现输入图像，(c)为再现输出图像。具体实施方法通常来讲，基于投影仪相机系统的颜色再现过程可以采用如图2所示的流程图来 描述。首先，若采用D= [dr, dg，db]T表示图像颜色值向量，则投影仪相机系统首先将输入
7的颜色值Din转化为投影仪各个基元色的激励值Ip，该过程的实现由投影仪的颜色再现技 术原理以及显示参数的具体设置所决定，其正反向映射关系可以分别描述为
万= P-LUTr (<")、互=P-LUTg 歹= P-LUT4 ⑷和 Jf =P-ILUT,(；；)《=P-iLUTg(疗) =P-ILUTi^)其中，P-LUTi (i = r，g，b)和P_iLUT」(j = r，g，b)分别表示投影仪各通道的正反 向阶调响应查找表。然后，刺激值 ；经投影仪相机系统交叉耦合转换为投射图像像素点的光强度Ip。， 可以描述为Ipc=M^!;(3)其中，Mp。为3X3的耦合矩阵。随后，投射图像像素点的光强度Ip。经投影空间传输到达显示表面并和环境照明 的照度叠加在一起，再由显示表面反射调制形成投影显示图像像素点的光亮度Lp。，即Lpc = PcIpc+PcEe (4)最后，投影显示图像各像素点的光亮度经过伽马非线性校正并和系统暗噪声叠加 在一起转换为输出图像像素点的颜色值D。ut，也即Dolrf =(^pcT +D0(5)其中，Ytl为伽马系数。将⑴ (4)代入(5)可得方程如式Oout =(pcMpcg(P-LUT(D,. )) + LeJ。+D0(6)根据方程(6)，本发明的日常物理表面投影显示颜色等价再现技术方法的具体实 施分为四个部分，每个部分可以理解为投影仪相机系统中计算机或者微处理器上的一个运 算模块，一系列指令或者一部分代码，按顺序依次运行。第一部分，投影显示颜色再现特征 化，用来确定方程(6)中的未知参数，包括？-1^1\ -让肌^1)。，0。，1^和0(1;第二部分，确定 等价再现目标颜色值，用来根据颜色特征化过程确定的方程(6)的参数确定投影显示颜色 再现的亮度范围并由输入图像的颜色值计算目标输出图像的颜色值；第三部分，颜色等价 再现，用来根据目标输出图像的颜色值计算其等价再现所需的输入颜色值，并将该颜色值 再现为颜色刺激。(1)投影显示颜色再现特征化投影显示颜色再现特征化过程是再现技术方法的基础部分，包括五个子过程第一子过程，建立投影仪像面和相机像面对应像素点之间的几何坐标映射关系。
8
(1)
(2)例如专利文献“投影图像校正方法与装置”中的几何映射方法，实验采用红、绿、蓝、黑、白五 种颜色且包括256色块的编码图来完成该子过程。第二个子过程，获得相机输出的零点颜色值即队。关闭相机盖子并采集输出一幅 噪声图像，记为CK0I，则Dtl就等于CKOI所有像素的平均值。第三个子过程，获取相机通道响应的伽马系数。首先采用如文献“RecoveringHigh Dynamic Range Radiance Maps from Photographs" ψ Wi^ifH^lSllIjf 应的输入强度值，然后通过幂函数拟合的方法求得伽马系数。第四个子过程，设置颜色特征化空间的参考白点。找一块白色的屏幕放置在投影 显示系统的正前方(或者找一块均勻的白色物体)，将颜色值为(255，255，255)的hXh厘 米(h大于投影显示区域尺寸的五分之一)白色块投影在屏幕(物体表面)上，并由相机采 集输出，取色块中央大约二分之一面积内的平均值作为白色色块的颜色值，记为5『。与此 同时，将颜色值为(0，0，0)的hXh厘米)黑色块投影在屏幕(物体表面)上，取色块同样 大小面积内的平均值作为黑色色块的颜色值，记为。由相机的伽马系数分别计算两种色 块所对应的输入亮度值，分别记为￡ν和:Le，计算公式为
丄Li=(Di-D0)^, i = W,E(7)并随后求得相机的白点校正系数为 y=f Zmaxf(8)
ljW式中Lmax为向量三个分量中的最大值。第五个子过程，获取环境照明亮度值Le。。在亮彩色表面上投影一副颜色值为(0， 0,0)的全黑图像，记为CBI，并由相机采集输出一幅包括环境光和暗噪声的背景图像，记为 CEOI。将CEOI减去CKOI即可计算得到环境照明光亮度Lec为
] Lec= a, (Dceoi-D0)-(9)其中，Dceqi为CEOI图像的像素颜色值。第六个子过程，获得显示表面反射调制系数P。。将一副颜色值为(255，255，255) 的全白图像投影在显示表面上，记为CWI，并由相机采集输出一幅包括显示表面反射比信息 的彩色图像，记为CW0I，则反射调制系数P。可计算为Pe =O^Dcwol-D。卢-Lee(10)其中，Dcwoi为CWOI图像的像素颜色值。第七个子过程，建立投影仪各通道的正反向阶调响应查找表。在显示表面上投影 一组尺寸为Ii1Xh1厘米的灰色色块Oi1大于10)，其颜色值分别为(屯，屯，(Ii) i = 0，1，...，m+l
Q \ 2 m其中，H...、(1111+1分别为...、一256、一256、一256、一255，111彡8。求得每个色
m m m m
块各像素对应的投影仪刺激响应强度Ip为
(11)并取色块中央像素平均值作为该色块颜色的刺激强度。由该组色块对应的Din和 Ip并采用插值的方法建立查找表P-LUTi和P-iLUTi (i = r，g，b)。第八个子过程，求解耦合矩阵Mp。。在显示表面上投影一副彩色色块图，记为CPI，
色块色颜色值是在RGB空间中均勻抽取的，即(屯，dj, dk)，其中i/尸·^255 (i = 0,2,…m)，
m
Cij= ^-255 (j = 1,2,…m)，d=^"255 (k = 1，2，…m)，m彡1。彩色色块图由相机采集输 mm
出，记为CP0I。求得CPOI中各像素对应的投影仪刺激响应强度Ip，然后以各样本色块内中
央区域的平均值作为该颜色样本的刺激响应强度，同时由P-LUTiG = r, g，b)求得各颜色
样本的响应强度Ip。。获得一组Ip和Ipe并分别采用M00re-Penr0se伪逆的方法估计得到
Mpco(2)确定等价再现目标颜色值等价再现颜色值的确定分为三个子过程第一个子过程，分析确定输出颜色的亮度再现范围。求得显示表面上每个像素点 P。和‘的亮度分量，分别记为γ(ρ。)和Y(Lec)。于是，每点的亮度再现范围为Y(LJ Y(Lec)+Y(P c)。第二个子过程，计算输入图像各个像素点颜色值所对应的亮度分量，记为Y(Lin)， 其中 L^(D, )i。第三个子过程，计算等价再现目标亮度值。包括四个步骤第一步，将输入原始图像所有像素点颜色值的亮度都平移一个最小量Y (L' J = Y(Lin) + AY (12)其中，Δ Y = max {max {Y (Lec) -Y (Lin)}，0}第二步，对反射调制系数进行空间不均勻性校正。首先，将所有像素点的Y(P。)组 成空域灰度图像，并通过低通滤波的方法去除其高频分量，记为FYI。然后，找到滤波后灰度 图像的最大值，记为C。最后，由FYI对P。进行校正
(13)
yFYI
P =Pc^l-
式中，Yfyi为FYI中像素的亮度值，P ‘。为校正后的彩色调制系数。 第三步，对L' in进行非线性校正。校正公式为 Y{L·
pc-out
l-(l-w)
\2
1水;
1-w
\2
(14)
m<Y{Lpc)<i 其中
10L' -L
τ _ in ec
pc~ K ，
K = max{(Y(L' J-Y(Lj) (Y(ρ ‘ Γ)Γ}，m = mean {Y (Lpc)}第四步，计算目标颜色值。计算公式为
和
C(Kbj) = KC(I^in)
(15) Oobj = [Iuobj
\r<>
+ Dn
(16)(3)颜色等价再现根据第二个过程确定的目标颜色值，可以计算目标色再现所需的颜色值，并将该 颜色输出到投影仪而再现为颜色刺激形成投影显示图像，分为以下七个子过程，依次进 行第一个子过程，去除系统暗噪声，记为Dsub。计算公式为Dsub = Dobj-D0 (17)第二个子过程，伽马校正，记为L。 。计算公式为 L =(D
cor \ sub β
) 8 1 /ι\第三个子过程，环境照明补偿获得预期的投影显示亮度，记为L=p。补偿公式为L^p=Lcor-Lec(19)第四个子过程，显示表面反射调制补偿获得预期的投影仪输出的光强度，记为
Ifxp。计算公式为
Ρ^ _ exp
=Pc)" Kp
(20)
第五个子过程，去通道耦合获得预期的阶调响应值，记为Ifxp。计算公式为
第六个子过程，阶调响应非线性校正求得输入颜色值，记为D。。m。校正公式为 <om= P-iLUT, (/;xp)"
‘ (22)
d-= ALmg(ii 式一=P-iLUTA(/广)第七个子过程，将输入颜色值由计算机或者微处理器控制输出到投影仪，并驱动 投影仪的颜色信号发生器，再由投影仪的照明光学系统在显示表面上形成颜色刺激，并由 扫描系统产生近似于白色屏幕上显示效果的再现图像。下面根据附图和实施例详细描述本发明，本发明的目的和效果将变得更加明显。实施例子作为实验例子，采用了型号为VGA NEC LT 30+的投影仪和型号为HITACHIHV-D30
11的相机来组成投影仪相机实验系统来实施并验证再现技术方法的有效性。投影仪和相机的 颜色通道数均为3，各个通道的量化位数为8位。投影仪和相机由计算机连接控制图像信号 的输入输出，其主频和内存分别为2. 13GHz和IGB，采用RADEON R9200SE显卡将图像信号输 出到投影仪，并由Matrox Meteorll/Multi-channel图像采集卡将摄像机采集到的图像信 号输入到计算机存储器。调整相机的视场使其包含整个投影显示区域，并调整相机的光圈 和快门使得投影仪的输出亮度范围在相机的动态范围之内。采用 ls，0. 84s,0. 68s,0. 52s,0. 36s,0. 20s,0. 04s 等 7 次曝光时间对如图 7 所示 的场景进行拍摄，样窗口的大小设置为12 X 12个像素，采样点数设为50，求得通道响应曲 线如图8所示。通过Gauss-Newton算法拟合得到R、G、B通道的伽马系数分别为0. 407、 0. 397,0. 406。以如图9所示的带有色块图案的表面作为测试表面，测试显示区域内环境照 明的平均照度分布如图10所示。取m = 8，建立投影仪的阶调响应查找表如图11所示。采 用如图12的色块图求得的耦合矩阵为 选取一组ISO标准图像作为测试对象，以如图13所示的图像为例子，首先求得再 现目标图像和再现输入图像，然后将再现输入图像分别投影在彩色表面上并由相机采集获 得再现输出图像，如图14和图15所示。为了对颜色再现的结果进行评价，分别求得再现目 标图像和再现输出图像所有像素颜色值各个分量的平均误差和均方根误差如表1所示。从 表中数据结果可以看出，再现目标图像和再现输出图像的亮度差平均在10左右，色度分量 的差异平均都在3以下，达到了等价再现的目标。表1标准测试图像在“色块”彩色表面上的等价颜色再现评价结果 上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和 权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
权利要求
一种在日常照明环境下的投影显示颜色再现方法，其特征在于，该方法包括以下步骤(1)投影显示颜色再现特征化获得投影仪的阶调响应查找表P LUTi、投影仪的阶调响应逆向查找表P iLUTi、耦合矩阵Mpc、反射调制系数ρc、环境照明光亮度Lec和相机输出的零点颜色值D0。(2)确定等价再现目标颜色值根据步骤(1)获得的参数确定投影显示颜色再现的亮度范围，并由输入图像的颜色值获得目标输出图像的颜色值。(3)颜色等价再现根据目标输出图像的颜色值获得其等价再现所需的输入颜色值，将输入颜色值由计算机或者微处理器控制输出到投影仪，并驱动投影仪的颜色信号发生器，再由投影仪的照明光学系统在显示表面上形成颜色刺激，并由扫描系统产生近似于白色屏幕上显示效果的再现图像。
2.根据权利要求1所述在日常照明环境下的投影显示颜色再现方法，其特征在于，所 述步骤(1)包括以下五个子步骤(a)建立投影仪像面和相机像面对应像素点之间的几何坐标映射关系。(b)获得相机输出的零点颜色值Dtl关闭相机盖子并采集输出一幅噪声图像，记为 CK0I，则Dtl就等于CKOI所有像素的平均值。(c)获取相机通道响应的伽马系数首先获得各通道响应值所对应的输入强度值，然 后通过幂函数拟合的方法求得伽马系数。(d)设置颜色特征化空间的参考白点将白色的屏幕或均勻的白色物体放置在投影显 示系统的正前方，将三通道颜色值分别为255、255、255的hXh厘米白色块投影在屏幕或物 体表面上，并由相机采集输出，h大于投影显示区域尺寸的五分之一，取色块中央二分之一 面积内的平均值作为白色色块的颜色值，记为。与此同时，将三通道颜色值分别为0、0、 0的hXh厘米黑色块投影在屏幕或物体表面上，取色块同样大小面积内的平均值作为黑色 色块的颜色值，记为。由相机的伽马系数分别获得两种色块所对应的输入亮度值，分别 i己为禾口L(. =(Di-D0)^5 ι = W,E并随后求得相机的白点校正系数为η 一 LmaxuW ~ f fW ~Lie式中Lmax为Iv-Le向量三个分量中的最大值。(e)获取环境照明亮度值Le。在亮彩色表面上投影一副三通道颜色值分别为0、0、0的 全黑图像，记为CBI，并由相机采集输出一幅包括环境光和暗噪声的背景图像，记为CE0I。 将CEOI减去CKOI即可得到环境照明光亮度Lee为丄Lec (Dceoi-D0)瓦其中，Dcem为CEOI图像的像素颜色值。(f)获得显示表面反射调制系数P。将一副三通道颜色值分别为255、255、255的全白 图像投影在显示表面上，记为CWI，并由相机采集输出一幅包括显示表面反射比信息的彩色图像，记为CW0I，则反射调制系数P。为丄Pc =Mdcwoi-D0)万-Lec其中，Dara为CWOI图像的像素颜色值。(g)建立投影仪各通道的正反向阶调响应查找表在显示表面上投影一组尺寸为 Ii1Xh1厘米的灰色色块，Ii1大于10，其颜色值分别为((Ii, (Ii, (Ii) i =0,1,…，m+1,0 12m其中，dQ、Cl1,…、dm+1分别为一256、_256、一256、...、一255，m彡8，求得每个色块各m m mm像素对应的投影仪刺激响应强度Ip为并取色块中央像素平均值作为该色块颜色的刺激强度。由该组色块对应的Din和Ip 并采用插值的方法建立投影仪的阶调响应查找表P-LUTi和投影仪的阶调响应逆向查找表 P-iLUTi(i = r, g, b)。(h)求解耦合矩阵Mp。在显示表面上投影一副彩色色块图，记为CPI，色块色颜色值是在RGB空间中均勻抽取的，SP (φ, dj, dk)，其中c/尸丄255 (i = 0,2,…m)，c/尸^·255 (j =mm1,2,…m)，d=!255 (k = 1，2，…m)，m彡1。彩色色块图由相机采集输出，记为CPOI。求 m得CPOI中各像素对应的投影仪刺激响应强度Ip，然后以各样本色块内中央区域的平均值作 为该颜色样本的刺激响应强度，同时由P-LUTiG =r，g，b)求得各颜色样本的响应强度Ip。。 获得一组Ip和Ip。并分别采用M00re-Penr0se伪逆的方法估计得到Mpc。3.根据权利要求1所述在日常照明环境下的投影显示颜色再现方法，其特征在于，所 述步骤(2)包括以下三个子步骤(a)分析确定输出颜色的亮度再现范围求得显示表面上每个像素点P。和Le。的亮度 分量，分别记为Y(P。)和Y(Lec)；于是，每点的亮度再现范围为Y(LJ Y(LJ+Y(P。)。(b)获得输入图像各个像素点颜色值所对应的亮度分量，记为Y(Lin)，其中K 。(c)获得等价再现目标亮度值，具体如下第一步，将输入原始图像所有像素点颜色值的亮度都平移一个最小量Y (L' J = Y(Lin) + AY其中，Δ Y = max {max {Y (Lec) -Y (Lin)}，0}第二步，对反射调制系数进行空间不均勻性校正。首先，将所有像素点的Y(P。)组成 空域灰度图像，并通过低通滤波的方法去除其高频分量，记为FYI。然后，找到滤波后灰度图 像的最大值，记为Fm1T。最后，由FYI对P。进行校正γ￥ΥΙ max式中，Yfyi为FYI中像素的亮度值，P ‘。为校正后的彩色调制系数t 第三步，对L' in进行非线性校正。校正公式为 其中 第四步，通过下式获得目标颜色值
3、根据权利要求1所述在日常照明环境下的投影显示颜色再现方法，其特征在于，所 述步骤(3)包括以下七个子步骤(a)去除系统暗噪声，记为D,sub ·DsUb-Dobj-D0C(b)伽马校正，记为L。 (c)环境照明补偿获得预期的投影显示亮度，记为 (d)显示表面反射调制补偿获得预期的投影仪输出的光强度，记为 (e)去通道耦合获得预期的阶调响应值，记为 (f)阶调响应非线性校正求得输入颜色值，记为D。 <om=P-iLUT,(/;xp)' (g)将输入颜色值由计算机或者微处理器控制输出到投影仪，并驱动投影仪的颜色ii号发生器，再由投影仪的照明光学系统在显示表面上形成颜色刺激，并由扫描系统产生近 似于白色屏幕上显示效果的再现图像。
全文摘要
本发明公开了一种在日常照明环境下的投影显示颜色再现方法，包括投影显示颜色再现特征化、确定等价再现目标颜色值以及颜色等价再现三个部分。投影显示颜色再现特征化用来分析描述投影仪相机系统、显示表面以及环境照明的颜色特征；确定等价再现目标颜色值用来分析确定整个系统在当前显示环境下的再现能力，并借此获得在再现能力范围内并与输入原始图像颜色等价的目标颜色值；颜色等价再现用来对目标颜色值进行处理，并根据输入输出的颜色转换关系，获得再现目标颜色值所需的输入颜色值。不依赖于其他物理设备的测量，运算成本低，有利于投影显示向便携式灵活的移动应用方向发展。
文档编号H04N9/31GK101917631SQ20101024124
公开日2010年12月15日 申请日期2010年7月30日 优先权日2010年7月30日
发明者徐海松, 邹文海 申请人:浙江大学