对于从通过未渲染颜色空间映射的视频内容中导出的环境光的无闪烁自适应阈值处理的制作方法

专利名称:对于从通过未渲染颜色空间映射的视频内容中导出的环境光的无闪烁自适应阈值处理的制作方法
本发明涉及利用多个光源来产生和设置环境光效果，并且典型地是基于视频内容或者与视频内容相关，例如来自视频显示器。更具体的说，本发明涉及一种用于通过从视频内容中实时提取所选择的颜色信息并且执行从视频环境到允许驱动多个环境光源的颜色映射转换的方法。
工程师们一直以来在寻求能够拓宽在欣赏视频内容时所获得的感官体验，例如通过扩大观看屏幕和投影区域、调制用于逼真的3维效果的声音以及增强视频图像，其中包括更宽的视频色域、分辨率以及画面长宽比，这例如是利用高清晰度(HD)数字TV电视和视频系统获得的。此外，电影、电视和视频制作者还试图利用视觉和听觉手段来影响观众的体验，例如通过对颜色、场景剪切、视角、外围景物和计算机辅助图形呈现的巧妙使用。这还将包括舞台照明。照明效果例如通常与视频或戏剧场景同步地被脚本化，并且借助于机器或者计算机来再现，其中通过利用所期望的方案而编码的适当场景脚本对所述机器或者计算机进行了编程。
在现有技术的数字域中，为了场景中的快速改变(包括未计划的或未脚本化的场景)而对照明进行自动适配是很难协调的，这在很大程度上是由于使用当前系统所需要的较大的高带宽比特流的开销。
对于典型的家庭或商业应用，飞利浦(荷兰)和其他公司已经公开了利用远离视频显示器的独立的光源来改变环境或外围照明从而增强视频内容的手段，并且对于许多应用利用了对所需照明效果的某种预先脚本化或编码。已经示出了添加到视频显示器或电视的环境照明，以用于降低观众疲劳并且改善现实感和体验深度。
感观体验很自然地与人类视觉的各方面相关，人类视觉利用非常复杂的感观和神经机构来产生对于颜色和光效果的感觉。人或许能够辨别一千万种不同的颜色。在人眼中，对于颜色接收或者亮视觉具有三组大约二百万个被称为视锥细胞的感官体，所述三组具有在445、535和565nm的光波长处达到峰值并且重叠程度很高的吸收分布。这三种视锥细胞类型形成所谓的三色刺激系统，并且出于历史原因被称为B(蓝色)、G(绿色)和R(红色)；所述峰值不必与在显示器(例如通常使用的RGB磷光体)中使用的任何原色的峰值相对应。还存在对于微光或者被称为杆状细胞的夜视体的交互。人眼典型的具有一亿二千万个杆状细胞，其影响视频体验，尤其是对于例如在家庭影院中的低辉度情况。
彩色视频是根据人类视觉的原理建立的，人类视觉的三原色和对立通道理论是公知的，从而有助于我们理解如何影响眼睛看到对于原始图像或预定图像具有高保真度的所期望的彩色和效果。在大多数颜色模型和空间中，三维或者坐标被用于描述人类视觉体验。
彩色视频绝对依赖于条件配色(metamerism)，其允许利用很少数量的参考刺激而不是所需的颜色和特性的实际光来产生颜色感知。以这种方式，利用有限数量的参考刺激在人的头脑中再现完整的色域，所述有限数量的参考刺激例如是在视频再现中广泛使用的公知的RGB(红、绿、蓝)三色刺激系统。已经知道，例如几乎所有的视频显示器通过在每个像素或画面单元中产生近似等量的红光和绿光来显示黄色场景光。所述像素相对于其对向的立体角是很小的，并且眼睛被欺骗成感知到黄色；其并没有感知到实际发出的绿色或红色。
存在很多颜色模型和指定颜色的方式，其中包括公知的用于为视频再现描述和指定颜色的CIE(国际照明委员会)颜色坐标系统。利用本发明可以采用任何数量的颜色模型，包括应用到未渲染对立颜色空间，比如CIE L*U*V*(CIELUV)或者CIE L*a*b*(CIELAB)系统。1931年建立的CIE是所有彩色管理和再现的基础，并且其结果是使用三个坐标x、y和z的色度图。这个三维系统在最大辉度下的曲线被普遍用于依照x和y来描述彩色，并且这一被称为1931 x，y色度图的曲线据信能够描述人所感知到的所有彩色。这与使用条件配色来欺骗眼睛和大脑的颜色再现相反。当前使用了许多颜色模型或空间，以便通过利用三原色或者荧光体来再现颜色，其中包括Adobe RGB、NTSC RGB等等。
但是，很重要的是应当注意到，通过利用上述三色刺激系统的视频系统所展现出的所有可能颜色的范围是受限制的。NTSC(全国电视标准委员会)RGB系统具有相对较宽的可用颜色范围，但是这一系统仅仅能够再现人眼能够感知到的所有颜色的一半。利用传统的视频系统的可用范围无法充分渲染很多蓝色、紫色、蓝绿色以及橙色/红色。
此外，人类视觉系统被赋予补偿和辨别的特质，对这方面的理解对于设计任何视频系统来说都是很重要的。在人眼中的颜色可以以多种显现模式出现，其中包括对象模式和发光体模式。
在对象模式中，光刺激被感知为从光源所照射的对象反射的光。在发光体模式中，光刺激作为光源被看到。发光体模式包括在一个复杂场内的比其他刺激都亮得多的刺激。所述发光体模式不包括已知为光源的刺激，例如视频系统，其亮度或辉度处于或者低于视场或场景的总体亮度，从而其刺激看起来处于对象模式。
特别地，有许多颜色仅在对象模式中出现，其中，褐色、橄榄色、栗色、灰色和米黄肤色。例如，不会有褐色的发光体光源(比如褐色的交通灯)。
由于这个原因，环境照明对于试图添加对象颜色而又无法通过使用直接的明亮光源这样做的视频系统做出补充。在近距离下的明亮的红色和绿色光源的任何组合都无法再现褐色或栗色，这在相当程度上限制了选择。只有在变化的强度和饱和度下的彩虹的光谱色可以通过直接观察明亮光源来再现。这尤其需要对环境照明系统进行精细的控制，以便在特别关注色调管理的情况下提供来自光源的低强度的辉度输出。在当前的数据体系结构下，上述精细控制当前还无法以允许快速改变的并且灵巧的环境照明的方式实现。
视频再现可以具有多种形式。光谱色再现允许精确地再现原始刺激的光谱功率分布，但是这在使用三原色的任何视频再现中都是无法实现的。精确的颜色再现可以复制人类视觉的三色刺激值，从而产生与原始刺激的条件配色匹配，但是对于画面和原始场景的总体观看条件必须类似，以便获得类似的外观。对应于画面和原始场景的总体条件包括画面的角对边、环境的辉度和色度以及闪光。精确的颜色再现常常不能实现的一个原因是由于在彩色监视器上所能够产生的最大辉度的限制。
比色法颜色再现提供了一种有用的替换方案，其中，三色刺激值与在原始场景中的那些三色刺激值成比例。可以精确地再现色度坐标，但是伴随着亮度的成比例降低。比色法颜色再现是用于视频系统的一种很好的参考标准，假设原始参考白色和再现的参考白色具有相同的色度，观看条件是相同的，并且所述系统的总体灰度系数是1。由于在视频显示器中产生的亮度是受限制，所以等价颜色再现是无法实现的，在所述等价颜色再现中，色度和辉度与原始场景相匹配。
在实践中，大部分视频再现试图实现相应的颜色再现，其中，如果原始颜色被照射来产生与所述颜色再现相同的平均辉度级和相同的参考白色度，那么所再现的颜色具有与原始颜色相同的外观。但是，很多人做出如下争辩显示系统的最终目的在实践中是优选的颜色再现，其中观众的偏好影响颜色保真度。例如，被太阳晒黑的皮肤颜色优于一般的真实皮肤颜色，并且天空优选地比其实际上更蓝并且更具叶绿色。即使相应的颜色再现作为设计标准被接受，但是某些颜色仍然比其他颜色更重要(例如肤色)，其在诸如NTSC视频标准的很多再现系统中是特殊处理的主题。
在再现场景光中，为了实现白平衡的色度适配是很重要的。利用适当调节的摄影机和显示器，典型地利用CIE标准日光发光体D65的色度来再现白色和中性灰色。通过总是再现具有相同色度的白色表面，系统模仿人类视觉系统，其固有地对感知进行适配，从而使得白色表面看起来总是相同的而不管发光体的色度如何，因此一张白纸看起来将是白色的，而不管其是在明亮日光下的海滩上还是在白炽灯照明的室内场景中。在颜色再现中，通常通过对R、G、B通道的增益控制来进行白平衡调节。
一个典型的彩色接收机的光输出典型地不是线性的，而是遵循与所施加的视频电压的功率法则关系。所述光输出与视频驱动电压的其幂为灰度系数的乘方成比例，其中灰度系数对于彩色CRT(阴极射线管)典型地是2.5，而对于其它类型的光源是1.8。对该因数的补偿是通过摄影机视频处理放大器中的三原色灰度系数校正器来进行的，从而使得被编码、传输和解码的原色视频信号事实上不是R、G和B，而是R1/(、G1/(和B1/(。比色法颜色再现要求对应于视频再现的总体灰度系数(包括摄影机、显示器以及任何灰度系数调节电子装置)是1，但是当尝试相应颜色再现时，环境的辉度是优先的。例如，昏暗的环境需要大约1.2的灰度系数，而黑暗的环境则需要大约1.5的灰度系数以用于最佳颜色再现。灰度系数是RGB颜色空间的一个重要的实现问题。
大多数颜色再现编码使用标准RGB颜色空间，例如sRGB、ROMM RGB、Adobe RGB 98、Apple RGB以及例如在NTSC标准中使用的视频RGB空间。典型地，一幅图像被捕获到传感器或者源装置空间中，其是装置以及图像特定的。所述传感器或者源装置空间将会被转换为一个未渲染的图像空间，其是描述原始的比色的标准颜色空间(参见定义部分)。
但是，视频图像几乎总是直接被从源装置空间转换到已渲染图像空间(参见定义部分)中，所述已渲染颜色空间描述某些真实或虚拟输出装置(例如视频显示器)的颜色空间。大多数现有的标准RGB颜色空间都是已渲染图像空间。例如，由摄影机和扫描仪产生的源和输出空间不是基于CIE的颜色空间，而是由摄影机或扫描仪的光谱灵敏度和其它特性定义的光谱空间。
已渲染图像空间是基于真实或者虚拟的装置特性的装置特定的颜色空间。图像可以从已渲染或者未渲染的图像空间被转换到已渲染空间中。这些转换的复杂度不同，并且可以包括与复杂图像相关的算法。所述转换可以是不可逆的，其中原始场景编码的某些信息被丢弃或者被压缩，以便适合特定装置的动态范围和色域。
当前只有一个未渲染RGB颜色空间正在变为一种标准，即在ISO 17321中定义的ISO RGB标准，其常常被用于数字静止摄影机的彩色表征。在大多数当今的应用中，图像被转换到一个已渲染颜色空间中以用于归档和数据传输，其中包括视频信号。从一个已渲染图像或者颜色空间到另一个空间的转换可能造成严重的图像伪像。在两个装置之间的色域和白点越失配，负面效应就越强。
在现有技术的环境光显示系统中的一个问题是，没有给出具体的方法以用来提供把来自视频的已渲染三色刺激值转换到环境光源的三色刺激值以便给出适当的比色和外观的同步实时操作。例如，来自LED环境光源的输出通常是眩目的，但是其具有有限的或者偏斜的色域，并且其色调和色度很难评估和再现。例如，Akashi等人的美国专利6,611,297涉及环境照明的现实感，但是没有给出用于确保正确的和令人满意的色度的具体方法，并且Akashi‘297的教导不允许实时分析视频，而是需要一个脚本或者等同物。
此外，利用来自于视频内容的经过灰度系数校正的颜色空间来设置环境光源常常会导致眩目的明亮的颜色。现有技术中的一个更为严重的问题是，需要大量的所传输的信息以作为实时视频内容的函数来驱动环境光源，以及满足其中期望良好的颜色匹配的所需的快速改变的环境光环境。
现有技术中的另一个问题是，许多所需的环境照明是低强度的，并且不是对于电视或者视频监视器上的颜色的逼真匹配。诸如LED(发光二极管)的环境光源呈现低强度输出，其通常具有对应于令人满意的操作的最小功率状态。因此，它们不容易被调制用于低强度输出，从而使得它们不适合于低光家庭影院的情况，并且不能够对于低辉度再现色调或所需的色度。
因此，有利地扩展通过环境照明与典型的三色刺激视频显示系统相结合而产生的可能的色域。还期望利用人眼的特性(例如作为光级的函数的不同颜色的相对发光度的改变)，这是通过利用一个环境照明系统来调制或者改变被提供给视频用户的颜色和光特性，该环境照明系统有利地使用人类视觉的补偿效应、灵敏度以及其他特性。
建立一个免受灰度系数导致的失真的影响的优质环境氛围也是有利的。还希望能够提供一种用于提供从所选择的视频区域中提取的模拟环境照明的方法，其利用对平均的或者特征化的颜色值进行编码的经济的数据流。还期望进一步降低这种数据流的所需大小。还期望提供用于在较低的总体视频光级条件下成功操作LED的方法。
关于视频和电视工程、压缩技术、数据传输和编码、人类视觉、颜色科学和感知、颜色空间、比色法和图像渲染(包括视频再现)的信息可以在以下参考文献中找到，其全文在此被合并入本公开内容中参考文献[1]，“ColorPerception”，Alan R. Robertson，Physics Today，1992年12月，Vol 45，No 12，pp.24-29；参考文献[2]，“Physics and Chemistry of Color”，第二版，Kurt Nassau，John Wiley & Sons，Inc.，纽约2001；参考文献[3]，“Principles of ColorTechnology”，第三版，Roy S.Berns，John Wiley & Sons，Inc.，纽约2000；参考文献[4]，“Standard Handbook of Video and Television Engineering”，第四版，Jerry Whitaker和K.Blair Benson，McGraw-Hill，纽约2003。
本发明涉及对环境光源的输出阈值处理，控制或者促使所述环境光源模拟视频内容以便改善颜色输出并且促进无闪烁操作，其中，对颜色信息的所述阈值处理使得只有在发光强度或等效参数超过一个阈值、或者只有在所述强度超过具有不同强度值的两个不同阈值之后才能启动由所述颜色信息控制的所述环境光源的开/关状态改变。
本发明给出了一种用于对环境光源进行输出阈值处理的方法，该环境光源被用于模拟视频内容，该方法包括[1]从对至少一些视频内容进行编码的视频信号中提取包括强度的颜色信息；[2]对该颜色信息进行阈值处理，从而使得可以在该强度超过一个阈值或者超过两个不同的分离阈值之后启动由该颜色信息控制的所述环境光源的开/关状态改变。
本发明涉及一种用于提取和处理被编码在已渲染颜色空间中的视频内容从而通过环境光源进行模拟的方法，其利用一个可选的帧间内插处理，包括[1]从对至少一些视频内容进行编码的视频信号中提取包括强度的颜色信息；[2]将该颜色信息转换到未渲染颜色空间；[3]将该颜色信息从该未渲染颜色空间转换到第二已渲染颜色空间，该第二已渲染颜色空间被形成为允许驱动所述环境光源；以及[4]对该颜色信息进行阈值处理，从而使得可以在该强度超过一个阈值或两个阈值之后启动由该颜色信息控制的所述环境光源的开/关状态改变。
步骤[1]还可以附加地包括将所述视频信号解码为一组帧；从所述颜色信息中提取平均颜色，其中包括至少一次从提取区域中提取所述颜色信息；利用对所述颜色信息的所述提取从与该提取区域相邻的所述环境光源散播环境光。此外，可以对被馈送到各环境光单元的第二已渲染颜色空间执行灰度系数校正。
步骤[2]和[3]可以附加地包括利用第一和第二三色刺激原色矩阵(primarymatrix)将所述已渲染颜色空间和第二已渲染颜色空间的原色矩阵转换到所述未渲染颜色空间；以及导出一种转换，该转换通过对所述已渲染颜色空间的原色、第一三色刺激矩阵和第二三色刺激矩阵的逆矩阵进行矩阵乘法而将所述颜色信息转换到第二已渲染颜色空间中。
所述已渲染颜色空间可以是CIE XYZ、在ISO标准17321中定义的ISORGB、Photo YCC和CIE LAB的其中之一，并且步骤[1]、[2]和[3]可以基本上与视频信号同步，其中利用在第二已渲染颜色空间中的所述颜色信息从所述视频显示器或者在其周围散播环境光。
此外还公开了一种用于对环境光源进行输出阈值处理以便模拟视频内容的方法，其附加地利用比色估计并且采用帧间内插处理，其可能包括以下步骤[1]从对至少一些所述视频内容进行编码的视频信号中提取包括强度的颜色信息；
将该视频信号解码为一组帧，仅仅从所选择的提取帧中提取所述颜色信息，并且在各提取帧之间执行帧间内插以便产生内插的帧，随后从所述提取帧和内插帧中重新导出所述颜色信息；[3]从每一个单独帧中的提取区域中的所述颜色信息中提取比色估计；[4]将该比色估计转换到未渲染颜色空间；[5]将该比色估计从该未渲染颜色空间转换到第二已渲染颜色空间，该第二已渲染颜色空间被形成为允许驱动所述环境光源；[6]对所述颜色信息进行阈值处理，从而使得可以在所述强度超过一个阈值或两个阈值之后启动由该颜色信息控制的所述环境光源的开/关状态改变；以及[7]利用所述比色估计从与所述视频显示区域上的所述提取区域相邻的所述环境光源散播环境光。步骤[1]-[7]可以基本上与视频信号同步。
附图1示出了根据本发明的视频显示器的简单的正面视图，其中示出了颜色信息提取区域以及从六个环境光源相关地散播环境光；附图2示出了一个房间的俯视图，其中部分是示意图部分是截面图，在该房间中利用本发明从多个环境光源产生环境光；附图3示出了根据本发明的用于提取颜色信息以及实施颜色空间转换以允许驱动环境光源的系统；附图4示出了用于计算视频提取区域的平均颜色信息的等式；附图5示出了现有技术的矩阵等式，其用于将已渲染原色RGB转换到未渲染颜色空间XYZ中；附图6和7示出了用于把视频和环境照明的已渲染颜色空间分别映射为未渲染颜色空间的矩阵等式；附图8示出了一种利用已知的矩阵求逆从未渲染颜色空间XYZ导出环境光三色刺激值R’G’B’的解决方案；附图9-11示出了利用白点方法根据现有技术导出三色刺激原色矩阵M；附图12示出了类似于在附图3中所示的系统，其附加地包括用于环境光散播的灰度系数校正步骤；附图13示出了在本发明中使用的一般转换处理的示意图；附图14示出了用于获得对应于由本发明使用的环境光源的转换矩阵系数的处理步骤；
附图15示出了利用本发明的估计视频提取和环境光再现的处理步骤；附图16示出了根据本发明的视频帧提取的示意图；附图17示出了用于根据本发明的简化的色度评估的处理步骤；附图18示出了如在附图3和12中示出的提取步骤，其中采用帧解码器、设置帧提取速率并且执行输出计算以用于驱动环境光源；附图19和20示出了用于本发明的颜色信息提取和处理的处理步骤；附图21和22是说明根据本发明的输出阈值处理的直角坐标曲线图；附图23示出了类似于在附图3、12和18中示出的简化的提取步骤，其采用帧解码器并且执行输出计算以用于驱动环境光源；附图24示出了用于颜色信息提取、处理以及输出阈值处理的处理步骤。
下面的定义将被通篇使用-环境光源——其在所附权利要求
书中应当包括解码光脚本代码以便使用所需要的任何照明产品电路或者驱动器。
-环境空间——其应当意味着在视频显示单元外部的任何材料实体或者空气或者空间。
-平均颜色——其在所附权利要求
书中应当包括除了数值平均值以外的平均特征，并且应当包括视频内容的函数或者算子定义的特征，其中包括色度和辉度的偏移量。
-色度——其在驱动环境光源的情境中表示指定所产生的光的颜色特性的机械、数值或者物理方式，并且不应当意味着特定的方法，例如使用在NTSC或者PAL电视广播中的方法。
-颜色信息——其应当包括色度和辉度的其中之一或者全部二者，或者包括功能上等价的数量。
-计算机——应当不仅包括所有处理器(例如采用已知体系结构的CPU(中央处理器))，而且还包括任何允许编码、解码、读取、处理、执行设置代码或者改变代码的智能装置，例如数字光学装置或者执行相同功能的模拟电路。
-受控操作参数——其应当表示被编码成对于物理量或者物理变量的表示的参数，例如辉度、色度或者例如传播角度或者变角光度系数之类的光特性系数。
-变角色度(goniochromatic)——其应当指代作为视角或者观察角的函数而给出不同颜色或色度的属性，例如由晕彩效应(iridescence)产生。
-变角光度(goniophotometric)——其应当指代作为视角或者观察角的函数而给出不同的光强度、透射和/或颜色的属性，例如在珠光现象、火花现象或者回射现象中所发现的那样。
-内插——其应当包括在两组值之间的线性或者数学内插，以及用于在两组已知值之间设置值的函数规定。
-强度——其应当表示亮度、辉度或者等价度量的任何参数或度量，并且不应当意味着特定的光产生或测量或者心里生物学解释方法。
-光特性——广义地理解，其应当意味着例如由环境光源产生的光的性质的任何说明，包括除了辉度和色度之外的所有描述符，比如光透射或反射程度；或者变角光度质量的任何说明，包括在观察环境光源时作为视角的函数产生的颜色、火花或者其他已知现象的程度；光输出方向，包括通过指定坡印廷矢量或者其他传播矢量而给出的方向性；或者光的角度分布的说明，例如立体角或者立体角分布函数。其还可以包括一个或多个坐标以用于指定环境光源上的位置，比如单元像素或者灯的位置。
-辉度——其应当表示亮度、强度或者等价度量的任何参数或度量，并且不应当意味着特定的光产生或测量或者心里生物学解释方法。
-已渲染颜色空间——其应当表示从传感器捕获的或者特定于源或显示装置的图像或颜色空间，其是特定于装置和图像的。大多数RGB颜色空间是已渲染图像空间，其中包括用于驱动视频显示器D的视频空间。在所附权利要求
书中，特定于视频显示器和环境光源88的颜色空间都是已渲染颜色空间。
-阈值处理(输出阈值处理)——其应当指代对于根据本发明的环境光源的状态改变的任何抑制或发起。
-把颜色信息转换到未渲染颜色空间——其在所附权利要求
书中应当包括直接转换到未渲染颜色空间，或者使用通过转换到未渲染颜色空间而获得的三色刺激原色矩阵的逆矩阵或从中获益(例如在附图8中示出的(M2)-1)。
-未渲染颜色空间——其应当表示标准的或者非装置特定的颜色空间，例如那些利用标准CIE XYZ、诸如定义在ISO 17321标准中的ISO RGB、PhotoYCC以及CIE LAB颜色空间来描述原始图像比色的颜色空间。
-视频——其应当表示任何视觉或者光产生装置，其或者是需要能量以用于光产生的有源装置，或者是传送图像信息的任何传输介质，例如办公楼中的窗户或者可以从中远程地获得图像信息的光导。
-视频信号——其应当表示用于控制视频显示单元的所导出的信号或信息，包括其中的任何音频部分。因此设想视频内容分析包括对于音频部分的可能的音频内容分析。一般来说，视频信号可以包括任何类型的信号，例如利用任何数量的已知调制技术的射频信号；电信号，其中包括模拟的和经过量化的模拟波形；数字(电)信号，例如使用脉冲宽度调制、脉冲数量调制、脉冲位置调制、PCM(脉冲编码调制)和脉冲幅度调制的数字(电)信号；或者其他信号，比如声学信号、音频信号和光学信号，它们都可以使用数字技术。也可以使用仅仅顺序地放置在其他信息当中或者与其他信息放置在一起的数据，比如在基于计算机的应用中就可以使用这样的数据。
根据本发明从视频内容中导出的环境光被形成为在需要的情况下允许对原始视频场景光的色度的高保真度，同时以较低的所需计算负担保持对于环境照明的自由度的高度特异性。这允许具有较小色域和缩小的辉度空间的环境光源来模拟来自具有相对较宽的色域和辉度响应曲线的高级光源的视频场景光。用于环境照明的可能的光源可以包括任何数量的已知照明装置，其中包括LED(发光二极管)和相关的半导体辐射器；包括非半导体类型的电致发光装置；白炽灯，包括利用卤素或者高级化学品的改进类型；离子放电灯，包括荧光灯和氖光灯；激光器；例如通过使用LCD(液晶显示器)或者其他光调制器而调制的光源；光致发光发射器；或者任何数量的已知可控光源，包括功能上类似于显示器的阵列。
现在参考附图1，其中示意性地示出了根据本发明的视频显示器D的简单的正面视图。显示器D可以是对来自己渲染颜色空间(例如NTSC、PAL或SECAM广播标准)或者已渲染RGB空间(例如Adobe RGB)的视频内容进行解码的多种已知装置当中的任何一种。显示器D包括颜色信息提取区域R1、R2、R3、R4、R5和R6，其边界是任意地预先定义的，并且将出于产生特征环境光A8的目的而对所述颜色信息提取区域进行特征化，所述特征环境光例如是由背面安装的可控制环境照明单元(未示出)通过把部分光溢出到在其上安装显示器D的墙壁(未示出)上而产生的，如图所示，所述背面安装的可控制环境照明单元产生并且散播环境光L1、L2、L3、L4、L5和L6。或者，如图所示的显示器框架Df本身可以包括以类似方式显示光的环境照明单元，包括向外朝向观众(未示出)。如果需要的话，每一个颜色信息提取区域R1-R6可以影响与其自身相邻的环境光。例如，如图所示，颜色信息提取区域R4可以影响环境光L4。
现在参考附图2，其中示出了一个房间或者环境空间AO的向下视图，其部分地是示意图部分地是截面图，其中利用本发明从多个环境光源产生环境光。如图所示，在环境空间AO中设置有座椅和桌子7，其被排列成允许观看视频显示器D。在环境空间AO中还设置有可选地利用本发明来控制的多个环境光单元，其中包括如图所示的光扬声器1-4、在沙发或者座椅下面的子光SL以及一组在显示器D周围形成阵列的专用模拟环境光单元(即产生如图1所示的环境光Lx的中心灯)。这些环境光单元当中的每一个可以发射环境光A8，如图中的阴影所示。
利用本发明，可以利用从视频显示器D导出的颜色或色度从这些环境光单元产生环境光而不是利用由该视频显示器D实际播出的颜色或色度来产生环境光。这允许利用人眼和视觉系统的特性。应当注意到，人类视觉系统的发光度函数作为光级的函数而改变，其给出对应于各种可见波长的检测灵敏度。
例如，依赖于杆状细胞的暗视觉或夜视觉往往对蓝色和绿色更加敏感。使用视锥细胞的亮视觉更适合于检测较长波长的光，例如红色和黄色。在变暗的家庭影院环境中，例如可以通过调制或者改变在环境空间中被提供给视频用户的颜色而在某种程度上抵消作为光级的函数的不同颜色的相对发光度的上述改变。这例如可以通过使用光调制器(未示出)或者通过使用光扬声器中的附加组件从环境光单元(比如光扬声器1-4)中减去光而实现的，所述光调制器或者附加组件即用来在发出环境光之前进一步修改光的光致发光发射器。所述光致发光发射器通过吸收或者经历来自光源的输入光的激发来执行颜色转换，并且随后在更高的所需波长下再发射该光。通过光致发光发射器(例如荧光颜料)的所述激发和再发射可以允许渲染最初不存在于原始视频图像或光源中的新的颜色，以及不在显示器D的操作所固有的颜色范围或者色域之内的颜色。当环境光Lx的所需辉度较低(例如在很黑暗的场景中)并且所希望的感知级别高于在没有光修改的情况下通常达到的感知级别时，上述做法可以是很有帮助的。
新的颜色的产生可以提供新的并且有趣的视觉效果。一个说明性的例子可以是橙色光的产生，例如被称为亨特橙色(hunter’s orange)的橙色，与之对应的可用的荧光颜料是已知的(参见参考文献[2])。与一般的荧光现象和相关现象相反，所给出的例子涉及荧光颜色。利用荧光橙色或者其他荧光染料种类对于低光条件可能是特别有用的，其中，红色和橙色的提升可以抵消暗视觉对于长波长的降低的敏感度。
可以使用在环境光单元中的荧光染料可以包括已知的染料，比如二萘嵌苯、萘酰亚胺、香豆素、噻吨、蒽醌、硫准靛等染料种类的已知染料，并且还可以包括专有的染料种类，比如由Day-Glo Color Corporation，Cleveland，Ohio，USA制造的专有染料种类。可用的彩色包括Apache黄、Tigris黄、Savannah黄、Pocono黄、Mohawk黄、Potomac黄、Marigold橙色、Ottawa红、Volga红、Salmon粉色和Columbia蓝。可以使用已知的工艺把这些染料种类合并到树脂中，例如PS、PET和ABS。
荧光染料和材料具有增强的视觉效果，这是因为它们能够被设计制造成比相同色度的非荧光材料亮很多。用于产生荧光彩色的传统有机颜料的所谓的耐久度问题已经在过去的二十年中大部分得到解决，因为技术进步已经导致开发出在太阳照射下保持其逼真染色达7-10年的耐久荧光颜料。因此，这些颜料在其中UV射线进入是最小的家庭影院环境中几乎是不可破坏的。
可选择地，可以使用荧光感光色素，所述荧光感光色素简单地通过吸收短波长的光并且以较长的波长(例如红色或橙色)再发射所述光来工作。技术先进的无机颜料现在已经很容易获得，其利用例如蓝色和紫色的可见光(例如400-440nm的光)来经历激发。
变角光度和变角色度效应可以类似地被设置来产生不同的光颜色、强度、以及作为视角的函数的特性。为了实现这一效果，环境光单元1-4以及SL和Lx可以单独地或者组合地使用已知的变角光度元件(未示出)，例如金属性的和珠光的透射着色剂；使用已知的衍射或者薄膜干涉效应的虹彩材料，例如使用鱼鳞精；鸟嘌呤石薄片；或者具有防腐剂的2-氨基次黄嘌呤(2-aminohypoxanthine)。利用细打磨的云母或其他物质的漫射体可以被使用，例如由氧化物层、斑铜矿石或者孔雀铜矿石形成的珠光材料；金属薄片，玻璃薄片，或者塑料薄片；颗粒物质；油；磨砂玻璃和磨砂塑料。
现在参考附图3，其中示出了根据本发明的用于提取颜色信息以及实施颜色空间转换以允许驱动环境光源的系统。作为第一步，利用已知的技术从视频信号AVS中提取颜色信息。
视频信号AVS可以包括类似于用于MPEG编码、音频PCM编码等等的已知的数字数据帧或者分组。可以使用已知的编码方案，以用于诸如具有可变长度数据分组的节目流或者均匀地划分数据分组的传输流的数据分组，或者可以使用用于这种单个节目传输流的其他方案。可选择地，在本公开内容中给出的功能步骤或者功能块可以利用计算机代码或者其他通信标准来模拟，其中包括异步协议。
作为一个一般的例子，所示出的视频信号AVS可以经历如图所示的视频内容分析CA，其如图所示地利用已知的方法来向硬盘HD记录以及从其传输所选择的内容，并且如图所示地可能使用存储在存储器MEM中的内容类型库或者其他信息。这样可以允许独立地、并行地、直接地、延时地、连续地、周期性地或者非周期性地传输所选择的视频内容。根据该视频内容，可以如图所示地执行特征提取FE，例如导出颜色信息。该颜色信息仍然被编码在已渲染颜色空间中，并且随后如图所示地利用RUR映射转换电路10被转换到未渲染颜色空间(比如CIE XYZ)。这里的RUR代表所需的转换类型，也就是已渲染-未渲染-已渲染，因此RUR映射转换电路10还进一步把所述颜色信息转换到第二已渲染颜色空间，如图所示，该第二已渲染颜色空间被形成为允许驱动所述一个或多个环境光源88。
RUR映射转换电路10在功能上可以被包括在计算机系统中，该计算机系统使用软件来执行相同的功能，但是在解码通过数据传输协议发送的分组化信息的情况下，在该电路10中可以有存储器(未示出)，该存储器包含或者被更新为包含与视频渲染颜色空间系数等等相关或者提供所述视频渲染颜色空间系数等等的信息。该新创建的第二已渲染颜色空间对于驱动环境光源88(例如在附图1和2中所示)来说是适当的并且是所期望的，并且如图所示地利用已知的编码将该新创建的第二已渲染颜色空间馈送到环境照明产生电路18。环境照明产生电路18从RUR映射转换电路10得到第二已渲染颜色空间信息，并且随后考虑来自任何用户接口和任何所得偏好存储器(一起被显示为U2)的任何输入，以便在可能咨询了所示出的环境照明(第二已渲染)颜色空间查找表LUT之后开发出实际的环境光输出控制参数(例如所施加的电压)。由环境照明产生电路18产生的所述环境光输出控制参数被如图所示地馈送到灯接口驱动器D88，以便如图所示地直接控制环境光源88或者向其馈电，所述环境光源可以包括单独的环境光单元1-N，例如前面提到的环境光扬声器1-4或者如在附图1和2中示出的环境中心灯Lx。
为了降低计算负担，从视频信号AVS中移走的颜色信息可以被简化或者被限制。现在参考附图4，其中示出了一个用于从视频提取区域计算平均颜色信息的等式。可以设想，如下面提到的那样(参见附图18)，视频信号AVS中的视频内容将包括一系列时间定序的视频帧，但这并不是必须的。对于每一个视频帧或者等价的时间块，可以从每一个提取区域(例如R4)中提取平均值或者其他颜色信息。每一个提取区域可以被设置为具有特定尺寸，例如100×376像素。例如，假设25帧/秒的帧速率，在提取平均值之前的用于提取区域R1-R6的所得到的总数据(假设只需要一个字节来指定8比特颜色)对于每个视频RGB三色刺激原色将是6×100×376×25或者5.64百万字节/秒。该数据流非常大，并且将很难在RUR映射转换电路10处进行处理，因此可以在特征提取FE期间对于每个提取区域R1-R6提取平均颜色。特别地，如图所示，对于每一个m×n像素的提取区域中的每个像素可以对RGB颜色通道值(例如Rij)求和并且除以m×n的像素数量，以便对于每一个RGB原色(例如红色)达到平均值Ravg。因此，对于每一个RGB颜色通道重复该求和过程，对应于每一个提取区域的平均值将会是一个三元组RAVG＝|Ravg，Gavg，Bavg|。对于所有提取区域R1-R6以及对于每一个RGB颜色通道重复该相同程序。提取区域的数量和尺寸可以不同于所示出的提取区域，并且可以是所期望的。
如图5所示，可以使用已知的三色刺激原色矩阵来示意性地示出和表示通过RUR映射转换电路10进行的执行颜色映射转换的下一个步骤，其中使用三色刺激原色矩阵M来转换具有矢量R、G、B的已渲染三色刺激颜色空间，其中三色刺激原色矩阵M具有诸如Xr，max、Yr，max、Zr，max之类的元素，其中Xr，max是在最大输出下的R原色的三色刺激值。
从已渲染颜色空间到未渲染的独立于装置的空间的转换可以是特定于图像和/或装置的(已知的线性化、像素重建(如果必要的话))，并且可以实施白点选择步骤，其后是矩阵变换。在这种情况下，我们简单地选择采用已渲染视频输出空间以作为转换到未渲染颜色空间比色法的起始点。未渲染图像需要通过附加的转换以使得它们可视或者可打印，并且所述RUR转换包括转换到第二已渲染颜色空间。
作为第一可能步骤，如图所示，附图6和7示出了用于把视频渲染颜色空间(由原色R、G和B表示)和环境照明渲染颜色空间(由原色R’、G’和B’表示)映射到未渲染空间X、Y和Z中的矩阵等式，其中，三色刺激原色矩阵M1把视频RGB转换为未渲染的XYZ，而三色刺激原色矩阵M2将环境光源R’G’B’转换为未渲染的XYZ颜色空间。如附图8中所示，将已渲染颜色空间RGB和R’G’B’写成等式允许使用第一和第二三色刺激原色矩阵(M1，M2)将所述已渲染(视频)颜色空间和第二已渲染(环境)颜色空间的原色RGB和R’G’B’矩阵转换到所述的未渲染颜色空间(RUR映射转换)；并且通过所述已渲染颜色空间的RGB原色、第一三色刺激矩阵M1和第二三色刺激矩阵的逆矩阵(M2)-1的矩阵乘法导出把颜色信息转换到第二已渲染颜色空间(R’G’B’)的转换。由于对应于已知显示器装置的三色刺激原色矩阵可以容易地得到，因此本领域技术人员可以使用已知的白点方法来确定对应于环境光源的三色刺激原色矩阵。
现在参考附图9-11，其中示出了根据现有技术利用白点方法导出一般化的三色刺激原色矩阵M。在附图9中，SrXr之类的数量表示在最大输出下的每一个(环境光源)原色的三色刺激值，其中Sr表示白点幅度，并且Xr表示由(环境)光源产生的原色的色度。利用所述白点方法，如图所示，所述矩阵等式利用光源色度矩阵的已知逆矩阵把Sr与白点参考值的矢量写成等式。附图11是一个代数运算，其用于提醒诸如Xw的白点参考值是白点幅度或辉度与光源色度的乘积。自始至终，三色刺激值X被设置成等于色度x；三色刺激值Y被设置为等于色度y；并且定义三色刺激值Z以将其设置为等于1-(x+y)。已经知道，对应于第二已渲染环境光源颜色空间的原色和参考白色分量可以利用已知技术获得，例如通过使用色谱仪。
可以找到对应于第一已渲染视频颜色空间的类似数量。例如，已知当代的演播室监视器在北美、欧洲和日本之间具有略微不同的标准。但是，已经关于高清晰度电视(HDTV)的原色达成了国际性一致，并且这些原色紧密地代表演播室视频、计算和计算机图形中的当代监视器。该标准被正式表示为ITU-R推荐BT.709，其包含所需的参数，其中对应于RGB的相关三色刺激原色矩阵(M)是0.640 0.300 0.150 对应于ITU-R BT.709的矩阵M0.330 0.600 0.0600.030 0.100 0.790并且白点值也是已知的。
现在参考附图12，其中示出了类似于附图3中所示出的系统，该系统附加地包括在特征提取步骤FE之后的灰度系数校正步骤55以用于环境散播。可选择地，灰度系数校正步骤55可以在由RUR映射转换电路10和环境照明产生电路18执行的步骤之间执行。已经发现用于LED环境光源的最佳灰度系数值是1.8，因此可以利用通过已知数学方法找到的精确的灰度系数值来实施负灰度系数校正，以便抵消2.5的典型的视频颜色空间灰度系数。
一般来说，RUR映射转换电路10可以是通过任何合适的已知软件平台实现的功能块，如图13所示，该RUR映射转换电路10执行一般的RUR转换，其在该示意图中取得包括已渲染颜色空间(例如视频RGB)的视频信号AVS，并且将其转换到未渲染颜色空间(例如CIE XYZ)；随后将其转换到第二已渲染颜色空间(环境光源RGB)。在该RUR转换之后，如图所示，除了信号处理之外还可以驱动环境光源88。
附图14示出了用于获得本发明使用的环境光源的转换矩阵系数的处理步骤，如图所示，所述步骤包括驱动(一个或多个)环境光源；以及如现有技术已知的那样检查输出线性。如果环境光源原色是稳定的，(在左分叉上示出，稳定的原色)，可以利用色谱仪来获得转换矩阵系数；反之如果环境光源原色不稳定，(在右分叉上示出，不稳定的原色)，则可以重置先前给出的灰度系数校正(示出为重置灰度系数曲线)。
一般来说，希望(而不是必须)从诸如R4的提取区域内的每一个像素提取颜色信息，与此相对，如果需要的话，对所选择的像素进行轮询可以允许更快的平均颜色估计或者更快地建立提取区域颜色特征化。附图15示出了利用本发明的用于所估计的视频提取和环境光再现的处理步骤，其中所述步骤包括[1]准备视频再现的比色估计(来自己渲染颜色空间，例如视频RGB)；[2]转换到未渲染颜色空间；以及[3]转换比色估计以用于环境再现(第二已渲染颜色空间，例如LED RGB)。
应当注意到，已经发现，支持从视频帧提取并处理视频内容(参见下面的附图18)所需要的数据流可以根据本发明通过对视频帧进行明智的次采样而被减小。现在参考附图16，其中示出了根据本发明的视频帧提取的示意图。图中示出了一系列单独的连续视频帧F(即帧F1、F2、F3等等)，例如由NTSC、PAL或SECAM标准指定的单独的隔行或非隔行视频帧。通过从所选择的连续帧(比如帧F1和FN)执行内容分析和/或特性提取(例如提取颜色信息)，可以降低数据负载或者开销，同时保持可接受的环境光源响应度、真实性和保真度。已经发现，N＝10给出了良好的结果，也就是说，从10个连续帧中次采样1帧就可以。这样提供了在低处理开销的帧提取之间的刷新周期P，其间，帧间内插处理可以提供对于显示器D中的色度变化的时间演进的足够好的近似。如图所示，所选择的帧F1和FN被提取(提取)，并且被显示为G1、G2、G3的对应于色度参数的中间内插值提供必要的颜色信息，以便通知给先前提到的用于环境光源88的驱动处理。这样就不再需要对于帧2到N-1冻结或保持相同的颜色信息。所述内插值可以被线性地确定，例如在所提取的帧F1和FN之间的总色度差被分布在各内插帧G上的情况。可选择地，一个函数可以以任何方式分布在所提取的帧F1和FN之间的色度差，以便适应对所提取的颜色信息的时间演进的更高阶近似。
附图17示出了根据本发明的用于简化色度评估的处理步骤。对于帧提取的更高阶的分析可以得到比起按照其他方式所能获得的更大的刷新周期P和更大的N。如图所示，在帧提取期间或者在对提取区域Rx中的所选择像素的暂时性轮询期间，可以实施简化的色度评估，其将会导致下一次帧提取中的延迟(如在左边示出)，或者导致启动全帧提取(如在右边示出)。在任一种情况下，内插继续，其中延迟的下一次帧提取导致使用冻结的或者递增的色度值。这样在比特流或带宽开销方面提供了甚至更为经济的操作。
附图18示出了附图3和12的顶部，如图所示，其中示出一个替换的提取步骤，在该步骤中使用帧解码器FD，从而允许在步骤33中从提取区域(例如R1)提取区域信息。如图所示，进一步的处理或者组件步骤35包括评估色度差，并且使用该信息来设置视频帧提取速率。如图所示，在对先前示出的环境照明产生电路18进行数据传输之前，执行输出计算00的下一处理步骤，比如图4的求平均。
如图19所示，用于本发明的颜色信息提取和处理的一般处理步骤包括获取视频信号AVS；从所选择的视频帧(比如先前提到的F1和FN)中提取区域(颜色)信息；在所选择的各视频帧之间进行内插；进行RUR映射转换；可选的灰度系数校正；以及使用该信息来驱动环境光源(88)。
如附图20中所示，在从所选择的帧中进行区域信息提取之后可以插入两个附加的处理步骤；其中一个步骤可以对所选择的帧F1和FN之间的色度差执行评估，取决于预舍的标准，另一个步骤可以设置新的帧提取速率。因此，如果连续的帧F1和FN之间的色度差很大或者正快速增大(例如大的一阶导数)或者满足某些其他标准，则例如可以基于色度差历史提高帧提取速率，从而减小刷新周期P。但是，如果连续的帧F1和FN之间的色度差很小并且是稳定的或者没有在快速增大(例如一阶导数绝对值较低或者为零)或者满足某些其他标准，则例如可以基于色度差历史来节省所需数据流并且降低帧提取速率，从而减小刷新周期P。
如上所述，对应于很多所需环境光源(比如LED)的低强度操作的问题对于设计者来说是一个很麻烦的问题。由于低强度操作伴随着最小功率级并且启动和关闭在时间上常常不够尖锐，因此很难再现色调和色度。例如，如果显示器D上的视频内容描绘由95％的黑色像素或接近黑色的像素和5％的红色像素构成的场景素材，则视觉感知很可能是黑色的。但是，如果试图利用被设置为5％的红色发射的LED来再现该色度，则来自其中的输出的所感知颜色(例如从墙壁反射)将会是暗红色。因为没有办法使用LED来描绘暗颜色，所以发现了一种更好的方法，也就是每当对应于特定提取区域的所提取的平均颜色(RAVG)的强度下降到低于第一阈值时关断所述LED的输出或功率，并且每当所提取的颜色平均值高于该第一阈值时再次接通所述LED。附图21图示了该方法。
现在参考附图21，其中给出了说明根据本发明的输出阈值处理的直角坐标曲线图。如图所示，在横坐标上示出的是样本参数，例如相对发光强度或者其他参数。强度I在其上被绘制为以秒计的时间的函数。如图所示，例如先前给出的方法所要求的强度I从大约0.16的相对单位的值下降，并且在大约0.05的水平处波动，其高于或者低于第一阈值T1，其中第一阈值T1被设置在0.05的强度。在该曲线图中还分别示出接通状态和关断状态81和80，其反映了根据本发明的LED操作的管理。可以看出，每当强度I下降到低于第一阈值T1，强加关断状态80；当强度I再次升高到高于第一阈值T1时，设置接通状态81。因此在第一阈值T1处启动开/关状态改变。
该方法不出意料地提供了更好的色度和颜色/辉度管理，但是其具有一个缺陷。已经发现，如图21所示，在所提取的平均彩色强度I围绕第一阈值T1波动的某些情况下仍然存在一个问题。在这种情况下，LED被重复地接通和关断，有时是每秒几次切换，这可能导致烦人的或者闪烁的感觉。此外还发现了本发明的另一个实施例，也就是两阈值方法，其中，一个不同的第二阈值T2被设置为高于第一阈值T1，并且其中当强度I下降到低于阈值T1时所述LED被关断，并且当强度I升高到高于第二阈值T2时它们被接通。
现在参考附图22，其中利用类似的曲线图示出了所述双阈值的输出阈值处理的直角坐标曲线图。可以看到，处于接通状态81的LED持续到强度I下降到低于第一阈值T1和第二阈值T2，此时强加LED关断状态80。直到强度I升高到高于阈值T1和T2之上时才再次施加LED接通状态81。使用该方法和所给出的强度I的曲线图，所述LED或者环境光源只有两次状态改变，而使用附图21的单阈值方法时则可能有六次状态改变。已经发现，对应于第一阈值T1和第二阈值T2的良好的值分别是0.05和0.08。下降到第一阈值T1和第二阈值T2之间的强度I处于某种缓冲区中，其中不发生状态改变。只有当强度I同时超过两个阈值T1和T2时才发生从开到关或者从关到开的状态改变。如图所示，对于在阈值T1和T2处或者在其附近波动的强度I，上述要求显著减少了开/关闪烁。
附图23示出了类似于在附图3、12和18中示出的简化的提取步骤，其中采用了帧解码器步骤FD，在步骤33中提取区域信息，并且执行输出计算00以用于驱动环境光源；但是，在所述输出通过RUR映射转换电路或步骤10之后，最终得到的输出由阈值单元TU处理，以便实施导致经阈值处理的操作所需的处理步骤。随后，该经过阈值处理的输出被提供给前面给出的环境照明产生电路18。
附图24示出了对应于类似于在附图20中示出的颜色信息提取、处理和输出阈值处理的处理步骤，但是可以看到，在所示出的灰度系数校正之后，所述输出被阈值处理，其被示为经过阈值渲染的输出。这些步骤的顺序可以被改变；例如，可以在灰度系数校正之前发生阈值处理。
第一阈值T1和第二阈值T2的实际值可以随着时间改变，或者作为色度、辉度或者甚至包含在先前给出的用户接口和偏好存储器U2中的用户偏好的函数而改变。所述阈值处理并不需要在单独的阈值单元TU中发生，而是可以由其他组件实施，或者通过计算机指令或者代码来执行。上面的组件描述在此是说明性的。所述阈值处理无需由单个值或参数决定，并且在这里发现，抑制或者启动开/关状态改变是有效的。此外，在不背离本文的教导的情况下，可以只有所述灯或环境光源的整个群体的一部分被设置成参与这里教导的输出阈值处理。
一般来说，环境光源88可以采用各种漫射体效果来产生光混合以及半透明或者其他现象，这例如是通过使用具有磨砂的或上釉的表面的灯结构；有棱纹的玻璃或者塑料；或者有孔的结构，例如通过使用围绕单独的光源的金属结构。为了提供令人感兴趣的效果，可以使用任何数量的已知的漫射或散射材料或现象，其中包括通过利用从下列各项的散射而获得的效果小的悬浮粒子；有云花纹的塑料或树脂，使用1-5:m或更小(例如小于1:m)的胶体、乳剂或球剂的制剂，其中包括长寿命的有机混合物；凝胶；以及溶胶，本领域技术人员已经熟知其产生或制造。散射现象可以被设计成包括对于可见波长的Rayleigh散射，例如用于环境光的蓝色增强的蓝色产生。可以区域地限定所产生的颜色，例如在某些区域内的总体发蓝的色泽或者各种区域色泽，比如产生蓝色光的顶部部分(环境光L1或者L2)。
还可以给环境灯装配变角光度元件，例如圆柱棱镜或者透镜，其可以被形成在灯结构中、被集成到灯结构中或者被插入到灯结构中。这样可以允许特殊效果，其中所产生的光的特性作为观众的位置的函数而改变。可以使用其他的光学形状和形式，其中包括矩形、三角形或者不规则形状的棱镜或者形状，并且它们可以被放置到一个或多个环境光单元上或者被集成到所述环境光单元中。其结果是，取代产生各向同性的输出，所获得的效果可以无限地变化，例如把有趣的光带投射到周围的墙壁、对象以及放置在环境光源周围的表面上，从而随着视频显示单元上的场景单元、颜色和强度的改变而制造出某种光秀。该效果可以是一个戏剧性环境照明元件，当观众在观看家庭影院时从座椅上起来或者移动观看位置时，该戏剧性环境照明元件非常灵敏地作为观众位置的函数来改变光特性(比如观看发蓝的火花，然后是红光)。可以被使用的变角光度元件的数量和种类几乎是不受限制的，包括塑料、玻璃以及由划痕和轻微的破坏性制造技术产生的光学效果。环境灯可以被制造成对于不同的剧场效果是独特的，以及甚至是可互换的。并且这些效果可以是可调制的，例如通过改变允许通过该变角光度元件的光量，或者通过照射环境光单元的不同部分(例如使用子灯或者LED组)。
按照这种方式，用于模拟如图1中所示的提取区域R3的在L3处产生的环境光可以具有这样的色度，所述色度提供了对于该区域内的现象(例如所示出的正在移动的鱼)的感觉扩展。这样能够增加视觉体验，并且提供适当的而且不眩目或者不过度失配的色调。
当然，视频信号AVS可以是数字数据流并且包含同步比特和串联比特；奇偶校验比特；误码；交织；专用调制；脉冲串报头；以及例如对环境照明效果的描述(例如“闪电风暴”；“日出”；等等)的所需元数据。本领域技术人员将会意识到，这里给出的功能步骤仅仅是说明性的，为了清楚起见其不包括传统的步骤或数据。
在附图3和12中示出的用户接口和偏好存储器可以被用来关于系统行为而改变偏好，例如改变对期望的视频显示器D的视频内容的颜色保真度；改变艳丽的颜色，包括任何荧光颜色或者色域外的颜色被散播到环境空间中的程度，或者环境光对视频内容的改变做出响应的速度和程度，例如通过夸大光脚本命令内容的改变的强度或其他质量。这可以包括高级的视频内容分析，其可以对于电影或者特定特性的内容产生柔和的色质。在内容中包含很多暗场景的视频内容可以影响环境光源88的行为，从而导致使得所散播的环境光变暗，同时艳丽的或者明亮的色质可以被用于特定的其他内容，比如包含许多肤色或者明亮的场景(比如阳光海滩、老虎或者大草原等等)。
这里给出的描述使得本领域技术人员能够实现本发明。使用本教导可以得出许多结构，此处给出的结构和安排仅仅是说明性的。在实践中，所教导的并且要求保护的方法可以表现为一个更大系统的一部分，例如娱乐中心或者家庭影院中心。
众所周知，在这里说明性地教导的功能和计算在功能上可以利用软件或者机器代码来再现或者模拟，并且本领域的技术人员将能够使用这些教导而不管对此处教导的编码和解码进行管理的方式如何。
本领域的技术人员能够基于这些教导来修改这里教导并要求保护的设备和方法，因此例如能够重新安排步骤或者数据结构以便适合于特定的应用，并且可能建立与这里出于说明性目的而选择的系统很不一样的系统。
利用上面的例子公开的本发明可以仅仅使用上述特种当中的一些来实现。此外，在此所教导并要求保护的内容不应当排除添加其他结构或者功能元件。
显而易见，根据上述教导，本发明的很多修改和变型是可能的。因此应该理解，在所附权利要求
书的范围之内，可以按照不同于这里具体描述或建议的方式来实现本发明。
权利要求
1.一种用于提取并处理将要由环境光源(88)模拟的视频内容的方法，其使用输出阈值处理，该方法包括[1]从至少对所述视频内容的一部分进行编码的视频信号(AVS)中提取包括强度的颜色信息；[4]对所述颜色信息进行阈值处理，从而使得可以在所述强度超过阈值(T1，T2)之后启动由所述颜色信息控制的所述环境光源的开/关状态改变。
2.权利要求
1的方法，其中在步骤[1]之后还包括以下步骤[2]将所述颜色信息转换到未渲染颜色空间(XYZ)；[3]将所述颜色信息从所述未渲染颜色空间转换到第二已渲染颜色空间(R’G’B’)，该第二已渲染颜色空间被形成为允许驱动所述环境光源。
3.权利要求
1的方法，其中，步骤[1]还包括从所述颜色信息中提取平均颜色(RAVG)。
4.权利要求
1的方法，其中，步骤[1]还包括从提取区域(R1)中至少一次提取所述颜色信息。
5.权利要求
4的方法，其中，步骤[1]还包括利用对所述颜色信息的所述提取从与所述提取区域相邻的所述环境光源散播环境光(L4)。
6.权利要求
1的方法，其中，所述阈值包括第一阈值(T1)和第二阈值(T2)，其中只有在所述强度超过所述第一和第二阈值之后才能启动所述开/关状态改变。
7.权利要求
2的方法，其中，还包括对所述第二已渲染颜色空间执行灰度系数校正。
8.权利要求
2的方法，其中，步骤[2]和[3]还包括利用第一和第二三色刺激原色矩阵(M1，M2)把所述已渲染颜色空间和第二已渲染颜色空间的原色(RGB，R’G’B’)矩阵转换到所述未渲染颜色空间；以及通过所述已渲染颜色空间的所述原色、所述第一三色刺激矩阵和所述第二三色刺激矩阵的逆矩阵(M2)-1的矩阵乘法来导出把所述颜色信息转换到所述第二已渲染颜色空间(R’G’B’)中的转换。
9.权利要求
8的方法，其中，所述未渲染颜色空间是CIE XYZ、在ISO标准17321中定义的ISO RGB、Photo YCC以及CIE LAB的其中之一。
10.权利要求
8的方法，其中，步骤[1]还包括从所述颜色信息中提取平均颜色(RAVG)。
11.权利要求
10的方法，其中，步骤[1]还包括从提取区域(R1)中至少一次提取所述颜色信息。
12.权利要求
11的方法，其中，步骤[1]还包括利用对所述颜色信息的所述提取从与所述提取区域相邻的所述环境光源散播环境光(L4)。
13.权利要求
2的方法，其中，步骤[1]、[2]和[3]与所述视频信号(AVS)是基本上同步的。
14.权利要求
2的方法，还包括利用所述第二已渲染颜色空间中的所述颜色信息从所述环境光源散播环境光(L1)。
15.一种利用输出阈值处理从将由环境光源(88)模拟的已渲染颜色空间(RGB)中提取并处理边界区域视频内容的方法，该方法包括[1]从至少对所述视频内容的一部分进行编码的视频信号(AVS)中提取包括强度的颜色信息；[2]从来自每一个所述单独帧中的提取区域(R1)的所述颜色信息中提取平均颜色(RAVG)；[3]将所述平均颜色转换到未渲染颜色空间(XYZ)中；[4]将所述平均颜色从所述未渲染颜色空间转换到第二已渲染颜色空间(R’G’B’)，该第二已渲染颜色空间被形成为允许驱动所述环境光源；[5]对所述颜色信息进行阈值处理，从而使得可以在所述强度超过阈值(T1，T2)之后启动由所述颜色信息控制的所述环境光源的开/关状态改变；[6]利用所述平均颜色从与所述提取区域相邻的所述环境光源散播环境光(L4)。
16.权利要求
15的方法，其中，所述阈值包括第一阈值(T1)和第二阈值(T2)，其中只有在所述强度超过所述第一和第二阈值之后才能启动所述开/关状态改变。
17.权利要求
15的方法，其中，步骤[3]和[4]还包括利用第一和第二三色刺激原色矩阵(M1，M2)把所述已渲染颜色空间和第二已渲染颜色空间的原色(RGB，R’G’B’)矩阵转换到所述未渲染颜色空间；以及通过所述已渲染颜色空间的所述原色、所述第一三色刺激矩阵和所述第二三色刺激矩阵的逆矩阵(M2)-1的矩阵乘法来导出把所述颜色信息转换到所述第二已渲染颜色空间(R’G’B’)中的转换。
18.一种用于对环境光源(88)进行输出阈值处理以便模拟视频内容的方法，包括[1]从至少对所述视频内容的一部分进行编码的视频信号(AVS)中提取包括强度的颜色信息；[6]对所述颜色信息进行阈值处理，从而使得可以在所述强度超过阈值(T1，T2)之后启动由所述颜色信息控制的所述环境光源的开/关状态改变。
19.权利要求
18的方法，还包括使用比色估计并且采用帧间内插处理，所述方法还包括[2]将所述视频信号解码为一组帧(F)，仅仅从所选择的提取帧(F1，FN)中提取所述颜色信息，并且在所述提取帧之间执行帧间内插以便产生内插的帧(G2，G3+)，随后从所述提取帧和所述内插的帧中重新导出所述颜色信息；[3]从来自每一个所述单独帧中的提取区域(R1)的所述颜色信息中提取比色估计；[4]将所述比色估计转换到未渲染颜色空间(XYZ)中；[5]将所述比色估计从所述未渲染颜色空间转换到第二已渲染颜色空间(R’G’B’)，该第二已渲染颜色空间被形成为允许驱动所述环境光源；[7]在步骤[6]之后，利用所述比色估计从与所述提取区域相邻的所述环境光源散播环境光(L4)。
20.权利要求
18的方法，其中，所述阈值包括第一阈值(T1)和第二阈值(T2)，其中只有在所述强度超过所述第一和第二阈值之后才能启动所述开/关状态改变。
专利摘要
本发明涉及在低亮度条件期间模拟视频内容的环境光源的无闪烁操作，其中对所述环境光源进行输出阈值处理，从而可以在强度变量超过一个或两个阈值之后启动所述环境光源的开/关状态改变。当提取并处理在已渲染颜色空间中编码的视频内容时使用输出阈值处理，比如从所选择的屏幕区域提取平均值或其他颜色信息，其中所述已编码视频内容可以被解码成帧，所述解码帧由帧间内插处理通过仅使用来自所选帧的颜色信息来分接。
文档编号H05B37/02GK1993999SQ20058000191
公开日2007年7月4日 申请日期2005年1月5日
发明者S·古塔, E·M·A·迪德里克斯, H·布罗克 申请人:皇家飞利浦电子股份有限公司导出引文BiBTeX, EndNote, RefMan