专利名称：从通过未着色色空间映射的视频内容得到的环境光的主色提取的制作方法
技术领域：
本发明涉及使用多光源来产生和设置环境光效，典型地基于，或者结合例如来自视频显示的视频内容。更特别地，涉及一种实时地对视频内容采样或者子采样以提取主色信息的方法，并执行从视频内容的色空间到最好允许驱动多个环境光源的色空间的颜色映射转换。
背景技术：
工程师们为通过采样视频内容来扩展感觉感受已作了长时间的探索，例如通过扩大视屏和投影区域，将声音调制为真实的3维效果，并改善视频图像，包括宽的视频色域，分辨率和图像纵横比，例如可采用高清晰度(HD)数字电视和视频系统来实现。而且，电影，电视和视频播放器也试图利用视觉和听觉手段影响观看者的感受，例如通过巧妙地运用颜色，场景剪辑，视角，周围的场景和计算机辅助图形表示。这也将包括剧场舞台照明。灯光效果，例如，光效通常和视频或者戏剧场景同步编排，在按预期方案编码的合适的场景脚本编程的机器或者计算机的帮助下进行再现。
在数字领域的现有技术中，包括没有计划或者没有脚本的场景在内，响应于场景快速变化的照明的自适应，在大场景中很不容易去协调，因为额外的高带宽位流需要利用目前的系统。
飞利浦(荷兰)和其它公司已经公开了利用远离视频显示的分离的光源，改变环境或周围的照明来改善视频内容方法，其应用于典型家庭或商业中，以及对于很多应用，对预期的光效进行在先编排或者编码。已经表明环境照明施加至视频显示或者电视能够减少视觉疲劳和提高真实性以及感受深度。
感觉感受是人类视觉方面的自然的功能，其利用巨大而复杂的感管和神经系统来产生对颜色和光效果的的感觉。人类能够区分大概1千万种不同的颜色。在人眼中，对于颜色接收或亮视觉，而具有大概2百万称作视锥的感觉体共三组，其具有光波长峰值分布在445nm、535nm以及565nm吸收分布，并具有大量的重叠。这三类视锥细胞形成所谓的三色系统，也因历史原因而被称为B(蓝)、G(绿)、R(红)；峰值不必对应于那些用在显示中的任何主色，例如，常利用的RGB荧光体。也有用于暗适应的相互作用，或者所谓称作视网膜杆的夜视体。人眼典型地具有一亿两千万个视网膜杆，其影响视频感受，特别是在暗光条件下，例如在家庭影院中。
颜色视频建立在人类视觉的规律上，众所周知，人类视觉的三色和对立通道理论已经被我们结合用来理解怎样影响眼睛去看期望的颜色与原始信号或者预期图像具有高逼真度的颜色和效果。在大多数颜色模型和空间中，三维或者坐标用来描述人的视觉感受。
颜色视频完全依赖位变异构性，其允许利用少量的基准色质产生颜色感觉，而不是期望的颜色和特征的实际光。这样，利用有限数目的基准色质，整个色域的颜色在人的头脑中再现，例如全世界范围在视频再现中利用的众所周知的RGB(红，绿，蓝)三色系统。众所周知，例如，几乎所有的视频显示通过在每一个像素或者图像单元中产生近似相等数量的红光和绿光，而显示黄色场景。像素与其对向的立体角相比很小，而且眼睛误以为感知到黄色；它不能感知真实发射的绿色或者红色光。
存在很多颜色模型和指定颜色的方式，包括众所周知的CIE(国际照明委员会(Commission Interationale de I’eclairage))颜色坐标系统，利用它来描述和规定用于视频再现的颜色。即时创造可以利用任意数量的颜色模型，包括运用未着色的对立颜色空间，比如CIE L*U*V*(CIELUV)或者CIE L*a*b*(CIELAB)系统。建立于1931年的CIE是所有颜色的管理和再现的基础，结果是利用三坐标x、y和z的色度图。该三维系统在最大亮度的区域根据x和y通常用于描述颜色，这个区域，称为1931x，y色度图，其被认为能描述所有人类可感知的颜色。这与颜色再现形成对比，在这里位变异构性欺骗了眼睛和大脑。现今，很多正在利用的颜色模型或者空间通过利用三种基本色或荧光体而再现颜色，其中有Adobe RGB，NTSC RGB，等。
特别应注意，视频系统通过利用这些三色激励系统所展示的所有可能颜色的范围是有限的。NTSC(国际电视标准委员会)RGB系统具有相对宽的可用颜色范围，但这个系统仅能再现人类能感知的所有颜色中的一半。利用传统视频系统的可用范围不能足够地再现多种蓝色和紫色、蓝绿色和橙色/红色。
而且，人类视觉系统被赋予补偿和识别特性，对它的认识对于设计任何视频系统是必要的。人类的颜色能够以几种显示模式出现，在其中有目标模式和发光模式。
在目标模式中，光激励被感知为光源照射的物体所反射的光。在发光模式中，光激励被视为光源。发光模式包括在复杂场中的激励，其比其它激励更加明亮。它不包括已知为光源的激励，比如视频显示器，其亮度或辉度与景物或观看场地的全部亮度相同或更低，以便这种激励以目标模式显示。
值得注意的是，有很多颜色仅在目标模式中出现，在其中有，褐色、橄榄色、栗色、灰色、和浅褐肉色。没有例如作为褐色光发光源的灯，比如褐色交通灯。
为此，补充给要增加物体颜色的视频系统的环境光不能这样利用亮光的作为直接光源。在近范围内的明亮的红色和绿色光的结合不能再现褐色或栗色，因此选择相当受限。仅具有变化的强度和饱和度的彩虹的光谱颜色能够通过对亮光源的光的直接观察再现出来。这强调对环境照明系统的精细控制的需要，比如在注意色调管理的情况下，从光源提供低亮度的光输出。在目前数据结构下，该精密控制还不能在快速变化和精细环境照明方式下寻址。
视频再现可采取很多形式。光谱颜色再现允许准确再现初始激励的光谱能量分布，但这不可在任何利用三主色的视频再现中实现。准确的颜色再现可复制人类视觉的三色值，产生与初始匹配的同质异性，但对于图像和原始场景的整体观察条件必须相似，以获得相似的显示。图像和原始场景的整体观察条件包括图像的边角，周围的亮度和色度，以及强光。不能经常获得精确的彩色再现的一个原因，是因为能在彩色监视器上产生的最大亮度的受到限制。
当三色值与原始场景的色度成比例，色度颜色再现提供了一种有用的替换。色度坐标被准确再现，但成比例地减少了亮度。如果原始的和再现的基准白色具有相同的色度，观察条件是相同的，且系统具有整体统一的灰度系数，色度颜色再现对视频系统是好的参考标准。由于在视频显示中产生亮度有限，不能获得与原始场景的色度和亮度匹配的等效的颜色再现。
实际中的大部分视频再现试图获得相应的颜色再现，在这里，如果原始场景被照亮而产生相同的平均亮度水平以及与再现中相同的基准白色色度，再现的颜色将具有与原始场景一致的颜色表现。然而，很多争论的最终目标是显示系统在实际中优选的颜色再现，在此观察者的偏好影响颜色的逼真度。例如，晒黑的皮肤颜色优选为真实皮肤的平均颜色，且天空优选为比实际更蓝的颜色，且叶子比实际更绿。即使相应的颜色再现被接受为设计标准，一些颜色比其它颜色更重要，比如肉色，其在很多再现系统比如NTSC视频标准中是特别处理的主题。
在再现场景光线时，为获得白平衡的色适应是重要的。在适当调整的摄影机和显示器下，白色和中性灰以CIE标准日光光源D65的色度典型地再现。通过总是以相同的色度重现白色表面，该系统可模仿人类视觉系统，其固有地适应感知以使白色表面总是呈现相同的显示，而不管光源的色度，以使一张白纸，无论在阳光明媚的海滩上或是在室内场景的白炽灯下，都能表现为白色。在颜色再现中，白平衡调整通常通过在R，G和B通道中的增益控制而获得。
典型的彩色接收机的光输出典型地不是线性的，而是符合幂律关系来施加视频电压。光输出与提升至幂灰度系数的视频驱动电压成比例，在这里对彩色CRT(阴极射线管)灰度系数典型地为2.5，对其它类型的光源为1.8。在摄像机视频处理放大器中通过三个主要的亮度灰度系数校正器补偿该因子，以便经编码、传送和解码的主要视频信号实际上不是R、G和B，而是 色度颜色再现需要视频再现——包括摄像机，显示器和任何灰度调整电子设备——的整体灰度系数统一，但当尝试相应的颜色再现时，环境的亮度优先。例如，暗淡的环境需要的灰度系数大约为1.2，黑暗的环境为获得最佳的颜色再现需要的灰度系数大约为1.5。对RGB彩色空间，灰度系数是重要的执行问题。
大多数颜色再现编码利用标准RGB色空间，比如sRGB，ROMM RGB，Adobe RGB98，Apple RGB和比如在NTSC标准中所利用的视频RGB空间。典型地，图像被截取至传感器或源设备空间，其为特殊的设备和图像。其可以被转换到未着色的图像空间，这是表示原始色度的标准色空间(见定义部分)。
然而，视频图像往往直接从源设备空间转换至着色的图像空间(见定义部分)，其表示某些真实的或虚拟的输出设备，比如视频显示的彩色空间。大部分存在的标准RGB色空间是着色的图像空间。例如，由摄像机和扫描仪产生的源和输出空间不是基于CIE的色空间，而是由光谱灵敏度和摄像机或扫描仪的其它特性限定的光谱空间。
着色图像空间是基于真实或虚拟设备特性的色度的特殊设备的色空间。图像能够从着色的或未着色的图像空间转换到着色空间。这些转换的复杂性会变化，且能够包括复杂的图像依赖算法。这种转换是不可逆的，且放弃或压缩原始场景编码的一些信息，以适应特殊设备的动态范围和色域。
目前仅有一种未着色的RGB色空间，其正在变成为标准的过程中，定义在ISO17321中的ISO RGB，多用于数字照相机的颜色特性。在现今的多数申请中，为了存档和数据转换，转换包括视频信号的图像至着色色空间。从一个着色图像或色空间转换到另一个，会导致严重的图像假象。在两设备之间色域和白点不匹配越多，则负面影响越大。
现有技术的环境光显示系统的一个缺点是从视频内容中对用于环境发射的代表颜色的提取还是有问题的。例如，像素色度的颜色平均经常导致灰色，褐色或其它偏色，这些不是视频场景或图像的感知的表示。从简单的色度平均中得到的颜色看起来常常是模糊不清和错选的，尤其是当其与图像特征，比如明亮的鱼或主背景如蓝天对比的时候。
现有技术环境光显示系统的另一问题是还没有提供特殊的方法用于实时同步的操作，以将着色的三色值从视频转换到环境光源，从而得到合适的色度和表现。例如，从LED环境光源发送的光常常是刺眼的，并带有限制的或偏斜的色域——通常地，色调和色度难以评估和再现。例如，Akashi等人的美国专利6611297处理环境光的真实性，但没有提供特别的方法用来确保正确和令人满意的色度，且Akashi的297号专利并不允许实时分析视频，而是需要脚本或其等效物。
另外，利用已校正的视频内容色空间的灰度系数的环境光源的设置常导致耀眼和明亮的颜色。另一现有技术的严重问题是需要转换大量用于驱动环境光源的信息，该环境光源作为实时视频内容的函数，以适应预期的快速变化的环境光环境，在其中期望良好的颜色匹配。
因此，扩展通过环境照明结合典型三色视频显示系统所产生的颜色的可能色域是有益的，当开发人眼的特性时，比如在作为亮度级函数的不同颜色的相对目视光度中的变化，通过调节或改变传达给利用环境照明系统的视频用户的颜色和光特性，利用它来提高有益补偿效果、灵敏度和其它人类视觉的特性。
在不受到灰度系数引起的失真影响下，产生有质量的环境氛围也是有益的。其进一步需要的是，能够提供一种方法，利用对平均的或定性的颜色值编码的节省的数据流，通过从选定的视频区域提取主色，用于提供更好的环境照明。其进一步需要的是，减少需要的数据流的大小。
关于视频和电视工程、压缩技术、数据传送和编码、人类视觉、色彩场景和感知、色空间、色度、图像着色，以及包括视频再现的信息，将在下面的参考文献中引用，这些文献是这些信息在整体上的结合参考[1]Color Perception，Alan R.Robertson，Physics Today，1992年12月，第45卷，第12期，24-29页；参考[2]The physics andChemistry of Color，2rd，Kurt Nassau，John Wiley&Sons，Inc.，NewYork_2001；参考[3]Principles of Color Technology，3ed，Roy S.Berns，John Wiley&Sons，Inc.，New York，_2000；参考[4]StandardHandbook of Video and Television Engineering，4ed，Jerry Whitakerand K.Blair Benson，McGraw-Hill，New York_2003。
发明内容
本发明的不同实施例给出的方法包括利用像素水平统计或等效在某种程度上以尽可能少的计算量确定或提取一个或多个主色，但在同时，提供根据感知规律选择为主色的舒适和合适的色度。
本发明涉及从在着色色空间中编码的视频内容中提取主色的方法，通过环境光源来产生用于模拟的主色。方法步骤包括[1]通过量化着色色空间中视频内容的至少一些像素色度，量化着色色空间，以形成指定颜色的分布；[2]从指定颜色的分布执行主色提取，以通过提取下面任一项产生主色[a]指定颜色的模式；[b]指定颜色的中值；[c]指定颜色的色度的加权平均值；[d]使用加权函数的加权平均值；然后[3]从着色色空间将主色转换至于允许驱动环境光源的第二着色色空间。
像素色度(或着色色空间)的量化可通过很多方法实现(见定义部分)，其目标是通过在可能的颜色状态中寻求简化而减轻计算负担，比如从分配的大量色度(例如像素色度)缩减到较少数量的指定色度或颜色；或通过挑出选择像素的选择过程来减少像素数量；或储存以产生代表性的像素或超像素。
如果通过将像素色度储存到至少一个超像素，部分地执行着色色空间的量化，这样产生的超像素可具有与图像特征一致的尺寸、方向、形状或位置。在量化过程中利用指定的颜色可选择为区域颜色矢量，其不必在着色色空间中，比如可在第二着色色空间中。
一旦从指定颜色分布中选择了主色，然后可返回，即得到实际的像素色度以提炼主色。例如，可在指定的颜色分布中确定至少一种感兴趣的颜色，并提取在此指定的像素色度，以取得最终指定的真实的主色作为主色。这样，当指定颜色可为视频内容的粗略近似时，真实的主色能为环境发送提供正确的色度，但仍可节省本来需要的计算量。主色也可包括主色调色板。
其它可能的用于转化的实施例步骤[3]包括[3a]将主色从着色色空间转换至未着色色空间；然后[3b]将主色从未着色颜色的空间转换至第二着色色空间。这附加地包括矩阵转换，利用第一和第二三色主矩阵，转换着色色空间和第二着色色空间的原色到未着色色空间；和通过着色色空间原色、第一三色矩阵以及第二三色矩阵的逆矩阵进行矩阵相乘，获得颜色信息至第二着色色空间的转换。
步骤[1]的像素色度可从提取区域获得，附加步骤[4]可包括从邻近提取区域的环境光源发射主色环境光。
步骤[2]的合理的加权函数允许从图像特征提取多个像素色度，且在先的视频帧可用于指导在后视频帧中选择主色。任何提取区域可选择为从视频帧中提取的图像特征。
这些步骤可以以很多方式结合，未着色色空间可以是CIE XYZ；在ISO标准17321定义的ISO RGB；摄影YCC；CIE LAB；或者任何其它未着色空间之一。且步骤[1]，[2]和[3]基本与视频信号同步，利用第二着色色空间中的颜色信息，从视频显示或在视频显示的周围发射环境光。
图1表示本发明简单的视频显示的前表面视图，展示了颜色信息提取区域和相关的环境光从六个环境光源发射；图2表示一个房间的俯视图，部分示意图和部分截面图，其中，利用本发明，产生从多重环境光源发射的环境光。
图3表示按照本发明的一个提取颜色信息并影响色空间转换以允许驱动环境光源的系统；
图4表示从视频提取区域计算颜色信息均值的方程式；图5表示现有技术转换着色主RGB至未着色色空间XYZ的矩阵方程式；图6和图7表示分别映射视频和环境光着色区域至未着色区域的矩阵方程式；图8表示利用已知的矩阵逆向转化从未着色色空间XYZ得到环境光三色值R’G’B’的办法；图9-11表示现有技术中利用白点方法推导三色主矩阵M；图12表示类似于如图3所示的系统，另外包括一个用于环境发射的灰度系数校正步骤；图13表示本发明所用的总的转换过程的原理图；图14表示本发明中利用的获得环境光源转换矩阵系数的处理步骤；图15表示本发明所用的估计视频提取和环境光再现的处理步骤；图16表示按照本发明视频帧提取的示意图；图17表示依照本发明的简化的色度评估处理步骤；图18表示如图3和12所示的提取步骤，为驱动环境光源，利用帧解码器、设置帧提取率并执行输出计算；图19和图20表示本发明颜色信息提取和处理的处理步骤；图21表示按照本发明总的过程的示意图，包括主色提取和到环境光色空间的转换；图22示意性地表示一种通过指定像素色度到指定颜色，量化来自视频内容的像素色度的可能的方法；图23示意性地表示一种通过将像素色度存储至超像素而量化的可能的方法的例子；图24表示类似图23的存储过程，但是这里超像素的大小、方向、形状或者位置可以与图像特征一致地形成；图25表示在标准笛卡尔CIE颜色图上区域颜色矢量和它们的颜色或者色度坐标，这里一个颜色矢量位于颜色色域的外面，颜色色域通过PAL/SECAM、NTSC和Adobe RGB颜色产生标准得到；图26表示图25所示的CIE图的一部分的特写，另外表示像素色度和其在区域颜色矢量上的分布；图27表示按照本发明展示指定颜色分布的模式一个可能的方法的直方图；图28表示按照本发明指定颜色分布的中值一个可能方法；图29表示按照本发明通过指定颜色的色度的加权平均值的数学总和的一个可能的方法；图30表示按照本发明利用像素加权函数通过指定颜色的色度的加权平均值的数学总和的一个可能的方法；图31表示在指定颜色分布中确定感兴趣的颜色，然后提取在那里的指定像素色度，以得到一个真实的主色并指定为主色的示意图；图32示意性地表示按照本发明的主色提取可以多次执行或者分别同时执行以提供一系列主色；图33表示如图1所示的视频显示的简单的前表面图，表示按照图29和30示范的方法，将不同加权施加给优选的空间区域一个例子；图34给出一个如图33所示的视频显示的简单的前表面图，图表式的表示按照本发明为主色提取的目的而提取一个图像特征；图35给出本发明另一个实施例的图示，视频内容被解码成一组帧，籍以允许得到的一帧的主色至少部分地依赖前一帧的主色；图36表示按照本发明选择主色的省略过程的过程步骤。
具体实施例方式
定义下列定义可以全文通用-环境光源-将在随后的权利要求中，包括需要影响光产生的任何光产生电路或者驱动器。
-环境空间-将意味着任何和所有在视频显示单元外部的材料体或者空气或者空间。
-指定颜色分布-将表示一组颜色，选择它用来代表(如用于计算目的)在视频图像或者视频内容中发现的像素色度的全部范围。
-色度-在驱动环境光源的上下文中，将表示一个规定光产生的颜色特征的机械、数值或者物理方式，并且将不暗含特别的方法论，例如用于NTSC或者PAL的电视广播。
-颜色信息-将包括色度和亮度的全部或者其中之一，或者功能等价量；-计算机-将包括不仅是所有的处理器，例如利用已知结构的CPU(中央处理单元)，还包括允许编码、解码、读、处理、执行设定代码或者变化代码的任何智能设备，例如可以执行同样功能的数字光学设备或者模拟电路。
-主色-将表示任何为环境发射目的而选择用来代表视频内容的色度，包括任何被选择用来说明这里公开的方法的颜色；-提取区域-将包括任何整个视频图像或帧的子集。
-帧-将包括在视频内容内按时间顺序出现的图像信息，与产业中利用的词语“帧”一致，但是也将包括任何部分的(例如交错)或者全部的图像数据，用来在任何时刻或者在在任何间隔传送视频内容。
-测角色度-将涉及给定的作为视角或者观察角度的函数的不同颜色或者色度的性质，例如通过彩虹产生的。
-测角光度-将涉及作为视角或观察角度的函数的给定的不同光亮度、传送和/或颜色的性质，例如发现于光芒四射、发火花或者回射现象。
-插值-将包括在两组值之间的线性或者数学插值，还包括在两组已知的值之间为设定值的功能性描述；-光特征-在广义上，意思是例如由环境光源产生的任何光的性质的说明，包括除了亮度和色度的所有描述，例如光传输或者反射的程度；或者测角色度性质的描述，包括当观察环境光源时，产生的颜色、闪耀或者其它已知的现象作为视角的函数的程度；光输出方向，包括通过一个坡印廷或者其它传播矢量给予的方向性；或者光角度的分布的描述，例如立体角或者立体角分布函数。还可以包括一个规定其在环境光源位置的坐标，例如单元像素或者灯的位置。
-亮度-将表示任何参数或者测得的明亮度、强度或者等价测量，并将不施加光产生的特定方法或者测量或者心理-生物的解释。
-像素-将涉及真实的或者虚拟的视频像元，允许像素信息偏差的等价信息。
-量化色空间-在说明书和权利要求的范围中，将涉及可能颜色状态的减少，例如导致从指定的大量色度(例如像素色度)到少量指定的色度或颜色；或者通过挑选被选择像素的选择过程，像素数目减少；或者储存以产生代表性的像素或者超像素。
-着色色空间-将表示从作为设备和特定图像的传感器或者特定的光源或者显示设备截取的图像或者色空间。多数RGB色空间是着色图像空间，包括用来驱动视频显示D的视频显示空间。在附加权利要求中，视频显示和环境光源88的特定色空间是着色色空间。
-转换颜色信息至未着色色空间-在附加权利要求中将包含或者直接转换至未着色色空间，或者利用或者受益于通过利用三色主矩阵的逆转换，该三色主矩阵通过转换至未着色色空间(如图8所示的(M2)-1)而得到。
-未着色色空间-将表示一个标准或者非特定设备的色空间，例如这些利用标准CIE XYZ描述原图像的比色法；例如在ISO17321标准中定义的ISO RGB；摄影YCC；和CIE LAB色空间。
-视频-将指示任何视觉或者光产生装置，无论需要能量产生光的有源设备，或者任何传送图像信息的传送媒体，例如办公大楼的窗子，或者从远处得到的图像信息的光波导。
-视频信号-将指示为控制视频显示单元传送的信号或者信息，因此包括任何音频部分。可以预期视频内容分析包括为音频部分可能的音频内容分析。一般地，视频信号可以包含任何类型的信号，例如利用任何数量的已知的调制技术的无线电频率信号；电信号，包括模拟和量化模拟波形；数字(电)信号，例如那些利用脉宽调制、脉冲数目调制、脉冲位置调制、PCM(脉冲编码调制)和脉冲放大调制；或者其它信号例如听觉信号，声音信号和光信号，它们都能够利用数字技术。其中仅仅顺序排列或者其它信息的数据，例如在基于计算机应用中，也可以利用。
-加权-将涉及任何在这里给出的为特定的色度或者空间位置给出优先状态或者较高数学加权的等价方法。
具体描述如果需要，按照本发明由视频内容得到的环境光形成为，允许对原始视频场景光有高的逼真度，然而保持高程度的环境光自由度特性仅需要低的计算负担。这允许具有小的颜色色域环境光源和亮度降低空间，来模拟从具有相对大的颜色色域和亮度响应曲线的更高级的光源发出的视频场景光。用于环境照明的可能的光源能够包括任何数目的已知的发光设备，包括LED(发光二极管)和相关的半导体辐射源；电致发光设备包括非半导体类型；白织灯，包括用卤素或者更高级的化学物质的更改类型；离子放电灯，包括荧光和氖灯；激光器；再调制的光源，例如通过利用LCD(液晶显示器)或者其它光调制器；光致发光发射器，或者任何数量已知的可控光源，包括功能类似显示器的阵列。
这里给出的说明部分，将部分地首先涉及从视频内容提取颜色信息，随后，涉及提取方法，以获得能够代表视频图像或者场景的环境发射的主色或者真实颜色。
参考图1，其仅以示例性的目的用于说明按照本发明的视频显示D的简单前表面图。显示D可以包括任何数目已知的从着色色空间解码视频内容的设备，如NTSC、PAL或者SECAM广播标准，或者着色RGB空间，例如Adobe RGB。显示D可以包括可选择的颜色信息提取区域R1，R2，R3，R4，R5和R6，它们的边界可以与那些图解区域分离。颜色信息提取区域可以任意预先确定并具有产生特有环境光A8的特征，例如通过后面安装可控环境照明单元(未示出)，其产生和发射如图所示的环境光L1、L2、L3、L4、L5和L6，例如通过将部分光泄漏到显示D安装的墙(未示出)上。可选择地，如图所示的显示帧Df自己也包括以简单的方式显示光的环境照明单元，包括向外向观看者(未示出)。如果希望，每一个颜色信息提取区域R1-R6可以单独的影响接近它的环境光。例如，如图所示，颜色信息提取区域R4可以影响环境光L4。
参考图2，俯视图-部分的示意以及部分的截面图-显示场所或者环境空间A0，其中，利用本发明，产生来自多环境光源的环境光。在环境空间A0设置所示的座位和桌子7，配置它们以允许观看视频显示D。在环境空间A0也配置了大量环境照明单元，利用即时发明，其被随意地控制，包括所示的光扬声器1-4、所示的在沙发或者座位下面的地灯SL，还有一组配置在显示D周围的特殊模拟环境照明单元，即如图1所示的产生环境光Lx的中心灯。这些环境照明单元的每一个可以发射环境光A8，如图中阴影部分所示。
与此即时发明结合，可以任意地从这些环境照明单元产生环境光，伴随从这些环境照明单元里得到但是实际上没有通过视频显示D发射的颜色或者色度。这允许开拓人眼的特征和视觉系统。值得注意，人视觉系统的亮度功能，其对于不同可视波长具有探测灵敏度，作为光等级的函数而变化。
例如，暗视或者夜视依靠倾向对蓝色和绿色更加敏感的视网膜杆。利用锥形细胞的明视更加适合探测长波长的光，例如红色和黄色。在剧院环境的黑色空间，通过调制或者变化传送给在环境空间中的视频观看者的颜色，可以稍微抵消不同颜色的相对发光度的这些变化作为光等级的函数。这可以通过从环境照明单元减去来完成，例如利用光调制器(未示出)的光扬声器1-4或者通过利用在光扬声器上增加元件，即光致发光发射器在环境释放前进一步改变光。光致发光发射器通过吸收或者经历来自光源的入射光的激励而执行颜色转换，然后再次发射在更高的期望波长中的光。光致发光发射器这种激励和再次发射，例如荧光染料，可以允许没有在原始视频图像或者光源中出现的新的颜色着色，或许也没有在显示D的固有操作的颜色或者颜色色域范围内。当希望的环境光Lx的亮度低时，这是有帮助的，例如在很黑的场景中，以及当希望的感知水平比通常没有光调制时得到的感知水平高时。
新颜色的产生可以提供新的和有趣的视觉效果。说明的例子可以是橙色光的产生，例如被称为寻觅的橙色，对于它，可用的荧光染料是众所周知的(参照参考[2])。给出的例子包括荧光颜色，其与一般的荧光现象和相关现象对立。利用荧光橙色或者其它荧光染料种类对低光条件尤其有用，这里红色和橙色的促进可以抵消暗视觉对长波长的灵敏度。
在环境照明单元利用荧光染料可以包括在染料类别中已知的染料，例如二萘嵌苯，萘酰亚胺，香豆素，噻吨，蒽醌，硫靛，以及专用的染料类别，例如由美国俄亥俄州克里夫兰日光荧光染料颜色公司生产的。可用的颜色包括阿帕契黄，底格里斯黄，大草原黄，Pocono黄，莫霍克黄，波拖马可河黄，万寿菊橙，渥太华红，伏尔加红，大马哈粉，以及哥伦比亚蓝。这些染料类别可以利用已知的过程组合到合成树脂中，例如PS、PET以及ABS。
荧光染料和材料已经提高了视觉效果，因为它们可以设计得比同色度的非荧光材料亮很多。用于产生荧光颜色的传统的有机颜料的所谓耐久性问题，在近二十年得到了很大的解决，随着技术的进步，已经导致耐久性荧光颜料的发展，暴露在阳光下，其可保持它们逼真的着色7-10年。因此这些颜料在进入UV射线最小的家庭影院环境中几乎不受破坏。
可选择地，荧光光颜料能够利用，它们通过吸收短波长的光简单地工作，并且再次将该光作为例如红色或橙色的长波长的光发射。无机颜料的技术提高已经使可视光在激励下可以实现，例如蓝色和紫色，例如400-440nm的光。
测角色度和测角光度作用能够相似地展开来产生不同光的作为视角函数的颜色、亮度和特征。为实现这一效果，环境照明单元1-4和SL和Lx能够单独的或者联合地利用已知的测角光度元件(未示出)，例如金属的和珠光般的传递着色；利用公知的散射或者薄膜干涉作用的彩虹材料，例如利用鳞状实体；薄鳞片鸟嘌呤；或者有防腐剂的2-氨基次黄嘌呤。利用精细的云母或者其它物质作为扩散体，例如由氧化层、斑铜矿或者孔雀矿制造的光芒四射的材料；金属薄片、玻璃薄片或者塑料薄片；颗粒物质；油；毛玻璃，和毛塑料。
参考图3，表示按照本发明提取颜色信息(例如主色或者真实颜色)和作用色空间转换以驱动环境光源的一个系统。在第一步骤，利用已知的技术从视频信号AVS提取颜色信息。
视频信号AVS可以包括已知的用于MPEG编码、音频PCM编码等等的数字数据帧或者包。可以利用已知的编码方案给数据包，例如带有可变长度数据包的程序流，或者均匀平分数据包的传送流，或者其它单程序传送流的方案。可选择地，这里公开的功能步骤或者方框图可以利用计算机编码或者其它通信标准模拟，包括异步协议。
作为一般的例子，所示的视频信号AVS可以经历所示的视频内容分析CA，可能利用已知的方法在所示的硬盘HD来回记录和传递选择的内容，可能应用所示的内容类型库或者其它存储在存储器MEM的信息。这能够允许选择视频内容的单独的、平行的、直接的、延迟的、连续的、周期的或者非周期的转换。由这些视频内容，可以执行所示的特征提取FE，例如一般地提取颜色信息(例如主色)，或者从一个图像特征提取。颜色信息在着色色空间还要被编码，然后转换到未着色空间，例如利用所示的RUR映射转换电路10的CIE XYZ。这里的RUR代表希望的转换类型，即，着色-未着色-着色，这样RUR映射转换电路10进一步转换颜色信息至第二着色色空间，该第二着色色空间被形成为允许驱动所述环境光源88。RUR转换时优选的，但是可以利用其它的映射，只要能够利用环境光产生电路或其等价装置在第二着色色空间接收信息。
RUR映射转换电路10可以功能性地包含在计算机系统中，其利用软件来执行相同的功能，但是在解码由数据传送协议传送的分组信息的情况下，在电路10内存在一个存储器，其包含或者被更新以便包含相互关联或者提供着色色空间系数等等的信息。新产生的第二着色色空间是适当的并且希望将其用于驱动环境光源88(如图1和2所示)，并且用所示的对环境光产生电路18的编码供给。环境光产生电路18从RUR映射转换电路10得到第二着色色空间信息，然后说明从任何用户界面以及任何合成偏好存储器(和U2一起所示)的任何输入，在参考所示的可能导致环境光(第二着色)色空间查找表格LUT之后，用于发展真实环境光输出控制参数(例如施加的电压)。将由环境光产生电路18产生的环境光输出控制参数供给所示的灯界面驱动器D88，以直接控制或供给所示的环境光源88，其可以包括单独的环境照明单元1-N，例如前面引用的如图1和2所示的环境光扬声器1-4，或者环境光中心灯Lx。
为减少任何实时计算负担，从视频信号AVS移除的颜色信息可以被省略或者限制。参考图4，表示从视频提取区域计算平均颜色信息的方程，用于讨论。可以预期，如下面叙述的(参见图18)，视频信号AVS的视频内容将包含一系列时间序列视频帧，但是这并不是必需的。对于每一个视频帧或者等价时间框图，可以从每一个提取区域(例如R4)提取平均值或者其它颜色信息。每一个提取区域可以被设置以具有特定的大小，例如对100×376个像素。假设，例如帧频率为25帧/秒，对于每一个视频RGB三主色，在提取平均值(假设只有1字节需要规定8比特的颜色)之前提取区域R1-R6的合成的总数据将会是6×100×376×25或者5.64兆字节/秒。这种数据流很大，并且在RUR映射转换电路10中很难处理，因此，对每一个提取区域R1-R6的平均颜色的提取可以在特征提取FE中起作用。特别地，所示的能够对每一个m×n像素的提取区域的每一个像素求和RGB颜色通道值(如Rij)，并且通过m×n像素的数目来达到每一个主RGB的均值，例如所示的为红色的Ravg。这样重复对每一个RGB颜色通道的求和，每一个提取区域的均值将会是一个三位字节RAVG＝Ravg，Gavg，Bavg|。对所有的提取区域R1-R6和每一个RGB颜色通道，重复同样的过程。提取区域的数目和大小可以与所示的不一样，也可以按照希望的那样划分。
通过RUR映射转换电路10执行颜色映射转换的下一步可以是所示的说明性的和利用所示的三色主矩阵表示，例如如图5所示，其中具有向量R，G，B的着色三色空间利用带有元素Xr，max，Yr，max，Zr，max三色主矩阵M转换，其中Xr，max是R最初在最大值输出的三色值。
从着色色空间至未着色、单独设备空间的转换可以是图像和/或特别的设备-已知的线性化，像素重建(如果需要)和白点选择步骤可以被执行，随后是矩阵转换。在这种情况下，我们简单地选择采用着色视频输出空间作为转换至未着色色空间比色的出发点。未着色图像需要经过到第二着色空间的附加转换，以使它们可视或者可印刷，并且这样的RUR转换包括到第二着色空间的转换。
在第一可能的步骤，图6和7表示绘制视频着色色空间的矩阵方程，分别由主R，G，B和环境光着色色空间表示，分别由主R’，G’，B’表示，到所示的未着色色空间X，Y，Z，在这里，三色主矩阵M1转换视频RGB至未着色XYZ，三色主矩阵M2转换环境光源R’G’B’至所示的未着色XYZ色空间。使图8所示的着色空间RGB和R’G’B’相等，利用第一和第二三色主矩阵(M1，M2)，允许矩阵转换着色(视频)色空间和第二着色(环境)色空间的原色RGB和R’G’B’到所述未着色色空间(RUR映射转换)；通过着色视频色空间的原色RGB、第一三色矩阵M1和第二三色矩阵的逆矩阵(M2)-1进行矩阵相乘，得到颜色信息到第二着色色空间(R’G’B’)的转换。然而已知显示设备的三色主矩阵容易得到，本领域技术人员利用已知的白点法可以确定环境光源。
参考图9-11，表示现有技术利用白点法得到一般三色主矩阵M。在图9中，量SrXr代表每一个(环境光源)在最大输出的主三色值，Sr代表白点振幅，Xr代表由(环境)光源产生的主光的色度。利用白点方法，利用已知的光源色度矩阵的逆，矩阵方程使Sr与白点参考值矢量相等。图11是代数处理以提示白点基准值，例如Xw，是白点振幅或者亮度以及光源色度的乘积。贯穿始终，三色值X被设置等于色度x；三色值Y被设置等于色度y；三色值Z被限定为等于1-(x+y)。第二着色环境光源色空间的主色和基准白色元件能够用已知的技术，例如通过利用颜色光谱仪获得。
可以发现第一着色视频色空间的相似的量。例如，已知当代的演播室监视器在北美、欧洲和日本有稍微不同的标准。但是，例如，在高清电视(HDTV)上基本的标准已经国际一致，这些基本的标准接近地代表演播室监视器在演播室视频、计算以及计算机图像方面的特征。这一标准正式地表示ITU-R推荐BT.709，其包括需要的参数，在这里，有关RGB的三色主矩阵(M)是0.640 0.300 0.150 ITU-R BT.709的矩阵M0.330 0.600 0.060
0.030 0.100 0.790白点的值也是已知的。
参考图12，和图3所示的系统相似，在为环境光发射的特征提取步骤FE之后，另外包括一个灰度系数校正步骤55。可选择地，灰度系数校正步骤55可以在由RUR映射转换电路10和环境光产生电路18执行的步骤之间执行。已发现LED环境光源的最佳灰度系数值是1.8，因此可以利用已知的数学计算得出的灰度系数值来执行用以抵消典型灰度系数为2.5的视频色空间的负灰度系数校正。
一般地，RUR映射转换电路10，其能够是一个通过任何已知的适合的软件平台作用的功能块，执行如图13所示的一般RUR转换，在这里，所示的示意图获得包括例如视频RGB的着色色空间的视频信号AVS，并将其转换到例如CIE XYZ的未着色色空间；然后到第二着色色空间(环境光源RGB)。RUR转换之后，除了信号处理之外，如图所示，可以驱动环境光源88。
图14表示利用本发明获得环境光源转换矩阵系数的处理步骤，如图所示，其中步骤包括驱动环境光单元；以及所示的本领域中的检查输出线性度。如果环境光源原色是稳定的，(左边分叉所示，稳定原色)，利用颜色光谱仪可以得到转换矩阵系数；另一方面，如果环境光源原色是不稳定的，(右边分叉所示，不稳定原色)，可以复位在先给定的灰度系数校正(如图所示，复位灰度系数曲线)。
一般地，希望从提取区域例如R4中每一个像素提取颜色信息，但这不是必须的，作为代替，如果需要，对已选择像素的轮询可以允许快速评估平均颜色，或者快速产生提取区域颜色特征的发生。图15表示利用本发明视频提取评估和环境光再现的处理步骤，这里的步骤包括[1]准备视频再现色度(从着色色空间，例如视频RGB)的评估；[2]转换到未着色色空间；以及[3]为环境再现(第二着色色空间，例如LED RGB)的转换色度评估。
按照本发明，已经发现需要用于从视频帧支持视频内容的提取和处理(例如主色)所需要的数据位流(参加下图18)，可以通过明智的视频帧子采样来减少。参考图16，表示按照本发明视频帧提取的图表。示出了一系列独立的连续的视频帧F，即视频帧F1，F2，F3等等-例如由NTSC、PAL或者SECAM标准规定的独立交织或者没有交织的指定视频帧。通过进行内容分析和/或特征提取-例如提取主色信息-从选定的连续帧，例如帧F1和FN，可以减少数据负载或开销，同时保持可接受的环境光源的响应能力、现实性和逼真度。已经发现N＝10时可以给出好的结果，即从10个连续帧中子采样一帧能够工作。这提供了在低处理额外开销的帧提取之间的刷新周期P，其中帧间插值过程能够提供显示D中的色度随时间变化的恰当的近似。提取被选择的帧F1和FN如图所示(提取)并且色度参数的中间插入值，如G2、G3和G4所示，提供了必须的颜色信息来通知前面引用的环境光源88的驱动过程。这避免了在帧2至帧N-1中简单凝固或者保持同样颜色信息的需要。例如在提取的帧F1和FN之间的整体色度差别覆盖插值帧G扩展的情况下，插入值可以线性地确定。可选择地，一个函数可以扩展以任何其它方式提取的帧F1和FN之间的色度差别，例如适合提取的颜色信息的时间显象的高阶近似。插值的结果可以用于通过预先访问帧F来影响插值帧(例如在DVD播放器中)，或者可选择地，插值可以在没有预先选取帧F时用于影响将来的插值帧(例如在发射解码中的应用)。
图17表示按照本发明的简化的色度评估处理步骤。帧提取的较高阶分析可以相对本来可能的值扩大刷新周期P并扩大N。在帧提取期间，或者在提取区域Rx中选择的像素临时轮询中，可以处理所示的简化色度评估，这将导致要么下一帧提取的延迟，如左边所示，要么使全部帧提取开始，如右边所示。不论何种情况，插值继续进行(插值)，带有延迟的下一帧提取导致凝固，或者增加利用的色度值。这将在位流或者额外开销的带宽方面提供甚至更加节约的操作。
图18表示图3和12的顶部，在这里一个可选择的提取步骤在所利用的帧解码器FD旁显示，在所示的步骤33，允许从提取区域(如R1)提取区域信息。进一步的处理或者组成的步骤35包括评估色度差别，并如所指示的一样，利用这些信息设置视频帧提取率。先于数据传输到环境照明和前面所示的产生电路18，如所示执行下一处理步骤，该步骤执行输出计算00，如图4的平均处理，或者如下面讨论的主色提取的。
如图19所示，表示本发明的颜色信息提取和处理的一般处理步骤包括获得视频信号AVS；从选择的视频帧(例如前面引用的F1和FN)提取区域(颜色)信息；在选择的视频帧之间插值；RUR映射转换；可选择的灰度系数校正；并利用这些信息驱动环境光源(88)。如图20所示，在从选择帧信息的区域提取之后可以插入另外两个处理步骤可以执行选择帧F1和FN之间的色度差别评估，和依靠预定的准则，一个可以如指示设置新的帧提取率。这样，如果连续帧F1和FN之间的色度差别很大，或者增加很快(例如大的一级导数)，或者满足其它一些准则，例如基于色度差别历史，然后可以增加帧提取率，这样减少了刷新周期P。然而，如果连续帧F1和FN之间的色度差别很小，并且很稳定或者没有快速增加(例如第一导数的绝对值低或者为零)，或者满足其它的一些准则，例如基于色度差别历史，然后可以节省需要的数据位流并降低帧提取率，这样提高了刷新周期P。
参考图21，表示按照本发明一个方面的一般处理过程。如图所示，作为一个可选择的步骤，可能减轻计算负担，[1]相应于视频内容的着色色空间被量化(QCS，量化色空间)，例如通过利用以下给出的方法；然后[2]选择主色(或者主色的调色板)(DCE，主色提取)；以及[3]颜色映射转换，例如执行RUR映射转换(10)(MT映射转换至R’G’B’)来提高产生的环境光的逼真度、范围和适合程度。
色空间的可选的量化可以减少可能颜色状态和/或要测量的像素的数目，并且可以利用不同的方法执行。作为一个例子，图22示意性地表示一个可能的量化视频内容的像素色度的方法。这里，如所示，说明性的视频主值R范围从值1至16，对任一个的这些主值R任意指定一个指定的颜色AC。这样，例如，无论何时，任一红色像素色度或者从1至16的值在视频内容中相遇，因此会取代指定的颜色AC，导致在表现视频图像特征所需要的颜色数目中，以因数16单独减少红原色。在这个例子中，对所有三原色，这样的可能颜色状态的减少会导致以16×16×16，或者4096-在用于计算的颜色的数目中-的因数减少。这在许多视频系统中的主色确定中减少计算负担是极其有用的，例如那些具有8位的颜色，其呈现256×256×256或者16.78兆的可能颜色状态。
另一个量化视频色空间的方法如图23所示，其示意性地表示另一个通过从大量像素Pi(例如所示的16)储存像素色度到超像素XP的量化着色色空间的例子。储存自身是一个方法，通过把相邻的像素数学地(或者计算的)加在一起以形成一个超像素，这个超像素自身被用于进一步的计算或者表示。这样，在视频格式一般地具有，例如，0.75兆像素，选择用来代替视频内容的超像素的数目可以减少用来计算的像素的数目至0.05兆或者任何其它希望的小数目。
这样的超像素的数量、大小、方向、形状或者位置可以作为视频内容的函数而变化。这里，例如，有利于在特征提取FE期间来保证超像素XP仅从图像特征提取，而不是从边缘区域或者背景提取，超像素XP相应地形成。图24表示与图23相似的储存过程，但是这里超像素的大小、方向、形状或者位置可以与所示的像素特征J8一致地形成。所示的图像特征J8是锯齿状的或者不规则的，没有直的水平或竖直的边缘。如图所示，选择的超像素XP相应地模仿或者模拟图像特征形状。除了具有定制的形状以外，还可以利用已知的像素等级计算技术通过图像特征J8影响超像素的位置、大小和方向。
量化可以使像素色度和替换的指定颜色(如指定颜色AC)一致。那些指定的颜色可以任意指定，包括利用优选的颜色矢量。因此，不利用指定颜色的可选的或者均匀的组，至少一些视频图像像素色度可以被设定为优选的颜色矢量。
图25表示在标准笛卡尔CIE x-y色度图或者颜色图上的区域颜色矢量和它们的颜色或者色度坐标。这个图表示所有已知的颜色或者可感知的颜色在最大发光度处作为色度坐标x和y的函数，所示纳米光波长和CIE标准发光白点作为参考。3个区域光矢量V在此图上显示，在这里，可以看到一个颜色矢量V位于颜色色域的外面，颜色色域是通过PAL/SECAM、NTSC和Adobe RGB颜色产生标准(所示的色域)得到的。
为了清楚，图26表示图25的CIE图的一部分的特写，另外表示像素色度Cp和它们指定的区域颜色矢量V。指定区域颜色矢量的标准可以改变，利用已知的计算技术，并可以包括欧几里得计算或者与其它特定颜色矢量V的距离。被标记的颜色矢量V，位于显示系统的着色色空间或者颜色色域外面；这可以允许优选的容易通过环境照明系统或者光源88产生的色度能变成用于量化着色(视频)色空间中的一种指定颜色。
一旦利用一个或多个上述给定的方法得出指定颜色的分布，下一步是执行从指定颜色分布中通过提取以下任一项进行主色提取[a]指定颜色的方式；[b]指定颜色的中值；[c]指定颜色色度的加权平均值；或者[d]利用加权函数的加权平均值。
例如，可以用直方图方法来选择以最高频率发生的指定颜色。图27表示的直方图给出了指定像素颜色或者最经常发生(参见坐标，像素百分比)的颜色(指定颜色)，即，指定颜色分布的方式。该方式或十种已利用的指定颜色之中的大多数可以选择作为主色DC(已示出)，用于通过环境照明系统的利用或模拟。
同样的，指定颜色分布的中值可以被选择作为或者帮助影响主色DC的选择。图28示意性地表示指定颜色分布的中值，在这里选择显示的中值或者中间值(为偶数数目的指定颜色插值)作为主色DC。
可选择地，可以利用加权平均值执行指定颜色的求和，以便影响主色的选择，可能更加适合环境照明系统颜色色域的强度。图29表示指定颜色色度的加权平均值的数学求和。为了清楚，示出了单一变量R，但是可以利用任何数目的维度或者坐标(例如CIE坐标x和y)。色度变量R以像素坐标(或者超像素坐标，如果需要)i和j表示，在这个例子中i和j分别在1和n以及1和m之间取值。带有所示的索引i和j的色度变量R与像素加权函数W相乘，然后进行整体的求和；结果除以像素数目n×m以得到加权平均值。
利用像素加权函数的相似的加权平均值如图30所示，除了所示的W也是所示的像素位置i和j的函数外，与图29相似，这允许空间主函数。通过也对像素位置加权，显示D的中心或者任何其它部分可以在主色DC的选择或者提取期间被强调，这将在下面讨论。
加权求和可以通过上面给出的给定提取区域信息步骤33执行，可以以任何已知的方式选择和存储W。像素加权函数W可以是任一函数或者算符，这样，可以包含整体，对于特定的像素位置，可以排除零。可以利用已知的技术识别图像特征，如图34所示，为了服务更大的目的，W可以被相应地改变。
利用以上方法或者任何等价方法，一旦指定的颜色被选择为主色，通过环境照明系统，可以对用于表示的适当的色度执行更好的评估，特别是当考虑如果所有的色度和/或所有的视频像素时，需要的计算步骤比它们原本需要的更少。图31表示在指定颜色的分布中确定感兴趣的颜色，然后在那里提取指定的像素色度，以得到一个真实主色作为指定的主色。可以看出，像素色度Cp指定给两个指定的颜色AC；不选择在图的底部示出的指定颜色AC作为主色，然而上面的指定颜色被视作主色(DC)并被选作所示的感兴趣的颜色COI。然后可以进一步检查指定给(或者至少部分地)视为感兴趣的颜色COI的指定颜色AC的像素，并且通过直接读出它们的色度(例如利用均值，如图4所示，或者为特别的目的，在已经给定的小区域内，执行主色提取步骤)，可以获得主色的更好的再现，在此所示作为真实主色TDC。任何为此需要的处理步骤可以利用上面给出的步骤和/或组件来完成，或者通过利用独立的真色选择器，其可以是已知的软件程序或者子程序或者任务电路或者其等价物。
如图32所示，按照本发明的主色提取可以执行多次或者独立地并行提供一主色调色板，其中主色DC可以包括主色DC1+DC2+DC3。
如图30提到的，加权函数或者等价物可以通过像素位置提供加权，以允许对某些显示区域特别的考虑或者强调。图33表示如图1所示的视频显示的简单前表面图，并表示一个在优选的空间区域将不等加权提供给像素Pi的例子。例如，如图所示，显示的某些区域C可以利用数值上大的加权函数W加权，同时，一个提取区域(或者任何区域，例如场景背景)可以利用数值上小的加权函数W加权。
如图34所示，这种加权或者强调可以施加在图像特征J8上，其中给出了图33所示的视频显示的简单的前表面图，在这里利用已知的技术通过特征提取步骤FE来选择图像特征J8(一条鱼)(参见图3和12)。图像特征J8可以是在所示的或者上面所述在主色提取DCE之中仅利用的视频内容，或者是利用的视频内容的一部分。
参考图35，可以看出利用这里给出的方法，允许通过至少部分地依赖前一帧的至少一个主色，获得为视频帧选取的主色。图示的帧F1，F2，F3和F4经历如图所示的获得主色提取DCE的过程，其目的是分别提取所示的主色DC1、DC2、DC3和DC4，其中，通过计算，可以建立为帧选择的主色，表示为DC4，作为所示的主色DC1、DC2和DC3的函数(DC4＝F(DC1，DC2，DC3))。这允许为帧F4选取主色DC4的任何简化过程，或者更好地通知其中前面的帧F1，F2，F3的主色选取，帮助影响主色DC4的选取。这个简化过程如图36所示，在这里用于减少计算负担，临时的主色提取DC4*利用色度评估，然后在下一步由从前面的帧(或者前面单一的帧)提取的主色来辅助，以帮助准备DC4的选择(利用简化过程准备DC4)。
一般地，环境光源88可以包含不同的扩散器效应来产生光混合，还有半透明或者其它现象，例如通过利用具有磨砂的或者光滑表面的灯结构；有棱纹的玻璃或者塑料；或者孔径结构，例如通过利用环绕独立光源的金属结构。为提供这些感兴趣的结果，可以利用任何数量的已知的扩散和散射材料或者现象，包括通过从小的悬浮颗粒利用散射获得；有暗影的塑料或者树脂，准备利用胶体、乳胶或者水珠1-5:m或者更少，例如少于1:m，其中包括长期的有机混合物；凝胶；和溶胶，本领域技术人员知道其的生产和制造。散射现象可以包括可视波长的瑞利散射，例如为提高环境光的蓝色进行蓝色的产生。产生的颜色可以区域定义，例如在某些区域整个带蓝色的色调或者区域色调，例如作为蓝色光产生的上端部分(环境光L1或L2)。
环境灯还可以与测角光度元件配合，例如圆柱形棱镜或者透镜，其可以形成、集成、或者插入在灯结构的内部。这可以在产生的光特征作为观看者位置的函数变化时允许特殊的效果。可以利用其它光形状和形式，包括矩形的、三角形的或者不规则形状的棱镜或者形状，它们可以放置在环境照明单元上面或者组成环境照明单元。结果是不是产生了各向同性的输出，获得的效果可以无限地改变，例如投射到环境光源周围的周围墙上、物体上和表面上的感兴趣的光频带，当场景元素、颜色和强度在视频显示单元上变化，在黑暗的房间里产生一种光显示。这种效果可以是剧院环境光元素，其作为观看者位置的函数-当观看家庭剧场时，观看者从椅子上站起来或者移动观看位置时-易感知地变化光特征，例如观看带蓝色的火花，然后是红光。测角光度元件的数目和类型几乎可以无限制的利用，包括成片的塑料、玻璃和由擦伤和适度破坏性的制造技术产生的光学效果。可以制造独特的环境灯，即使对不同的剧场效果，可以是可互换的。这些效果可以是可调制的，例如通过改变允许通过测角光度元件的光量，或者通过改变环境照明单元的不同点亮部分(例如，利用子灯或者成组的LED)。
这样，图1所示的在L3中产生的环境光来模拟提取区域R3可以具有一个色度，其提供在那个区域的现象的感知延伸，例如所示的运动的鱼。这可以增加视觉经验并提供合适的并且不刺眼或者正常匹配的色调。
视频信号AVS当然可以是数字数据流和包含同步比特和级联比特；奇偶校验位；错误代码；交织；特殊调制；数据串报头，和希望的元数据例如环境光效果的描述(例如“发光风暴”；“日出”等等)以及本领域技术人员将能实现的功能步骤，为了清楚，这里给出的仅仅是说明性的并不包括常规的步骤和数据。
如图3和12所示的图形用户界面&偏好存储器可以用来变化环境照明系统行为，例如给希望的视频显示D的视频内容变化颜色逼真度的程度；变化华丽，包括任何荧光颜色或者色域之外的颜色被发射到环境空间的程度，或者根据视频内容的变化，环境光的变化有多快和多大，例如通过在光脚本命令内容中增大变化的亮度或者其它性质。这可以包括高级内容分析，其可以为电影或者特定特征的内容制作平缓的色调。在内容中包括很多黑暗场景的视频内容，能够影响环境光源88的行为，引起环境光的暗淡发射，而华丽的或者明亮的色调可以用于某些其它的内容，象许多肉色或者明亮场景(阳光照耀的沙滩，大草原上的一只老虎，等等)。
这里给出的叙述能够使本领域技术人员利用本发明。利用本即时教导，很多配置是可能的，这些给出的配置和排列仅仅是说明性的。在这里并非所有的寻找的目标都需要演示，例如，在没有脱离本发明的情况下，第二着色色空间的特殊的转换可以从这里给出的教导中排除，特别是当着色色空间RGB和R’G’B’是类似的或者相同的时候。在实践中，教导或者权利要求的方法可以作为较大系统的一部分显示，较大系统可以是娱乐中心或者家庭剧院中心。
众所周知，这里说明性地教导的函数和计算可以利用软件或者机器码功能性地再现和模拟，本领域技术人员能够利用这些教导而不管这里教导的编码和解码的方式的控制。当为了执行像素等级统计而考虑不是严格必须将解码视频信息变成帧的时候，这尤其是真的。
本领域技术人员基于这些教导，能够更改这里教导和要求的装置和方法，例如，重新排列步骤或者数据结构以适合特殊的应用，创造可以很少的包括相似的选择说明性目的的系统。
利用上述例子公开的本发明可以利用上面一些叙述的特征来实现。同样，这里没有教导或者要求的东西将不排除其它结构或者功能元件的增加。
明显地，按照上面的教导，本发明的改变和变化是可能的。因此可以理解，本发明可以在附加的权利要求的范围内利用，而不是在这里特别的描述或者建议。
权利要求
1.一种从在着色色空间(RGB)中编码的视频内容提取主色以产生由环境光源(88)模拟的主色(DC)的方法，其包括[1]量化在所述着色色空间中的来自所述视频内容的至少一些像素色度(Cp)，以形成指定颜色(AC)的分布；[2]从所述指定颜色的分布中执行主色提取，以通过提取下面任何一项产生主色[a]所述指定颜色的模式；[b]所述指定颜色的中值；[c]所述指定颜色的色度的加权平均值；[d]利用加权函数(W(i，j，R))的加权平均值；[3]从所述着色色空间转换所述主色到第二着色色空间(R’G’B’)，该第二着色色空间被形成为允许驱动所述环境光源。
2.如权利要求1所述的方法，其中所述量化包括将多个所述像素色度指定到所述指定颜色中的其中一个上。
3.如权利要求1所述的方法，其中所述量化包括储存所述像素色度到至少一个超像素(XP)中。
4.如权利要求3所述的方法，其中所述超像素的尺寸，方向，形状，或位置中任何一个与图像特征(J8)相适应地形成。
5.如权利要求3所述的方法，另外包括将所述超像素中的多个所述像素色度(Cp)指定到所述指定颜色中的其中一个上。
6.如权利要求1所述的方法，其中所述指定颜色中至少一个是区域颜色矢量(V)，其在所述着色色空间中不是必需的。
7.如权利要求6所述的方法，其中所述区域颜色矢量位于所述第二着色色空间中。
8.如权利要求1所述的方法，另外包括在所述指定颜色的分布中确定至少一种感兴趣的颜色(COI)并且提取指定在那里的像素色度，以得到一种要指定为所述主色的真实主色(TDC)。
9.如权利要求8所述的方法，其中所述像素色度的至少部分来自于通过存储所述像素色度得到的超像素(XP)。
10.如权利要求1所述的方法，其中所述主色包括主色(DC1+DC2+DC3)的调色板。
11.如权利要求1所述的方法，其中步骤[3]包括[3a]从所述着色色空间转换所述主色到未着色色空间(XYZ)；[3b]从所述未着色色空间转换所述主色到所述第二着色色空间。
12.如权利要求11所述的方法，其中步骤[3a]和[3b]还包括步骤[3c]利用第一和第二三色主矩阵(M1，M2)，矩阵转换所述着色色空间和第二着色色空间的原色(RGB，R’G’B’)到所述未着色色空间；和通过所述着色色空间的原色、所述第一三色矩阵以及所述第二三色矩阵的逆矩阵(M2)-1进行矩阵相乘，得到所述颜色信息到所述第二着色色空间(R’G’B’)的转换。
13.如权利要求1所述的方法，其中从提取区域(R1)中得到步骤[1]的像素色度，且另外包括[4]从相邻于所述提取区域的所述环境光源发射所述主色的环境光(L1)。
14.如权利要求1所述的方法，其中步骤[1]另外包括将述视频信号解码成一组帧，并且其中多个像素色度从通过所述一组帧中的一帧提取(FE)的图像特征(J8)中得到。
15.如权利要求1所述的方法，其中步骤[1]另外包括将所述视频信号解码成一组帧，并且其中通过依赖于来自前一帧(F3)的至少一个主色而至少部分获得帧(F4)的主色。
16.一种从在着色色空间(RGB)中编码的视频内容提取主色以产生由环境光源(88)模拟的主色(DC)的方法，其包括[1]在所述着色色空间中将所述视频内容解码成多个帧，并且在所述帧的其中一个中，量化至少一些来自提取区域(R1)的像素色度(Cp)，以形成指定颜色(AC)的分布；[2]从所述指定颜色的分布中执行主色提取，以通过提取下面任何一项产生主色[a]所述指定颜色的模式；[b]所述指定颜色的中值；[c]所述指定颜色的色度的加权平均值；[d]利用加权函数(W(i，j，R))的加权平均值；[3a]从所述着色色空间转换所述主色到未着色色空间(XYZ)；[3b]从所述未着色色空间转换所述主色到所述第二着色色空间，由下列步骤进行辅助[3c]利用第一和第二三色主矩阵(M1，M2)，矩阵转换所述着色色空间和第二着色色空间的原色(RGB，R’G’B’)到所述未着色色空间；和通过所述着色色空间的原色、所述第一三色矩阵以及所述第二三色矩阵的逆矩阵(M2)-1进行矩阵相乘，得到所述颜色信息到所述第二着色色空间(R’G’B’)的转换[4]从相邻于所述提取区域的所述环境光源发射所述主色的环境光(L1)。
17.如权利要求16所述的方法，其中所述提取区域被选择成从一帧中提取(FE)的图像特征(J8)。
18.如权利要求16所述的方法，另外包括在所述指定颜色的分布中确定至少一种感兴趣的颜色(COI)并且提取指定在那里的像素色度，以得到一种要指定为所述主色的真实主色(TDC)。
19.如权利要求16所述的方法，其中所述指定颜色中的至少一个是区域颜色矢量(V)，其在所述着色色空间中不是必需的。
20.如权利要求16所述的方法，其中所述帧包括第一和第二帧，且通过依赖于来自前一帧(F3)的至少一个主色而至少部分获得帧(F4)的主色。
全文摘要
提取并处理在着色色空间中编码的视频内容用于通过环境光源发射模拟，包括从视频信号中提取主色信息，并使用三色主矩阵，经过未着色色空间转换颜色信息以形成第二着色色空间用于环境分布。步骤包括量化着色色空间以形成指定的颜色分布，比如通过减少可能的颜色状态，或存储以形成超像素；利用像素色度的模式，平均值，中值，或加权平均值选择主色。可进一步分析感兴趣的颜色以产生真实的主色，在先的视频帧可用于指导在后帧中主色的选择。
文档编号H04N5/57GK1977529SQ200580022007
公开日2007年6月6日 申请日期2005年6月27日 优先权日2004年6月30日
发明者S·古塔, M·J·埃尔廷 申请人:皇家飞利浦电子股份有限公司