专利名称：可视内容信号显示设备及其显示可视内容信号的方法
技术领域：
本发明涉及一种可视内容信号显示设备及其显示可视内容信号的方法，并且尤其涉及一种用于增强主显示器的系统。
近年来，随着更多的内容可以通过数量增加的分发(distribution)介质(包括例如卫星电视广播、数字通用盘(DVD)、有线广播和地面电视)得到，可以提供给用户的内容的种类和数量得到了显著增长。
除了内容的数量增加和分发的灵活性增加之外，内容供应行业还做出了相当大的努力来改善视听内容的用户体验(experience)。例如，诸如数字电视或DVD之类的数字视频分发的出现导致了可在家庭环境中产生的画面和声音的质量得到显著改善。而且，宽屏幕电视并且尤其是平面屏幕电视的出现导致了具有更接近类似于在例如电影院中遇见的宽高比的大屏幕电视的普及程度得到提高。
用户体验得到提高的另一个例子是家庭影院并且尤其是环绕声的出现，在环绕声的情况下，围绕着聆听位置安放若干扬声器(典型为五个或七个指向性扬声器加上一个用于低音效果的亚低音扬声器)，从而提供了一种沉浸其中的(immersed)声音体验。
还提出了可以通过为用户提供更宽的视角来实现用户体验的改善。例如，已知一些电影院利用了部分环绕用户的大的半球屏幕。一个实例是IMAX剧院表演。然而，对于大多数实际的(家庭的)环境来说，这些太大、太昂贵并且不切实际。
美国专利US 5,963,247公开了一种视觉显示系统，其中通过组合两个或更多个独立的图像序列来产生合成的类三维的图像序列。在所描述的系统中，记录独立的图像序列并将其投影到不同的屏幕上。对这些屏幕进行定位并且对独立的图像序列进行同步，以使得观看者看见遍布两个或更多个屏幕的合成画面。
然而，US 5,963,247的系统趋向于具有包括下述的许多相关的缺点。首先，该系统相当复杂，并且需要处理多个的独立图像序列。对于图像序列的发送和接收都需要这一处理。而且，必须记录一个以上的图像序列，这要求额外的设备并且带来了与记录有关的额外的麻烦和任务。类似地，必须分发多个图像序列，这增加了所需的带宽并且使用额外的分发资源。这可能会阻碍在现有的具有有限可用带宽的通信系统中进行分发。而且，由于诸如电影或电视节目之类的传统可视内容信号并不包括多个独立的相关图像序列，所以对于现有的内容信号不能实现增强的观看体验。此外，该系统需要一个以上的屏幕以及屏幕的精确的相对定位，以便实现所需的空间同步。
因此，一种改进的可视内容信号显示系统将是有利的，并且尤其是一种允许提高用户体验、增加灵活性、降低复杂性、降低成本、提高向后兼容性和/或便于记录内容信号的系统将是有利的。
因此，本发明优选地寻求单独地或以任何组合地减轻、减弱或消除一个或多个上述缺点。
根据本发明的第一方面，提供一种可视内容信号显示设备，包括用于接收可视内容信号的装置；用于将该可视内容信号呈现在主显示器上的装置；用于从该可视内容信号中提取背景内容信息的装置；用于响应于该背景内容信息而产生环绕(surround)图像的装置；以及用于在副显示区域上显示该环绕图像的装置，从而提供了具有增加的视角的合成显示。
本发明允许通过提供具有增加的视角的合成显示来提高用户体验。例如，副显示区域可以部分地或充分地或甚至完全地围绕一个或多个观看者，从而提供了更吸引人的观看体验。该观看体验可以提供一种与环绕声体验一致的环绕图像体验，从而提供了一种真实的令人沉浸的视听体验。副显示区域不需要存在于一个或多个屏幕或专用显示元件，而是可以使用任何合适的区域。
主显示器的图像可以通过使用在主显示器上呈现的内容信号的背景内容信息来扩展，从而除去或减少对独立的图像序列的需求。因此，可以得到具有低复杂性和/或高灵活性的可视内容信号显示设备。具体而言，可以实现或简化一种适合于家庭用途和用户市场的显示设备。
而且，由于仅需要记录和产生一个单一的内容信号，所以大大便于信号的记录和分发。而且，该可视内容显示设备可以完全地向后兼容并可和现有的记录、发送、广播和/或分发装置一起使用，并能够和现有的内容信号一起使用。例如，该可视内容显示设备可以被用于增强传统的电视广播或DVD内容的观看体验。
可以理解，环绕图像优选地不是静态图像，而是与在主显示器上显示的可视内容信号相关的动态环绕图像序列。术语图像用于包括单一的静态图像以及含有例如视频剪辑的图像序列二者。因此一幅图像可包括一个单一的画面或者可以包括多个连续的画面，例如提供一个视频序列。
根据本发明的一个特征，用于显示环绕图像的装置可操作用于将环绕图像投影到物体的外表面上。
副显示区域可以是合适物体的外表面，以及特别地可以不是专用于呈现环绕图像的物体。更确切地说，可以将环绕图像投影到可用的表面上，由此减少可视内容显示设备的成本、复杂性和/或尺寸。而且，这降低了对用于显示环绕图像所需的专用屏幕或装置的要求，并因此简化了配置。
根据本发明的一个不同的特征，外表面是房间的内表面。这就提供了一个特别简单的能增强观看体验的可视内容显示设备。由于房间的外表面为显示环绕图像以及特别是为提供环绕体验提供了一个合适的源，因此可改善观看体验。而且它简化了配置。内表面优选地可以是房间的地板、天花板和墙壁的一个、多个或全部。
根据本发明的一个不同的特征，用于提取的装置可操作用于从可视内容信号中提取实时背景内容信息，并且用于产生环绕图像的装置可操作用于响应于实时背景内容信息来产生实时环绕图像。
环绕图像可以动态变化以反映显示在主显示器上显示的内容信号。因此动态变化的图像可以被呈现，其伸展到主显示器的图像和接收的可视内容信号的图像之外，由此提供了改善的观看体验。环绕图像可以随场景变化和主显示器的背景中的其它变化而特别地改变，因此提供了紧跟主显示器的图像的环绕图像，从而增强了合成显示的连续性。
根据本发明的一个不同的特征，用于提取的装置可操作用于响应于包含在可视内容信号中的背景元数据来提取背景内容信息。可视内容信号可以特别地包含表示当前背景的元数据。例如，元数据可以表示可视内容信号是一场足球比赛，其可被用于产生对应于例如一群观众的环绕图像。元数据也可以直接表示背景特征或物体，例如数据可以表示例如主显示的部分包含天空。这允许以特别低的复杂性和/或准确的方式来产生背景内容信息。
根据本发明的一个不同的特征，用于提取的装置可操作用于响应于可视内容信号的内容分析来提取背景内容信息。这允许背景内容信息的完全自动提取而不需要包括任何额外的信息。因此，它保证了高度的向后兼容性。例如，内容分析可以表示可视内容信号是一场足球比赛，其可被用于产生对应于例如一群观众的环绕图像。内容分析可以例如选择地或额外地确定主显示器的图像部分的特定视觉特征。
根据本发明的一个不同的特征，内容分析包括图像物体识别。内容分析尤其可以检测可视内容信号中物体的存在。例如，内容分析可以表示主显示器的图像的一部分包含例如云、草地等，并且这可被用于产生合适的环绕图像。
根据本发明的一个不同的特征，用于产生环绕图像的装置可操作用于执行图像物体的运动估计并响应于该运动估计而产生环绕图像。这允许以合适的方法增强环绕图像并保证增加在主显示和环绕图像之间的连续性。例如，当物体到达主显示器的边缘时，主显示器中物体的运动可被追踪并在环绕图像中继续。
根据本发明的一个不同的特征，背景内容信息包括接近主显示器的边缘的可视内容信号的图像部分的视觉特征；用于产生环绕图像的装置可操作用于产生至少一个具有相应视觉特征的局部环绕图像；并且用于显示环绕图像的装置可操作用于显示接近边缘的局部环绕图像。
这允许越过在主显示器和副显示区域之间的边缘的高度连续性，并且因此便于实现合成显示，其可以被看作是一幅单一连续的图像。优选地，内容信息包括接近主显示器不同边缘的可视内容信号的多个图像部分的视觉特征，用于产生环绕图像的装置可操作用于产生多个具有相应视觉特征的局部环绕图像部分；以及用于显示环绕图像的装置可操作用于显示接近相应边缘的局部环绕图像。
根据本发明的一个不同的特征，用于产生环绕图像的装置可操作用于响应于与背景内容信息有关的预定图像来产生环绕图像。这提供了一个低复杂性的实现方式。特别地，可通过包括具有相似视觉特征的预存图像来产生环绕图像或其部分。例如，天空的预存图像可被包括在环绕图像中以延伸包括了天空的主显示器的图像部分。预定图像的特征可以被修改以反映主显示器的相应的图像部分。例如，亮度和色饱和度可以被修改以反映图像部分。
根据本发明的一个不同的特征，用于产生环绕图像的装置可操作用于如果没有确定出有效的背景内容信息，则响应于预定默认的图像来产生环绕图像。这允许如果不能确定合适的背景内容信息就呈现一个中性背景图像。默认图像特别地可是一个对应于不呈现背景图像的空背景图像。该图像也可以是一种颜色，例如亮度随视角(或距主图像的距离)的变化而改变。
根据本发明的一个不同的特征，用于产生环绕图像的装置可操作用于产生质量比主显示器上的内容信号的显示的质量更低的环绕图像。
环绕图像或其部分可以例如比主显示器的分辨率低。这便于处理和/或减少用于产生环绕图像的功能的要求。因此，例如可以实现例如预定图像的减少的处理时间或存储要求。
根据本发明的一个不同的特征，用于产生环绕图像的装置可操作用于产生具有随距主显示器的距离(视角)的增大而降低的质量的环绕图像。例如，空间分辨率可随距离(视角)的增加而减少。本发明人已经认识到，所减少的质量的灵敏度随距主显示器的距离的增加而减少，以及因此可以增加该质量，从而减少所包含的设备和/或处理的复杂度和成本。
根据本发明的一个不同的特征，用于产生环绕图像的装置可操作用于响应于与副显示相关的观看环境的特征来产生环绕图像。
例如投影的环绕图像可取决于观看环境的周围的亮度级和/或用来反射环绕图像的任何表面的反射率和可能的颜色。因此，可以实现用于特定观看环境的改善的定制。观看环境的特征可自动确定或例如可由用户的手工输入来确定。
根据本发明的一个不同的特征，可视内容信号显示设备还包括用于确定可视内容信号的种类(category)的装置，并且其中用于产生环绕图像的装置可操作用于响应于该种类来产生环绕图像处理。
可视内容信号的种类例如可涉及可视内容信号的内容的类型(genre)。例如，根据内容是动作、运动、新闻或音乐会内容，不同的算法和过程可被用于产生环绕图像。因此，这允许产生对于给定种类的可视内容信号优化的环绕图像。
根据本发明的第二方面，提供一种显示可视内容信号的方法，包括下列步骤接收可视内容信号；在主显示器上呈现可视内容信号；从可视内容信号中提取背景内容信息；响应于背景内容信息而产生环绕图像；以及在副显示区域上显示环绕图像，从而提供具有增加的视角的合成显示。
根据下文所述的实施例，本发明的这些和其它方面、特征和优点将是明显的，并将参考所述实施例对其进行阐明。
仅通过例子并参考附图将描述本发明的实施例，其中
图1说明根据本发明的实施例的可视内容显示装置；图2说明根据现有技术的包含电视显示器的观看布置；以及图3说明根据本发明的实施例的包含可视内容显示装置的观看布置。
下面的描述集中于可应用于可视内容显示设备的本发明的实施例，该可视内容显示设备尤其适合于家庭用户环境，但应当认识到，本发明不限于这种应用。为了简便起见，在本说明书中使用的术语“图像”包括单帧图像和多帧(例如运动)图像及图像序列。例如，环绕图像不必是单一的静态图像，而是可以包括(可能不受限制的)图像序列，例如与视频剪辑对应。
图1说明根据本发明的实施例的可视内容显示设备100。
可视内容显示设备100包括接收机101，该接收机101接收来自适当的源(未示出)的可视内容信号。该源可以是外部的或内部的，并且可以例如是电视广播信号或DVD盘。接收机101包括接收可视内容信号并将其提取或转换成适当格式所需的所有必要功能。例如，对于电视广播信号，接收机101包括对所接收的无线电信号进行放大、滤波、解调和解码以产生基带可视内容信号的所有需要的功能。
可视内容显示设备100还包括与接收机101相连的主显示器处理器103以及与主显示器处理器103相连的主显示器105。主显示器处理器103可操作用于处理可视内容信号并对主显示器105进行控制以显示可视内容信号。在优选实施例中，接收机101、主显示器处理器103和主显示器105相当于传统的电视机，以及可操作用于接收标准电视的可视内容信号并将其呈现在主显示器105上。
此外，可视内容显示设备100包括提取处理器107，该提取处理器与接收机101相连，并且从该接收机101接收基带可视内容信号。提取处理器107可操作用于从可视内容信号中提取背景内容信息。背景内容信息涉及在主显示器上显示的图像的背景特征。
在优选实施例中，提取处理器107通过提取由广播商嵌入可视内容信号中的元数据来提取背景内容信息。元数据包括表示主显示器图像的背景的信息。在优选实施例中，背景内容信息涉及形成显示的场景的背景的画面的图像部分，并且因此涉及在场景中趋近于相对静止的图像部分。例如，对于新闻广播，将新闻广播员看作前景，而可以将其余部分看作背景。然而，通常可以将背景内容信息看作涉及可适当扩展并外推到主显示器边缘之外的图像片段。当使用元数据时，广播商可以通过嵌入合适的元数据来确定将什么看作是背景信息。
在优选实施例中，元数据涉及朝向主显示器不同边缘的主显示器图像的视觉特征。例如，可以提取出表示下述的元数据朝向主显示器上边缘的图像部分对应于天空，朝向主显示器下边缘的图像部分对应于草地，以及朝向主显示器侧边缘的图像部分对应于沿边缘分成两半的草地和天空。可选择地或另外地，元数据可提供表示优选的背景颜色或纹理或者其它视觉特征的数据。
提取处理器107与副显示器处理器109相连。将所提取的背景内容信息馈送给副显示器处理器109，并且该副显示器处理器109可操作用于响应于此而产生环绕图像。在优选实施例中，副显示器处理器109与副显示单元111相连，该副显示单元111可操作用于通过将环绕图像显示在延伸超出主显示器105的副显示区域上来显示环绕图像。
在优选实施例中，副显示单元111包括显示投影仪，该显示投影仪可操作用于将图像投影在外表面上。该表面具体来说可以是外部的，并且优选是便携式反射屏，但在优选实施例中是观看环境中现有的物体的表面。优选地，该投影仪可操作用于将图像直接投影到主显示器所位于的房间的墙壁、地板和/或天花板上。
因此，该实施例提供了这样一种系统其中可以将与接收和显示的图像的背景相关的环绕图像投影到显示区域上，从而视角可以得到大大扩展，并且能够提供增强的且沉浸其中的观看体验。
为了进一步说明该优选实施例，图2说明按照现有技术的包括电视显示器的观看布置。图2示出了具有第一面墙壁203、第二面墙壁205和第三面墙壁207、地板209和天花板211的房间201。该房间包括主显示器213，该主显示器213具体来说可以是安装在第三面墙壁207上的传统的平面屏幕电视。
主显示器213放映包括当前图像的电影，为了清楚和简单起见，将该当前图像示出为具有四个不同的图像片段215、217、219、221。第一图像片段215对应于朝向主显示器213的离第一面墙壁203最近的边缘的图像的背景。第二图像片段217对应于朝向主显示器213的离第二面墙壁205最近的边缘的图像的背景。第三图像片段219对应于朝向主显示器213的离天花板211最近的边缘的图像的背景。第四图像片段221对应于图像的前景。
图2说明传统的观看环境。该观看布置的显著缺点是观看体验受到主显示器的尺寸小的限制，这不仅由于图像本身的尺寸而降低了所显示图像的效果，而且还允许大量的视觉混乱(distraction)。例如，在电影院中和在家庭影院或电视设备中感受到的情感体验之间的明显差别是由于视角太小造成的。典型地，电影院屏幕在尺寸上比家庭用户设备大至少一个数量级。宽视角能使观众沉浸在场景中并且获得更强烈的体验。
图3说明按照本发明的优选实施例的包括可视内容显示设备的观看布置。具体来说，图3说明可以由图1的可视内容显示设备100提供的观看体验。
在这个例子中，提取处理器107确定出存在靠近朝向第一面墙壁203延伸的主显示器213的边缘的图像片段215。该图像片段的特征被确定。例如，可以确定该图像片段主要包括绿色的多草的背景。因此副显示器处理器109控制副显示单元111来将绿草地的图像投影到第一面墙壁203上和第三面墙壁207的一部分上。
同样，也可以将第二图像片段217确定为绿色的和多草的，并且副显示单元111因此可将绿色草地的图像投影到第二面墙壁205上和第三面墙壁207的一部分上。
提取处理器107还可以确定出存在靠近主显示器213的上边缘的图像片段213。可以将该图像片段的特征确定为例如主要包括有云的蓝天。副显示器处理器109因此控制副显示单元111来将云的图像投影到天花板211上和第三面墙壁207的一部分上。
因此，在这种情况下将会为观众呈现出与原始显示器相比视角得到大大增加的局部环绕图像。投影到墙壁和天花板上的环绕图像不必与主显示器的图像的背景的精确匹配，或者不必具有从主显示器图像的光滑和不明显的过渡。相反，即使通过对主显示器图像的粗略近似也能够实现观看者体验的改善，并且尤其是对于一些图像，为了增强体验，投影相关颜色可能就足够了。
作为一个特定的例子，如果主显示器示出一个在城市的居住区中间说话的人，可以将建筑物和其它类似特征投影到侧面墙壁上，将天空和云可投影到天花板上，并且将具有彩色马赛克的街道的画面可投影到地板上。以这种方式，观众仍可以在主显示器上看到主要的聚焦图像，但是也可以，可能超出了他的眼角，看见侧面房屋的正面和天空中的云。这样，创建了提供更为强烈的观看体验的的环绕图像。
投影的图像可从不同的图像部分中获得，例如通过对这些图像部分的图像数据进行适当的重复、模糊和再采样。可选择地或另外地，可以使用现有的预存图像。例如，可视内容显示装置可以包括大量与不同的可能背景内容特征对应的预存图像。例如可以存储与少云的天空对应的图像(包括图像序列)、用于多云天空的另一图像和用于无云天空的另一图像等。因此，所提取的背景内容信息可用于为给定的图像部分选择合适的图像，并且可以将其投影到显示区域的相应部分上。
在一个实施例中，因此元数据可从可视内容信号中提取并被用于选择合适的预存图像。该图像可以具有修正成与例如主显示器的图像的亮度和色饱和度对应的特征。随后可以将该图像与为其它图像片段选择的其它图像拼接起来，并且可以将合成的环绕图像投影到房间的墙壁和/或天花板和/或地板上。具体来说，在一些实施例中，元数据可以直接表示或标识打算和可视内容信号一起使用的合适图像。
如果能够确定没有合适的背景内容信息，或等价地如果根据所确定的背景内容信息没有能够产生环绕图像，则可视内容显示设备优选地投影一个默认图像。具体来说，该默认图像可以是相应于不投影任何图像的空图像。然而，在优选实施例中，默认图像是框住主显示器以产生视觉上吸引人的显示的图像。
副显示单元111可优选地使用包括旋转多边形的投影仪/投影机(beamer)，从而可以将图像投影在房间中的几个表面上。可以将投影仪放置在观众之后、在主显示器之前、在天花板上或任何合适的位置上。在一些实施例中，可使用多个投影仪。
在优选实施例中，环绕图像的处理和产生是实时的。在此实施例中，背景内容信息是随着和当接收到可视内容信号时从其中实时提取的，并且将该信息用于产生与主显示器同步的环绕图像。优选地，任何与环绕图像的处理和产生有关的延迟是通过将可视内容信号对于主显示器等价地进行延迟而加以补偿的。
在一些实施例中，来自先前放映的图像的背景内容信息可被用于产生与当前图像对应的环绕图像。这在优选不延迟主显示器的可视内容信号的实施例中尤其有利。
在一些实施例中，背景内容信息可以通过可视内容信号的内容分析来提取。
内容分析可基于检测对于给定的内容种类典型的特定特征。例如，可以通过具有高的平均浓度的绿色和频繁的横向运动将视频内容项检测为与足球比赛有关。卡通片的特征在于典型地具有强烈的基色、高的亮度级和急剧的彩色过渡。
因此，视频编码参数可以有利地用于确定视频信号的内容。例如，在DCT变换块中高相对值的AC系数表明在变换块中很可能包含急剧过渡。对于卡通片，这种过渡是典型的，并且因此可以作为表示当前内容是卡通片的视频编码参数而包含进来。典型地，要考虑大量参数，并且可以将内容确定为与所确定的特征最紧密相关的内容种类。因此，还可以将色饱和度和亮度包含进来，以确定当前内容是否为卡通片。例如，如果视频编码数据表示高度的色饱和度、高亮度、高频DCT系数中高的能量集中度以及大的均匀或平坦的画面区域，则内容分析算法可以确定当前内容为卡通片。
典型地，视频编码参数和非视频编码参数二者可一起用于内容分析。例如，高度的运动、强亮度和相关音轨的有节奏的特性可表明当前内容是音乐视频。
本领域熟练的技术人员一般来说可以获得关于内容分析的更多信息。例如，C.Djeraba的论文“Content-Based Multimedia Indexing andRetrieval”(IEEE Multimedia，2002年4月-6月，Institute of Electricaland Electronic Engineers)；A.Yoshika等人的“A Survey onContent-Based Retrieval for Multimedia Database”(IEEE Transactionson Knowledge and Data Engineering，vol.11，No.1，1999年1月/2月，Institute of Electrical and Electronic Engineers)；N.Dimitrova等人的“Applications of Video-Content Analysis and Retrieval”(IEEEMultimedia，2002年7月-9月，Institute of Electrical and ElectronicEngineers)和其中所包括的参考文献都提供了对内容分析的介绍。
因此在一些实施例中，内容确定可用于为给定的可视内容信号确定背景内容信息的估计。例如，如果确定可视内容信号涉及足球比赛，则可产生包括例如与球队相关的观众或旗帜的环绕图像。如果将种类确定为卡通片，则可以在环绕图像中使用强烈的基色。
在一些实施例中，可以进行简化的内容分析，其仅仅确定不同图像片段的视觉特征。例如，可以进行内容分析以确定图像的内容。因此，可以使用例如图像物体的物体识别或辨别来产生背景内容信息。例如，物体检测算法可确定图像包含运动物体。优选地，物体检测可与运动估计相结合，并且响应于所估计的运动来产生环绕图像。
例如，可以检测出运动物体并且可以确定物体在主显示器中的轨迹。当物体到达主显示器的边缘时，可视内容显示设备可推断轨迹并将物体的继续运动显示到环绕图像中。
作为进一步的实例，内容分析和处理可包括将背景从前景中滤去。例如，物体检测和例如模式识别可用来检测可以与背景分离的物体。可由内容分析或处理确定并且能用于产生环绕图像的参数的例子包括图像中背景的平均颜色；图像的强度或亮度；不同场景和各个剪辑或场景中动态变化的持续时间和频率。
在优选实施例中，环绕图像是以比主显示器低的质量水平产生的。本发明人已经认识到，例如高空间分辨率仅仅是处于观众的注意力中心的主显示器所需要的。典型地，观众会感觉主装置(实际焦点)的图像的清晰的轮廓和颜色，而背景的感觉不太清晰(在较宽的视角下，仅感觉出近似的轮廓和颜色)。
因此，在优选实施例中，环绕图像处于比主显示器低的空间分辨率下。实际上，在优选实施例中，环绕图像的质量并且特别是分辨率随着离主显示器的距离增大(增大视角)而降低。减少不必是单调的，而可以例如是到主显示器的距离的阶梯函数。
质量水平降低可以例如允许提取背景内容信息所需的计算时间更少，因为需要不太精确的信息(较低的空间和动态分辨率)。而且，储存任何预存的背景图像所需要的存储容量更小。另外，用于投影环绕图像的设备能够不太复杂并因此更加便宜。
在优选实施例中，投影的环绕图像还可被定制成特定的观看布置和可视内容信号的内容。
在优选实施例中，可视内容显示设备可操作用于修正用于提取背景内容信息以及根据可视内容信号的种类(比如类型)产生环绕图像的处理参数和算法。例如，可通过环绕图像增强的内容包括电影/肥皂剧、音乐会、运动比赛、假日画面、记录片、戏剧/表演、动物系列和科幻节目。例如，太空科幻场景可通过在天花板上示出接近宇宙飞船和星球的环绕图像来增强。
环绕图像的处理和特性可取决于可视内容信号的内容的类型。例如，如果内容对应于户外摇滚音乐会，则产生可生成具有焰火的夜空的算法，然而如果内容对应于科幻节目中空间站的户外场景，则产生具有远星和宇宙飞船的夜空。
在优选实施例中，还可响应于观看环境的特征而产生环绕图像。作为一个简单的例子，优选地投影环绕图像以使其提供比主显示器低但明亮得足以清晰观看的亮度。由于所观看图像将取决于所投影表面的反射率以及房间中总的亮度级，所以投影图像的亮度取决于所用表面的亮度级和特性。
这些和其它特征例如可由包括例如光强计的传感器来检测。
可以允许进一步的定制并且因此增强观看体验的特征的其它例子包括如下可视内容显示设备可以包括用于修正环绕图像的强度并且因此修正体验的强度的输入端。敏感的人可能更喜欢轻微增强，而对显示设备更熟悉的观众也许更喜欢更强的体验。而且，在一些实施例中，可视内容信号显示设备可以包括用于确定可视内容信号种类的装置，以及用于产生环绕图像的装置可操作用于响应于如由用户确定的优选的灵敏度而产生环绕图像。
可视内容显示设备可包括用于改变环绕图像的动态特性(dynamics)的输入端。
可视内容显示设备可包括基于元数据或图像处理/分析来选择环绕图像的开关。
可视内容显示设备可包括用于确定反映环绕图像的优选色彩和动态特性(比如切换的速度、色彩偏好等)的用户简档的装置。例如，如果用户已看了一部电影四次，则在第五次看时会需要不同的观看体验。在那种情况下，可以存储用户简档并且将其用于为了以后观看而控制可视内容显示设备的设置(比如灵敏度水平)。
可视内容显示设备可有选择地提供环绕图像。例如，可以仅在预定事件发生时(例如仅在足球赛中进球得分时)才提供环绕图像。
在一些实施例中，可以响应于由传感器(比如话筒、CCD摄像机等)接收的传送音频和视频信号的处理来部分地确定环绕图像。除了从可视内容信号中提取信息之外，也可以使用这些信号，和/或这些信号可作为嵌入的数据流被包含在可视内容信号中并且从中被提取。能从传感器信号中提取的信息可与从可视内容信号的可视内容中提取的信息相似。此外，可考虑环境状况，例如房间中的光强(白天或夜晚，房间中的光源)、房间中的人数、用于处理来自用户的命令的语音识别(切换到不同的类型，或增加环绕图像的灵敏度、亮度)、环绕图像对事件的适应(象宴会、背景谈话等)、自学等。
作为一个特定的例子，可视内容显示设备可被提供作为用户环绕图像控制箱，其包含许多特征和控制装置，例如包括以下-用于改变环绕体验强度的控制输入端。
-用于选择内容类型的控制输入端。
-用于选择内容项种类的控制输入端。
-用于改变环绕图像处理变化的动态特性的控制输入端。
-用于控制场景对比度的控制输入。
-用于选择和/或存储用户简档的控制输入端或自动装置。
-用于进入自学模式(比如测量或确定环绕图像控制箱的操作特征，例如放映场景的数量，例如在英式足球比赛中能及时强调随后的得分)的装置。
-分化(polarization)控制装置例如用于控制仅对预定事件出现增强。
-用于为环绕图像处理选择源信息的源选择器，例如，使用哪些来自音频/视频内容信号的信息(颜色、强度、图像识别等)。
-用于控制对当前观看环境的适应的控制输入端。
-用途选择器，用于选择比如环绕体验的用途，从而允许选择环绕图像以最合适地实现这一用途。
-情绪(mood)选择器。
本发明能以包括硬件、软件、固件或这些形式的任何组合的任一合适的形式来实现。然而，优选地，本发明至少部分地以运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件来实现。本发明的实施例的元件和部件可以任何合适的方式被物理地、功能地和逻辑地实现。实际上该功能可在一个单一的单元、多个单元中或作为其它功能性单元的部分来实现。因此，本发明可以在一个单一的单元中实现，或者可以被物理地和功能地分布在不同的单元和处理器之间。
尽管已经结合优选实施例描述了本发明，但是不打算将本发明限于本文所述的特定形式。相反，仅通过所附的权利要求书来限定本发明的范围。在权利要求书中，术语包括并不排除其它部件或步骤的存在。而且，尽管一个一个单独地列出，但是多个装置、元件或方法步骤可以由比如一个单一的单元或处理器来实现。另外，尽管各个特征可被包括在不同的权利要求中，但这些特征可以被有利地组合，并且包含在不同权利要求中并不意味着特征的组合不是可行的和/或有利的。此外，单个的引用的并不排除多个。因此对“一”、“一个”、“第一”、“第二”等的引用并不排除多个。
权利要求
1.一种可视内容信号显示设备(100)，包括用于接收可视内容信号的装置(101)；用于将可视内容信号呈现在主显示器(105)上的装置(103)；用于从可视内容信号中提取背景内容信息的装置(107)；用于响应于背景内容信息而产生环绕图像的装置(109)；以及用于在副显示区域上显示环绕图像从而提供具有增加的视角的合成显示的装置(111)。
2.如权利要求1所述的可视内容信号显示设备，其中用于显示环绕图像的装置(111)可操作用于将环绕图像投影到物体的外表面上。
3.如权利要求2所述的可视内容信号显示设备，其中外表面是房间的内表面。
4.如权利要求1所述的可视内容信号显示设备，其中用于提取的装置(107)可操作用于从可视内容信号中提取实时背景内容信息，并且用于产生环绕图像的装置(109)可操作用于响应于实时背景内容信息而产生实时环绕图像。
5.如权利要求1所述的可视内容信号显示设备，其中用于提取的装置(107)可操作用于响应于包含在可视内容信号中的背景元数据来提取背景内容信息。
6.如权利要求1所述的可视内容信号显示设备，其中用于提取的装置(107)可操作用于响应于可视内容信号的内容分析来提取背景内容信息。
7.如权利要求6所述的可视内容信号显示设备，其中内容分析包括图像物体识别。
8.如权利要求7所述的可视内容信号显示设备，其中用于产生环绕图像的装置(109)可操作用于执行图像物体的运动估计并响应于该运动估计而产生环绕图像。
9.如权利要求1所述的可视内容信号显示设备，其中背景内容信息包括接近于主显示器边缘的可视内容信号的图像部分的视觉特征；用于产生环绕图像的装置(109)可操作用于产生具有相应视觉特征的至少局部环绕图像；以及用于显示环绕图像的装置(111)可操作用于显示接近边缘的局部环绕图像。
10.如权利要求1所述的可视内容信号显示设备，其中用于产生环绕图像的装置(109)可操作用于响应于与背景内容信息相关的预定图像而产生环绕图像。
11.如权利要求10所述的可视内容信号显示设备，其中用于产生环绕图像的装置(109)可操作用于如果没有确定出有效的背景内容信息，则响应于预定默认图像来产生环绕图像。
12.如权利要求1所述的可视内容信号显示设备，其中用于产生环绕图像的装置(109)可操作用于产生质量低于在主显示器上内容信号的显示质量的环绕图像。
13.如权利要求1所述的可视内容信号显示设备，其中用于产生环绕图像的装置(109)可操作用于产生具有随着距主显示器的距离的增大而降低的质量的环绕图像。
14.如权利要求1所述的可视内容信号显示设备，其中用于产生环绕图像的装置(109)可操作用于响应于与副显示区域相关的观看环境的特征来产生环绕图像。
15.如权利要求1所述的可视内容信号显示设备，还包括用于确定可视内容信号的种类的装置，并且其中用于产生环绕图像的装置(109)可操作用于响应于该种类来产生环绕图像处理。
16.一种显示可视内容信号的方法，包括下列步骤接收可视内容信号；在主显示器(105)上呈现可视内容信号；从可视内容信号中提取背景内容信息；响应于背景内容信息而产生环绕图像；以及在副显示区域上显示环绕图像，从而提供具有增加的视角的合成显示。
17.一种能使根据权利要求16所述的方法执行的计算机程序。
18.一种包括如权利要求17所述的计算机程序的记录载体。
全文摘要
本发明涉及一种包括接收可视内容信号的接收机(101)的可视内容信号显示设备(100)。接收机(101)与主显示器处理器(103)相连，该主显示器处理器(103)与主显示器(105)相连，并在其上呈现可视内容信号。接收机(101)还与从可视内容信号中提取背景内容信息的提取处理器(107)相连。背景内容信息被馈送到副显示器处理器(109)，该副显示器处理器(109)基于所提取的背景内容信息来产生环绕图像。环绕图像包括与主显示器(105)的图像的视觉特征相应的视觉特征。该显示设备(100)还包括与副显示器处理器(109)相连的副显示单元(111)，并且该副显示单元可操作用于将环绕图像显示在副显示区域上，从而实现具有增加的视角的合成显示。环绕图像优选地被投影到房间的墙壁和天花板上，从而提供了增强的观看体验。
文档编号G09G3/00GK1836202SQ200480023672
公开日2006年9月20日 申请日期2004年8月5日 优先权日2003年8月19日
发明者E·R·米恩德斯 申请人:皇家飞利浦电子股份有限公司