专利名称：基于内容的图像调节的制作方法
技术领域：
本发明总地涉及调节视频信号，更具体而言涉及基于信号属性、图像属性和图像内容来调节图像显示设定。
著作权通告/许可
本专利文献的公开内容的一部分包含受著作权保护的素材。著作权所有人不反对任何人对本专利文献或专利公开以其出现在专利和商标局专利文件或记录中的形式进行复制再现，但除此之外保留一切著作权权利。以下通告适用Copyright
2006，Sony Electronics Inc.，All RightsReserved。
背景技术：
当今的电视机和监视器通常包括多个不同的图像调节机制。用户可以浏览显示菜单以手工调节诸如亮度、对比度、锐度、色调等等之类的图像显示设定。当图像显示设定被调节时，图像将会以不同的方式显现在电视机或监视器上。
一些电视机和监视器还包括一个或多个预设的显示模式，其中每一个包括预设的色调、锐度、对比度、亮度等等。用户可以通过浏览显示菜单来选择预设显示模式。一些显示模式比起其他显示模式来可以更准确地显示某些图像。例如，体育显示模式可包括一般被认为对于观看体育赛事最合适的图像显示设定。同样地，影院显示模式可包括一般被认为对于观看大多数电影来说最合适的图像显示设定。然而，为了利用这种预设的显示模式，每当用户改变其正在观看的内容时，用户就必须手工改变显示模式。此外，预设的显示模式在整个电影(对于每个场景)、体育赛事等等期间都适用。然而，特定的预设显示模式不可能在整个节目、电影或体育赛事期间都包括最佳图像显示设定。
发明内容
分析视频输入信号以检测图像内容和图像属性，其中检测图像内容包括自动得出图像特征。基于检测到的图像内容为视频输入信号确定内容群组。每个内容群组包括预定图像属性。基于检测到的图像属性与预定图像属性之间的差异，调节图像显示设定。
图1A示出了图像调节设备的一个实施例； 图1B示出了根据本发明一个实施例的示例性信号分析器； 图1C示出了根据本发明一个实施例的示例性群组确定器； 图2A示出了根据本发明一个实施例的示例性多媒体系统； 图2B示出了根据本发明另一实施例的示例性多媒体系统； 图2C示出了根据本发明另一实施例的示例性多媒体系统； 图3示出了根据本发明一个实施例的修改图像的方法； 图4示出了根据本发明另一实施例的修改图像的方法； 图5示出了根据本发明另一实施例的修改图像的方法； 图6示出了根据本发明一个实施例的修改输入信号的方法； 图7示出了本发明的实施例可在其上操作的、采取计算机系统的示例性形式的机器的框图。
具体实施例方式 在以下对本发明实施例的详细描述中，参考了附图，在附图中相似的标号表示类似的元件，并且以图示方式示出了可用来实现本发明的具体实施例。这些实施例被充分详细地描述，以使得本领域的技术人员能够实现本发明，但应当明白，其他实施例也可被利用，并且在不脱离本发明的范围的情况下可以进行逻辑的、机械的、电气的、功能的和其他的改变。因此，以下详细描述不应当被理解为限制性的，并且本发明的范围仅由所附权利要求限定。
为了清晰起见，提供以下术语定义。
术语“信号属性”指的是视频信号或静止图像信号的属性。信号属性可包括元数据(例如，标题、时间、日期、GPS坐标等等的元数据)、信号结构(例如，隔行或逐行扫描)、编码(例如，MPEG-7)、信号噪声，等等。
术语“图像属性”指的是可从信号显示的图像的属性。图像属性可包括图像大小、图像分辨率、帧速率、动态范围、偏色(特定颜色占主导)、直方图(对于每个颜色通道，图像内的每个灰度值下的像素数目)、模糊、图像噪声，等等。
术语“图像内容”指的是观看者在观看图像时将会识别出的对象和场景以及这些对象和场景的属性(例如，通过照相获取的对象和场景)。图像内容包括高级别图像特征(例如，脸部、建筑物、人类、动物、风景等等)以及低级别图像特征(例如，纹理、真实对象颜色、形状等等)。
术语“图像显示设定”指的是可被调节来修改图像显现在显示器上的方式的显示器设定。图像显示设定是显示设备的属性，而信号属性、图像属性和图像内容是信号的属性。图像显示设定可包括屏幕分辨率(与图像分辨率相对)、刷新速率、亮度、对比度、色调、饱和度、白平衡、锐度，等等。
术语“所显示图像属性”指的是在图像已被显示设备(或图像调节设备)处理之后该图像的属性。所显示图像属性可包括与“图像属性”相同的参数，但是参数的值可能不同。图像显示设定通常影响所显示图像属性。
从对本发明的操作的概述开始，图1示出了图像调节设备100的一个实施例。图像调节设备100可修改一个或多个图像显示设定(例如，对比度、亮度、色调等等)，以使得所显示图像属性(例如，动态范围、模糊、图像噪声等等)与输入信号的图像属性不同。或者，图像调节设备100可以修改输入信号，以生成具有经修改的图像属性的输出信号。为了修改图像显示设定，图像调节设备100可以分析视频输入以检测图像属性和图像内容。图像调节设备100可以基于检测到的图像内容来确定视频输入信号的内容群组(并且向其应用内容群组)，并且应用适当的内容群组。内容群组可包括与检测到的图像属性相比较以确定如何修改图像显示设定的预定图像属性。修改图像显示设定可以生成更容易看见、更美观、是所记录图像的更准确表示等等的图像。
图像调节设备100可用于在信号源与视频信号的最终显示之间的任何点处截取并修改视频信号。例如，图像调节设备100可被包括在电视机或监视器、机顶盒、服务器方或客户端方路由器等等之中。虽然本发明不限于用于内容检测、内容群组指派或图像显示设定调节的任何特定的逻辑或算法，但为了清晰起见，描述了简化的图像调节设备100。
在一个实施例中，图像调节设备100包括由微控制器105、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他专用处理单元执行的逻辑。在另一实施例中，图像调节设备100可包括被中央处理单元执行的逻辑。或者，图像调节设备100可以实现为一系列状态机(例如，知道如何执行一系列操作的内部逻辑)、逻辑电路(例如，按时序经过一系列事件的逻辑，或者其输出在输入改变后立即改变的逻辑)、或者状态机和逻辑电路的组合。
在一个实施例中，图像调节设备100包括输入端105、信号分析器110、帧速率调节器112、群组确定器115、图像调节器120、音频调节器125以及输出端130。或者，帧速率调节器112、群组确定器115、图像调节器120和音频调节器125中的一个或多个可被省略。
输入端105接收输入信号。输入信号可以是视频输入信号或静止图像输入信号。可接收的视频输入信号的示例包括数字视频信号(例如，高级电视标准委员会(ATSC)信号、数字视频广播(DVB)信号等等)或者模拟视频信号(例如，国家电视标准委员会(NTSC)信号、逐行倒相(PAL)信号、顺序彩色记忆(SECAM)信号、PAL/SECAM信号等等)。所接收的视频和/或静止图像信号可被压缩(例如，使用运动图片专家组1(MPEG-1)、MPEG-2、MPEG-4、MPEG-7、视频编解码器1(VC-1)等等)或不被压缩。所接收的视频输入信号可以是隔行的或非隔行的。
输入端105与信号分析器110相耦合并可将接收到的输入信号传递到信号分析器110。信号分析器110可以分析输入信号以确定信号属性、图像内容和/或图像属性。可确定的图像属性的示例包括图像大小、图像分辨率、动态范围、偏色等等。可确定的信号属性的示例包括编码、信号噪声、信号结构(逐行或隔行扫描)等等。在一个实施例中，确定图像内容包括得出输入信号的图像特征。高级别图像特征(例如，脸部、建筑物、人类、动物、风景等等)和低级别图像特征(例如，纹理、颜色、形状等等)都可被得出。信号分析器110可以自动得出低级别图像特征和高级别图像特征两者。信号分析器110随后可基于所得出的图像特征的组合来确定内容。在下文中参考图1B来更详细论述信号分析器110。
参考图1A，在一个实施例中，图像调节设备100包括帧速率调节器112。在一个实施例中，帧速率调节器112具有与信号分析器110的输出相连的输入(如图所示)。在另一实施例中，帧速率调节器112具有与群组确定器115、图像调节器120和/或音频调节器125的输出相连的输入。
帧速率调节器112可以基于由信号分析器110检测到的信号属性、图像内容和/或运动来调节视频输入信号的帧速率。在一个实施例中，如果检测到图像特征具有大于阈值的运动，则帧速率调节器112增大帧速率。在一个实施例中，帧速率的阈值是基于运动对象的速度来确定的。例如，阈值可以指出，在帧与帧之间，对象不应当移动多于三个像素。因此，如果检测到某一对象在两个帧之间移动了多于三个像素，则可以增大帧速率，直到对象在帧与帧之间移动三个像素或更少为止。
帧速率的增大量也可取决于阈值和检测到的运动之间的差异。或者，一查找表或其他数据结构可包括多个条目，每个条目将运动向量或模糊量与指定的帧速率关联起来。在一个实施例中，平均全局运动被用于判定是否调节帧速率。或者，帧速率调节可基于最快的运动图像特征。
在一个实施例中，群组确定器115具有与帧速率调节器112的输出相连接的输入。在另一实施例中，群组确定器115具有与信号分析器110的输出相连接的输入。群组确定器115接收由信号分析器110得出的低级别特征和高级别特征。基于低级别特征和/或高级别特征，群组确定器115可确定输入信号的内容群组(也称为内容模式)，并且将所确定的内容群组指派给该信号。例如，如果所得出的图像特征包括天空、自然风景，而不包括脸部，则可以确定并指派风景群组。另一方面，如果检测到多个脸部而没有运动，则可以确定并指派肖像群组。
在一个实施例中，群组确定器115向图像指派单个内容群组。或者，群组确定器115可以将图像划分成多个图像部分。可以基于空间布置(例如，图像的上半部与图像的下半部)、基于所得出的特征的边界或者基于其他标准来将图像划分成多个图像部分。群组确定器115随后可为包含第一图像特征的第一图像部分确定第一内容群组，并且为包含第二图像特征的第二图像部分确定第二内容群组。输入信号也可被划分成多于两个图像部分，其中每个图像部分可被指派以不同的内容群组。在下文中参考图1C来更详细论述群组确定器115。
参考图1A，在一个实施例中，图像调节设备100包括图像调节器120，该图像调节器120具有与群组确定器115的输出相耦合的输入。如上所述，每个内容群组包括预定的图像属性的集合。图像调节器120可以基于检测到的图像属性(由信号分析器110检测到)与所指派的一个或多个内容群组的预定图像属性的比较，来调节一个或多个图像显示设定。检测到的图像属性与预定的图像属性之间的差异可以决定对图像显示设定的调节的幅度。或者，图像调节器120可以修改输入信号，以使得当其被显示在具有已知的图像显示设定的显示器上时，所显示的图像将具有预定的图像属性。
在一个实施例中，图像调节设备100包括音频调节器125，该音频调节器125具有与群组确定器115的输出相耦合的输入。音频调节器125可以基于检测到的音频属性(由信号分析器110检测到)与所指派的一个或多个群组的预定音频属性的比较，来调节一个或多个音频设定(例如，音量、均衡、音频回放速度等等)。在向输入信号指派了多个内容群组的情况下，可以基于内容群组之一的预定音频属性和检测到的音频属性之间的差异，或者基于所指派的内容群组的音频属性的平均或其他组合，来修改音频设定。
输出端130可具有与帧速率调节器112、图像调节器120和音频调节器125中的一个或多个的输出相连接的输入。在一个实施例中，输出端130包括利用经调节的图像显示设定和/或经调节的帧速率来显示输入信号的显示器。输出端130还可包括利用经调节的音频设定来发出输入信号的音频部分的扬声器。
在另一实施例中，输出端130向具有显示器和/或扬声器的设备发送输出信号。输出端130可以基于从帧速率调节器112、图像调节器120和音频调节器125中的一个或多个接收到的调节指示来产生输出信号。输出信号当被显示在具有已知的图像显示设定的显示设备上时可以具有所确定的一个内容群组(或多个内容群组)的预定图像属性。输出信号当被显示在显示设备上时还可具有所确定的内容群组的预定音频属性和/或经调节的帧速率。
在另一实施例中，输出端130将输入信号与图像显示设定修改信号一起发送到具有显示器和/或扬声器的设备。图像显示设定修改信号可指示显示设备调节其图像显示设定，从而以示出所确定的内容群组的预定图像属性的方式显示图像。图像显示设定修改信号可以是附加到输入信号的元数据。
图1B示出了根据本发明一个实施例的示例性信号分析器110。信号分析器110可以分析输入信号以确定信号属性、图像内容和/或图像属性。在一个实施例中，确定图像内容包括得出输入信号的图像特征。高级别图像特征(例如，脸部、建筑物、人类、动物、风景等等)和低级别图像特征(例如，纹理、颜色、形状等等)都可被得出。信号分析器110随后可基于所得出的图像特征的组合来确定内容。
如果所接收的图像是压缩的，则可在信号仍处于压缩状态同时确定一个或多个信号属性、图像属性和/或图像内容。随后可以对信号进行解压缩，并且随后可确定其他信号属性、图像属性和/或图像内容。一些信号属性、图像属性和/或图像内容可能在图像处于压缩状态时更容易检测，而其他信号属性、图像属性和/或内容可能在图像被解压缩后更容易确定。例如，噪声检测可以对压缩数据执行，而脸部检测可对解压缩后的数据执行。
信号分析器110可以在信号被逐帧接收到的同时动态分析信号(例如，每一帧、每隔一帧等等可以分别被分析)，或者可以以帧序列的形式分析信号(例如，每三帧可以一起被分析)。在帧序列被一起分析的情况下，在这些帧之一中显现的图像内容可被应用到该序列中的每个帧。或者，图像内容可以不被应用到这些帧，除非该图像内容显现在该序列中的每个帧之中。
在一个实施例中，信号分析器110包括信号属性检测器135、图像属性检测器140。在其他实施例中，信号分析器110还包括运动检测器150和音频属性检测器155。
信号属性检测器135分析输入信号以确定信号属性(例如，编码、信号噪声、信号结构等等)。例如，信号属性检测器135可分析输入信号以读取被附加到信号的任何元数据。这种元数据可提供关于图像内容和/或图像属性的信息。例如，MPEG-7编码的视频信号包括可描述图像内容、音频信息和其他信号细节的元数据。信号属性检测器135还可确定例如信号噪声比或者信号是隔行的还是非隔行的。
在一个实施例中，图像属性检测器140确定输入信号的诸如图像大小、图像分辨率、偏色等等之类的图像属性。在一个实施例中，图像属性检测器140得出输入信号的图像特征，这些图像特征随后可用于确定输入信号的图像内容。图像属性检测器140可以从输入信号中得出高级别图像特征(例如，脸部、建筑物、人类、动画、风景等等)和低级别图像特征(例如，纹理、颜色、形状等等)。图像属性检测器140可以自动得出低级别图像特征和高级别图像特征两者。基于内容的图像检索领域的普通技术人员已知的用于得出一些可能的图像特征的示例性技术在下文中描述。然而，其他已知技术也可用于得出相同或不同的图像特征。
在一个实施例中，图像属性检测器140分析输入信号以得出信号中包含的颜色。所得出的颜色和所得出的颜色在图像内的分布随后可用于单独地或者与其他低级别特征一起确定高级别图像特征和/或图像内容。例如，如果图像在第一图像部分中具有很大比例的蓝色并且在另一图像部分中具有很大比例的黄色，则该图像是海滩景色的图像。可通过映射颜色直方图来得出颜色。随后可将这种颜色直方图与所存储的与指定的高级别特征相关联的颜色直方图相比较。基于该比较，可以确定图像内容的信息。还可以利用不同的技术来确定和比较颜色(例如，通过使用高斯模型、贝叶斯分类器等等)。
在一个实施例中，图像属性检测器140使用椭圆颜色模型来确定高级别特征和/或图像内容。通过把具有一高级别特征的一组图像的像素映射在色调、饱和度、值(HSV)颜色空间上，可以为该高级别特征生成椭圆颜色模型。随后可利用具有该高级别特征的第一组训练图像和没有该高级别特征的第二组训练图像来训练该组图像。随后通过最大化第一组训练图像和第二组训练图像之间的统计距离来确定最优椭圆颜色模型。
(例如，输入信号的)图像随后可被映射到HSV颜色空间上，并且被与针对高级别特征的椭圆颜色模型相比较。该图像中与该椭圆颜色模型中的像素相匹配的像素的比例可用于估计该图像包括该高级别图像特征的概率。此比较可利用以下式子来确定 其中
是该颜色椭圆模型中的像素的量，
是图像的也在该颜色椭圆模型中的像素的量。如果图像具有与颜色椭圆模型的像素
匹配的大量像素
则距离d(I，T)倾向于较小，从而可以判定在该图像中存在该高级别特征。
如果一高级别特征包括多个不同颜色，例如红花和绿叶，则该高级别特征可被分割。可以为每个片段生成一单独的椭圆颜色模型。随后可将映射在HSV颜色空间上的图像与每个颜色椭圆模型相比较。如果距离d(I，T)对于这些颜色椭圆模型都较小，则可以判定在该图像中存在该高级别特征。
在一个实施例中，图像属性检测器140分析输入信号以得出该信号中包含的纹理。可通过找出输入信号中包含的图像中的可视图案来确定纹理。纹理还可包括关于图像和可视图案在空间上如何限定的信息。纹理可被表示为纹理元素(纹素(texel))，这些纹理元素可以依据在图像中检测到多少纹理、这些纹素是如何布置的等等被放置到若干个集合(例如，阵列)中。这些集合可以限定纹理以及纹理位于图像中何处。这种纹素和集合可被与所存储的与指定的高级别特征相关联的纹素和集合相比较，以确定图像内容的信息。
在一个实施例中，图像属性检测器140使用基于小波的纹理特征提取来确定高级别特征和/或图像内容。图像属性检测器140可以包括多个纹理模型，其中每一个用于特定的图像特征或图像内容。每个纹理模型可包括小波系数和与小波系数相关联的各种值，如下所述。小波系数和相关联的值可被与从输入信号中提取出的小波系数和相关联的值相比较，以确定在视频输入信号中是否包括任何高级别特征和/或图像内容。
可通过例如对图像执行Haar小波变换来计算小波系数。通过根据以下公式组合相邻像素值可计算初始的低级别级数 其中L是低频系数，i是小波系数的索引号，并且P是来自图像的像素值。通过根据以下公式组合相邻像素值，可计算初始的高级别系数 其中H是高频系数，i是小波系数的索引号，并且P是来自图像的像素值。
可以递归地应用Haar小波变换，以便对每个初始低级别系数和高级别系数执行Haar小波变换，以产生第二级系数。根据需要，Haar小波变换随后可被应用到第二级系数，以产生第三级系数，等等。在一个实施例中，使用四级系数(例如，计算四个递归小波变换)。
来自多个级别的小波系数可用于为这多个级别的各种子带计算系数平均绝对值。例如，给定子带(例如，低-高(LH)子带)的系数平均绝对值μ可利用以下公式来计算 其中LH(i)是级别i上的LH子带，W是小波系数，m是系数行，n是系数列，M等于系数行的总数，N等于系数列的总数。也可为这多个级别的其他子带(例如，高-高(HH)、高-低(HL)和低-低(LL))确定系数平均绝对值。
这多个级别的小波系数可用于计算这多个级别的各种子带的系数方差值。例如，可以利用以下公式来计算给定子带LH的系数方差值σ2 其中LH(i)是级别i上的LH子带，W是小波系数，m是系数行，n是系数列，M等于系数行的总数，N等于系数列的总数，并且μ是相应的系数平均绝对值。也可为这多个级别的其他子带(例如，HH、HL和LL)确定系数方差值。
然后可根据以下公式利用系数平均绝对值来计算平均绝对纹理角度 其中θμ(i)是平均绝对值纹理角度，μ是系数平均绝对值，i是子带级别，LH是低-高子带，并且HL是高-低子带。
可根据以下公式利用系数方差值来计算方差值纹理角度 其中θσ(i)是方差值纹理角度，σ是系数方差值，i是子带级别，LH是低-高子带，并且HL是高-低子带。平均绝对纹理角度和方差值纹理角度一起表示纹理在图像中的朝向。
根据以下公式可计算总平均绝对值 其中μ(i)是总平均绝对值，i是小波级别，μLH(i)是LH子带的系数平均绝对值，μHH(i)是HH子带的系数平均绝对值，并且μHL(i)是HL子带的系数平均绝对值。
根据以下公式可计算总方差值 其中σ(i)是总方差值，i是小波级别，σLH(i)是LH子带的系数方差值，σHH(i)是HH子带的系数方差值，并且σHL(i)是HL子带的系数方差值。
总平均绝对值和总方差值可用于计算纹理模型和输入信号的图像之间的距离值。可以为参考图像或具有某一高级别特征的图像计算上述值以生成纹理模型。然后可为输入信号计算这些值。视频输入信号的值被与纹理模型的值相比较。如果两者之间的距离D(表示纹理相似性)较小，则输入信号可被判定为包括该高级别特征。可以利用以下式子来计算距离D 其中D是距离值，T表示纹理模型，I表示测试图像，i是小波级别，μ是总平均绝对值，σ是总方差值，θσ是方差值纹理角度，并且θμ是平均绝对值纹理角度。
在一个实施例中，图像属性检测器140确定图像内的区域(例如，图像部分)的形状。可通过向图像应用分割、斑点提取、边缘检测和/或其他已知的形状检测技术来确定形状。随后可将所确定的形状与存储的形状的数据库相比较，以确定关于图像内容的信息。图像属性检测器140随后可基于检测到的图像属性和/或图像特征来确定图像内容。在一个实施例中，图像属性检测器140使用所得出的图像特征的组合来确定图像内容。
在一个实施例中，图像属性检测器145使用所得出的低级别图像特征来确定高级别图像特征。例如，所得出的低级别图像特征可用于确定一个或多个人类、风景、建筑物等等。图像属性检测器145可以组合以上所述的低级别图像特征以及现有技术中已知的其他低级别图像特征，以确定高级别图像特征。例如，第一形状、纹理和颜色可对应于脸部，而第二形状、纹理和颜色可对应于树木。
在一个实施例中，信号分析器110包括运动检测器150。运动检测器150检测视频输入信号的图像内的运动。运动检测器150可例如通过使用运动向量来检测运动图像部分。这种运动向量可用于确定全局运动(一场景内的总运动量)和局部运动(一个或多个图像部分内的运动量和/或所检测到的一个或多个特征的运动量)。运动检测器150还可以通过分析诸如模糊之类的图像属性来检测运动图像部分。可以检测表明对象(或相机)在模糊的方向上的运动的方向性模糊。模糊程度可用于估计运动对象的速度。
在一个实施例中，信号分析器110包括音频属性检测器155。音频属性检测器155检测输入信号的音频属性(特征)。音频属性经常表现出与图像特征的强相关。从而，在一个实施例中，这种音频属性被用于更好地确定图像内容。可被检测并用于确定图像特征的音频属性的示例包括倒谱通量、多声道人工耳蜗(cochlear)分解、倒谱通量、多声道向量、低能量片断、频谱通量、频谱滚降点、过零率、过零率的方差、能量以及能量的方差。
图1C示出了根据本发明一个实施例的示例性群组确定器115。群组确定器115包括多个内容群组160。群组确定器115接收由信号分析器110得出的低级别特征和高级别特征。基于低级别特征和/或高级别特征，群组确定器115可从多个内容群组160中确定输入信号的内容群组(也称为内容模式)，并且把所确定的内容群组指派给该信号。例如，如果所得出的图像特征包括天空、自然地标而不包括脸部，则可以确定并指派风景群组。另一方面，如果检测到多个脸部，而没有运动，则可以确定并指派肖像群组。在一个实施例中，确定内容群组包括把该内容群组自动指派给信号。
在一个实施例中，群组确定器115把来自多个内容群组160中的单个内容群组指派给图像。或者，群组确定器115可以将图像划分成多个图像部分。可以基于空间布置(例如，图像的上半部与图像的下半部)、基于所得出的特征的边界或者基于其他标准来将图像划分成多个图像部分。群组确定器115随后可确定包含第一图像特征的第一图像部分的第一内容群组，并且确定包含第二图像特征的第二图像部分的第二内容群组。输入信号也可被划分成多于两个图像部分，每个图像部分可被指派以不同的内容群组。
内容群组160中的每一个可包括用于在指定环境(例如，影院环境、风景环境等等)中再现图像的预定图像属性。每个内容群组还可包括用于音频再现的预定音频属性。内容群组160优选地提供用于指定环境的最优图像属性和/或音频属性。预定的图像属性可以通过修改显示设备的图像显示设定来实现。或者，预定的图像属性可通过以下方式来实现修改输入信号，以使得当通过具有已知的图像显示设定的显示器来显示时，图像将被以这些预定的图像属性示出。
下面描述示例性的内容群组160。应当明白，这些内容群组160是用于例示目的的，可以设想另外的内容群组160。
在一个实施例中，内容群组160包括默认内容群组。可以自动向所有图像应用默认内容群组，直到确定出一不同的内容群组为止。默认内容群组可包括在大多数情景设置下提供令人满意的图像的预定图像属性。在一个实施例中，默认内容群组提供提高的锐度、高对比度以及高亮度，以用于最优地显示电视节目。
在一个实施例中，内容群组160包括肖像内容群组。肖像内容群组包括提供具有最优皮肤再现的图像的预定图像属性。肖像内容群组还可包括更好地显示静止图像的预定图像属性。在一个实施例中，肖像内容群组提供使得能够在颜色偏差最小的情况下产生健康肤色的品红、红色和黄色调的预定颜色设定，并且降低锐度以平滑掉皮肤纹理。
在一个实施例中，内容群组160包括风景内容群组。风景内容群组可包括使得能够生动再现绿色到蓝色范围中的图像(以例如更好地显示蓝色的天空、蓝色的海洋、绿色的植物)的预定图像属性。风景内容群组还可包括具有提高的锐度的预定图像属性。
在一个实施例中，内容群组160包括体育内容群组。体育内容群组可提供精确的深度和明/暗梯度、通过使用伽马曲线和饱和度调节来锐化图像、并且调节颜色设定以使得绿色(例如，足球场)看起来更鲜明。
在一个实施例中，内容群组160包括影院内容群组。影院内容群组可使用伽马曲线校正来提供颜色补偿，以清楚显示昏暗的场景，同时平滑掉图像运动。
其他可能的内容群组160的示例包括文本内容群组(其中文本相对于背景应当具有高对比度，并且应当具有锐利的边缘)、新闻广播内容群组、静止图片内容群组、游戏内容群组、音乐会内容群组以及家庭视频内容群组。
图2A示出了根据本发明一个实施例的示例性多媒体系统200。多媒体系统200包括与显示设备240相耦合的信号源205。信号源205可生成视频信号、静止图像信号和音频信号中的一种或多种。在一个实施例中，信号源是广播台、有线或卫星电视提供商或者其他远程多媒体服务提供商。或者，信号源可以是视频盒式磁带记录器(VCR)、数字视频盘(DVD)播放器、高清晰度数字多功能盘(HD-DVD)播放器、
播放器或其他媒体回放设备。
信号源205与显示设备240相耦合的手段可取决于信号源205的属性和/或显示设备240的属性。例如，如果信号源205是广播电视台，则信号源205可经由承载视频信号的无线电波与显示设备240相耦合。另一方面，例如，如果信号源205是DVD播放器，则信号源205可经由RCA线缆、DVI线缆、HDMI线缆等等与显示设备相耦合。
显示设备240可以是电视机、监视器、投影仪或其他能够显示静止和/或视频图像的设备。显示设备240可包括与显示器215相耦合的图像调节设备210。图像调节设备210在一个实施例中对应于图1A的图像调节设备100。
显示设备240从信号源205接收输入信号220。图像调节设备210可以修改图像显示设定，以使得在显示器215上示出的输出信号具有所确定的一个或多个内容群组的预定图像属性。
图2B示出了根据本发明另一实施例的示例性多媒体系统250。多媒体系统250包括与显示设备260相耦合的媒体播放器255。媒体播放器255可以是VCR、DVD播放器、HD-DVD播放器、
播放器、数字视频记录器(DVR)或其他媒体回放设备，并且可生成视频信号、静止图像信号和音频信号中的一种或多种。在一个实施例中，媒体播放器255包括图像调节设备210，图像调节设备210可对应于图1A的图像调节设备100。
图像调节设备210可以对在媒体回放期间产生的输入信号进行修改以生成输出信号225。输出信号225可被发送到显示设备260，显示设备260可以显示输出信号225。在一个实施例中，图像调节设备210调节输入信号，以使得当输出信号被显示在显示设备260上时，输出信号将示出具有与一个或多个图像内容群组相对应的预定图像属性的图像。为了确定如何修改输入信号以在显示设备260上显示预定图像属性，图像调节设备210可从显示设备260接收显示设定227。给定所指定的一组显示设定227，输出信号225可被生成，使得预定的图像属性将被显示。
在另一实施例中，输出信号包括未被改变的输入信号，以及指示显示设备使用指定的图像显示设定的附加信号(或者被附加到输入信号的元数据)。
图2C示出了根据本发明另一实施例的示例性多媒体系统270。多媒体系统270包括信号源205、图像调节设备275和显示设备260。
如图所示，图像调节设备275被部署在信号源205和显示设备260之间并且与信号源205和显示设备260相耦合。图像调节设备275可对应于图1A的图像调节设备100。图像调节设备275在一个实施例中是用于修改被发送到显示设备260的信号的独立设备。或者，图像调节设备275可以是例如机顶盒、数字视频记录器(DVR)、分线盒、卫星接收机等等中的组件。
图像调节设备275可接收由信号源205生成的输入信号220。图像调节设备275随后可修改输入信号220以生成输出信号225，输出信号225随后可被发送到显示设备260。显示设备260随后可显示输出信号225。在生成输出信号225之前，图像调节设备275可从显示设备260接收显示设定227。所接收的显示设定随后可用于确定应当如何修改输入信号以生成输出信号。
参考在图3-6中示出的一系列流程图，就计算机软件而言描述本发明的特定方法。图3-6中示出的流程图示出了修改图像的方法，并且可由图1A的图像调节设备100执行。这些方法构成了由在图3中示为块(动作)305至335的计算机可执行指令组成的计算机程序。通过参考流程图来描述这些方法使得本领域的技术人员能够开发出包括这种指令的这种程序，以在适当配置的计算机或计算设备(执行来自计算机可读介质(包括存储器)的指令的计算机的处理器)上实现这些方法。计算机可执行指令可以用计算机编程语言写成，或者可被体现在固件逻辑中。如果是用符合所承认的标准的编程语言写成的，则这种指令可在多种硬件平台上执行并且可接口到多种操作系统。
本发明并不是参考任何特定的编程语言来描述的。应当明了，多种编程语言可用于实现这里描述的本发明的教导。另外，在本领域中经常将一种形式或另一种形式(例如，程序、过程、处理、应用、模块、逻辑等等)的软件说成是采取某一动作或导致某一结果。这种表述只是“计算机对该软件的执行使得计算机的处理器执行某一动作或产生某一结果”的一种简短说法。应当明了，在不脱离本发明的范围的情况下，更多或更少处理可被结合到图3-6所示的方法中，并且这里示出和描述的块的布置没有暗示特定顺序。
首先参考图3，其中示出了执行修改图像的方法300的计算机所要执行的动作。
在本发明的特定实现方式中，方法300接收(例如，利用图1A的输入端105)视频输入信号(块305)。在块310，视频输入信号被分析(例如被图1A的信号分析器110分析)以检测图像属性和图像内容。在另外的实施例中，视频输入信号也可被分析以检测信号属性(例如，判定信号是隔行的还是非隔行的、信号是压缩的还是未压缩的、信号的噪声水平，等等)。如果信号是压缩的，则在确定一个或多个图像属性和/或图像内容之前，可能必须对信号进行解压缩。
视频输入信号可被逐帧地分析。或者，视频输入信号的帧的序列可被一起分析，以使得任何修改都对该序列中的每个帧发生。图像属性可包括图像大小、图像分辨率、动态范围、偏色、模糊等等。可通过检测低级别图像特征(例如，纹理、颜色、形状等等)和高级别图像特征(例如，脸部、人类、建筑物、天空等等)来检测图像内容。可在接收到视频输入信号时自动得出这种图像特征。
在块315，为视频输入信号确定内容群组(例如，由图1A的群组确定器115确定)。可以基于检测到的图像内容来确定内容群组。在另一实施例中，利用视频信号中包括的元数据来确定内容群组。元数据可提供关于图像内容和/或图像属性的信息。例如，元数据可将电影的当前场景标识为动作场景。在块318，内容群组被应用到输入的视频信号。
在块320，判定检测到的图像属性是否匹配与所确定的内容群组相关联的预定图像属性。如果检测到的图像属性匹配预定图像属性，则方法进行到块330。如果检测到的图像属性不匹配预定图像属性，则方法继续到块325。
在块325，图像显示设定和/或视频输入信号被调节(例如，被图1A的图像调节器120调节)。可基于检测到的图像属性与预定图像属性之间的差异来调节图像显示设定和/或视频输入信号。这允许了以示出预定图像属性的方式显示输入信号。在块330，视频输入信号被显示。该方法随后结束。
虽然方法300被示为具有执行不同任务的特定块，但可以预见到，一些块所执行的一些任务可被分离和/或组合。例如，块310表明，视频输入信号被分析以同时确定图像内容和图像属性。然而，也可分析视频信号以检测图像内容，而不确定图像属性。然后可确定内容群组，在此之后可分析信号以确定图像属性。在另一示例中，块315(确定内容群组)和块318(指派内容群组)可被组合成单个块(例如，组合成单个动作)。对所描述的方法的其他修改也是可预见到的。
现在参考图4，其中示出了执行修改图像的方法400的计算机要执行的动作。
在本发明的特定实现方式中，方法400包括接收(例如，利用图1A的输入端105接收)视频输入信号(块405)。在块410，检测(例如，利用图1A的信号分析器110检测)图像属性、信号属性和/或图像内容。在块412，把图像划分成第一图像部分和第二图像部分。在一个实施例中，基于图像特征的边界来将图像划分成第一图像部分和第二图像部分。或者，划分可以基于将图像分成相等或不相等的部分。例如，可将图像划分成第一半(例如，上一半或右一半)和第二半(例如，下一半或左一半)。第一图像部分可包括第一图像特征，并且第二图像部分可包括第二图像特征。
在块415，为第一图像部分确定(例如，利用图1A的群组确定器115确定)第一内容群组，并且为第二图像部分确定第二内容群组。确定第一内容群组和第二内容群组可分别包括应用第一内容群组和第二内容群组。第一内容群组可包括第一预定图像属性，并且第二内容群组可包括第二预定图像属性。可分别基于检测到的每个图像部分的图像内容来确定第一内容群组和第二内容群组。
在块420，判定检测到的图像属性是否匹配与所确定的内容群组和/或所指派的内容群组相关联的预定图像属性。如果检测到的图像属性匹配预定图像属性，则方法进行到块430。如果检测到的图像属性不匹配预定图像属性，则方法继续到块425。
在块425，调节(例如，利用图1A的图像调节器120调节)图像显示设定和/或视频输入信号，以使得检测到的图像属性分别匹配第一图像部分和第二图像部分的预定图像属性。可以基于第一所检测图像属性与第一内容群组的第一预定图像属性之间的差异来为第一图像部分调节图像显示设定和/或视频输入信号。可以基于第二所检测图像属性与第二内容群组的第二预定图像属性之间的差异来为第二图像部分调节图像显示设定和/或视频输入信号。在块430，显示视频输入信号。该方法随后结束。
现在参考图5，其中示出了执行修改音频输出的方法500的计算机要执行的动作。
在本发明的特定实现方式中，方法500包括接收(例如，利用图1A的输入端105接收)视频输入信号(块505)。在块510，分析(例如，利用图1A的信号分析器110分析)视频输入信号，以检测音频属性和图像内容。音频属性可包括倒谱通量、多声道人工耳蜗分解、多声道向量、低能量片断、频谱通量、频谱滚降点、过零率、过零率的方差、能量以及能量的方差，等等。在块515，为视频输入信号确定(例如，利用图1A的群组确定器115确定)内容群组。内容群组可基于检测到的图像内容来确定，并且可包括预定的音频属性。
在块520，判定检测到的音频属性是否匹配与所确定的内容群组相关联的预定音频属性。如果检测到的音频属性匹配预定音频属性，则方法进行到块530。如果检测到的音频属性不匹配预定音频属性，则方法继续到块525。
在块525，调节(例如，利用图1A的音频调节器125调节)视频输入信号的音频设定和/或音频部分。可以基于检测到的音频属性与预定音频属性之间的差异来调节视频输入信号的音频设定和/或音频部分。可调节的音频设定的示例包括音量、回放速度和均衡。在块530，输出(例如，发送和/或播放)视频输入信号。该方法随后结束。
现在参考图6，其中示出了执行修改图像的方法600的计算机要执行的动作。
在本发明的特定实现方式中，方法600包括接收(例如，利用图1A的输入端105接收)视频输入信号(块606)。在块610，分析(例如，利用图1A的信号分析器110分析)视频输入信号，以检测图像内容。在块615，判定图像内容是否在运动。这种判定例如可利用运动向量来做出或者通过检测模糊的程度和方向来做出。在块620，判定图像内容的运动速度。
在块630，基于图像内容的运动速度来调节(例如，利用图1A的帧速率调节器112)调节视频信号的帧速率。例如，当检测到图像内容运动速度更快时，可以增大帧速率。在块636，调节(例如，利用图1A的图像调节器120调节)运动对象的锐度。或者，可以调节整个信号的锐度。锐度调节可基于图像内容的运动速度。
在块640，利用调节后的帧速率和调节后的锐度输出(例如，发送和/或显示)视频输入信号。该方法随后结束。
图7示出了采取计算机系统700的示例性形式的机器的框图，在该机器中，可执行用于使该机器执行这里论述的方法中的任何一个或多个的一组指令。示例性的计算机系统700包括处理设备(处理器)705、存储器710(例如，只读存储器(ROM)、存储设备、静态存储器等等)以及输入/输出715，它们经由总线720与彼此通信。本发明的实施例可利用计算机系统700执行，并且/或者利用另外的硬件组件(未示出)执行，或者可体现为机器可执行指令，这些指令可用于使处理器705在被用指令编程时执行上述的方法。或者，可利用硬件和软件的组合来执行这些方法。
处理器705表示一个或多个通用处理设备，例如微处理器、中央处理单元等等。更具体而言，处理器705可以是复杂指令集计算(CISC)微处理器、简化指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器或者实现其他指令集的处理器或者实现指令集的组合的处理器。处理器705还可以是一个或多个专用处理设备，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等等。
本发明可以以能够存储在存储器710中的计算机程序产品或者软件的形式提供。存储器710可包括其上存储有指令的机器可读介质，这些指令可用于将示例性计算机系统700(或者其他电子设备)编程为执行根据本发明的处理。其上可存储指令以对示例性计算机系统700(或其他电子设备)编程的其他机器可读介质包括但不限于软盘、光盘、CD-ROM、磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪存或者其他类型的适合于存储电子指令的媒体或机器可读介质。
输入/输出715可提供与另外的设备和/或组件的通信。从而，输入/输出715可向例如联网的计算机、服务器、移动设备等等发送数据并从其接收数据。
对图7的描述旨在提供对适合于实现本发明的计算机硬件和其他操作组件的概述，但并不旨在限制适用环境。将会明了，图7的计算机系统700是具有不同体系结构的许多可能的计算机系统的一个示例。本领域的技术人员将会明了，利用包括微处理器系统、袖珍计算机、大型计算机等等在内的其他计算机系统配置也可实现本发明。本发明也可在分布式计算环境中实现，在这种环境中，利用通过通信网络链接的远程处理设备来执行任务。
已经描述了用于修改信号的设备和方法。虽然这里已经示出和描述了特定实施例，但是本领域的普通技术人员将会明了，计划实现相同目的的任何布置都可用来替代所示出的特定实施例。本申请意图覆盖对本发明的任何适应性修改或变化。例如，本领域的普通技术人员将会明了，可以使用除所描述那些以外的图像内容检测算法和技术。
本申请中使用的有关修改信号的术语意图包括其中可修改信号的所有设备和环境。因此，明确地希望本发明仅由所附权利要求及其等同物所限制。
权利要求
1.一种计算机化的方法，包括
分析视频输入信号以检测图像内容和图像属性，其中检测图像内容包括自动得出图像特征；
基于检测到的图像内容为所述视频输入信号确定内容群组，该内容群组包括预定图像属性；以及
基于检测到的图像属性与所述预定图像属性之间的差异，调节图像显示设定和所述视频输入信号中的至少一个。
2.如权利要求1所述的计算机化的方法，其中，所述视频输入信号还被分析以检测信号属性，并且所述内容群组是基于检测到的图像内容和所述信号属性来确定的。
3.如权利要求2所述的计算机化的方法，其中，所述信号属性包括提供与所述图像内容和所述图像属性中的至少一个有关的信息的元数据，并且所述内容群组是利用所述元数据来确定的。
4.如权利要求1所述的计算机化的方法，其中，检测到的图像内容包括具有第一图像属性的第一图像部分和具有第二图像属性的第二图像部分，所述方法还包括
为所述第一图像部分确定第一内容群组，该第一内容群组包括第一预定图像属性；
为所述第二图像部分确定第二内容群组，该第二内容群组包括第二预定图像属性；
基于所述第一图像属性与所述第一预定图像属性之间的差异来针对所述第一图像部分调节所述图像显示设定和所述视频输入信号中的至少一个；以及
基于所述第二图像属性与所述第二预定图像属性之间的差异来针对所述第二图像部分调节所述图像显示设定和所述视频输入信号中的至少一个。
5.如权利要求1所述的计算机化的方法，还包括
接收显示器的当前图像显示设定；以及
向所述显示器输出一输出信号，其中，当利用所接收的图像显示设定将该输出信号示出在所述显示器上时，该输出信号将具有所述预定图像属性。
6.如权利要求1所述的计算机化的方法，还包括
接收所述视频输入信号。
7.如权利要求1所述的计算机化的方法，其中，所述视频输入信号包括检测到的音频属性，并且所述内容群组包括预定音频属性，所述方法还包括
基于检测到的音频属性与所述预定音频属性之间的差异来调节音频设定。
8.一种包括指令的机器可读介质，所述指令在被具有处理器的机器执行时使得该处理器执行计算机化的方法，该方法包括
分析视频输入信号以检测图像内容和图像属性，其中检测图像内容包括自动得出图像特征；
基于检测到的图像内容为所述视频输入信号确定内容群组，该内容群组包括预定图像属性；以及
基于检测到的图像属性与所述预定图像属性之间的差异，调节图像显示设定和所述视频输入信号中的至少一个。
9.如权利要求8所述的机器可读介质，其中，所述视频输入信号还被分析以检测信号属性，并且所述内容群组是基于检测到的图像内容和所述信号属性来确定的。
10.如权利要求9所述的机器可读介质，其中，所述信号属性包括提供与所述图像内容和所述图像属性中的至少一个有关的信息的元数据，并且所述内容群组是利用所述元数据来确定的。
11.如权利要求8所述的机器可读介质，其中，检测到的图像内容包括具有第一图像属性的第一图像部分和具有第二图像属性的第二图像部分，所述计算机化的方法还包括
为所述第一图像部分确定第一内容群组，该第一内容群组包括第一预定图像属性；
为所述第二图像部分确定第二内容群组，该第二内容群组包括第二预定图像属性；
基于所述第一图像属性与所述第一预定图像属性之间的差异来针对所述第一图像部分调节所述图像显示设定和所述视频输入信号中的至少一个；以及
基于所述第二图像属性与所述第二预定图像属性之间的差异来针对所述第二图像部分调节所述图像显示设定和所述视频输入信号中的至少一个。
12.如权利要求8所述的机器可读介质，所述计算机化的方法还包括
接收显示器的当前图像显示设定；以及
向所述显示器输出一输出信号，其中，当利用所接收的图像显示设定将该输出信号示出在所述显示器上时，该输出信号将具有所述预定图像属性。
13.如权利要求8所述的机器可读介质，其中，所述输入视频信号包括提供与所述图像内容和所述图像属性中的至少一个有关的信息的元数据，并且所述内容群组是利用所述元数据来确定的。
14.如权利要求8所述的机器可读介质，其中，所述视频输入信号包括检测到的音频属性，并且所述内容群组包括预定音频属性，所述计算机化的方法还包括
基于检测到的音频属性与所述预定音频属性之间的差异来调节音频设定。
15.如权利要求14所述的机器可读介质，其中调节所述音频属性包括调节音量、调节均衡和调节音频速度中的至少一个。
16.一种设备，包括
用于分析视频输入信号以检测图像内容和图像属性的装置，其中检测图像内容包括自动得出图像特征；
用于基于检测到的图像内容为所述视频输入信号确定内容群组的装置，该内容群组包括预定图像属性；以及
用于基于检测到的图像属性与所述预定图像属性之间的差异，调节图像显示设定和所述视频输入信号中的至少一个的装置。
17.如权利要求16所述的设备，其中
用于分析视频输入信号的装置还检测信号属性；并且
用于确定内容群组的装置基于检测到的图像内容和所述信号属性。
18.如权利要求16所述的设备，其中，检测到的图像内容包括具有第一图像属性的第一图像部分和具有第二图像属性的第二图像部分，所述设备还包括
用于为所述第一图像部分确定第一内容群组的装置，该第一内容群组包括第一预定图像属性；
用于为所述第二图像部分确定第二内容群组的装置，该第二内容群组包括第二预定图像属性；
用于基于所述第一图像属性与所述第一预定图像属性之间的差异来针对所述第一图像部分调节所述图像显示设定和所述视频输入信号中的至少一个的装置；以及
用于基于所述第二图像属性与所述第二预定图像属性之间的差异来针对所述第二图像部分调节所述图像显示设定和所述视频输入信号中的至少一个的装置。
19.如权利要求16所述的设备，还包括
用于接收显示器的当前图像显示设定的装置；以及
用于向所述显示器输出一输出信号的装置，其中，当利用所接收的图像显示设定将该输出信号示出在所述显示器上时，该输出信号将具有所述预定图像属性。
20.如权利要求16所述的设备，其中，所述视频输入信号包括检测到的音频属性，并且所述内容群组包括预定音频属性，所述设备还包括
用于基于检测到的音频属性与所述预定音频属性之间的差异来调节音频设定的装置。
21.一种计算机化的系统，包括
分析器，用于分析视频输入信号以检测图像内容和图像属性，其中检测图像内容包括自动得出图像特征；
群组确定器，用于基于检测到的图像内容为所述视频输入信号确定内容群组，该内容群组包括预定图像属性；以及
调节器，用于基于检测到的图像属性与所述预定图像属性之间的差异，调节图像显示设定和所述视频输入信号中的至少一个。
全文摘要
分析视频输入信号以检测图像内容和图像属性，其中检测图像内容包括自动得出图像特征。基于检测到的图像内容为视频输入信号确定内容群组，内容群组包括预定图像属性。基于检测到的图像属性与预定图像属性之间的差异，调节视频输入信号的图像属性。
文档编号G06K9/62GK101809590SQ200880109282
公开日2010年8月18日 申请日期2008年9月23日 优先权日2007年9月28日
发明者亚历山大·布莱斯托弗, 初恩-赤恩·李 申请人:索尼公司, 索尼电子有限公司