用于3d立体视差估计的自适应彩色空间转换的制作方法
【专利摘要】本发明涉及用于处理图像信号的方法，该图像信号具有至少两个优选三个通道，该方法包括以下步骤：分析每个通道的信息量；以及使用每个通道的权重因数（Wr、Wg、Wb）将所述通道转换成单通道，其中，所述权重因数依据各个通道的信息量进行调整。
【专利说明】用于3D立体视差估计的自适应彩色空间转换
【技术领域】
[0001]本发明涉及用于处理具有至少两个最好三个通道的图像信号的方法。本发明还涉及用于处理图像信号和计算机程序的装置。
【背景技术】
[0002]在许多3D立体应用中，例如所谓的视差图基于两个摄像机提供的两个视图计算。视差图，包括通过比较两个图像获得的相对深度信息。视差图通常在特定处理阶段是必不可少的，用于改善呈现给用户的图像。计算视差图的一个步骤为可以看为，例如左图像和右图像的两个或更多的图像之间的对应搜索的视差估计。既然每个图像通常包括三个通道，即RGB或者YUV通道，那么对应搜索使用来自左图像和右图像的所有通道的信息。然而，上述过程需要复杂的硬件，例如用于存储所有通道的大容量存储器并且十分费时。因为成本问题，有系统仅使用一个通道，通常为图像的亮度(Y)通道，用于对应搜索。
[0003]尽管基于单通道，例如亮度(Y)通道，的视差估计，在实际上工作良好，仍然要求进一步改善视差估计步骤。
【发明内容】
[0004]本发明的目标是提供一种可以改善视差估计的图像信号处理方法。本发明的进一步目标是提供一种可以改善视差估计的图像信号处理装置。
[0005]根据本发明的一方面，提供了一种用于处理具有至少两个优选三个通道的图像信号的方法，包括以下步骤:
[0006]分析包含在每个通道中的信息量，以及
[0007]使用每个通道的权重因数将所述通道转换成单通道，其中所述权重因数依据每个通道的信息量进行调整。
[0008]该工具，换句话说，由例如RGB或者YUV通道的两个或三个通道获得的单通道根据取决于图像的量自适应方案(和现有技术中的固定方案大不相同)生成。例如，如果其中一个通道包含较少信息，当将所述通道转换为单通道时，减少所述该通道的权重因数。结果，转换的所述单通道与非自适应转换步骤相比包括更多信息，这会增加以下视差估计的性倉泛。
[0009]实现该方法的必要努力相对较低，因为可以使用通常已经存在于3D显示装置中的一个色彩校准模块。为了将具有由于不同的相机造成的不同的色彩亮度和对比度的图像调整至相似的等级，通常需要该色彩校准模块。该色彩校准模块的一种功能是分析图像。该能力同样可以用来分析每个通道的信息量，每个通道的信息量为调整所述权重因数的基础。
[0010]根据本发明的另一方面，提供了一种用于处理图像信号的装置，该图像信号具有至少两个优选三个通道，该装置包括:适于分析每个通道的信息量的分析单元，适于使用每个通道的权重因数将所述通道转换为单通道的转换单元，以及适于依据每个通道的所述信息量调整每个通道的所述权重因数的权重因数调整单元。
[0011]根据本发明的另一方面，提供一种包括程序代码的计算机程序，当所述计算机程序在装置上执行时，使装置执行根据本发明所述方法的步骤。
[0012]本发明的优选实施方式在从属权利要求中被限定。应当理解要求的装置与要求的计算机程序具有与要求的方法和在从属权利要求中所定义的相似和/或相同的优选实施方式。
[0013]所述本发明基于，使用根据通道的信息量动态地适应的权重因数，转换例如三个RGB通道成为一个单通道的概念。如果图像例如包括大部分相似的蓝色(例如，天空)，蓝色通道会包括非常少的信息使得本发明赋予该通道减小的权重。结果，其他通道，例如R和G通道，在转换的单通道中占有更多优势。使用单通道的视差估计的性能可以因此得到改善。
【专利附图】
【附图说明】
[0014]本发明的这些和其它方面从下文可以显而易见并且参考本文中说明的实施方式进行更详细说明。
[0015]图1示出了一种用于说明创造性方法和创造性设备的结构的方框图。
【具体实施方式】
[0016]3D立体观测装置，例如电视机、投影仪、膝上型电脑、笔记本、个人计算机、平板电脑等具有显示由一个用于左眼和另一个用于右眼的两个图像序列组成的3D视频内容的能力。左眼和右眼图像之间逐像素的位移，被称为视差，直接与用户察觉到的物体的深度相关。该3D立体观测装置包括用于视差估计和/或计算视差图的线路。视差图例如用于放置文本或者图像为3D场景，以便产生新视图或者调整所述场景和物体的深度以符合观看者的舒适度。例如，当观看立体3D内容时，用户为了享受更愉快和舒服的观看体验可能需要调整在3D场景中的物体的深度。
[0017]基于视差图，可以执行深度调整。
[0018]视差估计单元的运行通常是已知，因此不用再重复详细地说明。所述视差估计单元的运行可以简要的概述为在左/右边图像对中的一个图像中对一个图像的内容的对应搜索。于是两者图像中的内容的确定的位移为视差的测量。
[0019]视差估计单元从而接收图像对的左图像和右图像。由于图像通常由若干通道组成，例如RGB视频信号的RGB通道，在最好的情形中，视差估计单元使用图像的所有通道进行视差估计。
[0020]然而，由于成本原因，在此所述视差估计单元可能仅接收一个通道。该单通道通常是基于固定的标准化方案从RGB通道中获得的亮度通道Y。特别地，所述亮度通道根据以下公式计算:
[0021]Y=Wr.R+ffg.G+ffb.B
[0022]其中R、G、B是RGB信号的通道，以及是在标准ITU.BT601或者ITU.BT709中定义的权重因数。
[0023]在ITU.BT601 标准中，权重因数例如是 1=0.299、Wg=0.587 以及 Wb=0.114。
[0024]使用从三个通道信号中获得的一个单通道进行视差估计，使得所述视差估计的计算复杂度可以减小。
[0025]在下文中，一种从例如三个通道定义的图像中产生单通道的改善的方法参考图1进行描述。
[0026]在图1中示意性地以方框图的形式示出一种为在视差估计单元中进一步处理提供的转换图像信号的三个通道成一个通道的系统。该系统可以是属于在电视机、投影仪、膝上型电脑、笔记本、个人计算机、平板电脑等中的图象处理系统。在图1中，该系统通常用参考标号10表示。所述系统包括色彩校准分析单元12、色彩校准修正单元14、自适应色彩转换单元16以及视差估计单元18。单元12至18可以以硬件和/或软件实现。
[0027]色彩校准分析单元12和色彩校准修正单元14都接收左图像和右图像作为输入信号。在本实施方式中提供的左图像和右图像由三个通道，即一起构成已知的RGB信号的R通道、G通道以及B通道组成。如同在本领域中已知的，RGB信号基于RGB颜色模型，其中红色、绿色和蓝色以各种各样的方式填加到一起将广泛的大量颜色再生。
[0028]色彩校准分析单元12和色彩校准修正单元14首先执行“色彩校准”以使左-右图像对的图像在一个相似的等级中。完成该色彩校准的原因是因为，取决于不同的配置通过摄像机捕捉的图像可能具有不同的色彩、亮度和对比度。所述色彩校准修正的结果然后被传输到其它例如电视机中的处理单元，然而本传输没有在图中示出。
[0029]如图所示，由色彩校准修正单元14提供的校准的左图像和右图像被传输到自适应色彩转换单元16。该单元适于将图像的三个通道转换成一个单通道然后提供给后处理单元，例如视差估计单元18。
[0030]三个通道的转换与如在ITU.BT601中定义的实施例的亮度信号的转换十分相似。详细地，各个通道R、G、B与特定的权重因数和Wb相乘，然后该结果相加成为单个信号Y'。相应的等式为:
[0031]Y' =Wr.R+ffg.G+ffb.B.[0032]所述标准的转换定义固定的权重因数，换句话说W,=0.299、Wg=0.587以及Wb=0.114，其中三个权重因数之和为I。
[0033]在本实施方式中，然而权重因数WpWg和Wb不是预定的固定值，而取决于图像的信息量动态地适应。即换句话说，所述权重因数在O至I的范围内改变。为了维持权重因数之和总是1，一个通道的权重因数的增加总是导致至少另一个权重因数的减小。
[0034]例如，如果通道I的信息量是I (1)，通道2的信息量是I (2)以及通道η的信息量是I U)，各个通道的权重因数可以根据以下公式计算出来:
[0035]Wn=I (n)/SUM (I (I)..1 (η))
[0036]可以想象为各个权重因数的上和/或下级限是被定义的。例如，在本实施方式中Wr和Wb的上限可以是0.5。
[0037]通常，确定的自适应权重因数应当反映通道的信息量。如果通道比另一个通道包括更多信息，则应当增加相应的权重因数。如果通道包括较少的信息，则应当减小相应的权重因数。这种一般规则基于如果所述单通道包括尽可能多的信息则可以改善例如所述视差估计的所述后处理的假设。
[0038]例如，如果大部分图像包括同样的色彩，例如蓝天，所述相应的蓝色通道包括多数相似的值并且因此包含较少的信息。在这种情况下，权重因数减小。因此，至少其它通道的之中的一个通道增加并且在转换的单通道Y'中获得更多的相关性。
[0039]如同已经在上文中描述的，系统10包括色彩校准分析单元12，该单元首先设置用于均衡两个图像之间的色彩、亮度和对比度。色彩校准分析单元12因此适于考虑色彩、亮度和对比度分析左图像和右图像。
[0040]该信息现在可以同样通过自适应色彩转换单元16使用，自适应色彩转换单元16接收来自色彩校准分析单元12的相应的分析信号。根据该分析信号，自适应色彩转换单元16为转换步骤调整权重因数。应注意用于转换左图像和右图像的权重因数是相同的，即两者图像的RGB通道。
[0041]例如，如果色彩校准分析单元12确定R通道包括较少信息，在IYU.BT601中定义的常规权重因数Wr=0.299会减少为Wr=0.2。然后差0.099被加到剩余权重因数Wg和Wb使得权重因数之和仍然是I。
[0042]然后这些自适应权重因数被应用于左图像和右图像的三个通道，单通道Y' (—个用于左图像，一个用于右图像)生成为用于左侧图像以及右侧图像的自适应色彩转换单元16的输出。然后，包括图像的最初通道RGB的信息的单通道Y'，被提供给视差估计单元18作进一步处理。
[0043]然而，同样可以想到由自适应色彩转换单元16制造的单通道Y'同样用于另一个单元，例如在此仅作为进一步实例提到的运动检测单元。
[0044]此外，应注意，除了 RGB通道作为自适应色彩转换单元16的输入之外，其它通道同样可以使用自适应权重因数产生单通道。
[0045]如果单通道被用于运动估计，在2D电视机中同样可以提供系统10，其中，不再需要色彩校准修正单元14。所述自适应色彩转换单元16在2D电视机仅接收一个图像进行分析的情况下，将仅需要来自色彩校准分析单元12的分析信号。
[0046]另外可以想象的至少一个权重因数可以通过手动调整或者再调整。为该目的，自适应色彩转换单元16包括相应的输入，接收由参考标号19指示的输入信号。
[0047]本发明在附图和以上说明中已经进行详细图示和说明，但是所述图示和说明应当视为说明性或者示例性的而不是限制性的。本发明并不限于所公开实施方式。在研究附图、公开内容和所附权利要求之后，本领域技术人员在实践本发明中可以理解并且实现对于所公开实施方式的其它变形例。
[0048]在权利要求中，单词“包括(comprising)”并不排除其它元件或步骤，并且不定冠词“a”或“an”并不排除复数。单个元件或其它元件可实现权利要求中叙述的几个项的功能。某些措施在相互不同的从属权利要求中叙述的事实并不表示这些措施的组合无法有利地使用。
[0049]计算机程序可以被存储/分发到合适的非瞬时媒介，例如光存储媒介或与其他硬件一起提供或作为其他硬件一部分提供的固态媒介上，但是也可以以其他形式被分发，例如经由互联网或其他有线或无线的电信系统。
[0050]权利要求中任何参考符号不应被解释为限制范围。
【权利要求】
1.用于处理图像信号的方法，所述图像信号具有至少两个优选三个通道，所述方法包括以下步骤: 分析每个通道的信息量，以及 使用每个通道的权重因数(Wpwg、wb)将所述通道转换成单通道，其中，所述权重因数依据每个通道的信息量进行调整。
2.根据权利要求1所述的方法，其中，所述通道是RGB信号的通道。
3.根据权利要求1或2所述的方法，其中，转换的所述单通道是亮度通道。
4.根据权利要求3所述的方法，其中，所述图像信号是包含左图像和右图像的3D图像信号。
5.根据权利要求4所述的方法，其中，所述亮度通道被用于视差估计步骤。
6.根据权利要求3所述的方法，其中，所述亮度通道被用于运动估计步骤。
7.根据权利要求1至6中任一项所述的方法，其中，通道的权重因数在该通道中的信息量经过分析高于另一个通道时被增大，并且减小所述另一个通道的权重因数。
8.根据权利要求7所述的方法，其中，所述权重因数之和为I。
9.根据权利要求1至8中任一项所述的方法，其中，所述权重因数可手动调整。
10.根据权利要求1至9中任一项所述的方法，其中，所述分析步骤在色彩校准步骤过程中执行。
11.用于处理图像信号的装置，所述图像信号具有至少两个优选三个通道，所述装置包括: 分析单元，适于分析每个通道的信息量； 转换单元，适于使用每个通道的权重因数将所述通道转换为单通道；以及 权重因数调整单元，适于依据每个通道的所述信息量调整每个通道的所述权重因数。
12.根据权利要求11所述的装置，其中，所述通道是RGB信号的通道。
13.根据权利要求11或12所述的装置，其中，转换的所述单通道是亮度通道。
14.根据权利要求13所述的装置，其中，所述图像信号是包含左图像和右图像的3D图像信号。
15.根据权利要求13的装置，包括适于接收所述亮度通道的视差估计单元。
16.根据权利要求13的装置，包括适于接收所述亮度通道的运动估计单元。
17.根据权利要求12至16中任一项所述的装置，其中，所述权重因数调整单元适于使通道的权重因数在该通道中的信息量经过分析高于另一个通道时增加，并且减小所述另一个通道的权重因素。
18.根据权利要求17所述的装置，其中，所述权重因数之和为I。
19.根据权利要求12至18中任一项所述的装置，其中，所述权重因数调整单元适于允许手动调整所述权重因数。
20.一种计算机程序，所述计算机程序包括程序代码工具，用于在设备上执行所述计算机程序时，使优选权利要求11的设备执行权利要求1所要求的所述方法的步骤。
【文档编号】H04N13/00GK103828356SQ201280046719
【公开日】2014年5月28日 申请日期:2012年9月26日 优先权日:2011年9月26日
【发明者】皮尔乔治·萨托, 蒂莫·埃梅里希 申请人:索尼公司