专利名称：三维视频格式检测的制作方法
技术领域：
本发明涉及处理视频信号的视频设备，该设备包含接收视频信号的接收部件，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该视频信号含有2D帧和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能3D格式之一。
本发明进一步涉及处理视频信号的方法，该方法包含接收视频信号，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该视频信号含有2D帧和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能3D格式之一。本发明进一步涉及视频信号和计算机程序产品。本发明涉及经由2D视频数据信号格式传送3D视频数据的领域。
背景技术：
生成二维(2D)视频数据的设备是已知的，例如，视频服务器、广播器或制作设备。当前，正在提出提供三维(3D)图像数据的3D增强型设备。类似地，正在提出处理显示3D视频数据的视频设备，如光盘(例如，蓝光盘；BD)的播放器或再现接收的数字视频信号的机顶盒。该视频设备与如电视机或监视器那样的3D显示设备耦合。视频数据可以经由适当接口(优选地，如HDMI那样的高速数字接口)从该设备传送。3D显示器也可以与视频设备集成，例如，含有接收部分和3D显示器的电视(TV)。文献W02009/077929描述了可以用于2D与3D之间转变的手段。3D视频信号含有视频信息和相关回放信息，该视频信息和相关回放信息是按照回放格式组织的。视频信息可以包含2D显示的基本视频流和能够3D显示的附加信息流。相关回放信息包含指示可能显示的类型的显示信息。在接收器上对显示信息加以处理，以确定2D显示和3D显示两者都是可以的。回放模式被设置成确定应当以2D模式还是以3D模式显示视频信息。
发明内容
W02009/077929的问题是3D和2D回放之间的转变基于输入视频信号中的3D信令的可用性。但是，可能将3D格式映射在2D格式视频信号上，以便可与视频信号和/或存储媒体的现有分配系统兼容。由于在现有2D信号格式中缺乏信令，所以用户不得不人工选择以3D再现视频信号的适当模式。本发明的目的是提供以更方便方式在3D和2D之间转变的系统。为此，按照本发明的第一方面，如首段所述的设备包含提供指示视频信号的格式的3D状态信号的处理器，该处理器被安排成通过按照导出和比较各自3D子帧的各自预定格式特性处理视频数据来为许多可能3D格式确定各自格式分，其中为所述许多可能3D格式确定所述各自格式分以预定次序安排；以及当各自格式分的评估提供预定置信水平时，根据各自格式分的评估将3D状态信号设置成指示视频信号的格式。
为此，按照本发明的进一步方面，处理视频信号的方法包含根据如下步骤提供指示视频信号的格式的3D状态通过按照导出和比较各自3D子帧的各自预定格式特性处理视频数据来为许多可能3D格式确定各自格式分，其中为所述许多可能3D格式确定所述各自格式分以预定次序安排；以及当各自格式分的评估提供预定置信水平时，根据各自格式分的评估将3D状态设置成指示视频信号的格式。这些措施具有如下效果。通过视频设备分析到达输入的视频信号以确定3D状态信号，该3D状态是2D状态或指示一组可能3D视频格式的一种格式的3D状态。该视频设备提供3D状态信号以便控制3D视频显示，即，设置正确再现视频信号的操作模式。该分析基于为各自3D格式确定格式分，S卩，假设信号包含视频数据，按照各自3D视频格式，从信号中导出相应3D子帧。例如，将两个3D子帧依其所称并排排列在2D帧中。随后，从信号中导出并比较，即，分析3D子帧，例如，左帧和右帧，以核实两个所称的3D子帧的确具有相应3D子帧的格式特性。例如，对于L和R帧，计算相关性，该相关性应该相对高,这是因为虽然从略为不同的视角观看，但在两个3D子帧中存在相同内容。随后，评估格式分，例如，与 预定阈值相比较。根据评估，3D格式之一可能具有可靠高分，然后，相应地将3D状态信号设置成指示视频信号的格式。如果没有一种3D格式具有足够高的分，则假设为2D视频信号，并相应地设置状态。有利的是，3D显示器(例如，3D电视机)的实际模式可以根据3D状态信号自动受控。本发明还基于如下认识。随着消费者习惯于3D观看，需要转变经由现有分配通道，例如，广播网络或视频存储媒体的视频信号。实际上，分辨率的略为降低似乎是可接受的，内容提供者可以通过将3D子帧安排在2D帧中，以现有2D视频信号格式打包他们的3D内容。本发明人已经看到，自动检测这样的特殊格式3D信号是方便的，该特殊格式3D信号不能携带传信3D格式的控制数据，这是因为固有地，视频信号的格式必须保持现有2D格式。尽管可以使用3D帧的各种排列，但根据如下步骤检测3D格式仍然似乎是可能的首先假设已经使用了各自3D视频格式，随后针对那种格式分析所称的3D子帧。有利的是，根据视频处理能力的当前相对廉价性，可以在用户难以察觉分别切换到2D或3D视频模式的延迟的足够短时间内实时分析。在实施例中，该组可能3D格式包含生成3D子帧的至少一种空间二次采样格式，并且该预定格式特性包含将3D子帧的二次采样图元排列在视频信号的2D帧中。空间二次采样沿着一个或多个空间方向减少了像素的数量(即，分辨率)。有利的是，3D子帧需要较少数量的像素，并且可以适当地放在(全分辨率)2D帧中。假设空间二次采样3D子帧以各种3D格式(例如，并排或上/下)排列，并计算各自格式分。在实施例中，为该组可能3D格式的许多3D格式确定各自格式分以预定次序安排；并且当格式分的评估提供预定置信水平时，设置3D状态信号。有利的是，更迅速地找到预期的3D格式的高分。在实施例中，确定各自格式分包含通过如下计算的至少一种计算3D子帧之间的对应性计算3D子帧之间的相关性；计算3D子帧之间的差值的平均值；以及计算各自3D子帧的颜色特性以便检测深度数据子帧。对于相应左右3D子帧，预期具有两个3D子帧之间的相关性或低平均差值，而作为3D子帧的深度图的颜色特性显著不同(通常深度数据不包含颜色)。
在实施例中，至少一种可能3D格式包含按照左/右偏振排列在2D帧中的左右3D(L和R)子帧，将处理器安排成当确定格式分时，根据出现在3D帧中的深度的预定分布确定偏振分，并且设置3D状态包括根据偏振分的评估设置左/右偏振状态信号。3D帧中的深度可以从差异值、深度图中的实际深度值、或基于3D子帧的适当估计中导出。检测3D子帧的存在还可以包含检测哪个子帧是左的和哪个子帧是右的。如果子帧被互换，则出现3D图像中深度信息的强失真。通过假设深度值或相对差异值的预定分布，确定偏振分。有利的是，3D显不器提供有正确的左右偏振状态。在实施例中，处理器含有检测器部件，用于通过如下步骤的至少一个比较各自3D子帧检测3D子帧的垂直边缘上的垂直黑色哑带；检测3D子帧的水平边缘上的水平黑色哑带。根据黑色哑带的存在，可以可靠地检测各自3D子帧。按照本发明的进一步方面，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该视频信号含有2D帧 和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能3D格式之一，该视频数据含有如下的至少一种3D子帧的垂直边缘上的垂直黑色哑带，但视频内容宽高比不需要垂直黑条；以及3D子帧的水平边缘上的水平黑色哑带，但视频内容宽高比不需要水平黑条；以便允许检测黑色哑带用于确定3D格式。有利的是，根据黑色哑带的存在，可以可靠地检测各自3D子帧。按照本发明的方法、视频设备和信号的进一步优选实施例在通过引用将其公开并入本文中的权利要求书中给出。
本发明的这些和其它方面将从通过例子描述在下文中的实施例和附图变得明显，并且参考通过例子描述在下文中的实施例和附图得到进一步澄清，在附图中
图I示出了显示3D图像数据的系统，
图2示出了 2D视频帧，
图3示出了并排3D格式，
图4示出了上下3D格式，
图5示出了图像和深度3D格式，
图6示出了自动检测3D格式的处理器，
图7a示出了基于正确左/右偏振的深度图，
图7b示出了基于错误左/右偏振的深度图，
图8示出了水平域中的深度分析，以及 图9示出了垂直域中的深度分析。 在图中，与已经描述过的元件相对应的元件具有相同的附图标记。
具体实施例方式注意，本发明可以用于具有深度范围的任何类型的3D显示器。假设用于3D显示器的视频数据可作为电子，通常数字的视频数据获得。本发明涉及这样的图像数据以及在数字域中操纵图像数据。
存在可以格式化和转变3D图像的许多不同方式，叫做3D视频格式。一些3D格式基于也使用2D通道来携带立体信息。本文献侧重于使用2D格式信号以便可与现有2D分配兼容的3D格式。图I示出了显示像视频、图形或其它可视信息那样的三维(3D)图像数据的系统。源设备40将视频信号41传送给视频设备50。源设备根据可从存储系统、从3D照相机等获得的视频数据输入43提供视频信号。视频信号41可以是2D视频信号或3D视频信号。这个文献侧重于经由按照预先存在2D信号格式格式化，例如，以便可与现有分配通道兼容的信号传送3D视频内容。在这样的2D格式化视频信号中，3D格式定义3D视频数据的地点和结构。因此，视频数据代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容。尤其，视频信号含有2D帧和2D格式的控制结构，而在使用3D格式的情况下，视频数据含有构成单个3D帧的至少两个3D子帧。实际上，使用各种不同的3D格式，并且视频信号包含一组可能3D格式之一的结构。下面参考图2-5讨论3D格式的各种例子。源设备可以是服务器、广播器、记录设备、或制造像蓝光盘那样的记录载体的制作 和/或生产系统。蓝光盘支持内容创作者的互动平台。对于3D立体视频，存在许多格式。主要格式是立体和图像加深度格式。再次，对于这些，存在可以将内容格式化成可适当地与新的和现有的3D显示器和分配格式一起使用的许多可能方式。有关蓝光盘格式的更多信息可在蓝光盘协会的网站中从有关视听应用格式的论文中获得http: //www. blu-raydisc.com/ Assets/DownloadabIefiIe/2b_bdrom_audiovisualappIication_0305-l2955-15269.pdf。生产过程进一步包含导出体现包括深度元数据的3D视频信号的轨道中的标记的物理模式，随后成形记录载体的材料，以便在至少一个存储层上提供标记的轨道。在实施例中，源设备含有处理单元42，用于如下所述，修改3D视频输入43的视频数据，以便改进经由2D格式视频信号发送的3D视频数据的检测。将视频设备50与3D显示设备60耦合用于传送3D显示信号56。3D视频设备含有接收视频信号的输入单元51。例如，该设备可以包括与输入单元耦合的光盘单元58，以便从像DVD或蓝光盘那样的光记录载体54中检索视频信号。可替代地，该设备可以包括与网络45，例如，互联网或广播网络耦合的网络接口单元59，这样的视频设备通常被叫做机顶盒。该视频设备还可以是卫星接收器、媒体播放器、个人计算机、移动设备等。该视频设备含有与输入单元51耦合以便处理视频信号的处理器52。该处理器提供指示视频信号的格式的3D状态信号57。3D状态是2D状态或指示一组可能3D视频格式的一种3D格式的3D状态。该处理器被安排成通过按照各自预定格式特性处理视频数据，为至少一种可能的3D格式确定各自格式分(score)。分析视频信号，以便为各自3D格式计算格式分，即，假设信号包含视频数据，按照各自3D视频格式，从信号中导出相应3D子帧。此外，该处理器还导出各自3D子帧，并根据格式分的评估将3D状态信号设置成指示视频信号的格式。该视频设备提供3D状态信号以便控制3D视频显示，S卩，设置正确再现视频信号的操作模式。处理器52的示范性例子将参考图6来描述。在实施例中，视频设备含有用于在3D子帧的边缘上检测3D格式信号特性的检测器53。例如，该检测器可以检测3D子帧的垂直边缘上的垂直黑色哑带、或3D子帧的水平边缘上的水平黑色哑带。由于2D帧的宽高比与活动视频区的失配，例如，在16:9视频帧中宽高比为2. 35:1的电影，在视频数据中可能存在相当宽的黑条。这样的宽黑条可以容易地检测到,例如,在如下所述的上下3D格式中。这样，为了检测宽高比而检测宽黑条例如可从US 5，686，970 中获知。该检测器与处理器52耦合以便生成3D状态信号，并且可以与处理器52物理集成。在实施例中，视频信号包含代表按照3D格式格式化的3D内容或按照2D格式格式化的2D内容的视频数据，该视频信号含有2D帧和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能3D格式之一，该视频数据含有如下的至少一种3D子帧的垂直边缘上的垂直黑色哑带，但视频内容宽高比不需要垂直黑条；以及3D子帧的水平边缘上的水平黑色哑带，但视频内容宽高比不需要水平黑条。要注意的是，将黑色哑带加入视频数据中，不是为了校正任何宽高比失配，而是为了允许检测黑色哑带用于确定3D格式。现在，黑色哑带是视频区中的多个像素之一的小黑条。注意，该哑带可以小到足以落在通常不显示并叫做过扫描区的视频帧的边界区中。该黑色哑带可以应用于视频区的上下边缘或左右边缘，可替代地，该黑色哑带可以只应用于一个侧边缘，例如，两个3D子 帧处在2D格式视频信号的2D帧中时相邻的边缘。在实施例中，检测器53被安排成检测如有意加入上面定义的视频信号中的3D子帧的垂直边缘上的垂直黑色哑带或3D子帧的水平边缘上的水平黑色哑带。相对小的条已被包括在3D子帧的视频数据中，以便改善在2D格式视频信号中传送的3D视频数据的自动检测。该检测器在考虑到在编码方通过各自3D格式规定的像二次采样那样的任何预处理的同时，按照各自3D视频格式从视频数据中导出假设包含黑色哑带的3D子帧的特定边缘区。在实施例中，黑色哑带的黑色级别对于左右3D子帧可以具有不同值(例如，0和4)。当在显示器上观看时，两个值基本上都是黑色的。这种特性可以用于进一步协助偏振检测。在实施例中，处理器被安排成生成要经由输出接口单元55传送到显示设备的显示信号56,例如，按照HDMI标准(参阅可在http://hdmi. org/manufacturer/specification, aspx 网站获得的文献“High Definition Multimedia Interface;Specification Version I. 3a of Nov 10 2006”)的显不信号。处理器52被安排成生成包括在显示信号56中的图像数据，用于显示在显示设备60上。显示信号可以按照现有的2D信号格式格式化，3D状态信号可以分开地，例如，经由分开接口提供给3D显示设备，以便控制3D视频显示，即，设置正确再现视频信号的操作模式。在实施例中，可以将3D状态信号嵌在3D显示信号56中，例如，嵌在控制信号或控制数据帧中。输出接口单元(55)构成发送3D显示信号的发送部件，该3D显示信号包含3D视频内容和指示3D状态信号的控制数据。在实际实施例中，将按照HDMI I. 4标准的3D信令提供给显示信号。3D显示设备60用于显示3D图像数据。该设备含有输入接口单元61，用于接收从视频设备50传送的可以包括3D视频数据的显示信号56。在处理单元62中对传送的视频数据加以处理，以便显示在3D显示器63 (例如，双重或柱状IXD)上。显示设备60可以是任何类型的立体显示器，也叫做3D显示器，并且具有箭头64所指的显示深度范围。
在3D显示设备60的实施例中，在显示设备中的处理器62中进行视频信号的处理和3D与2D格式的检测。经由显示信号56传送视频数据。在显示设备中本地进行格式检测。处理单元62现在执行为生成直接耦合到3D显示器的处于2D或3D模式的显示信号提供3D状态信号的功能。处理部件62可以安排成如针对视频设备中的处理器52和/或检测器53所描述的对应功能。在实施例中，将视频设备50和显示设备60集成在单个设备中，其中单组处理部件执行所述2D/3D格式检测功能。内部提供3D状态信号57以便直接控制内置的3D视频显示器。图I进一步示出作为携带3D格式的视频信号的载体的记录载体54。该记录载体是盘状的，并含有轨道和中心孔。由一系列物理可检测标记构成的轨道依照构成信息层上的几乎平行轨道的圆圈的螺旋或同心模式排列。记录载体可以是可光学读取的，叫做光盘，例如，⑶、DVD或BD (蓝光盘)。在信息层上通过沿着轨道的可光学检测标记(例如，凹坑和平台)表示信息。轨道结构也包含指示通常叫做信息块的信息单元的地点的位置信息，例 如，首标和地址。记录载体54以像DVD或BD格式那样的预定记录格式携带代表像是例如按照MPEG2或MPEG4编码体系编码的视频那样的数字编码图像数据的信息。在各种实施例中，视频设备中的处理器52和检测器53被安排成执行如下详细描述的功能。在实施例中，一种方法提供视频信号，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该视频信号含有2D帧和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能的3D格式之一，该视频数据含有如下的至少一种
-3D子帧的垂直边缘上的垂直黑色哑带，但视频内容宽高比不需要垂直黑条；
-3D子帧的水平边缘上的水平黑色哑带，但视频内容宽高比不需要水平黑条，
以便允许检测黑色哑带用于确定3D格式。在进一步的实施例中，该方法包含制造记录载体的步骤，该记录载体被提供有代表视频信号的标记的轨道。作为产品，通过上述制造方法使记录载体54配备有包含上述视频信号的标记的轨道。图2示出了 2D视频巾贞。该图示出了虚线21所指的2D视频帧中的2D视频内容的例子。相同但处于3D形式的视频内容也用作图3-5中的3D格式的例子。注意，2D帧是按照各种已知2D格式之一编码在2D视频信号中的。如在现有技术中已知，该编码可以包括按照MPEG2或MPEG4的压缩。图3示出了通过SBS进一步指示的并排3D格式。该图示出了 3D视频内容由2D视频帧21中并排排列的左帧L 31和右帧R 32构成的例子。图4示出了通过TB进一步指示的上下3D格式。该图示出了 3D视频内容由处在2D视频帧21的上半部的左帧L 33和处在2D视频帧21的下半部的右帧R 34构成的例子。一种不同的3D格式基于使用2D图像和传达有关2D图像中的对象的深度的信息的附加深度图像D (所谓的深度图)的两种视图。该格式叫做图像+深度(2D+D)，不同之处在于将2D图像与所谓的“深度”或差异图结合。这是灰度图像，从而像素的灰度值指示相关2D图像中的相应像素的差异量(或在深度图的情况下，深度)。显示设备使用差异、深度或视差图来计算将2D图像取作输入的附加视图。这可以以多种方式完成，在最简单形式中，要紧的是取决于与那些像素相联系的差异值向左或向右移动像素。注意，在2D+D格式中，可以包括像遮蔽度和/或透明度那样的进一步深度信息。Christoph Fehn的标题为“D印thimage based rendering, compression and transmission for a new approach on 3DTV”的论文给出了该技术的极好概述(参见http://iphome. hhi. de/fehn/Publications/fehn_EI2004. pdf)。图5示出了通过2D+D进一步指示的图像和深度3D格式。该图示出了3D视频内容由2D视频帧21中并排排列的2D帧35和深度帧D 36构成的例子。2D和深度帧也可以排列在与图4类似的上/下配置中。排列在2D格式视频信号中的进一步3D格式将在后面讨论。在如下部分中，将讨论处理按照像SBS、TB或2D+D那样的3D格式包含3D视频内容 的2D格式视频信号。下面的列表示出了立体视频的一些进一步二次采样方法和3D格式
-行交错(LI)；
-列交错(Cl)；
-也叫做五点形的方格(CB)；
-像方格那样，但为了更好地压缩像在SBS中那样存储L和R样本的并排方格(CSB)。CB的一个例子描述在US2005/0117637中。通过假设已经使用了特定的3D格式，以及利用像运动/差异补偿、相关性、平均绝对差(MAD)的计算等那样的技术比较可能性，自动检测实际的3D模式。对于不同采样方法，下面的系统将相应方法用于检测格式。该方法中的第一步骤是依照各自3D格式的排列和/或交错从2D格式信号中导出3D子帧。例如，对于LI排列，该方法根据各自行重构L和R。随后，分析所称的3D子帧，以确定这些特性是否是所预期的。如果是，将3D状态信号设置成指示各自3D格式。图6示出了自动检测3D格式的处理器。该图示出了具有分析2种可能3D格式的并行排列的处理器52的示范性实施例。在该图的上部中，将视频输入信号600耦合到3D子帧分解单元SPH 601，以便按照第一 3D格式将输入信号中的2D帧分解成两个(或更多个)3D子帧。在该例子中，单元SPH具有按照3D子帧的并排(SBS)排列水平地分解帧的功能。存储单元L 602存储左3D子帧的像素，存储单元R 603存储右3D子帧的像素。L和R单元602，603可能仅仅存储到来的像素，或可能按照假设使用的各自3D格式将视频数据上采样成全分辨率。对于基于上采样的全分辨率，预期更好的结果，因为编码器方的视频数据沿着，例如，现在得到补偿的水平、垂直或五点形方向，按照各自3D格式被下采样。随后，将3D子帧耦合到比较部分，用于计算3D子帧之间的对应性。在该实施例中，配备了进行计算3D子帧之间的平均绝对差的对应性计算单元MAD 605。计算2个部分中的每个(或一个小组的)对应像素的平均绝对差。可替代地，或另外，可以估计3D子帧之间的其它对应性，例如，计算均方差(MSD)，计算3D子帧之间的相关性，或计算各自3D子帧的颜色特性以便检测如图5所示的2D+D格式的深度数据子帧。在评分单元CMP 607中，例如，通过归一化，将对应性计算的输出转换成SBS 3D格式的格式分610。如果有的话，评估不同3D格式的格式分，以确定使用的实际3D格式。可以将格式分相互和/或与各自阈值比较。格式分可以表达指示按照各自3D格式出现实际3D子帧的概率的置信水平。格式分可以重复，例如，每秒地确定，并且可以在加权评价过程中评估多个测量和各自置信水平。如果已经达到预设的置信水平和/或在预定间隔之后，可以终止该过程。该过程可能牵涉到利用置信水平加权的多数票决，例如，特定3D格式的随之假设之间的小差值的高MAD值给出那种格式的低置信度。如果没有一种3D格式给出足够的置信水平，则假设是2D信号(单视频)。在示出在图6中的实际实施例中，MAD值必须是低的，在CMP单元中被测试低于某个阈值TH1，以便如果该分数足够可靠，则作出第一 3D格式的格式分的值Hl所指示的，在输入存在第一 3D格式的判定。由于左右图像是从不同视点取得的，所以最好尽可能地消除这种影响，这可以通过，例如，差异估计(DE)和对导致L’的R视图应用“运动/视图”补偿(MC)来完成。注意， 运动估计的技术在这里可以用在L和R子帧上，S卩，检测空间差，而不是两个帧之间的时间差。运动估计是已知的，并且已知的算法可以类似地应用于差异估计。差异估计和视图补偿的其它技术也可以用于确定L’。比较部分因此可以配有3D子帧处理器DE/MC 604，用于根据存储单元L和R实际包含左右子帧的假设减小子帧之间的差。此外，处理器DE/MC将适当差异估计和/或运动补偿算法应用在R的内容上，以生成L’=MC(R)所指的R的补偿版本相对应的补偿帧L’。随后，由对应性计算单元MAD将帧L与帧L’相比较。显示在图6中的处理器含有并行排列的第二部分，以便同时提供第二 3D格式的第二格式分。在该图的下部中，将视频输入信号600耦合到3D子帧单元SPV 611。单元SPV具有按照3D子帧的上下(TB)排列垂直分解输入信号中的2D帧的功能。存储单元T 612存储帧上部的像素，例如，左3D子帧，存储单元R 613存储与右3D子帧相对应的下部的像素。随后，将3D子帧耦合到比较部分，以便计算3D子帧之间的对应性。提供等于上述单元605的进一步对应性计算单元MAD 615。在等于上述单元607的进一步评分单元CMP 617中将对应性计算的结果转换成TB 3D格式的格式分620。可选地，可以在单元CMP中将该格式分直接与阈值TH2相比较，以便如果该分数是可靠的，则直接作出第二 3D格式的格式分的值Vl所指示的，在输入存在第二 3D格式的判定。比较部分可以配有等于上述单元604的3D子帧处理器DE/MC 614，以便减小子帧之间的差值，和/或等于下述单元606的偏振单元POL 616，以便确定偏振分和生成第二输出左/右偏振状态信号LR/RL。处理器的功能是测试接收输入格式是图形的上分支中的SBS或接收输入格式是图形的下分支中的TB的假设。如果两种假设都是假的(在该实施例中，Hl和Vl两者都是假的)，则输入信号显然是常规2D信号。关于图6中具有2个平行部分的实施例，应该注意到，可以容易地导出其它排列，譬如，分析进一步3D格式的进一步平行部分，或依次按照不同3D格式编程相同单元以便提供各自3D格式的格式分的顺序排列。在具有依次测试多种3D格式的实施例中，为该组可能的3D格式的许多3D格式确定各自格式分以预定次序安排，并且当格式分的评估提供预定置信水平时，设置3D状态信号。因此，当依次测试的3D格式之一已经达到可靠的格式分时，设置3D状态信号。预定次序可以用于提高检测的速度，并且可能基于，例如，减小的出现可能性、用户的设置、和/或3D内容提供者的设置。例如，内容提供者可能根据3D格式的实际出现在机顶盒中设置预定次序。在实施例中，用户可以被提供根据3D格式分校正3D状态信号的选项。首先，系统确定最有可能的格式，但是，如果该结果是不正确的，则用户可以利用遥控器上的按钮根据格式分循环到下一个可能候选者。在实际实施例中，3D子帧处理器DE/MC 604可以被安排成按如下预处理各自3D子帧以改进比较
-计算3D子帧之间的差异估计值，并在进一 步比较之前根据该差异估计值补偿至少一个3D子帧；和/或
-计算2D帧的自相关性以便与3D子帧的相关性比较。该相关性是由单元MAD计算的，并且自相关性的输出可以用于设置如上所述的阈值TH1。注意，实际上，可以首先对L和R的内容应用二次采样(即，水平或垂直或hor/ver抽选)，这将降低像单元DE/MC和MAD那样的进一步单元的计算复杂性。在实施例中，也可以检测二次采样的特定类型。例如，SBS方格格式具有不同于正常SBS方法的二次采样。SCB与SBS的区分可以基于SCB谱更加交叉/菱形状(在垂直与水平之间是对称的)，SBS垂直脊状(水平高频比垂直高频受到更多抑制)的频谱分析。实际上，可以在如下的不同过程中检测许多3D格式。计算整个2D帧的自相关性(例如，根据MAD或其它技术)，随后根据像如下那样的一些适当选择偏移计算进一步的相关性以确定格式分
a.向右一个和两个像素(对于Cl格式)
b.向下一个和两个像素(对于LI格式)
c.向右半巾贞像素(对于SBS格式)
d.向下半帧像素(对于TB格式)
其次，比较格式分值以决定哪种格式(2D，TB, LI, Cl, CB)最有可能。第三，例如通过确定图像的左/右半或上/下半中U/V的恒定性，分开检测2D+D。注意，可以容易地检测2D+D，这是因为对于一半的所有像素，所有像素的UV值将是固定值，通常，0 (128)。如果两个半部都是这种情况，则显然是黑色和白色视频源。在可替代的实施例中，为了加速处理，只对所称3D子帧计算第一列像素的MAD或MSD，例如，将左部和右部用于SBS。如果它们表明高度相关，则3D格式可能是正确的。可以包括更多列，以提高可靠性。一种甚至更快的手段只比较图像的左部和右部的第一列像素的平均颜色。如果未检测到SBS，则系统通过分解不同部分中的信号而继续，对于TB，沿着水平方向进行分解，然后对于LI，再次将相同算法用于奇数行和偶数行的第一像素，对于CL，用于各列等。如果这些没有一个导致肯定匹配，则系统回到2D。注意，各种可能的3D格式含有按照左/右偏振排列在2D帧中的左右3D (L和R)子帧。对于各自3D格式，也可以根据在平均视频内容中假设深度的预定分布，例如，通过使用差异估计自动检测左/右偏振，以便获得深度图。通过分析这个基于偏振假设的深度图，可以核实假设的偏振是否正确。当假设的偏振正确时，屏幕下部的深度应该指示与观众接近的对象，而上部的深度应该指示离观众最远的对象。要注意的是，偏振检测也可以独立于3D格式的自动检测地应用。例如，当经由3D分配系统接收到3D视频内容以及3D格式具有相应控制信号时，可以应用偏振检测来确定或核实偏振，例如，以保证在存储、处理或传送3D子帧时没有发生错误。图7a示出了基于正确左/右偏振的深度图。在该图中，深度图被显示成含有指示大深度的暗淡像素和指示与观众接近的对象的明亮值。该深度图可以经由差异估计和将差异转换成深度值而生成。实际上，对于偏振测试，可以根据严重二次采样/抽选的输入帧生成深度图。图7b示出了基于错误左/右偏振的深度图。可以应用差异估计来获取深度图。通过分析深度图，可以核实假设的偏振是否正确。当假设的偏振正确时，屏幕下部的深度值应该指示与观众接近的对象，而上部的深度值应该指示离观众最远的对象(与图7a的情况一样)。当假设的偏振错误时，屏幕下部的深度值应该指示较远离观众的对象，而上部的深度值应该指示与观众较接近的对象(与图7b 一样)。在实施例中，处理器部分配有偏振单元POL 606，用于根据出现在3D帧中的深度的预定分布确定偏振分。根据偏振分的评估，例如，根据3D帧的上半部中的平均深度与3D帧的下半部中的平均深度之间的最小差，为设置3D状态生成输出左/右偏振状态信号LR/ RL。3D帧中的深度值在2D+D格式中可直接获得，或可以由3D子帧处理器DE/MC 604根据L和R 3D子帧的差异导出。在实际实施例中，确定偏振分基于对于3D子帧的可能偏振排列的至少一种，确定3D帧中的深度是否随帧中的垂直高度增大，或确定3D子帧的垂直边缘上的深度是否指示屏幕后面，例如，对象或背景的深度。类似地，确定偏振分可以基于确定3D帧中的差异值如何随帧中或边缘上的垂直高度而改变。实际上，在正常3D视频内容中，屏幕外效果相对较差并且集中在图像的小部分上。因此，可以计算总平均深度作为偏振的指示器。注意，由于左右3D子帧之间的漂移，所以超出屏幕级别的深度暗示着沿着一定水平方向的差异值。在实际的实施例中，可以使用差异而不是实际的深度。而且，可以与运动类似地估计差异，即，使用众所周知的运动估计算法计算左右图像之间的运动矢量。由于预期的深度/差异分布，这样的“运动”矢量具有优选的水平运动方向。从所述方向中导出偏振状态信号。在进一步的实施例中，偏振单元通过应用像MPEG2那样的压缩算法评价L和R子帧，并确定哪些群(块)像素可以被预测地(P)或双向地(B)编码(其对应于含有运动矢量)或(I)编码(对应于没有运动矢量)。实际上，在3D子帧的某些边缘上，I编码像素的数量可能偏离平均值，该偏离可以用于指示偏振。通常，在L帧的左侧(在R帧上剪裁下来的部分)和R帧的右侧上应该是更多的I像素。因此，在3D子帧的边缘上的I编码像素的数量用于判定左/右偏振。注意，3D格式也可以根据I像素加以检测。当I像素趋向于出现在2D帧的中心的垂直轴上时，这是SBS 3D信号的强指示。当I像素趋向于出现在2D帧的中心的水平轴上时，这是TB 3D信号的强指示。图8示出了水平域中的深度分析。该图示出了基于要测试正确性的假设左/右偏振的深度图。该深度图被细分成许多水平域81，82，89，也叫做水平仓(bin)。通过将深度图分解成水平仓，可以计算每个仓中的平均深度值。将回归分析应用于仓的平均值，以确定下部是否比相反的上部暗，并确定偏振。图9示出了垂直域中的深度分析。该图示出了基于要测试正确性的假设左/右偏振的深度图。该深度图被细分成许多垂直域91，92，也叫做垂直仓。通过将深度图分解成垂直仓，可以在每个仓上应用回归分析，并针对每个仓，确定下部是否比相反的上部暗。如果大多数仓对应于正确的偏振假设，则可以安全地假设偏振是正确的，否则，将偏振倒过来。如果它们大致相等，则LR分析的结果是不确定的，必须分析进一步的视频输入。不需要深度图的确定偏振的其它可替代实施例是梯形检测或边缘检测。梯形检测牵涉到如下步骤 -假设第I巾贞是L，第2巾贞是R
-从L+R帧中进行深度或差异估计
-如果差异/深度随着你从底下开始移动而增大，则假设是正确的，否则交换L，R -在一变体中，使搜索区域局限于(试探)L和R帧的上部，并检查差异/深度是否是正的。边缘检测牵涉到如下步骤
-假设第I巾贞是L，第2巾贞是R
-尝试将靠近L帧中的屏幕的右边缘的区域与R帧的右边缘匹配(P矢量确定)
-如果匹配得不好，则假设是正确的，否则交换L和R -可以将L和R倒过来在帧的左边缘上重复这个过程。这种想法是在边缘上，内容在屏幕的后面(或至少存在靠近它的浮动窗口)，因此与右屏幕边缘接近的对象的R眼部分将被遮挡，因此不能匹配它的L眼部分。类似地，与屏幕的左边缘接近的对象的L眼部分将被遮挡，因此不能匹配它的R眼部分。在实施例中，为了提高格式和/或偏振检测的可靠性，应用场景切割检测。为此，处理器52被安排成检测场景变化。对多个场景进行多次3D格式检测，最终根据至少两个不同场景中的格式检测设置状态信号。因此，确定各自格式分牵涉到检测视频内容中的场景变化，以及为至少两个场景计算格式分。实际上，可以使用3个场景，例如，当为通过场景切割标记的3个相继视频部分计算3个随后屏幕判定时，至少2个格式判定必须一致，至少一个可能不确定。2D扩展设备可以定义如下处理视频信号的视频设备，该设备包含接收视频信号的接收部件，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该3D格式含有构成单个3D帧的至少两个3D子帧，该2D格式含有2D帧，以及该设备包含处理器，用于检测所述3D内容的存在，通过检索至少一个3D子帧将3D内容转换成2D视频内容，以及按照2D格式将子帧扩展成2D帧。该2D扩展设备检测输入上的3D内容，并根据所需输出模式输出2D或3D视频信号。有利的是，可以将单个3D传输信号用于也向2D观众提供视频内容的2D版本。此外，如上所述，可以以2D信号格式传送3D内容，以便可与现有的分配系统兼容。由于2D扩展功能，仍然可以将2D视频信号提供给2D观众。在实施例中，该2D扩展设备是具有如下安排的2D扩展功能、如图I所示的视频设备。处理器52被安排成在到达输入单元51的输入视频信号中按照3D格式检测3D视频内容的存在。而且，该设备被安排成通过将输入上的3D视频内容转换成2D输出信号提供2D输出信号。为此，将3D输入信号的一部分(例如，左巾贞)扩展成2D输出信号中的2D巾贞，同时除去原始3D内容。此外，可以从信号中除去3D控制数据(如果有的话)，并用2D控制数据取代它。2D输出信号可以耦合到取代3D视频设备60连接的2D视频设备，或可以由用户选择，以便有意避免显示3D视频。2D扩展设备可以使用户能够选择2D输出模式或3D输出模式，以便使输出信号与用户的要求匹配，例如，与用户打算连接或已经连接的装备匹配。可替代地，或另外，2D扩展设备可以安排成，例如，按照如上所述的HDMI，同与输出单元55耦合的视频设备交换控制数据。控制数据可以指示相连显示设备的3D能力，并且视频设备可以依照所述显示能力自动选择2D或3D输出模式。处理器52被安排成如果需要的话，将输入上的3D视频内容转换成2D输出信号。该转换根据输入上的3D视频内容的存在和已经设置的2D输出模式来激活。处理器首先确定输入信号的3D格式。要注意的是，3D格式可以如上所述自动从视频数据中检测到，或可以从与输入信号一起提供的控制信号中导出。在2D扩展设备的实施例中，内容提供者可以将3D视频信号中的专用控制信号提 供给2D扩展设备，以指示必须转换的3D内容的存在、和/或视频信号的特定3D格式，例如，如图3所示的并排3D格式。因此，可以在视频流中包括SBS或TB信令。随后，处理器检索3D子帧，例如，按照SBS来自输入视频信号中的帧的左部的左3D子帧。3D子帧在与2D输出帧相比时可能具有减小的尺寸，因此，必须将3D子帧的视频数据扩展成2D帧的尺寸并插入输出信号中。对于SBS，必须扩展水平尺寸，而垂直尺寸(行数)可以保持相同。因此，该转换牵涉到，例如，通过丢失像素的内插，或任何适当形式的上采样，生成具有所需分辨率的新2D输出帧。在2D扩展设备的实施例中，未提供3D输出模式，将该转换应用于在输入上检测的任何3D视频内容。实际上，这样的设备非常适用于像针对有线或卫星信号与机顶盒耦合的普通2D电视机那样的2D视频装备的传统用户。这样的传统机顶盒可以仅仅通过在内容提供者的控制下可能的软件更新，或通过用户本身发起的一些更新过程修改成2D扩展设备。有利的是，内容提供者不必发送相同内容两次，即，针对装备了新机顶盒和3D显示器的新用户用3D发送一次，以及分开地，在附加信道上，也用2D发送一次。只发送新3D格式信号一次就足够了，这是因为传统2D显示设备从2D扩展设备(即，修改的机顶盒)自动接收扩展版本。要注意的是，2D扩展设备也可以包含如上所述的任何单元和/或功能，以便在2D格式信号中自动检测3D格式。通过自动检测提供的3D状态信号现在控制2D扩展功能。实施例是处理视频信号的视频设备，该设备包含接收视频信号的接收部件，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该视频信号含有2D帧和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能3D格式之一；以及提供指示视频信号的格式的3D状态信号的处理器，该处理器被安排成通过按照导出和比较各自3D子帧的各自预定格式特性处理视频数据来为至少一种可能3D格式确定各自格式分；以及根据各自格式分的评估将3D状态信号设置成指示视频信号的格式。可选地，确定各自格式分可以包含通过如下计算的至少一种计算3D子帧之间的对应性
-计算3D子帧之间的绝对差的平均值；以及-计算各自3D子帧的颜色特性以便检测深度数据子帧。可选地，确定各自格式分可以包含检测视频内容中的场景变化，以及计算至少两个场景的对应性。可选地，比较各自3D子帧可以包含如下计算的至少一种
-计算3D子帧之间的差异估计，并在进一步比较之前根据该差异估计补偿至少一个3D子帧；
-计算2D帧的自相关性以便与3D子帧的相关性比较。可选地，其中至少一种可能3D格式包含按照左/右偏振排列在2D帧中的左右3D [L和R]子帧，该处理器被安排成当确定格式分时，根据出现在3D帧中的深度的预定分布 确定偏振分，并且设置3D状态包括根据偏振分的评估设置左/右偏振状态信号。可选地，该处理器可以含有检测器部件，用于通过检测如下的至少一个比较各自3D子帧
-3D子帧的垂直边缘上的垂直黑色哑带；
-3D子帧的水平边缘上的水平黑色哑带。应该懂得，为了清楚起见上文已经参照不同功能单元和处理器描述了本发明的实施例。但是，显而易见，可以不偏离本发明地使用不同功能单元或处理器之间的任何适当功能分配。例如，例示成由分立单元、处理器或控制器执行的功能可以由相同处理器或控制器执行。因此，对特定功能单元的引用只能被视作对提供所述功能的适当部件的引用，而不是指示严格的逻辑或物理结构或组织。本发明可以以包括硬件、软件、固件或它们的任何组合的任何适当形式实现。本发明可选地可以至少部分实现成运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明实施例的元件和组件可以在物理上，在功能上和在逻辑上以任何适当方式实现。的确，该功能可以实现在单个单元中，实现在多个单元中，或实现成其它功能单元的一部分。这样，本发明可以实现在单个单元中，或可以在物理上和在功能上分布在不同单元和处理器之间。尽管已经结合一些实施例描述了本发明，但本发明无意局限于这里展示的特定形式。而是，本发明的范围只由所附权利要求书限定。另外，尽管一特征似乎是结合特定实施例描述的，但本领域的普通技术人员应该认识到，可以按照本发明组合所述实施例的各种特征。在权利要求书中，术语“包含”并不排斥其它元件或步骤的存在。而且，尽管分别列出，但多个部件、元件或方法步骤可以由，例如，单个单元或处理器实现。另外，尽管各个特征可以包括在不同权利要求中，但可以有利地将它们组合在一起，包括在不同权利要求中并不意味着组合这些特征是不可行的和/或不利的。此外，一个特征包含在一类权利要求中并不意味着局限于这个类别，而是指示该特征适当时可同样应用于其它权利要求类别。而且，权利要求书中的特征的次序并不意味着这些特征必须遵守的任何特定次序，尤其，方法权利要求中的各个步骤的次序并不意味着必须按这个次序执行这些步骤。而是，可以以任何适当的次序执行这些步骤。另外，单数引用并不排斥复数。因此，对“一”、“第一”、“第二”等的引用并不排除复数。权利要求书中的标号仅仅作为澄清例子提供，而不应该理解为以任何方式限制权利要求的范围。
权利要求
1.一种处理视频信号的视频设备(50)，该设备包含 接收视频信号的接收部件(51，58，59)，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该视频信号含有2D帧和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能3D格式之一， 提供指示视频信号的格式的3D状态信号的处理器(52)，该处理器被安排成通过按照导出和比较各自3D子帧的各自预定格式特性处理视频数据来为许多可能3D格式确定各自格式分，其中为所述许多可能3D格式确定所述各自格式分以预定次序安排，并且当各自格式分的评估提供预定置信水平时，根据各自格式分的评估将3D状态信号设置成指示视频信号的格式。
2.如权利要求I所述的视频设备,其中该组可能3D格式包含生成3D子帧的至少一种空间二次采样格式，以及该预定格式特性包含将3D子帧的二次采样图元排列在视频信号的2D帧中。
3.如权利要求I所述的视频设备,其中该组可能3D格式包含如下的至少一种 -让3D子帧并排排列在2D帧中的并排格式[SBS]； -让3D子帧排列在2D帧的上部和下部中的上下格式[TB]； -通过交错3D子帧的行让3D子帧排列在2D帧中的行交错格式[LI]； -通过交错3D子帧的列让3D子帧排列在2D帧中的列交错格式[Cl]； -通过以方格模式二次采样3D子帧的像素和以方格模式交错二次采样像素让3D子帧排列在2D帧中的方格-交错格式[CB]； -通过以方格模式二次采样3D子帧的像素和让二次采样像素排列在3D子帧中让3D子帧并排排列在2D帧中的方格-并排格式[CBS]； -让2D子帧和深度数据子帧作为3D子帧排列在2D帧中的2D-深度格式[2D+D]； 该处理器被安排成针对各自3D格式从视频信号中导出3D子帧。
4.如权利要求I所述的视频设备，其中预定次序基于如下至少一种 -减小的出现可能性； -用户的设置； -3D内容提供者的设置。
5.如权利要求I所述的视频设备，其中确定各自格式分包含通过如下计算的至少一种计算3D子帧之间的对应性 -计算3D子帧之间的相关性； -计算3D子帧之间的绝对差的平均值；以及 -计算各自3D子帧的颜色特性以便检测深度数据子帧。
6.如权利要求I所述的视频设备，其中确定各自格式分包含检测视频内容中的场景变化，以及计算至少两个场景的对应性。
7.如权利要求I所述的视频设备，其中比较各自3D子帧包含如下计算的至少一种 -计算3D子帧之间的差异估计，并且在进一步比较之前根据该差异估计补偿至少一个3D子中贞； -计算2D帧的自相关性以便与3D子帧的相关性比较。
8.如权利要求I所述的视频设备，其中至少一种可能3D格式包含按照左/右偏振排列在2D帧中的左右3D[L和R]子帧，该处理器(52)被安排成当确定格式分时，根据出现在3D帧中的深度的预定分布确定偏振分，并且设置3D状态包括根据偏振分的评估设置左/右偏振状态信号。
9.如权利要求8所述的视频设备，其中确定偏振分包含针对3D子帧的至少一种可能偏振排列， -确定3D帧中的深度是否随帧中的垂直高度增大； -确定3D子帧的垂直边缘上的深度是否指示屏幕后面的深度。
10.如权利要求I所述的视频设备，其中该设备包含如下至少一种 -发送3D显示信号(56)的发送部件(55)，该3D显示信号包含3D视频内容和指示3D状态信号的控制数据； -在接收部件中读取记录载体以便接收视频信号的读取部件(58)； -根据3D状态信号再现3D视频信号的3D显示器(63)。
11.如权利要求I所述的视频设备，其中该处理器含有检测器部件(53)，用于通过检测如下的至少一个比较各自3D子帧 -3D子帧的垂直边缘上的垂直黑色哑带；以及 -3D子帧的水平边缘上的水平黑色哑带。
12.一种视频信号处理系统，其包含如权利要求11所述的视频设备、和视频信号，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该视频信号含有2D帧和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能3D格式之一， 该视频数据含有如下的至少一种 -3D子帧的垂直边缘上的垂直黑色哑带，但视频内容宽高比不需要垂直黑条； -3D子帧的水平边缘上的水平黑色哑带，但视频内容宽高比不需要水平黑条； 以便允许检测黑色哑带用于确定3D格式。
13.—种处理视频信号的方法，该方法包含 -接收视频信号，该视频信号包含代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的二维视频[2D]内容的视频数据，该视频信号含有2D帧和2D格式的控制结构，该3D格式含有构成单个3D帧的至少两个3D子帧并且是一组可能3D格式之一， -根据如下步骤提供指示视频信号的格式的3D状态 -通过按照导出和比较各自3D子帧的各自预定格式特性处理视频数据来为许多可能3D格式确定各自格式分，其中为所述许多可能3D格式确定所述各自格式分以预定次序安排，以及 -当格式分的评估提供预定置信水平时，根据各自格式分的评估将3D状态设置成指示视频信号的格式。
14.一种处理视频信号的计算机程序产品，其中该程序起使处理器执行如权利要求13所述的方法的各自步骤的作用。
全文摘要
在视频设备(50)中处理视频信号。该视频信号传送代表按照3D格式格式化的三维视频[3D]内容或按照2D格式格式化的2D内容的视频数据。该视频信号含有2D帧和2D格式的控制结构以便与现有分配系统兼容。该设备含有提供指示视频信号的格式的3D状态信号的处理器(52)。该处理器通过按照导出和比较各自3D子帧的各自预定格式特性处理视频数据来为至少一种可能3D格式确定各自格式分，并且根据格式分的评估将3D状态信号设置成指示视频信号的格式。有利的是，自动检测3D格式，并且可以相应地控制3D显示。
文档编号H04N13/00GK102742283SQ201180008878
公开日2012年10月17日 申请日期2011年2月2日 优先权日2010年2月9日
发明者W.H.A.布鲁尔斯 申请人:皇家飞利浦电子股份有限公司