专利名称：减少3d噪声的可见度的制作方法
技术领域：
本发明涉及ー种处理三维[3D]视频信号用于避免在显示在3D显示器上期间的视觉干扰的方法，该方法包括接收代表3D视频数据的3D视频信号，该3D视频数据包括将对观察者的分别的眼睛显示的用于产生3D效果的至少左视图和右视图。本发明进一步涉及3D视频装置、3D视频信号、记录载体和计算机程序产品。本发明涉及处理3D视频数据以通过减少3D噪声的可见度来改进在3D显示装置上的呈现的领域。
背景技术：
来自娱乐行业的快速增长的数量的产品针对3D影院。这些产品使用双视图的格 式(two-view format)(将对观察者的分别的眼睛显示的用于产生3D效果的左视图和右视图)，主要g在用于眼戴(eye-wear)辅助观察。存在将这些3D产品从行业带回家的兴趣。目前，用于经由诸如蓝光光盘(BD)的光学记录载体来分配立体内容的第一标准处于其最終状态。存在将3D内容从广播行业带回家的兴趣。当然在早期将被使用的格式将是常用的立体格式。用于产生2D视频数据的装置是已知的，例如视频服务器、广播装置、或创作装置。目前，用于提供3D图像数据的类似的3D视频装置是可用的，并且用于呈现3D视频数据的补充的3D视频装置被提出，像用于光盘的播放器或呈现收到的3D视频信号的机顶盒。3D视频装置可以联接到像电视机的显示装置或用于经由适当的接ロ(优选地像HDMI的高速数字接ロ)传送3D视频数据的监视器。3D显示器也可以与3D视频装置集成，例如具有接收部和3D显示器的电视机(TV)。IEEE0-7803-8834-8/05 第 6082-6085 页，由 Li-Fu Ding 等人所著的文件“StereoVideo Coding System Coding System with Hybrid しoding based on Joint PredictionScheme”描述了用于具有左视图和右视图的3D视频数据的编码方案的示例。3D内容的另ー个示例是具有多个右眼视图和左眼视图的立体内容。编码被布置用于依赖性地基于独立地对如该文件的图I和图2中所示的另ー个视图编码来对一个视图(例如，右视图)进行编码。在所需的比特率因在两个视图中使用冗余(redundancy)而减小的意义上,所描述的编码方案以及类似的编码技术是有效的。
发明内容
为了将以上立体内容带到家，3D视频数据将根据预先定义的格式来压缩。由于在广播信道上以及从更小的范围来讲在BD上的资源是有限的，所以将应用高压缩因子。由于相对高的压缩率，所以各种伪像和其它干扰可能发生，在该文件中进ー步被称为编码噪声。本发明的ー个目的是提供视频处理用于減少因在显示在3D显示器上期间的编码噪声而产生的视觉干扰。为了这个目，根据本发明的第一方面，如在开头段落中所描述的方法包括-依赖于在将3D视频数据显示在3D显示器(63)上期间所预期的因所述视图之间的编码噪声的相关性而产生的至少ー个视觉干扰量来处理3D视频数据，以减少编码噪声的相关性，以及
-传送经处理的3D视频数据以显示在3D显示器上。为了这个目的，根据本发明的第二方面，用于处理3D视频信号以避免在显示在3D显示器上期间的视觉干扰的3D视频装置包括输入装置，其用于接收代表3D视频数据的3D视频信号，该3D视频数据包括将针对观察者的分别的眼睛显示的用于产生3D效果的至少左视图和右视图；视频处理器，其被布置用于依赖于在将3D视频数据显示在3D显示器上期间所预期的因所述视图之间的编码噪声的相关性而产生的至少ー个视觉干扰量来处理3D视频数据，以减少编码噪声的相关性；以及传送装置，其用于传送经处理的3D视频数据以显示在3D显示器上。
为了这个目，根据本发明的另外方面，3D视频信号包括3D视频数据，该3D视频数据包括将针对观察者的分别的眼睛显示的用于产生3D效果的至少左视图和右视图；以及3D噪声元数据，所述3D噪声元数据指示在将3D视频数据显示在3D显示器上期间所预期的因所述视图之间的编码噪声的相关性而产生的至少ー个视觉干扰量，所述信号是用于将3D视频数据传送到3D视频装置以在该3D视频装置中根据3D噪声元数据来启用对3D视频数据的处理以減少编码噪声的所述相关性。当为观察者显示在3D显示器上时，该措施具有減少在左视图和右视图中的编码噪声的相关性的效果。在两个视图中的噪声之间的相关性导致噪声被感知为例如位于特定深度处的污迹或其它干扰。有利地，由于减少了相关性，所以任何这样的干扰对于在3D显示器处的观察者来说将是不太可见并且不太恼人的。本发明还基于下列认识。现有技术文件描述了非独立地对两个视图编码。对视图的依赖编码(cbpendent coding)通常被用于3D视频数据。由于在3D数据信道上的资源受到限制，所以相对高的即尽可能高的压缩因子将被应用，而没有根据3D视频数据的源或作者的质量准则的过于可见的编码噪声。因此，实际上，将存在一些编码噪声。本发明人已经观察到，在立体编码中的编码伪像将在特定的深度处被感知，其中它们被称为脏窗(dirtywindow)效应。该效应因在两个视图中相关的编码噪声而产生。实际上，立体内容似乎是通过脏窗被观察，因为场景中伪像的遮蔽物(veiI)在的对象的前面浮动或甚至常常向前缩进(indenting forward)对象，即在单个感知的深度位置处浮动。所述脏窗的深度位置等于在左右视图中具有相同位置的对象的深度位置，即通常在屏幕深处。如果视图已经被沿水平方向移位，例如用于补偿屏幕尺寸效应或观察者距离(被称为基线移位)，则脏窗也将在深度方向移位，但是在不同的深度位置处保持可见。将典型地用于3D视频数据的压缩方法是基于块的。块网格和块对准将针对两个视图被固定。虽然可以对左右视图独立地编码以实现更佳的编码效率，但是，联合编码(joint coding)方法是常用的。联合编码方法试图利用左右视图之间的相关性。为了获得较高的压缩因子，可以对存在于两个图像中的信息仅编码一次，可以使用空间关系和/或时间关系对信息编码，和/或从视频信号移除在単独的图像中不太可能由观察者感知的信息(基于感知的编码)。信息的移除，即，有损编码，引入编码噪声，尤其是当高压缩因子被应用吋。该编码噪声可以是可见的，因为伪像的范围从蚊状噪声到成块伪像(blockingartifact)。对于基于块的压缩方案，编码噪声典型地与由压缩方法使用的块结构相关。本发明人已经看到，虽然诸如蚊状噪声的编码伪像在単独的2D图像中可能几乎是不可见的，但是当立体对(stereo pair)的左右图像以组合的形式被观察时,这样的伪像可以变得可见。在体视学上，对每只眼应用不同的图像，分别的图像中的差别有效地对深度信息进行编码。为了确定深度，当时，人视觉系统将左视图中的对象和在右视图中的对应的对象的水平偏移(即，视差)解释为提供对象的深度的指示。就人视觉系统本身而言，我们将针对左、右视图中的所有对象来解释视差并且基于所述视差来推导场景的深度排序/深度印象。然而，人视觉系统将针对实际图像中的对象以及针对因编码噪声而产生的伪像都这样做。通常，编码噪声与在编码时使用过的块结构相互关联。一般而言，该块结构针对左视图和右视像固定在同一位置处。当编码伪像在块边界处例如在成块的情况下发生时，这些成块伪像在左、右图像中的同一位置处将是可见的。因此，编码噪声在零 视差即在屏幕深度处将是可见的。当应用左右之间的基线移位时，脏窗将并排地移动，但是将保持可见。实际上，这样的伪像对于观察者显得是一个人通过脏窗看到场景。当使用了联合编码方法时，编码噪声将固有地相关联。不幸地知道，脏窗效应会引起看到脏窗效应，并且由其而分心。如以上所解释的，脏窗问题起因于左右视图之间的相互关联的编码噪声。因此，解决该问题的措施涉及要么避免、要么减少在编码侧的相关性，或对在解码侧的相互关联的编码噪声进行去相关。存在各种方式来减少两个视图中的3D噪声或对其去相关，如在下列实施例中所描述的。在一实施例中，该方法包括根据基于视频数据块和所述块的编码參数的变换来对3D视频数据进行编码的步骤；以及针对至少一个分别的块确定所预期的至少ー个视觉干扰量的步骤，并且所述处理步骤包括依赖于如针对分别的块所确定的量来对分别的块的编码參数进行调节。在一实施例中，该装置包括解码器，该解码器根据基于视频数据块和所述块的编码參数的变换来对3D视频数据进行编码；并且视频处理器被布置用于针对至少ー个分别的块确定所预期的至少ー个视觉干扰量，以及用于在所述处理中，依赖于如针对分别的块所确定的量来对分别的块的编码參数进行调节。效果是，依赖于在显示期间所预期的视觉干扰量，编码是受到控制的。该量以及预期的3D噪声的可见度可以基于在块中的3D视频数据的内容，例如复杂图像和/或大量移动或深度差。在这样的块中，任何编码噪声将较不可见。另ー方面，在相对安静的场景中，编码噪声可能更恼人。另外，如果在分别的块中的深度很大(即，在脏窗后面的大量空间)，则视觉干扰量因具有大量空间在其后面的脏窗的高可见度而很高。随后，如果该量很高，则编码參数可以被调整以例如通过局部地増加可用比特率来減少在这样的块中的编码噪声，从而減少所述相关性。有利地，在減少脏窗效应将最明显的那些块中的脏窗效应的同时，总比特率可以被更有效地使用。在一实施例中，该方法包括对3D视频数据进行解码的步骤，所述处理步骤包括在所述解码之后，对视图中的至少ー个增加抖动噪声(dithering noise)以减少所述相关性。在一实施例中，该装置包括用于对3D视频数据进行解码的解码器，并且视频处理器被布置用于在所述解码之后，对视图中的至少ー个増加抖动噪声以减少所述相关性。抖动噪声基于在显示期间所预期的视觉干扰量而増加。效果是，虽然噪声的总量稍微增加，但是相关性減少。抖动噪声可以增加到左和/或右视图。实验表明，将抖动噪声増加到左或右视图足以对编码噪声去相关，并且提供最佳的图像品质。在一实施例中，视频处理器被布置用于在所述解码之后，仅对用于观察者的非主导眼的视图增加抖动噪声。本发明者已经注意到，实际上感知的噪声取决于增加了噪声的特定视图。看起来抖动噪声可以最佳地被施加到非主导眼，该非主导眼对于大数人来说是左眼。实际上，该装置可以具有用以确定哪只眼是主导眼的用户设置和/或测试模式。在该方法的一实施例中，该方法包括产生指示该至少ー个量的3D噪声元数据， 并且所述传送步骤包括将3D噪声元数据包括在3D视频信号中以传送到3D视频装置，以在该3D视频装置中根据3D噪声元数据来启用处理，以减少编码噪声的所述相关性。效果是，附加的3D噪声元数据在要在呈现侧使用的源处产生。例如，噪声元数据是基于编码知识，诸如已经在编码期间被使用的量化步骤。3D噪声元数据被传送至解码侧，其中它被应用用于据根据3D噪声元数据处理3D视频数据以減少编码噪声的所述相关性。例如，当3D噪声元数据指示在图像的块中的噪声级时，在解码期间増加到每个块的抖动噪声基于噪声元数据来确定。有利地，编码噪声的预期发生的数据在3D视频数据的源处产生，S卩，在丰富的处理资源可用的情况下仅产生一次。因此，在解码器侧例如在消费者场所(consumerpremises)的处理,可以相对便宜。在该方法的一实施例中，该方法包括从3D视频信号检索3D噪声元数据，该3D噪声元数据指示至少ー个量，所述处理步骤包括根据3D噪声元数据处理3D视频数据以减少编码噪声的所述相关性。在一实施例中，视频处理器被布置用于从3D视频信号检索3D噪声元数据，该3D噪声元数据指示至少ー个量；以及用于通过依赖于3D噪声元数据来处理3D视频数据的所述处理以减少所述相关性。在进ー步的实施例中，该装置包括解码器，该解码器被布置用于根据基于视频数据块和用于所述块的解码參数的变换来对3D视频数据进行解码，并且视频处理器被布置用于依赖于3D噪声元数据来对块中的至少ー个増加抖动噪声以减少所述相关性。效果是，如上所述所产生的3D噪声元数据利用3D视频信号接收，并且随后被检索并且被用来控制对3D视频数据的处理以減少所述相关性。有利地，预期的干扰量在脱机的情况下(即，在源侧)被确定。在该进ー步的实施例中，抖动噪声的量依赖于3D噪声元数据而针对分别的块受到控制，从而减少在图像的将是最恼人的部分中的视觉干扰。在一实施例中，3D视频信号被包括在记录载体中，例如被嵌入在轨道中的光学可读标记的图案中。效果是，可用数据存储空间被更有效地使用。该方法的进ー步优选的实施例，根据本发明的3D装置和信号在所附权利要求中被给出，其公开内容通过引用并入此处。
本发明这些和其它方面将从进一步參照在下列描述中通过举例并且參照附图所描述的实施例变得明显并且据此来阐明，在附图中，
图I示出用于处理在显示诸如视频、图形或其它视觉信息的3D图像数据的系统中的3D视频数据的装置， 图2示出用于减少视图之间的相关性的3D视频处理器，
图3示出在私人用户数据SEI消息中的3D噪声元数据，
图4示出用于在3D视频信号中的3D噪声元数据的数据结构，
图5示出3D视频数据，
图6示出具有3D噪声的3D视频数据，
图7A、图7B、图7C和图7D示出具有3D噪声的3D视频数据的分别的细节，以及 图8示出3D噪声的示意示例。在图中，对应于已经描述的元件的元件具有相同的附图标记。
具体实施例方式注意到，本发明可以被用于基于用于观察者的分别的左眼和右眼的多个图像(视图)的任何类型的3D视频数据。3D视频数据被假定为如电子、数字编码的数据般可用的。本发明涉及这样的图像数据和对在数字领域中的图像数据的处理。存在3D视频数据可以被格式化并且被传送的许多不同的方式，称为3D视频格式。ー些格式是基于使用2D信道以同样携帯立体信息。例如，左视图和右视图可以被交错或可以被并排以及上下放置。这些方法牺牲分辨率来携帯立体信息。图I示出用于处理在显示诸如视频、图形或其它视觉信息的3D图像数据的系统中的三维(3D)视频数据的装置。被称为3D源的第一 3D视频装置40对被称为3D播放器的另外的3D视频装置50提供和传送3D视频信号41，所述另外的3D视频装置50被联接到用于传送3D显示信号56的3D显示装置60。图I进ー步示出作为3D视频信号的载体的记录载体54。该记录载体是盘形并且具有轨道和中心孔。轨道由物理可检测的标记的图案组成，其布置成与组成在ー个或多个信息层上的基本上平行轨道的圈的螺旋形的或同心的图案相一致。记录载体可以是光学可读的，称为光盘，例如CD、DVD或BD (蓝光光盘)。信息通过沿着轨道例如凹区和凸区的光学地可检测的标记而体现在信息层上。轨道结构还包括位置信息例如数据头和地址，用于指示通常被称为信息块的信息単元的定位。记录载体54携帯代表数字编码的3D图像数据像视频的信息，例如根据MPEG2或MPEG4编码系统以像DVD或BD格式的预先定义的记录格式编码的。3D源具有处理单元42用于处理经由输入単元47收到的3D视频数据。输入3D视频数据43可以从存储系统、录音室、从3D摄影机等获得。视频处理器42生成包括3D视频数据的3D视频信号41。该源可以被布置用于将3D视频信号从视频处理器经由输出単元46并且传送至另外的3D视频装置，或用于例如经由记录载体提供用于分配的3D视频信号。3D视频信号基于例如通过经由解码器48根据预先定义的格式对3D视频数据进行编码和格式化来处理输入3D视频数据43。用于处理3D视频数据的处理器42被布置用于确定在将3D视频数据显示在3D显示器的期间预期的因在所述视图之间的编码噪声的相关性而引起的视觉干扰量，并且依赖于如针对減少编码噪声的所述相关性所确定的量来启用对3D视频数据的处理。处理器可以被布置用于确定指示当3D视频数据被显示时在其中产生的干扰的3D噪声元数据；以及用于将3D噪声元数据包括在3D视频信号中。下面进ー步详细地描述处理的实施例。3D源可以是服务器、广播装置、记录装置、或用于制造像蓝光光盘的光学记录载体的创作系统和/或生产系统。蓝光光盘提供交互式平台用于为内容创作者分配视频。关于蓝光光盘格式的信息可从蓝光光盘协会的网站以视听应用格式的论文中获得，例如http://www. blu-raydisc. com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf。光学记录载体的生产过程进ー步包括在轨道中提供标记的物理图案，所述图案体现可以包括3D噪声元数据的3D视频信号，并且随后根据图案使记录载体的材料成形以在至少ー个存储层上提供标记的轨道。3D播放器装置具有用于接收3D视频信号41的输入单元51。例如，装置可以包括光盘单元58，该光盘単元58联接到输入单元，用于从像DVD或蓝光光盘的光学记录载体54检索3D视频信息。可替代地(或附加地)，3D播放器装置可以包括用于联接到例如因特网或 广播网络的网络45的网络接ロ単元59，这样的装置通常被称为机顶盒。3D视频信号可以从如由3D源40指示的远程网站或媒体服务器被检索到。3D播放器也可以是卫星接收器、或媒体播放器。3D播放器装置具有处理单元52，该处理单元52联接到输入单元51，用于处理3D信息用于产生将被经由输出接ロ单元55传送到显示装置的3D显示信号56，例如根据HDMI标准的显示信号，參见“高清晰度多媒体接ロ ；2006年11月10日的规范版本I. 3a”，其可在 http://hdmi. org/manufacturer/specification, aspx 获得。处理单兀 52 被布置用于产生被包括在用于显示在显示装置60上的3D显示信号56中的图像数据。播放器装置可以具有用于处理3D视频数据的另外的处理单元53，该处理単元53被布置用于确定指示当3D视频数据被显示时在3D视频数据中产生的干扰的3D噪声元数据。另外的处理单元53可以联接到输入单元51，用于检索来自3D视频信号的3D噪声元数据，并且联接到处理单元52，用于控制如下所述的对3D视频的处理。3D噪声元数据也可以经由独立的信道获取，或可以基于处理3D视频数据而局部地产生。3D显示装置60用于显示3D图像数据。该装置具有输入接ロ単元61用于接收从3D播放器50传送的包括3D视频数据的3D显示信号56。传送的3D视频数据在处理单元62中被处理用于在例如双或透镜状IXD的3D显示器63上显示。显示装置60可以是任何类型的立体显示器，也被称为3D显示器，并且具有由箭头64指示的显示深度范围。在3D视频装置中的视频处理器，即在3D视频装置50中的处理器単元52、53，被布置用于执行下列功能用于处理3D视频信号以避免在显示在3D显示器上期间的视觉干扰。3D视频信号由输入装置51、58、59接收。3D视频信号包括以数字编码的压缩格式的3D视频数据。3D视频信号代表包括至少将对观察者的分别的眼睛显示用于产生3D效果的左视图和右视图。视频处理器可以被布置用于确定在将3D视频数据显示在3D显示器上期间所预期的因在所述视图之间的编码噪声的相关性而产生的视频干扰量。视频处理器被布置用于依赖于用于减少编码噪声的所述相关性的量来处理3D视频数据。下面讨论用于减少或避免所述相关性的各种技术。所述量也可以由观察者在播放器处或由作者在源处预先设置为预定的(例如针对特定信道或媒体源)、估计的(例如基于介质或数据信道的总比特率)、或固定的(例如在压缩速率将总是很低的低端应用中)。最后，经处理的3D视频数据被联接到诸如输出接ロ単元55的传送装置，用于传送经处理的3D视频数据以显示在3D显示器上。在一实施例中，该量基于压缩率、比特率和/或3D视频信号的分辨率来导出。例如，量化水平可以被监测(Q-监测)。在更多基本实施例中，确定该量可以基于预定的阈值比特率或基于用户设置。此外，该量可以基于依赖于视频内容例如依赖于图像的复杂性和/或移动量或深度差来计算3D噪声的可见度而确定。深度可以源自于来自深度图(如果可用)的视差估计(其针对该目的可能是相当粗糙的)。在复杂图像中，任何编码噪声将不太可见。另ー方面，在相当安静的场景中，编码噪声可能更加恼人。另外，如果在图像中的深度很大(即，在所谓的脏窗后面的大量空间)，则视觉干扰量因具有大量空间在其后面的脏窗的高可见度而很高。实际上，图片中的复杂性或纹理可以源自于视频信号中的高频成分、和图片中的(平均)深度、或其的区域或块，可以基于视差估计或其它深度參数来监测。此外，该量可以针对整个图像、或针对几个区域(例如，用于容纳具有更大深度的上部的上部和下部)、或针对(要么预定的，要么基于根据预期的3D噪声的可见度细分图片而动态地分配的) 更大量的块来确定。此外，指示所述量的去相关性(de-correlation)图案可以由解码器或基于已编码的信号的特性来提供，该图案可以在解码期间或在解码之后被使用以控制该方式和/或去相关性的量。減少两个图像之间的相关性可以在编码、解码期间或在对图像解码之后以各种方式执行。就这点而论，各种用于控制相关性的技术在视频处理领域中是已知的。在编码期间，编码參数可以被调整以减少两个视图之间的伪像和噪声的相关性。例如，量化可以临时地或局部地受到控制，和/或总体比特率可以是多变的。在解码期间，可以应用各种滤波技术，或可以调整參数。例如，去成块(de-blocking)滤波器可以被插入和/或被调整以减少因基于块的压缩方案而发生的伪像。去成块或进一步的滤波可以仅针对非独立编码的视图或有区别地针对非独立编码的视图被调用。在一实施例中，依赖于如针对减少编码噪声的所述相关性而确定的量来处理3D视频数据通过调节以上提及的用于基于该量控制相关性的技术来执行。例如，该量可以是针对分别的3D视频源或3D视频程序的固定设置。固定的设置可以由用户基于个人喜好输入或调整，诸如针对特定视频源、视频程序、TV频道、记录载体的类型的用干“減少3D噪声”的设置，或针对3D视频处理装置的一般设置。该量也可以例如基于3D视频数据的总比特率、质量和/或分辨率而动态地确定。在一实施例中，3D视频装置是源装置40并且包括在处理器単元42中的解码器用于根据基于视频数据块和所述块的编码參数的变换来对3D视频数据进行编码。一般而言，压缩可以使用无损技术和有损技术来执行。无损技术典型地依赖于熵编码；然而，利用无损压缩的可行的压缩增益仅取决于源信号的熵。因此，可实现的压缩率对于消费应用是典型地不充分的。因此，有损压缩技术已经被开发，其中输入视频流被分析并且信息被这样编码，使得如由观察者感知的信息丢失被保持到最小；即，使用所谓的基于感知的编码。大多数常见的视频压缩方案包括无损编码和有损编码的混合。许多的这样的方案分别包括诸如信号分析、量化和可变长度编码的步骤。可以应用范围从离散余弦变换(DCT)、矢量量化(VQ)、分形压缩到离散小波变换(DWT)的各种压缩技术。
基于离散余弦变换的压缩是有损压缩算法，该算法每隔一定间隔对图像采样，分析样品中存在的频率成分，并且丢弃那些当人眼感知它时不影响图像的频率。基于DCT的压缩形成诸如JPEG、MPEG、H. 261、和H. 263等标准的基础。视频处理器42被布置用于通过针对至少ー个分别的块确定所预期的至少ー个视觉干扰量来确定视觉干扰量。3D噪声可以由因所使用的压缩类型而产生的伪像所导致，所述压缩类型诸如针对在3D图片中的块所执行的DCT。随后，在所述处理中，视频处理器依赖于如针对所述分别的块所确定的量来针对所述分别的块或区域调整编码參数。例如，当高的量被确定用于块时，量化被调整。替代地，或附加地，可以将诸如块的编码网格与动态地改变的偏移一起使用以避免在相同的位置发生伪像。此外，可控去成块滤波器可以在编码器中被使用。如在介绍部分中所描述的，对非独立的右视图编码可以基于独立编码的左视图。当针对特定影像或3D图像数据的周期确定高的量时，可以临时地设置不太非独立的编码模式，例如取决于其它视图，在所述联合预测方案中使用I图片代替P图片。在一实施例中，依赖于两个视图的共同背景，视图中的至少ー个在编码之前被相对于在编码中使用的网络而移位。视图中的一个或两个按照移位參数水平地移位，直到网 格在两个视图中相对于背景具有基本上相同的位置为止。在解码之后，(ー个或多个)视图的按照移位參数的互补的相反移位必须被应用。移位參数可以用3D视频信号传送，所述3D视频信号例如作为如在下文參照图3和图4阐述的3D噪声元数据。有效地，3D噪声将被移到背景的深度位置，并且因此对观察者来说是不太烦扰的。移位可以每个帧地、或针对ー组图片、针对在关键帧之间的视频片断、针对场景、或针对更大的部分或视频程序来确定。移位也可以被预设到如下值该值总是移动3D噪声到屏幕后的大距离，例如无穷大。该量以及预期的3D噪声的可见度可以进一歩基于在块中的3D视频数据的内容，例如复杂图像内容和/或大量移动或深度差。在这样的块中，任何编码噪声将是不太可见的。另ー方面，在相当安静的场景中，编码噪声可能更恼人。另外，如果在分别的块中的深度很大(即，在脏窗后面的大量空间)，则视觉干扰量因具有大量空间在其后面的脏窗的高可见度而很高。随后，如果该量很高，编码參数可以被调整以例如通过局部地増加可用的比特率来減少在这样的块中的编码噪声，从而減少所述相关性。在一实施例中，3D视频装置是播放器装置50，并且视频处理器52包括用于对3D视频数据解码的解码器。处理器52被布置用于在所述解码之后对视图中的至少ー个増加抖动噪声以减少所述相关性。图2示出用于减少视图之间的相关性的3D视频处理器。输入端26对解码器21提供3D视频信号，该解码器21生成左视图L和右视图R。联接到解码器21的检测器22被布置用于例如基于来自解码器的3D视频信号的解码參数来确定所预期的所述视觉干扰量。检测器联接到抖动噪声发生器23用于可控制地产生ー些将被増加到视图的抖动噪声。噪声通过加法器24増加到视图L用于产生经处理的视频数据左视图L’。噪声通过加法器25増加到视图R用于产生经处理的视频数据左视图R’。抖动噪声能够增加到左视图L和/或右视图R。实验表明，对左或右视图增加抖动噪声足以对编码噪声去相关，并且提供最佳的图像品质。如受到检测器22控制的抖动噪声的量可以基于预设置或在显示期间所预期的预定的视觉干扰量来固定。该量也可以动态地确定，类似于上述在编码器侧的所述确定，要么针对整个图像、要么针对图像的一部分或针对块。抖动噪声可以基于如所确定的量相应地増加到图像的区域的分别的周期。在3D视频装置的进ー步的实施例中，视频处理器被布置用于在所述解码之后，仅对用于观察者的非主导眼的视图增加抖动噪声。看起来抖动噪声可以最佳地被施加到非主导眼，该非主导眼对于大数人来说是左眼。实际上，该装置可以具有用户设置和/或测试模式以确定哪只眼是主导的，用于允许观察者控制抖动噪声将被增加到哪个视图。应注意的是，在一实施例中，ー些抖动噪声和/或附加的去成块始终被例如应用到左视图。在这样的实施例中，3D噪声量针对特定系统或应用被确立一次，并且抖动和/或滤波依赖于所述确立的量而被预设。在一实施例中，3D视频装置是源40，并且视频处理器42设置有产生指示如所确定的至少ー个量的3D噪声元数据的功能，用于所述确定在显示期间所预期的视觉干扰量。3D噪声元数据也可以例如在创作系统或后处理设施中被独立地确定和/或被独立地传送到3D播放器。所述视觉干扰量可以如以上所述确定，例如基于编码知识，诸如已经在编码期间被使用的量化步骤。另外，进ー步的编码參数，像在编码期间所使用的任何预滤波或加 权表，可以被包括在3D噪声元数据中。传送过程可以将3D噪声元数据包括在3D视频信号中，以传送到3D视频装置，用于根据3D噪声元数据在3D视频装置中启用处理，以减少编码噪声的所述相关性。3D噪声元数据的进一歩延伸是在视频帧中限定若干区域以及特别地将3D噪声元数据值分配到该区域。在一实施例中，选择ー个区域被执行如下。显示区域在多个区域中被细分。针对每个区域执行检测3D噪声元数据。例如，帧面积被划分成2个或更多个区域(例如，水平条纹)并且针对每个区域，3D噪声比值被增加到流。这牺牲用于处理的解码器的自由度，例如增加抖动噪声，也取决于区域。根据依赖于区域的空间滤波器功能，3D噪声元数据可以基于对多个区域的3D噪声值的空间地滤波。在一示例中，显示区域根据编码方案被划分成块。在每个块中，所预期的3D噪声被独立地计算。在一实施例中，3D视频信号包括3D视频数据，该3D视频数据包括将针对观察者的分别的眼睛显示的用于产生3D效果的至少左视图和右视图，该3D视频信号进ー步包括3D噪声元数据，该3D噪声元数据指示在将3D视频数据显示在3D显示器期间所预期的因在所述视图之间的编码噪声的相关性而产生的至少ー个视觉干扰量。一般而言，信号被提供用于将3D视频数据传送到3D视频装置以在3D视频装置中根据3D噪声元数据启用对3D视频数据的处理以減少编码噪声的所述相关性。实际上，携帯3D噪声元数据的3D视频信号被经由例如广播的任何适当的媒体经由TV传输或人造卫星分布给观察者，或分布在像光盘的记录载体上。因此，记录载体54则包括以上包含3D噪声元数据的3D视频信号。在一实施例中，3D视频装置是3D播放器50，并且视频处理器53被布置用于通过检索来自3D视频信号的3D噪声元数据来确定视觉干扰量。该3D噪声元数据指示所述至少ー个视觉干扰量。3D视频处理器52受到控制，用于依赖于3D噪声元数据通过处理3D视频数据来调节所述处理以减少所述相关性。可替代地，为了減少在3D播放器50中的相关性，所述处理在显示装置60的ー个实施例中被执行。3D视频数据，并且可选地，3D噪声元数据例如根据HDMI标准经由显示信号56被传送。处理单兀62现在执行以上功能中的任ー项用于对3D显不器上的3D视频数据去相关。因此处理装置62可以被布置用于如针对在播放器装置中的处理装置52、53所描述的对应的功能。在进ー步的实施例中，3D播放器装置和3D显示装置集成在単一装置中。如上所述，3D噪声兀数据可以被包括在3D视频信号中。在一实施例中，3D噪声兀数据根据预先定义的诸如MPEG4的标准传输格式被包括在用户数据消息中，所述消息例如H. 264编码流的发信号基本流信息[SEI]消息。该方法具有如下优点它与依赖于H. 264/AVC 编码标准(參见例如 ITU-TH. 264 和 IS0/IEC MPEG-4 AVC, S卩，IS0/IEC 14496-10 标准)的所有系统兼容。新的编码器/解码器可以实现新的SEI消息，而现有编码器/解码器将仅仅忽略它们。图3示出在私有用户数据SEI消息中的3D噪声元数据。3D视频流31被示意性地指示。在流中的ー个元素是发信号以对解码器指示流的參数，所谓的发信号基本流信息[SEI]消息32。更具体地，3D噪声元数据33可能被存储在用户数据容器中。3D噪声元数据可以包括噪声值的绝对量、信噪比值或3D噪声信息的任何其它表示。 图4示出用于在3D视频信号中的3D噪声元数据的数据结构。例如，视频信号可以根据预先定义的像蓝光光盘的3D格式被提供在记录载体上。在该图中所示的表限定在视频流中的分别的控制数据包的语法，具体地，限定了 3D噪声元数据的G0P_结构_映射()，用于单独地显示在被一起编码的图片组(GOP)中的图片。该数据结构限定了 3D噪声元数据35的字段。这些字段可以包含3D噪声量或比例、或其它3D噪声相关的參数，像指示编码网格和/或滤波的解码控制參数。该结构可以进ー步被扩展用以例如针对显示图片内的区域或块提供如上所述的更详细的3D噪声元数据、持续一段时间地提供3D噪声元数据等。图5示出3D视频数据。该图示出具有未经压缩的高质量3D视频信号中的左视图71和右视图72。图6示出具有3D噪声的3D视频数据。该图示出源自于如图5中所示的视频数据的左视图81和右视图82。在首先对3D视频数据进行编码之后，通过在源侧的相对强的压缩、经由3D视频信号传送、并且通过在播放器侧的解压缩来解码而产生视图。各种伪像现在是可见的，例如左视图和右视图中的白斑83，并且成块效应在两个视图中相同的网格中具有边界84。各种伪像在两个视图中大致相同的位置处发生，并且将因此具有由3D观察者感知到的特定深度位置，通常在屏幕深度处。伪像将在该深度处“飘浮在空中”，实际上形成所谓的脏窗。图7A示出在图6的左视图的网格84中具有边界的成块效应的特写，并且图7B示出在图6的右视图的网格84中具有边界的成块效应的特写。同样地，图7C示出在图6的左视图中的白斑83的特写，并且图7D示出在图6的右视图中的白斑83的特写。图8示出3D噪声的示意示例。该图示出具有山、房屋和太阳的场景的左视图91和右视图92。网格被示出为代表DCT块网络结构，如以上提及的。在R视图中的对象相对于L视图移位到相对于背景在左边，意味着对象突出，例如房屋是在山的前面。太阳被移位到右边并且被感知在屏幕后面的无限远处。在L视图和R视图中具有相同的位置的任何事物具有屏幕深度。在左视图和右视图两者中使得两个编码伪像93、94可见。第一伪像93配合在网格中并且在两个视图中具有相同的位置，因此浮在在背景山的前面的屏幕深度处。第ニ伪像94也浮在屏幕深度处。注意，在该示例中，房屋突出在屏幕的前面。因此，第二伪像似乎在房屋的后面。甚至更恼人的是，如果这样的伪像与房屋的区域相一致，它似乎在房屋的前面可见但是具有在房屋后面的深度，即，好像在房屋中的孔。应了解，为清楚起见，上文的描述已经參照不同的功能単元和处理器对本发明的实施例进行了描述。然而，将明显的是，在不脱离本发明的情况下，可以使用不同功能単元或处理器之间的功能性的任何适当的分配。例如，所示的将被由独立的单元、处理器或控制器执行的功能可以由相同的处理器或控制器执行。于是，对特定功能単元的提及应仅被看作对用于提供所描述的功能性的适当装置的提及，而不是表示严格的逻辑或物理结构或组织。本发明能够以任何适当的方式实现，所述形式包括硬件、软件、固件或其任何组合。尽管在上文中，已经针对装置提供了大多数实施例，但是，相同的功能由对应的方法提供。可选地，这些方法可以至少部分地被实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和组件可以以任何适当的方式物理地、功能地和逻辑地实现。实际上，功能性可以在单个单元中、在多个单元中或作为其它功能単元的一部分而实现。就这点而言，本发明可以在单个单元中实现或可以物理地和功能 地分配在不同的単元和处理器之间。虽然已经结合一些实施例描述了本发明，但是本发明不g在受到此处所阐述的特定形式的限制。相反，本发明的范围仅受到所附权利要求的限制。另外，虽然某ー特征可能看似结合特定实施例被描述，但是，本领域的技术人员将意识到，所描述的实施例的各种特征可以根据本发明合井。在权利要求中，术语包括并不排除其它元件或步骤的存在。此外，虽然被单独地列出，但是多个装置、元件或方法步骤可通过例如单个单元或处理器实现。另外，虽然单独的特征可以包括在不同的权利要求中，但是这些可能有利地被合并，并且不同权利要求中的包含物并不意味着特征的组合不是可行的和/或有利的。对一个类别的权利要求中的特征的包含也并不意味着对该类别的局限性，然而相反地指示该特征同样地可以视情况应用于其它权利要求类别。此外，权利要求中的特征的顺序并不意味着这些特征必须以任何特定顺序工作，并且特别地，方法权利要求中的単独的步骤的顺序并不意味着必须以该顺序执行这些步骤。相反，这些步骤可以以任何适当的顺序执行。此外，单数提及并不排除复数。因此，对“一”、“ー个”、“第一”、“第二”等的提及并不排除复数。权利要求中的附图标记仅被提供作为说明性实例，不应被解释为以任何方式限制权利要求的范围。
权利要求
1.一种处理三维[3D]视频信号以避免在显示在3D显示器上期间的视觉干扰的方法，所述方法包括 -接收代表3D视频数据的3D视频信号(41，43)，所述3D视频数据包括将对观察者的分别的眼睛显示的用于产生3D效果的至少左视图和右视图， -依赖于在将所述3D视频数据显示在3D显示器(63)上期间所预期的因所述视图之间的编码噪声的相关性而产生的至少一个视觉干扰量来处理所述3D视频数据，以减少编码噪声的相关性，以及 -传送经处理的3D视频数据以显示在所述3D显示器上。
2.如权利要求I中所述的方法，其中所述方法包括 -根据基于视频数据块和用于所述块的编码参数的变换来对所述3D视频数据进行编码的步骤，以及 -针对至少一个分别的块确定所预期的至少一个视觉干扰量的步骤，以及-所述处理步骤包括依赖于如针对所述分别的块所确定的量来对用于所述分别的块的编码参数进行调节。
3.如权利要求I中所述的方法，其中所述方法包括 -对所述3D视频数据进行解码的步骤，以及 -所述处理步骤包括在所述解码之后，将抖动噪声增加至所述视图的至少一个以减少所述相关性。
4.如权利要求I中所述的方法，其中所述方法包括产生指示所述至少一个量的3D噪声元数据，并且传送步骤包括将所述3D噪声元数据(33)包括在3D视频信号中以传送到3D视频装置以在所述3D视频装置中根据所述3D噪声元数据来启用处理，以减少所述编码噪声的相关性。
5.如权利要求4中所述的方法，其中所述方法包括制造记录载体的步骤，所述记录载体(54)设置有代表具有所述3D噪声元数据的3D视频信号的标记的轨道。
6.如权利要求I中所述的方法，其中所述方法包括 -从所述3D视频信号检索3D噪声元数据，所述3D噪声元数据指示所述至少一个量， 并且所述处理步骤包括 -根据所述3D噪声元数据对所述3D视频数据进行处理以减少所述编码噪声的相关性。
7.一种用于处理三维[3D]视频信号以避免在显示在3D显示器上期间的视觉干扰的3D视频装置(40，50)，所述装置包括 -输入装置(47，51，58，59)，其用于接收代表3D视频数据的3D视频信号，所述3D视频数据包括将针对观察者的分别的眼睛显示的用于产生3D效果的至少左视图和右视图； -视频处理器(42，52，53)，其被布置用于依赖于在将所述3D视频数据显示在3D显示器上期间所预期的因所述视图之间的编码噪声的相关性而产生的至少一个视觉干扰量来处理所述3D视频数据，以减少所述编码噪声的相关性；以及 -传送装置(46，55)，其用于传送经处理的3D视频数据以显示在所述3D显示器上。
8.如权利要求7中所述的3D视频装置(40)，其中所述装置包括 -编码器(48)，其用于根据基于视频数据块和用于所述块的编码参数的变换来对所述3D视频数据进行编码；以及-视频处理器(42)，其被布置用于针对至少一个分别的块确定所预期的所述至少一个视觉干扰量；以及 -用于在所述处理中，依赖于如针对所述分别的块所确定的量来对所述分别的块的编码参数进行调节。
9.如权利要求7中所示的3D视频装置(50)，其中所述装置包括用于对所述3D视频数据进行解码的解码器(21)，并且所述视频处理器(52)被布置用于在所述解码之后，将抖动噪声(24，25)增加至所述视图的至少一个以减少所述相关性。
10.如权利要求9中所述的3D视频装置(50)，其中所述视频处理器(52)被布置用于在所述解码之后，仅对用于所述观察者的非主导眼的视图(L)增加抖动噪声(24)。
11.如权利要求7中所述的3D视频装置(50)，其中所述视频处理器(53)被布置 -用于从所述3D视频信号(41)检索3D噪声元数据，所述3D噪声元数据指示所述至少一个量；以及 -用于通过依赖于所述3D噪声元数据来处理所述3D视频数据的所述处理以减少所述相关性。
12.如权利要求7或11中所述的3D视频装置(50)，其中所述输入装置包括用于读取记录载体以检索所述3D视频信号的装置(58)。
13.—种3D视频信号，所述3D视频信号包括3D视频数据，所述3D视频数据包括至少左视图和右视图，所述左视图和右视图将针对观察者的分别的眼睛显示，用于产生3D效果；以及3D噪声元数据(33)，其指示在将所述3D视频数据显示在3D显示器上期间所预期的因所述视图之间的编码噪声的相关性而产生的至少一个视觉干扰量，所述信号用于将3D视频数据传送到3D视频装置以在该3D视频装置中根据3D噪声元数据来启用对该3D视频数据的处理以减少所述编码噪声的相关性。
14.一种包括如权利要求13中所述的3D视频信号的记录载体(54)。
15.一种用于处理三维[3D]视频信号以避免在显示在3D显示器上期间的视觉干扰的计算机程序产品，该程序可运行以使得处理器执行如权利要求I至6中任一项所述的方法的分别的步骤。
全文摘要
提供了一种用于处理三维[3D]视频信号以避免在显示在3D显示器(63)上期间的视觉干扰的3D视频装置(40,50)。3D视频信号包括用于产生3D效果的左视图和右视图。本发明涉及认识和解决所谓的脏窗效应，即在两个视图中的噪声之间的相关性导致3D噪声在特定深度处被感知的问题。视频处理器(42,52,53)被布置用于依赖于因所述视图之间的编码噪声的相关性而在3D视频数据的显示期间所预期的至少一个视觉干扰量来处理3D视频数据，以减少编码噪声的所述相关性。该装置具有传送装置(46,55)，其用于传送经处理的3D视频数据以显示在3D显示器上。另外，提供了一种3D视频信号(41)和一种记录载体。
文档编号H04N13/00GK102823261SQ201180016944
公开日2012年12月12日 申请日期2011年3月31日 优先权日2010年4月6日
发明者R.B.M.克莱恩冈內维克, W.H.A.布鲁斯 申请人:皇家飞利浦电子股份有限公司