专利名称：3d图像数据的传输的制作方法
技术领域：
本发明涉及将用于传输三维[3D]图像数据的3D显示信号传送到3D显示设备的方法，该3D显示信号包含依照3D视频传输格式构成3D图像数据的帧序列
该帧序列包括若干单位，每个单位与包含预期要被复合且显示为3D图像的视频信息的帧相应；
本发明还涉及上面提到的3D源设备、3D显示信号和3D显示设备。本发明涉及经由高速数字接口(例如HDMI)传输三维图像数据(例如3D视频)以便在3D显示设备上显示的领域。
背景技术：
用于最初提供(source )2D视频数据的设备是已知的，例如像DVD播放器那样的视频播放器或者提供数字视频信号的机顶盒。源设备要耦合到像电视机或监视器那样的显示设备。图像数据经由适当的接口，优选地经由像HDMI那样的高速数字接口从源设备传输。 目前，正提出用于最初提供三维(3D)图像数据的3D增强设备。类似地，正提出用于显示3D 图像数据的设备。为了将3D视频信号从源设备传输到显示设备，正在开发新的高数据率数字接口标准，其例如基于现有的HDMI标准且与该标准兼容。将2D数字图像信号传输到显示设备通常涉及逐帧发送视频像素数据，所述帧要顺序地显示。这样的帧可以代表逐行扫描视频信号的视频帧(全帧)或者可以代表隔行扫描视频信号的视频帧(基于公知的隔行扫描，提供奇数行的帧和提供偶数行的下一帧被顺序地显示)。文献US4979033描述了具有隔行扫描格式的传统视频信号的一个实例。传统的信号包括用于在传统的电视上显示奇数和偶数帧的行和帧的水平和垂直同步信号。立体视频系统和方法被提出，其允许立体视频与使用快门眼镜的显示器的同步。奇数和偶数帧用来传输立体视频信号的对应左图像和右图像。所提出的3D显示设备包括检测传统的奇数/偶数帧的传统包络检测器，但是改为产生用于左和右LCD显示单元的显示信号。特别地，对垂直消隐间隔期间出现的对于传统隔行扫描模拟视频信号中的奇数帧和偶数帧而言不同的均衡脉冲被计数以标识对应的左边或右边场。该系统使用该信息以使一副快门眼镜同步， 从而快门眼镜与立体视频同步地交替打开和关闭。存在其中可以对立体图像格式化(称为3D图像格式)的许多不同方式。一些格式基于使用2D通道以便也携带立体信息。例如，左视图和右视图可以交织或者可以并排地和上下地放置。这些方法牺牲分辨率以携带立体信息。另一个选项是牺牲颜色，该方法称为补色立体。用于将3D信息传送到显示器的新格式正被开发。正在被标准化到MPEG中的MVD 要求传送用于M个视图的{视频+深度}，以允许更大的视锥图形覆盖(例如BED播放器或 STB中的菜单或字幕)需要被传送到显示器
发明内容
本发明的目的是提供一种更灵活且可靠的用于将3D视频信号传输到显示设备的系统。为此目的，依照本发明的第一方面，在如开篇段落中所描述的方法中，3D视频格式包括其间活动视频的像素被传送的视频数据周期以及其间音频和辅助数据使用一系列分组来传送的数据岛周期，这些分组包括信息帧分组，以及输出3D显示信号；并且在3D显示设备处，接收3D显示信号，以及处理3D显示信号以便产生用于在3D显示器上再现3D图像数据的显示控制信号，所述帧序列包括若干单位，单位是从一个垂直同步信号到下一个垂直同步信号的周期，每个单位与依照复用方案设置的一定数量的帧相应，所述一定数量的帧包含预期要被复合且显示为3D图像的视频信息；单位中的每帧具有用于表示数字图像像素数据序列的数据结构，并且每种帧类型代表部分3D数据结构，并且其中该方法包括 在3D源设备处，在附加信息帧分组中包含3D传输信息，该3D传输信息至少包括关于复用方案的信息，包括要组成3D显示信号中的单幅3D图像的单位中的视频帧数量，该复用方案选自至少包括帧交替复用的复用方案组，所述帧交替指示所述数量的帧顺序地设置在所述视频数据周期内；并且所述产生显示控制信号根据3D传输信息而执行。为此目的，依照本发明的第二方面，如开篇段落中所描述的用于将3D图像数据传输到3D显示设备的3D源设备，该3D源设备包括用于处理源图像数据以产生3D显示信号的生成装置，该3D显示信号包含依照3D视频传输格式构成3D图像数据的帧序列，所述3D 视频格式包括其间活动视频的像素被传送的视频数据周期以及其间音频和辅助数据使用一系列分组来传送的数据岛周期，这些分组包括信息帧分组；以及用于输出3D显示信号的输出接口装置，每帧具有用于表示数字图像像素数据序列的数据结构，并且每种帧类型部分3D数据结构，所述帧序列包括若干单位，单位是从一个垂直同步信号到下一个垂直同步信号的周期，每个单位与依照复用方案设置的一定数量的帧相应，所述一定数量的帧包含预期要被复合且显示为3D图像的视频信息；其中输出接口装置适于在附加信息帧分组中传送3D传输信息，该3D传输信息至少包括关于复用方案的信息，包括要组成3D显示信号中的单幅3D图像的单位中的视频帧数量，该复用方案选自至少包括帧交替复用的复用方案组，所述帧交替指示所述数量的帧顺序地设置在所述视频数据周期内；用于在显示设备处根据3D传输信息产生显示控制信号。为此目的，依照本发明的另一方面，如开篇段落中所描述的3D显示设备数据包括用于显示3D图像数据的3D显示器；用于接收3D显示信号的输入接口装置，该3D显示信号包含依照3D视频传输格式构成3D图像数据的帧，所述3D视频格式包括其间活动视频的像素被传送的视频数据周期以及其间音频和辅助数据使用一系列分组来传送的数据岛周期，这些分组包括信息帧分组；以及用于产生用于在3D显示器上再现3D图像数据的显示控制信号的处理装置，每帧具有用于表示数字图像像素数据序列的数据结构，并且每种帧类型代表部分3D数据结构，并且所述帧序列包括若干单位，单位是从一个垂直同步信号到下一个垂直同步信号的周期，每个单位与依照复用方案设置的一定数量的帧相应，所述一定数量的帧包含预期要被复合且显示为3D图像的视频信息；其中附加信息帧分组中的3D 传输信息至少包括关于复用方案的信息，包括要组成3D显示信号中的单幅3D图像的单位中的视频帧数量，该复用方案选自至少包括帧交替复用的复用方案组，所述帧交替指示所述数量的帧顺序地设置在所述视频数据周期内；并且处理装置被设置用于根据3D传输信息产生显示控制信号。本发明也基于以下认识。不同于2D视频信息的是，存在对3D视频数据格式化的许多可能性，例如立体、图像+深度，可能地包括遮挡和透明度，多个视图。而且，可以设想的是，可以通过接口传送多个3D视频数据层以便在显示之前进行复合。取决于源设备处可用的数据的格式以及显示器接受的3D视频格式，这众多的选项导致许多视频格式选项。大多数这些格式由大量的信息表征，在复杂的结构中需要被传送用于每幅要显示的3D图像。 依照本发明，当数据在若干单位中发送并且关于这些单位的信息在3D显示信号处可用时， 传送系统在处理各种不同的3D数据格式方面更灵活，因为更多的数据可以包含在一个单位中。现代高速接口允许以比3D图像的实际频率(通常为电影行业使用的MHz)高得多的频率发送帧。通过使用若干单位的帧，可以通过接口发送用于每幅3D图像的灵活格式的更大量的数据。在一个实施例中，所述复用方案组进一步包括以下至少一个场交替复用；行交替复用；并排帧复用，该并排帧复用指示所述数量的帧并排设置在所述视频数据周期内； 2D和深度帧复用；2D、深度、图形和图形深度帧复用。通常，3D视频数据的传送可以由3个参数表征
-像素重复率
-单幅3D图像的帧的单位帧数量 -格式复用通道的方式。在本发明的一个优选的实施例中，所有这些参数的信息包含在3D传输信息中。为了实现最大的灵活性，依照本发明，这些参数应当在三个单独的场中传送。在本发明的一个实施例中，HDMI用作接口，并且在AVI信息帧和/或HDMI供应商特定信息帧中发送3D传输信息。在允许最大灵活性的最优选的实施例中，在单独的信息帧中发送3D传输信息。所附权利要求书中给出了依照本发明的方法、3D设备和信号的另外的优选实施例，其公开内容通过引用合并于此。
本发明的这些和其他方面根据以下说明中通过实例且参照附图描述的实施例将是清楚明白的，并且将进一步结合这些实施例进行阐述，在附图中
图1示出了用于传输三维(3D)图像数据的系统； 图2示出了 3D图像数据的实例； 图3示出了回放设备和显示设备组合；
图4示意性地示出了要通过视频接口发送的用于与2D+立体+DOT相应的3D图像数据的可能的帧单位；
图5示意性地示出了要通过视频接口发送的用于与2D+立体+DOT相应的3D图像数据的可能的帧单位的另外的细节；
图6示意性地示出了通过视频接口的用于与2D+立体+DOT相应的3D图像数据的帧的时间输出；
图7示意性地示出了用于立体信号的可能的帧单位布置；图8示出了用于力+DOT格式01920像素的水平和垂直消隐和信令； 图9示出了用于作为1920逐行扫描@30Hz发送的4+D0T格式720像素的水平和垂直消隐和信令；
图10示出了利用帧类型同步指示符扩展的用于立体3D图像数据的AVI信息帧的表
格；
图11示出了 3D视频格式的表格； 图12示出了帧同步信号，以及图13示出了用于附加视频层的值。在附图中，与已经描述的元件相应的元件具有相同的附图标记。
具体实施例方式图1示出了用于传输三维(3D)图像数据的系统，所述三维图像数据例如视频、图形或其他可视信息。3D源设备10耦合到3D显示设备13以便传输3D显示信号56。3D源设备具有用于接收图像信息的输入单元51。例如，该输入单元设备可以包括用于从像DVD 或蓝光光盘那样的光学记录载体M获取各种不同类型的图像信息的光盘单元58。可替换地，输入单元可以包括用于耦合到网络阳(例如互联网或广播网)的网络接口单元59，这样的设备通常称为机顶盒。图像数据可以从远程媒体服务器57获取。源设备也可以是卫星接收器或者直接提供显示信号的媒体服务器，即输出直接耦合到显示单元的3D显示信号的任何适当的设备。3D源设备具有耦合到输入单元51的处理单元52，其用于处理图像信息以便产生经由输出接口单元12传输到显示设备的3D显示信号56。处理单元52被设置用于产生包含在3D显示信号56中的图像数据以便在显示设备13上显示。源设备设有用户控制元件 15，用于控制图像数据的显示参数，例如对比度或颜色参数。像这样的用户控制元件是众所周知的，并且可以包括远程控制单元，该远程控制单元具有控制3D源设备的各种功能(例如回放和记录功能)且用于例如通过图形用户界面和/或菜单设置所述显示参数的各种不同的按钮和/或光标控制功能。源设备具有用于在3D显示信号中提供至少一个帧类型同步指示符的传送同步单元11，所述指示符在输出接口单元12中包含在3D显示信号中，该输出接口单元进一步被设置用于将具有图像数据和帧类型同步指示符的3D显示信号作为3D显示信号56从源设备传输到显示设备。3D显示信号包含帧序列，这些帧组织成若干组帧，从而依照3D视频传输格式构成3D图像数据，在所述格式中，这些帧包括至少两种不同帧类型。每帧具有用于表示数字图像像素数据序列的数据结构，该序列通常依照预定分辨率设置为若干像素的水平行序列。每种帧类型代表部分3D数据结构。例如，3D视频传输格式的帧类型中的3D部分数据结构可以是左和右图像或者2D图像和附加的深度和/或另外的3D数据，例如下面讨论的遮挡或透明度信息。应当指出的是，帧类型也可以是指示上述帧类型的子帧的组合的组合帧类型，这些子帧例如位于单个全分辨率帧中的具有较低分辨率的4个子帧。此外，可以将若干多视像编码到要同时显示的帧视频流中。源设备适于包括3D传输信息，该3D传输信息至少包括关于要组成3D显示信号中的单幅3D图像的单位中的视频帧数量的信息。这可以通过将相应的功能加入到同步单元11中来实现。3D显示设备13用于显示3D图像数据。该设备具有输入接口单元14，该输入接口单元用于接收从源设备10传输的、在帧中包含3D图像数据且包含帧类型同步指示符的3D 显示信号56。每帧具有用于表示数字图像像素数据序列的数据结构，并且每种帧类型代表部分3D数据结构。显示设备设有另外的用户控制元件16，用于设置显示器的显示参数，例如对比度、颜色或深度参数。传输的图像数据在处理单元18中依照来自用户控制元件的设置命令进行处理并且基于不同帧类型产生用于在3D显示器上再现3D图像数据的显示控制信号。该设备具有接收显示控制信号以便显示处理的图像数据的3D显示器17，例如双IXD。 显示设备13是立体显示器，也称为3D显示器，具有由箭头44指示的显示深度范围。3D图像数据的显示根据不同的帧而执行，每帧提供对应的部分3D图像数据结构。显示设备进一步包括耦合到处理单元18的检测单元19，该检测单元用于从3D显示信号中获取帧类型同步指示符并且用于检测接收的3D显示信号中的不同帧类型。处理单元18被设置用于基于如各3D视频格式(例如2D图像和深度帧)的部分3D数据结构限定的各种不同类型的图像数据产生显示控制信号。各帧被识别且在时间上同步，如对应帧类型同步指示符所指示的。显示设备适于检测3D传输信息，该3D传输信息至少包括关于要组成3D显示信号中的单幅3D图像的单位中的视频帧数量的信息；并且适于使用3D传输信息以便根据该3D 传输信息产生显示控制信号。这可以例如通过使检测单元19适于检测3D传输信息并且通过使处理装置(18)适于根据3D传输信息产生显示控制信号而实现。帧类型同步指示符允许检测必须组合哪些帧以便同时显示，并且也指示帧类型， 从而可以获取和处理对应的部分3D数据。3D显示信号可以通过诸如公知的HDMI接口(例如参见"High Definition Multimedia Interface Specification Version 1. 3a of Nov 10 2006)之类的适当高速数字视频接口传输。图1进一步示出了作为3D图像数据的载体的记录载体M。该记录载体为盘状并且具有轨道和中心孔。由一系列物理上可检测的标记构成的轨道依照螺旋或同心模式的匝设置，这些匝在信息层上构成基本上平行的轨道。记录载体可以是光学上可读的，称为光盘，例如⑶、DVD或BD (蓝光光盘)。信息在信息层上通过沿着轨道的光学可检测标记(例如凹坑和凸台)表示。轨道结构也包含位置信息，例如头部和地址，用于指示通常称为信息块的信息单元的位置。记录载体M携带代表像视频那样的数字编码图像数据的信息，该数字编码图像数据例如依照MPEG2或MPEG4编码系统以像DVD或BD格式那样的预定义记录格式编码。应当指出的是，播放器可以支持播放各种不同的格式，但是不能将视频格式转码， 并且显示设备可能能够播放有限的视频格式集合。这意味着什么可以播放存在公共的划分器。应当指出的是，根据所述盘或内容，格式可以在系统的回放/操作期间改变。格式的实时同步有必要发生，并且格式的实时切换由帧类型同步指示符提供。下面的部分提供了对于三维显示和人的深度感知的综述。3D显示在以下意义上不同于2D显示它们可以提供更生动的深度感知。实现这一点，是因为它们提供比2D显示更多的深度线索，所述2D显示只能示出单眼深度线索以及基于运动的线索。单眼(或静态)深度线索可以通过使用单只眼睛从静态图像中获得。画家经常使用单眼线索以便在他们的绘画中创建深度的感觉。这些线索包括相对大小、相对于水平的高度、遮挡、透视、纹理梯度和照明/阴影。眼球运动线索是从观看者眼睛的肌肉的张力导出的深度线索。眼睛具有用于旋转眼睛以及用于拉伸眼睛晶状体的肌肉。眼睛晶状体的拉伸和松弛称为适应并且在聚焦到图像上时完成。晶状体肌肉的拉伸或松弛的量提供了目标多远或多近的线索。进行眼睛旋转，使得双眼聚焦到相同的目标上，这称为会聚。最后，运动视差是靠近观看者的目标看起来比远离的目标移动得更快的效应。
双眼视差是从我们的双眼看见稍微不同的图像这一事实导出的深度线索。单眼深度线索可以是且用于任何2D视觉显示类型。为了在显示器中重新创建双眼视差，要求显示器可以为左眼和右眼分割视图，使得每只眼睛在显示器上看见稍微不同的图像。可以重新创建双眼视差的显示器是我们将称为3D或立体显示器的特殊显示器。3D显示器能够沿着人眼实际感知的深度维显示图像，在本文中称为具有显示深度范围的3D显示器。因此，3D 显示器向左眼和右眼提供不同的视图。可以提供两个不同视图的3D显示器已经存在了很长的时间。大多数这些3D显示器基于使用眼镜分离左眼和右眼视图。现在，随着显示技术的进步，新的显示器已经进入市场，其可以在不使用眼镜的情况下提供立体视图。这些显示器称为自动立体显示器。第一种方法基于允许用户在没有眼镜的情况下看见立体视频的IXD显示器。这些显示器基于两种技术，即柱透镜屏幕和屏障显示器中任一种。对于柱透镜显示器而言，LCD 由柱透镜片覆盖。这些透镜衍射来自显示器的光，使得左眼和右眼接收到来自不同像素的光。这允许显示两幅不同的图像，一幅图像用于左眼视图，一幅图像用于右眼视图。柱透镜屏幕的可替换方案是屏障显示器，其使用LCD之后且在背光之前的视差屏障以分离来自LCD中的像素的光。屏障使得从屏幕之前的设定位置来看，左眼看见不同于右眼的像素。屏障也可以位于LCD与人类观看者之间，使得显示器的行中的像素交替地对于左眼和右眼可见。屏障显示器的一个问题是视亮度和分辨率的损失，而且具有非常窄的观看角。这使得它与柱透镜屏幕相比作为起居室电视不那么吸引人，所述柱透镜屏幕例如具有9个视图以及多个观看区。另一方法仍然基于与可以以高刷新率(例如120Hz)显示帧的高分辨率射束器结合使用快门眼镜。高刷新率是需要的，因为对于快门眼镜方法，左眼和右眼视图交替地显示。 对于戴着眼镜的观看者感知60Hz的立体视频。快门眼镜方法允许实现高质量的视频以及强烈的深度水平。自动立体显示器和快门眼镜方法的确都存在适应-会聚失配的不足。这的确限制可以使用这些设备舒适地观看的深度量和时间。存在诸如全息和体积显示器之类的其他显示技术，这些显示技术不存在这个问题。应当指出的是，本发明可以用于具有深度范围的任何类型的3D显示器。假定用于3D显示器的图像数据作为电子数据(通常为数字数据)是可用的。本发明涉及这样的图像数据并且在数字域操作该图像数据。图像数据在传输自某个源时可能已经例如通过使用双照相机而包含3D信息，或者专用预处理系统可以被包含以便从2D图像 (重新)创建3D信息。图像数据可以是静态的，比如幻灯片，或者可以包括运动视频，比如电影。通常称为图形数据的其他图像数据可以作为存储的对象而可用，或者如应用所需要的即时产生。例如，可以向其他图像数据添加像菜单、导航项目或文本和帮助注释那样的用户控制信息。存在其中可以对立体图像格式化(称为3D图像格式)的许多不同方式。一些格式基于使用2D通道以便也携带立体信息。例如，左视图和右视图可以交织或者可以并排地和上下地放置。这些方法牺牲分辨率以携带立体信息。另一个选项是牺牲颜色，该方法称为补色立体。补色立体使用光谱复用，其基于以互补色显示两幅分开的覆盖的图像。通过使用具有滤色片的眼镜，每只眼睛仅仅看见具有与该眼睛之前的滤色片相同颜色的图像。因此，例如右眼仅仅看见红色图像并且左眼仅仅看见绿色图像。一种不同的3D格式基于两个视图，其使用2D图像和附加的深度图像(所谓的深度图)，该深度图像传递关于2D图像中的目标的深度的信息。称为图像+深度的该格式的不同之处在于，它是2D图像与所谓的“深度”或视差图的组合。这是灰度图像，其中像素的灰度值指示关联2D图像中相应像素的视差量(或者在深度图的情况下为深度)。显示设备将 2D图像作为输入，使用视差、深度或者视差图以计算附加的视图。这可以以各种不同的方式完成，在最简单的形式下，其近似于根据与像素关联的视差值将这些像素移向左边或右边。 Christoph Fen 的题为"Depth image based rendering, compression and transmission for a new approach on 3D TV”的论文给出了该技术的很好的综述(参见http://iphome. hhi.de/fehn/Publications/fehn_EI2004. pdf)。图2示出了 3D图像数据的实例。该图像数据的左边部分是通常为彩色的2D图像 21，并且该图像数据的右边部分为深度图22。2D图像信息可以以任何适当的图像格式表示。深度图信息可以是具有每个像素的深度值的附加数据流，其与2D图像相比分辨率可能降低。在深度图中，灰度值指示2D图像中的关联像素的深度。白色指示靠近观看者，并且黑色指示远离观看者的大的深度。3D显示器可以通过使用来自深度图的深度值并且通过计算所需的像素变换而计算立体所需的附加视图。遮挡可以通过使用估计技术或者孔填充技术来解决。附加的帧可以包含于数据流中，例如进一步添加到图像和深度图格式，比如遮挡图、视差图和/或在背景之前运动的透明目标的透明度图。当视频从诸如蓝光光盘播放器之类的播放设备发送到立体显示器时，将立体添加到视频中也影响视频的格式。在2D情况下，只发送2D视频流(解码的画面数据)。利用立体视频，这被增大，因为现在必须发送包含第二视图(用于立体)或深度图的第二流。这可能加倍电气接口上所需的比特率。一种不同的方法是牺牲分辨率并且将该流格式化，使得第二视图或深度图与2D视频交织或者与2D视频并排放置。图2示出了 2D数据和深度图的一个实例。深度显示参数被发送到显示器以便允许显示器正确地解释深度信息。ISO标准23002-3 "Representation of auxiliary video and supplemental information”(例如参见 2007 年 7 月的 IS0/IEC JTC1/SC29/WG11 N8259)中描述了在视频中包含附加信息的实例。取决于辅助流的类型，附加的图像数据包含4个参数或2个参数。帧类型同步指示符可以包括指示3D显示信号后续部分中的对应 3D视频传输格式的3D视频格式指示符。这允许指示或改变3D视频传输格式，或者重置传输序列或者设置或重置另外的同步参数。在一个实施例中，帧类型同步指示符包括指示至少一种帧类型的频率的帧序列指示符。应当指出的是，一些帧类型允许对感知的3D图像没有明显恶化的较低的传送频率， 例如遮挡数据。此外，可以将不同帧类型的顺序指示为要重复的不同帧类型序列。
在一个实施例中，帧类型同步指示符以及3D传输信息包括帧序列号。也可以向各帧提供帧序列号。例如当发送了构成单幅3D图像的所有帧并且接下来的帧属于下一幅3D 图像时，序列号规则地增加。因此，序列号对于每个同步循环是不同的，或者可能仅对于较大的部分改变。因此，当执行跳变时，必须在可以恢复图像显示之前传输具有相同对应序列号的帧集合。显示设备将检测偏离的帧序列号并且将仅组合完整的帧集合。这防止了在跳变到新位置之后使用错误的帧组合。当在视频上添加图形时，可以在显示单元中使用另外的单独的数据流覆盖附加层。这样的层数据包含在不同的帧类型中，这些帧类型通过如下面所详细讨论的在3D显示信号中添加对应的帧类型同步指示符而单独地标记。现在，3D视频传输格式包括主视频以及通过对应帧类型而传输的至少一个附加视频层，并且帧类型同步指示符包括主帧类型指示符和附加层帧类型指示符中的至少一个。所述附加视频层可以例如是字幕或其他图形信息，比如菜单或任何其他屏上数据(0SD)。用于帧单位的一种可能的格式将参照图4-7进行描述。EP申请no 09150947. 1 (申请人案卷号PH 012841)中也描述了该格式，本发明要求该文献的优先权并且该文献通过引用插入此处。接收的压缩流包括允许在立体和自动立体显示器上复合和再现的3D信息，即该压缩流包括用于允许基于2D+深度信息进行再现的左右视频帧以及深度(D)、透明度(T)和遮挡(0)信息。在下文中，深度(D)、透明度(T)和遮挡(0)信息将简写成DOT。取决于显示器的类型和大小，作为压缩流的立体和DOT的存在允许实现被显示器优化的复合和再现，同时复合仍然受内容作者控制。以下分量通过显示接口传送
-解码视频数据(未与PG和IG/BD-J混合) -演示图形(PG)数据
-交互式图形(IG)或BD-Java生成(BD-J)图形数据 -解码视频DOT -演示图形(PG) DOT
-交互式图形(IG)或BD-Java生成(BD-J)图形。图4和图5示意性地示出了要通过视频接口发送的帧单位。输出级通过接口(优选地HDMI)发送如下组织的6帧的单位
帧1 左(L)视频和DOT视频的YUV分量组合到一个MHz RGB输出帧中，分量如图9的顶部图所示。在视频处理领域，YUV通常指定为标准亮度(Y)和色度(UV)分量帧2 右(R)视频未修改地优选地以MHz发送出去，如图9的底部图所示。帧3 =PC颜色(PG-C)作为RGB分量未修改地优选地以MHz发送出去
帧4 =PG颜色的透明度拷贝到单独的图形DOT输出平面中并且与用于各种不同平面的深度和960x540遮挡和遮挡深度(OD)分量组合，如图10的顶部图所示帧5 :BD-J/IG颜色(C)未修改地优选地以MHz发送出去。帧6 :BD-J/IG颜色的透明度拷贝到单独的图形DOT输出平面中并且与深度和 960x540遮挡和遮挡深度(OD)分量组合，如图10的底部图所示。图6示意性地示出了依照本发明优选实施例的通过视频接口的帧的时间输出。在这里，分量通过144Hz的接口频率的HDMI接口以MHz发送到显示器，分量在时间上交织。该3D视频格式的优点为
-全分辨率的灵活3D立体+DOT格式和3D HDMI输出允许对于各种不同的3D显示器 (立体和自动立体)实现增强的3D视频(对于显示器大小依赖性，基线可变)和增强的3D图形(较少的图形限制，3D TV OSD)。-不损害质量、创作灵活性且播放器硬件成本最小。复合和再现在3D显示器中完成。-对于41^业格式，所需的较高的视频接口速度在HDMI中定义，且已经利用双链接 HDMI实现。双链接HDMI也支持较高的帧速率，例如30Hz等等。3D传输信息指示符可以针对所述附加视频层包括层信令参数。这些参数可以指示以下至少一个
-附加层的类型和/或格式； -附加层显示相对于主视频显示的位置； -附加层显示的大小；
-附加层显示的出现、消失时间和或持续时间； -附加3D显示设置或3D显示参数。下文中讨论了另外的详细实例。图3示出了回放设备和显示设备组合。播放器10读取显示器13的性能并且调节视频的格式和时序参数以便发送显示器可以处理的空间以及时间上的最高分辨率视频。在实践中，使用了称为EDID的标准。扩展显示标识数据(EDID)是一种由显示设备提供以向图像源(例如图形卡)描述其性能的数据结构。它使得现代个人计算机能够知道连接了什么种类的监视器。EDID由视频电子标准协会(VESA)公布的标准定义。进一步的详情请参阅可通过http://www. vesa. org/而获得的 VESA DisplayPort Standard Version 1, Revision la, January 11, 2008。EDID包括制造商名称、产品类型、磷光体或滤光器类型、显示器支持的时序、显示大小、亮度数据和(仅仅对于数字显示器而言)像素映射数据。用于将EDID从显示器传送到图形卡的通道通常是所谓的1 总线。EDID和I2C的组合称为显示数据通道第2版或者 DDC2。版本2有别于VESA的原始DDC，该原始DDC使用不同的串行格式。EDID经常存储在监视器中的存储设备中，该存储设备称为串行PROM (可编程只读存储器)或EEPROM (电可擦除PR0M)，其与I2C总线兼容。回放设备通过DDC2通道向显示器发送E-EDID请求。显示器通过发送E-EDID信息而做出响应。播放器确定最佳的格式并且开始通过视频通道传送。在更旧类型的显示器中，显示器连续地在DDC通道上发送E-EDID信息。没有请求被发送。为了进一步限定接口上使用的视频格式，另一组织(消费者电子协会；CEA)定义了 E-EDID的若干附加限制和扩展以使其更适合与电视类型的显示器一起使用。除了特定E-EDID要求之外的HDMI标准(上文曾提及)支持用于许多不同视频格式的标识码和相关时序信息。例如，接口标准HDMI中采用了 CEA 861-D标准。HDMI定义了物理链接并且它支持CEA 861-D和VESA E-EDID标准处理更高级别的信令。VESA E-EDID标准允许显示器指示它是否支持立体视频传送以及以什么格式传送。应当指出的是，这样的关于显示器的性能的信息向后传播到源设备。已知的VESA标准没有定义控制显示器中的3D处理的任何前向3D信息。在一个实施例中，3D显示信号中的3D传输信息在标识与其相关的对应帧的同时例如作为数据流中的单独的分组而异步地传输。该分组可以包括用于帧与视频精确地同步的另外的数据，并且可以在适当的时间插入到连续视频帧之间的消隐间隔中。在一个实际的实施例中，将3D传输信息插入到HDMI数据岛内的分组中。在音视频数据(AV)流中的如HDMI中所定义的辅助视频信息(AVI)中包含3D传输信息的一个实例如下。AVI在AV流中作为信息帧从源设备携带到数字电视(DTV)监视器。 如果源设备支持传送辅助视频信息(AVI)并且如果它确定DTV监视器能够接收该信息，那么它应当每VSYNC周期向DTV监视器发送AVI —次。该数据适用于下一个全帧视频数据。在下面的部分中，将给出HMDI信令的简短描述。在HDMI中，具有HDMI输出的设备称为信源，而具有HDMI输入的设备称为信宿。hfoFrame (信息帧)是CEA-861-D中定义的一种数据结构，其被设计成携带各种各样的关于音频或视频流或者源设备的辅助数据项并且通过HDMI从信源携带到信宿。视频场是从一个VSYNC活动边缘到下一个VSYNC活动边缘的周期。视频格式被充分地定义，使得当在监视器处接收视频格式时，监视器具有向用户正确地显示视频的足够信息。每种格式的定义包括视频格式时序、画面纵横比和色度空间。视频格式时序是与视频格式关联的波形。应当指出的是，特定视频格式时序可以与超过一种视频格式(例如720x480p@4:3以及720x480p@169)关联。HDMI包括三个单独的通信通道TMDS、DDC和可选的CEC。TMDS用来携带所有的音频和视频数据以及辅助数据，包括描述活动音频和视频流的AVI和音频信息帧。DDC通道由 HDMI信源用来通过读取E-EDID数据结构确定信宿的性能和特性。HDMI信源预期读取信宿的E-EDID并且仅仅输送受信宿支持的音频和视频格式。 此外，HDMI信宿预期检测信息帧并且适当地处理接收的音频和视频数据。CEC通道可选地用于更高级别的用户功能，例如自动设置任务或者典型地与红外远程控制用途关联的任务。HDMI链接工作于三种模式之一视频数据周期、数据岛周期以及控制周期。在视频数据周期期间，传送活动视频线的活动像素。在数据岛周期期间，使用一系列分组传送音频和辅助数据。当不必传送视频、音频或辅助数据时，使用控制周期。在不是控制周期的任何两个周期之间，需要控制周期。表1示出了 HDMI数据岛中的分组类型
权利要求
1.传输三维[3D]图像数据的方法，该方法包括在3D源设备处，-处理源图像数据以产生3D显示信号，该3D显示信号包含依照3D视频传输格式构成3D图像数据的帧序列，所述3D视频格式包括其间活动视频的像素被传送的视频数据周期以及其间音频和辅助数据使用一系列分组来传送的数据岛周期，这些分组包括信息帧分组，以及-输出3D显示信号； 并且在3D显示设备处， -接收3D显示信号，以及-处理3D显示信号以便产生用于在3D显示器上再现3D图像数据的显示控制信号， 所述帧序列包括若干单位，单位是从一个垂直同步信号到下一个垂直同步信号的周期，每个单位与依照复用方案设置的一定数量的帧相应，所述一定数量的帧包含预期要被复合且显示为3D图像的视频信息；-单位中的每帧具有用于表示数字图像像素数据序列的数据结构，并且每种帧类型代表部分3D数据结构，并且其中该方法包括，在3D源设备处，-在附加信息帧分组中包含3D传输信息，该3D传输信息至少包括关于复用方案的信息，包括要组成3D显示信号中的单幅3D图像的单位中的视频帧数量，该复用方案选自至少包括帧交替复用的复用方案组，所述帧交替指示所述数量的帧顺序地设置在所述视频数据周期内；并且-所述产生显示控制信号是根据3D传输信息而执行的。
2.依照权利要求1的方法，其中在关于复用方案的信息中，复用方案组进一步包括以下至少一个-场交替复用； -行交替复用；-并排帧复用，该并排帧复用指示所述数量的帧并排设置在所述视频数据周期内； -2D和深度帧复用； -2D、深度、图形和图形深度帧复用。
3.依照权利要求1的方法，其中3D传输信息包括像素大小和帧频率变化率的信息。
4.依照权利要求3的方法，其中视频传输格式为HDMI。
5.依照权利要求4的方法，其中3D传输信息包含在AVI信息帧中。
6.依照权利要求4的方法，其中3D传输信息包含在供应商特定信息帧中。
7.用于将三维[3D]图像数据传输到3D显示设备的3D源设备，该设备包括-用于处理源图像数据以产生3D显示信号(56 )的生成装置(52 )，该3D显示信号包含依照3D视频传输格式构成3D图像数据的帧序列，所述3D视频格式包括其间活动视频的像素被传送的视频数据周期以及其间音频和辅助数据使用一系列分组来传送的数据岛周期， 这些分组包括信息帧分组，以及-用于输出3D显示信号的输出接口装置(12)，每帧具有用于表示数字图像像素数据序列的数据结构，并且每种帧类型代表部分3D数据结构，所述帧序列包括若干单位，单位是从一个垂直同步信号到下一个垂直同步信号的周期，每个单位与依照复用方案设置的一定数量的帧相应，所述一定数量的帧包含预期要被复合且显示为3D图像的视频信息；其中输出接口装置适于在附加信息帧分组中传送3D传输信息，该3D传输信息至少包括关于复用方案的信息，包括要组成3D显示信号中的单幅3D图像的单位中的视频帧数量， 该复用方案选自至少包括帧交替复用的复用方案组，所述帧交替指示所述数量的帧顺序地设置在所述视频数据周期内；用于在显示设备处根据3D传输信息产生显示控制信号。
8.如权利要求7所述的3D源设备，其中输出接口装置适于通过复用方案组提供关于复用方案的进一步信息，该复用方案组进一步包括以下至少一个-场交替复用； -行交替复用；-并排帧复用，该并排帧复用指示所述数量的帧并排设置在所述视频数据周期内； -2D和深度帧复用； -2D、深度、图形和图形深度帧复用。
9.3D显示设备，包括-用于显示3D图像数据的3D显示器(17)，-用于接收3D显示信号的输入接口装置(14 )，该3D显示信号包含依照3D视频传输格式构成3D图像数据的帧，所述3D视频格式包括其间活动视频的像素被传送的视频数据周期以及其间音频和辅助数据使用一系列分组来传送的数据岛周期，这些分组包括信息帧分组，以及-用于产生用于在3D显示器上再现3D图像数据的显示控制信号的处理装置(18)， -每帧具有用于表示数字图像像素数据序列的数据结构，并且每种帧类型代表部分3D 数据结构，并且所述帧序列包括若干单位，单位是从一个垂直同步信号到下一个垂直同步信号的周期，每个单位与依照复用方案设置的一定数量的帧相应，所述一定数量的帧包含预期要被复合且显示为3D图像的视频信息；-其中附加信息帧分组中的3D传输信息至少包括关于复用方案的信息，包括要组成 3D显示信号中的单幅3D图像的单位中的视频帧数量，该复用方案选自至少包括帧交替复用的复用方案组，所述帧交替指示所述数量的帧顺序地设置在所述视频数据周期内；并且 -处理装置(18)被设置用于根据3D传输信息产生显示控制信号。
10.如权利要求9所述的3D显示设备，其中处理装置(18)被设置用于根据关于复用方案组的复用方案的进一步信息产生显示控制信号，该复用方案组进一步包括以下至少一个-场交替复用； -行交替复用；-并排帧复用，该并排帧复用指示所述数量的帧并排设置在所述视频数据周期内； -2D和深度帧复用； -2D、深度、图形和图形深度帧复用。
11.如权利要求10所述的3D显示设备，其中视频传输格式为HDMI。
12.如权利要求11所述的3D显示设备，其中3D传输信息包含在AVI信息帧中。
13.如权利要求11所述的3D显示设备，其中3D传输信息包含在供应商特定信息帧中。
14.用于将三维[3D]图像数据传输到3D显示设备的3D显示信号，该3D显示信号包含依照3D视频传输格式构成3D图像数据的帧序列，所述3D视频格式包括其间活动视频的像素被传送的视频数据周期以及其间音频和辅助数据使用一系列分组来传送的数据岛周期， 这些分组包括信息帧分组，所述帧序列包括若干单位，单位是从一个垂直同步信号到下一个垂直同步信号的周期，每个单位与依照复用方案设置的一定数量的帧相应，所述一定数量的帧包含预期要被复合且显示为3D图像的视频信息；其中-每帧具有用于表示数字图像像素数据序列的数据结构，并且每种帧类型代表部分3D 数据结构，其中所述3D显示信号包括-附加信息帧分组中的3D传输信息，该3D传输信息至少包括关于复用方案的信息，包括要组成3D显示信号中的单幅3D图像的单位中的视频帧数量，该复用方案选自至少包括帧交替复用的复用方案组，所述帧交替指示所述数量的帧顺序地设置在所述视频数据周期内；用于在显示设备处根据3D传输信息产生显示控制信号。
15.如权利要求14所述的3D显示信号，其中在关于复用方案的信息中，复用方案组进一步包括以下至少一个-场交替复用；-行交替复用；-并排帧复用，该并排帧复用指示所述数量的帧并排设置在所述视频数据周期内；-2D和深度帧复用；-2D、深度、图形和图形深度帧复用。
全文摘要
描述了一种传输三维(3D)图像数据的系统。3D源设备(10)经由像HDMI那样的高速数字接口提供用于显示器(13)的3D显示信号(56)。该3D显示信号包含帧序列。该帧序列包括若干单位，每个单位与包含预期要被复合且显示为3D图像的视频信息的帧相应。3D源设备包括3D传输信息，该3D传输信息至少包括关于单位中的视频帧的信息。显示器检测3D传输信息，并且根据3D传输信息产生显示控制信号。附加信息帧分组中的3D传输信息包括关于将帧复用到3D显示信号中的复用方案的信息，该复用方案选自包括帧交替复用的复用方案组，所述帧交替指示所述数量的帧顺序地设置在所述视频数据周期内。
文档编号H04N13/00GK102292996SQ201080004997
公开日2011年12月21日 申请日期2010年1月14日 优先权日2009年1月20日
发明者W. T. 范 德 海登 G., C. 塔尔斯特拉 J., S. 牛顿 P. 申请人:皇家飞利浦电子股份有限公司