具有使用嵌入在比特流中的元数据的呈现控制的视频显示的制作方法

专利名称：具有使用嵌入在比特流中的元数据的呈现控制的视频显示的制作方法
技术领域：
本发明涉及用于传送视频数据和/或控制视频数据的显示的系统、设备和方法。一些实施例提供用于传送视频数据流中的其它数据的系统、设备和方法。一些实施例提供用于产生、传送、处理和显示视频数据以便维护(preserve)视频创作者的创作意图的系统、设备和方法。
背景技术：
图I是示出了从视频捕获到视频内容显示的各个阶段的传统的视频传送途径(pipeline)lOO的流程图。在块102处捕获视频帧101的序列。视频帧101可以被数字地捕获(例如通过数字式照相机)或者通过计算机(例如使用计算机动画片制作)产生以便提供视频数据103的流。可替代地，视频帧101可以由胶片照相机捕获在胶片上。胶片被转换为数字格式以便提供视频数据103的流。在块104处视频数据103被提供给处理器以用于后制作编辑。块104的后制作编辑可以包括调节或者修改图像的特定区域中的颜色或者亮度，以便增强图像质量或者根据视频创作者的创作意图实现图像的特定的外观(appearance)。其它编辑(例如,场景选择和排序、图像修剪、计算机产生的视觉特效的添加等)可以在块104处被执行。在块104的后制作编辑期间，在参考显示器上观看视频图像。继后制作之后，视频数据103在块106处被传送给显示子系统。如图IA所示，块106的传送包括用于驱动视频分配介质105 (例如卫星、线缆、DVD等)之上的视频数据103的传输或者广播的编码器级107A。解码器级107B位于块106的显示端，以便对介质105之上传输的视频数据103进行解码。显示子系统可以包括视频处理器和显示器。在块108处，视频数据103被提供给用于处理和/或解码的视频处理器。在块110处视频数据103被输出到显示器以便向观看者显示图像的序列。为了提高显示的图像的质量，视频数据103可以通过视频传送途径100以相对高比特率被驱动，以便促进用于定义对于每个色度(颜色)通道的RGB或者色度值的增大的比特深度。例如，视频数据103的流可以包括对于像素的每个色度通道的8、10、或者12比特的数据。尽管对于每个色度通道使用高比特深度，但是显示特性(诸如亮度范围、色域等)的变化可以影响在显示器上呈现的图像的外观，使得呈现的图像不匹配视频的创作者的创作意图。特别地，在特定的显示子系统上呈现的图像的感知的颜色或者亮度可以不同于如在块104的后制作编辑期间在参考显示器上观看的图像的颜色或者亮度。此外，在传统的视频传送途径的处理或者显示阶段(诸如由视频传送途径100 (图I)的块104、108和110表示的那些阶段)处应用的方法典型地以预先配置的方式被执行而没有考虑在视频传送途径100的其它阶段处可能已经出现的处理。例如，块110的用于显示视频数据103的方法可能在没有对在视频传送途径100中先前的处理步骤(诸如块104的后制作编辑)如何实现的认识的情况下被执行。块110的显示方法可能不适于如块104的后制作编辑确定的以维护视频创作者的创作意图的方式在显示器上呈现图像。存在对于用于产生、传送、处理和显示视频数据以便维护视频创作者的创作意图的系统、设备和方法的一般的期望。存在对于用于提供可以被用来引导视频数据的显示和/或下游处理的信息的系统、设备和方法的一般的期望。

发明内容
提供了用于向显示子系统提供包括元数据的视频数据的系统、设备和方法。可以使用适合于内容传送类型(例如，卫星、线缆或者高分辨率网络之上的电视广播；在IP或者无线网络之上的流式多媒体；从DVD或者其它存储介质的回放，等等)的系统、设备和方法将视频数据传输或者提供给显示子系统。在特定的实施例中，在视频传送途径的一个或更多个阶段处元数据被产生并且嵌入视频数据中。元数据可以提供与以下有关的信息用来编辑视频数据的参考显示器的特性，参考显示器坐落其中的环境的特性，编辑的图像的特性(例如亮度和色域)，显示子系统的显示器坐落其中的观看环境的特性，等等。元数据和视频数据一起被传送到下游设备(诸如显示子系统)。元数据可以在嵌入·的元数据要被应用于其的视频帧的前面被传送并且被下游设备接收。元数据在显示子系统处被提取并且解码，并且被应用于配置显示子系统的显示器和/或处理视频数据以便调节用于显示器的视频数据。在某些实施例中，元数据可以通过重写视频数据中的多个保护比特而被嵌入视频数据中。在其它实施例中，元数据可以通过重写视频数据中的多个最低有效比特(诸如色度通道的最低有效比特)来被嵌入视频数据中。其它类型的数据可以通过使用在本申请中描述的方法被嵌入视频数据中。提供对元数据进行编码的方法以便避免保留的视频字(例如保留的像素值)和/或保留的元数据字(例如帧头部的开始或者末尾)的无意的传递。在其中用元数据重写保护比特的实施例中，在保护比特之前的多个视频数据比特可以与保留的视频字进行比较以便确定保护比特是否应该包含保护信息；否则，一比特的元数据可以被嵌入保护比特中。除了上面描述的示例性的方面和实施例之外，通过参考附图以及研究以下详细描述另外的方面和实施例将变得清晰。


在参考的附图中示出示例性实施例。意图是在本申请中公开的实施例和附图要被认为是示例性的而不是限制性的。图I是示出传统的视频传送途径的阶段的流程图。图IA是示出可以在图I的视频传送途径中执行的视频数据的传送的阶段的流程图。图2A示出视觉动态范围(VDR)格式的视频数据的帧，其具有可以被用来携带根据特定的实施例的元数据的保护比特。图2B示出非VDR格式的视频数据的帧，其具有可以被用来携带根据特定的实施例的元数据的每个色度通道中的最低有效比特。图2C示出非VDR格式的视频数据的帧，其具有可以被用来携带根据特定的实施例的元数据的每个色度通道中的多组比特。图3是示出通过视频传送途径的视频数据的流动以及根据一个实施例的产生、传送、处理和显示视频数据以便维护视频创作者的创作意图的方法的流程图。图3A是示出可以在图3的视频传送途径中执行的视频数据的传送的阶段的流程图。 图4A是示出根据一个实施例的在视频数据中对元数据进行编码的方法的流程图。图4B是示出了根据一个实施例的对已经通过使用图4A的方法在视频数据中被编码的元数据进行解码的方法的流程图。图5A和图5B是示出了根据其它特定的实施例的在视频数据中对元数据进行编码的方法的流程图。图6A示出了根据一个实施例的元数据包(packet)。图6B示出了可以被用来构架(frame)图6A的元数据包的头部。图7示出了可以针对帧序列被传送的元数据以及示出何时要应用接收的元数据的时间线。图8是示出根据一个实施例的管理元数据的传送的方法的流程图。图9示意性地描述根据一个实施例的可以被用来实现在本申请中描述的一个或更多个方法的系统。图10示出了包含在两个连续的视频帧之上传输的不同类型的元数据的元数据包的序列。图IlA示意性地描述根据一个实施例的可以被用来对视频数据中的元数据进行编码的子系统。图IlB示意性地描述根据一个实施例的可以被用来从视频数据提取元数据的子系统。
具体实施例方式在下面的描述中，为了给本领域技术人员提供更彻底的了解，陈述了具体细节。然而，公知的元件可以没有被示出或者详细描述，以便避免不必要地模糊公开内容。因此，描述和附图要被当作是示例性的而不是限制性的意义。针对视频传送途径中有用的系统、设备和方法提供示例实施例。元数据被写入视频数据中并且和视频数据一起被传输通过视频传送途径。元数据可以例如对于引导处理视频数据中的下游装置和/或引导显示器上的视频回放是有用的。显示器可以是例如可以被提供在电视机、计算机监视器、膝上型计算机、蜂窝电话或者手持移动装置等中的平板显示器(例如，IXD、LED、0LED、高动态范围、或者等离子体显示器),或者能够显示视频数据的任何其它显示器。
元数据可以在整个视频传送途径期间的各个阶段(包括视频捕获、后制作编辑和预先显示处理)处被动态地产生并且写入或者嵌入视频数据流中。元数据可以定义参数，该参数包括例如在后制作编辑中使用的参考显示器的色域和其它特性，图像中的光源的位置，不应该被改变的图像的受保护的颜色，等等。这种元数据可以被解码器和/或显示器解码和处理并且用于视频数据的处理和/或显示器管理和配置以便控制和增强显示器上的视频回放。元数据可以被用来控制显示器(和/或处理用于显示器的视频数据)以便以维护视频创作者的创作意图的方式显示视频。根据特定的实施例，视频数据可以包括保护比特和/或最低有效比特(LSB)(例如色度通道的LSB)。在一些实施例中，元数据被携带在保护比特和/或LSB中。对于诸如VDR格式(参见图2A)之类的视频格式，视频数据帧10可以包括一个或更多个保护比特11。元数据225可以被写入保护比特11中的至少一些中。对于诸如非VDR格式(参见图2B)之类的其它视频格式，视频数据帧10可以包括一个或更多个LSB 12 (例如色度或者亮度通道中的每一个中的LSB12)。元数据225可以被写入LSB 12中的至少一些中。人类视觉系统(HVS)倾向于对色度的变化比对亮度的变化更不敏感。因此，给定该HVS特性，在一些实 施例中元数据225可以被写入一个或更多个色度通道中的LSB 12中。元数据225的比特可以被连续化(serialize)到视频数据巾贞10内的保护比特11和/或LSB 12上，以便提供可变或者固定长度的元数据225的包。VDR格式是在共同拥有的名为“EXTENDED DYNAMICRANGE AND EXTENDED DIMENSIONALITY IMAGE SIGNAL CONVERSION AND/OR DELIVERY VIALEGACY VIDEO INTERFACES”的 PCT 申请 No. PCT/US2010/022700 中描述的视频格式，该 PCT申请通过参考被并入于此。对于具有LSB (例如色度通道的LSB)的非VDR或者其它格式的视频数据，元数据可以以例如以下方式之一被写入LSB中元数据可以被写入每个色度通道的LSB中，使得全部LSB潜在地携带元数据。元数据可以以循环(round-robin)的方式被写入每个色度通道的LSB中或者以跳过一些LSB的其它一些方式被写入，使得不是所有的LSB潜在地携带元数据。元数据可以被写入具有相对较少受重写LSB影响的倾向的图像的区域中的像素的色度通道的LSB中。例如，在一些实施例中，元数据可以被写入较亮图像区域中的像素的色度通道的LSB中，以便利用由重写LSB所引起的显示的图像的变化在较亮图像区域中较少引人注意的一般趋势。在某些实施例中，将元数据写入LSB中的方法可以被选择为考虑可能由重写每个色度通道的LSB (或者其它类型的数据)以携带元数据引起的视频内容显示的图像质量的可能的损失。写元数据的方法可以基于视频数据或者图像来选择，以便减少或者最小化显示的图像中的伪像。由于可变量的元数据可以针对每个视频帧被传输通过视频传送途径，因此方法和设备可以被提供来管理元数据的处理和传送的定时。例如，跨过多个视频帧的元数据有效载荷可以在要应用元数据的特定视频帧的处理的前面被传输到视频解码器或者处理器并且由视频解码器或者处理器接收。元数据有效载荷可以和时间戳一起被发送，该时间戳指示何时要由视频解码器或者处理器应用元数据来管理或者配置显示器。元数据有效载荷可以被指定优先级。可以提供系统、设备和/或方法，以使得分类为相对较高优先级元数据的元数据可以在传送分类为相对较低优先级元数据的元数据之前被传送。这种系统、设备和/或方法可以被用来管理其中在视频传送途径中存在不足以传输针对一个或更多个视频帧产生的所有元数据的带宽的元数据传送。在特定实施例中，某些元数据通过视频传送途径的传输可以被临时中断以便允许传输分类为相对较高优先级元数据的其它元数据。其它输送机制可以被提供来携带附加的元数据。例如，在一些视频格式中，视频数据包括与亮度数据分离地表示的色度数据。一些实施例通过用元数据重写对于特定视频帧或视频帧的区域的色度数据来提供通过视频传送途径的元数据的字符组。对于亮度水平为零或低于阈值的像素，可以在基本不影响显示的图像的外观的情况下用元数据225的比特重写色度数据。元数据可以被写入可以包括字段、值、比特等等的视频数据的色度部分或色度通道中。图2C示出数据帧10中的可以用元数据225重写的包括一系列比特13的色度部分。色度部分中的元数据的编码被描述在共同拥有的、共同未决的题为“SYSTEMS，APPARATUS AND METHODS FOR VIDEO DELIVERY AND CONTROLLING VIDEO DISPLAY BYOVERWRITING VIDEO DATA”的申请中，该申请通过参考被并入于此。
图3是示出根据特定的实施例的数据通过视频传送途径200的流动的流程图。视频传送途径200包括与图I的视频传送途径100中描述的那些类似的阶段，并且因此，类似的附图标记被用来识别类似的阶段，除了在图3的视频传送途径200中附图标记始于“2”而不是“I”之外。在视频传送途径200的一个或更多个阶段处，元数据225可以被产生并且嵌入视频数据203的流中以在下游阶段处使用。元数据225与视频数据203 —起被传输通过视频传送途径200以便在处理视频数据方面引导下游装置和/或引导在块210处显示子系统处的视频回放。在块206处可以通过使用适合于视频内容传送的类型(例如，卫星、线缆或者高分辨率网络之上的电视广播；在IP或者无线网络之上的流式多媒体 ’从DVD或者其它存储介质的回放，等等)的系统、设备和方法将包括嵌入的元数据225的视频数据203传送到显示子系统。在图3的实施例中，在块202处照相机元数据225A被产生并且嵌入视频数据203中。照相机元数据225a可以基于照相机设定以及视频帧捕获环境而被产生。照相机元数据225A可以包括，例如，在视频帧捕获期间提供照相机设定的快照的照相机参数。这种照相机参数可以包括孔径(f_光阑)、透镜、快门速度、灵敏度(ISO等级)等。这些照相机参数可以被用来引导视频传送途径200中的后面的步骤，诸如在块204处的后制作编辑或者在块210处的显示器配置期间的颜色调节(例如，颜色定时)。在块204处，后制作元数据225B被产生并且嵌入视频数据203中。后制作元数据225B可以包括参考显示器和环境元数据225Bi以及源视频内容特征元数据225B2。后制作元数据225B可以被用来引导视频传送途径200中的后面的步骤，诸如在块210处的显示
器配置。参考显示器和环境元数据225Bi可以描述在块204的后制作编辑中使用的参考显示器配置以及工作室(Studio)或观看环境。例如，对于用于在块204的后制作编辑期间显示视频数据203的参考显示器，参考显示器和环境元数据225Bi可以包括参数，例如· 3D色域映射(mapping)，以细节分辨地描述参考显示器的色调和色域边界；
参数的缩减集合，定义参考显示器的色调和色域边界(其可以被用来估计3D色域映射); 系统色调的响应参数，描述对于每 个色度通道的参考显示器的色调的响应； 和/或类似物。参考显示器和环境元数据225Bi还可以包括参数，其描述在块204的后制作编辑期间的在其中视频内容被颜色定时或在参考显示器上被编辑的工作室环境。这种参数可以包括环境亮度和环境颜色温度。源视频内容特征元数据225B2可以描述包括可以识别或提供如下的信息的后制作编辑的视频内容 图像中的光源的位置图，或图像中的反射物体或发射物体的位置图； 视频源内容的色域； 在参考显示器的色域以外故意地被颜色定时的图像的区域； 被保护的颜色，其在通过视频处理器的预显示处理期间或在显示器配置期间不应该被改变； 图像直方图，在亮度或色域方面表征图像(例如，这种信息可以被下游装置用来确定平均亮度以便改善色调和色域映射); 场景变化或复位标志，用于向下游装置警告来自先前视频帧的任何统计或滞后不再有效； 动作图，表征视频内容以便识别在运动中的对象，其可以被下游装置与光源位置图结合用来引导色调和色域映射； 颜色定时的内容的源的指示(例如，直接来自照相机或后制作编辑); 导演的创作意图设定，其可以被用来控制下游装置(诸如解码器/电视机或其它显示器)。例如，这种设定可以包括显示模式控制，提供控制显示器工作在特定的模式(例如，鲜明、电影、标准、专业、等等)中的能力；内容类型(例如，动画片、戏剧、运动、游戏、等等)，其可以被用来确定适当的色域或色调映射等；色调映射(例如，在显示器处可以被用来引导色调扩展的自定义的色调映射参数或曲线)；以及色域映射(例如，自定义的色域映射参数，其在显示器处可以被用来引导色域扩展); 和/或类似物。在块206处视频数据203被传送到显示子系统。如图3A中可见的，块206的传送可以包括用于驱动在视频分发介质205 (诸如，卫星、线缆或高分辨率网络；IP或无线网络；或者DVD或其它存储介质，等等)之上的视频数据203的分发、广播或传播的编码器级207A。解码器级207B可以被设置在块206的显示端处以便对介质205之上分发的视频数据203进行解码。解码器级207B可以由例如机顶盒实现或者由显示子系统内的解码器实现。在块206和/或208处，观看环境元数据225C和/或其它元数据225可以被嵌入视频数据203中。观看环境元数据225C可以包括，例如 高级视频编码(AVC) VDR编码器数据，提供基准监视器色调映射或色域曲线或参考环境的环境亮度。该信息中的至少一些可以利用对显示器特性(例如，通过读取显示器的扩展显示识别数据(EDID))和显示子系统的环境的认识在解码器级207B处(或者通过视频处理器)被确定。在一些实施例中，该信息中的至少一些可以在视频数据的后制作处理期间在工作室处被确定。 描述显示子系统的显示器坐落的环境的参数。这种参数可以包括例如，环境亮度和/或色调或颜色温度。观看环境元数据225C可以被用来引导在块208处的视频数据的处理和/或在块210处的显示器配置。在块208处，显示子系统包括用于处理进入的视频数据203的视频处理器。显示子系统的视频处理器可以基于从视频数据203中提取的元数据225 (例如，元数据225A)和/或与显示子系统的显示器关联的已知的显示特性对视频数据203执行信号处理。视频数据203可以根据显示器特征参数226和/或元数据225针对显示器被处理以及调节。可以在块206和/或208处或在视频传送途径200的其它阶段处被嵌入视频数据203中的其它元数据225包括内务处理元数据22 (用于管理分销权等)，例如
籲水印数据，指示视频内容在哪里被产生、分布、修改等等； 指纹数据，提供出于搜索或索引目的的视频内容的描述，等； 保护数据，指示谁拥有视频内容和/或谁能访问； 和/或类似物。观看环境元数据225C可以至少部分基于与显示子系统的显示器关联的显示器特征参数206被产生。在一些实施例中，观看环境元数据225C、源视频内容特征元数据225B2和/或内务处理元数据22 可以通过在编码器级207A、解码器级207B处和/或通过块208处的视频处理器分析视频数据103而被产生或提供。在块210处，显示器配置可以在显示子系统的显示器上被执行。对于显示器配置的合适的参数可以基于显示器特征参数226和/或元数据225(诸如照相机元数据225A、后制作元数据225B (包括参考显示器和环境元数据225Bi以及源视频内容特征元数据225B2)以及观看环境元数据225C)被确定。根据这种参数配置显示器。视频数据203被输出到显示器。在针对传送通过视频传送途径200的视频帧在块202、204、206或208处产生元数据225时，元数据225可以被连续地写入传送通过途径的视频帧的可用的保护比特和/或LSB中。需要的元数据带宽可以在视频帧之间变化，取决于对于特定元数据类型的元数据传输的频率和尺寸。根据某些实施例，一些类型的元数据225可以大约每10秒被传输到下游(例如，这可以包括参考显示器和环境元数据225BJ ;其它类型的元数据225可以每个帧序列一次或每个场景变化一次地被传输到下游(例如，这可以包括观看环境元数据225C)；并且还有其它类型的元数据225可以每帧一次或每几帧一次地被传输(例如，这可以包括源视频内容特征元数据225B2的一些参数)。对于一些视频帧，可能可以将在块202、204、206或208处产生的所有元数据225顺序地嵌入一个视频帧的保护比特或LSB内。对于其它视频帧，在块202、204、206或208处产生的元数据225可能需要多于一个视频帧来传送，并且可能超出视频传送途径200提供的元数据带宽。这可能导致元数据的未传送。如下面更详细讨论的，提供系统、设备和/或方法来管理通过视频传送途径200的元数据225的编码和传送以便确保元数据225被及时地传送和应用。被用于在块208处的视频数据203的处理和在块210处的显示器配置的元数据225在视频数据流中被传送，使得元数据225在其应用之前在显示子系统(包括视频处理器和显示器)处被接收。在一些实施例中，元数据225被传送，使得它比要应用元数据225的帧提前至少一个视频帧由显示子系统接收。在某些实施例中，元数据225提前一个视频帧被传送，并且在块208和/或210处元数据225的应用可以在检测到进入视频流中的新的视频帧时被触发。在特定实施例中，视频传送途径200的系统和/或设备遵从定义元数据结构的元数据协议。图6A示出根据特定的实施例的可以例如在图3的视频传送途径200的块202、204,206或208中的任何一个处被产生并且传送到途径中的下游的元数据225的元数据结构或包250。包250利用头部来构架。在图6A的所示出的实施例中，包250包括以下字段 帧的开始(SOF)头部252，定义具有帧比特集合的开始的头部； 包类型254，定义有效载荷中的元数据的类型(例如，色域参数、场景改变标志、图像直方图等等)以及后续的元数据的格式或图案； · CFG比特256，定义构架结构的可配置部分(例如，CFG比特256可以定义对于包是否启用时间戳，以及如何应用时间戳); 元数据有效载荷258，其长度可以是可变的； 帧的末尾(EOF)头部260，定义具有帧比特集合的末尾的头部； 时间戳262 (可选的)，指示何时要应用元数据有效载荷258中的数据(例如，在元数据包250被接收之后或一些其它延迟之后一定数量的视频帧或场景)；以及 校验和，诸如CRC (循环冗余校验)值264，用于使得能够验证元数据包250。图6B示出头部270，其可以被用来定义如图6A所示的元数据包250的开始(SP，SOF头部252)或末尾(B卩，EOF头部260)。在所示出的实施例中，头部270始于预定图案272的多个比特。头部270以S0F/E0F标志或比特268 (例如，0/1)以及有效载荷(EOP)标志或比特266的末尾结束。S0F/E0F标志268确定头部270是SOF头部252还是EOF头部260。EOP标志266可以只有当设定EOF标志268时才是有效的。设定EOP标志266指示，元数据包250包含元数据有效载荷的最后部分。EOP标志266使得元数据有效载荷能够被分割在若干元数据包250之中，其可以被跨视频帧地分割。EOP标志266使得低优先级元数据包能够被中断以便传输高优先级元数据包。EOP标志266使得携带不同类型元数据的包能够在多个视频帧之上被传送，如在图10中看到的。在包中携带的元数据的类型可以由头部中的包类型254(参见图6A)指示。在示出的示例中，携带类型A元数据的第一包280被嵌入视频帧I的视频数据中。在将类型A元数据嵌入视频数据流中期间，接收具有比元数据类型A高的优先级的类型B元数据。为了中断类型A元数据的传播以利于类型B元数据，EOF标志被设定为结束第一包280 (然而，EOP标志没有被设定，因为存在剩余的待传输的类型A元数据)。然后携带类型B元数据的第二包282可以被嵌入视频帧I的视频数据中。在示出的示例中，视频帧I不具有用于传送所有类型B元数据的足够的保护比特或LSB。因此，朝向视频帧I的末尾，EOF标志被设定为指示第二包282的末尾(然而，EOP标志不被设定因为存在剩余的待传输的类型B元数据)。携带剩余的类型B元数据的第三包284可以被嵌入视频帧2的视频数据中。第三包284可以利用EOF标志和EOP标志终止，EOF标志和EOP标志用于指示对于类型B元数据的包的末尾以及元数据有效载荷的末尾。然后类型A元数据的传送可以重新开始。在示出的示例中，所有剩余的类型A元数据(其在元数据类型B的嵌入期间已经被保存)被取回和携带在嵌入视频帧2的视频数据中的元数据的第四包286中。第四包286可以利用EOF标志和EOP标志终止，EOF标志和EOP标志用于指示对于类型A元数据的包的末尾以及元数据有效载荷的末尾。根据特定的实施例，元数据比特以使得避免无意地传递保留的或者保护的字或比特的序列(其可以是任意数目的比特长)的方式被连续化到视频数据的比特(例如，保护比特和/或LSB)上。可以存在两种类型的保留字如可以通过元数据传递的保留的元数据字，以及如可以通过视频数据流传递的保留的视频字。元数据可以被编码为使得元数据有效载荷避免匹配保留的元数据字，诸如EOF头部260或帧的包末尾(图6A)。在用元数据重写视频数据的保护比特的实施例中，连续化的元数据应该避免推覆保护比特的功能，其要防止保留的视频字通过视频数据传递。例如，在一些视频格式(诸如VDR或HDMI格式)中，保护比特被用来确保某些保留的视频字(例如，保留的像素值)不被传输。保留的像素值可以包括例如，0、255以及其它保留的值。图4A示出视频数据中的编码元数据比特的方法300，以便避免保留的视频字的传 递。方法300可以被应用于使用保护比特的VDR或其它视频格式的视频数据中的元数据的连续化。方法300通过接收待携带在视频数据流中的元数据在块302处开始。可以在图3所示出的视频传送途径200的块202、204、206或208中的任何一个处例如从元数据产生器或者编码器接收元数据。在某些实施例中，在块302处接收的元数据是要应用在未来的视频帧处(例如，用于视频数据的处理和/或显示器配置)的元数据，使得元数据比要应用元数据的帧提前至少一个视频帧在视频数据流中被传送。元数据可以被编码为元数据包(例如，如图6A所示的元数据包250)。在块304处，元数据包中的第一比特被取回并且在视频数据流中定位下一个可用的保护比特(即，没有用元数据重写的保护比特)。在块306处，视频数据流(在一些实施例中包括先前传输的元数据)被考虑来确定保护比特是否可以被要求作为用于防止无意的传递一个或更多个保留的视频字的保护信息。如果情形是如此以至保护比特应该用作保护信息，则在块310处在保护比特中插入保护信息。在其它实施例中，保护信息可以在视频数据的编码期间被写入保护比特中；因此保护信息可以已经被包含在保护比特中并且在块310处保护比特可以被跳过；没有元数据比特被插入跳过的保护比特中。用于插入保护信息的块306的保护条件可以包括，例如，考虑在保护比特之前的视频数据流中的比特是否接近于匹配(例如，一个比特没有匹配)保留的视频字。该确定可以通过将视频数据流中的在前的比特与保留的视频字的列表中的每个字进行比较来进行。在块310处在保护比特中插入保护信息(或者跳过该保护比特)之后，在块312处在视频数据流中定位下一个保护比特，并且块306的测试被应用于该下一个保护比特以便确定该保护比特是否应该用作保护信息(或者元数据是否可以被写入该保护比特中)。如果在块306处确定不需要特定的保护比特被用作保护信息，那么在块308处元数据的该比特可以被写入保护比特中。只要存在待被嵌入视频数据流中的元数据包的剩余比特(参见块314)，就从元数据包取回后续的比特并且在视频数据流中定位后续的保护比特(参见块316)。对于取回的每个元数据比特以及定位的保护比特，块306的测试被应用来确定是否将保护比特视为保护信息(块310)以及跳到下一个保护比特(块312);否则，元数据可以被写入保护比特中(块308)。在特定实施例中，通过考虑紧挨着在保护比特之前的像素数据305的比特来确定保留的视频字是否可以潜在地通过视频数据传递来评估块306的保护条件。例如，对于保留的视频字包括某些像素值(诸如O和255 (例如，以二进制形式分别表示为00000000和11111111))的视频格式，在块306处可以考虑在保护比特之前的像素数据305的七个比特。如果在前的七个比特全部是连续的零或连续的一，那么保护比特(其会是视频数据比特序列中的第八个比特)应该用作保护信息。在块310处可以用O或I的适当地选择的保护信息来设定保护比特，以便防止保留的视频字的传递。保留的视频字可以包括其它字或各种长度的比特的序列。块306的保护条件可以评估像素数据305以便检测这些保留的视频字中的任何一个的潜在的传递。元数据225可以被编码以便避免非故意的传递保留的元数据字。保留的元数据字可以包括，例如，定义元数据包的开始的帧头部的包开始或定义元数据包的末尾的帧头部的包末尾。用来避免非故意的传递保留的元数据字的编码方法可以包括例如 · 6b/8b编码(其中连续的相同的比特的最长容许的行程(run)是6比特长)。· 8b/10b编码(其中连续的相同的比特的最长容许的行程是5比特长)。 定义连续的相同的比特的固定图案来表示保留的元数据字(诸如SOF头部252或EOF头部260)，以及避免在元数据有效载荷嵌入视频数据中期间对固定图案编码。例如，如果固定图案是六个比特长的图案000000和111111，则每当五个比特长的图案00000或11111出现在元数据有效载荷中时，I或O的保护比特作为下一个比特被嵌入视频数据流中(例如，000001或111110)。在从视频数据流提取元数据期间，该保护比特不被认为是有效的并且被忽略。图4B示出从视频信号取回已经通过使用图4A的方法300被编码的元数据比特的方法330，该方法330开始于接收视频数据332的流并且在块333处监视视频数据332以便检测SOF头部252 (参见图6B)或定义元数据包的开始的其它保留的元数据字。在块333处的元数据包的开始的检测可以包括接收和解码视频数据流中的保护比特(并且跳过被用作用于防止传递保留的视频字的保护信息的保护比特)直到检测到形成SOF头部252的一系列元数据比特。在块333处已经检测到元数据包的开始之后，方法300进行到在块334处在视频数据流中定位下一个保护比特。在块336处，在前的视频数据335 (B卩，紧挨着在保护比特之前接收的视频数据比特)被考虑来确定保护比特是否正用作保护信息以便防止视频数据流中的保留的视频字的传递。如果在块336处确定保护比特没有正被用作保护信息(即，元数据被写入保护比特中)，那么在块338处从保护比特中提取元数据。如果在块336处确定保护比特正在被用作保护信息，则在块334处定位视频数据332的流中的下一个保护比特，并且块336的测试被应用于该下一个保护比特以便确定该保护比特是否正在被用作保护信息(否则，该保护比特包含在块338处可以被提取的元数据)。在特定实施例中，块336的评价可以通过将紧挨着在保护比特之前的视频数据335的比特与表示保留的视频字的比特的固定图案来执行。块336确定如果保护信息没有被插入保护比特中保留的视频字是否会潜在地已经通过视频数据被传递。如果保留的视频字会潜在地已经被传递，那么可以假定保护比特正在被用作保护信息并且方法300进行到定位视频数据流中的下一个保护比特的块334。然而，如果保留的视频字不能已经被传递，那么可以假定保护比特包含元数据，其可以在块338处从保护比特中提取。在其它实施例中，元数据被写入视频帧的色度通道的LSB 12中(例如，参见图2B)而不是视频帧的保护比特11中(例如，参见图2A)。元数据225可以被编码在LSB 12中，以便避免非故意的传递保留的元数据字(例如，帧头部的开始或帧头部的末尾)。元数据225可以使用上述方法之一(例如，6b/8b编码、8b/10b编码、定义保留字为连续的相同的比特的固定图案，等等)来被编码，以便避免非故意的传递保留的元数据字。作为重写色度数据的比特(诸如LSB 12)的结果可以影响视频内容显示中的图像质量。将元数据编码在LSB中的特定的方法可以被用来减少对图像质量的不利影响。图5A示出可以被用于将元数据编码在视频帧的色度通道的LSB 12中(例如，参见图2B)的方法400。方法400评估将元数据编码在色度通道的LSB 12中的不同的方式。编码元数据的所选的方式可以影响视频内容显示中的图像质量。·方法400在块402处开始于接收用于接下来的(未来)M个视频帧的元数据225。在块402处接收的元数据225是要应用在未来的视频帧处(例如，用于视频处理和/或显示器配置)的元数据，使得它可以比要应用该元数据的帧提前至少一个视频帧在视频数据流中被传送。方法400进行到考虑元数据225是否可以以用于最小化显示期间的伪像的一定方式被嵌入。例如，假定由重写LSB所引起的显示的图像中的变化倾向于在较亮图像区域中较少引人注意，元数据225可以被写入表示图像的较亮区域的像素(例如，亮度超过某个阈值的像素)的色度通道的LSB中。在一些实施例中，元数据被写到用于其中色度值超过某个阈值的像素的色度数据的LSB。在方法400的块406处，要被视频帧显示的较亮图像区域被识别。在块408处进行表示较亮图像区域的像素是否提供足够的带宽来传输元数据225的评定。如果存在足够的带宽，则在块410处元数据225可以被写入较亮图像区域中的像素的色度通道的LSB中。否则，方法400可以进行到评估写元数据225的另一个方法。在块410处将元数据225写入较亮图像区域的像素中之前，第一元数据包可以以默认方式(例如，写入每个色度通道的LSB中)在视频数据流中被传输，以便向视频接收机或处理器指示其中后续的元数据225被编码的视频帧中的区域(或多个区域)。方法400可以在块412处评估以循环的方式(或者以跳过LSB以便最小化显示的图像中的伪像的其它某一方式)写元数据225是否会提供用于传播元数据225的足够的带宽。如果足够的带宽将是可用的，则在块414处元数据225以循环的方式被写入视频帧的色度通道的LSB中(例如，第一像素仅仅具有红色通道中的嵌入的元数据比特，第二像素仅仅具有绿色通道中的嵌入的元数据比特，第三像素仅仅具有蓝色通道中的嵌入的元数据比特，等等)。在以循环的方式写元数据225之前，第一元数据包可以以默认方式(例如，写入每个色度通道的LSB中)在视频数据流中被传输，以便向视频接收机或处理器表示随后的元数据225以循环的方式被写入。第一元数据包可以指示元数据225 (以循环的方式写入)被嵌入在视频帧中的何处。第一元数据包可以提供在视频传送途径的接收结束和传输之间的元数据传送的同步的方法。如果通过写元数据的循环的方式提供不足的带宽，则在块416处嵌入元数据的默认方法可以被应用(例如，元数据225可以被写入视频帧中的色度通道的每个LSB中)。如果在块416处写元数据225之后剩余还没有被嵌入视频数据流中的任何元数据225 (参见块422)，则剩余元数据225的传送可以在块424处被分配优先级和管理。元数据225可以被分成用于传播的多个包。使用EOP标志，元数据包的传播可以被中断以利于较高优先级的元数据包的传播，如参考图8和10在本申请中描述的。图5B示出可以被用于通过重写视频帧中的色度数据来提供元数据的字符组来编码元数据的方法425。例如，对于黑色帧或黑色图像区域(其中像素的亮度值为零或低于某个阈值)中的像素的色度部分可以被用于携带元数据，因为可以在基本不影响图像质量的情况下重写对于这种像素的色度数据。在下面种类的帧中大量的像素具有零的亮度值或非常小的值，例如 黑色帧，诸如可以被用来在电影的不同场景之间或在例如商业节目和预定计划的节目之间过渡。 特定的视频格式的帧，诸如信箱式、邮筒式和开窗盒式(windowboxed)的格式，其中视频图像被显示为在侧面处和/或视频图像上方和下方具有衬边(mat)或黑条。这种 格式典型地被用来在显示器上保持视频的原始高宽比。方法425在块426处开始于接收用于接下来的M个视频帧的元数据225。在块428处，方法425识别当前视频帧中的可以被用来携带元数据字符组的任何黑色帧(或者黑色图像区域)。在块430处，元数据225的多个比特被写入识别的黑色帧(或者黑色图像区域)中的像素的色度通道内。例如，一系列的元数据比特13可以被插入色度通道中如图2C所示从而重写色度数据。在将元数据225写入色度通道中之前，第一元数据包可以以默认方式(例如，写入LSB中)在视频数据流中被传输，以便提供向视频数据接收机或处理器信号通知随后的元数据225被写入像素的色度通道中的信息。在块432处，如果剩余任何元数据225 (即，其没有被写入黑色帧中的像素的色度通道中)，则这种元数据225可以被写入当前非黑色视频帧中的可用的LSB中。如果在所有可用的LSB已经被填充之后还剩余有还没有被嵌入视频数据流中的元数据225 (参见块434)，则剩余元数据225的传送可以被分配优先级和管理(块436)。下面关于图8更详细地描述用于给元数据分配优先级的特定的方法。对于一定的视频格式，视频图像可以被显示为在侧面和/或视频图像上方和下方处具有衬边或黑条。当以这种格式提供视频数据时，元数据225可以被嵌入表示黑色衬边或条的像素的色度通道内。在其它实施例中，作为方法300、400和/或425的步骤的组合或变型的方法可以被应用于管理元数据传送。例如，特定的方法可以结合通过重写黑色视频帧和/或区域中的色度数据提供元数据字符组的步骤以及将元数据写入保护比特中或非黑色视频帧中的色度通道的LSB中的步骤。被应用于将元数据225编码在视频数据流中的每个方法可以包括用于确保保留的视频字没有不是故意地通过视频数据传递的步骤。例如，与上面参考图4A和图4B描述的方法类似的方法可以被执行，在其中传输的在前的视频数据被考虑并且与保留的视频字的列表相比，并且如果适当，保护信息被设定在保护比特中以便防止传递保留的视频字。图8是示出根据一个实施例的用于管理元数据的传送的方法500的流程图。根据方法500，元数据通过视频传送途径的传输可以被临时中断以便允许传输分类为相对较高优先级元数据的其它元数据。假定沿着视频传送途径200存在多个在其处元数据可以被产生和嵌入视频数据流中的阶段，可以要求元数据传送的中断。对于某些视频帧(例如，具有在视频传送途径的多个阶段处产生的元数据的视频帧)，可能存在不足以可用于在元数据225要被下游装置应用的时间之前将元数据225传送到下游装置的元数据带宽。如果存在要被嵌入视频数据流中的新的元数据则方法500可以被执行，但是视频数据流中的当前的视频帧不具有用于携带新的元数据和现有的元数据的元数据带宽。例如，现有的元数据225可能已经在视频传送途径的先前阶段处被嵌入当前视频帧中，留下不足以用于传送新的元数据的带宽。图8在块502处开始于定位和取回被嵌入视频数据流中的现有的元数据结构。在块504处确定现有的元数据结构的优先级和待传输的新的元数据结构的优先级。在某些实施例中，特定的元数据类型可以被指定特定的优先级。因此，在 块504处的优先级确定可以基于如在帧头部中定义的元数据类型。在块508处，在块504处确定的优先级被比较。如果待传输的新的元数据结构的优先级低于嵌入视频数据流中的现有的元数据结构的优先级，则方法500进行到块502，取回嵌入视频数据流中的下一个元数据结构。块502到508处的步骤可以被重复直到在视频数据流中定位具有比待传输的新的元数据结构低的优先级的现有的元数据结构(或者直到视频数据流中的元数据带宽变得可用)。如果在块508处待传输的新的元数据结构的优先级高于嵌入视频数据流中的现有的元数据结构的优先级，在块510处方法500通过从视频数据流提取现有的元数据515并且将现有的元数据515存储以用于稍后的传输来中断现有的元数据结构的传输，在块512处先前由元数据515占据的视频数据保护比特或LSB被用待传输的新的元数据结构重与。如果在用新的元数据重写先前由元数据515占据的视频数据保护比特或LSB (参见块512)之后，存在剩余的需要被传输的新的元数据(参见块514)并且有限的元数据带宽对于这种传输是可用的，则方法500可以进行到取回嵌入视频数据流中的下一个现有的元数据结构(块502)并且将其优先级与新的元数据的优先级比较(块504)。如果剩余的待传输的新的元数据的优先级较高，则现有的元数据结构的传输可以如上所述地被中断，以利于在块510和512处的新的元数据的传输。如果没有更多待传输的新的元数据(块514)，现有的元数据515的传输可以重新开始。这可以通过在块516处将元数据515重写到视频数据流中的保护比特或LSB来实现。在某些情形中，元数据被嵌入在视频帧的处理或显示期间要应用该元数据的视频帧内并且被同时地传送。在其它情形中，要被应用于特定的视频帧的元数据可以与用于一个或更多个较早的视频帧的视频数据一起传输。元数据可以在要应用该元数据的特定的视频帧之前被传送到视频解码器、处理器或其它下游装置并且由视频解码器、处理器或其它下游装置接收。为了便于元数据的处理和应用，携带元数据有效载荷的元数据包可以包括指示何时要应用元数据的时间戳。在一些实施例中，时间戳可以在指示要在已经接收到元数据之后的一定数量的视频帧处应用元数据的帧延迟方面被定义。在其它实施例中，时间戳可以在时间延迟、帧序列号、相对于视频的开始的时间等方面被定义。在一些实施例中，元数据可以被携带在用于插入在场景过渡之间或场景内的黑色帧的像素数据中。在显示端(图3的块210)，显示器可以重复黑色帧之前的视频帧的回放，以便避免在黑色帧中的元数据正被提取和/或应用时的场景的显示的中断。在将元数据写入用于黑色帧的像素数据中之前，第一元数据包可以以默认方式(例如，写入保护比特中或写入每个色度通道的LSB中)在视频数据流中被传输，以便向下游装置表示随后的元数据225被写入黑色帧中。在某些实施例中，显示器可以回放包含元数据的黑色帧。在其它实施例中，显示器可以不回放包含元数据的黑色帧(即，黑色帧的显示被跳过)。显示器可以在从黑色帧提取和/或应用元数据的同时重复在黑色帧之前的视频帧的回放。图7示出在元数据被处理和应用的时间之前携带通过视频传送途径并且由下游装置(例如，视频处理器、解码器和/或显示器)接收的元数据225。元数据225包括六个元数据有效载荷，每个与一个视频帧(即，视频帧#3到#9中的一个)相关。如在图7中看到的，在与视频帧#3相关的元数据有效载荷正被传送到下游装置的同时，下游装置正在处理视频帧#1和2。用于与视频帧#3相关的元数据有效载荷的时间戳可以指示元数据有效载荷要被应用于接收到元数据有效载荷之后三个帧。
时间戳的使用可以便于传送用于场景的所有元数据，以便确保这种元数据在由下游装置应用元数据之前对于下游装置可用(例如，元数据可以被应用于视频数据的处理和/或应用场景的显示器配置)。元数据可以在场景过渡期间被嵌入视频数据中(例如，元数据可以与插入在场景之间的黑色帧一起传送)。元数据可以被嵌入其中亮度值被驱动为零的帧的区域或帧中的色度数据中(例如，使用在本申请中参考图5B描述的方法)。在其中在块206处传送未压缩的视频数据(图3)的实施例中，时间戳可以被用于在块208处管理在编码器级207A处的编码器与视频处理器/解码器之间的视频数据中的元数据的传送(图3A)。图9示出根据一个实施例的系统600，其可以被配置为执行在本申请中描述的方法中的一个或更多个。系统600的组件可以被实现为软件、硬件和/或其组合。系统600包括视频捕获子系统602、后制作子系统603和显示子系统604。视频数据203的流由视频捕获子系统602产生并且被传送到用于处理和编辑的后制作子系统603。视频图像可以在编辑视频数据203的过程中在后制作子系统603的参考显示器111上被显示和观看。编辑的视频数据203被传送到显示子系统604(经由编码器207A和解码器207B在分发介质205之上)以用于进一步处理和显示。子系统602、603和604 (以及编码器207A)中的每一个可以被配置为对视频数据203中的元数据225进行编码。下游子系统可以被配置为从上游装置接收视频数据203并且解码已经嵌入其中的元数据225。元数据225可以由下游子系统(例如，子系统603和604)用来引导视频数据203的处理和/或显示。元数据225可以由显示子系统604与显示器特征参数620 —起使用来控制和/或引导显示子系统604的显示器618上的视频回放。如在图9中看到的，子系统602、603和604可以分别包括处理器606、608和616，以及各个处理器能访问的程序存储器607、609和617。每个处理器可以包括中央处理单元(CPU)、一个或更多个微处理器、一个或更多个现场可编程门阵列(FPGA)或其任意组合，或者能够如本申请中所述工作的包括硬件和/或软件的任何其它合适的处理单元。在每个子系统中，处理器执行通过存储在程序存储器中的软件提供的指令。软件可以包括用于执行在本申请中描述的元数据产生、编码、解码和处理步骤的例程，例如如下操作的例程
产生元数据225或接收用于元数据225的参数(例如,这种参数可以由颜色定时器或颜色分级器(color grader)在后制作阶段处设定；元数据225可以定义某些参数，如在本申请中参考图3描述的)； 解码来自从上游装置接收的视频数据203的元数据225; 处理和应用元数据225以便引导视频数据的处理和/或显示； 在这种视频数据被传递到下游装置之前在视频数据203中编码元数据225; 中断较低优先级元数据225的传送，从而允许视频数据流中的 较高优先级元数据225的传送； 基于图像和/或视频数据203选择用于编码元数据225的方法(例如，编码元数据225的方法可以被选择为最小化对图像质量的不利影响)； 管理在视频帧、视频帧的区域或亮度值为零或低于阈值的像素的色度部分中的元数据225的字符组的编码； 和/或类似物。系统600可以包括子系统602、603和604可访问的储存库(repository)610。储存库610可以包括元数据定义612的库(例如，其通知元数据编码器和解码器如何产生和/或读取元数据)以及保留的视频字614的列表(例如，保护的像素值)。元数据定义612的库在产生、编码和/或处理元数据时可以由子系统602、603和604访问。在编码或解码元数据225中，可以如上所述地将保留的视频字614与在保护比特之前的视频数据比特比较，以便识别保护比特是否被视为用于防止保留的视频字的传递的保护信息。虽然共享的储存库610被示出在图9的示例性实施例中，但是在其它实施例中，子系统602、603和604中的每一个可以包括存储在该子系统可访问的存储介质中的局部的储存库610。图IlA示出根据示例实施例的可以被用于在视频数据的流中对元数据进行编码的子系统280。子系统280可以被用于使用例如图4A所示的方法300或本申请中描述的其它方法来编码与即将到来的场景或其它帧序列有关的元数据225。子系统280可以从视频数据的源接收输入视频数据203。在一些实施例中，子系统280可以从缓冲器或其它存储介质取回输入视频数据203。在其它实施例中，子系统280可以从视频信号输入接收流式视频数据203。视频数据203可以以适合于视频内容传送的类型(诸如，卫星、线缆或者高分辨率网络之上的电视广播；在IP或者无线网络之上的流式多媒体；或者读取DVD或其它存储介质，等等)的格式被提供。输入视频数据203可以包括由上游设备添加到视频数据的嵌入的元数据。根据一些实施例，输入视频数据203可以包括保护比特。输入视频数据203可以包含亮度和色度信息。在特定实施例中，视频数据203由解码器282解码。解码器282可以分离视频信号中的亮度和色度分量。用于即将到来的场景或帧序列的视频数据203可以被推送到由软件和/或硬件实现的一个或更多个数据缓冲器283中。在视频数据203被接收时，视频数据203的一个或更多个帧(或者视频数据203的其它部分)可以被连续地推送到缓冲器283中。在一些实施例中，保护比特读取器284通过监视缓冲器283中的缓冲的视频数据203的保护比特(跳过那些包含保护信息的比特)直到保留的元数据字(例如，元数据有效载荷的末尾等)被检测到来确定何处开始将元数据插入视频数据流中；新的元数据225可以被写入在这种保留的元数据字之后的视频数据中。在其它实施例中，保护比特读取器284可以接收信号或读取指示视频数据流203中的子系统280可以开始在视频流中编码元数据的位置的元数据包。为了开始编码元数据，保护比特读取器284访问存储在缓冲器283中的视频数据203并且依次考虑每个保护比特。对于考虑的每个保护比特，保护比特读取器284可以将在保护比特之前的视频比特与从保留字存储285访问的多个保留的视频字(例如，保留的像素值)中的每一个比较。基于这种比较，保护比特读取器284可以识别保护比特是否正用作用于防止保留的视频字的传递的保护信息或者保护比特是否可以包含元数据。如果保护比特读取器284确定保护比特可以包含元数据，则保护比特读取器284可以向数据写入器286发送信号287，传递元数据225 (或其它数据)可以被写入保护比特·中(如参考例如图4A的块308讨论的)。保护比特读取器284可以继续访问和读取缓冲器283中的视频数据203直到用于特定的场景或帧序列的所有元数据225已经被写入视频数据203中。当数据写入器286接收信号287时，数据写入器286取回与即将到来的场景有关的下一个比特的元数据225。数据写入器286将该比特的元数据225写入由保护比特读取器284确定适合用于携带元数据的保护比特中。数据写入器286可以从存储器或包含元数据的缓冲器取回元数据225。在数据写入器286已经将元数据225写入缓冲器283中的视频数据203的所有可用的保护比特中时，子系统280输出包括插入的元数据225的视频数据203(例如，视频数据203可以从缓冲器283被推送出并且视频数据203的新的输入帧被推送到缓冲器283中；元数据225然后可以被写入缓冲器283中的视频数据203的新的帧中)。输出视频数据203可以被传送到下游设备，例如用于处理和/或视频回放的显示子系统。如果保护比特读取器284识别出保护比特不适于携带元数据(因为它包含保护信息)，保护比特读取器284可以向数据写入器286传递信号288，使得数据写入器286将保护信息插入保护比特中(例如，如参考图4A的块310所讨论的)。在其它实施例中，信号288或信号287的断言的缺少可以使得数据写入器286跳过保护比特。如此，数据写入器286不将任何元数据225写入该保护比特中。图IlB示出根据示例实施例的子系统290，其可以被用于解码来自视频数据的流的元数据。子系统290可以被用于使用在本申请中描述的方法之一(例如图4B的方法330)来提取用于即将到来的场景的元数据225。子系统290在某些方面类似于子系统280。例如，子系统290接收输入视频数据203，并且可以在解码器292处解码输入视频数据203 (类似于子系统280如何接收和解码输入视频数据203)。输入视频数据203可以被缓冲在缓冲器293中。保护比特读取器294访问存储在缓冲器293中的视频数据203并且依次考虑每个保护比特。对于考虑的每个保护比特，保护比特读取器294可以将在保护比特之前的视频比特与从保留字存储295访问的多个保留的视频字(例如，保留的像素值)之一比较。基于该比较，保护比特读取器294可以识别保护比特是否正用作用于防止保留的视频字的传递的保护信息，或保护比特是否包含元数据。如果保护比特读取器294确定保护比特可以包含元数据，则保护比特读取器294可以向元数据读取器296发送信号297，使得元数据读取器296读取保护比特(如例如在图4B的块338处执行的)。从保护比特读取的元数据225可以被存储在元数据存储296中以用于后续的取回和应用。如果保护比特读取器294确定保护比特包含保护信息，保护比特读取器294在一些实施例中可以向元数据读取器296发送信号298，使得元数据读取器296跳过读取保护比特。在其它实施例中，元数据读取器296仅仅在它接收信号297时才从保护比特读取元数据，并且信号297的断言的缺少使得保护比特被元数据读取器296跳过。在一些实施例中，保护比特读取器284、294可以不必要监视输入视频流中的保护比特以便定位何处开始编码或解码视频数据。当元数据被写入视频数据中时，元数据包可以由元数据写入器产生并且插入在视频数据流中，向下游设备指示何处定位视频数据中的现有的元数据(例如，在某些视频帧中，或在视频帧中以特定的像素开始，或在特定的图像区域中，等)。该元数据包可以由子系统280用来引导视频数据中的附加的元数据的写入并且可以由子系统290用来引导从视频数据提取元数据。该元数据包可以对于同步元数据通过视频传送途径的传送是有用的。元数据包还可以向下游设备指示对于其中提取元数据的 像素的应该被用于驱动显示器的像素值。这使得能够在具有恒定色调的图像的区域中编码元数据。在其它实施例中，子系统280和子系统290可以被改编或重新配置为根据其它一些方法将元数据写入视频数据中。例如，对于视频数据的色度部分的LSB被用于传输视频数据的实施例，最低有效比特写入器可以代替子系统280的保护比特读取器284和数据写入器286被提供。类似地，最低有效比特读取器可以代替子系统290的保护比特读取器294和元数据读取器296被提供。最低有效比特写入器可以访问缓冲器283中的视频数据203并且将元数据写入视频数据的色度部分的LSB中。最低有效比特读取器可以访问缓冲器293中的视频数据203并且从视频数据的色度部分的LSB读取元数据。最低有效比特写入器可以以避免非故意的传递保留的元数据字的方式编码元数据(通过使用例如6b/8b或8b/10b编码等，或将保留字定义为连续的相同的比特的固定图案，等等)。保护比特读取器284、294 (以及最低有效比特读取器或写入器)可以由数据处理器、CPU、微处理器、FPGA或其任何组合或能够读取视频数据以确定亮度水平和将这种亮度水平与阈值比较的任何其它合适的处理单元来实现。数据写入器286和元数据读取器296可以由数据处理器、CPU、微处理器、FPGA或其任何组合或能够访问来自视频数据源的视频数据203以及写入或读取视频数据203的比特的任何其它合适的处理单元来实现。在如上指示组件(例如，处理器、解码器、编码器、装置、显示器等等)时，除非另有说明，指的组件(包括指的是“装置”)应该被解释为包括该组件的等同物，执行所述组件的功能的任何组件(即，其功能等同)，包括结构上不等同于执行在本发明的示例性实施例中的功能的公开的结构的组件。特定实施例可以以程序产品的形式被提供。程序产品可以包括任何介质，其携带一组计算机可读信号，其包括在由数据处理器执行时使数据处理器执行本发明的方法的指令。根据本发明的程序产品可以具有各种各样的形式。程序产品可以包括例如物理介质，例如磁性数据存储介质(包括软盘、硬盘驱动)、光学数据存储介质(包括CD ROM、DVD)、电子数据存储介质(包括ROM、闪存RAM)等等。程序产品上的计算机可读信号可以可选地被压缩或加密。
虽然上面已经讨论了许多示例性方面和实施例，但是本领域技术人员将认识到其特定的修改、置换、添加和子组合。例如 在某些实施例中，可以通过将元数据嵌入不是保护比特或LSB的比特中而在视频数据流中携带元数据。例如，在一些实施例中，元数据可以被嵌入最高有效位(MSB)中。这可以通过将现有的视频数据向右移位一个比特并且将元数据放置在MSB中来被执行。 在本申请中描述的示例实施例提供在视频传送途径中有用的系统、设备和方法。这种系统、设备和方法对于其它类型的数据的传送可以是有用的。 在示例实施例中，元数据被写入视频数据中并且与视频数据一起被传输通过视频传送途径。在其它实施例中，其它种类的数据可以被写入视频数据并且与视频数据一起传输通过视频传送途径。 根据在本申请中描述的实施例的写入视频数据中的元数据可以在引导其它设备(诸如，视频存档器、记录器等)的配置、控制和/或操作方面是有用的。·因此，意图是以下所附的权利要求和在下文中引入的权利要求被解释为包括在它们的真实的精神和范围之内的所有这样的修改、置换、添加和子组合。因此本发明可以适当地包括本发明的任何元件(各种部件或者特征)以及如在本申请中描述的、当前存在的和/或随后开发的它们的等同物，或者由其组成或基本上由其组成。此外，在本申请中示例性地公开的本发明可以在缺少任何元件的情况下被实现，不管在本申请中是否具体地公开。显然，考虑到上述教导本发明的许多的修改和变化是可能的。因此要理解的是，在所附权利要求的范围内，本发明可以除如在本申请中具体地描述的那样之外被实现。因此，本发明可以以在本申请中描述的任何形式被具体实现，包括但不限于以下的列举的示例实施例(EEE)，这些列举的示例实施例描述了本发明的一些部分的结构、特征和功能。EEE1、一种用于向显示子系统提供视频数据的方法，包括(a)捕获视频帧的序列以便提供视频数据；(b)在参考显示器上编辑由视频数据提供的图像；(C)产生元数据，所述元数据识别参考显示器的配置参数以及编辑的图像的特性；(d)在视频数据中嵌入元数据；(e)将包括嵌入的元数据的视频数据传送到显示子系统；(f)在显示子系统处提取元数据；以及(g)至少部分基于元数据来配置显示子系统或者处理用于显示子系统的视频数据。EEE2、根据权利要求I所述的方法，其中在视频数据中嵌入元数据包括重写视频数据中的多个保护比特。EEE3、根据权利要求2所述的方法，其中在视频数据中嵌入元数据包括(a)从待传送的元数据包取回一比特的元数据；(b)定位视频数据中的第一保护比特；(C)将在第一保护比特之前的多个视频比特与表示保留视频字的第一字进行比较；以及(d)如果在第一保护比特之前的多个视频比特不同于第一字，则将该一比特的元数据写入第一保护比特中。EEE4、根据权利要求3所述的方法，其中在视频数据中嵌入元数据包括如果在第一保护比特之前的多个视频比特匹配第一字，则在第一保护比特中设定保护信息。EEE5、根据权利要求4所述的方法，其中如果保护信息被设定在第一保护比特中，则在视频数据中嵌入元数据包括(a)定位在第一保护比特之后的视频数据中的第二保护比特；(b)将在第二保护比特之前的多个视频比特与第一字进行比较；以及
(C)如果在第二保护比特之前的多个视频比特不同于第一字，则将该一比特的元数据写入第二保护比特中。EEE6、根据权利要求5所述的方法，其中提取元数据包括(a)定位视频数据中的第一保护比特；(b)通过将在第一保护比特之前的多个视频比特与第一字进行比较来确定第一保护比特是否包含保护信息；以及(C)如果确定第一保护比特没有包含保护信息则提取第一保护比特。EEE7、根据权利要求6所述的方法，其中如果确定第一保护比特包含保护信息，则提取元数据包括(a)定位视频数据中的第二保护比特；(b)通过将在第二保护比特之前的多个视频比特与第一字进行比较来确定第二保护比特是否包含保护信息；以及(C)如果确定第二保护比特没有包含保护信息则提取第二保护比特。EEE8、根据权利要求I所述的方法，其中在视频数据中嵌入元数据包括重写视频数据中的色度通道的多个最低有效比特(LSB )。EEE9、根据权利要求8所述的方法，其中在视频数据中嵌入元数据包括(a)从待传送的元数据包取回一比特的元数据；(b)定位视频数据中的色度通道的第一 LSB ;以及(d)将该一比特的元数据写入第一 LSB中。EEE10、根据权利要求I所述的方法，其中在视频数据中嵌入元数据包括重写具有低于阈值的亮度值的像素的视频数据中的多个色度比特。EEE11、根据权利要求I所述的方法，其中在视频数据中嵌入元数据包括(a)识别视频数据中的一个或更多个黑色帧；以及(b)用元数据重写一个或更多个黑色帧中的像素的多个色度比特。EEE12、根据权利要求I所述的方法，其中在视频数据中嵌入元数据包括(a)识别视频数据中的一个或更多个黑色图像区域；以及(b)用元数据重写一个或更多个黑色图像区域中的像素的多个色度比特。EEE13、根据权利要求I所述的方法，其中在视频数据中嵌入元数据包括(a)在一对视频数据帧之间插入视频数据的黑色帧；(b)在黑色帧的像素数据中嵌入元数据。
EEE14、根据权利要求13所述的方法，包括在显示子系统处提取黑色帧的像素数据中的元数据的同时，重复由显示子系统对在视频数据的黑色帧之前的视频帧的回放。EEE15、根据权利要求I所述的方法，其中将包括嵌入的元数据的视频数据传送到显示子系统包括(a)接收视频数据中的待传输的新的元数据；(b)识别新的元数据的优先级；(c)识别嵌入的元数据的优先级；(d)将新的元数据的优先级与嵌入的元数据的优先级进行比较；以及(e)如果嵌入的元数据的优先级低于新的元数据的优先级，则中断嵌入的元数据 的传送，并且将新的元数据写入视频数据中。EEE16、根据权利要求15所述的方法，其中中断嵌入的元数据的传送包括(a)从视频数据提取嵌入的元数据；以及(b)存储提取的元数据。EEE17、根据权利要求16所述的方法，包括通过在所有新的元数据已经写入视频数据中之后将提取的元数据重写入视频流中来重新开始提取的元数据的传输。EEE18、根据权利要求I所述的方法，其中传送视频数据包括在要应用嵌入的元数据的视频帧的前面传送具有嵌入的元数据的视频数据。EEE19、根据权利要求18所述的方法，其中元数据包括识别何时要应用嵌入的元数据的时间戳。EEE20、根据权利要求I到19中任何一个所述的方法，其中传送视频数据包括通过以下传输介质之一传送DVD、蓝光、卫星、线缆或者因特网。EEE21、根据权利要求I到20中任何一个所述的方法，其中以以下格式之一对元数据进行编码(a) 6b/8b 编码；以及(b)8b/10b 编码。EEE22、根据权利要求I到21中任何一个所述的方法，其中元数据被编码为使得元数据中的帧头部的开始由连续的相同的比特的第一固定图案表示，并且元数据中的帧头部的末尾由连续的相同的比特的第二固定图案表示。EEE23、一种系统，包括(a)用于产生视频数据的视频捕获子系统；(b)具有参考显示器和处理器的后制作子系统，所述处理器被配置为接收和编辑由视频捕获子系统产生的视频数据并且将视频数据显示在参考显示器上；以及(C)具有显示器和视频处理器的显示子系统，所述视频处理器被配置为接收由后制作子系统编辑的视频数据并且将视频数据显示在显示器上；其中视频捕获子系统、后制作子系统和显示子系统中的至少一个被配置为在视频数据中对元数据进行编码以用于引导视频数据的显示或者后续处理。EEE24、根据权利要求23所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为通过在视频数据的多个保护比特中嵌入元数据来在视频数据中对元数据进行编码。
EEE25、根据权利要求23所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为通过在视频数据的多个最低有效比特中嵌入元数据来在视频数据中对元数据进行编码。EEE26、根据权利要求23所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为通过用元数据重写视频数据中的色度数据来在视频数据中对元数据进行编码。EEE27、根据权利要求24所述的系统，包括一个或更多个储存库，每个储存库存储保留的视频字的一个列表，其中视频捕获子系统、后制作子系统和显示子系统中的每一个被配置为定位视频数据中的下一个可用的保护比特，从储存库之一取回保留的视频字的列表，并且将保留的视频字与视频数据进行比较以便确定在下一个可用的保护比特中是否插入保护信息。EEE28、根据权利要求23到27中任何一个所述的系统，其中后制作子系统的处理器被配置为在视频数据中对元数据进行编码以识别以下中的至少一个 参考显示器的配置参数；以及由视频数据提供的图像的亮度和色域特性。EEE29、根据权利要求28所述的系统，其中显示子系统的视频处理器被配置为对视频数据中的元数据进行解码并且应用解码的元数据，以便配置显示子系统的显示器或者处理视频数据以便调节显示子系统的显示器的特性。EEE30、根据权利要求28所述的系统，其中显示子系统的视频处理器被配置为读取显示子系统的显示器的扩展显示识别数据以便处理视频数据来调节显示子系统的显示器的特性。EEE31、根据权利要求23到30中任何一个所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为至少部分基于视频数据选择对元数据进行编码的方法；以及应用所选的方法来对视频数据中的元数据进行编码以用于引导视频数据的显示或者后续处理。EEE32、根据权利要求23到31中任何一个所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为管理视频数据中的元数据的传送以便允许中断相对较低优先级元数据的传送以利于相对较高优先级元数据的传送。EEE33、根据权利要求23到32中任何一个所述的系统，其中显示子系统被配置为经由以下传输介质中的至少一种来接收视频数据DVD、蓝光、卫星、线缆或者因特网。EEE34、根据权利要求23到33中任何一个所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为以以下格式之一对元数据进行编码(a) 6b/8b 编码；以及(b)8b/10b 编码。EEE35、根据权利要求23到34中任何一个所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为对元数据进行编码，使得元数据中的帧头部的开始由连续的相同的比特的第一固定图案表示，并且元数据中的帧头部的末尾由连续的相同的比特的
第二固定图案表示。
EEE36、一种对视频数据中的元数据进行编码的方法，所述方法包括(a)取回视频数据中的待携带的一比特的元数据；(b)定位视频数据中的第一保护比特；(C)将与第一保护比特相邻的多个视频比特与表示保留的视频字的第一字进行比较；以及(d)如果多个视频比特不同于第一字，则将该一比特的元数据写入第一保护比特中。EEE37、根据权利要求36所述的方法，其中在视频数据中对元数据进行编码包括如果与第一保护比特相邻的多个视频比特匹配第一字，则在第一保护比特中设定保护信
肩、OEEE38、根据权利要求37所述的方法，其中如果保护信息被设定在第一保护比特中，则在视频数据中对元数据进行编码包括(a)定位在第一保护比特之后的视频数据中的第二保护比特；(b)将与第二保护比特相邻的多个视频比特与第一字进行比较；以及(e)如果与第二保护比特相邻的多个视频比特不同于第一字，则将该一比特的元数据写入第二保护比特中。EEE39、根据权利要求36到38中任何一个所述的方法，其中对元数据进行编码包括以以下格式之一对元数据进行编码(a) 6b/8b 编码；以及(b)8b/10b 编码。EEE40、根据权利要求36到39中任何一个所述的方法，其中元数据被编码为使得元数据中的帧头部的开始由连续的相同的比特的第一固定图案表示，并且元数据中的帧头部的末尾由连续的相同的比特的第二固定图案表示。EEE41、一种用于从视频数据提取元数据的方法，包括(a)定位视频数据中的第一保护比特；(b)通过将与第一保护比特相邻的多个视频比特与一个或更多个保留的视频字进行比较来确定第一保护比特是否包含保护信息；以及(C)如果确定第一保护比特没有包含保护信息则提取第一保护比特。EEE42、根据权利要求41所述的方法，其中如果确定第一保护比特包含保护信息，则提取元数据包括(a)定位在第一保护比特之后的视频数据中的第二保护比特；(b)通过将与第二保护比特相邻的多个视频比特与一个或更多个保留的视频字进行比较来确定第二保护比特是否包含保护信息；以及(C)如果确定第二保护比特没有包含保护信息则提取第二保护比特。EEE43、一种方法，包括在本申请中描述的任何新的且有创造性的动作、步骤、动作和/或步骤的组合或者动作和/或步骤的子组合。EEE44、一种设备，包括在本申请中描述的任何新的且有创造性的特征、特征的组合或者特征的子组合。
权利要求
1.一种用于向显示子系统提供视频数据的方法，包括 Ca)捕获视频帧的序列以便提供视频数据； (b)在参考显示器上编辑由视频数据提供的图像； (c)产生元数据，所述元数据识别参考显示器的配置参数以及编辑的图像的特性； (d)在视频数据中嵌入元数据； (e)将包括嵌入的元数据的视频数据传送到显示子系统； (f)在显示子系统处提取元数据；以及 (g)至少部分基于元数据来配置显示子系统或者处理用于显示子系统的视频数据。
2.根据权利要求I所述的方法，其中在视频数据中嵌入元数据包括重写视频数据中的多个保护比特。
3.根据权利要求2所述的方法，其中在视频数据中嵌入元数据包括 Ca)从待传送的元数据包取回一比特的元数据； (b)定位视频数据中的第一保护比特； (c)将在第一保护比特之前的多个视频比特与表示保留视频字的第一字进行比较；以及 (d)如果在第一保护比特之前的多个视频比特不同于第一字，则将该一比特的元数据写入第一保护比特中。
4.根据权利要求3所述的方法，其中在视频数据中嵌入元数据包括如果在第一保护比特之前的多个视频比特匹配第一字，则在第一保护比特中设定保护信息。
5.根据权利要求4所述的方法，其中如果保护信息被设定在第一保护比特中，则在视频数据中嵌入元数据包括 (a)定位在第一保护比特之后的视频数据中的第二保护比特； (b)将在第二保护比特之前的多个视频比特与第一字进行比较；以及 (C)如果在第二保护比特之前的多个视频比特不同于第一字，则将该一比特的元数据写入第二保护比特中。
6.根据权利要求5所述的方法，其中提取元数据包括 Ca)定位视频数据中的第一保护比特； (b)通过将在第一保护比特之前的多个视频比特与第一字进行比较来确定第一保护比特是否包含保护信息；以及 (C)如果确定第一保护比特没有包含保护信息则提取第一保护比特。
7.根据权利要求6所述的方法，其中如果确定第一保护比特包含保护信息，则提取元数据包括 Ca)定位视频数据中的第二保护比特； (b)通过将在第二保护比特之前的多个视频比特与第一字进行比较来确定第二保护比特是否包含保护信息；以及 (C)如果确定第二保护比特没有包含保护信息则提取第二保护比特。
8.根据权利要求I所述的方法，其中在视频数据中嵌入元数据包括重写视频数据中的色度通道的多个最低有效比特(LSB)。
9.根据权利要求8所述的方法，其中在视频数据中嵌入元数据包括(a)从待传送的元数据包取回一比特的元数据； (b)定位视频数据中的色度通道的第一LSB ;以及 Cd)将该一比特的元数据写入第一 LSB中。
10.一种系统,包括 Ca)用于产生视频数据的视频捕获子系统； (b)具有参考显示器和处理器的后制作子系统，所述处理器被配置为接收和编辑由视频捕获子系统产生的视频数据并且将视频数据显示在参考显示器上；以及 (c)具有显示器和视频处理器的显示子系统，所述视频处理器被配置为接收由后制作子系统编辑的视频数据并且将视频数据显示在显示器上； 其中视频捕获子系统、后制作子系统和显示子系统中的至少一个被配置为在视频数据中对元数据进行编码以用于引导视频数据的显示或者后续处理。
11.根据权利要求10所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为通过在视频数据的多个保护比特中嵌入元数据来在视频数据中对元数据进行编码。
12.根据权利要求10所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为通过在视频数据的多个最低有效比特中嵌入元数据来在视频数据中对元数据进行编码。
13.根据权利要求10所述的系统，其中视频捕获子系统、后制作子系统和显示子系统被配置为通过用元数据重写视频数据中的色度数据来在视频数据中对元数据进行编码。
14.根据权利要求11所述的系统，包括一个或更多个储存库，每个储存库存储保留的视频字的一个列表，其中视频捕获子系统、后制作子系统和显示子系统中的每一个被配置为定位视频数据中的下一个可用的保护比特，从储存库之一取回保留的视频字的列表，并且将保留的视频字与视频数据进行比较以便确定在下一个可用的保护比特中是否插入保护信息。
15.根据权利要求11到14中任何一个所述的系统，其中后制作子系统的处理器被配置为在视频数据中对元数据进行编码以识别以下中的至少一个 参考显示器的配置参数；以及 由视频数据提供的图像的亮度和色域特性。
16.一种用于从视频数据提取元数据的方法，包括 Ca)定位视频数据中的第一保护比特； (b)通过将与第一保护比特相邻的多个视频比特与一个或更多个保留的视频字进行比较来确定第一保护比特是否包含保护信息；以及 (C)如果确定第一保护比特没有包含保护信息则提取第一保护比特。
17.根据权利要求16所述的方法，其中如果确定第一保护比特包含保护信息，则提取元数据包括 Ca)定位在第一保护比特之后的视频数据中的第二保护比特； (b)通过将与第二保护比特相邻的多个视频比特与一个或更多个保留的视频字进行比较来确定第二保护比特是否包含保护信息；以及 (C)如果确定第二保护比特没有包含保护信息则提取第二保护比特。
全文摘要
在包括捕获、后制作、任何已知视频传送通道、解码和显示子系统的系统中，提供了用于产生、编辑、传送、处理和显示视频数据以便维护视频创作者的创作意图的设备和方法。用来引导视频数据的后续处理和显示的参考显示元数据在后制作级处被动态地产生并且嵌入视频数据中。
文档编号H04N21/845GK102893602SQ201180010543
公开日2013年1月23日 申请日期2011年2月17日 优先权日2010年2月22日
发明者N·W·麦斯莫尔 申请人:杜比实验室特许公司