利用像素重复带宽组合视频流和音频流的制作方法
【技术领域】
[0001]本发明的各实施例一般涉及数据传输领域，并且更具体地涉及利用像素重复带宽组合多个视频流和音频流。
背景
[0002]在设备或元件之间的信号的传输(诸如视听数据流的传输)中，某些技术可能需要多个不同类型的数据流的传输。例如，消费电子产品和其它系统可在单个编码的互连内发送和接收一个或多个视频流和一个或多个其它数据流。
[0003]消费电子设备和系统以及其它系统可诸如在一个编码的互连内发送和接收包含一个或多个视频流和一个或多个数据流的内容流。此连接的接收侧随后需要将一个视频内容流与另一视频内容流，以及一个数据流与另一数据流区分开，以便将各内容流适当地呈现为可用的形式，诸如显示的视频、呈现的音频和其它数据用途。
[0004]常规的系统可利用特定的分组(诸如以CEA-861进行定义的信息帧(InfoFrame))和标准(诸如HDMI?(高清晰度多媒体接口)和MHL?(移动高清晰度链路))以标识视频内容流和数据内容流。进一步，诸如HDMI和MHL之类的标准进一步包括编码字符，诸如是在视频内容或数据内容之前或之后以在这些类型的内容之间进行区分的保护带和前同步码。
[0005]然而，这些现有的方法在某些方面是受限的。第一，这些方法未提供在多个视频内容流或多个数据流之中进行区分的手段，因为它们仅覆盖运送单个视频流和单个数据流的互连。第二，现有的方法未利用内容标识符标记视频流的每一部分，而是每一帧仅发送一次信息帧分组。第三，如果视频内容流利用HDCP(高带宽数字内容保护)进行加密，则标识标记中的一些同样被加密，这防止了当从一个标准(诸如MHL)翻译成另一标准(诸如HDMI)时，经编码的内容标识符被修改而没有首先解密此流并在内容标记的修改之后接着重新加密此流。
【附图说明】
[0006]本发明的各实施例在各附图中作为示例而非限制方式示出的，在附图中相似的附图标记指代相似的要素。
[0007]图1是用于利用像素重复带宽组合视频数据流的装置或系统的实施例的图示；
[0008]图2是利用像素重复带宽合并多级视频的系统或装置的实施例的图示；
[0009]图3是用于合并3D视频数据流的通道的装置或系统的图示；
[0010]图4示出了用于组合多个相机的视频的系统或装置的实施例；
[0011]图5示出了用于利用单个缆线组合视频数据的装置或系统；
[0012]图6是由接收装置或系统的实施例后处理数据的图示；
[0013]图7是包括多个数据源和显示器的装置或系统的图示；
[0014]图8是示出用于利用像素重复带宽合并视频数据流的方法的实施例的流程图；以及
[0015]图9是用于利用像素重复带宽合并视频数据或用于处理包括多个视频数据流的数据的合并数据流的装置或系统的图示。
【发明内容】
[0016]本发明的各实施例一般针对利用像素重复带宽组合多个视频流和音频流。
[0017]在本发明的第一方面，装置的实施例包括:缓冲器，用于接收第一视频数据流的像素数据和第一视频数据流的时钟；以及多路复用器，用于移除第二视频数据流的像素重复并且将第一视频数据流的像素数据和第二视频数据流的像素数据组合以生成合并的数据流，此多路复用器在合并的数据流中在第一视频数据流的像素数据和第二视频数据流的像素数据之间交替。此合并的数据流包括在一行数据中的第一视频数据流的像素数据和第二视频数据流的像素数据，此行数据包括控制信息，该控制信息标识第一视频数据流的像素数据和第二视频数据流的像素数据。
[0018]在本发明的第二方面，方法的实施例包括将第一视频数据流的像素数据和时钟存储在缓冲器中；移除第二视频数据流的像素重复；以及通过将第一视频数据流的像素数据与第二视频数据流的像素数据组合来生成合并的数据流。生成合并的数据流包括在合并的数据流中在第一视频数据流的像素数据和第二视频数据流的像素数据之间交替，并且包括将第一视频数据流的像素数据和第二视频数据流的像素数据置于单行数据中，控制结构标识第一视频数据流的像素数据和第二视频数据流的像素数据。
[0019]在本发明的第三方面，装置的实施例包括:接收器，用于接收合并的数据流，此合并的数据流包括在一行数据中的多个视频数据流的像素数据，此合并的数据流在多个视频数据流中的每一个的像素数据之间交替，其中合并的数据流中的控制结构标识多个视频数据流中的每一个的像素数据在一行数据中的位置；以及处理器，至少部分地基于多个视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将合并的数据流的像素数据分成相应的数据流。
[0020]在本发明的第四方面，方法的实施例包括:接收合并的数据流，此合并的数据流包括在一行数据中的多个视频数据流的像素数据，此合并的数据流在多个视频数据流中的每一个的像素数据之间交替，其中合并的数据流中的控制结构标识多个视频数据流中的每一个的像素数据在一行数据中的位置；以及至少部分地基于多个视频数据流中的每一个的每一像素数据在一行数据中的所标识的位置来将合并的数据流的像素数据分成相应的视频数据流。
详细描述
[0021]本发明的各实施例一般针对利用像素重复带宽组合多个视频流和音频流。
[0022]在某些实施例中，方法、装置或系统提供利用像素重复带宽组合多个视频数据流，其中视频数据流可包括附加数据，诸如音频数据。在某些实施例中，提供一机制以用于将多个视频数据流组合成单个流，此单个流接着被从发送器转移到接收器，其中合并流可被分成原始的各个数据流。
[0023]如在诸如HDMI和MHL之类的规范中进行定义的像素重复被用于利用较快的时钟发送视频数据，从而使得在非视频时间中存在足够的时钟周期来运送必要的音频内容。然而，此机制不止一次地发送原始流中的每一像素值。例如，480p/60流每条线具有720个像素。在2倍重复模式下，像素中的每一个被发送两次，每一视频线总共1440个数据值。第二重复(在此示例中)不传达新的信息。
[0024]在某些实施例中，装置、系统或方法提供重新定时第一视频数据流的像素重复的数据以恢复由像素重复所创建的浪费的空间。在某些实施例中，来自第二视频数据流的内容接着被插入到第一流的恢复的空间中以生成合并流。在某些实施例中，当与多值的前同步码结合使用时，诸如在美国专利申请序列N0.13/269, 450 (Identificat1n andHandling of Data Streams Using Coded Preambles (利用编码的前同步码标识并处理数据流))中所描述的那样，两个视频数据周期可从一个像素重复的视频数据周期中进行创建。
[0025]在某些实施例中，装置、系统或方法通过在非视频数据周期时间中移动来自主流(第一流)的数据岛的定时以创建用于来自副流(第二流)的数据岛的空间来处理诸如数据岛(其中数据岛数据包括音频数据分组和辅助数据(诸如信息帧或其它构造)并且在水平和垂直消隐间隔期间出现)之类的数据。利用用于主流和副流的数据岛内容的唯一的前同步码，于是发送器可单独地标记这些数据岛。在某些实施例中，装备成识别多个前同步码值的接收器将数据岛分开回至单独的流，并且将视频数据周期分开回至相应的单独的流。
[0026]在某些实施例中，在主流和副流使用相同的视频模式，其中在仅主流运送音频的情况中，发送器的任务可被简化。在这些情况下，不需要发送器复制来自副流的数据岛，而仅需要发送器发送来自主流的数据岛。在此示例中，不需要附加的带宽来组合数据岛。在某些实施例中，对于使用相同的视频模式，其中仅主流运送音频的主流和副流的组合，可从进入的副流中丢弃AVI (辅助视频信息)、音频和其它信息帧，以及诸如ACP之类的其它控制分组，并且随后当接收器重建完整的副流以用于其接收器输出时，由接收器将它们重新插入在适当的地方。
[0027]在示例中，480p/60视频数据流包括重复的像素值，诸如〃P1P1P2P2P3P3P4P4〃，指示重复的第一像素，紧跟重复的第二像素等等。然而，每一流的像素数据的仅一个副本需要被插入组合流中。在某些实施例中，替代具有〃P1P1P2P2P3P3P4P4"的一个流，此流变为流‘P’和‘Q’的"P1Q1P2Q2P3Q3P4Q4"。在某些实施例中，编码字符(诸如保护带和前同步码)未被复制。例如，在每一活动的视频数据周期的开始或结束处发送每一保护带和前同步码的仅一个副本。在某些实施例中，通过利用FIFO(或类似元件)的缓冲在可用的消隐时间中组合数据岛(如果存在来自两个流的数据岛并且内容是不同的话)。
[0028]尽管在此说明书中的此示例和其它示例一般涉及在组合流中的像素的交替，然而各实施例不限于在各个像素之间的交替，并且可例如包括像素组之间的交替。在第一示例中，实现方式可包括被转换至在2倍重复像素之间交替的4倍像素重复，诸如将包括“P1P1P1P1P2P2P2P2”的第一视频数据流与第二视频数据流组合以生成提供“P1P1Q1Q1P2P2Q2Q2”的合并流。在第二示例中，实现方式可包括被转换至在每一视频数据流的像素组之间交替的2倍像素重复，诸如将包括“P1P1P2P2P3P3P4P4”的第一视频数据流与第二视频数据流组合以生成提供“P1P2Q1