专利名称：处理多个3-d视频格式的方法和系统的制作方法
技术领域：
本发明的某些实施方式涉及视频处理。更具体的，本发明的某些实施方式涉及处理多个(multiple) 3D视频格式的方法和系统。
背景技术：
不同于常规的两维QD)视频处理系统，三维(3-D)视频的支持呈现多个的复杂性。3-D视频系统的快速发展已经使得这些复杂性的处理方式处于不协调和不充足的状态。比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。
发明内容
提供一种处理多个3D视频格式的系统和/或方法，结合至少一幅附图进行了充分的展现和描述，并在权利要求中得到了更完整的阐述。本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在以下的描述和附图中进行详细介绍。
图1是依照本发明的实施例的视频处理系统的框图；图2是依照本发明的实施例的、用于转换3-D像素数据的排列(arrangements)的典型操作的流程图；图3是依照本发明的实施例的、包含3-D像素数据的一个或多个帧的各个排列的示意图；图4A是依照本发明的实施例的、3-D像素数据的单帧左右 (single-frame-left-right)排列的接收和存储的示意图；图4B是依照本发明的实施例的、3-D像素数据的单帧上下 (single-frame-over-under)排列的接收和存储的示意图；图4C是依照本发明的实施例的、3-D像素数据的双帧连续 (two-frame-sequential)排列的接收和存储的示意图；图5A是依照本发明的实施例的、从存储器中读取3-D像素数据以生成3-D像素数据的左右单帧排列的示意图；图5B是依照本发明的实施例的、从存储器中读取3-D像素数据以生成3-D像素数据的上下单帧排列的示意图；图5C是依照本发明的实施例的、从存储器中读取3-D像素数据以生成3-D像素数据的多帧排列的示意图；图6是依照本发明的实施例的、用于3-D视频处理的优选的步骤的流程图。
具体实施例方式本发明的某些实施例涉及处理多个3-D视频格式的方法和系统。在本发明各个实施例中，视频处理系统可以接收一个或多个的视频帧，所述视频帧包括用于第一 3-D视图的像素数据以及用于第二 3-D视图的像素数据，其中，两者均可以用于生成三维(3-D) 视频帧。可把用于所述第一 3-D视图的像素数据称为第一 3-D视图像素数据，并且可把用于所述第二 3-D视图的像素数据称作第二 3-D视图像素数据。所述视频系统可用于确定一个或多个的视频帧中第一 3-D视图像素数据和第二 3-D视图像素数据的排列。在确定的排列不是期望的排列的情况下，所述视频处理系统可用于将一个或多个的视频帧转换为期望的排列。确定的排列和期望的排列中的一个或者两个可包括一系列的两个单视图 (single-view)帧，以及每一所述单视图帧可包括一个第一3-D视图像素数据和第二3-D视图像素数据。一个或者两个的所述确定的排列和期望的排列可包括单帧，所述单帧包括第一 3-D视图像素数据或第二 3-D视图像素数据。一个或者两个的所述确定的排列和期望的排列可包括单帧，所述单帧包括第一 3-D视图像素数据或第二 3-D视图像素数据。所述单帧可排列成在所述单帧的左部包括第一 3-D视图像素数据以及所述单帧的右部包括第二 3-D 视图像素数据。所述单帧可排列成在所述单帧的顶端部分包括第一 3-D视图像素数据以及所述单帧的底端部分包括第二 3-D视图像素数据。所述单帧可排列成将第一 3-D视图像素数据与所述第二 3-D视图像素数据交织在一起。所述转换可以包括将所述第一 3-D视图像素数据写入存储器中一个或多个的由第一一个或多个指示符识别的位置，和/或将所述第二 3-D视图像素数据写入存储器中一个或多个的由第二一个或多个指示符识别的位置。所述转换也包括按照不同于将第一 3-D 视图像素数据以及第二 3-D视图像素数据写入存储器中的次序，从存储器中读取所述第一 3-D视图像素数据以及第二 3-D视图像素数据。所述视频系统可通过第一开关单元和第二开关单元接收所述第一 3-D视图像素数据和第二 3-D视图像素数据，所述第一开关单元用于在一个或多个的多个数据路径上传送像素数据，所述第二开关单元用于从所述多个的数据路径传送所述像素数据至存储器、至所述第一开关单元、以及至合成器(compositor)。基于所述确定的排列和所述期望的排列确定将所述左视图像素数据和所述右视图像素数据传送到所述数据路径中的哪个或哪些。在此所使用的“3-D视图”是指立体图像的一个视图 (也就是，左视图或右视图)，“3-D像素数据”指的是有立体图像的一个或两个视图的像素数据，并且3-D视频值的是有立体视频。图1是依照本发明的实施例的视频处理系统的框图。参考图1，视频处理系统100 包括视频输入接口 106，视频馈线108、MPEG馈线110，多路复用器11 和112b，处理路径 IH1-IHj,旁路路径Iiei-Iieii,回环路径1181-118L-，捕捉模块120，合成器122，存储器 124，以及存储器126。J、K、L均为大于或等于1的整数。在本发明的各种不同的实施例中， 系统100可内置在，例如，机顶盒、电视机、或者台式、或者笔记本电脑中。在本发明优选的实施例中，可在单一的半导体裸片或者芯片中实现系统100。芯片可包括，例如，特殊操作集成电路(ASIC)或者现场可编程门阵列(FPGA)。在本发明的优选实施例中，虚线封闭的系统 100的部分包括单芯片视频处理器。存储器IM和存储器1 可包括只读存储器、随机存储器、非易失性随机访问存储器、闪存、硬盘驱动器、或者任何其他合适的存储设备。存储器IM和存储器1 可以是在物理上截然不同的存储单元，所述存储单元可以是单一的存储器设备的不同的部分或者分区。视频输入接口 106可以包括恰当的逻辑、电路、接口、和/或代码，用于接收视频流和传送视频流的像素数据至多路复用器11加。视频输入接口 106可以包括，例如，视频图形阵列(VGA)接口、复用视频接口、分量视频接口、高清晰度多媒体(HDMI)接口、显示端口(DisplayPort)接口、和/或其他恰当的接口，并且进入端口 106的视频流可相应地格式化。接收到的数据流可以包括单像(monoscopic) (2-D)视频数据和/或立体(3-D)视频数据。然而，本申请关注接收到的3-D视频流的处理上。处理2-D视频流的示例详细信息
在美国专利申请号_代理备案号O3438US02)以及美国专利申请号代理备案号
_(代理备案号23439US02)中做了描述，上述申请在此整个结合引用，以作参考。视频馈线108可以包括恰当的逻辑、电路、端口、和/或代码，用于输入对应于本地生成的图像的像素数据到多路复用器11加。在这点上，视频馈线108，例如，从存储器126 中读取像素数据以及传送所述像素数据至多路复用器11加。动态图像专家组(MPEG)馈线110可以包括恰当的逻辑、电路、接口、和/或代码， 用于接收和处理该MPEG流成以输出像素数据至多路复用器112a。在这点上，可以通过网络设备(未示出)接收所述MPEG流。多路复用器11 和112b均可以包括恰当的逻辑、电路、接口、和/或代码，用于在多路复用器的一个或者多个的输入与多路复用器的一个或多个的输出之间路由像素数据。像素数据从多个接口 106、馈线108、以及馈线110的任何一个输入至多路复用器112a，接着可传送至一个或多个的处理路径1H1-114τ和/或一个或多个的旁路路径1 Iei-116κ。每个处理路径1H1-114τ可包括恰当的逻辑、电路、接口，和/或代码，用于执行一个或多个的处理功能。典型的处理功能包括缩放、二次采样、逐行扫描、模糊/锐化、颜色校正和噪声衰减。每一旁路处理路径Iie1-Ii^i可以使像素数据无改变的从多路复用器112b传送至多路复用器11加。每一回环路径IlS1-Ilt可以使像素数据从多路复用器112b传送至多路复用器112a。在这种方式下，回环路径例如，通过多个的一个处理路径IH1-IHt，处理相同的像素数据。捕捉模块120可以包括恰当的逻辑、电路、接口、和/或代码，用于将3-D视图像素数据写入存储器126。捕捉模块120可用于使用第一一个或多个存储器指示符将第一 3-D 视图像素数据写入存储器126。捕捉模块120可用于使用第二一个或多个存储器指示符将第二 3-D视图像素数据写入存储器126。第一 3-D视图像素数据可以是左视图(left-view) 像素数据，以及第二 3-D视图像素数据可以是右视图(right-view)像素数据，或者反之亦然。例如，通过摄像头的左侧镜头可以捕捉左视图像素数据，并且通过摄像头的右侧镜头可以捕捉右视图像素数据。合成器122可以包括恰当的逻辑、电路、接口、和/或代码，用于生成输出视频流， 可以通过例如，视频图形阵列输出、复合视频输出、分量视频输出、高清晰度多媒体接口 (HDMI)输出、和/或显示端口接口输出所述输出视频流。输出视频流可以包括从多路复用器112b接收的像素数据和/或从存储器124中接收的像素数据。在这点上，合成器122可用于同时显示来自存储器124的像素数据和来自多路复用器112b的像素数据。例如，来自存储器124的图像可覆盖在来自多路复用器112b的像素数据。输出数据流可以包括单像 (2-D)视频数据和/或立体(3-D)视频数据。虽然本申请侧重于输出3-D视频流。处理2-D
视频流的典型详细资料在美国专利申请号_(代理备案号23438US02)以及美国
专利申请号_(代理备案号23439US02)中描述，上述申请在此整个结合引用，以作参考。在操作时，一个或多个的3-D视频帧可通过一个或多个的接口 106、馈线108以及馈线110输入至系统110。每个所述一个或多个的输入帧均可包括真人动作的图像和/或计算机生成的图像。输入帧可以包括左视图像素数据和右视图像素数据。输入帧的排列可以相当于下述关于图3描述的排列的任何一个。可以在多种不同的方式下确定输入帧的排列。例如，系统可基于所述一个或多个帧的接收来源、系统100中一个或多个控制信号的状态和/或所述输入帧中的检测(inspection)确定输入帧的排列。通过一个或多个的处理路径IH1-IHt和/或一个或多个的旁路路径116^116^ 多路复用器11 可以传送接收到的帧至多路复用器112b。在这点上，所述帧从多路复用器 11 多次传递到多路复用器112b，从而遍历一个或多个的回环路径IIS1-IISp在经过一个或多个的处理路径IH1-IHp旁路路径116^11 和/或回环路径 IlS1-Ilt的一次或多次的遍历(traversals)后，所述帧到达所述多路复用器，并传送至捕捉模块120。捕捉模块120可将左视图像素数据和右视图像素数据写入存储器126。可将左视图像素单元写入第一一个或多个的指示符识别的一个或多个存储器位置。可将右视图像素单元写入第二一个或多个的指示符识别的一个或多个存储器位置。
随后，馈线模块108可从存储器中读取左视图和右视图像素数据，以生成一个或多个的输出帧。可以利用所述第一一个或多个的指示符和第二一个或多个的指示符从存储器1 中读取所述像素数据。从存储器中读取像素数据的次序可以取决于输入帧的排列和期望的输出帧的排列确。在这点上，从存储器126中读取的输出帧的排列可以对应下述关于图3描述的任何一个排列。因此，在输入帧的排列和输出帧的排列相同的情况下，所述像素数据从存储器126中读取的顺序与写入存储器126的顺序相同。相反地，在输入帧的排列和输出帧的排列不同的情况下，所述像素数据从存储器126中读取的顺序与写入存储器 126的顺序不同。将所述输出帧传送至合成器122。在某些情况下，在传送至合成器122之前， 所述输出帧传送至多路复用器11 以用于一个或多个的处理路径111-114”旁路路径 116^116^和/或回环路径IlS1-Ilt的一个或多个遍历。合成器122可处理输出帧以使得输出帧适合插入视频流。为了与一个或多个的视频标准兼容，可以格式化所述视频流，所述视频标准诸如视频图形阵列、复合视频、分量视频、高清晰度多媒体接口、和/或显示端口。输出帧的处理可包括将来自多路复用器112b 的输出帧与来自存储器124的像素数据组合。例如，从存储器124中读取图形以及覆盖来自多路复用器112b的输出帧。图2是依照本发明的实施例的、用于转换3-D像素数据的排列(arrangements)的典型操作的流程图。参考图2，典型步骤从步骤202开始，在步骤202中，输入帧传送至多路复用器11加。在步骤204中，确定输入帧是否遍历(traverse) —个或多个的处理路径IH1-IHj 或者遍历一个或多个的旁路路径Iie1-Iielitl在输入帧遍历一个或多个的处理路径 IlVlHj的情况下，那么在步骤224中，进行处理，例如缩放和/或隔行扫描。在步骤206中，传送所述输入帧至多路复用器112b。在步骤208中，确定输入帧是否回环至多路复用器11 以用于又一次遍历一个或多个的处理路径IH1-IHt或者一个或多个的旁路路径Iie1-Iielitl在输入帧将要回环的例子中，该典型步骤返回到步骤202.。在输入帧没有回环的例子中，该典型步骤进入步骤210。在步骤210中，捕捉输入帧至存储器126。所述输入帧的第一 3-D视图像素数据存储在第一一个或多个的存储器指示符识别的存储器位置。所述输入帧的第二 3-D视图像素数据存储在第二的一个或多个的存储器指示符识别的存储器位置。在步骤212中，从存储器126中读取所述左视图像素数据以及右视图像素数据以生成一个或多个的输出帧。从存储器126中读取数据的顺序取决于所需的输出帧的排列。在步骤214中，确定一个或多个的处理路径IH1-Ilt是否处理输出帧。在处理输出帧的情况下，典型步骤进入步骤226。在步骤2 中，所述输出帧传送至多路复用器112a。在步骤2 中，输出帧传送至一个或多个的处理路径IH1-Ilt进行处理，如缩放和/或降噪。在步骤230中，输出帧到达多路复用器112b。在步骤232，可以确定输入帧是否回环至多路复用器11 以用于又一次遍历一个或多个的处理路径IH1-Iit或者一个或多个的旁路路径Iie1-IWp在输入帧将要回环的例子中，该典型步骤返回到步骤226.。在输入帧没有回环的例子中，该典型步骤进入步骤216。
在步骤216中，输出帧到达多路复用器112b。在步骤218中，输出帧传送至复合器122。在步骤220，所述复合器可以处理输出帧，使其适合插入视频流。输出帧的处理可以包括结合来自多路复用器112b的输出帧和来自存储器124的像素数据。例如，从存储器 124中读取的图像以及覆盖来自多路复用器112b的输出帧。在步骤222中，视频流可以传送到另一个视频设备，例如电视机或者监视器。这种视频流可以，例如，按照一个或多个的标准格式化，所述标准可以是VGA、复合视频、视频分量、HDMI接口、和/或显示端口。图3是依照本发明的实施例的、包含3-D像素数据的一个或多个帧的各个排列的示意图。参考图3，显示了两帧顺序排列302、左右单帧排列304、上下单帧排列306、垂直交织单帧排列308、水平交织单帧排列310、以及垂直水平交织单帧排列312。在下述的各种排列中，每一个N和M可以是任何正整数。两帧顺序排列302包括第一帧和第二帧，所述第一帧包括第一 3-D视图像素数据， 所述第二帧包括第二 3-D视图像素数据。这两个帧可以由系统100依次地接收。也就是说， 接收第一帧的时间可早于第二帧。左右单帧排列304的左部可以包括第一 3-D视图像素数据，左右单帧排列304的右部可以包括第二 3-D视图像素数据。以下的表1描述了一种典型4MX4N左右单帧排列。表1 左右单帧排列
第1-2M列第2M+1-4M列第1-4N行I第一3-D视图I第二3-D视图上下单帧排列306的顶部可以包括第一 3-D视图像素数据，上下单帧排列306的底部可以包括第二 3-D视图像素数据。以下的表2描述了典型4MX4N上下单帧排列。表2:上下单帧排列
第1-4M列第1-2N行第一 3-D视图
第2N+1.行I第二 3-D棚垂直交织单帧排列308可以在左视图像素数据的一个或多个行与右视图像素数据的一个或多个行之间交替。以下的表3描述了典型4MX4N垂直交织单帧排列。表3 垂直交织单帧排列
10
权利要求
1.一种方法，其特征在于，包括在视频处理设备中接收一个或多个的视频帧，所述接收到的一个或多个的视频帧包括用于生成三维 (3-D)视频帧的第一 3-D视图像素数据和第二 3-D视图像素数据；确定所述一个或多个的视频帧内所述第一 3-D视图像素数据和所述第二 3-D视图像素数据的排列；以及在所述确定的排列不是期望的排列的情况下，转换所述一个或多个视频帧到所述期望的排列。
2.根据权利要求1所述的方法，其特征在于所述确定的排列和所述期望的排列中的一个包括一系列两个单视图帧，每一个所述单视图帧包括所述第一 3-D视图像素数据和第二 3-D视图像素数据中的一个；并且所述确定的排列和所述期望的排列中的一个包括单帧，所述单帧包括所述第一 3-D视图像素数据和所述第二 3-D视图像素数据。
3.根据权利要求2所述的方法，其特征在于，所述单帧排列成所述单帧的左部包括所述第一 3-D视图像素数据并且所述单帧的右部包括所述第二 3-D视图像素数据。
4.根据权利要求2所述的方法，其特征在于，所述单帧排列成所述单帧的顶部包括所述第一 3-D视图像素数据并且所述单帧的底部包括所述第二 3-D视图像素数据。
5.根据权利要求1所述的方法，其特征在于所述确定的排列和所述期望的排列中的一个包括左右单帧，所述左右单帧的左部包括所述第一 3-D视图像素数据并且所述左右单帧的右部包括所述第二 3-D视图像素数据；并且所述确定的排列和所述期望的排列中的一个包括上下单帧，所述上下单帧的顶部包括所述第一 3-D视图像素数据并且所述上下单帧的底部包括所述第二 3-D视图像素数据。
6.根据权利要求1所述的方法，其特征在于所述确定的排列和所述期望的排列中的一个包括交织单帧，所述交织单帧包括与所述第二 3-D视图像素数据交织的所述第一 3-D视图像素数据；并且所述确定的排列和所述期望的排列中的一个包括左右单帧，所述左右单帧的左部包括所述第一 3-D视图像素数据并且所述左右单帧的右部包括所述第二 3-D视图像素数据。
7.根据权利要求1所述的方法，其特征在于所述确定的排列和所述期望的排列中的一个对应于交织单帧，所述交织单帧包括与所述第二 3-D视图像素数据交织的所述第一 3-D视图像素数据；并且所述确定的排列和所述期望的排列中的一个对应于上下单帧，所述上下单帧的顶部包括第一 3-D视图像素数据，并且所述上下单帧的底部包括第二 3-D视图像素数据。
8.根据权利要求1所述的方法，其特征在于，所述转换包括将所述第一 3-D视图像素数据写入存储器中由第一一个或多个指示符识别的一个或多个位置；将所述第二 3-D视图像素数据写入存储器中由第二一个或多个指示符识别的一个或多个位置；按照不同于所述第一 3-D视图像素数据和所述第二 3-D视图像素数据写入所述存储器的顺序从所述存储器中读取所述第一 3-D视图像素数据和所述第二 3-D视图像素数据。
9.根据权利要求1所述的方法，其特征在于，包括通过第一开关单元和第二开关单元接收所述第一 3-D视图像素数据和第二 3-D视图像素数据；所述第一开关单元用于将像素数据在一个或多个的多个数据路径上传送，所述第二开关单元用于将像素数据从所述多个数据路径传送至存储器，至所述第一开关单元，以及至合成器。
10.根据权利要求9所述的方法，其特征在于，包括基于所述确定的排列和所述期望的排列，选择在所述数据路径的哪个数据路径或哪些数据路径上传送3-D左视图和3-D右视图像素数据。
11.一种系统，其特征在于，包括用于视频处理系统的一个或多个的电路，所述一个或多个的电路用于接收一个或多个的视频帧，所述一个或多个的视频帧包括适合于生成三维(3-D)视频帧的第一 3-D视图像素数据和第二 3-D视图像素数据；确定所述一个或多个的视频帧中所述第一 3-D视图像素数据和第二 3-D视图像素数据的排列；并且在所述确定的排列不是期望的排列的情况下，转换所述一个或多个的视频帧至所述期望的排列。
12.根据权利要求11所述的系统，其特征在于所述确定的排列和所述期望的排列中的一个包括一系列两个单视图帧，每一个所述单视图帧包括所述第一 3-D视图像素数据和所述的第二 3-D视图像素数据中的一个；并且所述确定的排列和所述期望的排列中的一个包括单帧，所述的单帧包括所述的第一 3-D视图像素数据和所述的第二 3-D视图像素数据。
13.根据权利要求12所述的系统，其特征在于，所述单帧排列成所述单帧的左部包括所述第一 3-D视图像素数据并且所述单帧的右部包括所述第二 3-D视图像素数据。
14.根据权利要求12所述系统，其特征在于，所述单帧排列成所述单帧的顶部包括所述第一 3-D视图像素数据并且所述单帧的底部包括所述第二 3-D视图像素数据。
15.根据权利要求11所述的系统，其特征在于所述确定的排列和所述期望的排列中的一个包括左右单帧，所述左右单帧的左部包括所述第一 3-D视图像素数据并且所述左右单帧的右部包括所述第二 3-D视图像素数据；并且所述确定的排列和所述期望的排列中的一个包括上下单帧，所述上下单帧的顶部包括所述第一 3-D视图像素数据并且所述上下单帧的底部包括所述第二 3-D视图像素数据。
16.根据权利要求11所述的系统，其特征在于所述确定的排列和所述期望的排列中的一个包括交织单帧，所述交织单帧包括与所述第二 3-D视图像素数据交织的第一 3-D视图像素数据，并且所述确定的排列和所述期望的排列中的一个包括左右单帧，所述左右单帧的左部包括所述第一 3-D视图像素数据，并且所述左右单帧的右部包括所述第二 3-D视图像素数据。
17.根据权利要求11所述的系统，其特征在于所述确定的排列和所述期望的排列中的一个对应于交织单帧，所述交织单帧包括与所述第二 3-D视图像素数据交织的第一 3-D视图像素数据，并且所述确定的排列和所述期望的排列中的一个对应于上下单帧，所述上下单帧的顶部包括所述第一 3-D视图像素数据，并且所述上下单帧的底部包括所述第二 3-D视图像素数据。
18.根据权利要求11所述的系统，其特征在于，所述转换包括将所述第一 3-D视图像素数据写入存储器中由第一一个或多个指示符识别的一个或多个位置；将所述第二 3-D视图像素数据写入存储器中由第二一个或多个指示符识别的一个或多个位置；按照不同于所述第一 3-D视图像素数据和所述第二 3-D视图像素数据写入所述存储器的顺序从所述存储器中读取所述第一 3-D视图像素数据和所述第二 3-D视图像素数据。
19.根据权利要求11所述的系统，其特征在于所述一个或多个电路用于通过第一开关单元和第二开关单元接收所述第一 3-D视图像素数据和第二 3-D视图像素数据；所述第一开关单元用于将像素数据在一个或多个的多个数据路径上传送，所述第二开关单元用于将像素数据从所述多个数据路径传送至存储器，至所述第一开关单元，以及至合成器。
20.根据权利要求11所述的系统，其特征在于，所述一个或多个电路用于选择在所述数据路径的哪个数据路径或哪些数据路径上传送所述左视图像素数据和所述右视图像素数据。
全文摘要
本发明的各个方面提供了处理多个3-D视频格式的系统和方法。视频处理系统可接收一个或多个视频帧。所述视频帧包括适合生成三维(3-D)视频帧的第一3-D视图像素数据和第二3-D视图像素数据。所述视频处理系统用于确定一个或多个视频帧中的第一3-D视图像素数据和第二3-D视图像素数据的排列。在所述确定的排列不是期望的排列时，所述视频处理系统用于将所述一个或多个的视频帧转换为期望的排列。确定的排列和期望的排列中的一个或两个可包括一系列两个单视图帧。确定的排列和期望的排列中的一个或两个可包括单帧，所述单帧包括第一3-D视图像素数据和第二3-D视图像素数据。
文档编号H04N13/00GK102474632SQ201080029661
公开日2012年5月23日 申请日期2010年12月8日 优先权日2009年12月8日
发明者克里斯多佛·佩森, 杰森·赫里克, 赵清华, 达恩·纽曼 申请人:美国博通公司