专利名称：一种用于处理视频的方法和系统的制作方法
技术领域：
本发明涉及视频处理，更具体地说，涉及一种用于三维视频防错的方法和系统。
背景技术：
数字视频可以用在许多设备上，比如，数字电视、数字直接广播系统、数字化记录设备等。相对于传统的模拟视频系统，数字视频设备以增强的带宽效率在视频序列的处理及传输方面得到显著改迸。视频内容可以记录成ニ维(2D)格式或三维(3D)格式。在DVD电影、数字电视(DTV)等诸多运用中。相比起2D格式，由于3D格式可以向观众提供更加真实的视觉体验，因而更受青睐。3D视频包括左视频及右视频。现有许多视频编码标准，例如MPEG-1、MPEG-2准、MPEG-4、MPEG-C的第三部分、H. 263、H. 264/MPEG-4高级视频编码(AVC)、多视图视频编码标准(MVC)、以及可扩展的视频编码(SVC)，用于以压缩方式对数字视频进行编码。例如，MVC编码标准(其为H. 264/MPEG-4AVC标准的扩展)可对3D视频进行高效编码。SVC编码标准(其也是H. 264/MPEG-4AVC编码标准的扩展)支持部分比特流的传输与解码，以提供较低时间或空间分辨率或低保真率的视频服务，同时保持重建质量，使其与使用H. 264/MPEG-4AVC所获得的重建质量相似。比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。
发明内容
本发明涉及三维视频的防错(error protection of 3D video)方法和/或系统，在至少一幅附图中进行了描述，并在权利要求中进行了完整的说明。根据本发明的ー个方面，提供ー种用于处理视频的方法，其特征在于，包括在三维视频产生装置中对所捕获的三维视频帧的多个区域进行编码，其中所述多个区域关联于不同深度 '及所述编码基于所关联的不同深度对所述多个区域进行不同的防错。在本发明所述的方法中，包括从所述三维视频帧中的所述多个区域中辨识出ー个或多个兴趣区域。在本发明所述的方法中，高级别的所述防错所采用的纠错码的长度大于用于提供低级别的所述防错所采用的纠错码的长度。在本发明所述的方法中，所述三维视频产生装置包括带有ー个或多个深度传感器的单像(monoscopic)三维视频产生装置,所述三维视频巾贞包括ニ维视频巾贞和对应的深度信息。在本发明所述的方法中，对所述ニ维视频帧中的一个或多个兴趣区域进行ー个或、多个所述高级别的防错；对所述二维视频帧中的一个或多个其他区域进行一个或多个所述低级别的防错。在本发明所述的方法中，对与所述二维视频帧中的一个或多个兴趣区域相关联的所述对应的深度信息进行一个或多个所述高级别的防错；对与所述二维视频帧中的一个或多个其他区域相关联的所述对应的深度信息进行一个或多个所述低级别的防错。在本发明所述的方法中，对所述二维视频帧中的所述多个区域中的每个区域进行所述高级别的防错；对与所述二维视频帧中的所述多个区域中的每个区域相关联的所述对应的深度信息进行所述低级别的防错。在本发明所述的方法中，对所述二维视频帧中的一个或多个兴趣区域进行第一类的所述防错；对所述二维视频帧中的一个或多个其他区域进行第二类的所述防错。在本发明所述的方法中，对与所捕获的二维视频帧中的一个或多个兴趣区域相关联的所述对应的深度信息进行第一类的所述防错；对与所捕获的二维视频帧中的一个或多 个其他区域相关联的所述对应的深度信息进行第二类的所述防错。在本发明所述的方法中，包括将经防错处理后的三维视频帧传输至用于三维视频渲染(rendering)和/或显示的三维视频渲染装置(3D video rendering device)。根据本发明的另一方面，提供一种用于处理视频的系统，其特征在于，包括三维(3D)视频产生装置内使用的一个或多个处理器和/或电路；所述一个或多个处理器和/或电路用于对所捕获的三维视频帧的多个区域进行编码，其中所述多个区域关联于不同深度；及所述编码基于所关联的不同深度对所述多个区域进行不同的防错。在本发明所述的系统中，所述一个或多个处理器和/或电路用于从所捕获的三维视频帧中的所述多个区域中辨识出一个或多个兴趣区域。在本发明所述的系统中，高级别的所述防错所采用的纠错码的长度大于用于提供低级别的所述防错所采用的纠错码的长度。在本发明所述的系统中，所述三维视频产生装置包括带有一个或多个深度传感器的单像三维视频产生装置；所述三维视频帧包括二维视频帧和对应的深度信息。在本发明所述的系统中，对所述二维视频帧中的一个或多个兴趣区域进行一个或多个所述高级别的防错；对所述二维视频帧中的一个或多个其他区域进行一个或多个所述低级别的防错。在本发明所述的系统中，对与所述二维视频帧中的一个或多个兴趣区域相关联的所述对应的深度信息进行一个或多个所述高级别的防错；对与所述二维视频帧中的一个或多个其他区域相关联的所述对应的深度信息进行一个或多个所述低级别的防错。在本发明所述的系统中，对所述二维视频帧中的所述多个区域中的每个区域进行所述高级别的防错；对与所述二维视频帧中的所述多个区域中的每个区域相关联的所述对应的深度信息进行所述低级别的防错。在本发明所述的系统中，对所述二维视频帧中的一个或多个兴趣区域进行第一类的所述防错；对所述二维视频帧中的一个或多个其他区域进行第二类的所述防错。在本发明所述的系统中，对与所捕获的二维视频帧中的一个或多个兴趣区域相关联的所述对应的深度信息进行第一类的所述防错；对与所捕获的ニ维视频帧中的一个或多个其他区域相关联的所述对应的深度信息进行第二类的所述防错。在本发明所述的系统中，所述ー个或多个处理器和/或电路用于将经防错处理后的三维视频帧传输至用于三维视频渲染和/或显示的三维视频渲染装置。本发明的诸多特征和优点以及本发明多个实施例的架构和操作将在下文中參考对应的附图进行详细描述。
图IA示出了与传统的立体摄像机相比较，本发明示范性单像三维摄像机的示意图；图IB是依据本发明ー个实施例的对深度信息及ニ维色彩信息处理以产生三维图 像的不意图；图2是依据本发明ー个实施例的用于对三维视频进行防错的示范性视频通讯系统示意图；图3是依据本发明ー个实施例的用于对采用单ー视角及深度信息产生的三维视频进行防错的示范性单像三维摄像机的示意图；图4A至4D是依据本发明ー个实施例的对ニ维视频帧及对应的深度信息进行防错的不意图；图5是依据本发明ー个实施例的对三维视频进行防错的示范性步骤流程图。
具体实施例方式本发明涉及三维视频的防错方法和系统。在本发明的诸多实施例中，三维(3D)视频产生装置对捕获的三维视频帧的多个区域进行编码及压縮。有关这一点，多个区域关联着不同深度。该编码处理过程基于所关联的不同深度对所述多个区域进行防错。防错包括例如前向纠错(FEC)。高级别的防错所采用的纠错码的长度大于用于提供低级别的防错所采用的纠错码的长度。有关这一点，与较短纠错码相比，较长的纠错码具有更强的防错能力。三维视频产生装置可从捕获的三维视频帧中的多个区域中辨识出一个或多个兴趣区域。在本发明的一个示范性实施例中，三维视频产生装置包括带有ー个或多个深度传感器的单像三维视频产生装置。三维视频帧包括ニ维(2D)视频帧和对应的深度信息。对应的深度信息可由单像三维视频产生装置内的ー个或多个深度传感器捕获。在本发明的一个示范性实施例中，对ニ维视频帧中的一个或多个兴趣区域进行ー个或多个高级别的防错；对ニ维视频帧中的一个或多个其他区域进行ー个或多个低级别的防错。对与ニ维视频帧中的一个或多个兴趣区域相关联的对应的深度信息进行ー个或多个高级别的防错；对与ニ维视频帧中的一个或多个其他区域相关联的对应的深度信息进行ー个或多个低级别的防错。其他的例子还有对ニ维视频帧中多个区域中的每个区域进行高级别的防错；对与ニ维视频帧中多个区域中的每个区域相关联的对应的深度信息进行低级别的防错。在本发明的一个示范性实施例中，对捕获的ニ维视频帧中的一个或多个兴趣区域进行第一类的防错；对捕获的二维视频帧中的一个或多个其他区域进行第二类的防错。对与捕获的二维视频帧中的一个或多个兴趣区域相关联的对应的深度信息进行第一类的防错；对与捕获的二维视频帧中的一个或多个其他区域相关联的对应的深度信息进行第二类的防错。在本发明的一个示范性实施例中，三维视频产生装置将经防错处理后的三维视频帧传输至用于三维视频渲染和/或显示的三维视频渲染装置。图IA示出了本发明示范性单像三维摄像机、并与传统的立体摄像机相比较的示意图。参照图1A，图上包括一个立体摄像机100和一个单像三维摄像机102.立体摄像机100包括两个镜头IOla及101b。两个镜头IOla及镜头IOlb从不同的角度捕获图像，并将两个镜头IOla及IOlb捕获的图像合成来产生三维图像。有关这一点，可视光谱中的电磁(EM)波可被镜头IOla (及其相关光学系统)聚焦在一个或多个第一图像传感器上，且可视光谱中的电磁(EM)波可被镜头IOlb (及其相关光学系统)聚焦在一个或多个第二图像传感器上。单像(monoscopic)三维摄像机102包括处理器104、存储器106、一个或多个深度传感器108以及一个或多个图像传感器114。单像三维摄像机或单视角(single-view)摄像机102从通过与镜头IOlc相对应的单一角度来捕获图像。有关这一点，可视光谱中的电磁波可被镜头IOlc聚焦在一个或多个图像传感器114上。单像三维摄像机102也还通过镜头IOlc (及其相关光学系统)捕获图像的深度信息。处理器104包括适当的逻辑、电路、接口和/或代码，用于管理单像三维摄像机102的各个部件的操作，以及执行各种处理及计算任务。存储器106包括，如动态随机存储器(DRAM)、静态随机存储器(SRAM)、快闪存储器，硬盘或其他磁性存储装置，或任何其他合适的存储装置。例如，静态随机存储器可用于存储处理器104使用的和/或产生的数据，硬盘和/或快闪存储器可用于存储记录的图像数据和深度数据。深度传感器108包括适当的逻辑、电路、接口和/或代码，用于检测红外光谱中的电磁波，并基于反射的红外波来测定深度信息。例如，可以基于单像三维摄像机102中的发射器(图中未示出)发射出红外波至反射回深度传感器108的飞行时间来计算出深度信息。例如，还可以用结构光方法(structured light method)来测算深度信息。在这种情形下，利用投影仪等光源将光图案如红外波栅格以已知角度投射到物体上。深度传感器108可检测到投射在物体上的光图案例如红外光图案的变形。从而可以利用例如三角测量技术来测定或计算出场景的深度信息。图像传感器114包括适当的逻辑、电路、接口和/或代码，用于将光学信号转换为电信号。每个图像传感器114可包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。每个图像传感器114可捕获亮度、辉度和/或色度信息(brightness, luminance and/or chrominance information) 图IB是依据本发明一个实施例的对深度信息及二维色彩信息处理以产生三维图 像的示意图。参照图1B，本图展示了深度信息帧130、二维色彩信息帧134和三维图像帧136。深度信息帧130是由深度传感器108所捕获的；二维色彩信息帧134是由图像传感器114所捕获的。处理器104在对二维色彩信息帧134进行处理时利用深度信息130，以产生三维图像帧136。图中用虚线132表示參照平面来凸显三维图像。在深度信息帧130中，以线宽来表示深度。有关这一点，例如，帧130中离单像三维摄像机102越近的区域会用越粗的线条来描绘。所以，物体138是离单像三维摄像机102最远的，物体142是离单像三维摄像机102最近的，而物体140处于中间深度。在本发明的各个实施例中，处理器104会将度信息描绘成灰度图像或与伪灰度图像(grayscale or pseudo grayscale image)。帧134中的图像是传统的ニ维图像。观看者可以感知到帧134中的每ー个物体138、140和142与观看者的距离是相同的。即，所有物体138、140、及142看起来都处在參照平面132上。帧136中的图像是三维图像。观看者可以感知到帧136中的物体138离观看者更远，物体142离观看者最近，而物体140处于中间。有关这一点，物体138看上去处于參照平面132的后面，物体140看上去处于參照平面132上，物体142看上去处于參照平面142的前面。图2是依据本发明ー个实施例的用于对三维视频进行防错的示范性视频通讯系统示意图。參照图2，本图展示了视频通讯系统200。视频通讯系统200包括三维摄像机202和三维视频渲染装置204。三维摄像机202包括适当的逻辑、电路、接口和/或代码，用于捕获三维视频帧。在本发明的一个示范性实施例中，三维摄像机202包括例如单像三维摄像机202a。有关这ー点，单像三维摄像机202a与图IA中所述的单像三维摄像机102基本相似。在本发明的一个示范性实施例中，三维摄像机202可基于相关联的不同深度，对编码后的三维视频帧中的多个区域进行防错处理，以将防错处理后的三维视频帧传输给三维视频渲染装置，例如三维视频渲染装置204。三维视频渲染装置204包括适当的逻辑、电路、接口和/或代码，用于接收从三维摄像机202发出的编码或压缩过的视频流，该编码或压缩过的视频流中包括经防错处理的三维视频帧。三维视频渲染装置204例如机顶盒(STB)和/或数字化电视(DTV)可以对接收的视频流进行处理，以便以三维视频格式渲染和/或显示。在实际操作中，三维摄像机202可捕获三维视频帧序列。三维摄像机202可对所捕获的三维视频帧进行编码或压缩。编码处理过程可针对三维视频帧中的多个区域进行不同的防错处理。多个区域关联着不同的深度，编码处理可基于所关联的不同深度对三维视频帧中的多个区域进行不同的防错。防错包括例如前向纠错(FEC)。防错可以是不均等(unequal)防错，其中，三维摄像机202以兴趣区域或重要区域所接收的防错级别高于其他部分的防错级别的方式，将冗余数据或纠错码添加到三维视频比特流中。例如，在这种情形，高级别的防错包括的纠错码的长度长于用于低级别防错的纠错码的长度。纠错码包括例如里德所罗门(RS)码、低密度奇偶校验(LDPC)码、汉明(hamming)码，turbo码、卷积码、和/或其他类型的纠错码。三维摄像机202可从捕获的三维视频帧中的多个区域中辨识ー个或多个兴趣区域。有关这一点，兴趣区域可依照相关联的深度信息和/或视频帧的主焦点对准的区域或物体来辨识或选择。比如，依照深度信息，最浅深度及离三维摄像机202最近的区域会被认为或选择为兴趣区域。例如包括人体、车辆、或奔跑中的人也可能会被认为成兴趣区域。在本发明的一个示范性实施例中，三维摄像机202可将防错处理后的三维视频帧发送至三维视频渲染装置204，以进行三维视频渲染和/或显示。
在本发明的一个示范性实施例中，三维摄像机202包括例如单像三维摄像机202a。在这种情形中，所捕获的三维视频帧包括二维视频帧和对应的深度信息。在本发明的一个示范性实施例中，对所捕获的二维视频帧中的多个区域和/或与多个区域相关联的深度信息进行同一类型不同级别的防错。有关这一点，例如，对二维视频帧中的一个或多个兴趣区域进行一个或多个高级别防错，对二维视频帧中的一个或多个其他区域进行一个或多个低级别防错。对与二维视频帧中的一个或多个兴趣区域相关联的深度信息进行一个或多个高级别防错，对与二维视频帧中的一个或多个其他区域相关联的深度信息进行一个或多个低级别防错。在其他实例中，对二维视频帧中的多个区域中的每个区域进行高级别防错，对与二维视频帧中的多个区域中的每个区域相关联的对应深度信息进行低级别防错。 在本发明的另一个示范性实施例中，对所捕获的二维视频帧中的多个区域和/或多个区域所对应的深度信息进行不同类型的防错。有关这一点，例如，对捕获的二维视频帧中的一个或多个兴趣区域进行第一类型的防错，对捕获的二维视频帧中的一个或多个其他区域进行第二类型的防错。对与捕获的二维视频帧中的一个或多个兴趣区域相关联的深度信息进行第一类型的防错，对与捕获的二维视频帧中的一个或多个其他区域相关联的深度信息进行第二类型的防错。尽管图2中展示了一种三维摄像机202，比如单像三维摄像机202a，但本发明并不仅限于此。在不脱离本发明的精神和范围的情况下，任何类型的能够产生三维视频帧及与其相关联的深度的三维视频产生装置都可使用。比如，以二维加深度格式(in2D-plus-depth formats)产生三维视频内容的单像三维摄像机(例如单像三维便携式摄像机)也可应用在本发明的各个实施例中。另外,立体摄像机例如立体摄像机100也能应用于本发明的各个实施例中。图3是依据本发明一个实施例的用于对采用单一视角及深度信息产生的三维视频进行防错的示范性单像三维摄像机的示意图。参照图3，本图展示了单像三维摄像机300。单像三维摄像机300包括处理器304、存储器306、一个或多个深度传感器308、发射器309、图像信号处理器(ISP) 310、输入/输出(I/O)模块312、一个或多个图像传感器314、光学系统316、扬声器311、麦克风313、视频/音频编码器307、视频/音频解码器317、音频模块305、防错模块315、镜头318、多个控制面板322、光学取景器324和显示屏320。单像三维摄像机300与图IA所示的单像三维摄像机102基本相似。处理器304包括适当的逻辑、电路、接口和/或代码，用于协调单像三维摄像机300中各个部件的操作。比如，处理器304运行单像维摄像机300的操作系统，并控制单像三维摄像机300内各部件之间信息及信号的传输。处理器304可执行存储在存储器306内的代码。在本发明的一个示范性实施例中，处理器304可从二维视频帧中辨识或选择出一个或多个兴趣区域。可依据例如捕获的对应深度信息和/或视频帧中主焦点对准的区域或物体来辨识或选择兴趣区域。存储器306包括，如动态随机存储器、静态随机存储器、快闪存储器、硬盘或其他磁性存储装置，或任何其他存储装置。例如，静态随机存储器可用于存储处理器304使用的和/或产生的数据，硬盘和/或快闪存储器可用于存储记录的图像数据和深度数据。深度传感器308包括适当的逻辑、电路、接口和/或代码，用于检测红外光谱中的电磁波，并基于反射的红外线来測定深度信息。例如，可以基于发射器309发射出红外波至反射回深度传感器308的飞行时间来计算出深度信息。例如，还可以用结构光方法来测算深度信息。在这种情形下，利用投影仪等光源将光图案如红外波栅格以已知角度投射到物体上。深度传感器308可检测到投射在物体上的光图案例如红外光图案的变形。从而可以利用例如三角測量技术来测定或计算出场景的深度信息。
图像信号处理器或图像传感处理器(ISP) 310包括适当的逻辑、电路、接口和/或代码，用于对捕获的图像数据及捕获的相应的深度信息执行复杂处理。图像信号处理器310可执行多种处理，例如滤镜处理、去马赛克、拜耳插值(Bayer interpolation)、镜头黑点校正(lens shading correction,)、缺陷像素仪正(defective pixel correctionノ、白平衡、图像补偿、色彩转换和/或其他后期滤镜处理。音频模块305包括适当的逻辑、电路、接口和/或代码，用于执行单像三维摄像机300的各种音频功能。在本发明的一个示范性实施例中，音频模块305执行三维场景的噪音消除和/或音频音量大小的调节。视频/音频编码器307包括适当的逻辑、电路、接口和/或代码，用于执行视频和/或音频的编码功能。比如，视频/音频编码器307将捕获的ニ维视频帧及与其相关联的深度信息和/或音频数据进行编码或压縮，以传输至三维视频渲染装置，例如三维视频渲染装置204。视频/音频解码器317包括适当的逻辑、电路、接口和/或代码，用于执行视频和/或音频的解码功能。防错模块315包括适当的逻辑、电路、接口和/或代码，用于为单像三维摄像机300进行防错。比如，防错模块315可对编码后的ニ维视频帧及对应的深度信息和/或编码后的音频数据进行防错，以传输至三维视频渲染装置，例如三维视频渲染装置204。在本发明的一个示范性实施例中，防错模块315可针对捕获的ニ维视频帧中的多个区域和/或该多个区域对应的深度信息或数据进行不同的防错。输入/输出(1/0)模块312包括适当的逻辑、电路、接口和/或代码，用于支持单像三维摄像机300按照ー个或多个标准与其他装置接ロ(interface with),所述ー个或多个标准包括例如USB、PCI-X、IEEE 1394、HDMI、显示端ロ，和/或模拟音频和/或模拟视频标准。比如，输入/输出模块312可以执行以下功能向控制面板322发送信号或从控制面板322接收信号、将视频输出至显示屏320、将音频信号输出至扬声器311、处理从麦克风313接收的音频输入、在磁带、快闪存储卡、固态硬盘、硬盘或其他与单像三维摄像机300连接的外部存储装置中读取并写入信息，和/或通过ー个或多个端ロ例如IEEE 1394端ロ、HDMI端口和/或USB端ロ向外输出音频和/或视频，以传输和/或渲染。图像传感器314包括适当的逻辑、电路、接口和/或代码，用于将光信号转换成电信号。每个图像传感器314可包括例如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。每个图像传感器314可捕获亮度、辉度和/或色度信息。光学系统316包括各种光学装置，该光学装置可对通过镜头318接收的电磁波进行调节及引导。光学系统316将可视光谱中的电磁波导向图像传感器314，并将红外光谱中的电磁波导向深度传感器308。例如，光学系统316包括一个或多个透镜、棱镜、亮度和/或色彩滤镜、和/或反射镜。
镜头318可聚集并充分聚焦可视光谱及红外光谱中的电磁波。显示屏320包括IXD显示屏、LED显示屏、有机LED(OLED)显示屏、和/或其他可显示通过单像三维摄像机300记录的图片的数字化显示屏。在本发明的一个示范性实施例中，显示屏320可显示三维图像。控制面板322包括适当的逻辑、电路、接口和/或代码，用于支持单像三维摄像机300与使用者之间的互动。比如，控制面板322可以让使用者控制录像功能及播放功能。在本发明的一个示范性实施例中，控制面板322使得使用者能够选择单像三维摄像机300在ニ维或三维模式下录制。光学取景器324使得使用者能够看到镜头318“所见图像”，即“帧中”包含的图像。在实际操作中，图像传感器314可获取与ニ维视频帧相关联的亮度、辉度、和/或色度信息，深度传感器308可获取对应的深度信息。本发明的各个实施例中将采用各种色彩格式，比如RGB及YCrCb。深度信息将作为元数据或附加层信息(additional layer ofinformation)存储在存储器306中，在将ニ维视频巾贞信息渲染成三维视频巾贞的过程中，将使用到这些元数据或附加层信息。在本发明的一个示范性实施例中，处理器304将从捕获的ニ维视频帧中辨识出ー个或多个兴趣区域。兴趣区域是依照视频帧中捕获的对应深度信息和/或主焦点对准的区域或物体来辨识或选择的。视频/音频编码器307将对捕获的ニ维视频帧及与其相关联的深度信息进行编码或压縮。编码过程中，使用防错模块315对捕获的ニ维视频帧中的多个区域和/或与多个区域相对应的深度信息进行不同的防错。有关这一点，例如，防错模块315可对ニ维视频帧中的一个或多个兴趣区域进行ー个或多个高级别防错。对ニ维视频帧中的一个或多个其他区域(可认为非兴趣区域)进行ー个或多个低级别防错。防错模块315可对与ニ维视频帧中ー个或多个兴趣区域相关联的对应深度信息进行ー个或多个高级别防错。对与ニ维视频帧中ー个或多个其他区域(可认为非兴趣区域)相关联的对应深度信息进行ー个或多个低级别防错。在其他实例中，防错模块315可对ニ维视频帧中的每个区域进行高级别防错，对与ニ维视频帧中每个区域相关联的对应的深度信息进行低级别防错。对所捕获的ニ维视频帧中的不同区域和/或与不同区域相关联的对应的深度信息进行不同类型的防错。比如，对兴趣区域中多细节的区域使用第一类型的纠错码，而对少细节或少变化的区域使用第二类型的纠错码。有关这一点，防错模块315将对所捕获的ニ维视频帧的ー个或多个兴趣区域进行第一类型的防错。对所捕获的ニ维视频帧中的ー个或多个其他区域进行第二类型的防错。防错模块315可对与所捕获的ニ维视频帧中的ー个或多个兴趣区域相关联的对应深度 信息进行第一类型的防错。对与所捕获的ニ维视频帧中的一个或多个其他区域相关联的对应深度信息进行第二类型的防错。在本发明的一个示范性实施例中，输入/输出模块312可将防错处理后的ニ维视频帧及防错处理后的对应的深度信息传输或输出至三维视频渲染装置204，以进行三维视频渲染和/或显示。图4A至4D是依据本发明ー个实施例的对ニ维视频帧及对应的深度信息进行防错的示意图。这些图只是ー些示范性情况的展示，而本发明的实施例并不只限于此。參照图4A至4D，图中示出了单像三维摄像机402及三维视频渲染装置404。并展示了ニ维视频帧434及对应的深度信息帧430。单像三维摄像机402与图2中的单像三维摄像机202基本相似。三维视频渲染装置404与图2中的三维视频渲染装置204基本相似。二维视频帧434包括被辨识出的兴趣区域434a及其他区域434b。深度信息帧430包括与二维视频帧434的兴趣区域434a相对应的区域430a。深度信息帧430中区域430b对应于二维视频帧434的其他区域434b。图4A展示了第一种情况，其中，单像三维摄像机402对区域434a、430a进行一级防错411，而对区域434b、430b进行二级防错412，以将二维视频帧434及对应的深度信息帧430传输给三维视频渲染装置404。及与其相关联的深度信息430a及与其相关联的深度信息430b。在这种情况下，一级防错411为高级别防错，二级防错412为低级别防错。有关这一点，例如，一级防错411所采用的纠错码的长度比二级防错412所采用的纠错码的长度要长。图4B展示了第二种情况，其中，单像三维摄像机402对区域434a进行一级防错411、对区域434b进行二级防错412、对区域430a进行三级防错413、对区域430b进行四级防错414，以将二维视频帧434及对应的深度信息帧430传输给三维视频渲染装置404。在这种情况下，一级防错411为最高级别防错，而四级防错414为最低级别防错或例如完全不进行防错处理。相对来说，二级防错412比一级防错411级别低。三级防错413比二级防错412级别低。图4C展示了第三种情况，其中，单像三维摄像机402对区域434a、区域434b进行一级防错411，对区域430a、区域430b进行二级防错412，以将二维视频帧434及对应的深度信息帧430传输给三维视频渲染装置404。在这种情况下，一级防错411为高级别防错，二级防错412为低级别防错。有关这一点，二维视频帧434及对应的深度信息帧430将分别通过两个不同的或分层的比特流传输至三维视频渲染装置404。二维视频帧434得到相对高级的一级防错411处理，而对应的的深度信息帧430得到相对低级的二级防错412处理。图4D展示了第四种情况，其中，单像三维摄像机402对区域434a、430a进行第一类型的防错414，对区域434b、430b进行第二类型的防错415，以将二维视频帧434及对应的深度信息帧430传输给三维视频渲染装置404。在这种情况下，第一类型的防错414可使用里德所罗门(RS)码，而第二类型的防错415将使用其他类型的纠错码。图5是依据本发明一个实施例的对三维视频进行防错的示范性步骤流程图。参照图5，示范性步骤流程开始于步骤501。在步骤502中，三维摄像机202从捕获的三维视频帧中辨识出与一个或多个深度相关联的一个或多个兴趣区域。兴趣区域是依照视频帧中相关联的深度信息和/或主焦点所对准的 区域或物体来辨识的。步骤503中，三维摄像机202对捕获的三维视频帧进行编码或压缩。步骤504中，在编码的过程中，三维摄像机202可对三维视频帧的多个区域进行不同的防错处理，例如，基于相关联的深度。比如，三维摄像机202可对三维视频帧中的一个或多个兴趣区域进行一个或多个高级别防错，而对三维视频帧中的一个或多个其他区域进行一个或多个低级别防错。在其他情况下，三维摄像机202将对所捕获的三维视频帧中的一个或多个兴趣区域进行第一类型的防错，而对所捕获的三维视频帧中的一个或多个其他区域进行第二类型的防错。
在步骤505中，三维摄像机202将防错处理后的三维视频帧传输或输出给三维视频渲染装置例如三维视频渲染装置204，以进行三维视频渲染和/或显示。该示例性步骤流程将进行至结束步骤506。在本发明的诸多实施例中，三维视频产生装置例如三维摄像机202可对捕获的三维视频帧的多个区域进行编码或压缩。有关这一点，多个区域可关联着不同的深度。编码过程中，依照不同的深度，对不同局域进行不同的防错处理。防错包括例如前向纠错。高级别防错所采用的纠错码的长度比低级别防错所采用的纠错码的长度要长。有关这一点，较长的纠错码具有更强的防错能力。三维摄像机202可从捕获的三维视频帧中的多个区域内辨识出一个或多个兴趣区域。有关这一点，兴趣区域是依照视频帧中相关联的深度信息和/或主焦点所对准的区域或物体来辨识的。在本发明的一个示范性实施例中，三维摄像机202将防错处理后的三维视频帧传输或输出给三维视频渲染装置例如三维视频渲染装置204，以进行三维视频渲染和/或显 示。
在本发明的一个示范性实施例中，三维摄像机202包括单像三维摄像机，例如带有一个或多个深度传感器308的单像三维摄像机300。有关这一点，捕获的三维视频帧包括二维视频帧434及对应的深度信息430。该对应的深度信息430可由单像三维摄像机300中的一个或多个深度传感器308捕获。在本发明的一个示范性实施例中，单像三维摄像机300中的防错模块315可对二维视频帧434中的一个或多个兴趣区域例如区域434a进行一个或多个高级别防错，而对二维视频帧434中的一个或多个其他区域例如区域434b进行一个或多个低级别防错。防错模块315可对对应的深度信息帧430中的一个或多个兴趣区域例如区域430a进行一个或多个高级别防错，而对对应的深度信息帧430中的一个或多个其他区域例如区域430b进行一个或多个低级别防错。在其他情况下，防错模块315可对二维视频帧434中的每个区域进行高级别防错，并对对应的深度信息帧430中的每个区域进行低级别防错。在本发明的一个示范性实施例中，防错模块315可对二维视频帧434中的一个或多个兴趣区域例如区域434a进行第一类型的防错，对二维视频帧434中的一个或多个其他区域例如区域434b进行第二类型的防错。防错模块315可对对应的深度信息帧430中的一个或多个兴趣区域例如区域430a进行第一类型的防错，并对对应的深度信息帧430中的一个或多个其他区域例如区域430b进行第二类型的防错。本发明的其他实施例提供一种机器和/或计算机可读存储器和/或介质，其上存储的机器代码和/或计算机程序具有至少一个可由机器和/或计算机执行的代码段，使得机器和/或计算机能够实现本文所描述的三维视频防错。本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现所述方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行所述程序控制计算机系统，使其按所述方法运行。在计算机系统中，利用处理器和存储单元来实现所述方法。本发明还可以通过计算机程序产品进行实施，所述程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，通过运行，可以实现本发明的方法。本申请文件中的计算机程序所指的是可以采用任何程序语言、代码或符号编写的ー组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述ー个或两个步骤之后，a)转换成其它语言、代码或符号；b)以不同的格式再现，实现特定功能。本发明是通过几个具体实施例进行说明的，本领域技术人员应当理解，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或具体情况，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。交叉引用本申请引用并结合以下专利申请的全部内容。2011年2月3日申请的、申请号为No. 61/439，193的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23461US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，274的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23462US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，283的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23463US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，130的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23464US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，290的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23465US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，119的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23466US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，297的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23467US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，201的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，209的美国专利申请；
2011年2月3日申请的、申请号为No. 61/439，113的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23472US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，103的美国专利申请；2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23473US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439，083的美国专利申请；
2011年3月31日申请的、申请号为No._(律师事务所案卷号为
No. 23474US03)的美国专利申请；2011年2月3日申请的、申请号为No. 61/439,301的美国专利申请；及2011年3月31日申请的、申请号为No ._(律师事务所案卷号为
No. 23475US03)的美国专利申请。
权利要求
1.一种用于处理视频的方法，其特征在于，所述方法包括 在三维视频产生装置中 对所捕获的三维视频帧的多个区域进行编码，其中 所述多个区域关联于不同深度；及 所述编码基于所关联的不同深度对所述多个区域进行不同的防错。
2.根据权利要求I所述的用于处理视频的方法，其特征在于，包括从所述捕获的三维视频帧的所述多个区域中辨识出一个或多个兴趣区域。
3.根据权利要求I所述的用于处理视频的方法，其特征在于，高级别的所述防错所采用的纠错码的长度大于用于提供低级别的所述防错所采用的纠错码的长度。
4.根据权利要求I所述的用于处理视频的方法，其特征在于，所述三维视频产生装置包括带有一个或多个深度传感器的单像三维视频产生装置，所述三维视频帧包括二维视频帧和对应的深度信息。
5.根据权利要求4所述的用于处理视频的方法，其特征在于，包括对所述二维视频帧中的一个或多个兴趣区域进行一个或多个高级别的所述防错；对所述二维视频帧中的一个或多个其他区域进行一个或多个低级别的所述防错。
6.根据权利要求4所述的用于处理视频的方法，其特征在于，包括对与所述二维视频帧中的一个或多个兴趣区域相关联的所述对应的深度信息进行一个或多个高级别的所述防错；对与所述二维视频帧中的一个或多个其他区域相关联的所述对应的深度信息进行一个或多个低级别的所述防错。
7.根据权利要求4所述的用于处理视频的方法，其特征在于，包括对所述二维视频帧中的所述多个区域中的每个区域进行高级别的所述防错；对与所述二维视频帧中的所述多个区域中的每个区域相关联的所述对应的深度信息进行低级别的所述防错。
8.根据权利要求4所述的用于处理视频的方法，其特征在于，包括对所述捕获的二维视频帧中的一个或多个兴趣区域进行第一类的所述防错；对所述捕获的二维视频帧中的一个或多个其他区域进行第二类的所述防错。
9.根据权利要求4所述的用于处理视频的方法，其特征在于，包括对与所述捕获的二维视频帧中的一个或多个兴趣区域相关联的所述对应的深度信息进行第一类的所述防错；对与所述捕获的二维视频帧中的一个或多个其他区域相关联的所述对应的深度信息进行第二类的所述防错。
10.一种用于处理视频的系统，其特征在于，所述系统包括 三维视频产生装置中的一个或多个处理器和/或电路，所述一个或多个处理器和/或电路用于 对所捕获的三维视频帧的多个区域进行编码，其中 所述多个区域关联于不同深度；及 所述编码基于所关联的不同深度对所述多个区域进行不同的防错。
全文摘要
本发明涉及用于处理视频的方法和系统。三维视频产生装置用于对捕获的三维视频帧的多个区域进行编码。所述多个区域关联于不同深度。所述编码基于所关联的不同深度对所述多个区域进行不同的防错。三维视频产生装置可从多个区域中辨识出一个或多个兴趣区域。对兴趣区域和其他区域将采用不同等级的防错。防错包括前向纠错。高级别防错所采用的纠错码比低级别防错所采用的纠错码要长。
文档编号H04N7/64GK102630031SQ20121002339
公开日2012年8月8日 申请日期2012年2月2日 优先权日2011年2月3日
发明者克里斯·伯乐斯, 吉汉·卡若古, 纳拜·塞亚爵, 陈雪敏 申请人:美国博通公司