专利名称：一种实时传输高分辨率多视点立体视频的方法
技术领域：
本发明涉及视频传输领域，更具体的是一种的多视点、高分辨率立体视频的传输方法。
背景技术：
多视点立体视频技术在当前的图像和视频研究领域是最重要的发展趋势之一。多视点视频系统同时从多个角度获取同一场景的视频序列，并远程传输这些视频数据流。场景可以交互显示，用户可以从多个角度旋转检视，体验身临其境的感觉。然而，多视点立体视频与基于平面显示的业务不同，由于含有多个视点的视频信息，其数据量更为庞大。由于巨大的数据量和复杂的处理要求，目前包括IPv6在内的网络环境和通信信道对传输立体视频的能力十分有限，还远不能满足要求。因此，基于多视点立体显示的业务给观众带来更大的冲击感和震撼感的同时，也对传输技术提出了更高的要求。高比特率的多视点视频处理对于内容提供商和最终用户来说是一个重要的挑战。即使经过先进的压缩技术处理后，多视点视频的仍然有很高的数据量。最近在学术文献中提出了多种视频传输方案在最终用户方面，已经有学者从事选择性数据流这方面的工作，根据观看者的头部位置，将必要的部分多视点视频编码成数据流。目前已经提出的方法有使用不等重要片组以适应FMO到MVC的转换，率失真算法，以为每个质量层确定来源和通道。其他方案，如数据分割系统使用Turbo码来实现通道保护。但是由于RS码和Turbo码较高的计算成本，不适合在实时系统中应用。在3DTV流通过IP网络传输的研究中，目前已经提出的方法有利用NUEPMuT协议通过多树点对点(P2P)网络来传输多视点视频流；使用一个有效应用于可扩展的立体视频编码的层提取方法，以实现在任何给定的视频数据包之间有效地分配比特率预算；面向IP网络的多视点视频失真估计模型，以递归公式的形式在巾贞水平(frame-level)上建立了以MSE为指标的、任意丢包模式下的多视点视频失真估计模型，进而扩展到GGoP水平的失真估计模型。一些学术机构和企业也展示了应用在IP网络上的多视点立体视频服务的原型系统。微软亚洲研究院提出了一个可提供实时、互动和可靠的多视点视频服务系统架构。MERL(三菱电子研究实验室)提出了多视点3DTV原型系统与实时采集、传输和自动立体显不。GIST(Gwanangu Instituteof Science&Technology)利用多对高清摄像机和基于软件的视频接收机，提出了一个符合成本效益的多视点高清视频传输系统。多视点视频编码(MVC模式)虽然提供了较高的压缩比，但其编解码的复杂度太高，因此尚未应用于实时传输系统。一般来说，这些实用系统同时传输和播放被分别进行独立编码的多视点视频。高分辨率多视点立体视频涉及庞大的数据量并且在实时传输上具有更高的要求，本发明就此提出了一种在IP网络上实时传输高分辨率多视点立体视频的有效方法。
发明内容
本发明的目的是，克服现有技术的上述不足，提出一种在现有有限资源的基础上，能够实现高清多视点视频的可靠和实时传输的方法。本发明的技术方案如下一种实时传输高分辨率多视点立体视频的方法，用于IP网络视频传输中，包括下列步骤 (I)对多视点立体视频的每个视点的视频流进行独立编码；(2)将编码后的多视点立体视频按照视点的不同，分成两组进行分组处理，对每组视频进行如下的步骤(3)-(4)的数据包合成处理；(3)对于组内的每个视点，读取视频流里的每个NAL单元，根据NAL单元的头部信息判断是否包含具体图像数据，分离出包含具体图像数据的NAL单元，从而得到包含组内一个仅包含具体图像数据的新的视频数据流； (4)对新的视频数据流进行数据包合成处理，将在不同视点的同一位置包含具体图像数据的NAL单元处理成一个混合包，新的混合包的头部采用和不同视点的NAL单元头部完全相同的参数，而主体部分由同一位置处的各个NAL单元的主体按照编号顺序组成；(5)将经过数据包合成处理的各组视频，分别通过不同IP信道进行传输；(6)将经过步骤3)分离出的不包含具体图像数据的NAL单元采用单独的信道进行传输。上述实时传输高分辨率多视点立体视频的方法，步骤(I)可采用H. 264/AVS格式独立编码。本发明在面向多视点立体视频网络传输的基础上，针对八视点自有立体视频，提出分流传输，并在每个视频分流中应用多路复用技术，提高了码流的鲁棒性，降低了对数据量和高带宽的要求，为实时传输创造了条件。另一方面，摒弃了编码复杂度高，且不支持实时服务的MVC，利用H. 264/AVS分别对八个视点进行独立编码，同时传输，实现了多视点立体视频在IP网络中的实时传输。本发明通过在编码端利用目前已有技术对“混合包” (MixP)的巧妙合成提高了多视点立体视频的实时性，而这种操作的计算复杂度极低，基本不会带来额外的代价。此外，由于本发明提出将相邻视点投入不同信道，有效增强了多视点立体视频的鲁棒性和误码掩盖效率。
图I多视点立体视频实时传输系统(a)为发送系统(b)为接收系统。图2数据包合成处理示意图。图3MixP 格式。
具体实施例方式由于立体视频庞大的数据量和对高带宽的要求，为了保证立体视频流的流畅传输和播放，同时最大限度节省系统的资源，就必须对编码后的媒体信号进行多路复用的处理。一方面，为了实现立体视频播放的实时性，多视点立体视频必须同时传输多个视点的编码内容。另一方面，由于多视点立体视频具有很大的数据量，多视点立体视频以一个流进行传输在现有的网络带宽下很难实现。为解决这一问题，我们将多视点视频分成两个单独的视频流，分别在不同的IP网络信道中进行传输。每个新组成的视频流由若干路原多视点视频流应用一定的多路复用技术生成。图I为多视点立体视频在IP网络中实时传输系统的结构图。下面从几个方面对本发明实施例进行说明。
一、多视点立体视频的编码本发明采用Lotus多视点序列验证所提出的传输系统的性能。Lotus序列有八个视点，每个视点有500帧，分辨率是720*480。对每个视点的视频流采用H. 264/AVS格式独立编码。将八个视点分为两组视点I、视点3、视点5、视点7的视频流分为一组，视点2、视点4、视点6、视点8的视频流分为另一组。
二、数据包合成和拆分技术由H. 264编码完成的视频流由NAL单元(NALU)组成。具体实现时，利用配置文件、参数设置完全相同的编码器，如札264，在不使用片数据分割的限制下对不同的视点进行编码’并产生视频数据流。以AnnexB数据流为例步骤一在编码完成后，读取属于同一组的不同视点的视频流；步骤二对于第i个视点的视频流，每次都通过对视频流中NAL单元起始码0x00000001的检验，分离出一个NAL单元(NALU)。读取当前NAL单元的头部(NALU header)数据首先提取指明当前NAL单元类型的参数nal unit type,并进行判断。当nal unittype取I到5时,认为这个NAL单元表示的是图像采样数据。当nal unit type取其它值时，则该NAL单元不是VCL-NAL单元,即不包含具体图像数据,而包含序列参数集、图像参数集、补充增强信息单元(S EI)等其它重要信息。由于这些NAL单元并不需要采用本发明提出的数据包合成处理方法，直接从第i个视点的视频数据流中分离，并投入信道传输。此夕卜，由于该类信息多数较为重要，可以投放到单独的信道中进行传输。步骤三重复步骤二，直到视点i的视频数据流处理结束，得到一个完全由图像采样数据而构成的视频数据流。步骤四对每一个视点都重复步骤二和步骤三。直到获取同一组四个视点的四个仅含图像采样数据的新的视频数据流。步骤五同步处理步骤四中得到的一组中的四个视频数据流，由于未使用片数据分害I]，且编码器配置文件和参数设置完全一致。同一组中的不同视点在视频数据码流同一位置的NAL单元具有相同的nal unit type和NAL优先等级(用参数nal ref idc表示)。分别在四个视频数据流的同一位置读出4个不同的NAL单元进行数据包合成处理，参见图2。经过数据包合成处理的一个混合包中包含了同一组的4个彼此不相邻视点的NAL单元，其结构如图3所示。这个新的混合包的头部采用和4个NAL单元头部完全相同的参数，而主体部分由4个NAL单元的主体按照编号顺序组成，并在传输服务器中打包生成。相应的，在“数据包拆分处理”模块中，利用以上步骤的逆过程，将NALUs从MixPs中分离出来，按照视点编号，重新形成视点问独立的视频流。三、传输所传输的多视点视频有八个视点，从左到右为视点I到视点8。在多视点立体视频中，当前已解码的帧和与相邻视点的帧之间具有相关性。为了利用这种相关性，我们把相邻视点放置在不同的传输信道。其中视点I、视点3、视点5、视点7的视频流分为一组，视点2、视点4、视点6、视点8的视频流分为另一组。将每一组内的各个视点流利用如上所提的数据包合成技术复用在一起并在不同的IP信道中进行传输。如果在其中一个信道中发生了丢包，丢失的数据可以利用在另外一个IP信道中传输的具有相关性的包而得到恢复。这样就增强了数据的可恢复性。
权利要求
1.一种实时传输高分辨率多视点立体视频的方法，用于IP网络视频传输中，包括下列步骤 (1)对多视点立体视频的每个视点的视频流进行独立编码； (2)将编码后的多视点立体视频按照视点的不同，分成两组进行分组处理，对每组视频进行如下的步骤(3)-(4)的数据包合成处理； (3)对于组内的每个视点，读取视频流里的每个NAL单元，根据NAL单元的头部信息判断是否包含具体图像数据，分离出包含具体图像数据的NAL单元，从而得到包含组内一个仅包含具体图像数据的新的视频数据流； (4)对新的视频数据流进行数据包合成处理，将在不同视点的同一位置包含具体图像数据的NAL单元处理成一个混合包，新的混合包的头部采用和不同视点的NAL单元头部完全相同的参数，而主体部分由同一位置处的各个NAL单元的主体按照编号顺序组成； (5)将经过数据包合成处理的各组视频，分别通过不同IP信道进行传输； (6)将经过步骤(3)分离出的不包含具体图像数据的NAL单元采用单独的信道进行传输。
2.根据权利要求I所述的实时传输高分辨率多视点立体视频的方法，其特征在于，步骤(I)可采用H. 264/AVS格式独立编码。
全文摘要
本发明属于视频传输领域，涉及一种实时传输高分辨率多视点立体视频的方法对多视点立体视频的每个视点的视频流进行独立编码；将编码后的多视点立体视频按照视点的不同，分成两组进行分组处理；对于组内的每个视点，读取视频流里的每个NAL单元，根据NAL单元的头部信息判断是否包含具体图像数据，分离出包含具体图像数据的NAL单元，从而得到包含组内一个仅包含具体图像数据的新的视频数据流；对新的视频数据流进行数据包合成处理，将在不同视点的同一位置包含具体图像数据的NAL单元处理成一个混合包；将经过数据包合成处理的各组视频，通过不同信道进行传输。本班反计算复杂度低，有效增强了多视点立体视频的鲁棒性和误码掩盖效率。
文档编号H04N13/00GK102625125SQ20121006859
公开日2012年8月1日 申请日期2012年3月15日 优先权日2012年3月15日
发明者侯春萍, 周圆, 张凌寒 申请人:天津大学