专利名称：一种符合多视点视频标准的视频编码方法
技术领域：
本发明涉及一种符合多视点视频标准的视频编码方法，尤其涉及一种基于H. 264 编码器实现符合多视点视频编码标准的视频编码方法，属于视频编码技术领域。
背景技术：
多视点视频是新一代的交互式媒体，给用户带来身临其境的三维感受，用户可以 自由的选择所观看的视点并在视点间切换。多视点视频的本质是从多个视点对一个场景进 行拍摄，将多个位置拍摄到的图像序列联合进行编码后传输给用户，在用户端，通过对视频 的解码可以还原出原来各视点的视频，通过视点的合成产生更多的视点，让用户在不佩戴 眼镜的情况下获得三维的体验。多视点视频编码是多视点视频的关键技术，利用多视点之间的数据相关性，可以 提高视频的压缩比。多视点视频编码的标准已经推出，它将多个摄像机拍摄到的视频排成 矩阵的形式，每个帧可以自己进行编码或者参考同一路(同一个摄像机)和同一个时间点 的帧进行编码，同一路或同一个时间点的视频具有较大的冗余性，可以使视频压缩得更小。 多视点视频的编码算法是采用H. 264标准中的编码算法，在码流上与H. 264有区别。H. 264标准已经推出多年，对它的相关研究已经比较成熟，已经有较多的优秀的 H. 264编码器。而多视点视频的编码的算法与H. 264相同，由于算法实现复杂，开发全新的 多视点视频编码器成本较大。同时，多视点视频的数据量比H. 264要高很多，对编码的优化 要求较高，要将全新的多视点视频编码器优化到较快的速度也较为困难。
发明内容
本发明的目的是提出一种符合多视点视频标准的视频编码方法，将多个摄像头拍 摄到的多路视频序列进行变换得到了一路适合H. 264编码器编码的视频，通过对H. 264编 码时参考关系的限制保证了在产生码流时符合多视点视频的参考关系，再将H. 264编码器 输出的码流进行修改得到了符合多视点视频标准的码流，以降低编码器的研制成本，提高 编码效率。本发明提出的符合多视点视频标准的视频编码方法，包括以下步骤(1)设置N个用于采集视频的摄像头，使位置相邻的摄像头的编号相连，将采集到 的N路视频中的每个视频帧按照摄像头的编号和采集的时间先后进行编号，编号为i的摄 像头采集到的第t个视频帧的编号为tXN+i，其中i = 0、1、2……N-l，t为视频帧的顺序 号，t = 0、1、2......；(2)按照多视点视频标准，设定对N个摄像头采集的视频进行多视点视频编码的 参数，该参数包括摄像头的个数和采集到的N路视频中的每个视频帧在编码时所参考的视 频帧，记录每个视频帧在编码时所参考的视频帧的编号，作为每个视频帧的附加信息；(3)将上述步骤(1)的所有视频帧按视频帧编号从小到大的顺序横向排成一行， 形成一路视频；
(4)将上述一路视频放入H. 264的编码器中进行编码，使编码器根据每个视频帧 的附加信息中记录的相应的参考视频帧进行编码，得到一个符合H. 264标准的码流；(5)在上述符合H. 264标准的码流中读出编码标准中含有的序列参数集和图片参 数集；(6)从设定的对N个摄像头采集的视频进行多视点视频编码的参数中读出符合多 视点视频编码标准的多视点序列参数、多视点图片参数和子序列参数；(7)将上述步骤(5)读出的序列参数集和步骤(6)读出的多视点序列参数写入符 合多视点视频编码标准的序列参数集中，将上述步骤(5)读出的图片参数集和步骤(6)读 出的多视点图片参数写入符合多视点视频编码标准的图片参数集中，将步骤(6)读出的子 序列参数写入符合多视点视频编码标准的子序列参数集中；(8)对由N个摄像头采集的所有视频帧中的每个视频帧，从上述步骤(4)的符合 H. 264标准的码流中读出与每个视频帧相对应的视频帧码流，从该视频帧码流中读出视频 帧参数集、参考视频帧参数集和视频帧图像码流，将读出的视频帧参数集以及与该视频帧 相对应的摄像头编号和视频帧在该摄像头中的顺序号写入符合多视点视频编码标准的视 频帧参数集中，将读出的参考视频帧参数集写入符合多视点视频编码标准的参考视频帧参 数集中，将读出的视频帧图像码流附加在符合多视点视频编码标准的视频帧参数集和参考 视频帧参数集后面，得到与该视频帧码流相对应的符合多视点视频编码标准的视频帧码 流；(9)将上述步骤(7)的符合多视点视频编码标准的序列参数集、步骤(7)的符合多 视点视频编码标准的子序列参数集、步骤(7)的符合多视点视频编码标准的图片参数集依 次连接，得到符合多视点视频编码标准的参数码流；(10)将上述步骤(8)的符合多视点视频编码标准的视频帧码流按N个摄像头采集 的所有视频帧中的每个视频帧的视频帧码流在上述符合H. 264标准的码流中的顺序依次 连接，附加到步骤(9)的符合多视点视频编码标准的参数码流后面，得到符合多视点视频 编码标准的视频码流。本发明提出的符合多视点视频标准的视频编码方法，其优点在于1、本发明方法利用H. 264标准和多视点视频标准中图像变换和编码中的相似性， 将研究得比较成熟的H. 264编码器作为多视点视频编码器的一个部分，减小了研制全套多 视点视频编码器的成本。2、由于标准中定义的多视点视频编码算法的运算量较大，需要较多的优化，而已 有的H. 264编码优化的研究已经有较多的成果，包括已经设计出一些硬件编码器，本发明 方法基于已有的H. 264编码器进行多视点视频编码，使用H. 264编码的优化成果，实现高效 的视频编码，提高了编码效率。3、本发明方法，除了使用H. 264进行编码外，其他步骤的速度都非常快，因此如果 要改进编码的质量或效率，只需将编码步骤中使用的编码器改为其他的H. 264编码器即 可，编码过程较为灵活。
图1是本发明方法对摄像头编号、视频帧编号及多视点视频编码标准中编码参考关系的示意图。图2是本发明方法中将所有视频帧按视频帧编号从小到大的顺序横向排成一行， 形成一路视频的示意图。
具体实施例方式本发明提出的符合多视点视频标准的视频编码方法，包括以下步骤(1)设置N个用于采集视频的摄像头，使位置相邻的摄像头的编号相连，将采集到 的N路视频中的每个视频帧按照摄像头的编号和采集的时间先后进行编号，编号为i的摄 像头采集到的第t个视频帧的编号为tXN+i，其中i = 0、1、2……N-l，t为视频帧的顺序 号，t = 0、1、2......；(2)按照多视点视频标准，设定对N个摄像头采集的视频进行多视点视频编码的 参数，该参数包括摄像头的个数和采集到的N路视频中的每个视频帧在编码时所参考的视 频帧，记录每个视频帧在编码时所参考的视频帧的编号，作为每个视频帧的附加信息。摄像 头编号、视频帧编号及多视点视频编码标准中编码参考关系的示意图如图1所示，摄像头 编号为vO至v8，方框内的编号为视频帧编号。图中箭头表示按照多视点视频标准的编码参 考关系，任意一帧到另一帧的参考关系用箭头表示，记录附加信息时要记录1需要参考0和 2，2需要参考0，3需要参考2和4，而9需要参考1、8、10和17。(3)将上述步骤(1)的所有视频帧按视频帧编号从小到大的顺序横向排成一行， 形成一路视频，如图2所示；(4)将上述一路视频放入H. 264的编码器中进行编码，使编码器根据每个视频帧 的附加信息中记录的相应的参考视频帧进行编码，得到一个符合H. 264标准的码流；该符 合H. 264标准的码流表示的每个视频帧所参考的视频帧编号在该视频帧的附加信息所记 录的视频帧编号中。H. 264的编码器可以使用已有的H. 264编码软件或H. 264编码硬件。(5)在上述符合H. 264标准的码流中读出编码标准中含有的序列参数集和图片参 数集；(6)从设定的对N个摄像头采集的视频进行多视点视频编码的参数中读出符合多 视点视频编码标准的多视点序列参数、多视点图片参数和子序列参数；(7)将上述步骤(5)读出的序列参数集和步骤(6)读出的多视点序列参数写入符 合多视点视频编码标准的序列参数集中，将上述步骤(5)读出的图片参数集和步骤(6)读 出的多视点图片参数写入符合多视点视频编码标准的图片参数集中，将步骤(6)读出的子 序列参数写入符合多视点视频编码标准的子序列参数集中；(8)对由N个摄像头采集的所有视频帧中的每个视频帧，从上述步骤(4)的符合 H. 264标准的码流中读出与每个视频帧相对应的视频帧码流，从该视频帧码流中读出视频 帧参数集、参考视频帧参数集和视频帧图像码流，将读出的视频帧参数集以及与该视频帧 相对应的摄像头编号和视频帧在该摄像头中的顺序号写入符合多视点视频编码标准的视 频帧参数集中，将读出的参考视频帧参数集写入符合多视点视频编码标准的参考视频帧参 数集中，将读出的视频帧图像码流附加在符合多视点视频编码标准的视频帧参数集和参考 视频帧参数集后面，得到与该视频帧码流相对应的符合多视点视频编码标准的视频帧码 流；
(9)将上述步骤(7)的符合多视点视频编码标准的序列参数集、步骤(7)的符合多 视点视频编码标准的子序列参数集、步骤(7)的符合多视点视频编码标准的图片参数集依 次连接，得到符合多视点视频编码标准的参数码流；(10)将上述步骤(8)的符合多视点视频编码标准的视频帧码流按N个摄像头采集 的所有视频帧中的每个视频帧的视频帧码流在上述符合H. 264标准的码流中的顺序依次 连接，附加到步骤(9)的符合多视点视频编码标准的参数码流后面，得到符合多视点视频 编码标准的视频码流。
权利要求
一种符合多视点视频标准的视频编码方法，其特征在于该方法包括以下步骤(1)设置N个用于采集视频的摄像头，使位置相邻的摄像头的编号相连，将采集到的N路视频中的每个视频帧按照摄像头的编号和采集的时间先后进行编号，编号为i的摄像头采集到的第t个视频帧的编号为t×N+i，其中i＝0、1、2……N 1，t为视频帧的顺序号，t＝0、1、2……；(2)按照多视点视频标准，设定对N个摄像头采集的视频进行多视点视频编码的参数，该参数包括摄像头的个数和采集到的N路视频中的每个视频帧在编码时所参考的视频帧，记录每个视频帧在编码时所参考的视频帧的编号，作为每个视频帧的附加信息；(3)将上述步骤(1)的所有视频帧按视频帧编号从小到大的顺序横向排成一行，形成一路视频；(4)将上述一路视频放入H.264的编码器中进行编码，使编码器根据每个视频帧的附加信息中记录的相应的参考视频帧进行编码，得到一个符合H.264标准的码流；(5)在上述符合H.264标准的码流中读出编码标准中含有的序列参数集和图片参数集；(6)从设定的对N个摄像头采集的视频进行多视点视频编码的参数中读出符合多视点视频编码标准的多视点序列参数、多视点图片参数和子序列参数；(7)将上述步骤(5)读出的序列参数集和步骤(6)读出的多视点序列参数写入符合多视点视频编码标准的序列参数集中，将上述步骤(5)读出的图片参数集和步骤(6)读出的多视点图片参数写入符合多视点视频编码标准的图片参数集中，将步骤(6)读出的子序列参数写入符合多视点视频编码标准的子序列参数集中；(8)对由N个摄像头采集的所有视频帧中的每个视频帧，从上述步骤(4)的符合H.264标准的码流中读出与每个视频帧相对应的视频帧码流，从该视频帧码流中读出视频帧参数集、参考视频帧参数集和视频帧图像码流，将读出的视频帧参数集以及与该视频帧相对应的摄像头编号和视频帧在该摄像头中的顺序号写入符合多视点视频编码标准的视频帧参数集中，将读出的参考视频帧参数集写入符合多视点视频编码标准的参考视频帧参数集中，将读出的视频帧图像码流附加在符合多视点视频编码标准的视频帧参数集和参考视频帧参数集后面，得到与该视频帧码流相对应的符合多视点视频编码标准的视频帧码流；(9)将上述步骤(7)的符合多视点视频编码标准的序列参数集、步骤(7)的符合多视点视频编码标准的子序列参数集、步骤(7)的符合多视点视频编码标准的图片参数集依次连接，得到符合多视点视频编码标准的参数码流；(10)将上述步骤(8)的符合多视点视频编码标准的视频帧码流按N个摄像头采集的所有视频帧中的每个视频帧的视频帧码流在上述符合H.264标准的码流中的顺序依次连接，附加到步骤(9)的符合多视点视频编码标准的参数码流后面，得到符合多视点视频编码标准的视频码流。
全文摘要
本发明涉及一种符合多视点视频标准的视频编码方法，属于视频编码技术领域。本发明将多个摄像头拍摄到的多路视频序列进行变换得到了一路适合H.264编码器编码的视频，通过对H.264编码时参考关系的限制保证了在产生码流时符合多视点视频的参考关系，再将H.264编码器输出的码流进行修改得到了符合多视点视频标准的码流。本方法通过利用较成熟的H.264编码器来实现多视点视频的编码，减小了开发多视点视频编码的成本，同时可以利用H.264编码中已有的优化成果和硬件编码成果，实现高效的视频编码。
文档编号H04N13/00GK101977320SQ20101053104
公开日2011年2月16日 申请日期2010年10月29日 优先权日2010年10月29日
发明者孙立峰, 杨士强, 胡伟栋 申请人:清华大学