基于运动信息与深度信息的3d视频编码传输方法
【专利摘要】本发明在传统的色彩视频加深度图的3D视频编码方法中,通过获取摄像机镜头中心的运动信息/绝对方位信息,运动信息/绝对方位信息结合色彩图像信息和深度图像信息,准确地估计位于不同深度的宏块的全局运动,在帧与帧之间进一步去冗余,大大减小了压缩后视频的存储空间,降低了对传输或通讯带宽的要求,同时缩短了视频压缩所需的计算时间。
【专利说明】基于运动信息与深度信息的3D视频编码传输方法
【技术领域】
[0001]本发明涉及视频编码领域,具体涉及一种基于运动信息和深度信息的3D视频编码传输方法。
【背景技术】
[0002]目前,广泛应用的3D视频编码与传输格式主要有传统立体视频格式、多视角视频格式以及色彩视频加像素深度信息图格式。
[0003]传统立体视频格式只有两个视角点,观看这种立体视频用户需要一种特制的3D眼镜来获得视频图像的立体纵深感。常用的Stereo立体视频编码方式有两种,一种是直接对左右眼视图的视频数据进行独立编码(Simulcast),另一种是应用左右视图的相关性预测编码(Interview Prediction)。这两种方法对比特率的要求都不高,仅是传统2D视频所需码率的两倍甚至少于两倍。但是,这种格式对于用户而言只能从一个固定的视角观看立体视频信号,该缺陷会限制其未来的应用空间。
[0004]多视角视频格式是由多台摄像机从不同角度对同一场景进行拍摄,它可以实现立体视频、自由视角电视(Free Viewpoint Video)和多视角3D电视的应用。由于所有的摄像机仅是从不同角度捕捉同一个场景,所以多视角视频中包含大量的相邻视角视图间的相关冗余信息。因此,结合视频信号的空间域相关性(Spatial correlation)和时间的相关性(Temporal correlation),以及不同视角色彩视图之间的高度相关性(Interviewcorrelation)是高效地进行多视角视频编码的关键。
[0005]色彩视频加像素深度信息图格式中,像素深度信息图(简称深度图,depth map)所体现的是场景中物体表面到摄像机成像平面的距离信息,通过深度图及其对应的纹理色彩图可以重新绘制立体视频图像。近几年来,这一格式吸引了来自立体视频压缩和计算机视觉领域的高度关注,因为它有很好的3D视频压缩能力和功能拓展性。Muller,K.; Merkle, P.; Wiegand, T.在《3-D Video Representation Using Depth Maps))(Proceedings of the IEEE , vol.99, n0.4, pp.643, 656, April 2011)中提到,在色彩视频加深度图格式中,只需要一些摄像机的参数,比如焦距,两个镜头之间的距离等信息,即可合成其他视角的视频信息;同时,为了正确表示深度图的信息,深度范围的信息也需要传输。Smolic, A.; Mueller, K.; Stefanoski, N.; Ostermann, J.; Gotchev, A.; Akar,
G.B.; Triantafyllidis, G.; Κοζ, Α.在《Coding Algorithms for 3DTV—A Survey》(Circuits and Systems for Video Technology, IEEE Transactions on , vol.17,n0.11, pp.1606,1621,Nov.2007)中提到,对于该方案的深度图部分的编码,每一帧深度图被认为是黑白视频信号,然后使用目前先进的视频编码器(例如MPEG-2,MPEG-4,
H.264/AVC等)进行压缩。
[0006]目前主流的视频编码方案(例如H.264/AVC)中,采用运动估计与运动补偿方法减小视频帧间的冗余,帧间可以通过运动向量来表示各个宏块相对于参考帧的运动,并通过运动补偿等算法可以最终解码出帧。但是由于摄像机运动(包括平动和转动)引起的运动会造成画面的全局运动,编码器在对每个宏块进行编码时,全局运动会增加运动估计的时间,并且增加码流信息。Chen, X.; Zhendong Zhao; Rahmati, A.; Ye Wang; Lin Zhong 在《Sensor-Assisted Video Encoding for Mobile Devices in Real-fforld Environments》(Circuits and Systems for Video Technology, IEEE Transactions on , vol.21,n0.3, pp.335, 349, March 2011)中提出了一种基于传感器辅助的视频编码方案,文中使用了加速度传感器和电子罗盘传感器获取摄像机的全局运动,从而获得全局运动矢量,然后对H.264中的运动估计算法进行修改,减小了视频压缩码流以及压缩时间。但是,该文中只获取并使用了摄像机的转动信息做编码辅助,并没有考虑平动带来的图像全局运动。
【发明内容】
[0007]本发明提供一种基于运动信息与深度信息的3D视频编码传输方法,其目的在于解决现有彩色视频加深度图的3D视频编码技术中,由于摄像机自身运动带来的大量的运动估计造成的码率增加以及编码时间增加的问题。
[0008]为达到上述目的,本发明采用的技术方案是:一种基于运动信息与深度信息的3D视频编码传输方法,其创新在于:使用一设置有色彩图像传感器、深度图像传感器和运动传感器的摄像机对被拍摄对象进行拍摄,色彩图像传感器用于采集被拍摄对象的色彩图像信息,深度图像传感器用于采集被拍摄对象的深度图像信息,运动传感器用于采集摄像机镜头中心空间运动的运动信息,该运动信息包括位移信息以及转动角度信息,所述编码传输方法包括以下步骤:
第一步、数据采样
以设定帧率对所述色彩图像信息和深度图像信息进行采样; 以至少一倍于所述设定帧率的采样率对所述运动信息进行采样;
第二步、数据同步
根据系统绝对时间对所述色彩图像信息、深度图像信息以及运动信息进行时间同步,即将色彩图像信息、深度图像信息以及运动信息在系统绝对时间上进行一一对应;
第三步、图像渲染
通过摄像机对被拍摄对象进行拍摄获取第一帧图像,并对其进行编码;
摄像机镜头中心空间运动引起的变换矩阵[T]如下:
【权利要求】
1.一种基于运动信息与深度信息的3D视频编码传输方法,其特征在于:使用一设置有色彩图像传感器、深度图像传感器和运动传感器的摄像机对被拍摄对象进行拍摄,色彩图像传感器用于采集被拍摄对象的色彩图像信息,深度图像传感器用于采集被拍摄对象的深度图像信息,运动传感器用于采集摄像机镜头中心空间运动的运动信息,该运动信息包括位移信息以及转动角度信息,所述编码传输方法包括以下步骤: 第一步、数据采样 以设定帧率对所述 色彩图像信息和深度图像信息进行采样; 以至少一倍于所述设定帧率的采样率对所述运动信息进行采样; 第二步、数据同步 根据系统绝对时间对所述色彩图像信息、深度图像信息以及运动信息进行时间同步,即将色彩图像信息、深度图像信息以及运动信息在系统绝对时间上进行一一对应; 第三步、图像渲染 通过摄像机对被拍摄对象进行拍摄获取第一帧图像,并对其进行编码; 摄像机镜头中心空间运动引起的变换矩阵[T]如下:
2.根据权利要求1所述的3D视频编码传输方法,其特征在于:在所述图像渲染过程中,变换到图像区域外的像素点被舍弃,渲染出的新的帧中会出现孔洞,该孔洞通过插值法进行填补。
3.一种基于运动信息与深度信息的3D视频编码传输方法,其特征在于:使用一设置有色彩图像传感器、深度图像传感器和运动传感器的摄像机对被拍摄对象进行拍摄,色彩图像传感器用于采集被拍摄对象的色彩图像信息,深度图像传感器用于采集被拍摄对象的深度图像信息,摄像机设于摄像导轨和云台上,结合轴编码器获取摄像机镜头中心相对参考系的绝对方位,所述编码传输方法包括以下步骤: 第一步、数据采样 以设定帧率对所述色彩图像信息和深度图像信息进行采样; 以至少一倍于所述设定帧率的采样率对所述运动信息进行采样; 第二步、数据同步 根据系统绝对时间对所述色彩图像信息、深度图像信息以及运动信息进行时间同步,即将色彩图像信息、深度图像信息以及运动信息在系统绝对时间上进行一一对应; 第三步、图像渲染 通过摄像机对被拍摄对象进行拍摄获取第一帧图像,并对其进行编码; 摄像机镜头中心的绝对方位用以下矩阵[P]表示:
4.根据权利要求3所述的3D视频编码传输方法,其特征在于:在所述图像渲染过程中,变换到图像区域外的像素点被舍弃,渲染出的新的帧中会出现孔洞,该孔洞通过插值法进行填补。
【文档编号】H04N19/139GK103561267SQ201310408964
【公开日】2014年2月5日 申请日期:2013年9月10日 优先权日:2013年9月10日
【发明者】罗天明, 程飞, 肖继民 申请人:罗天明, 程飞, 肖继民