专利名称：视频编解码方法和装置以及视频编解码器的制作方法
技术领域：
本发明实施例涉及视频技术领域，尤其涉及一种视频编解码方法和装置 以及^f见频编解码器。
背景技术：
传统的二维视频是一种平面信息的载体，它只能表现出场景的内容，而 不能表现场景的深度信息，而人类在观看周围世界时，不仅能看到物体的宽 度和高度，而且能获知物体的深度，并判断物体之间或观看者与物体之间的
距离。这种三维视觉特性产生的原因是人们用双目同时观看物体，由于双 目视轴的间距，左眼和右眼在看一定距离的物体时，所接收到的视觉图像是 不同的，综合两幅有差异的图像信息，从而在人们大脑中产生立体感。随着 视频技术的发展，人们不满足于二维视频所带来的视频感受，进一步向追求 更好的用户体验和身临其境的感受的方向发展，立体视频技术成为实现这一 目标的关键技术之一。
立体视频技术基于人类的双目视差原理，通过摄像机获取同一场景不同 角度的两幅图像，将两幅图像同时或者先后显示在屏幕上，让两眼分别观看 两幅图像来获得立体感觉。因此，与传统的二维视频相比，立体视频具有两 个视频流，在保证图像分辨率且不考虑压缩编码的情况下，立体视频需要传 输的数据流量是二维视频的两倍，数据流量的增加给存储和传输带来了极大 的挑战，仅仅提高存储容量和网络带宽已不足以解决该问题，必须设计高效 的编码方法对立体^L频数据进行压缩处理。
用户在观看立体视频时，在相对显示器的各个不同位置所获得的观看效果有很大区別，因此，能使用户在任意位置都能获得最佳的观看效果，也是 现有立体视频技术亟待解决的问题之一。另外，由于立体视频技术的发展需 要一个过渡过程，立体编码方法还需兼容传统的二维显示。 现有技术中立体视频编解码的方法如下 (1)在编码端将立体视频的左右视图交织成一幅图，采用标准的格式，
如MPEG格式对图像进行编码，并输出到传输/记录单元；在解码端对编码信 息进行解码，还原出左右视图并进行显示。
这种编解码方法的缺点是在编码端需要同时处理左右视图，对于只需 要一幅图像的传统二维显示情况，编解码复杂度较大，因此不适用于二维显 示；并且在接收端没有考虑用户所处的位置，不能使用户在任意位置都能获 得最佳观看效果；
(2 )从左右两个视频流中选择一个作为参考视频，采用标准编码方式对 参考视频流进行编码；对于另一个视频流，可以同时采用两种差值预测，从 两种预测中选择效果较好的进行编码，或者任选一种预测和两种预测的平均， 或者根据预先设置的权重分配使用两种预测；对于另一个视频流，也可以采 用位差预测和运动补偿预测，平均使用这两种预测，或者根据预先设置的权 重分配j吏用这两种预测。
这种编码方法的缺点是采用上述几种预测方法，不便于在接收端针对 用户的观看位置重构立体视图，不能使用户在任意位置都能获得最佳观看效 果。
发明内容
本发明实施例提供了一种视频编码方法、视频编码装置和编码器，以实 现对立体视频数据的有效压缩，降低编码复杂度，便于准确、便捷地重构立 体视图。
本发明实施例提供了一种视频解码方法、视频解码装置和解码器，以实现准确、便捷地重构立体视图。
本发明实施例提供了一种^L频编码方法，包括
将第一视图作为参考视图进行基层编码，并结合第二视图从所述第一视
图中提取预测信息；
根据所述基层编码和预测信息对所述第二视图进行重构； 根据所述重构的第二视图和原始的第二视图计算残差值； 当所述残差值大于阈值时，将所述残差值与所述预测信息同时进行增强
层编码，否则仅将所述预测信息进行增强层编码；
将所述增强层编码与所述第一视图的基层编码复用得到编码信息。 本发明实施例提供了一种视频编码装置，包括
基层编码/预测模块，用于将第一视图作为参考视图进行基层编码，并结
合第二视图从所述第一视图中提取预测信息；
重构模块，用于根据所述基层编码和预测信息对所述第二视图进行重构； 残差值计算模块，用于根据所述重构的第二视图和原始的第二视图计算
残差值；
增强层编码模块，用于将所述预测信息进行增强层编码，并且当所述残 差值大于阈值时，将所述残差值与所述预测信息同时进行增强层编码；
复用模块，用于将所述增强层编码与所述第一视图的基层编码复用得到 编码信息。
本发明实施例提供了一种视频解码方法，包括 将接收到的编码信息解复用，获得基层编码信息和增强层编码信息； 将基层编码信息解码，获得作为参考浮见图的第一视图； 将增强层编码信息解码，获得预测信息，或预测信息和残差值； 根据所述第一视图、预测信息和残差值，重构第二视图。 本发明实施例提供了一种视频解码装置，包括
解复用模块，用于将接收到的编码信息解复用，获得基层编码信息和增强层编码信息；
解码模块，用于将基层编码信息解码，获得作为参考视图的第一视图； 获取模块，用于将增强层编码信息解码，获得预测信息，或预测信息和 残差值；
重构模块，用于根据所述第一视图、预测信息和残差值，重构第二视图。 本发明实施例提供了一种视频编码器，包括 基层编码单元，用于对作为参考视图的第一视图进行基层编码； 预测信息提取单元，用于根据经过基层编码和本地解码后的第一视图以 及第二视图提取预测信息；
重构单元，用于根据经过基层编码和本地解码后的第 一视图以及所述预 测信息，重构第二视残差值计算单元，用于根据所述重构的第二视图与原始的第二视图，计 算残差值；
比较单元，用于将所述残差值与阈值进行比较，并输出大于阈值的残差
值；
增强层编码单元，用于对所述预测信息提取单元输出的预测信息和所述 比较单元输出的残差值进行编码；
复用单元，用于将增强层编码和第一视图的基层编码复用得到编码信息。 本发明实施例提供了一种视频解码器，包括
解复用单元，用于将接收到的编码信息解复用，获得基层编码信息和增 强层编码信息；
基层解码单元，用于将基层编码信息解码，获得作为参考视图的第一视
增强层解码单元，用于将增强层编码信息解码，获得预测信息，或预测 信息和残差值；
重构单元，用于根据所述第一视图、预测信息和残差值，重构第二视图。本发明实施例的视频编码方法、视频编码装置和编码器，通过选择第一 视图作为参考视图进行基层编码，将立体视频的其它信息进行增强层编码， 实现了对立体视频数据的有效压縮，降低了编码复杂度，对于传统的二维显 示，提取基层编码的信息即可，兼容了二维显示功能，便于准确、便捷地重 构立体^L图。
本发明实施例的视频解码方法、视频解码装置和解码器，通过对基层编
码信息解码获得作为参考视图的第一视图，兼容了二维显示功能；对增强层 编码信息解码获得预测信息，或预测信息和残差值，并进行第二^L图重构， 利用解码获得的第一视图和重构的第二视图，便于准确、便捷地重构立体视 图。
图1为本发明实施例-现频编码方法的流程图； 图2为本发明实施例视频解码方法的流程图3为本发明实施例视频解码方法中视差、景深和用户观看位置之间的 关系的示意图4为本发明实施例视频编码器的示意图； 图5为本发明实施例视频解码器的示意具体实施例方式
下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。
-现频编码方法实施例
如图1所示，为本发明实施例视频编码方法的流程图，具体包括以下步
骤
步骤101、两台摄像机或多台摄像机从不同角度对同一场景进行拍摄，获得两幅视图，分别为左眼视图和右眼视步骤102、从左眼视图和右眼视图中任选一视图作为参考视图进行基层 编码，可以选择左眼视图，也可以选择右眼视图，本实施例选择左眼视图作 为参考视步骤103、将经过基层编码后的左眼视图在本地解码，结合右眼视图进 行预测信息提取，该预测信息可以为视差/深度信息，也可以为运动矢量信息， 本实施例中，预测信息为视差/深度信息；
步骤104、根据经过基层编码的左目艮视图和视差/深度信息，重构右眼视
步骤105、将从摄像机直接获得的原始的右眼视图与重构的右眼视图进 行比较，计算残差值；
步骤106、将视差/深度信息进行增强层编码，并将残差值与阈值进行比 较，若残差值大于阈值，则将该残差值与视差/深度信息同时进行增强层编码； 否则，不对残差值做处理，即对视差/深度信息进行增强层编码；
其中阈值的大小可以根据现有的编码标准确定，也可以根据立体视频传 输的实验确定，经实验确定的阈值能保证在不对残差值进行处理时，也能获 得较好的立体显示效果；
步骤107、将左目艮视图的基层编码和增强层编码进行复用得到编码信息。
本实施例中，基层编码和增强层编码均可以为带运动补偿的离散余弦变 换编码。
本实施例通过选择左眼视图进行基层编码，将立体视频的其它信息进行 增强层编码，并且当残差值小于阈值时，不需要对残差值进行处理，实现了 对立体视频数据的有效压缩，降低了编码复杂度；对于传统的二维显示，只 需提取其中的基层编码信息，兼容了二维显示功能，便于准确、便捷地重构 立体视图。
视频编码装置实施例本实施例视频编码装置具体包括基层编码/预测模块，用于将左眼视图 作为参考视图进行基层编码，并结合右眼视图从左眼视图中提取预测信息； 重构模块，用于根据所述基层编码和预测信息对右眼视图进行重构；残差值 计算模块，用于根据重构的右眼视图和原始的右眼视图计算残差值；增强层 编码模块，用于将预测信息进行增强层编码，并且当残差值大于阈值时，将 残差值与预测信息同时进行增强层编码；复用模块，用于将增强层编码与左 眼视图的基层编码复用得到编码信息。
本实施例通过基层编码/预测模块将左眼视图作为参考视图进行基层编 码，通过其它模块将立体视频的其它信息进行增强层编码，实现了对立体视 频数据的有效压缩，降低了编码复杂度，对于传统的二维显示，提取基层编 码的信息即可，兼容了二维显示功能，便于准确、便捷地重构立体视图。
4见频解码方法实施例
如图2所示，为本发明实施例视频解码方法的流程图，本实施例的解码 方法是针对本发明实施例编码方法所作出的，具体包括以下步骤
步骤201、将接收到的编码信息进行解复用，获得基层编码信息和增强 层编码信息；
步骤202、将基层编码信息进行解码，获得作为参考视图的左眼视图； 步骤203、将增强层编码信息进行解码，获得视差/深度信息，或视差/
深度信息和残差值；
步骤204、根据经过基层解码的左眼视图、视差/深度信息和残差值，重
构右眼^L图。
当编码信息中的预测信息为运动矢量信息时，解码获得的预测信息也为 运动矢量信息。
对于相同的场景，当用户从不同的位置进行观看时，相同的场景在用户 左右眼中形成的视差是不同的，会有不同的观看效果，如图3所示，为本发 明实施例视频解码方法中视差、景深和用户观看位置之间关系的示意图，根据用户所处的位置建立坐标系，其中x轴表示成像平面，z轴表示深度信息， 即场景中目标相对于成像平面的距离，(^, ^)表示场景中目标点的坐 标，；c,表示场景中目标点在成像平面上相对左眼的x轴坐标值，、表示目 标点在成像平面上相对右眼的x轴坐标值，p表示双目视差(即x,与x,之 差)，(0，")表示观看者左眼的坐标，(xs, D)表示观看者右眼的坐 标，；^等于两眼之间的宽度。根据几何关系可以得到
<formula>formula see original document page 12</formula>
推导上式可得<formula>formula see original document page 12</formula>
即
<formula>formula see original document page 12</formula>
当用户的位置沿x轴移动时，根据上述原理仍能推导出上述公式，因此， 双目视差/ 与用户到成像平面的垂直距离"有关，即双目视差与用户相对于 显示器的距离和方位信息有关，为了使用户在任意位置都能获得最佳的立体 观看效果，在所述步骤203和步骤204之间还可以包括
步骤2031、获取用户相对于显示器的距离和方位信息，计算用户到成像 平面的垂直距离D;
步骤2032、将步骤203中获得的视差/深度信息作为参考视差;^，根据
用户到成像平面的垂直距离D对做相应的调整，生成新的视差/深度信息 进一步地，所述步骤204具体为根据左眼视图、新的视差/深度信息p'以及残差值进行右目艮视图重构。
本实施例中，用户相对于显示器的距离和方位信息可以通过摄像设备主 动获取，也可以从用户处被动接收。
本实施例通过获得基层编码信息，对于传统的二维显示，直接将基层编
码信息解码即可得到二维视图，兼容了二维显示功能；结合基层编码信息和
增强层解码后获得的视差/深度信息，或视差/深度信息和残差值，重构右眼 视图，利用解码得到的左眼视图和重构的右眼视图，便于准确、便捷地重构
立体视图；根据用户相对于显示器的距离和方位信息生成新的视差/深度信 息，并根据该新的视差/深度信息进行立体视图重构，使得用户在任意位置都 可获得最佳的立体观看效果。 视频解码装置实施例
本实施例视频解码装置具体包括解复用模块，用于将接收到的编码信 息解复用，获得基层编码信息和增强层编码信息；解码模块，用于将基层编 码信息解码，获得作为参考视图的左眼视图；获取模块，用于将增强层编码 信息解码，获得预测信息，或预测信息和残差值；重构模块，用于根据左眼 视图、预测信息和残差值，重构右眼视图。
本实施例通过解码模块对基层编码信息解码获得左眼视图，兼容了 二维 显示功能；通过获取模块和重构模块，对增强层编码信息解码获得预测信息， 或预测信息和残差值，并进行右眼视图重构，利用解码获得的左眼视图和重 构的右眼视图，便于准确、便捷地重构立体视图。
视频编码器实施例
如图4所示，为本发明实施例视频编码器的示意图，具体包括 基层编码单元41,用于对作为参考视图的左眼视图进行基层编码；也可 以将右眼视图作为参考视图，对右眼视图进行基层编码；预测信息提取单元 42，用于根据经过基层编码和本地解码后的左眼视图以及右眼视图提取预测 信息；重构单元43,用于根据经过基层编码和本地解码后的左眼视图以及预测信息，重构右眼视图；残差值计算单元44,用于根据重构的右眼^L图与原 始的右眼视图，计算残差值；比较单元45,用于将残差值与阈值进行比较， 并输出大于阈值的残差值；增强层编码单元46,用于对预测信息提取单元42 输出的预测信息和比较单元45输出的残差值进行编码；复用单元47，用于 将左眼视图的基层编码和增强层编码复用得到编码信息。
本实施例通过基层编码单元41对左眼视图进行基层编码，又通过预测信 息提取单元42、重构单元43、残差值计算单元44以及比较单元45将立体视 频的其它信息发送到增强层编码单元46进行编码，实现了对立体视频数据的 有效压缩，降低了编码复杂度，对于传统的二维显示，提取基层编码单元41 输出的信息即可，便于准确、便捷地重构立体视图。
视频解码器实施例
如图5所示，为本发明实施例视频解码器的示意图，具体包括
解复用单元51,用于将接收到的编码信息解复用，获得基层编码信息和 增强层编码信息；基层解码单元52，用于将基层编码信息解码，获得作为参 考视图的左眼视图；增强层解码单元53，用于将增强层编码信息解码，获得 预测信息，或预测信息和残差值；重构单元54,用于根据左眼视图、预测信 息以及残差值，重构右眼视图。
本实施例的视频解码器还可以包括用户位置获取单元55，用于获取用 户相对于显示器的距离和方位信息；生成单元56，用于根据距离和方位信息， 对获得的预测信息做相应的调整，生成新的预测信息，并将新的预测信息输 出给重构单元54;该预测信息为视差/深度信息。
本实施例通过基层解码单元52获得基层编码信息，兼容了传统的二维显 示功能；重构单元54结合基层解码单元52和增强层解码单元53输出的信息 进行右眼视图重构，利用解码得到的左眼视图和重构的右眼视图，便于准确、 便捷地重构立体视图；通过用户位置获取单元55和生成单元56，将用户的 距离和方位信息补偿到新的预测信息中，使得用户在任意位置均可获得最佳的观看效果。
本领域普通技术人员可以理解实现上述方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机 可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，
而前述的存储介质包括ROM、 RAM、磁碟或者光盘等各种可以存储程 序代码的介质。
非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领 域的普通技术人员应当理解其依然可以对前述各实施例所记载的技术方案 进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换， 并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范 围。
权利要求
1、一种视频编码方法，其特征在于包括将第一视图作为参考视图进行基层编码，并结合第二视图从所述第一视图中提取预测信息；根据所述基层编码和预测信息对所述第二视图进行重构；根据所述重构的第二视图和原始的第二视图计算残差值；当所述残差值大于阈值时，将所述残差值与所述预测信息同时进行增强层编码，否则仅将所述预测信息进行增强层编码；将所述增强层编码与所述第一视图的基层编码复用得到编码信息。
2、 根据权利要求1所述的视频编码方法，其特征在于，在所述将第一 视图作为参考视图进行基层编码之前还包括从不同角度拍摄同一场景，获 得所述第一视图和第二视图。
3、 根据权利要求1或2所述的视频编码方法，其特征在于，所述预测 信息为视差/深度信息和/或运动矢量信息。
4、 根据权利要求1或2所述的视频编码方法，其特征在于，所述基层 编码和增强层编码为带运动补偿的离散余弦变换编码。
5、 一种视频编码装置，其特征在于包括基层编码/预测模块，用于将第一视图作为参考视图进行基层编码，并结 合第二视图从所述第一视图中提取预测信息；重构模块，用于根据所述基层编码和预测信息对所述第二视图进行重构； 残差值计算模块，用于根据所述重构的第二视图和原始的第二视图计算 残差值；增强层编码模块，用于将所述预测信息进行增强层编码，并且当所述残 差值大于阈值时，将所述残差值与所述预测信息同时进行增强层编码；复用模块，用于将所述增强层编码与所述第一视图的基层编码复用得到 编码信息。
6、 一种视频解码方法，其特征在于，包括将接收到的编码信息解复用，获得基层编码信息和增强层编码信息； 将基层编码信息解码，获得作为参考视图的第 一视图； 将增强层编码信息解码，获得预测信息，或预测信息和残差值； 根据所述第一视图、预测信息和残差值，重构第二视图。
7、 根据权利要求6所述的视频解码方法，其特征在于，所述预测信息 为视差/深度信息和/或运动矢量信息。
8、 根据权利要求7所述的视频解码方法，其特征在于所述根据所述第 一视图、预测信息和残差值，重构第二视图具体为获取用户相对于显示器的距离和方位信息；根据所述距离和方位信息，对所述获得的视差/深度信息做相应的调整， 生成新的视差/深度信息；根据所述第一视图、新的视差/深度信息以及残差值，重构第二视图。
9、 根据权利要求8所述的视频解码方法，其特征在于所述获取用户相 对于显示器的距离和方位信息具体为通过摄像设备获取用户相对于显示器 的距离和方位信息。
10、 根据权利要求8所述的视频解码方法，其特征在于所述获取用户相 对于显示器的距离和方位信息具体为接收所述用户发送的相对于显示器的 距离和方位信息。
11、 一种视频解码装置，其特征在于，包括解复用模块，用于将接收到的编码信息解复用，获得基层编码信息和增 强层编码信息；解码模块，用于将基层编码信息解码，获得作为参考视图的第一视图； 获取4莫块，用于将增强层编码信息解码，获得预测信息，或预测信息和 残差值；重构模块，用于根据所述第一视图、预测信息和残差值，重构第二视图。
12、 一种视频编码器，其特征在于，包括 基层编码单元，用于对作为参考视图的第 一视图进行基层编码； 预测信息提取单元，用于根据经过基层编码和本地解码后的第一视图以及第二视图提取预测信息；重构单元，用于根据经过基层编码和本地解码后的第一视图以及所述预 测信息，重构第二视图；残差值计算单元，用于根据所述重构的第二视图与原始的第二视图，计 算残差值；比较单元，用于将所述残差值与阈值进行比较，并输出大于阈值的残差值；增强层编码单元，用于对所述预测信息提取单元输出的预测信息和所述 比较单元输出的残差值进行编码；复用单元，用于将增强层编码和第一视图的基层编码复用得到编码信息。
13、 一种视频解码器，其特征在于，包括解复用单元，用于将接收到的编码信息解复用，获得基层编码信息和增 强层编码信息；基层解码单元，用于将基层编码信息解码，获得作为参考视图的第一视图；增强层解码单元，用于将增强层编码信息解码，获得预测信息，或预测 信息和残差值；重构单元，用于根据所述第一4^L图、预测信息和残差值，重构第二视图。
14、 根据权利要求13所述的视频解码器，其特征在于，还包括 用户位置获取单元，用于获取用户相对于显示器的距离和方位信息； 生成单元，用于根据所述距离和方位信息，对所述获得的预测信息做相应的调整，生成新的预测信息，并将所述新的预测信息输出给所述重构单元； 所述预测信息为视差/深度信息。
全文摘要
本发明实施例涉及一种视频编解码方法和装置以及视频编解码器，其中视频编码方法包括将第一视图作为参考视图进行基层编码，并结合第二视图提取预测信息，对第二视图进行重构；根据重构的第二视图和原始的第二视图计算残差值；当残差值大于阈值时，将残差值与预测信息同时进行增强层编码，否则仅将预测信息进行增强层编码；将增强层编码与第一视图的基层编码复用得到编码信息；视频解码方法包括解复用后，分别对基层编码信息和增强层编码信息进行解码，获得第一视图、预测信息以及残差值，然后进行第二视图重构。本发明实施例实现了对立体视频数据的有效压缩，降低了编码复杂度，且兼容传统的二维显示，便于准确、便捷地重构立体视图。
文档编号H04N7/26GK101415114SQ20071017599
公开日2009年4月22日 申请日期2007年10月17日 优先权日2007年10月17日
发明者源 刘, 平 方, 凯 李, 静 王 申请人:深圳华为通信技术有限公司