多视点视频编码、解码方法及编码器、解码器与流程

文档序号:15595246发布日期:2018-10-02 19:26阅读:137来源:国知局

本发明涉及信息处理领域,更具体地,涉及一种多视点视频编、解码方法及编码器、解码器。



背景技术:

多视点视频是使用多个摄像机在不同的空间位置以不同的角度同时获取同一场景的一组视频信号。对多视点视频进行压缩编码和解压解码的过程称为多视点视频编码和解码。多视点视频编码通常包含一个或多个基本视点以及若干个依赖视点,基本视点独立编解码,依赖视点可以参考基本视点进行编解码。由于多视点视频的视点之间有冗余信息存在,因此采用视(点)间预测编码能有效去除视间冗余,提高编码效率。

在视频编码块中,时(间)域相邻块和空(间)域相邻之间的内容有很强的相关性,因此它们的预测信息也有很强的相关性。对于当前编码块,avs2-3d视频编码标准参考其相邻块中的时间预测块直接导出当前编码块的时间预测信息,在一定程度上提高了编码效率。但在avs2-3d视频编码标准中,仅当相邻块是时间预测块的时候,才会被用来导出当前块的时间预测信息;而如果相邻块是视间预测块,则会直接忽略此相邻快,认为其“不可用”。这种方法没有考虑到相邻块之间在视间预测中的相似性,忽略了视间预测相邻块的预测信息,因此,其编码效率还存在提升的空间。

有鉴于此,有必要提供一种能够解决上述技术问题的多视点视频编、解码方法及编码器、解码器。



技术实现要素:

本发明的目的在于:克服现有技术的不足,提供一种压缩效率高、传输码率开销小、编码效率高的多视点视频编、解码方法及编码器、解码器。

为了实现上述目的,本发明提供了一种多视点视频编码方法,其包括以下步骤:

确定当前编码区域的视间预测信息;

根据该当前编码区域的视间预测信息确定当前编码区域的视间预测解码辅助信息;

在码流中编码写入该视间预测解码辅助信息,以允许解码器根据该视间预测解码辅助信息确定相应解码区域的视间预测信息。

优选地,所述编码区域包括编码块、预测块、部分图像、条带、图像拼贴tile、最大编码单元、编码单元、预测单元及宏块中的至少一项,所述解码区域包括与所述编码区域对应的编码块、预测块、部分图像、条带、图像拼贴tile、最大编码单元、编码单元、预测单元及宏块中的至少一项。

优选地,所述当前编码区域所在的图像位于纹理图像层或深度图像层,所述图像包括帧间编码图像、单向帧间编码图像、双向帧间编码图像、双假设帧间编码图像、视间帧间编码图像、依赖视点图像、依赖视点帧间编码图像、纹理帧间编码图像及深度帧间编码图像中的至少一项。

优选地,确定当前编码区域的视间预测信息的步骤,包括:根据编码候选视间预测信息确定当前编码区域的视间预测信息,所述编码候选视间预测信息包括已编码的其它编码区域的n1个视间预测信息、由已编码的其它编码区域的多个视间预测信息计算得到的n2个视间预测信息、预设的n3个视间预测信息、当前编码区域的局部视差信息、当前编码区域所在图像的全局视差信息中的至少一个信息,其中,n1、n2和n3均为正整数。

优选地,所述已编码的其它编码区域与所述当前编码区域位于相同或不同视点,所述已编码的其它编码区域与所述当前编码区域位于相同或不同图像层。

优选地,所述由已编码的其它编码区域的多个视间预测信息计算得到的n2个视间预测信息,包括:由已编码的其它编码区域的视间预测信息经过求平均值、最大值、最小值、中值、组合值、缩放值中的一种或多种计算得到的n2个视间预测信息。

优选地,所述根据编码候选视间预测信息确定当前编码区域的视间预测信息,包括:将编码候选视间预测信息中的一个信息,作为当前编码区域的视间预测信息。

优选地,所述将编码候选视间预测信息中的一个信息,作为当前编码区域的视间预测信息,包括:将编码候选视间预测信息中,与解码器的约定规则规定的一个信息,作为当前编码区域的视间预测信息。

优选地,所述将编码候选视间预测信息中的一个信息,作为当前编码区域的视间预测信息,包括:将编码候选视间预测信息中的多个信息进行排序索引和淘汰处理以选择一个信息,作为当前编码区域的视间预测信息。

优选地,所述当前编码区域的视间预测解码辅助信息,包括:所述在编码候选视间预测信息中所选择的信息的索引号。

优选地,所述当前编码区域的视间预测解码辅助信息,包括:当前编码区域是否采用所述多视点视频编码方法的信息。

为了实现上述目的,本发明还提供了一种多视点视频解码方法,其包括以下步骤:

从码流中解析出当前解码区域的视间预测解码辅助信息,该视间预测解码辅助信息由编码器根据相应编码区域的视间预测信息确定、并编码写入码流;

根据该视间预测解码辅助信息导出当前解码区域的视间预测信息。

优选地,所述解码区域包括编码块、预测块、部分图像、条带、图像拼贴、最大编码单元、编码单元、预测单元及宏块中的至少一项,所述编码区域包括与所述解码区域对应的编码块、预测块、部分图像、条带、图像拼贴、最大编码单元、编码单元、预测单元及宏块中的至少一项。

优选地,所述当前解码区域所在的图像位于纹理图像层或深度图像层,所述图像包括帧间编码图像、单向帧间编码图像、双向帧间编码图像、双假设帧间编码图像、视间帧间编码图像、依赖视点图像、依赖视点帧间编码图像、纹理帧间编码图像及深度帧间编码图像中的至少一项。

优选地,所述当前解码区域的视间预测解码辅助信息包括当前解码区域是否采用所述多视点视频编码方法的信息。

优选地,若所述当前解码区域采用所述多视点视频编码方法,则所述导出当前解码区域的视间预测信息,包括:根据解码候选视间预测信息确定当前解码区域的视间预测信息,所述解码候选视间预测信息包括已解码的其它解码区域的n1个视间预测信息、由已解码的其它解码区域的多个视间预测信息计算得到的n2个视间预测信息、预设的n3个视间预测信息、当前解码区域的局部视差信息、当前解码区域所在图像的全局视差信息中的至少一个信息,其中,n1、n2和n3均为正整数。

优选地,所述已解码的其它解码区域与所述当前解码区域位于相同或不同视点,所述已解码的其它解码区域与所述当前解码区域位于相同或不同图像层。

优选地,所述由已解码的其它解码区域的多个视间预测信息计算得到的n2个视间预测信息,包括:由已解码的其它解码区域的视间预测信息经过求平均值、最大值、最小值、中值、组合值、缩放值中的一种或多种计算得到的n2个视间预测信息。

优选地,所述根据解码候选视间预测信息确定当前解码区域的视间预测信息,包括:将解码候选视间预测信息中的一个信息,作为当前解码区域的视间预测信息。

优选地,所述将解码候选视间预测信息中的一个信息,作为当前解码区域的视间预测信息,包括:将解码候选视间预测信息中,与编码器的约定规则规定的一个信息,作为当前解码区域的视间预测信息。

优选地,所述当前解码区域的视间预测解码辅助信息,包括:编码器在编码候选视间预测信息索引中所选择的索引号,所述编码候选视间预测信息的索引号与所述解码候选视间预测信息的索引号相对应;所述将解码候选视间预测信息中的一个信息,作为当前解码区域的视间预测信息,包括:根据所述编码器所选择的索引号,在解码候选视间预测信息中选择索引号相对应的一个信息,作为当前解码区域的视间预测信息。

为了实现上述目的,本发明还提供了一种多视点视频编码器,其包括:

确定预测信息模块,用于确定当前编码区域的视间预测信息;

确定辅助信息模块,用于根据该当前编码区域的视间预测信息确定当前编码区域的视间预测解码辅助信息;

写入信息模块,用于在码流中编码写入该视间预测解码辅助信息,以允许解码器根据该视间预测解码辅助信息确定相应解码区域的视间预测信息。

为了实现上述目的,本发明还提供了一种多视点视频解码器,其包括:

解析信息模块,用于从码流中解析出当前解码区域的视间预测解码辅助信息,该视间预测解码辅助信息由编码器根据相应编码区域的视间预测信息确定、并编码写入码流;

导出预测信息模块,用于根据该视间预测解码辅助信息导出当前解码区域的视间预测信息。

与现有技术相比,本发明的技术效果包括但不限于:

第一,利用多视点视频编码相邻块之间在视间预测中的相关性对多视点视频流编码,显著提高了视频的压缩效率。

第二,将视间预测解码辅助信息融入编码过程,节省了直接传输视间预测信息的码率开销,显著提高了编码效率。

第三,在码流中编码写入视间预测解码辅助信息,为解码器提供解码辅助信息,提高了解码效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明多视点视频编码方法的流程图;

图2为本发明多视点视频解码方法的流程图;

图3为本发明多视点视频编码器的模块框图;

图4为本发明多视点视频解码器的模块框图。

具体实施方式

为了使本技术领域的人员更好地理解本具体实施方式方案,下面将结合本具体实施方式实施例中的附图,对本具体实施方式实施例中的技术方案进行清楚、完整地描述。

在本具体实施方式的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。

下面将结合本具体实施方式实施例中的附图,对本具体实施方式实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本具体实施方式一部分实施例,而不是全部的实施例。基于本具体实施方式中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本具体实施方式保护的范围。

请参阅图1,本具体实施方式多视点视频编码方法包括以下步骤:

步骤101,确定当前编码区域的视间预测信息;

步骤102,根据该当前编码区域的视间预测信息确定当前编码区域的视间预测解码辅助信息;

步骤103,在码流中编码写入该视间预测解码辅助信息,以允许解码器根据该视间预测解码辅助信息确定相应解码区域的视间预测信息。

请参阅图2,本具体实施方式多视点视频解码方法包括以下步骤:

步骤201,从码流中解析出当前解码区域的视间预测解码辅助信息,该视间预测解码辅助信息由编码器根据相应编码区域的视间预测信息确定、并编码写入码流;

步骤202,根据该视间预测解码辅助信息导出当前解码区域的视间预测信息。

下面详细阐述本具体实施方式多视点视频编码方法与本具体实施方式多视点视频解码方法相互配合利用视间预测信息完成多视点视频编解码的完整过程。

步骤301,编码器确定当前编码块的视间预测信息。

本实施例中,编码区域为编码块,而在其它实施例中,编码区域也可以是其它类型的单元,例如预测块、部分图像、条带、图像拼贴(tile)、最大编码单元、编码单元、预测单元、宏块等。

当前编码块所在的图像可以位于纹理图像层,也可以位于深度图像层。其中,所在的图像可以是帧间编码图像、单向帧间编码图像、双向帧间编码图像、双假设帧间编码图像、视间帧间编码图像、依赖视点图像、依赖视点帧间编码图像、纹理帧间编码图像或者深度帧间编码图像等。

编码器参考编码候选视间预测信息确定当前编码块的视间预测信息。编码候选视间预测信息包括已编码的其它编码块的n1个视间预测信息、由已编码的其它编码块的n1个(或多个)视间预测信息计算得到的n2个视间预测信息、预设的n3个视间预测信息、当前编码块的局部视差信息、当前编码块所在图像的全局视差信息中的至少一个信息,其中,n1、n2和n3均为正整数。

已编码的其它编码块是指在当前编码块之前已经编码完成的编码块。已编码的其它编码块与当前编码块可以属于同一视点、也可以属于不同的视点,可以属于同一图像层、也可以属于不同的图像层。例如,假设当前待编码的是纹理层的编码块,那么,可以参考当前编码块之前已经编码完成的n1个纹理层图像块或深度层图像块的视间预测信息,来确定当前待编码的纹理层图像块的视间预测信息;或者,也可以是部分参考纹理层图像块的视间预测信息,另一部分参考深度层图像块的视间预测信息,来确定当前待编码的纹理层图像编码块的视间预测信息。对于当前待编码的是深度层的编码块的情况也与之类似。

由已编码的其它编码块的n1个视间预测信息计算得到的n2个视间预测信息,包括:由n1个视间预测信息经过求平均值、最大值、最小值、中值、组合值、缩放值或其它特征值中的一种或多种方式计算得到的n2个视间预测信息。

具体地,编码器可以参考编码候选视间预测信息,采用以下几种方式确定当前编码块的视间预测信息。

本实施例中,编码器选择使用编码候选视间预测信息中的一个信息作为当前编码块的视间预测信息。例如,编码器将编码候选视间预测信息中的多个信息按照某种规则进行排序索引和淘汰处理,以选择一个信息作为当前编码块的视间预测信息,并记录所选择信息的索引号。

在其它的实施例中,编码器也可以固定使用编码候选视间预测信息中的一个信息作为当前编码块的视间预测信息。例如,编码器直接将已编码的其它编码块的n1个视间预测信息中的某一个视间预测信息作为当前编码块的视间预测信息,或者将当前编码块的局部视差信息作为当前编码块的视间预测信息。需要说明的是,在其它的实施例中,编码器也可以只对当前编码区域进行相关处理,而同一视点中与当前编码块属于不同图像层的对应的编码块则直接使用经过上述处理的当前编码块的计算结果。例如,编码器得到当前编码块的视间预测信息后,同一视点的深度层图像中与当前编码块对应的编码块的视间预测信息可以直接使用当前编码块的视间预测信息。

步骤302,编码器根据当前编码块的视间预测信息确定当前编码块的视间预测解码辅助信息。

本实施例中,当前编码块的视间预测解码辅助信息包括当前编码块是否采用步骤301的方法进行编码的标识,以及步骤301中,编码器在编码候选视间预测信息中所选择的信息对应的索引号。视间预测解码辅助信息能够帮助解码器对使用步骤301方法进行编码的码流进行解码。在其它的实施例中,当前编码块的视间预测解码辅助信息也可以仅包括当前编码块是否采用步骤301的方法进行编码的标识。

步骤303,编码器在码流中编码写入视间预测解码辅助信息。

例如,对于当前编码块,编码器在码流中写入标识当前编码块采用了步骤301的方法进行编码的信息,或者写入标识当前编码块没有采用步骤301的方法进行编码的信息。

步骤304,解码器从码流中解析出当前解码块的视间预测解码辅助信息。

本实施例中,解码区域为编码块,而在其它实施例中,解码区域也可以是其它类型的单元,例如预测块、部分图像、条带、图像拼贴(tile)、最大编码单元、编码单元、预测单元、宏块等。

当前解码块所在的图像可以位于纹理图像层,也可以位于深度图像层。其中,所在的图像可以是帧间编码图像、单向帧间编码图像、双向帧间编码图像、双假设帧间编码图像、视间帧间编码图像、依赖视点图像、依赖视点帧间编码图像、纹理帧间编码图像或者深度帧间编码图像等。

当前解码块的视间预测解码辅助信息对应于步骤302中当前编码块的视间预测解码辅助信息。

步骤305,解码器根据该视间预测解码辅助信息导出当前解码区域的视间预测信息。

若当前解码块的视间预测解码辅助信息指示当前编码块采用了视间预测编码,则编码器参考解码候选视间预测信息确定当前解码块的视间预测信息。解码候选视间预测信息包括已解码的其它解码块的n1个视间预测信息、由已解码的其它解码块的n1个(或多个)视间预测信息计算得到的n2个视间预测信息、预设的n3个视间预测信息、当前解码块的局部视差信息、当前解码块所在图像的全局视差信息中的至少一个信息,其中,n1、n2和n3均为正整数。

已解码的其它解码块是指在当前解码块之前已经解码完成的解码块。已解码的其它解码块与当前解码块可以属于同一视点、也可以属于不同的视点,可以属于同一图像层、也可以属于不同的图像层。例如,假设当前待解码的是纹理层的解码块,那么,可以参考当前解码块之前已经解码完成的n1个纹理层图像块或深度层图像块的视间预测信息,来确定当前待解码的纹理层图像块的视间预测信息;或者,也可以是部分参考纹理层图像块的视间预测信息,另一部分参考深度层图像块的视间预测信息,来确定当前待解码的纹理层图像编码块的视间预测信息。对于当前待解码的是深度层的解码块的情况也与之类似。

由已解码的其它编码块的n1个视间预测信息计算得到的n2个视间预测信息,包括:由n1个视间预测信息经过求平均值、最大值、最小值、中值、组合值、缩放值或其它特征值中的一种或多种方式计算得到的n2个视间预测信息。

具体地,解码器可以参考解码候选视间预测信息,以与步骤301中编码器确定当前编码块视间预测信息的相同方式,确定当前解码块的视间预测信息。

本实施例中,解码器选择使用解码候选视间预测信息中的一个信息作为当前解码块的视间预测信息。例如,解码器通过步骤304中解析出的当前解码块视间预测解码辅助信息,获知编码器在编码候选视间预测信息中所选择的视间预测信息对应的索引号。然后,解码器在解码候选视间预测信息中查找相应的索引号(编码候选视间预测信息的索引号与解码候选视间预测信息的索引号相对应),并将查找到索引号对应的视间预测信息作为当前解码块的视间预测信息。这种情况下当前解码块的视间预测解码辅助信息包括当前解码块是否采用步骤301的方法进行编码的标识,以及步骤301中,编码器在编码候选视间预测信息中所选择的信息对应的索引号。

在其它的实施例中,解码器也可以根据与编码器的约定规则,固定使用解码候选视间预测信息中的一个信息作为当前解码块的视间预测信息。例如,解码器中设定,以与编码器相同的方式(即预先约定的方式),直接将已解码的其它解码块的n1个视间预测信息中的某一个视间预测信息作为当前解码块的视间预测信息,或者将当前解码块的局部视差信息作为当前解码块的视间预测信息。这种情况下当前解码块的视间预测解码辅助信息仅包括当前解码块是否采用步骤301的方法进行编码的标识。需要说明的是,在其它的实施例中,解码器也可以只对当前解码区域进行相关处理,而同一视点中与当前解码块属于不同图像层的对应的解码块则直接使用经过上述处理的当前解码块的计算结果。例如,解码器得到当前解码块的视间预测信息后,同一视点的深度层图像中与当前解码块对应的解码块的视间预测信息可以直接使用当前解码块的视间预测信息。

请参阅图3,本具体实施方式多视点视频编码器包括:

确定预测信息模块,用于确定当前编码区域的视间预测信息;

确定辅助信息模块,用于根据该当前编码区域的视间预测信息确定当前编码区域的视间预测解码辅助信息;

写入信息模块,用于在码流中编码写入该视间预测解码辅助信息,以允许解码器根据该视间预测解码辅助信息确定相应解码区域的视间预测信息。

确定预测信息模块、确定辅助信息模块和写入信息模块的工作过程分别对应于本具体实施方式多视点视频编码方法的步骤101、102和103,此处不再赘述。

请参阅图4,本具体实施方式多视点视频解码器包括:

解析信息模块,用于从码流中解析出当前解码区域的视间预测解码辅助信息,该视间预测解码辅助信息由编码器根据相应编码区域的视间预测信息确定、并编码写入码流;

导出预测信息模块,用于根据该视间预测解码辅助信息导出当前解码区域的视间预测信息。

解析信息模块和导出预测信息模块的工作过程分别对应于本具体实施方式随机接入请求方法的步骤201和202,此处不再赘述。

为检验本具体实施方式的技术效果,在avs2-3d标准的参考软件rfd7.0上应用本具体实施方式多视点视频编、解码方法。由于依赖试点中的编码块可以参考其它已经编码完成的编码块的视间预测信息来确定当前编码块的视间预测信息,节省了直接传输视间预测信息的编码位数,压缩效率大大提高。经过测试,当参考了空域相邻的左、上、左上、右上块和时域相邻块的视间预测信息时,单个视点的平均性能增益3%~4%。

需要说明的是,本具体实施方式的多视点视频编码方法、多视点视频解码方法、多视点视频编码器和多视点视频解码器可以应用于存储于存储介质中的视频文件,也可以应用于以码流方式实时传送的视频流中。例如,在编码方法中,编码器可以获取待编码的视频内容,通过上述方法对该视频内容进行编码。其中,编码器可以从存储介质中获取待编码的视频内容,也可以实时获取待编码的内容。又如,在编码方法中,编码器在进行编码之后,可以实时传输编码后的码流,也可以将编码后的码流保存在存储介质中。再如,在解码方法中,解码器可以获取待解码的视频码流,通过上述方法对该视频内容进行解码。其中,解码器可以从存储介质中获取待解码的视频码流,也可以实时获取待解码的码流。又如,在解码方法中,解码器在进行解码之后,可以实时播放解码之后的视频内容,也可以将解码后的视频内容存储在存储介质中。

结合以上对本具体实施方式的详细描述可以看出,与现有技术相比,本具体实施方式至少具有以下有益的技术效果:

第一,利用多视点视频编码相邻块之间在视间预测中的相关性对多视点视频流编码,显著提高了视频的压缩效率。

第二,在码流中编码写入视间预测解码辅助信息,节省了直接传输视间预测信息的码率开销,显著提高了编码效率;同时为解码器提供解码辅助信息,提高了解码效率。

第三,根据已编码相邻块的视间预测信息确定当前编码块的视间预测信息,进一步提高了视频压缩率和编解码效率。

第四,针对多视点视频编码中基本视点和依赖视点的编码特点,在编码码流中传输当前编码区域是否采用视间预测信息编码的信息,进一步提高了编解码效率。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本具体实施方式各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取存储器(ram,randomaccessmemory)、磁盘或光盘等。

以上对本具体实施方式所提供的方法和装置进行了详细介绍,对于本领域的一般技术人员,依据本具体实施方式实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本具体实施方式的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1