一种残差预测方法及装置与流程

本发明涉及视频编解码技术领域，尤其涉及一种残差预测方法及装置。

背景技术：
在三维视频编码或多视角视频编码中，有多个视角的视频需要编码。为了充分利用相邻视角视频间的相关性，现有方法不仅用已编码视角的图像预测将要编码视角的图像，还用已编码视角的残差图像预测将要编码视角的残差图像。由于不同视角的视间预测残差相关性不高，视间预测残差不被用来预测任何残差；另一方面，时间域预测残差则用来预测时间域预测残差和视间预测残差。然而，由于时间域预测残差和视间预测残差往往具有不同特性，使用时间域预测残差预测视间预测残差常常导致残差能量增加，降低编码效率。

技术实现要素：
本发明实施例提供一种残差预测方法及装置，以提高视频压缩率，并提高编解码效率。一方面，本发明实施例提供了一种残差预测方法，所述方法应用于三维视频编码或多视角视频编码中，所述方法包括：当对一预测单元进行帧间图像预测编码时，查找所述预测单元在同一时刻已编码相邻视角中的对应单元；利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差。可选的，在本发明一实施例中，所述当对一预测单元进行帧间图像预测编码时，查找所述预测单元在同一时刻已编码相邻视角中的对应单元，包括：当对一预测单元进行帧间图像预测编码时，判断所述预测单元是否采用时间域预测；若判定所述预测单元采用时间域预测，则查找所述预测单元在同一时刻已编码相邻视角中的对应单元。可选的，在本发明一实施例中，所述利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差，包括：判断所述已编码相邻视角中的对应单元中包含时间域预测残差且时间域预测残差非零；若判定所述已编码相邻视角中的对应单元中包含时间域预测残差且时间域预测残差非零，则利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差；或者，当所述预测单元采用双向预测，且所述预测单元的两个预测块一个是时域预测块，另一个是相邻视预测块时，则利用加权后的所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差；否则，则所述预测单元的预测残差中不包含时间域预测残差，不对它进行预测。可选的，在本发明一实施例中，所述当对一预测单元进行帧间图像预测编码时，判断所述预测单元是否采用时间域预测，包括：根据一编码单元级的标志位判断所述预测单元采用无残差预测模式和有残差预测模式中的哪一种；若判定所述预测单元采用有残差预测模式，则进一步判断所述预测单元是否采用时间域预测。另一方面，本发明实施例提供了一种残差预测装置，所述装置应用于三维视频编码或多视角视频编码中，所述装置包括：编码对应查找单元，用于当对一预测单元进行帧间图像预测编码时，查找所述预测单元在同一时刻已编码相邻视角中的对应单元；编码残差预测单元，用于利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差。可选的，在本发明一实施例中，所述编码对应查找单元包括：编码时间域判断模块，用于当对一预测单元进行帧间图像预测编码时，判断所述预测单元是否采用时间域预测；编码对应查找模块，用于若判定所述预测单元采用时间域预测，则查找所述预测单元在同一时刻已编码相邻视角中的对应单元。可选的，在本发明一实施例中，所述编码残差预测单元包括：编码相邻视角判断模块，用于判断所述已编码相邻视角中的对应单元中包含时间域预测残差且时间域预测残差非零；编码残差预测模块，用于若判定所述已编码相邻视角中的对应单元中包含时间域预测残差且时间域预测残差非零，则利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差；或者，当所述预测单元采用双向预测，且所述预测单元的两个预测块一个是时域预测块，另一个是相邻视预测块时，则利用加权后的所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差；否则，则所述预测单元的预测残差中不包含时间域预测残差，不对它进行预测。可选的，在本发明一实施例中，所述编码时间域判断模块，进一步用于根据一编码单元级的标志位判断所述预测单元采用无残差预测模式和有残差预测模式中的哪一种；若判定所述预测单元采用有残差预测模式，则进一步判断所述预测单元是否采用时间域预测。又一方面，本发明实施例提供了一种残差预测方法，所述方法应用于三维视频解码或多视角视频解码中，所述方法包括：当对一预测单元进行帧间图像预测解码时，判断所述预测单元是否使用了残差预测；若判定所述预测单元使用了残差预测，则查找所述预测单元在同一时刻已解码相邻视角中的对应单元；利用所述已解码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的预测残差。可选的，在本发明一实施例中，所述当对一预测单元进行帧间图像预测解码时，判断所述预测单元是否使用了残差预测，包括：当对一预测单元进行帧间图像预测解码时，根据一编码单元级的标志位判断所述预测单元采用无残差预测模式和有残差预测模式中的哪一种；若判定所述预测单元采用有残差预测模式，则进一步判断所述预测单元是否采用时间域预测；若判定所述预测单元采用时间域预测，则查找所述预测单元在同一时刻已解码相邻视角中的对应单元；判断所述已解码相邻视角中的对应单元包含时间域预测残差且时间域预测残差非零；若判定所述已解码相邻视角中的对应单元包含时间域预测残差且时间域预测残差非零，则所述预测单元使用了残差预测。可选的，在本发明一实施例中，所述利用所述已解码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的预测残差，包括：将所述已解码相邻视角中的对应单元的时间域预测残差，加到所述预测单元的预测残差上作为所述预测单元的更新后的预测残差，再用所述预测单元的更新后的预测残差加上所述预测单元的预测信号得到所述预测单元的重构；或者，当所述预测单元采用双向预测，且所述预测单元的两个预测块一个是时域预测块，另一个是相邻视预测块时，将加权后的所述已解码相邻视角中的对应单元的时间域预测残差，加到所述预测单元的预测残差上作为所述预测单元的更新后的预测残差，再用所述预测单元的更新后的预测残差加上所述预测单元的预测信号得到所述预测单元的重构；或者，当所述预测单元采用双向预测，且所述预测单元的两个预测块都是相邻视预测块时，直接用所述预测单元的预测残差加上所述预测单元的预测信号得到所述预测单元的重构。再一方面，本发明实施例提供了一种残差预测装置，所述装置应用于三维视频解码或多视角视频解码中，所述装置包括：解码残差预测判断单元，用于当对一预测单元进行帧间图像预测解码时，判断所述预测单元是否使用了残差预测；解码对应查找单元，用于若判定所述预测单元使用了残差预测，则查找所述预测单元在同一时刻已解码相邻视角中的对应单元；解码残差预测单元，用于利用所述已解码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的预测残差。可选的，在本发明一实施例中，所述解码残差预测判断单元包括：解码时间域判断模块，用于当对一预测单元进行帧间图像预测解码时，根据一编码单元级的标志位判断所述预测单元采用无残差预测模式和有残差预测模式中的哪一种；若判定所述预测单元采用有残差预测模式，则进一步判断所述预测单元是否采用时间域预测；解码相邻视角判断模块，用于若判定所述预测单元采用时间域预测，则查找所述预测单元在同一时刻已解码相邻视角中的对应单元；判断所述已解码相邻视角中的对应单元是否包含时间域预测残差且时间域预测残差非零；解码残差预测判断模块，用于若判定所述已解码相邻视角中的对应单元包含时间域预测残差且时间域预测残差非零，则所述预测单元使用了残差预测。可选的，在本发明一实施例中，所述解码残差预测单元，进一步用于将所述已解码相邻视角中的对应单元的时间域预测残差，加到所述预测单元的预测残差上作为所述预测单元的更新后的预测残差，再用所述预测单元的更新后的预测残差加上所述预测单元的预测信号得到所述预测单元的重构；或者，当所述预测单元采用双向预测，且所述预测单元的两个预测块一个是时域预测块，另一个是相邻视预测块时，将加权后的所述已解码相邻视角中的对应单元的时间域预测残差，加到所述预测单元的预测残差上作为所述预测单元的更新后的预测残差，再用所述预测单元的更新后的预测残差加上所述预测单元的预测信号得到所述预测单元的重构；或者，当所述预测单元采用双向预测，且所述预测单元的两个预测块都是相邻视预测块时，直接用所述预测单元的预测残差加上所述预测单元的预测信号得到所述预测单元的重构。上述技术方案具有如下有益效果：所述方法或装置应用于三维视频编解码或多视角视频编解码中，所述方法包括：当对一预测单元进行帧间图像预测编解码时，查找所述预测单元在同一时刻已编解码相邻视角中的对应单元；利用所述已编解码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的预测残差，但不使用已编解码相邻视角的时间域预测残差预测当前视角的视间预测残差，本发明实施例提高了视频压缩率，并提高了编解码效率。本技术在提高编解码效率的基础上并未破坏现有图像单元的结构，有利于硬件的实现。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例一种残差预测方法流程图；图2为本发明实施例一种残差预测装置结构示意图；图3为本发明实施例编码对应查找单元结构示意图；图4为本发明实施例编码残差预测单元结构示意图；图5为本发明实施例另一种残差预测方法流程图；图6为本发明实施例另一种残差预测装置结构示意图；图7为本发明实施例解码残差预测判断单元结构示意图；图8为本发明应用实例编解码残差预测示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本技术提案的发明目的是在不破坏现有图像编码单元结构的前提下，提高视频压缩率，并提高编解码效率。如图1所示，为本发明实施例一种残差预测方法流程图，所述方法应用于三维视频编码或多视角视频编码中，所述方法包括：101、当对一预测单元进行帧间图像预测编码时，查找所述预测单元在同一时刻已编码相邻视角中的对应单元。可选的，所述当对一预测单元进行帧间图像预测编码时，查找所述预测单元在同一时刻已编码相邻视角中的对应单元，包括：当对一预测单元进行帧间图像预测编码时，判断所述预测单元是否采用时间域预测；若判定所述预测单元采用时间域预测，则查找所述预测单元在同一时刻已编码相邻视角中的对应单元。可选的，所述当对一预测单元进行帧间图像预测编码时，判断所述预测单元是否采用时间域预测，包括：根据一编码单元级的标志位判断所述预测单元采用无残差预测模式和有残差预测模式中的哪一种；若判定所述预测单元采用有残差预测模式，则进一步判断所述预测单元是否采用时间域预测。102、利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差。可选的，所述利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差，包括：判断所述已编码相邻视角中的对应单元中包含时间域预测残差且时间域预测残差非零；若判定所述已编码相邻视角中的对应单元中包含时间域预测残差且时间域预测残差非零，则利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差；或者，当所述预测单元采用双向预测，且所述预测单元的两个预测块一个是时域预测块，另一个是相邻视预测块时，则利用加权后的所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差；否则，则所述预测单元的预测残差中不包含时间域预测残差，不对它进行预测。对应于上述方法实施例，如图2所示，为本发明实施例一种残差预测装置结构示意图，所述装置应用于三维视频编码或多视角视频编码中，所述装置包括：编码对应查找单元21，用于当对一预测单元进行帧间图像预测编码时，查找所述预测单元在同一时刻已编码相邻视角中的对应单元；编码残差预测单元22，用于利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差。如图3所示，为本发明实施例编码对应查找单元结构示意图，所述编码对应查找单元21包括：编码时间域判断模块211，用于当对一预测单元进行帧间图像预测编码时，判断所述预测单元是否采用时间域预测；编码对应查找模块212，用于若判定所述预测单元采用时间域预测，则查找所述预测单元在同一时刻已编码相邻视角中的对应单元。如图4所示，为本发明实施例编码残差预测单元结构示意图，所述编码残差预测单元22包括：编码相邻视角判断模块221，用于判断所述已编码相邻视角中的对应单元中包含时间域预测残差且时间域预测残差非零；编码残差预测模块222，用于若判定所述已编码相邻视角中的对应单元中包含时间域预测残差且时间域预测残差非零，则利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差；或者，当所述预测单元采用双向预测，且所述预测单元的两个预测块一个是时域预测块，另一个是相邻视预测块时，则利用加权后的所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的时间域预测残差；否则，则所述预测单元的预测残差中不包含时间域预测残差，不对它进行预测。可选的，所述编码时间域判断模块211，进一步用于根据一编码单元级的标志位判断所述预测单元采用无残差预测模式和有残差预测模式中的哪一种；若判定所述预测单元采用有残差预测模式，则进一步判断所述预测单元是否采用时间域预测。上述技术方案具有如下有益效果：所述方法或装置应用于三维视频编码或多视角视频编码中，所述方案包括：当对一预测单元进行帧间图像预测编码时，查找所述预测单元在同一时刻已编码相邻视角中的对应单元；利用所述已编码相邻视角中的对应单元的时间域预测残差，预测所述预测单元的预测残差，但不使用已编码相邻视角的时间域预测残差预测当前视角的视间预测残差，本发明...