一种编码、解码方法、装置及系统与流程

本技术涉及多媒体领域，尤其涉及一种编码、解码方法、装置及系统。

背景技术：

1、随着移动终端设备的普及其计算能力的提升，投屏图传的技术在一些重要场景的应用中变得越来越重要，如办公场景下应用投屏图传的技术使信息方便共享，家庭娱乐场景中应用投屏图传的技术使用户对小屏和大屏之间的投屏体验提升。

2、投屏图传是指将处理能力强的移动终端设备产生的视频数据，经过编码压缩，通过无线或者有线网络传输的方式，发送给处理能力弱但显示效果好的设备进行显示的一整套技术。其中视频数据包括gpu渲染的游戏画面等；处理能力弱但显示效果好的设备包括电视、vr头盔等。

3、投屏图传的技术可以解决移动终端设备和其他设备之间连接和信息共享的问题，目前投屏图传的技术的应用已进入实际使用阶段，如：云游戏、远程桌面办公、智慧教室和广播投屏等。然而，现有的投屏图传的技术存在延迟大、图像质量不可控以及经常卡顿的问题，显著影响用户体验。

4、因此，基于当前常用的网络设置，研究低延迟抗干扰的投屏图传的方法，大幅提升当前用户的投屏体验，对于提升产品竞争力，增强用户对设备的粘性有重要的战略意义。

5、投屏图传的应用，如云游戏，远程桌面办公，智慧教室，广播投屏等，具有交互的特点，需要尽量低的系统延迟。此外，由于信道带宽不稳定可能会造成数据丢失，导致出现图像的质量问题，因此，抗干扰性也是投屏图传技术的应用的一个重要要求。

6、对于以上提到的长距离投屏图传和一对多投屏图传的应用，需要有一种方法，在长距离传输的反馈延迟或反馈信息不一致的情况下，能够提升编码效率和重构图像质量，同时，在出现传输丢帧时，能够以较低代价恢复图像质量。

技术实现思路

1、为了解决上述问题，本技术实施例提供了一种解码方法、装置及系统。

2、第一方面，本技术实施例提供一种投屏图传的视频编解码方法，所述方法包括：对视频信息进行编码；所述视频信息包括m帧，其中，所述m帧包括第一帧、第二帧和第三帧；所述第二帧参考第一帧；所述第三帧参考第二帧或第一帧；将所述第一帧、第二帧和第三帧存储于缓存区得到多帧长期参考帧的候选；从所述多帧长期参考帧的候选中选择其中的子集作为长期参考帧使用。以此管理与使用可长期保存的参考帧图像，能够在信道反馈的有效性和及时性不能保证的应用场景中，提升编码效率和重构图像质量；同时，采用帧间编码的方式在反馈延迟或失败情况下能够以较低的码率快速恢复正确图像。反馈延迟的情况包括长距离图传时需要较长时间收到反馈信号的情况，或者一对多短距离投屏图传时因为反馈信号不一致而不能及时利用的情况。

3、在一个可以实现的实施方式中，所述从所述多帧长期参考帧的候选中确定选择其中的子集作为长期参考帧使用，包括：根据反馈信号从所述多帧长期参考帧的候选中确定选择所述第一帧、第二帧、第三帧之一或组合作为长期参考帧使用，所述反馈信号为接收端是否接收成功的信号。以此可以从长期参考帧的候选中选择长期参考帧，采用帧间编码的方式，在反馈延迟或失败情况下以较低的码率快速恢复正确图像，满足传输质量的连惯性要求，实现以较低的码率恢复正确图像。

4、在一个可以实现的实施方式中，对视频信息进行分层编码，从所述多帧长期参考帧的候选中确定选择其中子集作为长期参考帧使用，包括：从所述长期参考帧中选择一层作为长期参考帧使用。以此可以从长期参考帧中选择质量较高的一层使用，以较低的码率获得较高质量的图像，满足传输质量的要求。

5、在一个可以实现的实施方式中，所述m帧中每一帧包括基本层和增强层，所述每一帧基本层的编码参考所述长期参考帧中的增强层。以此可以采用帧间编码的方式，以长期参考帧中的增强层为参考，提升基本层的编码效率以及重构图像质量，从而增强层的编码效率以及重构图像质量也可以获得提升。

6、在一个可以实现的实施方式中，所述m帧中每一帧包括基本层和增强层，所述每一帧增强层的编码参考同一帧内的低层级和前一帧的同层级。以此可以采用帧内编码参考的方式对视频信息分层编码。

7、在一个可以实现的实施方式中，所述方法还包括：在所述视频信息中添加第一标记，所述第一标记用于指示多帧长期参考帧的候选帧信息和/或层信息。以此可以与接收端共享长期参考帧的帧信息和/或层信息，以便投屏图传在编解码过程中的参考帧能够始终保持一致，实现以较低的码率恢复正确图像。

8、在一个可以实现的实施方式中，所述方法还包括：在所述视频信息中添加第二标记，所述第二标记用于指示所述长期参考帧的帧信息和/或层信息。

9、在一个可以实现的实施方式中，所述反馈信号的帧延迟至少为m帧。以此，获得反馈延迟的情况，包括长距离图传时需要较长时间(m帧)收到反馈信号的情况；假设一帧的分层数为l，一帧从传输到获得反馈信号的延迟是m帧，则长期参考帧的候选缓存数量小于m*l，即只有部分经过编码的图像层可以作为长期参考帧的候选图像。

10、在一个可以实现的实施方式中，所述反馈信号包括被接收成功的长期参考帧的候选信息；根据所述接收成功的长期参考帧的候选信息确定/更新所述长期参考帧。以次，可以在发射端和接收端的投屏图传编解码过程中参考帧能够始终保持一致，实现以较低的码率恢复正确图像。

11、在一个可以实现的实施方式中，存在多个反馈信号；根据所述多个反馈信号的每一个中被接收成功的长期参考帧的候选信息，确定多个信道均接收成功的长期参考帧的候选信息；根据所述多个信道均接收成功的长期参考帧的候选信息确定/更新所述长期参考帧。以此，针对一对多的短距无线投屏，使用来大部分用户的接收端都收到的图像作为有效的长期参考帧，可以提升基础层的编码效率和重构图像质量。

12、在一个可以实现的实施方式中，根据所述反馈信号使用最近一次确定的所述长期参考帧。以此，在进行图像错误恢复时，可以参考最近一次确定的所述长期参考帧进行帧间编码，以降低码率，实现以较低的码率恢复正确图像。

13、在一个可以实现的实施方式中，所述方法还包括：根据预先约定的规则从所述多帧长期参考帧的候选中确定选择其中的子集作为长期参考帧使用。以此通过预先约定的规则能够和接收端编解码过程中始终保持一致，实现以较低的码率恢复正确图像。

14、在一个可以实现的实施方式中，所述将所述第一帧、第二帧和第三帧存储于缓存区得到多帧长期参考帧的候选，包括：将所述第一帧、第二帧和第三帧的帧数量及其位置信息保存于所述缓存区，其中，所述位置信息包括所述第一帧、第二帧和/或第三帧的帧信息和/或层信息。以此，可以从缓存中快捷地获取多帧长期参考帧的候选的信息，从而实现以较低的码率快速恢复正确图像。

15、第二方面，本技术实施例提供一种投屏图传的视频编解码方法，所述方法包括：对视频信息进行解码；所述视频信息包括m帧，其中，所述m帧包括第一帧、第二帧和第三帧；所述第二帧参考第一帧；所述第三帧参考第二帧或第一帧；将所述第一帧、第二帧和第三帧存储于缓存区得到多帧长期参考帧的候选；从所述多帧长期参考帧的候选中选择其中的子集作为长期参考帧使用。。其有益效果如第一方面所述，此处不再赘述。

16、在一个可以实现的实施方式中，所述从所述多帧长期参考帧的候选中确定选择其中的子集作为长期参考帧使用，包括：从所述多帧长期参考帧的候选中确定选择所述第一帧、第二帧、第三帧之一或组合作为长期参考帧使用。

17、在一个可以实现的实施方式中，对视频信息进行分层解码，从所述多帧长期参考帧的候选中确定选择其中子集作为长期参考帧使用，包括：从所述长期参考帧中选择任意一层使用。

18、在一个可以实现的实施方式中，所述m帧中每一帧包括基本层和增强层，所述每一帧基本层的解码参考所述长期参考帧中的增强层。

19、在一个可以实现的实施方式中，所述m帧中每一帧包括基本层和增强层，所述每一帧增强层的解码参考同一帧内的低层级和前一帧的同层级。

20、在一个可以实现的实施方式中，所述方法还包括：获得所述视频信息中的第一标记，根据所述视频信息中第一标记获得所述多帧长期参考帧的候选帧信息和/或层信息；其中，多帧长期参考帧的候选帧信息和/或层信息包括第一帧、第二帧和第三帧的帧信息和/或层信息；根据所述所述多帧长期参考帧的候选帧信息和/或层信息从所述视频码流中获得所述长期参考帧。

21、在一个可以实现的实施方式中，所述方法还包括：获得所述视频信息中的第二标记，根据所述视频信息中的第二标记获得所述长期参考帧的帧信息和/或层信息；根据所述长期参考帧的帧信息和/或层信息从所述多帧长期参考帧的候选中获得所述长期参考帧。

22、在一个可以实现的实施方式中，获得所述视频信息中接收成功的长期参考帧的候选信息；根据所述接收成功的长期参考帧的候选信息确定/更新所述长期参考帧。

23、在一个可以实现的实施方式中，发出反馈信号，所述反馈信号为接收端接收成功的信号，所述反馈信号包括所述多帧长期参考帧的候选帧信息和/或层信息。

24、在一个可以实现的实施方式中，发出反馈信号，所述反馈信号为接收端接收成功的信号，所述反馈信号包括所述长期参考帧的帧信息和/或层信息。

25、在一个可以实现的实施方式中，使用最近一次确定的所述长期参考帧解码；发出反馈信号，所述反馈信号为接收端接收失败的信号，或接收到非长期参考帧的候选的信号。

26、在一个可以实现的实施方式中，所述方法还包括：根据预先约定的规则从所述多帧长期参考帧的候选中确定选择其中子集作为长期参考帧使用。

27、在一个可以实现的实施方式中，所述将所述第一帧、第二帧和第三帧存储于缓存区得到多帧长期参考帧的候选，包括：将所述第一帧、第二帧和第三帧的帧数量及其位置信息保存于所述缓存区，其中，所述位置信息包括所述第一帧、第二帧和第三帧的帧信息和/或层信息。

28、第三方面，本技术实施例提供一种视频编码装置，用于实现如第一方面所述的方法，所述装置包括：编码模块，用于对视频信息进行编码；所述视频信息包括m帧，其中，所述m帧包括第一帧、第二帧和第三帧；所述第二帧参考第一帧；所述第三帧参考第二帧或第一帧；缓存模块，用于将所述第一帧、第二帧和第三帧存储于缓存区得到多帧长期参考帧的候选；长期参考帧确定模块，根据反馈信号从所述多帧长期参考帧的候选中选择其中的子集作为长期参考帧使用。

29、第四方面，本技术实施例提供一种视频解码装置，用于实现如第二方面所述的方法，所述装置包括：解码模块，用于对视频信息进行解码；所述视频信息包括m帧，其中，所述m帧包括第一帧、第二帧和第三帧；所述第二帧参考第一帧；所述第三帧参考第二帧或第一帧；缓存模块，用于将所述第一帧、第二帧和第三帧存储于缓存区得到多帧长期参考帧的候选；长期参考帧确定模块，根据反馈信号从所述多帧长期参考帧的候选中选择其中的子集作为长期参考帧使用。

30、第五方面，本技术实施例提供一种视频编解码系统，包括如第三方面所述视频编码装置和如第四方面所述的视频解码装置。