一种视频帧处理方法、设备、视频系统、介质及芯片与流程

本技术涉及视频传输与显示技术，尤其涉及一种视频帧处理方法、设备、视频系统、介质及芯片。

背景技术：

1、在视频编码领域中，可伸缩视频编码(scalable video coding，svc)技术常应用在短距离视频传输的场景中。基于svc技术生成的码流通常包括基本层(base layer，bl)和可提高分辨率、帧速率和质量的其它增强层(enhancement layer，el)，可见该码流为多层码流。

2、图1中示出了svc码流传输过程示意图。在编码端对各帧图像进行编码过程中可以采用帧间编码的方式，基于参考帧对下一帧图像进行编码。编码端对各帧图像编码时，对各帧图像进行分割，分割为多个图像条，记为slice0，slice1，slice2。例如，解码端接收到帧1的各图像条后可以向编码端反馈参考帧，使编码端基于反馈的参考帧对帧1的下一帧，即帧2进行编码。

3、视频中相邻两帧图像差异较大的情况称为发生场景切换。例如，帧2为帧1的下一帧。并且帧2与帧1图像差异较大，则帧2可视为场景切换帧。解码端每次收到帧2的图像条后会立刻进行解码等处理，例如解码端收到帧2的slice0后对帧2的slice0进行解码、重构并送显。请参见图2，送显后所显示图像中slice0对应的位置是帧2的图像，显示图像中slice1、slice2对应的位置均是帧1的图像，而帧2是场景切换帧，与帧1图像差异较大，显示图像同时包括帧2的slice和帧1的slice，出现图像割裂(撕裂)。

技术实现思路

1、本技术提供一种视频帧处理方法、设备、视频系统、介质及芯片，用以减少或者避免图像撕裂的情况发生。

2、第一方面，本技术实施例提供一种视频帧处理方法。方法可以由解码端或者解码设备执行。解码设备可以接收到编码设备发送的视频。区别于现有解码设备接收到视频帧后，会立刻显示接收到视频帧的图像条，在视频帧为场景切换帧的场景中，则会出现图像割裂的情况。为此，本技术实施例提供的视频帧处理方法中，便于介绍将编码设备记为第一设备，解码设备记为第二设备。第二设备可以通过检测的方式，确定第一视频帧是否为场景切换帧，若第一视频帧为场景切换帧，则第二设备可以对第一视频帧执行场景切换帧相应的显示操作。例如，保持显示第二视频帧，第二视频帧为第二设备接收到第一视频帧的码流前最近一次显示的视频帧。这样的设计可以保障第二设备接收到第一视频帧后，不立即显示全部或者部分第一视频帧中的图像单元，避免显示界面中同时出现第二视频帧的图像单元和第一视频帧的图像单元，可以实现减少或避免图像撕裂的情况发生。第二设备可以在确定第一视频帧满足预设的显示条件后，由第二视频帧切换为第一视频帧。

3、一种可能的设计中，第二设备可以通过确定第一视频帧的前一帧，与第一视频帧直方图差异，来确定第一视频帧是否为场景切换帧。

4、一种可能的设计中，第二设备可以通过检测接收到的指示信息是否包括第一标识，实现检测第一视频帧是否为场景切换帧。第二设备执行视频帧处理方法过程中，可以接收指示信息。第一设备可以通过多种方式发送指示信息。指示信息可以包括第一标识，第一标识用于指示第一视频帧是否为场景切换帧。指示信息可以在第一视频帧的码流中。第一设备可通过向第二设备发送第一视频帧的码流携带指示信息。或者，指示信息可以在目标码流中，目标码流为第二设备接收到第一视频帧的码流之前最近一次接收到的码流。第一设备可以通过向第二设备发送目标码流携带该指示信息。第二设备可以检测指示信息中是否包括第一标识，若指示信息包括第一标识，第二设备可以确定第一视频帧为场景切换帧。若指示信息不包括第一标识，可反映第一视频帧不是场景切换帧。若指示信息包括第一标识，则第二设备可以对第一视频帧执行场景切换帧相应的显示操作。

5、为使第二设备在显示第一视频帧之前可以确定第一视频帧是否为场景切换帧。一种可能的设计中，所述第一视频帧包括次序排列的至少一个图像单元，目标图像单元为所述第一视频帧中首个图像单元，所述指示信息在所述目标图像单元的码流中。

6、一种可能的设计中，所述目标图像单元为图像条(slice)，或者图像片(tile)；或者，所述目标图像单元包括多个图像块。所述多个图像块可以为一组图像块(例如h.264中的宏块，h.265中的最大编码块)。

7、一种可能的设计中，所述指示信息在所述目标图像单元的码流的基本层图像数据的头信息中，其中，所述头信息在所述目标图像单元的码流对应的网络抽象层中。

8、一种可能的设计中，所述头信息在所述网络抽象层的头信息中；或者，所述头信息在所述网络抽象层的主体中，且在所述目标图像单元的帧头信息中。

9、一种可能的设计中，所述目标码流的时序在所述第二视频帧的码流的时序之后。第二视频帧为第二设备最近一次显示的视频帧，目标码流可以为第二设备在接收到第二视频帧的码流之后接收到的码流。或者说，第一设备在发送第二视频帧的码流之后，以及发送第一视频帧的码流之前，可以发送目标码流，用于指示第一视频帧是否为场景切换帧。

10、一种可能的设计中，为保障第一视频帧的显示效果，如图像质量和显示速度等。所述显示条件包括如下一种或多种：确定接收到所述第一视频帧的全部图像单元的码流；或者，确定所述第一视频帧满足质量条件。

11、一种可能的设计中，所述质量条件包括如下一种或多种：接收到的所述第一视频帧的所有图像单元的码流中，每个图像单元的码流所包括增强层图像数据的数量大于或等于预设的数量阈值；所述每个图像单元的码流中包括至少一个量化参数，且所述量化参数小于预设参数阈值。

12、一种可能的设计中，若指示信息包括第一标识，第二设备可以在确定第一视频帧满足预设的显示条件后，不显示第一视频帧，直接显示第三视频帧的图像单元。第三视频帧可以为第二设备当前接收到的视频帧。第二设备可以直接显示正在解码的第三视频帧的图像单元。

13、一种可能的设计中，第二设备还可以执行如下操作：若所述指示信息不包括所述第一标识，则在接收到所述第一视频帧的任一图像单元的码流后，基于所述任一图像单元的码流，显示所述任一图像单元的重构图像。本技术实施例中，第一视频帧不是场景切换帧时，第二设备可以在接收到任一第一视频帧的图像单元的码流后，对该图像单元进行解码和显示。

14、一种可能的设计中，若所述指示信息包括所述第一标识，第二设备还可以执行如下操作：针对所述第一视频帧的任一图像单元的码流，执行如下操作：在确定所述任一图像单元的码流满足反馈条件后，发送所述任一图像单元对应的反馈信息；其中，所述反馈条件为所述任一图像单元的码流所包括增强层图像数据的数量大于或等于预设的数量阈值。

15、第二方面，本技术实施例提供一种视频帧处理方法。方法可以由编码端或者编码设备执行。编码设备可以向解码设备发送的视频。本技术实施例提供的视频帧处理方法可以为视频中的任意一帧。便于介绍将编码设备记为第一设备，解码设备记为第二设备。第一设备执行视频帧处理方法过程中，可以确定待处理的第一视频帧是否为场景切换帧。若所述第一视频帧为场景切换帧，发送指示信息，所述指示信息包括第一标识，其中，所述第一标识用于指示所述第一视频帧为场景切换帧。

16、一种可能的设计中，所述指示信息在所述第一视频帧的码流中，或者所述指示信息在目标码流中，且所述目标码流为发送所述第一视频帧的码流之前最近一次发送的码流。

17、一种可能的设计中，所述第一视频帧包括次序排列的至少一个图像单元，目标图像单元为所述第一视频帧中首个图像单元，所述指示信息在所述目标图像单元的码流中。

18、一种可能的设计中，所述图像单元为图像条(slice)或者图像片(tile)；或者，所述图像单元包括多个图像块。

19、一种可能的设计中，所述目标图像单元的码流的基本层图像数据的头信息包括所述指示信息，其中，所述头信息在所述目标图像单元的码流对应的网络抽象层中。

20、一种可能的设计中，所述头信息在所述网络抽象层的头信息中；或者，所述头信息在所述网络抽象层的主体中，且在所述目标图像单元的帧头信息中。

21、一种可能的设计中，若所述第一视频帧为场景切换帧，则所述第一视频帧的每个图像单元的码流包括基本层图像数据和第一数量个增强层图像数据，所述第一数量为预设的。若所述第一视频帧不为所述场景切换帧，则所述每个图像单元的码流包括基本层图像数据和第二数量个增强层图像数据，所述第二数量是基于信道质量确定的。

22、本技术实施例中，场景切换帧的码流包括第一数量个增强层图像数据，可以避免因信道质量较差造成场景切换帧传输失败，尽可能提升场景切换帧传输成功率，保障场景切换帧的显示质量。

23、一种可能的设计中，所述指示信息在所述第一视频帧的码流中的情形下，第一设备发送指示信息，也即第一设备发送第一视频帧的码流可以采用如下过程：发送第一图像单元的码流，其中，所述排列中任意次序相邻的两个图像单元中，前一个的图像单元为所述第一图像单元，后一个的图像单元为所述第二图像单元。若检测到所述第一图像单元对应的第一反馈信息后，发送所述第二图像单元的码流，所述第一反馈信息表征接收端接收到所述第一图像单元的码流所包括增强层图像数据的数量大于或等于预设的数量阈值。

24、本技术实施例中，第一设备接收到第二设备发送第一图像单元的反馈信息，可以反映第一图像单元的码流可以被第二设备接受并显示，例如满足第二设备的图像单元的质量要求或者显示要求等。

25、一种可能的设计中，为使第一视频帧能够被第二设备接收，第一设备还可以执行如下操作：若在发送所述第一图像单元的码流后的预设时长内，未检测到所述第一反馈信息，重复发送所述第一图像单元的码流，直至检测到所述第一反馈信息。或者，若在发送所述第一图像单元的码流后的预设时长内未检测到所述第一反馈信息，发送所述第二图像单元的码流；并在发送所述第一视频帧的最后一个图像单元的码流后，重新发送所述第一图像单元的码流。

26、第三方面，本技术实施例提供一种视频帧处理设备，包括处理器以及耦合至所述处理器的存储器。其中，该存储器可用于存储程序代码；处理器可调用存储在所述存储器中的程序代码以执行上述第一方面及第一方面任一可能的设计中的方法，或者执行上述第二方面及第二方面任一可能的设计中的方法。

27、第四方面，本技术实施例提供一种视频系统，可以包括第一设备和第二设备。第一设备可以执行上述第一方面及第一方面任一可能的设计中的方法。第二设备可以执行上述第二方面及第二方面任一可能的设计中的方法。

28、第五方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被计算机执行时，使得所述计算机执行上述第一方面及第一方面任一可能的设计中的方法，或者执行上述第二方面及第二方面任一可能的设计中的方法。

29、第六方面，本技术实施例还提供了一种芯片，所述芯片用于读取存储器中存储的计算机程序，执行上述第一方面及第一方面任一可能的设计中的方法，或者执行上述第二方面及第二方面任一可能的设计中的方法。

30、第七方面，本技术实施例还提供了一种芯片系统，该芯片系统包括处理器，用于支持计算机装置实现上述第一方面及第一方面任一可能的设计中的方法，或者上述第二方面及第二方面任一可能的设计中的方法。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

31、上述第二方面至第七方面中任一方面可以达到的技术效果可以参照上述第一方面及第一方面中任一可能的设计可以达到的技术效果说明，重复之处不予论述。