一种图像处理方法、装置及设备与流程

1.本技术涉及视频编解码领域，尤其涉及一种图像处理方法、装置及设备。


背景技术：

2.为了达到节约空间的目的，视频图像都是经过编码后才传输的，完整的视频编码方法可以包括预测、变换、量化、熵编码、滤波等过程，而预测编码可以包括帧内编码和帧间编码。帧间编码是利用视频时间域的相关性，使用邻近已编码图像的像素预测当前图像的像素，达到去除视频时域冗余的目的。帧内编码是考虑到相邻块之间存在很强的空域相关性，利用周围已经重建的像素作为参考像素，对当前未编码块进行预测，只需要对残差值进行后续编码处理，而不是对原始值进行编码，有效去除空域上的冗余，大大提高了压缩效率。
3.在视频编码过程中，可以将所有图像区分为i帧和p帧，i帧是采用帧内编码的图像，即可以进行独立编码，而不需要参考其它图像，p帧是采用帧间编码的图像，即需要参考其它图像完成编码，如依赖前面的图像完成编码。比如说，连续视频帧依次包括帧1-帧10，帧1是i帧，帧2-帧5是p帧，帧6是i帧，帧7-帧10是p帧，那么，帧1采用帧内编码，帧2参考帧1完成帧间编码，帧3参考帧2完成帧间编码，帧4参考帧3完成帧间编码，帧5参考帧4完成帧间编码，帧6采用帧内编码，帧7参考帧6完成帧间编码，以此类推。
4.显然，在上述方式中，所有p帧均不能被丢弃，一旦某个p帧被丢弃，那么，就会导致后续p帧无法被正确处理。比如说，若帧3被丢弃，则会导致帧4无法参考帧3完成帧间编码，帧5也无法参考帧4完成帧间编码。


技术实现要素：

5.本技术提供一种图像处理方法，所述方法包括：
6.将画面组gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧；其中，所述第一类p帧不能够作为参考帧，所述第二类p帧只能够作为第一类p帧的参考帧，所述第三类p帧能够作为第一类p帧的参考帧、且能够作为第二类p帧的参考帧、且能够作为第三类p帧的参考帧；
7.若确定需要对所述gop序列内的p帧进行抽帧，则对所述第一类p帧进行抽帧，或者，对所述第一类p帧和所述第二类p帧进行抽帧，或者，对所述第一类p帧、所述第二类p帧和所述第三类p帧进行抽帧。
8.示例性的，所述将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧，包括：基于所述gop序列内的各p帧之间的位置排序关系，将所述gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧。
9.示例性的，相邻两个第三类p帧之间存在两个第一类p帧和一个第二类p帧，且所述一个第二类p帧位于所述两个第一类p帧之间；
10.所述gop序列的i帧与第一个第三类p帧之间存在两个第一类p帧和一个第二类p
帧，且这个第二类p帧位于这两个第一类p帧之间。
11.示例性的，针对每个第一类p帧，若该第一类p帧的前一帧不是第一类p帧，则将该第一类p帧的前一帧作为该第一类p帧的参考帧，若该第一类p帧的前一帧是第一类p帧，则将前面最近一个非第一类p帧作为该第一类p帧的参考帧；针对每个第二类p帧，若该第二类p帧前面存在第三类p帧，则将该第二类p帧前面最近一个第三类p帧作为该第二类p帧的参考帧，若该第二类p帧前面不存在第三类p帧，则将所述gop序列的i帧作为该第二类p帧的参考帧；针对每个第三类p帧，若该第三类p帧前面存在第三类p帧，则将该第三类p帧前面最近一个第三类p帧作为该第三类p帧的参考帧，若该第三类p帧前面不存在第三类p帧，则将所述gop序列的i帧作为该第三类p帧的参考帧。
12.示例性的，当图像序列集合包括至少两个gop序列时，针对图像序列集合中的每个gop序列，若该gop序列不是所述图像序列集合的首个gop序列，则将首个gop序列的i帧作为该gop序列的第一帧的参考帧。
13.示例性的，所述若确定需要对所述gop序列内的p帧进行抽帧，则对所述第一类p帧进行抽帧，或者，对所述第一类p帧和所述第二类p帧进行抽帧，或者，对所述第一类p帧、所述第二类p帧和所述第三类p帧进行抽帧，包括：
14.若基于业务信息确定需要采用第一抽样比例对所述gop序列内的p帧进行抽帧，则对所有第一类p帧或部分第一类p帧进行抽帧；
15.若基于业务信息确定需要采用第二抽样比例对所述gop序列内的p帧进行抽帧，则对所有第一类p帧进行抽帧，并对所有第二类p帧或部分第二类p帧进行抽帧；其中，所述第二抽样比例大于所述第一抽样比例；
16.若基于业务信息确定需要采用第三抽样比例对所述gop序列内的p帧进行抽帧，则对所有第一类p帧进行抽帧，对所有第二类p帧进行抽帧，并对所有第三类p帧或部分第三类p帧进行抽帧；第三抽样比例大于第二抽样比例。
17.示例性的，所述方法还包括：若所述业务信息包括gop序列对应的分辨率、gop序列对应的帧率和解码端对应的解码能力，则基于所述分辨率、所述帧率和所述解码能力确定是否需要对所述gop序列内的p帧进行抽帧；若是，则基于所述分辨率、所述帧率和所述解码能力确定所述gop序列对应的抽样比例，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例；或者，
18.若所述业务信息包括发送端与接收端之间的目标网络对应的网络质量，则基于所述网络质量确定是否需要对所述gop序列内的p帧进行抽帧；
19.若是，则基于所述网络质量确定所述gop序列对应的抽样比例，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例。
20.本技术提供一种图像处理装置，所述装置包括：
21.划分模块，用于将画面组gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧；其中，所述第一类p帧不能够作为参考帧，所述第二类p帧只能够作为第一类p帧的参考帧，所述第三类p帧能够作为第一类p帧的参考帧、且能够作为第二类p帧的参考帧、且能够作为第三类p帧的参考帧；
22.处理模块，用于若确定需要对所述gop序列内的p帧进行抽帧，则对所述第一类p帧进行抽帧，或者，对所述第一类p帧和所述第二类p帧进行抽帧，或者，对所述第一类p帧、所
述第二类p帧和所述第三类p帧进行抽帧。
23.其中，所述划分模块将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧时具体用于：基于gop序列内的各p帧之间的位置排序关系，将所述gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧；
24.其中，针对所述gop序列内的所有p帧，相邻两个第三类p帧之间存在两个第一类p帧和一个第二类p帧，且所述一个第二类p帧位于所述两个第一类p帧之间；所述gop序列的i帧与第一个第三类p帧之间存在两个第一类p帧和一个第二类p帧，且这个第二类p帧位于这两个第一类p帧之间；
25.其中，针对每个第一类p帧，若该第一类p帧的前一帧不是第一类p帧，则将该第一类p帧的前一帧作为该第一类p帧的参考帧，若该第一类p帧的前一帧是第一类p帧，则将前面最近一个非第一类p帧作为该第一类p帧的参考帧；针对每个第二类p帧，若该第二类p帧前面存在第三类p帧，则将该第二类p帧前面最近一个第三类p帧作为该第二类p帧的参考帧，若该第二类p帧前面不存在第三类p帧，则将所述gop序列的i帧作为该第二类p帧的参考帧；针对每个第三类p帧，若该第三类p帧前面存在第三类p帧，则将该第三类p帧前面最近一个第三类p帧作为该第三类p帧的参考帧，若该第三类p帧前面不存在第三类p帧，则将所述gop序列的i帧作为该第三类p帧的参考帧；
26.其中，当图像序列集合包括至少两个gop序列时，针对每个gop序列，若该gop序列不是所述图像序列集合的首个gop序列，则所述划分模块，还用于将首个gop序列的i帧作为该gop序列的第一帧的参考帧；
27.其中，所述处理模块确定需要对所述gop序列内的p帧进行抽帧，则对所述第一类p帧进行抽帧，或者，对所述第一类p帧和所述第二类p帧进行抽帧，或者，对所述第一类p帧、所述第二类p帧和所述第三类p帧进行抽帧时具体用于：若基于业务信息确定需要采用第一抽样比例对gop序列内的p帧进行抽帧，则对所有第一类p帧或部分第一类p帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对gop序列内的p帧进行抽帧，则对所有第一类p帧进行抽帧，并对所有第二类p帧或部分第二类p帧进行抽帧；第二抽样比例大于第一抽样比例；若基于业务信息确定需要采用第三抽样比例对gop序列内的p帧进行抽帧，则对所有第一类p帧进行抽帧，对所有第二类p帧进行抽帧，并对所有第三类p帧或部分第三类p帧进行抽帧；第三抽样比例大于第二抽样比例；
28.其中，所述处理模块，还用于若所述业务信息包括gop序列对应的分辨率、gop序列对应的帧率和解码端对应的解码能力，则基于所述分辨率、所述帧率和所述解码能力确定是否需要对所述gop序列内的p帧进行抽帧；若是，则基于所述分辨率、所述帧率和所述解码能力确定所述gop序列对应的抽样比例，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例；或者，若所述业务信息包括编码端与解码端之间的目标网络对应的网络质量，则基于所述网络质量确定是否需要对所述gop序列内的p帧进行抽帧；若是，则基于所述网络质量确定所述gop序列对应的抽样比例，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例。
29.本技术提供一种图像处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本技术上述实施例公开的图像处理方法。
30.由以上技术方案可见，本技术实施例中，可以将gop(group of pictures，画面组)序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧，第一类p帧不能够作为参考帧，第二类p帧只能够作为第一类p帧的参考帧，第三类p帧能够作为第一类p帧的参考帧、且能够作为第二类p帧的参考帧、且能够作为第三类p帧的参考帧，在此基础上，可以对第一类p帧进行抽帧，或者，对第一类p帧和第二类p帧进行抽帧，或者，对第一类p帧、第二类p帧和第三类p帧进行抽帧。上述方式提供一种新型视频帧序列，该视频帧序列包括不同类型的p帧，即第一类p帧、第二类p帧和第三类p帧，在视频帧序列中，可以按照一定规律进行丢帧，既能保证视频帧序列按照顺序播放，具有按照规则间叉性丢弃p帧而不影响观看的特点，又可以在一些特殊场景下丢弃部分p帧以达到节省带宽的目的，该视频帧序列在解码、网络传输、存储中具有更好的使用前景，实现解码倍增路数、低带宽传输，低码率存储等特点。
附图说明
31.为了更加清楚地说明本技术实施例或者现有技术中的技术方案，下面将对本技术实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本技术实施例的这些附图获得其他的附图。
32.图1a和图1b是gop序列的示意图；
33.图2是本技术一种实施方式中的图像处理方法的流程示意图；
34.图3a和图3b是gop序列的示意图；
35.图4a-图4c是对gop序列内的p帧进行抽帧的示意图；
36.图5a-图5e是通过多路显示图像的示意图；
37.图6是图像序列集合的示意图；
38.图7是本技术一种实施方式中的图像处理装置的结构示意图；
39.图8是本技术一种实施方式中的图像处理设备的硬件结构图。
具体实施方式
40.在本技术实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本技术。本技术和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
41.应当理解，尽管在本技术实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
42.在视频编码和视频解码过程中，可以将所有图像区分为i帧和p帧，i帧是采用帧内编码的图像，即可以独立编码，而不需要参考其它图像，p帧是采用帧间编码的图像，即需要参考其它图像完成编码，如依赖前面的图像完成编码。
43.视频编码是为图像存储而产生的压缩技术，能够将图像压缩为体积较小的码流，
并将码流存储于硬盘。当需要播放视频时，将码流重新解码为图像，并对图像进行显示。在对图像进行视频编码时，编码方式有h.264、h.265等。
44.视频解码是将码流重新解码为图像的技术，在将码流(如存储于硬盘或从网络传输的码流)解码为图像之后，就可以显示图像，实现视频播放。
45.在视频编码和视频解码过程中，可以将i帧、该i帧与下一个i帧之间的所有p帧组成gop序列，即gop序列的第一帧是i帧，且gop序列只有一个i帧，gop序列的i帧后面可以包括p帧。比如说，连续视频帧依次包括帧1-帧10，帧1是i帧，帧2-帧5是p帧，帧6是i帧，帧7-帧10是p帧，那么，gop序列1包括帧1-帧5，gop序列2包括帧6-帧10，参见图1a所示，示出了gop序列1和gop序列2，每个gop序列可以包括一个i帧和多个p帧。
46.针对每个gop序列，该gop序列内的每个p帧均需要参考前一帧，比如说，对于gop序列1，帧2参考帧1完成帧间编码，帧3参考帧2完成帧间编码，帧4参考帧3完成帧间编码，帧5参考帧4完成帧间编码。但是，在上述结构中，所有p帧均不能丢弃，一旦某个p帧被丢弃，就会导致后续p帧无法被正确处理。比如说，参见图1b所示，若帧3被丢弃，则会导致帧4无法参考帧3完成帧间编码，帧5也无法参考帧4完成帧间编码，也就是说，帧3后面的所有p帧均不能被正确处理。正常情况下，两个i帧之间会有2秒到10秒之间的时间，若某个p帧被丢弃，就会导致数秒的图像无法正常显示。
47.针对上述问题，本技术实施例中提供一种新型视频帧序列，该视频帧序列包括不同类型的p帧，即第一类p帧、第二类p帧和第三类p帧，该视频帧序列可以按照一定规律进行丢帧，既能保证视频帧序列按照顺序播放，在丢弃p帧的情况下也不影响观看，也可以通过丢弃部分p帧达到节省带宽的目的。
48.以下结合具体实施例，对本技术实施例的技术方案进行说明。
49.本技术实施例中提出一种图像处理方法，该方法可以应用于任意设备，参见图2所示，为该图像处理方法的流程示意图，该方法可以包括：
50.步骤201、将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧；示例性的，该第一类p帧不能够作为参考帧，该第二类p帧只能够作为第一类p帧的参考帧，该第三类p帧能够作为第一类p帧的参考帧、且能够作为第二类p帧的参考帧、且能够作为第三类p帧的参考帧。
51.示例性的，针对每个gop序列来说，该gop序列可以包括i帧和多个p帧，本技术实施例中，可以将该gop序列内的所有p帧区分为3种类型的p帧，将这3种类型的p帧称为第一类p帧、第二类p帧和第三类p帧。
52.其中，第一类p帧也可以称为普通p帧，第一类p帧不能作为其它帧的参考帧。第一类p帧可以将其它帧作为本第一类p帧的参考帧，比如说，第一类p帧可以将第二类p帧作为参考帧，第一类p帧可以将第三类p帧作为参考帧，第一类p帧也可以将gop序列的i帧作为参考帧。但是，第一类p帧不可以将第一类p帧(即除本第一类p帧之外的其它第一类p帧)作为参考帧。
53.其中，第二类p帧也可以称为2x类型p帧，第二类p帧只能够作为第一类p帧的参考帧，但是不能作为第二类p帧的参考帧，也不能作为第三类p帧的参考帧。第二类p帧可以将其它帧作为本第二类p帧的参考帧，比如说，第二类p帧可以将第三类p帧作为参考帧，第二类p帧也可以将gop序列的i帧作为参考帧。但是，第二类p帧不可以将第二类p帧(即除本第
二类p帧之外的其它第二类p帧)作为参考帧，第二类p帧也不能将第一类p帧作为参考帧。
54.其中，第三类p帧也可以称为4x类型p帧，第三类p帧能够作为第一类p帧的参考帧、且能够作为第二类p帧的参考帧、且能够作为第三类p帧的参考帧。第三类p帧可以将其它帧作为本第三类p帧的参考帧，比如说，第三类p帧可以将第三类p帧(即除本第三类p帧之外的其它第三类p帧)作为参考帧，第三类p帧也可以将gop序列的i帧作为参考帧。但是，第三类p帧不可以将第二类p帧作为参考帧，第三类p帧也不能将第一类p帧作为参考帧。
55.在一种可能的实施方式中，在将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧时，可以采用任意划分方式，本实施例对此划分方式不做限制，只要能够同时存在第一类p帧、第二类p帧和第三类p帧即可。示例性的，可以基于gop序列内的各p帧之间的位置排序关系，将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧，即划分方式依据是位置排序关系。位置排序关系是指p帧是gop序列内的哪一p帧，如第一个p帧、第二个p帧、第三个p帧等，用于表示处于gop序列的哪个位置。
56.例如，第一个p帧是第一类p帧，第二个p帧是第二类p帧，第三个p帧是第三类p帧，第四个p帧是第一类p帧，第五个p帧是第二类p帧，第六个p帧是第三类p帧，以此类推。例如，第一个p帧和第二个p帧是第一类p帧，第三个p帧和第四个p帧是第二类p帧，第五个p帧和第六个p帧是第三类p帧，以此类推。又例如，第一个p帧是第一类p帧，第二个p帧是第二类p帧，第三个p帧是第一类p帧，第四个p帧是第三类p帧，第五个p帧是第一类p帧，第六个p帧是第二类p帧，以此类推。例如，第一个p帧和第二个p帧是第一类p帧，第三个p帧是第二类p帧，第四个p帧是第三类p帧，第五个p帧和第六个p帧是第一类p帧，以此类推。当然，上述划分方式只是几个示例。
57.示例性的，在将所有p帧划分为第一类p帧、第二类p帧和第三类p帧时，第一类p帧的数量与第二类p帧的数量可以相同，第一类p帧的数量与第二类p帧的数量可以不同。第一类p帧的数量与第三类p帧的数量可以相同，第一类p帧的数量与第三类p帧的数量可以不同。第二类p帧的数量与第三类p帧的数量可以相同，第二类p帧的数量与第三类p帧的数量可以不同。
58.示例性的，第一类p帧的数量可以大于第二类p帧的数量，第一类p帧的数量可以小于第二类p帧的数量。第一类p帧的数量可以大于第三类p帧的数量，第一类p帧的数量可以小于第三类p帧的数量。第二类p帧的数量可以大于第三类p帧的数量，第二类p帧的数量可以小于第三类p帧的数量。
59.比如说，第一类p帧的数量大于第二类p帧的数量，第一类p帧的数量大于第三类p帧的数量，且第二类p帧的数量等于第三类p帧的数量。
60.又例如，第二类p帧的数量等于第三类p帧的数量，且第一类p帧的数量大于或者等于第二类p帧的数量与第三类p帧的数量之和。
61.示例性的，在将所有p帧划分为第一类p帧、第二类p帧和第三类p帧时，第一类p帧、第二类p帧和第三类p帧可以交替出现，即两个第一类p帧不会连续出现，两个第二类p帧不会连续出现，两个第三类p帧不会连续出现。比如说，第一类p帧后面的可以是第二类p帧或第三类p帧，但不会是第一类p帧，第二类p帧后面的可以是第一类p帧或第三类p帧，但不会是第二类p帧，第三类p帧后面的可以是第一类p帧或第二类p帧，但不会是第三类p帧。
62.比如说，第一类p帧后面的可以是第二类p帧或第三类p帧，第二类p帧后面的可以
是第一类p帧，第三类p帧后面的可以是第一类p帧。
63.示例性的，gop序列的i帧后面可以是第一类p帧，gop序列的i帧后面可以是第二类p帧，gop序列的i帧后面可以是第三类p帧，对此不做限制。
64.比如说，gop序列的i帧后面的第一个p帧是第一类p帧。
65.在一种可能的实施方式中，在将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧时，相邻两个第三类p帧之间可以存在两个第一类p帧和一个第二类p帧，且一个第二类p帧可以位于两个第一类p帧之间。此外，gop序列的i帧(即第一帧)与第一个第三类p帧之间可以存在两个第一类p帧和一个第二类p帧，且这个第二类p帧可以位于这两个第一类p帧之间。
66.当然，上述划分方式只是一个示例，对此不做限制，比如说，相邻两个第三类p帧之间可以存在三个第一类p帧和两个第二类p帧，且第二类p帧位于两个第一类p帧之间。又例如，相邻两个第三类p帧之间可以存在两个第一类p帧和三个第二类p帧，且第一类p帧位于两个第二类p帧之间。又例如，相邻两个第三类p帧之间可以存在两个第一类p帧和两个第二类p帧，第二类p帧位于两个第一类p帧之间，且第一类p帧位于两个第二类p帧之间。又例如，相邻两个第三类p帧之间可以存在三个第一类p帧和三个第二类p帧，第二类p帧位于两个第一类p帧之间，且第一类p帧位于两个第二类p帧之间。
67.为了方便描述，本实施例中，以图3a所示的gop序列为例，i帧后面的第一帧是第一类p帧，i帧与第一个第三类p帧之间存在两个第一类p帧和一个第二类p帧，且第二类p帧位于两个第一类p帧之间。相邻两个第三类p帧之间存在两个第一类p帧和一个第二类p帧，且第二类p帧位于两个第一类p帧之间。参见图3a所示，gop序列内的各帧依次是：i帧、第一类p帧、第二类p帧、第一类p帧、第三类p帧、第一类p帧、第二类p帧、第一类p帧、第三类p帧、第一类p帧、第二类p帧、第一类p帧、第三类p帧，以此类推。
68.在一种可能的实施方式中，基于“第一类p帧不作为参考帧，第二类p帧作为第一类p帧的参考帧，第三类p帧作为第一类p帧的参考帧、且作为第二类p帧的参考帧、且作为第三类p帧的参考帧”的特点，那么：针对每个第一类p帧，若该第一类p帧的前一帧不是第一类p帧，则将该第一类p帧的前一帧(可能是i帧、第二类p帧、或第三类p帧)作为该第一类p帧的参考帧。若该第一类p帧的前一帧是第一类p帧，则将该第一类p帧前面最近一个非第一类p帧(如i帧、第二类p帧、或第三类p帧)作为该第一类p帧的参考帧。
69.针对每个第二类p帧，若该第二类p帧前面存在第三类p帧，则将该第二类p帧前面最近一个第三类p帧作为该第二类p帧的参考帧。若该第二类p帧前面不存在第三类p帧，则将gop序列的i帧作为该第二类p帧的参考帧。
70.针对每个第三类p帧，若该第三类p帧前面存在第三类p帧，则将该第三类p帧前面最近一个第三类p帧作为该第三类p帧的参考帧。若该第三类p帧前面不存在第三类p帧，则将gop序列的i帧作为该第三类p帧的参考帧。
71.参见图3b所示，示出了各p帧与参考帧之间的关系。针对第一类p帧来说，第1个第一类p帧的参考帧是前面的i帧，第2个第一类p帧的参考帧是前面的第二类p帧，第3个第一类p帧的参考帧是前面的第三类p帧，第4个第一类p帧的参考帧是前面的第二类p帧，第5个第一类p帧的参考帧是前面的第三类p帧，以此类推。针对第二类p帧来说，第1个第二类p帧的参考帧是前面的i帧，第2个第二类p帧的参考帧是前面的第三类p帧，第3个第二类p帧的
参考帧是前面的第三类p帧，以此类推。针对第三类p帧来说，第1个第三类p帧的参考帧是前面的i帧，第2个第三类p帧的参考帧是前面的第三类p帧，第3个第三类p帧的参考帧是前面的第三类p帧，以此类推。
72.步骤202、若确定需要对gop序列内的p帧进行抽帧，则对第一类p帧进行抽帧，或者，对第一类p帧和第二类p帧进行抽帧，或者，对第一类p帧、第二类p帧和第三类p帧进行抽帧。示例性的，对p帧进行抽帧可以是指：不对这个p帧进行处理，如编码端对p帧进行抽帧时，就是不对这个p帧进行编码，解码端对p帧进行抽帧时，就是不对这个p帧进行解码。
73.在一种可能的实施方式中，若确定需要对gop序列内的p帧进行抽帧，则可以对所有第一类p帧或部分第一类p帧进行抽帧；或者，可以对所有第一类p帧进行抽帧，并对所有第二类p帧或部分第二类p帧进行抽帧；或者，可以对所有第一类p帧进行抽帧，对所有第二类p帧进行抽帧，并对所有第三类p帧或部分第三类p帧进行抽帧。综上可以看出，在对第一类p帧进行抽帧时，不需要考虑第二类p帧和第三类p帧是否被抽帧，可以直接对第一类p帧进行抽帧。在对第二类p帧进行抽帧时，需要考虑第一类p帧是否被抽帧，不需要考虑第三类p帧是否被抽帧，只有在所有第一类p帧均被抽帧之后，才可以对第二类p帧进行抽帧。在对第三类p帧进行抽帧时，需要考虑第一类p帧是否被抽帧，且需要考虑第二类p帧是否被抽帧，只有在所有第一类p帧均被抽帧，且所有第二类p帧均被抽帧之后，才可以对第三类p帧进行抽帧。
74.在一种可能的实施方式中，为了对gop序列内的p帧进行抽帧，可以划分多个抽样比例，该抽样比例用于表示对多少p帧进行抽帧，例如，抽样比例为x时，表示对所有p帧中的x进行抽帧，不同抽样比例表示不同抽样方式。
75.比如说，划分3个抽样比例，记为第一抽样比例、第二抽样比例和第三抽样比例，第一抽样比例小于第二抽样比例，且第二抽样比例小于第三抽样比例。针对第一抽样比例，对所有第一类p帧或部分第一类p帧进行抽帧；针对第二抽样比例，对所有第一类p帧进行抽帧，并对所有第二类p帧或部分第二类p帧进行抽帧；针对第三抽样比例，对所有第一类p帧进行抽帧，对所有第二类p帧进行抽帧，并对所有第三类p帧或部分第三类p帧进行抽帧。
76.又例如，划分6个抽样比例，记为第一抽样比例、第二抽样比例、第三抽样比例、第四抽样比例、第五抽样比例和第六抽样比例，第一抽样比例小于第二抽样比例，第二抽样比例小于第三抽样比例，第三抽样比例小于第四抽样比例，第四抽样比例小于第五抽样比例，第五抽样比例小于第六抽样比例。针对第一抽样比例，对部分第一类p帧进行抽帧；针对第二抽样比例，对所有第一类p帧进行抽帧；针对第三抽样比例，对所有第一类p帧进行抽帧，对部分第二类p帧进行抽帧；针对第四抽样比例，对所有第一类p帧进行抽帧，对所有第二类p帧抽帧；针对第五抽样比例，对所有第一类p帧进行抽帧，对所有第二类p帧抽帧，对部分第三类p帧进行抽帧；针对第六抽样比例，对所有第一类p帧进行抽帧，对所有第二类p帧抽帧，对所有第三类p帧进行抽帧。
77.当然，上述只是抽样比例的划分示例，对此不做限制，可以划分任意数量的抽样比例，为了方便描述，后续以划分3个抽样比例为例进行说明。
78.在此基础上，若确定需要采用第一抽样比例对gop序列内的p帧进行抽帧，则可以对所有第一类p帧或部分第一类p帧进行抽帧；若确定需要采用第二抽样比例对gop序列内的p帧进行抽帧，则可以对所有第一类p帧进行抽帧，并对所有第二类p帧或部分第二类p帧
进行抽帧；若确定需要采用第三抽样比例对gop序列内的p帧进行抽帧，则可以对所有第一类p帧进行抽帧，对所有第二类p帧进行抽帧，并对所有第三类p帧或部分第三类p帧进行抽帧。
79.示例性的，假设第一类p帧的总数量占p帧总数量的x1，第二类p帧的总数量占p帧总数量的x2，第三类p帧的总数量占p帧总数量的x3，x1、x2与x3之和为1，那么，第一抽样比例小于或者等于x1，第二抽样比例大于x1，且小于或者等于x1+x2，第三抽样比例大于x1+x2，且小于或者等于x1+x2+x3。
80.参见图3a和图3b所示，x1为0.5，x2为0.25，x3为0.25，在此基础上，若抽样比例小于或者等于0.5，则说明抽样比例是第一抽样比例，若抽样比例大于0.5，且小于或者等于0.75，则说明抽样比例是第二抽样比例，若抽样比例大于0.75，且小于或者等于1，则说明抽样比例是第三抽样比例。
81.综上可以看出，在对p帧进行抽帧时，优先对第一类p帧的全部或局部进行抽帧，第一类p帧全部被抽帧后，可以对第二类p帧的全部或局部进行抽帧，第二类p帧全部被抽帧后，可以对第三类p帧的全部或局部进行抽帧。对第三类p帧的局部进行抽帧时，保留前面的第三类p帧，对后面的第三类p帧进行抽帧，如对第k(k大于1)个第三类p帧之后的所有第三类p帧进行抽帧。
82.示例性的，参见图4a所示，若确定需要采用第一抽样比例对gop序列内的p帧进行抽帧，则可以对所有第一类p帧进行抽帧，在该情况下，第一抽样比例小于或者等于0.5。参见图4b所示，若确定需要采用第二抽样比例对gop序列内的p帧进行抽帧，则可以对所有第一类p帧进行抽帧，并对所有第二类p帧进行抽帧，在该情况下，第二抽样比例小于或者等于0.75，且大于0.5。参见图4c所示，若确定需要采用第三抽样比例对gop序列内的p帧进行抽帧，则可以对所有第一类p帧进行抽帧，对所有第二类p帧进行抽帧，并对所有第三类p帧进行抽帧，在该情况下，第三抽样比例小于或者等于1，且大于0.75。
83.参见图4a所示，一个gop序列可以实现1/2抽帧，当1/2抽帧无法满足业务需求时，参见图4b所示，一个gop序列可以实现3/4抽帧，当3/4抽帧也无法满足业务需求时，参见图4c所示，一个gop序列可以实现完全抽帧。
84.在一种可能的实施方式中，可以基于业务信息确定gop序列对应的抽样比例，比如说，基于业务信息确定采用第一抽样比例对gop序列内的p帧进行抽帧，或者，基于业务信息确定采用第二抽样比例对gop序列内的p帧进行抽帧，或者，基于业务信息确定采用第三抽样比例对gop序列内的p帧进行抽帧。
85.若采用第一抽样比例对gop序列内的p帧进行抽帧时，能够满足业务信息对应的业务需求，即对gop序列抽取x1(如0.5)的p帧能够满足业务需求，基于业务信息确定采用第一抽样比例。若采用第一抽样比例无法满足业务需求，但采用第二抽样比例对gop序列内的p帧进行抽帧时，能够满足业务信息对应的业务需求，即对gop序列抽取x1+x2(如0.75)的p帧能够满足业务需求，基于业务信息确定采用第二抽样比例。若采用第一抽样比例无法满足业务需求，采用第二抽样比例也无法满足业务需求，基于业务信息确定采用第三抽样比例。
86.以下结合业务信息的两个具体应用场景，对上述抽帧过程进行说明。
87.应用场景1：业务信息包括gop序列对应的分辨率(如4*30帧表示帧率)、gop序列对应的帧率和解码端对应的解码能力，基于分辨率、帧率和解码能力确定是否需要对gop序列
内的p帧进行抽帧。若否，则不对gop序列内的p帧进行抽帧。若是，则基于该分辨率、帧率和该解码能力确定gop序列对应的抽样比例，如第一抽样比例、或第二抽样比例、或第三抽样比例。
88.比如说，假设nvr设备具有4*1080p30的解码能力，即nvr设备一秒钟可以解码4*30帧的1920*1080的图像，超过该解码能力的图像就无法完成解码。
89.a、若gop序列对应的是4*30帧的图像(分辨率为1920*1080)，则基于分辨率、帧率和解码能力确定不需要对gop序列内的p帧进行抽帧，即分辨率、帧率和解码能力匹配，因此，nvr设备不对gop序列内的p帧进行抽帧，一秒钟可以解码4*30帧的图像，并通过4路显示1080p30的图像，参见图5a所示。
90.b、若gop序列对应的是8*30帧的图像(分辨率为1920*1080)，则基于分辨率、帧率和解码能力确定需要对gop序列内的p帧进行抽帧，即分辨率、帧率和解码能力不匹配(即解码能力不支持解码该分辨率、帧率的图像)，因此，确定需要对gop序列内的p帧进行抽帧，且每路图像按照第一抽样比例(即1/2抽帧的方式)进行抽帧，一秒钟可以解码4*30帧的图像时，可以通过8路显示1080p15的图像，参见图5b所示，显然，8路的15帧对应的是4*30帧。
91.显然，当解码路数增加时，如从4路变为8路，可以通过对每路图像进行抽帧的方式，使得解码能力支持解码该分辨率、帧率的图像，满足业务需求。
92.c、若gop序列对应的是4*60帧的图像(分辨率1920*1080)，则基于分辨率、帧率和解码能力确定需要对gop序列内的p帧进行抽帧，即分辨率、帧率和解码能力不匹配(即解码能力不支持解码该分辨率、帧率的图像)，因此，确定需要对gop序列内的p帧进行抽帧，且每路图像按照第一抽样比例(即1/2抽帧的方式)进行抽帧，一秒钟可以解码4*30帧的图像时，可以通过4路显示1080p30的图像，参见图5c所示，显然，4*60帧被1/2抽帧之后剩余4*30帧。
93.显然，当倍速回放时，如从30帧图像变为60帧图像，可以通过对每路图像进行抽帧的方式，使得解码能力支持解码该分辨率、帧率的图像，满足业务需求，也就是说，30帧2倍速相当于每秒60帧，按照1/2抽帧等于每秒30帧。
94.d、若gop序列对应的是12*30帧的图像(分辨率为1920*1080)，则基于分辨率、帧率和解码能力确定需要对gop序列内的p帧进行抽帧，即分辨率、帧率和解码能力不匹配(即解码能力不支持解码该分辨率、帧率的图像)，因此，确定需要对gop序列内的p帧进行抽帧，且每路图像按照第二抽样比例(即3/4抽帧的方式)进行抽帧，一秒钟可以解码4*30帧的图像时，可以通过12路显示1080p10的图像，参见图5d所示，显然，12路的10帧对应的是4*30帧。
95.显然，当解码路数增加时，如从4路变为12路，可以通过对每路图像进行抽帧的方式，使得解码能力支持解码该分辨率、帧率的图像，满足业务需求。
96.e、若gop序列对应的是16*30帧的图像(分辨率为1920*1080)，则基于分辨率、帧率和解码能力确定需要对gop序列内的p帧进行抽帧，即分辨率、帧率和解码能力不匹配(即解码能力不支持解码该分辨率、帧率的图像)，因此，确定需要对gop序列内的p帧进行抽帧，且每路图像按照第三抽样比例(即4/4抽帧的方式)进行抽帧，一秒钟可以解码4*30帧的图像时，可以通过16路显示1080p7.5的图像，参见图5e所示，显然，16路的7.5帧对应的是4*30帧。
97.显然，当解码路数增加时，如从4路变为16路，可以通过对每路图像进行抽帧的方式，使得解码能力支持解码该分辨率、帧率的图像，满足业务需求。
98.综上可以看出，当多倍速和/或多路数的条件任意变化时，可以按照第一抽样比例、或第二抽样比例、或第三抽样比例来抽帧，从而满足业务需求。
99.应用场景2：若业务信息包括发送端与接收端之间的目标网络对应的网络质量，则基于该网络质量确定是否需要对gop序列内的p帧进行抽帧。若否，则不对gop序列内的p帧进行抽帧。若是，则基于该网络质量确定gop序列对应的抽样比例，如第一抽样比例、或第二抽样比例、或第三抽样比例。
100.比如说，发送端向接收端发送gop序列时，需要检测用于承载gop序列的目标网络对应的网络质量(如抖动、丢包率等)，对此检测方式不做限制。
101.在一种可能的实施方式中，可以设计4个级别的网络质量，若目标网络对应的网络质量是第1级别(即最优级别)的网络质量，则确定不对gop序列内的p帧进行抽帧。若目标网络对应的网络质量是第2级别的网络质量，则确定对gop序列内的p帧进行抽帧，且抽样比例是第一抽样比例，如1/2抽帧的方式。若目标网络对应的网络质量是第3级别的网络质量，则确定对gop序列内的p帧进行抽帧，且抽样比例是第二抽样比例，如3/4抽帧的方式。若目标网络对应的网络质量是第4级别(即最差级别)的网络质量，则确定对gop序列内的p帧进行抽帧，且抽样比例是第三抽样比例，如4/4抽帧的方式。
102.在另一种可能的实施方式中，可以设计2个级别的网络质量，若目标网络对应的网络质量是第1级别(即最优级别)的网络质量，则确定不对gop序列内的p帧进行抽帧。若目标网络对应的网络质量是第2级别的网络质量，则确定对gop序列内的p帧进行抽帧，且抽样比例是第一抽样比例，在gop序列的传输过程中，若网络质量仍然是第2级别的网络质量，则将抽样比例调整为第二抽样比例，在gop序列的传输过程中，若网络质量仍然是第2级别的网络质量，则将抽样比例调整为第三抽样比例。此外，在gop序列的传输过程中，若网络质量恢复为第1级别的网络质量，则不对gop序列内的p帧进行抽帧。
103.当然，上述两个应用场景只是确定抽样比例的两个示例，还可以采用其它方式确定gop序列对应的抽样比例，对此不做限制。例如，依据每帧大小来确定gop序列对应的抽样比例，如帧大小小于第一门限值时，不对gop序列内的p帧进行抽帧，帧大小大于第一门限值且小于第二门限值时，抽样比例是第一抽样比例，帧大小大于第二门限值且小于第三门限值时，抽样比例是第二抽样比例，帧大小大于第三门限值时，抽样比例是第三抽样比例。
104.在一种可能的实施方式中，还可以将至少两个gop序列组成一个图像序列集合，基于此，当图像序列集合包括至少两个gop序列时，针对每个gop序列，若该gop序列不是该图像序列集合的首个gop序列，则可以将首个gop序列的i帧作为该gop序列的第一帧的参考帧。在该实施方式中，若gop序列不是图像序列集合的首个gop序列，则可以将该gop序列的第一帧称为关键p帧(即不再称为i帧)，关键p帧的参考帧是前面最近的i帧。
105.示例性的，对于图像序列集合来说，该图像序列集合可以包括至少一个关键p帧，即允许存在至少一个关键p帧，关键p帧用于取代i帧的位置，关键p帧只能参考离它最近的前面的i帧，且关键p帧的帧结构可以有效降低整体带宽。
106.参见图6所示，是图像序列集合的示意图，该图像序列集合可以包括关键p帧。在i帧与关键p帧之间，可以存在第一类p帧、第二类p帧和第三类p帧，第一类p帧、第二类p帧和第三类p帧的结构关系可以参见上述实施例。在相邻两个关键p帧之间，可以存在第一类p帧、第二类p帧和第三类p帧，第一类p帧、第二类p帧和第三类p帧的结构关系可以参见上述
实施例。
107.在对p帧进行抽帧时，可以对第一类p帧进行抽帧，可以对第二类p帧进行抽帧，可以对第三类p帧进行抽帧，但是不能对关键p帧进行抽帧。
108.由以上技术方案可见，本实施例提供一种新型视频帧序列，该视频帧序列包括第一类p帧、第二类p帧和第三类p帧，可以按照一定规律进行丢帧，既能保证视频帧序列按照顺序播放，具有按照规则间叉性丢弃p帧而不影响观看的特点，又可以在一些特殊场景下丢弃部分p帧以达到节省带宽的目的，视频帧序列在解码、网络传输、存储中具有更好的使用前景，实现解码倍增路数、低带宽传输，低码率存储等特点，在弱网环境下也能够解决帧丢失后长期黑屏花屏等问题。丢帧策略可以动态实施，根据现场情况任意调整丢帧策略，在不影响解码完整性的情况下，灵活而有效的降低消耗。该视频帧序列可以保证抽帧的灵活性和图像质量的稳定性，可以有效改善客户体验。
109.基于与上述方法同样的申请构思，本技术实施例中提出一种图像处理装置，参见图7所示，为该图像处理装置的结构示意图，该装置可以包括：
110.划分模块71，用于将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧；其中，所述第一类p帧不能够作为参考帧，所述第二类p帧只能够作为第一类p帧的参考帧，所述第三类p帧能够作为第一类p帧的参考帧、且能够作为第二类p帧的参考帧、且能够作为第三类p帧的参考帧；
111.处理模块72，用于若确定需要对所述gop序列内的p帧进行抽帧，则对所述第一类p帧进行抽帧，或者，对所述第一类p帧和所述第二类p帧进行抽帧，或者，对所述第一类p帧、所述第二类p帧和所述第三类p帧进行抽帧。
112.示例性的，所述划分模块71将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧时具体用于：基于gop序列内的各p帧之间的位置排序关系将gop序列内的所有p帧划分为第一类p帧、第二类p帧和第三类p帧。
113.示例性的，针对所述gop序列内的所有p帧，相邻两个第三类p帧之间存在两个第一类p帧和一个第二类p帧，且所述一个第二类p帧位于所述两个第一类p帧之间；所述gop序列的i帧与第一个第三类p帧之间存在两个第一类p帧和一个第二类p帧，且这个第二类p帧位于这两个第一类p帧之间。
114.示例性的，针对每个第一类p帧，若该第一类p帧的前一帧不是第一类p帧，则将该第一类p帧的前一帧作为该第一类p帧的参考帧，若该第一类p帧的前一帧是第一类p帧，则将前面最近一个非第一类p帧作为该第一类p帧的参考帧；针对每个第二类p帧，若该第二类p帧前面存在第三类p帧，则将该第二类p帧前面最近一个第三类p帧作为该第二类p帧的参考帧，若该第二类p帧前面不存在第三类p帧，则将所述gop序列的i帧作为该第二类p帧的参考帧；针对每个第三类p帧，若该第三类p帧前面存在第三类p帧，则将该第三类p帧前面最近一个第三类p帧作为该第三类p帧的参考帧，若该第三类p帧前面不存在第三类p帧，则将所述gop序列的i帧作为该第三类p帧的参考帧。
115.示例性的，当图像序列集合包括至少两个gop序列时，针对每个gop序列，若该gop序列不是所述图像序列集合的首个gop序列，则所述划分模块71，还用于将首个gop序列的i帧作为该gop序列的第一帧的参考帧。
116.示例性的，所述处理模块72确定需要对gop序列内的p帧进行抽帧，则对所述第一
类p帧进行抽帧，或者，对所述第一类p帧和所述第二类p帧进行抽帧，或者，对所述第一类p帧、所述第二类p帧和所述第三类p帧进行抽帧时具体用于：若基于业务信息确定需要采用第一抽样比例对gop序列内的p帧进行抽帧，则对所有第一类p帧或部分第一类p帧进行抽帧；若基于业务信息确定需要采用第二抽样比例对gop序列内的p帧进行抽帧，则对所有第一类p帧进行抽帧，对所有第二类p帧或部分第二类p帧进行抽帧；第二抽样比例大于第一抽样比例；若基于业务信息确定需要采用第三抽样比例对gop序列内的p帧进行抽帧，则对所有第一类p帧进行抽帧，对所有第二类p帧进行抽帧，对所有第三类p帧或部分第三类p帧进行抽帧；第三抽样比例大于第二抽样比例。
117.示例性的，所述处理模块72，还用于若所述业务信息包括gop序列对应的分辨率、gop序列对应的帧率和解码端对应的解码能力，则基于所述分辨率、所述帧率和所述解码能力确定是否需要对所述gop序列内的p帧进行抽帧；若是，则基于所述分辨率、所述帧率和所述解码能力确定所述gop序列对应的抽样比例，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例；或者，若所述业务信息包括编码端与解码端之间的目标网络对应的网络质量，则基于所述网络质量确定是否需要对所述gop序列内的p帧进行抽帧；若是，则基于所述网络质量确定所述gop序列对应的抽样比例，所述抽样比例为第一抽样比例、或第二抽样比例、或第三抽样比例。
118.基于与上述方法同样的申请构思，本技术实施例中提出一种图像处理设备，参见图8所示，图像处理设备可以包括：处理器81和机器可读存储介质82，机器可读存储介质82存储有能够被处理器81执行的机器可执行指令；处理器81用于执行机器可执行指令，以实现本技术上述示例公开的图像处理方法。
119.基于与上述方法同样的申请构思，本技术实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本技术上述示例公开的图像处理方法。
120.其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
121.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
122.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
123.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机
程序产品的形式。
124.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
125.而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
126.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
127.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。