避免图像马赛克的方法、系统、电子设备和存储介质与流程

1.本技术属于图像传输领域，尤其涉及避免图像马赛克的方法、系统、电子设备和存储介质。


背景技术：

2.在视频图像解码领域，客户端或服务器端在接收到对方发送的图像帧时，通常的解码规则为：在后图像帧(i帧或p帧)参照与其相邻的在先图像帧(i帧或p帧)进行解码。如果出现图像传输过程中任一帧丢失的情况，则会使后续的图像解码因没有前一帧的参照而解码失败，从而出现马赛克或花屏的现象。


技术实现要素：

3.本发明实施例的主要目的在于提供避免图像马赛克的方法、系统、电子设备和存储介质，使得p帧的解码只参考与其对应的i帧，在对应i帧丢失的情况下，保持前一帧的正常解码图像，不会解码后续的p帧，避免了因解码异常p帧而造成的马赛克现象。
4.第一方面，提供了避免图像马赛克的方法，所述方法包括：
5.依序接收待解码图像的关键帧i帧和至少一个前项预测编码帧p帧，所述p帧为参考其对应i帧的差异帧，所述对应i帧为在正常传输流程中在先于所述p帧且与所述p帧的间隔时间小于预设的间隔时间阈值的i帧；
6.判断所述i帧是否为所述p帧的对应i帧；
7.根据判断结果对所述待解码图像进行处理。
8.在一个可能的实现方式中，所述根据判断结果对所述待解码图像进行处理，包括：
9.如果所述i帧为所述p帧的对应i帧，则进行正常解码，如果所述i帧不是所述p帧的对应i帧，则按照预设的处理规则对所述待解码图像进行处理。
10.在另一个可能的实现方式中，所述处理规则具体为：丢弃所述p帧以及所述p帧到最短在后i帧之间的所有p帧，所述最短在后i帧为与所述p帧间隔时间最短的在后i帧。
11.在另一个可能的实现方式中，所述判断所述i帧是否为所述p帧的对应i帧，包括：
12.获取所述p帧的时间戳和i帧的时间戳；
13.获取所述p帧的时间戳与i帧的时间戳的时间戳差值；
14.如果所述时间戳差值小于所述间隔时间阈值，则所述i帧为所述p帧的对应i帧，如果所述时间戳差值大于所述间隔时间阈值，则所述i帧不是所述p帧的对应i帧。
15.第二方面，提供了一种避免图像马赛克的系统，所述系统包括：
16.接收模块，用于依序接收待解码图像的关键帧i帧和至少一个前项预测编码帧p帧，所述p帧为参考其对应i帧的差异帧，所述对应i帧为在正常传输流程中在先于所述p帧且与所述p帧的间隔时间小于预设的间隔时间阈值的i帧；
17.判断模块，用于判断所述i帧是否为所述p帧的对应i帧；
18.处理模块，用于根据判断结果对所述待解码图像进行处理。
19.在一个可能的实现方式中，所述处理模块，包括：
20.正常处理单元，用于如果所述i帧为所述p帧的对应i帧，则进行正常解码；以及，
21.异常处理单元，用于如果所述i帧不是所述p帧的对应i帧，则按照预设的处理规则对所述待解码图像进行处理。
22.在另一个可能的实现方式中，所述处理规则具体为：则进行正常解码丢弃所述p帧以及所述p帧到最短在后i帧之间的所有p帧，所述最短在后i帧为与所述p帧间隔时间最短的在后i帧。
23.在另一个可能的实现方式中，所述判断模块，包括：
24.时间戳获取单元，用于获取所述p帧的时间戳和i帧的时间戳；
25.时间戳差值获取单元，用于获取所述p帧的时间戳与i帧的时间戳的时间戳差值；
26.判断结果获取单元，用于如果所述时间戳差值小于所述间隔时间阈值，则所述i帧为所述p帧的对应i帧，如果所述时间戳差值大于所述间隔时间阈值，则所述i帧不是所述p帧的对应i帧。
27.第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的避免图像马赛克的方法。
28.第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的避免图像马赛克的方法。
附图说明
29.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
30.图1为本发明一个实施例提供的避免图像马赛克的方法的流程图；
31.图2为本发明另一个实施例提供的避免图像马赛克的方法的流程图；
32.图3为本发明一个实施例提供的避免图像马赛克的系统的结构图；
33.图4为本发明另一个实施例提供的避免图像马赛克的系统的结构图；
34.图5为本发明一种电子设备的实体结构示意图；
35.图6为本发明一个实施例提供的避免图像马赛克的方法的示意图。
36.具体实现方式
37.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本发明的限制。
38.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
39.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实现方式作进一步地详细描述。
40.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
41.如图1所示为本发明一个实施例提供的避免图像马赛克的方法的流程图，所述方法包括：
42.步骤101，依序接收待解码图像的关键帧i帧和至少一个前项预测编码帧p帧，所述p帧为参考其对应i帧的差异帧，所述对应i帧为在正常传输流程中在先于所述p帧且与所述p帧的间隔时间小于预设的间隔时间阈值的i帧；
43.在其中一个应用场景下，所述i帧(intra picture)表示关键帧，是靠尽可能去除图像空间冗余信息来压缩传输数据量的帧内编码图像，包含画面的完整信息；p帧表示的是这一帧跟之前的一个关键帧i的差别，p帧没有完整的画面。
44.步骤102，判断所述i帧是否为所述p帧的对应i帧；
45.步骤103，根据判断结果对所述待解码图像进行处理。
46.其中，所述根据判断结果对所述待解码图像进行处理，包括：
47.如果所述i帧为所述p帧的对应i帧，则进行正常解码，如果所述i帧不是所述p帧的对应i帧，则按照预设的处理规则对所述待解码图像进行处理。
48.其中，所述处理规则具体为：丢弃所述p帧以及所述p帧到最短在后i帧之间的所有p帧，所述最短在后i帧为与所述p帧间隔时间最短的在后i帧。
49.在本发明实施例中，图像处理系统中的服务器端和客户端对i帧和p帧进行了定义：p帧为只参考对应i帧得到的差异帧，对应i帧为在正常情况下与p帧间隔时间最短的在先i帧，即解码时p帧只参考其对应i帧，而不参考与其相邻的前一p帧。服务器端在传输待解码图像时，待解码图像中帧的排列顺序为[i帧、p帧、p帧
…
i帧、p帧、p帧
…
]，客户端接收到待解码图像时，从待解码图像中获取p帧以及与其间隔时间最短的i帧，判断该i帧是否为p帧的对应i帧，如果是对应i帧，则正常解码该p帧，如果不是对应i帧，则不解码该p帧以及该p帧到最短在后i帧之间的所有p帧，而是直接进行丢弃处理。
[0050]
本发明实施例中，依序接收待解码图像的i帧和至少一个p帧，判断所述i帧是否为对应i帧，根据判断结果对所述待解码图像进行处理。使得p帧的解码只参考与其对应的i帧，在对应i帧丢失的情况下，保持前一帧的正常解码图像，不会解码后续的p帧，避免了因解码异常p帧而造成的马赛克现象。
[0051]
如图2所示为本发明再一个实施例提供的避免图像马赛克的方法的流程图，所述判断所述i帧是否为对应i帧，包括：
[0052]
步骤201，获取所述p帧的时间戳和i帧的时间戳；
[0053]
步骤202，获取所述p帧的时间戳与i帧的时间戳的时间戳差值；
[0054]
步骤203，如果所述时间戳差值小于所述间隔时间阈值，则所述i帧为所述p帧的对应i帧，如果所述时间戳差值大于所述间隔时间阈值，则所述i帧不是所述p帧的对应i帧。
[0055]
在本发明实施例中，i帧和p帧在由服务器端发送时，会被添加上服务器端本地的时间戳，客户端在接收到i帧和p帧之后，分别获取i帧的时间戳和p帧的时间戳，并获取i帧
时间戳与p帧时间戳的时间戳差值，将时间戳差值与预设的间隔时间阈值，进行比较，如果时间戳差值小于间隔时间阈值，则该i帧为p帧的对应i帧，如果时间戳差值大于间隔时间阈值，则该i帧不是p帧的对应i帧。
[0056]
如图3所示为本发明一个实施例提供的避免图像马赛克的系统的结构图，所述系统包括：
[0057]
接收模块301，用于依序接收待解码图像的关键帧i帧和至少一个前项预测编码帧p帧，所述p帧为参考其对应i帧的差异帧，所述对应i帧为在正常传输流程中在先于所述p帧且与所述p帧的间隔时间小于预设的间隔时间阈值的i帧；
[0058]
判断模块302，用于判断所述i帧是否为所述p帧的对应i帧；
[0059]
处理模块303，用于根据判断结果对所述待解码图像进行处理。
[0060]
在本发明实施例中，图像处理系统中的服务器端和客户端对i帧和p帧进行了定义：p帧为只参考对应i帧得到的差异帧，对应i帧为在正常情况下与p帧间隔时间最短的在先i帧，即解码时p帧只参考其对应i帧，而不参考与其相邻的前一p帧。服务器端在传输待解码图像时，待解码图像中帧的排列顺序为[i帧、p帧、p帧
…
i帧、p帧、p帧
…
]，客户端接收到待解码图像时，从待解码图像中获取p帧以及与其间隔时间最短的i帧，判断该i帧是否为p帧的对应i帧，如果是对应i帧，则正常解码该p帧，如果不是对应i帧，则不解码该p帧以及该p帧到最短在后i帧之间的所有p帧，而是之间进行丢弃处理。
[0061]
其中，所述处理模块，包括：
[0062]
正常处理单元，用于如果所述i帧为所述p帧的对应i帧，则进行正常解码；以及，
[0063]
异常处理单元，用于如果所述i帧不是所述p帧的对应i帧，则按照预设的处理规则对所述待解码图像进行处理。
[0064]
其中，所述处理规则具体为：则丢弃所述p帧以及所述p帧到最短在后i帧之间的所有p帧，所述最短在后i帧为与所述p帧间隔时间最短的在后i帧。
[0065]
本发明实施例，依序接收待解码图像的i帧和至少一个p帧，判断所述i帧是否为对应i帧，根据判断结果对所述待解码图像进行处理。使得p帧的解码只参考与其对应的i帧，在对应i帧丢失的情况下，保持前一帧的正常解码图像，不会解码后续的p帧，避免了因解码异常p帧而造成的马赛克现象。
[0066]
如图4所示为本发明再一个实施例提供的避免图像马赛克的系统的结构图，所述判断模块302，包括：
[0067]
时间戳获取单元401，用于获取所述p帧的时间戳和i帧的时间戳；
[0068]
时间戳差值获取单元402，用于获取所述p帧的时间戳与i帧的时间戳的时间戳差值；
[0069]
判断结果获取单元403，用于如果所述时间戳差值小于所述间隔时间阈值，则所述i帧为所述p帧的对应i帧，如果所述时间戳差值大于所述间隔时间阈值，则所述i帧不是所述p帧的对应i帧。
[0070]
在本发明实施例中，i帧和p帧在由服务器端发送时，会被添加上服务器端本地的时间戳，客户端在接收到i帧和p帧之后，分别获取i帧的时间戳和p帧的时间戳，并获取i帧时间戳与p帧时间戳的时间戳差值，将时间戳差值与预设的间隔时间阈值，进行比较，如果时间戳差值小于间隔时间阈值，则该i帧为p帧的对应i帧，如果时间戳差值大于间隔时间阈
值，则该i帧不是p帧的对应i帧。
[0071]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(communications interface)502、存储器(memory)503和通信总线504，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行避免图像马赛克的方法，该方法包括：依序接收待解码图像的关键帧i帧和至少一个前项预测编码帧p帧，所述p帧为参考其对应i帧的差异帧，所述对应i帧为在正常传输流程中在先于所述p帧且与所述p帧的间隔时间小于预设的间隔时间阈值的i帧；判断所述i帧是否为所述p帧的对应i帧；根据判断结果对所述待解码图像进行处理。
[0072]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0073]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的避免图像马赛克的方法，该方法包括：依序接收待解码图像的关键帧i帧和至少一个前项预测编码帧p帧，所述p帧为参考其对应i帧的差异帧，所述对应i帧为在正常传输流程中在先于所述p帧且与所述p帧的间隔时间小于预设的间隔时间阈值的i帧；判断所述i帧是否为所述p帧的对应i帧；根据判断结果对所述待解码图像进行处理。
[0074]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的避免图像马赛克的方法，该方法包括：依序接收待解码图像的关键帧i帧和至少一个前项预测编码帧p帧，所述p帧为参考其对应i帧的差异帧，所述对应i帧为在正常传输流程中在先于所述p帧且与所述p帧的间隔时间小于预设的间隔时间阈值的i帧；判断所述i帧是否为所述p帧的对应i帧；根据判断结果对所述待解码图像进行处理。
[0075]
如图6所示为本发明一个实施例提供的避免马赛克的方法的示意图，在图像传输过程中，接收端根据时间戳确定图像流中是否包含待解码p帧对应的i帧，如果包含，则对待待解码图像进行正常解码，如果不包含，则丢弃待解码p帧以及待解码p帧到最短在后i帧之间的所有p帧。
[0076]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他
步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0077]
以上所述仅是本发明的部分实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。