视频报文处理方法、装置、计算机设备和可读介质与流程

1.本公开涉及视频处理技术领域，具体涉及一种视频报文处理方法、装置、计算机设备和可读介质。


背景技术：

2.随着视频和网络的技术发展，视频对带宽的需求越来越大。通常，机顶盒和vr(virtual reality，虚拟现实技术)头盔等视频终端通过无线技术(例如无线局域网)接入网络带来了巨大的便利性。但无线网络易受到无线环境干扰，造成视频终端接入带宽上下波动。当视频终端接入带宽不能满足视频传输需求时，视频报文就会被部分丢弃。如图1所示，通常视频编码序列gop(group of pictures，图像组)通常包含i帧、p帧和b帧，其中i帧由帧内压缩生成，p帧由靠近它的i帧或p帧帧间压缩生成，b帧由前面的i或p帧和后面的p帧帧间压缩生成。
3.丢弃视频报文通常按照从队列前丢弃、从队列后丢弃或者按到达时间进行老化丢弃。一方面，这种视频报文丢弃方式会导致视频连续丢帧而造成视频卡顿，另一方面，由于视频报文帧和帧之间存在着关联，可能会因为丢弃了关键帧而导致传输的视频帧无法正确解码而被视频终端丢弃。


技术实现要素：

4.本公开提供一种视频报文处理方法、装置、计算机设备和可读介质。
5.第一方面，本公开实施例提供一种视频报文处理方法，所述方法包括：
6.在将缓冲区内缓存的视频报文发送给视频终端的过程中，响应于预设视频报文丢弃条件满足，确定待丢弃视频报文，其中，所述视频报文中携带视频帧类型标识；
7.确定所述待丢弃视频报文的视频帧类型标识对应的视频帧类型，并根据预设报文关联策略和所述视频帧类型，在所述缓冲区内确定所述待丢弃视频报文的关联视频报文；
8.丢弃所述待丢弃视频报文和所述关联视频报文。
9.在一些实施例中，所述视频报文丢弃条件为视频报文第一丢弃条件，所述视频报文第一丢弃条件满足包括：所述缓冲区内缓存的视频报文发送失败。
10.在一些实施例中，所述发送失败的视频报文为所述待丢弃视频报文。
11.在一些实施例中，所述报文关联策略为报文关联第一策略，所述根据预设报文关联策略和所述视频帧类型，在所述缓冲区内确定所述待丢弃视频报文的关联视频报文，包括：
12.根据预设报文关联第一策略，确定所述视频帧类型对应的关联帧；
13.在所述缓冲区内确定所述关联帧对应的关联视频报文。
14.在一些实施例中，所述视频帧类型包括：i帧、p帧和b帧，所述报文关联第一策略包括：
15.在一个视频编码序列图像组内，i帧的关联帧为当前i帧与下一个i帧之间的p帧和
b帧；p帧的关联帧为当前p帧与下一个i帧之间的p帧和b帧；b帧无关联帧。
16.在一些实施例中，所述视频报文丢弃条件为视频报文第二丢弃条件，所述视频报文第二丢弃条件满足包括：本视频报文处理装置与所述视频终端之间的有效带宽小于预设带宽。
17.在一些实施例中，所述预设报文关联策略为报文关联第二策略，所述根据预设报文关联策略和所述视频帧类型，在所述缓冲区内确定所述待丢弃视频报文的关联视频报文，包括：
18.根据预设报文关联第二策略，确定所述视频帧类型对应的关联帧；
19.在所述缓冲区内确定所述关联帧对应的关联视频报文。
20.在一些实施例中，所述视频帧类型包括：i帧、p帧和b帧，所述报文关联第二策略包括：
21.在一个视频编码序列图像组内，i帧的关联帧为当前i帧与下一个i帧之间的p帧和b帧；p帧的关联帧包括第一关联帧和第二关联帧，所述第一关联帧为当前p帧与下一个i帧之间的p帧和b帧，所述第二关联帧为当前p帧与前一个p帧之间的b帧，其中，若当前p帧之前无其他p帧，则所述第二关联帧为当前p帧与前一个i帧之间的b帧；b帧无关联帧。
22.在一些实施例中，所述确定待丢弃视频报文，包括：
23.根据所述有效带宽和所述预设带宽确定预设时长内待丢弃报文数量；
24.确定待丢弃视频帧类型；
25.根据所述待丢弃视频帧类型的视频帧类型标识，在所述缓冲区内确定待丢弃视频报文；
26.所述丢弃所述待丢弃视频报文和所述关联视频报文，包括：
27.在所述预设时长内根据所述待丢弃报文数量丢弃所述待丢弃视频报文和所述关联视频报文。
28.在一些实施例中，所述确定待丢弃视频帧类型，包括：
29.根据预设的与视频帧类型对应的优先级，确定待丢弃视频帧类型。
30.在一些实施例中，在丢弃所述待丢弃视频报文和所述关联视频报文之后，所述方法还包括：
31.将所述缓冲区内当前缓存的视频报文发送给视频终端。
32.又一方面，本公开实施例还提供一种视频报文处理装置，包括待丢弃视频报文确定模块、关联视频报文确定模块和报文丢弃模块，所述待丢弃视频报文确定模块用于，在将缓冲区内缓存的视频报文发送给视频终端的过程中，响应于预设视频报文丢弃条件满足，确定待丢弃视频报文，其中，所述视频报文中携带视频帧类型标识；
33.所述关联视频报文确定模块用于，确定所述待丢弃视频报文的视频帧类型标识对应的视频帧类型，并根据预设报文关联策略和所述视频帧类型，在所述缓冲区内确定所述待丢弃视频报文的关联视频报文；
34.所述报文丢弃模块用于，丢弃所述待丢弃视频报文和所述关联视频报文。
35.又一方面，本公开实施例还提供一种计算机设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的视频报文处理方法。
36.又一方面，本公开实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如前所述的视频报文处理方法。
37.本公开实施例提供的视频报文处理方法，在将缓冲区内缓存的视频报文发送给视频终端的过程中，响应于预设视频报文丢弃条件满足，确定待丢弃视频报文，其中，视频报文中携带视频帧类型标识；确定待丢弃视频报文的视频帧类型标识对应的视频帧类型，并根据预设报文关联策略和视频帧类型，在缓冲区内确定待丢弃视频报文的关联视频报文；丢弃待丢弃视频报文和关联视频报文。本公开实施例能够根据视频帧的类型确定待丢弃视频报文的关联报文，对不同视频帧类型的视频报文进行不同的丢弃处理，避免无序丢包，保证关键视频帧的传输，可以减少无法解码的视频帧的传输，从而提高视频网络传输效率，保证视频传输质量。
附图说明
38.图1为视频编码序列图像组的示意图；
39.图2为本公开实施例的系统架构示意图；
40.图3为本公开实施例提供的视频报文处理方法的流程示意图一；
41.图4为本公开实施例提供的视频帧类型标识映射wmm-ac-vi的示意图；
42.图5为本公开实施例提供的被动丢弃视频报文方案中确定关联视频报文的流程示意图；
43.图6为本公开实施例提供的报文关联第一策略的示意图；
44.图7为本公开实施例提供的主动丢弃视频报文方案中确定关联视频报文的流程示意图；
45.图8为本公开实施例提供的报文关联第二策略的示意图；
46.图9为本公开实施例提供的主动丢弃视频报文方案中确定待丢弃视频报文的流程示意图；
47.图10为本公开实施例提供的视频报文处理装置的结构示意图一；
48.图11为本公开实施例提供的视频报文处理装置的结构示意图二。
具体实施方式
49.在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
50.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
51.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
52.本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实
施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。
53.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
54.本公开实施例提供一种视频报文处理方法，所述视频报文处理方法应用于如图2所示的视频网络中。如图2所示，所述视频网络包括视频生成装置、视频报文处理装置和视频终端，视频生成装置通过网络连接视频报文处理装置，视频终端通常通过无线连接视频报文处理装置。视频生成装置可以为媒体服务器或cdn(content ddistribute network，内容分发网络)服务器，用于进行视频编码生成视频报文，并对视频报文根据不同的视频帧类型标记不同的视频帧类型标识；视频报文处理装置是用于进行视频流转发的视频网络传输设备，可以是家庭网关或无线路由器等设备；视频终端用于对视频流进行解码显示视频，可以是机顶盒等设备。在本公开实施例中，视频报文处理装置与视频终端之间通过wi-fi方式传输视频报文。
55.结合图2和图3所示，本公开实施例提供的视频报文处理方法，包括以下步骤：
56.步骤31，在将缓冲区内缓存的视频报文发送给视频终端的过程中，响应于预设视频报文丢弃条件满足，确定待丢弃视频报文，其中，视频报文中携带视频帧类型标识。
57.视频生成装置根据视频源进行编码生成视频报文，根据视频帧类型为视频报文标记视频帧类型标识，并将携带有视频帧类型标识的视频报文发送给视频报文处理装置。视频报文处理装置实时接收视频生成装置发来的视频报文，并将视频报文缓存在wi-fi(无线网络)的发送缓冲区内等待发送。
58.可以在视频报文的ip(internet protocol，网际互连协议)层或tcp(transmission control protocol，传输控制协议)/udp(user datagram protocol，用户数据报协议)层标记视频帧类型标识，在本公开实施例中，如图4所示，以在ip层标记视频帧类型标识为例进行说明。示例性的，对于i帧的视频报文，视频帧类型标识可以标记成帧类型标识-i；对于p帧的视频报文，视频帧类型标识可以标记成帧类型标识-p；对于b帧的视频报文，视频帧类型标识可以标记成帧类型标识-b。在一些实施例中，ip层的视频帧类型标识可以为dscp(differentiated services code point，差分服务代码点)优先级。在视频报文处理装置与视频终端采用wi-fi连接的情况下，可以利用wi-fi的不同wmm-ac(wi-fi multimedia-access category，无线多媒体-访问类别)传输机制，实现不同类型的视频帧差异化传输。视频报文处理装置将视频报文通过wi-fi转发给视频终端时，通常会将视频报文映射到wi-fi的wmm-ac-vi中。通常，视频报文处理装置无法识别视频报文，而在本公开实施例中，由于视频生成装置在编码生成视频报文时已经通过视频帧类型标识标记好不同类型的视频帧，视频报文处理装置无需再对应用层的视频报文进行识别，只需要识别视频帧类型标识就可以区分不同类型的视频帧(通常视频报文处理装置能够通过硬件识别视频帧类型标识)，从而加快视频报文的识别。
59.在本步骤中，在视频报文丢弃条件满足的情况下，视频报文处理装置确定待丢弃视频报文。在本公开实施例中，存在被动丢弃视频报文和主动丢弃视频报文两种情况，在上
述不同情况下，视频报文丢弃条件不同，待丢弃视频报文及确定方式也不同，后续再对上述两种情况进行详细说明。需要说明的是，在视频报文丢弃条件不满足的情况下，继续将缓冲区内缓存的视频报文发送给视频终端，示例性的，可以是按照缓冲区内发送对列的顺序发送。
60.步骤32，确定待丢弃视频报文的视频帧类型标识对应的视频帧类型，并根据预设报文关联策略和视频帧类型，在缓冲区内确定待丢弃视频报文的关联视频报文。
61.在本步骤中，视频报文处理装置通过识别待丢弃视频报文中的视频帧类型标识，确定该待丢弃视频报文的视频帧类型，并针对被动丢弃视频报文或主动丢弃报文的不同情况，利用不同的报文关联策略，在缓冲区内找到待丢弃视频报文的关联视频报文。
62.步骤33，丢弃待丢弃视频报文和关联视频报文。
63.在本步骤中，视频报文处理装置将缓冲区内的待丢弃视频报文及其关联视频报文丢弃，丢弃的视频报文不再向视频终端发送。
64.本公开实施例提供的视频报文处理方法，在将缓冲区内缓存的视频报文发送给视频终端的过程中，响应于预设视频报文丢弃条件满足，确定待丢弃视频报文，其中，视频报文中携带视频帧类型标识；确定待丢弃视频报文的视频帧类型标识对应的视频帧类型，并根据预设报文关联策略和视频帧类型，在缓冲区内确定待丢弃视频报文的关联视频报文；丢弃待丢弃视频报文和关联视频报文。本公开实施例能够根据视频帧的类型确定待丢弃视频报文的关联报文，对不同视频帧类型的视频报文进行不同的丢弃处理，避免无序丢包，保证关键视频帧的传输，可以减少无法解码的视频帧的传输，从而提高视频网络传输效率，保证视频传输质量。
65.以下结合图5和图6，对本公开实施例的被动丢弃视频报文的方案进行说明。
66.视频报文处理装置在将视频报文转发给视频终端的过程中，由于无线干扰等原因导致视频报文传输失败而触发视频报文被动丢弃。视频报文处理装置根据视频报文的视频帧类型标识判断其视频帧类型，从而根据视频帧的关联关系确定其wi-fi视频发送缓冲区内的关联视频报文，并对传输失败的视频报文及其关联视频报文进行丢弃。
67.在一些实施例中，所述视频报文丢弃条件为视频报文第一丢弃条件，视频报文第一丢弃条件满足包括：缓冲区内缓存的视频报文发送失败。视频报文第一丢弃条件即为被动丢弃视频报文的触发条件，一旦向视频终端发送视频报文失败，就触发视频报文被动丢弃。在这种情况下，发送失败的视频报文即为待丢弃视频报文。
68.在一些实施例中，所述报文关联策略为报文关联第一策略，报文关联第一策略即为被动丢弃视频报文的关联策略。如图5所示，所述根据预设报文关联策略和视频帧类型，在缓冲区内确定所述待丢弃视频报文的关联视频报文(即步骤32)，包括以下步骤：
69.步骤321，根据预设报文关联第一策略，确定视频帧类型对应的关联帧。
70.在本步骤中，视频报文处理装置基于报文关联第一策略，根据待丢弃视频报文的视频帧类型确定对应的关联帧。在报文关联第一策略中，不同视频帧类型的关联帧不同，即针对不同的视频帧类型，其用于进行视频报文关联丢弃的关联关系不同。后续再结合图6对报文关联第一策略进行详细说明。
71.步骤322，在缓冲区内确定关联帧对应的关联视频报文。
72.在本步骤中，视频报文处理装置根据关联帧的视频帧类型对应的视频帧类型标
识，在缓冲区内确定与该视频帧类型标识对应的视频报文，这些视频报文即为待丢弃视频报文的关联视频报文。
73.视频帧类型包括：i帧、p帧和b帧，所述报文关联第一策略包括：在一个视频编码序列图像组内，i帧的关联帧为当前i帧与下一个i帧之间的p帧和b帧；p帧的关联帧为当前p帧与下一个i帧之间的p帧和b帧；b帧无关联帧。
74.如图6所示，一个视频编码序列gop以一个i帧为起始，并以一个i帧为结束，起始的i帧和结束的i帧之间包括多个p帧和b帧(无其他i帧)。i帧的关联关系为关联关系1，具体包括：i帧的关联帧为当前i帧与下一个i帧之间的p帧和b帧。也就是说，若待丢弃视频报文的视频帧类型为i帧(即当前i帧，如第1视频帧)，则该i帧的关联帧为第1视频帧与第11视频帧之间的所有p帧和b帧，即第2-10视频帧。p帧的关联关系为关联关系2，具体包括：p帧的关联帧为当前p帧与下一个i帧之间的p帧和b帧。也就是说，若待丢弃视频报文的视频帧类型为p帧(即当前p帧，如第3视频帧)，则该p帧的关联帧为第3视频帧与第11视频帧之间的所有p帧和b帧，即第4-10视频帧；若待丢弃视频报文的视频帧类型为p帧(即当前p帧，如第6视频帧)，则该p帧的关联帧为第6视频帧与第11视频帧之间的所有p帧和b帧，即第7-10视频帧。b帧的关联关系为关联关系3，具体包括：b帧无关联帧。也就是说，若待丢弃视频报文的视频帧类型为b帧(如第4视频帧)，则该b帧没有关联帧，即不存在关联视频报文。
75.以下结合图7、图8和图9，对本公开实施例的主动丢弃视频报文的方案进行说明。
76.视频报文处理装置在将视频报文转发给视频终端的过程中，视频报文处理装置与视频终端之间的有效带宽会因为无线干扰、空口竞争占用等原因降低，导致无法完全满足视频报文传输要求，视频报文处理装置能够实时估计有效带宽，并根据传输视频报文的带宽需求和有效带宽估计，判断是否触发主动丢弃视频报文。
77.在一些实施例中，所述视频报文丢弃条件为视频报文第二丢弃条件，视频报文第二丢弃条件满足包括：本视频报文处理装置与视频终端之间的有效带宽小于预设带宽。视频报文第二丢弃条件即为主动丢弃视频报文的触发条件，一旦报文处理装置判断出本视频报文处理装置与视频终端之间的有效带宽小于预设带宽，就说明当前视频报文处理装置与视频终端之间的有效带宽无法满足传输视频报文的需求，相应触发视频报文主动丢弃。需要说明的是，可以按照预设周期执行是否满足视频报文第二丢弃条件的判断。
78.在一些实施例中，所述预设报文关联策略为报文关联第二策略，报文关联第二策略即为主动丢弃视频报文的关联策略。如图7所示，所述根据预设报文关联策略和视频帧类型，在缓冲区内确定待丢弃视频报文的关联视频报文(即步骤32)，包括以下步骤：
79.步骤321’，根据预设报文关联第二策略，确定视频帧类型对应的关联帧。
80.在本步骤中，视频报文处理装置基于报文关联第二策略，根据待丢弃视频报文的视频帧类型确定对应的关联帧。在报文关联第二策略中，不同视频帧类型的关联帧不同，即针对不同的视频帧类型，其用于进行视频报文关联丢弃的关联关系不同。后续再结合图8对报文关联第二策略进行详细说明。
81.步骤322’，在缓冲区内确定关联帧对应的关联视频报文。
82.在本步骤中，视频报文处理装置根据关联帧的视频帧类型对应的视频帧类型标识，在缓冲区内确定与该视频帧类型标识对应的视频报文，这些视频报文即为待丢弃视频报文的关联视频报文。
83.视频帧类型包括：i帧、p帧和b帧，所述报文关联第二策略包括：在一个视频编码序列图像组内，i帧的关联帧为当前i帧与下一个i帧之间的p帧和b帧；p帧的关联帧包括第一关联帧和第二关联帧，第一关联帧为当前p帧与下一个i帧之间的p帧和b帧，第二关联帧为当前p帧与前一个p帧之间的b帧，其中，若当前p帧之前无其他p帧，则第二关联帧为当前p帧与前一个i帧之间的b帧；b帧无关联帧。
84.如图8所示，一个视频编码序列gop以一个i帧为起始，并以一个i帧为结束，起始的i帧和结束的i帧之间包括多个p帧和b帧(无其他i帧)。i帧的关联关系为关联关系1，具体包括：i帧的关联帧为当前i帧与下一个i帧之间的p帧和b帧。也就是说，若待丢弃视频报文的视频帧类型为i帧(即当前i帧，如第1视频帧)，则该i帧的关联帧为第1视频帧与第11视频帧之间的所有p帧和b帧，即第2-10视频帧。p帧的关联关系为关联关系2，具体包括：p帧的关联帧包括第一关联帧和第二关联帧，第一关联帧为当前p帧之后的关联帧，第二关联帧为当前p帧之前的关联帧。也就是说，若待丢弃视频报文的视频帧类型为p帧(即当前p帧，如第3视频帧)，则该p帧的第一关联帧为第3视频帧与第11视频帧之间的所有p帧和b帧，即第4-10视频帧；该p帧的第二关联帧为第3视频帧与第1视频帧之间的b帧，即第2视频帧。若待丢弃视频报文的视频帧类型为p帧(即当前p帧，如第6视频帧)，则该p帧的第一关联帧为第6视频帧与第11视频帧之间的所有p帧和b帧，即第7-10视频帧；该p帧的第二关联帧为第6视频帧与第3视频帧(即当前p帧的前一个p帧)之间的b帧，即第4-5视频帧。b帧的关联关系为关联关系3，具体包括：b帧无关联帧。也就是说，若待丢弃视频报文的视频帧类型为b帧(如第4视频帧)，则该b帧没有关联帧，即不存在关联视频报文。
85.在一些实施例中，如图9所示，所述确定待丢弃视频报文(即步骤31)，包括以下步骤：
86.步骤311，根据有效带宽和预设带宽确定预设时长内待丢弃报文数量。
87.在本步骤中，视频报文处理装置根据本视频报文处理装置与视频终端之间的有效带宽和预设带宽，确定预设时长内的待丢弃报文数量，根据有效带宽和预设带宽确定预设时长内待丢弃报文数量的具体实现方式可以采用现有方案实现，在此不再赘述。
88.步骤312，确定待丢弃视频帧类型。
89.在一些实施例中，可以根据预设的与视频帧类型对应的优先级(即第一优先级)，确定待丢弃视频帧类型，所述优先级根据报文关联第二策略定义。由于在报文关联第二策略中，b帧无关联帧，因此，优先主动丢弃视频帧类型为b帧的视频报文。p帧的关联帧多于i帧的关联帧，因此，视频帧类型为p帧的视频报文和视频帧类型为i帧的视频报文相比较，优先主动丢弃视频帧类型为p帧的视频报文。也就是说，在确定待丢弃视频帧类型的过程中，以尽量丢弃数量少和尽量保证关键视频帧(如i帧)的视频报文为目的，这样可以保证视频解码的正确率。因此，在第一优先级中，b帧的优先级高于p帧的优先级，p帧的优先级高于i帧的优先级。
90.步骤313，根据待丢弃视频帧类型的视频帧类型标识，在缓冲区内确定待丢弃视频报文。
91.在本步骤中，视频报文处理装置待丢弃视频帧类型的视频帧类型标识，在缓冲区内确定与该视频帧类型标识对应的视频报文，这些视频报文即为待丢弃视频报文。
92.相应的，在主动丢弃视频报文的方案中，所述丢弃待丢弃视频报文和关联视频报
文(即步骤33)，包括以下步骤：在预设时长内根据待丢弃报文数量丢弃待丢弃视频报文和关联视频报文。
93.在主动丢弃视频报文的方案中，优先将视频帧类型为b帧的视频报文作为待丢弃视频报文，若视频帧类型为b帧的视频报文的数量不足(小于步骤311确定出的预设时长内待丢弃报文数量)，则再优先将视频帧类型为p帧的视频报文作为待丢弃视频报文，若视频帧类型为p帧的视频报文及其关联视频报文的数量也不足(即视频帧类型为p帧的视频报文、视频帧类型为p帧的视频报文的关联视频报文、视频帧类型为b帧的视频报文三者数量之和仍小于步骤311确定出的预设时长内待丢弃报文数量)，则再将视频帧类型为i帧的视频报文作为待丢弃视频报文。在本步骤中，丢弃的视频报文的数量上限即为步骤311确定出的预设时长内待丢弃报文数量。
94.在一些实施例中，在丢弃待丢弃视频报文和关联视频报文(即步骤33)之后，所述视频报文处理方法还包括以下步骤：将缓冲区内当前缓存的视频报文发送给视频终端，其中，缓冲区内当前缓存的视频报文即为经过视频报文丢弃处理后再缓冲区内剩余的视频报文。
95.在一些实施例中，所述视频报文处理方法还可以包括以下步骤：根据缓冲区内缓存的视频报文的视频帧类型对应的重要性优先级(第二优先级)，为视频报文配置重传次数或重传时长。
96.由于视频报文中的i帧、p帧和b帧的相互依赖关系不同，各类型视频帧的重要程度由高至低依次是i帧、p帧和b帧，因此，为了在wi-fi空口传输过程中，保证重要程度高的视频帧获得较低的丢包率，i帧的第二优先级》p帧的第二优先级》b帧的第二优先级。相应的，第二优先级越高的视频报文，其重传次数越多，重传时长越长。
97.本公开实施例由视频生成装置进行视频编码生成视频报文时，根据不同的视频帧类型标记不同的视频帧类型标识，让视频报文处理装置能够通过视频帧类型标识识别不同的视频帧类型，采用不同的丢弃处理方案，实现视频网络传输优化，减少视频卡顿。
98.基于相同的技术构思，本公开实施例还提供一种视频报文处理装置，如图10所示，所述视频报文处理装置包括待丢弃视频报文确定模块101、关联视频报文确定模块102和报文丢弃模块103，待丢弃视频报文确定模块101用于，在将缓冲区内缓存的视频报文发送给视频终端的过程中，响应于预设视频报文丢弃条件满足，确定待丢弃视频报文，其中，所述视频报文中携带视频帧类型标识。
99.关联视频报文确定模块102用于，确定所述待丢弃视频报文的视频帧类型标识对应的视频帧类型，并根据预设报文关联策略和所述视频帧类型，在所述缓冲区内确定所述待丢弃视频报文的关联视频报文。
100.报文丢弃模块103用于，丢弃所述待丢弃视频报文和所述关联视频报文。
101.在一些实施例中，所述视频报文丢弃条件为视频报文第一丢弃条件，所述视频报文第一丢弃条件满足包括：所述缓冲区内缓存的视频报文发送失败。
102.在一些实施例中，所述发送失败的视频报文为所述待丢弃视频报文。
103.在一些实施例中，所述报文关联策略为报文关联第一策略，关联视频报文确定模块102用于，根据预设报文关联第一策略，确定所述视频帧类型对应的关联帧；在所述缓冲区内确定所述关联帧对应的关联视频报文。
104.在一些实施例中，所述视频帧类型包括：i帧、p帧和b帧，所述报文关联第一策略包括：在一个视频编码序列图像组内，i帧的关联帧为当前i帧与下一个i帧之间的p帧和b帧；p帧的关联帧为当前p帧与下一个i帧之间的p帧和b帧；b帧无关联帧。
105.在一些实施例中，所述视频报文丢弃条件为视频报文第二丢弃条件，所述视频报文第二丢弃条件满足包括：本视频报文处理装置与所述视频终端之间的有效带宽小于预设带宽。
106.在一些实施例中，所述预设报文关联策略为报文关联第二策略，关联视频报文确定模块102用于，根据预设报文关联第二策略，确定所述视频帧类型对应的关联帧；在所述缓冲区内确定所述关联帧对应的关联视频报文。
107.在一些实施例中，所述视频帧类型包括：i帧、p帧和b帧，所述报文关联第二策略包括：在一个视频编码序列图像组内，i帧的关联帧为当前i帧与下一个i帧之间的p帧和b帧；p帧的关联帧包括第一关联帧和第二关联帧，所述第一关联帧为当前p帧与下一个i帧之间的p帧和b帧，所述第二关联帧为当前p帧与前一个p帧之间的b帧，其中，若当前p帧之前无其他p帧，则所述第二关联帧为当前p帧与前一个i帧之间的b帧；b帧无关联帧。
108.在一些实施例中，待丢弃视频报文确定模块101用于，根据所述有效带宽和所述预设带宽确定预设时长内待丢弃报文数量；确定待丢弃视频帧类型；根据所述待丢弃视频帧类型的视频帧类型标识，在所述缓冲区内确定待丢弃视频报文。
109.报文丢弃模块103用于，在所述预设时长内根据所述待丢弃报文数量丢弃所述待丢弃视频报文和所述关联视频报文。
110.在一些实施例中，待丢弃视频报文确定模块101用于，根据预设的与视频帧类型对应的优先级，确定待丢弃视频帧类型。
111.在一些实施例中，如图11所示，所述视频报文处理装置还包括发送模块104，发送模块104用于，在报文丢弃模块103丢弃所述待丢弃视频报文和所述关联视频报文之后，将所述缓冲区内当前缓存的视频报文发送给视频终端。
112.本公开实施例还提供了一种计算机设备，该计算机设备包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的视频报文处理方法。
113.本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述各实施例所提供的视频报文处理方法。
114.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中
实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
115.本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本发明的范围的情况下，可进行各种形式和细节上的改变。