音视频数据的处理方法、装置、电子设备及存储介质与流程

1.本技术涉及移动通信技术领域，尤其涉及一种音视频数据的处理方法、装置、电子设备及存储介质。


背景技术：

2.b-trunc(broadband trunking communication，宽带集群通信)是由宽带集群产业联盟组织制定的专网宽带集群系统标准。b-trunc协议定义了宽带集群网络中视频业务的端到端流程，在业务开始时通过媒体参数的协商流程，可以确定本次业务发起的媒体参数格式。
3.在实时通信中，音视频数据通常使用udp(user datagram protocol，用户数据协议)进行传输，由于udp是一种无连接的传输协议，无法保证数据传输的质量，所以在网络传输环境较差的时候，不可避免会发生丢包，从而导致音频不连续、视频花屏或者停顿等现象，影响用户的通信体验。
4.现有的抗丢包策略往往基于丢包重传机制进行，丢包重传机制要求接收端检测到数据丢包后，发送报文至发送端，从而发送端根据该报文确定相应的数据包，发送至接收端，完成对丢包的纠正。
5.然而，丢包重传依赖于接收端的反馈才能完成，不适用于没有接收端反馈的通信业务，应用范围受限。


技术实现要素：

6.本技术实施例提供一种音视频数据的处理方法、装置、电子设备及存储介质，基于fec编码对音视频数据进行抗丢包处理，无需接收端的反馈，便可自动进行丢包检测和恢复，提高了数据传输的准确度。
7.第一方面，本技术实施例提供了一种音视频数据的处理方法，所述方法包括：
8.发送音视频建立请求，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数；
9.获取所述音视频建立请求的确认消息；
10.当所述确认消息中包括fec编码协商参数时，基于所述fec编码协商参数对所述发送端的音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
11.可选地，所述fec编码参数包括：fec开关参数、fec分组参数、fec冗余度和fec抗丢包模式。
12.可选地，当所述发送端的fec开关参数和所述接收端的fec开关参数均为开启fec编码时，根据所述发送端和接收端的fec分组参数、fec冗余度和fec抗丢包模式，分别确定fec编码协商参数的fec分组参数、fec冗余度和fec抗丢包模式。
13.可选地，所述发送端的fec编码参数包括：发送端fec开关参数、fec分组备选参数、
fec冗余度备选参数和fec抗丢包模式备选参数。
14.可选地，所述fec编码协商参数为根据所述接收端的fec编码能力、所述发送端的fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数确定的所述接收端的fec分组参数、fec冗余度和fec抗丢包模式。
15.可选地，在发送音视频建立请求之前，还包括：
16.在宽带集群通信协议的终端集群能力中加入fec编码能力；
17.所述发送端向集群核心网发送注册请求消息，其中，所述注册请求消息中包括所述发送端的fec编码能力；
18.获取所述集群核心网的注册通过消息，其中，所述注册通过消息为所述集群核心网根据所述注册请求消息中的fec编码能力和所述发送端的签约信息确定的消息。
19.可选地，所述基于所述fec编码协商参数对所述发送端的音视频数据进行抗丢包处理，包括：
20.根据所述fec编码协商参数，确定所述发送端的音视频数据的fec冗余数据；
21.在所述发送端的音视频数据中添加fec冗余数据，以根据所述fec冗余数据对所述发送端的音视频数据进行抗丢包处理。
22.第二方面，本技术还提供了一种音视频数据的处理方法，所述方法包括：
23.获取发送端的音视频建立请求和接收端的fec编码参数，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数；
24.根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息，其中，所述确认消息为所述音视频建立请求的回应消息；
25.当所述确认消息中包括fec编码协商参数时，向所述发送端和接收端发送fec启动消息，以使所述发送端和接收端基于所述fec编码协商参数和所述fec启动消息对音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
26.第三方面，本技术还提供了一种音视频数据的处理方法，所述方法包括：
27.获取发送端的音视频建立请求和接收端的fec编码参数，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数；
28.根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息，其中，所述确认消息为所述音视频建立请求的回应消息；
29.当所述确认消息中包括fec编码协商参数时，基于所述fec编码协商参数对所述接收端的音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
30.第四方面，本技术还提供了一种音视频数据的处理装置，该装置包括：
31.建立请求发送模块，用于发送音视频建立请求，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数；
32.确认消息获取模块，用于获取所述音视频建立请求的确认消息；
33.第一数据处理模块，用于当所述确认消息中包括fec编码协商参数时，基于所述fec编码协商参数对所述发送端的音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
34.第五方面，本技术还提供了一种音视频数据的处理装置，该装置包括：
35.第一请求获取模块，用于获取发送端的音视频建立请求和接收端的fec编码参数，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数；
36.第一确认消息确定模块，用于根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息，其中，所述确认消息为所述音视频建立请求的回应消息；
37.fec启动模块，用于当所述确认消息中包括fec编码协商参数时，向所述发送端和接收端发送fec启动消息，以使所述发送端和接收端基于所述fec编码协商参数和所述fec启动消息对音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
38.第六方面，本技术还提供了一种音视频数据的处理装置，该装置包括：
39.第二请求获取模块，用于获取发送端的音视频建立请求和接收端的fec编码参数，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数；
40.第二确认消息确定模块，用于根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息，其中，所述确认消息为所述音视频建立请求的回应消息；
41.第二数据处理模块，用于当所述确认消息中包括fec编码协商参数时，基于所述fec编码协商参数对所述接收端的音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
42.第七方面，本技术还提供了一种电子设备，包括：存储器和至少一个处理器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行本技术任意实施例提供的音视频数据的处理方法。
43.第八方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本技术任意实施例提供的音视频数据的处理方法。
44.本技术实施例提供一种音视频数据的处理方法、装置、电子设备及存储介质，通过在音视频建立请求中添加发送端的fec编码参数，并获取关于音视频建立请求的确认消息，该确认消息是由接收端和发送端关于fec编码参数的协商过程确定的回应消息，若该确认消息中包括fec编码协商参数，则基于该fec编码协商参数对发送端和接收端的音视频数据进行抗丢包处理，实现了音视频数据的抗丢包处理，且fec编码无需将丢包数据回传便可自动进行丢包检测和恢复，应用范围广，提高了数据传输的准确度。
附图说明
45.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
46.图1为本技术实施例提供的音视频数据的处理方法的一种应用场景图；
47.图2为本技术一个实施例提供的音视频数据的处理方法的流程图；
48.图3为本技术另一个实施例提供的音视频数据的处理方法的流程图；
49.图4是本技术图3所示实施例中终端集群注册的流程图；
50.图5是本技术图3所示实施例中的fec编码参数的协商过程的流程图；
51.图6为本技术又一个实施例提供的音视频数据的处理方法的流程图；
52.图7为本技术又一个实施例提供的音视频数据的处理方法的流程图；
53.图8为本技术一个实施例提供的音视频数据的处理装置的结构示意图；
54.图9为本技术又一个实施例提供的音视频数据的处理装置的结构示意图；
55.图10为本技术另一个实施例提供的音视频数据的处理装置的结构示意图；
56.图11为本技术一个实施例提供的电子设备的结构示意图。
57.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
58.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
59.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
60.下面对本技术实施例的应用场景进行解释：
61.图1为本技术实施例提供的音视频数据的处理方法的一种应用场景图，如图1所示，主叫ue(user equipment，用户终端或用户设备)110向被叫ue120发起音视频请求，并通过集群核心网130将该音视频请求发送至被叫ue120，被叫ue120对该音视频请求进行确认，并生成请求确认消息，通过集群核心网130将该请求确认消息发送至主叫ue110，从而主叫ue110和被叫ue120建立音视频业务，通过集群核心网130进行音视频数据的传输。
62.然而，现有的基于b-trunc协议的音视频业务，为了提高业务的实时性，采用udp协议来针对rtp数据进行传输，而udp协议无法保证传输数据的质量，从而导致网络拥塞时，会经常出现丢包问题，造成音频不连续、视频卡顿或者花屏的现象，用户体验较差。
63.为了解决上述问题，本技术实施例提出了一种音视频数据的抗丢包策略，本技术实施例的技术方案的主要构思为：在音视频建立请求中加入发送端的fec编码参数，通过发送端和接收端关于fec编码参数的协商过程，确定两者通信对应的fec编码协商参数，从而根据该协商参数对两者的音视频数据进行抗丢包处理，实现了音视频数据的抗丢包策略，提高了数据传输的准确性，提高了用户体验。
64.图2为本技术一个实施例提供的音视频数据的处理方法的流程图。所述音视频数据的处理方法可以由终端设备执行，具体的，可以由发送端执行。如图2所示，本实施例提供的音视频数据的处理方法包括以下几个步骤：
65.步骤s201，发送音视频建立请求，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数。
66.其中，音视频建立请求是由发送端向接收端发起的建立音视频的一个请求，也可
以称为call request。fec(forward error correction，前向纠错)编码参数包括fec编码的各种参数，如是否启用fec编码、fec编码的冗余度以及所采用的fec编码算法等。
67.具体的，fec编码是一种差错控制编码，在信号或数据包被传输之前预先对其按一定的格式进行处理，在接收端则按照规定的算法进行解码，以达到检测出错码并进行纠错的目的。fec编码技术通过的数据编码中加入冗余纠错码，进而通过解码可以自动纠正错乱的数据编码，降低数据传输的误码率，提高数据的准确度。
68.可选地，所述fec编码参数包括：fec开关参数、fec分组参数、fec冗余度和fec抗丢包模式。
69.其中，fec开关参数包括开和关两种状态，当其为开时，表示采用或开启fec编码，而当其为关时，则表示不采用或者不开启fec编码。fec分组参数是用于表征将数据编码划分为多少个分组或分段。而fec冗余度即表示fec编码的长度。fec抗丢包模式与所传输数据的丢包模式相对应，若所传输数据的丢包模式为随机丢包，则fec抗丢包模式为fec抗随机丢包模式，若所传输数据的丢包模式为突击丢包，则fec抗丢包模式为fec抗突击丢包模式。具体的，可以根据接收到的数据确定丢包模式。
70.示例性的，假设数据编码被划分为m个分组，每个分组包括k bit的数据，和n-k bit的冗余编码，则该数据编码对应的fec开关参数为开，fec分组参数为m，fec冗余度为n-k。
71.进一步地，fec编码参数还可以包括fec编码算法。其中，fec编码算法可以包括reed solomon(rs，里所码)、hamming code(汉明码)、低密度奇偶校验码(low density parity check code，ldpc)和turbo乘积码(turbo product code，tpc)中的任意一种或多种。
72.具体的，发送端向接收端发送音视频建立请求，该音视频建立请求可以由集群核心网接收并进行处理后发送至接收端，也可以经过集群核心网直接发送至接收端。其中，发送端也可以称为主叫ue或者主叫端，接收端相应称为被叫ue或者被叫端。
73.进一步地，该音视频建立请求中携带video description(视频描述)消息，而该video description消息中包含发送端的fec编码参数。该音视频建立请求中还可以包括或携带呼叫类型、呼叫属性、被叫号码、媒体信息等。
74.示例性的，表1为本技术图1所示实施例中的一种video description消息的fec字段表，如表1所示：在本实施例中，在video description消息或video description信元中添加了fec编码参数的字段，fec字段包括3个参数，分别为参数类型、可选还是必选以及参数长度。具体的，fec字段或者video fec parameters的类型为video fec parameters，可选/必选参数可以是可选，也可以是必选，其长度为1个字节(byte)。
75.表1 video description消息的fec字段表
76.信元类型可选/必选长度video fec parametersvideo fec parameters可选1
77.示例性的，表2为本技术图1所示实施例中的video fec parameters的参数表，其中，video fec parameters即为上述fec编码参数，如表2所示，表2 video fec parameters
[0078][0079]
其中，fec编码参数1、fec编码参数2和fec编码参数3
[0080]
步骤s202，获取所述音视频建立请求的确认消息。
[0081]
其中，所述确认消息为根据所述发送端的fec编码参数和接收端的fec编码参数生成的所述音视频建立请求消息的回应消息。接收端的个数可以是一个也可以是多个。当接收端为一个时，对应的场景为单呼场景，而当接收端的个数为多个时，则对应为群呼场景。确认消息又可以称为call comfirmed。
[0082]
具体的，当发送端的fec编码参数和接收端的fec编码参数中的fec开关参数均为开启fec编码时，则可以进一步根据发送端和接收端的其他fec编码参数进行确认消息的fec编码协商参数的协商。而当接收端至少一个的fec开关参数为不开启fec编码时，则确认消息中将不包括fec编码协商参数，即发送端和接收端之间的音视频数据业务无法采用fec编码进行抗丢包处理。
[0083]
可选地，当所述发送端的fec开关参数和所述接收端的fec开关参数均为开启fec编码时，所述确认消息中的fec编码协商参数的fec分组参数、fec冗余度和fec抗丢包模式分别根据所述发送端和接收端的fec分组参数、fec冗余度和fec抗丢包模式确定。
[0084]
具体的，接收端的fec编码参数与发送端的fec编码参数的具体形式相同，所包括的具体参数可以相同，也可以不相同。当两者的fec编码参数的具体参数，如fec分组参数、fec冗余度和fec抗丢包模式，相同时，则可以根据接收端或者发送端的fec编码参数确定音视频建立请求的确认消息。而当两者的具体参数不同时，可以根据预先制定的协议确定确认消息的fec编码协商参数，如可以是将发送端的fec编码参数确定为fec编码协商参数。
[0085]
具体的，当接收端的数量为一个时，确定fec编码协商参数的步骤可以由集群核心网执行，也可以由接收端执行。而当接收端的数量为至少两个，如3、5或者其他数量时，则需要由集群核心网执行。
[0086]
进一步地，当由集群核心网执行时，fec编码协商参数的协商流程为：
[0087]
集群核心网根据发送端的音视频建立请求中携带的fec参数和接收端在终端集群注册时上报的fec编码能力确定本次业务是否可以采用fec编码，若是，则进而根据发送端的fec编码参数以及相关签约协议确定发送端和接收端的fec编码协商参数，并将其添加至确认消息中，发送至接收端和发送端。而当接收端的fec编码能力为不具备fec编码的能力时，则表示发送端和接收端之间的数据通信无法采用fec编码，则该确认消息中不包括fec编码协商参数。或者发送端和接收端无法就fec编码的具体参数协商一致时，该确认消息中也不包括fec编码协商参数。其中，接收端的fec编码能力在接收端注册时被添加至所述接收端的终端集群能力中。
[0088]
具体的，接收端的fec编码能力可以携带在接收端的ue trunking capability(终端集群能力)中，在接收端集群终端注册时上报。fec编码能力用于表征接收端是否具备采用fec编码的能力。
[0089]
相应的，由接收端执行的具体过程与上述类似，仅省略了将确认消息发送至接收
端的步骤。
[0090]
步骤s203，当所述确认消息中包括fec编码协商参数时，基于所述fec编码协商参数对所述发送端的音视频数据进行抗丢包处理。
[0091]
其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
[0092]
进一步地，当确认消息中不包括fec编码协商参数时，则无法基于fec编码协商参数对所述发送端的音视频数据进行抗丢包处理，即不对音视频数据进行抗丢包处理，而是按照相关协议进行传输。
[0093]
具体的，抗丢包处理，即通过在发送端对音视频数据进行fec编码，在接收端对编码后的音视频数据进行解码从而对丢包进行检测和纠错。
[0094]
在本实施例中，通过在音视频建立请求中添加发送端的fec编码参数，并获取关于音视频建立请求的确认消息，该确认消息是由接收端和发送端关于fec编码参数的协商过程确定的回应消息，若该确认消息中包括fec编码协商参数，则基于该fec编码协商参数对发送端和接收端的音视频数据进行抗丢包处理，实现了音视频数据的抗丢包处理，且fec编码无需将丢包数据回传便可自动进行丢包检测和恢复，应用范围广，提高了数据传输的准确度。
[0095]
图3为本技术另一个实施例提供的音视频数据的处理方法的流程图，如图3所示，本实施例提供的音视频数据的处理方法在图2所示实施例提供的音视频数据的处理方法的基础上，对步骤s203进行了细化，并在步骤s201之前增加了终端的集群注册的步骤，本实施例提供的音视频数据的处理方法可以包括以下几个步骤：
[0096]
步骤s301，在宽带集群通信协议的终端集群能力中加入fec编码能力。
[0097]
具体的，宽带集群通信协议即b-trunc协议。在b-trunc协议中，终端在注册时，会进行ue trunking capability的上报，在其中增加终端是否支持fec编码能力的上报。
[0098]
示例性的，表3为本技术图3所示实施例中的ue trunking capability的参数表，如表3所示：
[0099]
表3 ue trunking capability参数表
[0100][0101][0102]
可知，ue trunking capability中包括：端到端加密参数，用于对音视频数据进行加密，以防止数据被窃听；pdcp(packet data convergence protocol，分组数据汇聚协议)头压缩，用于定义集群信道的数据包的头压缩方式；amr over pdcp用于描述是否采用amr over pdcp技术进行编码和解码；半双工单呼参数，用于；nas(network attached storage，网络附属存储)视频业务参数，用于；fec编码能力参数，用于描述终端设备是否具备fec编码能力。
capability中。
[0118]
具体的，图5是本技术图3所示实施例中的fec编码参数的协商过程的流程图，如图5所示，以进行视频单呼业务为例，主叫ue向集群核心网发起视频单独建立请求call request，该请求中携带有video description，其中包括主叫ue的fec编码参数。当fec编码参数的协商过程发生在集群核心网侧时，集群核心网根据主叫ue发起请求时携带的fec编码参数和被叫ue终端集群注册时上报的fec编码能力确定本次业务是否采用fec编码以及确定相应的fec编码协商参数，然后将协商之后的确认消息call confirmed传递给被叫终端。当fec编码参数的协商过程发生在被叫ue侧时，集群核心网需要将主叫ue的fec编码参数发送至被叫ue，被叫ue根据自身的fec编码能力选择是否采用fec编码以及确定相应的fec编码协商参数，然后将协商之后的确认消息call confirmed传递给被集群核心网，由集群核心网将该确认消息发送至主叫ue。
[0119]
当为视频组呼业务时，该协商过程仅可以发生在集群核心网侧，各个被叫ue的fec编码能力或fec编码参数可以由监听ue获取并传输至集群核心网，其过程与单呼业务类似，在此不再赘述。
[0120]
进一步地，当发送端接收到该确认消息之后，便可以建立发送端专用承载，以及接收端专用承载，从而进行发送端和接收端的音视频业务。
[0121]
步骤s306，当所述确认消息中包括fec编码协商参数时，根据所述fec编码协商参数，确定所述发送端的音视频数据的fec冗余数据。
[0122]
其中，所述fec编码协商参数为根据所述接收端的fec编码能力、所述发送端的fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数确定的所述接收端的fec分组参数、fec冗余度和fec抗丢包模式。
[0123]
具体的，可以根据fec编码协商参数中的fec分组参数、fec冗余度分别确定音视频数据的分组数量和fec冗余数据的长度，根据fec抗丢包模式确定fec编码的模式，进而根据fec编码的模式确定相应的fec编码算法，以实现在音视频数据的数据编码之后增加fec冗余编码。
[0124]
步骤s307，在所述发送端的音视频数据中添加fec冗余数据，以根据所述fec冗余数据对所述发送端的音视频数据进行抗丢包处理。
[0125]
具体的，通过发送之前，在发送端的音视频数据中增加fec冗余数据，即基于上述fec编码参数在音视频数据中增加fec编码，从而得到fec编码后的音视频数据，在接收端可以根据相应的解码算法对fec编码后的音视频数据进行解码，以实现对错码的纠错。
[0126]
本实施例中，在终端集群注册时，在b-trunc协议中增加fec相关参数，并在终端注册时将该fec参数添加至终端集群能力中，从而使得当发送端向接收端发起音视频建立请求时，集群核心网可以根据发送段和接收端的fec参数，进行两者的fec协商流程，从而确定两者通讯时对应的fec编码协商参数，以便于基于该fec编码协商参数对两者之间的音视频数据进行抗丢包处理，提高了数据传输的准确度，提高了用户体验。
[0127]
图6为本技术又一个实施例提供的音视频数据的处理方法的流程图，本实施例提供的音视频数据的处理方法适用于集群核心网的相关设备，如图6所示，该音视频数据的处理方法包括以下步骤：
[0128]
步骤s601，获取发送端的音视频建立请求和接收端的fec编码参数。
[0129]
其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数。
[0130]
可选地，在获取发送端的音视频建立请求和接收端的fec编码参数之前，还包括：
[0131]
接收发送端或接收端的注册请求消息，其中，所述注册请求消息中包括所述发送端的fec编码能力，所述fec编码能力被添加在宽带集群通信协议的终端集群能力中；根据所述注册请求消息中的fec编码能力和所述发送端或接收端的签约信息生成注册通过消息，将所述注册通过消息发送至所述发送端或接收端。
[0132]
步骤s602，根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息。
[0133]
其中，所述确认消息为所述音视频建立请求的回应消息。
[0134]
可选地，根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息，包括：
[0135]
生成所述音视频建立请求的确认消息；
[0136]
根据所述发送端的fec编码参数和所述接收端的fec编码参数确定fec编码协商参数，并将所述fec编码协商参数添加至所述音视频建立请求的确认消息中。
[0137]
可选地，根据所述发送端的fec编码参数和所述接收端的fec编码参数确定fec编码协商参数，包括:
[0138]
当所述发送端的fec开关参数和所述接收端的fec开关参数均为开启fec编码时，根据所述发送端和接收端的fec分组参数、fec冗余度和fec抗丢包模式分别确定所述确认消息中的fec编码协商参数的fec分组参数、fec冗余度和fec抗丢包模式。
[0139]
可选地，所述发送端的fec编码参数包括：发送端fec开关参数、fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数。
[0140]
相应的，根据所述发送端的fec编码参数和所述接收端的fec编码参数确定fec编码协商参数，包括：根据所述接收端的fec编码能力、所述发送端的fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数确定的所述接收端的fec分组参数、fec冗余度和fec抗丢包模式，以作为fec编码协商参数。
[0141]
步骤s603，当所述确认消息中包括fec编码协商参数时，向所述发送端和接收端发送fec启动消息，以使所述发送端和接收端基于所述fec编码协商参数和所述fec启动消息对音视频数据进行抗丢包处理。
[0142]
其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
[0143]
可选地，基于所述fec编码协商参数和所述fec启动消息对音视频数据进行抗丢包处理，包括：
[0144]
据所述fec编码协商参数，确定所述发送端的音视频数据的fec冗余数据；在所述发送端的音视频数据中添加fec冗余数据，以根据所述fec冗余数据对所述发送端的音视频数据进行抗丢包处理。
[0145]
在本实施例中，通过在音视频建立请求中添加发送端的fec编码参数，并获取关于音视频建立请求的确认消息，该确认消息是由接收端和发送端关于fec编码参数的协商过程确定的回应消息，若该确认消息中包括fec编码协商参数，则基于该fec编码协商参数对发送端和接收端的音视频数据进行抗丢包处理，实现了音视频数据的抗丢包处理，且fec编
码无需将丢包数据回传便可自动进行丢包检测和恢复，应用范围广，提高了数据传输的准确度。
[0146]
图7为本技术又一个实施例提供的音视频数据的处理方法的流程图，本实施例提供的音视频数据的处理方法适用于被叫ue或接收端，如图7所示，该音视频数据的处理方法包括以下步骤：
[0147]
步骤s701，获取发送端的音视频建立请求和接收端的fec编码参数。
[0148]
其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数。
[0149]
可选地，在获取发送端的音视频建立请求和接收端的fec编码参数之前，还包括：
[0150]
在宽带集群通信协议的终端集群能力中加入fec编码能力；接收端向集群核心网发送注册请求消息，其中，所述注册请求消息中包括所述接收端的fec编码能力；获取所述集群核心网的注册通过消息，其中，所述注册通过消息为所述集群核心网根据所述注册请求消息中的fec编码能力和所述接收端的签约信息确定的消息。
[0151]
步骤s702，根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息。
[0152]
其中，所述确认消息为所述音视频建立请求的回应消息。发送端的fec编码参数可以是由集群核心网发送至接收端的。
[0153]
可选地，根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息，包括：
[0154]
生成所述音视频建立请求的确认消息；根据所述发送端的fec编码参数和所述接收端的fec编码参数确定fec编码协商参数，并将所述fec编码协商参数添加至所述音视频建立请求的确认消息中。
[0155]
可选地，根据所述发送端的fec编码参数和所述接收端的fec编码参数确定fec编码协商参数，包括:
[0156]
当所述发送端的fec开关参数和所述接收端的fec开关参数均为开启fec编码时，根据所述发送端和接收端的fec分组参数、fec冗余度和fec抗丢包模式分别确定所述确认消息中的fec编码协商参数的fec分组参数、fec冗余度和fec抗丢包模式。
[0157]
可选地，所述发送端的fec编码参数包括：发送端fec开关参数、fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数。
[0158]
相应的，根据所述发送端的fec编码参数和所述接收端的fec编码参数确定fec编码协商参数，包括：根据所述接收端的fec编码能力、所述发送端的fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数确定的所述接收端的fec分组参数、fec冗余度和fec抗丢包模式，以作为fec编码协商参数。
[0159]
步骤s703，当所述确认消息中包括fec编码协商参数时，基于所述fec编码协商参数对所述接收端的音视频数据进行抗丢包处理。
[0160]
其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
[0161]
可选地，基于所述fec编码协商参数对所述接收端的音视频数据进行抗丢包处理，包括：
[0162]
根据所述fec编码协商参数，确定所述接收端的音视频数据的fec解码算法；根据
所述fec解码算法对所述发送端的音视频数据进行丢包检测和纠错。
[0163]
在本实施例中，通过在音视频建立请求中添加发送端的fec编码参数，并获取关于音视频建立请求的确认消息，该确认消息是由接收端和发送端关于fec编码参数的协商过程确定的回应消息，若该确认消息中包括fec编码协商参数，则基于该fec编码协商参数对发送端和接收端的音视频数据进行抗丢包处理，实现了音视频数据的抗丢包处理，且fec编码无需将丢包数据回传便可自动进行丢包检测和恢复，应用范围广，提高了数据传输的准确度。
[0164]
图8为本技术一个实施例提供的音视频数据的处理装置的结构示意图，如图8所示，本实施例提供的音视频数据的处理装置包括：建立请求发送模块810、确认消息获取模块820和第一数据处理模块830。
[0165]
其中，建立请求发送模块810用于发送音视频建立请求，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数；确认消息获取模块820，用于获取所述音视频建立请求的确认消息；第一数据处理模块830，用于当所述确认消息中包括fec编码协商参数时，基于所述fec编码协商参数对所述发送端的音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
[0166]
可选地，该音视频数据的处理装置，还包括：
[0167]
发送端注册模块，用于在发送音视频建立请求之前，在宽带集群通信协议的终端集群能力中加入fec编码能力；所述发送端向集群核心网发送注册请求消息，其中，所述注册请求消息中包括所述发送端的fec编码能力；获取所述集群核心网的注册通过消息，其中，所述注册通过消息为所述集群核心网根据所述注册请求消息中的fec编码能力和所述发送端的签约信息确定的消息。
[0168]
可选地，第一数据处理模块830，具体用于：
[0169]
当所述确认消息中包括fec编码协商参数时，根据所述fec编码协商参数，确定所述发送端的音视频数据的fec冗余数据；在所述发送端的音视频数据中添加fec冗余数据，以根据所述fec冗余数据对所述发送端的音视频数据进行抗丢包处理。
[0170]
可选地，所述fec编码参数包括：fec开关参数、fec分组参数、fec冗余度和fec抗丢包模式。
[0171]
可选地，当所述发送端的fec开关参数和所述接收端的fec开关参数均为开启fec编码时，所述确认消息中的fec编码协商参数的fec分组参数、fec冗余度和fec抗丢包模式分别根据所述发送端和接收端的fec分组参数、fec冗余度和fec抗丢包模式确定。
[0172]
可选地，所述发送端的fec编码参数包括：发送端fec开关参数、fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数。
[0173]
可选地，所述fec编码协商参数为根据所述接收端的fec编码能力、所述发送端的fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数确定的所述接收端的fec分组参数、fec冗余度和fec抗丢包模式。
[0174]
图9为本技术又一个实施例提供的音视频数据的处理装置的结构示意图，如图9所示，本实施例提供的音视频数据的处理装置包括：第一请求获取模块910、第一确认消息确定模块920和fec启动模块930。
[0175]
其中，第一请求获取模块910，用于获取发送端的音视频建立请求和接收端的fec编码参数，其中，所述音视频建立请求中包括发送端的前向纠错fec编码参数；第一确认消息确定模块920，用于根据所述发送端的fec编码参数和所述接收端的fec编码参数确定所述音视频建立请求的确认消息，其中，所述确认消息为所述音视频建立请求的回应消息；fec启动模块930，用于当所述确认消息中包括fec编码协商参数时，向所述发送端和接收端发送fec启动消息，以使所述发送端和接收端基于所述fec编码协商参数和所述fec启动消息对音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
[0176]
可选地，该音视频数据的处理装置，还包括：
[0177]
终端注册模块，用于在获取发送端的音视频建立请求和接收端的fec编码参数之前，接收发送端或接收端的注册请求消息，其中，所述注册请求消息中包括所述发送端的fec编码能力，所述fec编码能力被添加在宽带集群通信协议的终端集群能力中；根据所述注册请求消息中的fec编码能力和所述发送端或接收端的签约信息生成注册通过消息，将所述注册通过消息发送至所述发送端或接收端。
[0178]
可选地，第一确认消息确定模块920，包括：
[0179]
第一确认消息生成单元，用于生成所述音视频建立请求的确认消息；fec协商参数确定单元，用于根据所述发送端的fec编码参数和所述接收端的fec编码参数确定fec编码协商参数；fec协商参数添加单元，用于将所述fec编码协商参数添加至所述音视频建立请求的确认消息中。
[0180]
可选地，fec协商参数确定单元，具体用于：
[0181]
当所述发送端的fec开关参数和所述接收端的fec开关参数均为开启fec编码时，根据所述发送端和接收端的fec分组参数、fec冗余度和fec抗丢包模式分别确定所述确认消息中的fec编码协商参数的fec分组参数、fec冗余度和fec抗丢包模式。
[0182]
可选地，所述发送端的fec编码参数包括：发送端fec开关参数、fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数。
[0183]
相应的，fec协商参数确定单元，具体用于：
[0184]
根据所述接收端的fec编码能力、所述发送端的fec分组备选参数、fec冗余度备选参数和fec抗丢包模式备选参数确定的所述接收端的fec分组参数、fec冗余度和fec抗丢包模式，以作为fec编码协商参数。
[0185]
可选地，基于所述fec编码协商参数和所述fec启动消息对音视频数据进行抗丢包处理，包括：
[0186]
据所述fec编码协商参数，确定所述发送端的音视频数据的fec冗余数据；在所述发送端的音视频数据中添加fec冗余数据，以根据所述fec冗余数据对所述发送端的音视频数据进行抗丢包处理。
[0187]
图10为本技术另一个实施例提供的音视频数据的处理装置的结构示意图，如图10所示，本实施例提供的音视频数据的处理装置包括：第二请求获取模块1010、第二确认消息确定模块1020和第二数据处理模块1030。
[0188]
其中，第二请求获取模块1010，用于获取发送端的音视频建立请求和接收端的fec编码参数；第二确认消息确定模块1020，用于根据所述发送端的fec编码参数和所述接收端
的fec编码参数确定所述音视频建立请求的确认消息，其中，所述确认消息为所述音视频建立请求的回应消息；第二数据处理模块1030，用于当所述确认消息中包括fec编码协商参数时，基于所述fec编码协商参数对所述接收端的音视频数据进行抗丢包处理，其中，所述fec编码协商参数为根据所述发送端的fec编码参数和接收端的fec编码参数确定的fec编码参数。
[0189]
可选地，该音视频数据的处理装置，还包括：
[0190]
接收端注册模块，用于在获取发送端的音视频建立请求和接收端的fec编码参数之前，在宽带集群通信协议的终端集群能力中加入fec编码能力；接收端向集群核心网发送注册请求消息，其中，所述注册请求消息中包括所述接收端的fec编码能力；获取所述集群核心网的注册通过消息，其中，所述注册通过消息为所述集群核心网根据所述注册请求消息中的fec编码能力和所述接收端的签约信息确定的消息。
[0191]
可选地，基于所述fec编码协商参数对所述接收端的音视频数据进行抗丢包处理，包括：
[0192]
根据所述fec编码协商参数，确定所述接收端的音视频数据的fec解码算法；根据所述fec解码算法对所述发送端的音视频数据进行丢包检测和纠错。
[0193]
图11为本技术一个实施例提供的电子设备的结构示意图，如图11所示，该电子设备包括：存储器1110，处理器1120以及计算机程序。
[0194]
其中，计算机程序存储在存储器1110中，并被配置为由处理器1120执行以实现本技术图2-图8所对应的实施例中任一实施例提供的音视频数据的处理方法。
[0195]
其中，存储器1111和处理器1120通过总线1130连接。
[0196]
相关说明可以对应参见图2-图7的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
[0197]
本技术一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本技术图2-图7所对应的实施例中任一实施例提供的音视频数据的处理方法。
[0198]
其中，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0199]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0200]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由权利要求书指出。
[0201]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并
且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。