一种流媒体后端解码方法、装置及存储介质与流程

1.本发明涉及通信技术领域，尤其涉及一种流媒体后端解码方法、装置及存储介质。


背景技术：

2.流媒体技术在各个领域发展迅速，3g研究的深入和宽带网络的普及使得流媒体技术获得了更大更广阔的应用空间。流媒体广泛应用于视频在线点播、电子商务、在线直播、远程医疗、视频会议、网络监控等网络信息服务。可以说，流媒体技术已经成为网络上应用的主流。现在人们也已经不再满足早期互联网上传输的低品质多媒体信息了，随着网络技术和通信技术的发展，高品质的高清流媒体已经渐渐开始出现。
3.流媒体是指将一连串的媒体数据压缩后，经过网上分段发送数据，在网上即时传输影音以供观赏的一种技术与过程，此技术使得数据包得以像流水一样发送；如果不使用此技术，就必须在使用前下载整个媒体文件，流式传输可传送现场影音或预存于服务器上的影片，当观看者在收看这些影音文件时，影音数据在送达观看者的计算机后立即由特定播放软件播放。而如何对流媒体进行处理使得用户合理的获取流媒体数据成为了一大问题。
4.流媒体编解码就用于流媒体数据进行编码传输解码播放，目前在对流媒体编解码多采用传统的视频编解码方式进行处理，实时流媒体技术中编码端通常采用固定的编码格式，例如：h264或者是h265，会导致编码端发送的流媒体格式无法被解码端解码、流媒体数据不能连续输出、成本高的问题。
5.因此，为满足高清流媒体发展的需求，如何提高流媒体的解码准确性，满足用户体验，降低解码成本和资源迫在眉睫。


技术实现要素：

6.本发明的主要目的在于提供一种流媒体后端解码方法及装置，旨在解决现有技术中编码端发送的流媒体格式无法被解码端解码、流媒体数据不能连续输出、成本高的技术问题。
7.为实现上述目的，本发明实施例提供了一种流媒体后端解码方法，其包括：步骤1、采集流媒体文件，对采集的流媒体文件进行预处理，其中流媒体文件预处理包括根据传输的最大吞吐量对流媒体文件进行转换、流媒体文件编辑，将预处理后的流媒体文件传输到前端编码系统；步骤2、后端解码系统发送解码能效因子到前端编码系统，前端编码系统接受后端解码系统的解码能效因子，根据解码能效因子对预处理后的流媒体文件进行编码压缩，编码处理由文件封装、帧内预测、运动估计、运动补偿、离散余弦变换、量化、块滤波、重排序和熵编码组成；其中解码能效因子包括后端解码系统能够解码的文件格式、解码速率、解码准确率，根据解码能效因子对预处理后的流媒体文件进行编码包括根据后端解码系统能够解码的文件格式、解码速率、解码准确率将流媒体数据进行适应性地编码；
步骤3、将编码处理后的流媒体文件传输至后端解码系统；步骤4、后端解码系统对编码处理后的流媒体文件进行解码处理，其中，后端解码系统包括cpu以及至少两个gpu；解码处理由熵解码、反量化、反变换、运动补偿、帧内预测和解块滤波组成；为了获得最大的吞吐量，同时采用cpu结合至少两个gpu进行解码处理，同时利用片上解码器单元；并对吞吐量进行实时计算，传输的最大吞吐量t计算如下：，其中p表示丢失事件率，cw表示拥塞窗口的平均峰值，ps表示数据丢失率，rtt表示平均往返时延，pro表示一个拥塞控制段内超时事件发生的概率，rto表示一个拥塞控制阶段内的第一个超时时延；根据实时吞吐量与最大吞吐量的差值以及gpu内片上硬件解码器的利用率实时信息，实时调整cpu和至少两个gpu任务分配；步骤5：在后端解码系统对接收的流媒体文件进行解码处理时实现解码缓冲，弥补延迟抖动影响，并对解码的数据包进行合成，保证数据包顺序正确，使得流媒体数据进行连续输出；步骤4还包括当gpu内片上硬件解码器的利用率低于设定阈值时，将任务引入另一个转码管道，该管道使用 cpu 解码和编码来为硬件编码器生成额外的工作负载。
8.在本发明所述的流媒体后端解码方法中，步骤1具体包括：流媒体文件预处理中流媒体文件编辑是将流媒体文件进行冗余去除、头尾、叠加、马赛克处理编辑。
9.在本发明所述的流媒体后端解码方法中，步骤2具体包括：通过后端解码系统的配置文件获取后端解码系统的解码能效因子；将后端解码系统的解码能效因子发送到前端编码系统。
10.在本发明所述的流媒体后端解码方法中，步骤3具体还包括：采用rtcp/tcp技术将编码处理后的流媒体文件传输至后端解码系统。
11.在本发明所述的流媒体后端解码方法中，步骤4具体还包括：计算至少两个gpu内片上硬件解码器的利用率，筛选出具有最低利用率的gpu并利用筛选出的gpu进行解码处理。
12.步骤4还包括当gpu内片上硬件解码器的利用率均高于设定阈值时，将任务分配给cpu 进行解码处理。
13.在本发明所述的流媒体后端解码方法中，步骤4具体还包括：获取后端解码系统的当前的网络质量；根据后端解码系统的当前的网络质量动态调整网络传输的冗余度，通过调整冗余度，在接收端对数据进行差错检测，如发现差错，由接收方进行纠正。
14.在本发明所述的流媒体后端解码方法中，步骤4具体还包括：读入第一帧，将其当做i帧，进行帧内解码，然后进行离散余弦变换和量化处理，然后采用z形扫描将二维的冗余数据转成一维数据，再进行熵解码；将接下来读入的帧设定为p帧，p帧进行帧间预测，通过帧间预测消除帧与帧在时间上的冗余信息，通过运动估计和运动补偿进行，在对冗余数据块进行离散余弦变换、量化、z形扫描和熵解码。
15.在本发明所述的流媒体后端解码方法中，步骤5具体还包括：
读入压缩的数据流，以帧为单位进行熵解码，然后对解码好的数据进行反z扫描，将一维的冗余数据复现为二维数据块，然后进行反量化和反离散余弦变换，对数据流序列中的第一帧i帧，采用改进帧内预测的方法对其进行解码，并作为后序帧的参考帧；所述改进帧内预测的方法采用改进非线性插值生成预测像素值，，其中、、为与像素位置（x,y）距离分别为i个像素、i+1个像素、i+n-1个像素距离的参考像素值，、、分别为参考像素值、、对应的权重因子；然后对p帧进行解码，进行熵解码、反z形扫描、反量化、反离散余弦变化，然后结合参考帧对当前帧进行运动补偿，还原好当前帧的数据，完成后解码p帧的过程。
16.本发明实施例还提供一种流媒体后端解码装置，其包括：预处理模块：用于采集流媒体文件，对采集的流媒体文件进行预处理，其中流媒体文件预处理包括根据传输的最大吞吐量对流媒体文件进行转换、流媒体文件编辑，将预处理后的流媒体文件传输到前端编码系统；编码模块：用于后端解码系统发送解码能效因子到前端编码系统，前端编码系统接受后端解码系统的解码能效因子，根据解码能效因子对预处理后的流媒体文件进行编码压缩，编码处理由文件封装、帧内预测、运动估计、运动补偿、离散余弦变换、量化、块滤波、重排序和熵编码组成；其中解码能效因子包括后端解码系统能够解码的文件格式、解码速率、解码准确率，根据解码能效因子对预处理后的流媒体文件进行编码包括根据后端解码系统能够解码的文件格式、解码速率、解码准确率将流媒体数据适应性地编码；传输模块：用于将编码处理后的流媒体文件传输至后端解码系统；解码模块：后端解码系统对编码处理后的流媒体文件进行解码处理，其中，后端解码系统包括cpu以及至少两个gpu；解码处理由熵解码、反量化、反变换、运动补偿、帧内预测和解块滤波组成；为了获得最大的吞吐量，同时采用cpu结合至少两个gpu进行解码处理，同时利用片上解码器单元；并对吞吐量进行实时计算，传输的最大吞吐量t计算如下：，其中p表示丢失事件率，cw表示拥塞窗口的平均峰值，ps表示数据丢失率，rtt表示平均往返时延，pro表示一个拥塞控制段内超时事件发生的概率，rto表示一个拥塞控制阶段内的第一个超时时延；根据实时吞吐量与最大吞吐量的差值以及gpu内片上硬件解码器的利用率实时信息，实时调整cpu和至少两个gpu任务分配；输出模块：在后端解码系统对接收的流媒体文件进行解码处理时实现解码缓冲，弥补延迟抖动影响，并对解码的数据包进行合成，保证数据包顺序正确，使得流媒体数据进行连续输出；解码模块还包括任务调配模块，当gpu内片上硬件解码器的利用率均高于设定阈值时，将任务分配给cpu 进行解码处理；传输模块：用于将编码处理后的流媒体文件传输至后端解码系统；
解码模块：用于后端解码系统对编码处理后的流媒体文件进行解码处理，其中，后端解码系统包括至少两个gpu；选择合适的gpu进行解码处理，解码处理由熵解码、反量化、反变换、运动补偿、帧内预测和解块滤波组成；输出模块：用于在后端解码系统对接收的流媒体文件进行解码处理时实现解码缓冲，弥补延迟抖动影响，并对解码的数据包进行合成，保证数据包顺序正确，使得流媒体数据进行连续输出。
17.在一些实施例中，解码模块具体还包括：读入压缩的数据流，以帧为单位进行熵解码，然后对解码好的数据进行反z扫描，将一维的冗余数据复现为二维数据块，然后进行反量化和反离散余弦变换，对数据流序列中的第一帧i帧，采用帧内预测的方法对其进行解码，并作为后序帧的参考帧；所述帧内预测的方法采用非线性插值生成预测像素值，，其中、、为与像素位置（x,y）距离分别为i个像素、i+1个像素、i+n-1个像素距离的参考像素值，、、分别为参考像素值、、对应的权重因子；然后对p帧进行解码，进行熵解码、反z形扫描、反量化、反离散余弦变化，然后结合参考帧对当前帧进行运动补偿，还原好当前帧的数据，完成后解码p帧的过程。
18.本发明实施例还提供一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如上述流媒体后端解码方法。
19.本发明的流媒体后端解码方法，为了获得最大的吞吐量，同时采用cpu结合至少两个gpu进行解码处理，同时利用片上解码器单元；并对吞吐量进行实时计算，传输的最大吞吐量t计算如下：，其中p表示丢失事件率，cw表示拥塞窗口的平均峰值，ps表示数据丢失率，rtt表示平均往返时延，pro表示一个拥塞控制段内超时事件发生的概率，rto表示一个拥塞控制阶段内的第一个超时时延；根据实时吞吐量与最大吞吐量的差值以及gpu内片上硬件解码器的利用率实时信息，实时调整cpu和至少两个gpu任务分配；传输时采用合适的吞吐量模型，前端编码系统通过根据后端解码系统的解码能效因子对预处理后的流媒体文件进行编码压缩，有效地根据后端解码系统能够解码的文件格式、解码速率、解码准确率对流媒体数据进行编码；从多个选择合适的cpu对编码后的流媒体数据进行解码，并且根据后端解码系统的当前的网络质量动态调整网络传输的冗余度，有效地提高了解码的准确性和速率，满足用户体验，降低了解码成本和资源，通过上述计算大大提升了编解码传输效率，大大增强了解码功效。
20.同时解码过程中采用改进帧内预测的方法对其进行解码，并作为后序帧的参考帧；所述改进帧内预测的方法采用改进非线性插值生成预测像素值，，其中、、为与像素位置（x,y）距离分别为i个像素、i+1个像素、i+n-1个像素距离的参考像素值，、、
分别为参考像素值、、对应的权重因子；大大增强了解码准确率。
附图说明
21.图1是本发明实施例方案实施流程 。
具体实施方式
22.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.参照图1，图1为本发明方法一实施例流程示意图。本发明的流媒体后端解码方法可以包括：步骤1、采集流媒体文件，对采集的流媒体文件进行预处理，其中流媒体文件预处理包括根据传输的最大吞吐量对流媒体文件进行转换、流媒体文件编辑，将预处理后的流媒体文件传输到前端编码系统。
25.流媒体文件预处理中流媒体文件编辑是将流媒体文件进行冗余去除、头尾、叠加、马赛克处理编辑。
26.步骤2、后端解码系统发送解码能效因子到前端编码系统，前端编码系统接受后端解码系统的解码能效因子，根据解码能效因子对预处理后的流媒体文件进行编码压缩，编码处理由文件封装、帧内预测、运动估计、运动补偿、离散余弦变换、量化、块滤波、重排序和熵编码组成；其中解码能效因子包括后端解码系统能够解码的文件格式、解码速率、解码准确率，根据解码能效因子对预处理后的流媒体文件进行编码包括根据后端解码系统能够解码的文件格式、解码速率、解码准确率将流媒体数据进行适应性地编码。
27.通过后端解码系统的配置文件获取后端解码系统的解码能效因子；将后端解码系统的解码能效因子发送到前端编码系统。
28.步骤3、将编码处理后的流媒体文件传输至后端解码系统。
29.采用rtcp/tcp技术将编码处理后的流媒体文件传输至后端解码系统。
30.步骤4、后端解码系统对编码处理后的流媒体文件进行解码处理，其中，后端解码系统包括至少两个gpu；选择合适的gpu进行解码处理，解码处理由熵解码、反量化、反变换、运动补偿、帧内预测和解块滤波组成。后端解码系统对编码处理后的流媒体文件进行解码处理，其中，后端解码系统包括cpu以及至少两个gpu；解码处理由熵解码、反量化、反变换、运动补偿、帧内预测和解块滤波组成；为了获得最大的吞吐量，同时采用cpu结合至少两个gpu进行解码处理，同时利用片上解码器单元；并对吞吐量进行实时计算，传输的最大吞吐量t计算如下：，其中p表示丢失事件率，cw表示拥塞窗口的平均峰值，ps表示数据丢失率，rtt表示平均往返时延，pro表示一个拥塞控制段内超时事件发生的概率，rto表示一个拥塞控制阶段内的第一个超时时延；根据实时吞吐量
与最大吞吐量的差值以及gpu内片上硬件解码器的利用率实时信息，实时调整cpu和至少两个gpu任务分配；计算至少两个gpu内片上硬件解码器的利用率，筛选出具有最低利用率的gpu并利用筛选出的gpu进行解码处理。
31.获取后端解码系统的当前的网络质量；根据后端解码系统的当前的网络质量动态调整网络传输的冗余度。解码端的当前的网络质量是通过单位时间内网络数据传输丢包率来衡量，也就是单位时间内网络传输丢失的包总数除于总的接收包数量。然后根据解码端的当前的解码端的当前的网络质量动态调整网络传输的冗余度，以此在网络质量不高的情况下，通过调整冗余度，在接收端对数据进行差错检测，如发现差错，由接收方进行纠正。
32.在一些实施例中，通过传输系统进行流媒体实时互动采用的传输层方案有tcp(如：rtmp)和udp(如：rtp)两种。例如，在采用的流媒体传输协议为udp(一般上层应用层协议为rtp，以提供序号和音视频同步的服务)时，udp性能的提高是以不能保障数据完整性为代价的，它不能对所传数据提供担保，常见的问题有包乱序、包丢失、包重复。其中包丢失的原因有如下及方面：
①
当路由器和网关发生拥塞时，某些包可能被丢弃，发生这种情况一般是由于网络中传输的数据包大于网络信道的承载能力。
②
分组数据在传送时有生存时间限制以避免路由中死循环的出现，网络状况恶劣时，分组可能超时丢失。
③
接收端工作超载运行时可能因调度困难而不能及时处理网口数据。
33.读入第一帧，将其当做i帧，进行帧内编码，然后进行离散余弦变换和量化处理，然后采用z形扫描将二维的冗余数据转成一维数据，再进行熵编码；将接下来读入的帧设定为p帧，p帧进行帧间预测，通过帧间预测消除帧与帧在时间上的冗余信息，通过运动估计和运动补偿进行，在对冗余数据块进行离散余弦变换、量化、z形扫描和熵编码。
34.步骤5：在后端解码系统对接收的流媒体文件进行解码处理时实现解码缓冲，弥补延迟抖动影响，并对解码的数据包进行合成，保证数据包顺序正确，使得流媒体数据进行连续输出。
35.读入压缩的数据流，以帧为单位进行熵解码，然后对解码好的数据进行反z扫描，将一维的冗余数据复现为二维数据块，然后进行反量化和反离散余弦变换，对数据流序列中的第一帧i帧，采用帧内预测的方法对其进行解码，并作为后序帧的参考帧；所述帧内预测的方法采用非线性插值生成预测像素值，，其中、、为与像素位置（x,y）距离分别为i个像素、i+1个像素、i+n-1个像素距离的参考像素值，、、分别为参考像素值、、对应的权重因子；然后对p帧进行解码，进行熵解码、反z形扫描、反量化、反离散余弦变化，然后结合参考帧对当前帧进行运动补偿，还原好当前帧的数据，完成后解码p帧的过程；对p帧进行解码，进行熵解码、反z形扫描、反量化、反离散余弦变化，然后结合参考帧对当前帧进行运动补偿，这样，就可以还原好当前帧的数据，完成后解码p帧的过程。
36.解码缓冲处理还包括以下步骤：数据流储存识别；采用环形链表结构对数据流进行处理，并对数据流进行自动识别是否播放；数据流删除；将播放后的数据流自动进行删除
清理，实现重新利用高速缓存空间来缓存后序尚未播放的内容。
37.此外，本发明还提供一种流媒体后端解码装置。
38.其中，本发采集流媒体文件，对采集的流媒体文件进行预处理，其中流媒体文件预处理包括根据传输的最大吞吐量对流媒体文件进行转换、流媒体文件编辑，将预处理后的流媒体文件传输到前端编码系统；编码模块：用于后端解码系统发送解码能效因子到前端编码系统，前端编码系统接受后端解码系统的解码能效因子，根据解码能效因子对预处理后的流媒体文件进行编码压缩，编码处理由文件封装、帧内预测、运动估计、运动补偿、离散余弦变换、量化、块滤波、重排序和熵编码组成；其中解码能效因子包括后端解码系统能够解码的文件格式、解码速率、解码准确率，根据解码能效因子对预处理后的流媒体文件进行编码包括根据后端解码系统能够解码的文件格式、解码速率、解码准确率将流媒体数据进行适应性地编码；传输模块：用于将编码处理后的流媒体文件传输至后端解码系统；解码模块：用于后端解码系统对编码处理后的流媒体文件进行解码处理，其中，后端解码系统包括至少两个gpu；选择合适的gpu进行解码处理，解码处理由熵解码、反量化、反变换、运动补偿、帧内预测和解块滤波组成；后端解码系统对编码处理后的流媒体文件进行解码处理，其中，后端解码系统包括cpu以及至少两个gpu；解码处理由熵解码、反量化、反变换、运动补偿、帧内预测和解块滤波组成；为了获得最大的吞吐量，同时采用cpu结合至少两个gpu进行解码处理，同时利用片上解码器单元；并对吞吐量进行实时计算，传输的最大吞吐量t计算如下：，其中p表示丢失事件率，cw表示拥塞窗口的平均峰值，ps表示数据丢失率，rtt表示平均往返时延，pro表示一个拥塞控制段内超时事件发生的概率，rto表示一个拥塞控制阶段内的第一个超时时延；根据实时吞吐量与最大吞吐量的差值以及gpu内片上硬件解码器的利用率实时信息，实时调整cpu和至少两个gpu任务分配；输出模块：用于在后端解码系统对接收的流媒体文件进行解码处理时实现解码缓冲，弥补延迟抖动影响，并对解码的数据包进行合成，保证数据包顺序正确，使得流媒体数据进行连续输出。
39.根据最大吞吐量t得到解码能效因子包括通过计算出的最大吞吐量设置不同吞吐量区间段，不同的区间段对应的解码能效因子不同，相同区间段解码能效因子相同。
40.在一些实施例中，解码模块具体还包括：读入压缩的数据流，以帧为单位进行熵解码，然后对解码好的数据进行反z扫描，将一维的冗余数据复现为二维数据块，然后进行反量化和反离散余弦变换，对数据流序列中的第一帧i帧，采用帧内预测的方法对其进行解码，并作为后序帧的参考帧；所述帧内预测的方法采用非线性插值生成预测像素值，，其中、、为与像素位置（x,y）距离分别为i个像素、i+1个像素、i+n-1个像素距离的参考像素值，、、分别为参考像素值、、对应的权重因子；
然后对p帧进行解码，进行熵解码、反z形扫描、反量化、反离散余弦变化，然后结合参考帧对当前帧进行运动补偿，还原好当前帧的数据，完成后解码p帧的过程。
41.本发明的流媒体后端解码装置的具体工作原理与上述的流媒体后端解码方法的具体实施例中的描述相同或相似，具体请参见上述流媒体后端解码方法的具体实施例的相关描述。
42.本发明的流媒体后端解码方法，传输时采用合适的吞吐量模型，前端编码系统通过根据后端解码系统的解码能效因子对预处理后的流媒体文件进行编码压缩，有效地根据后端解码系统能够解码的文件格式、解码速率、解码准确率对流媒体数据进行编码；从多个选择合适的cpu对编码后的流媒体数据进行解码，并且根据后端解码系统的当前的网络质量动态调整网络传输的冗余度，有效地提高了解码的准确性和速率，满足用户体验，降低了解码成本和资源。本发明的流媒体后端解码方法，为了获得最大的吞吐量，同时采用cpu结合至少两个gpu进行解码处理，同时利用片上解码器单元；并对吞吐量进行实时计算，传输的最大吞吐量t计算如下：，其中p表示丢失事件率，cw表示拥塞窗口的平均峰值，ps表示数据丢失率，rtt表示平均往返时延，pro表示一个拥塞控制段内超时事件发生的概率，rto表示一个拥塞控制阶段内的第一个超时时延；根据实时吞吐量与最大吞吐量的差值以及gpu内片上硬件解码器的利用率实时信息，实时调整cpu和至少两个gpu任务分配；传输时采用合适的吞吐量模型，前端编码系统通过根据后端解码系统的解码能效因子对预处理后的流媒体文件进行编码压缩，有效地根据后端解码系统能够解码的文件格式、解码速率、解码准确率对流媒体数据进行编码；从多个选择合适的cpu对编码后的流媒体数据进行解码，并且根据后端解码系统的当前的网络质量动态调整网络传输的冗余度，有效地提高了解码的准确性和速率，满足用户体验，降低了解码成本和资源，通过上述计算大大提升了编解码传输效率，大大增强了解码功效。
43.同时解码过程中采用改进帧内预测的方法对其进行解码，并作为后序帧的参考帧；所述改进帧内预测的方法采用改进非线性插值生成预测像素值，，其中、、为与像素位置（x,y）距离分别为i个像素、i+1个像素、i+n-1个像素距离的参考像素值，、、分别为参考像素值、、对应的权重因子；大大增强了解码准确率。
44.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
45.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
46.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下
前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端执行本发明各个实施例所述的方法。
47.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。