一种基于用户体验的实时视频传输速率自适应方法
【专利摘要】本发明公开了一种基于用户体验的实时视频传输速率自适应方法，根据网络特征以及用户体验感受自适应地进行视频传输速率适配。本发明包括移动采集端、播放客户端以及适配服务器三个部分。移动采集端采集实时视频数据，播放客户端接收视频并播放，适配服务器负责对移动采集端和播放客户端的网络状况以及移动采集端采集的视频类型进行监测，并同时接收来自播放客户端反馈的用户体验评分，然后根据这些参量采用适配算法决策出当前最佳发送比特率，并通知移动采集端调整发送比特率。本发明不同于以恒定发送比特率传输视频的方法，可以根据实时网络状况以及用户的感受来自适应调整视频发送比特率，从而为用户提供更好的体验。
【专利说明】一种基于用户体验的实时视频传输速率自适应方法
【技术领域】
[0001]本发明属于自适应视频传输【技术领域】，涉及一种实时视频传输自适应方法，主要是针对视频传输比特率进行适配。
【背景技术】
[0002]随着无线和移动网络的高速发展，流媒体业务在移动终端上的应用和发展也越来越备受关注。然而移动网络是一个时变信道，如何根据网络状况的不断变化，自适应的进行流媒体实时数据的传输，提高流媒体传输质量已成为当前急需解决的重大问题。
[0003]同时,流媒体业务中的端到端的用户体验(Quality of Experience, QoE)也越来越收到运营商及广大用户的重视，QoE作为用户对所接受服务的质量的综合评价，与终端用户、业务与内容提供商、网络与服务运营商、设备制造商的关系密切相关。通过对QoE的研究和实际网络中的应用，可以改进网络质量、提高用户感受到的服务质量。因此很有必要在提供自适应流媒体服务的同时，加入QoE因素，为用户提供更好的服务体验。
【发明内容】
[0004]技术问题:本发明的目的是克服现有流媒体业务传输技术的不足，提供一种在实时视频传输过程中，根据网络状况、视频类型、用户体验来对视频发送比特率进行自适应适配的方法。
[0005]技术方案:本发明的基于用户体验的实时视频传输速率自适应适配方法，该方法由移动采集端，播放客户端以及适配服务器三部分构成的网络，可根据移动采集端和播放客户端所处的网络环境、传输视频的类型以及用户反馈的用户体验QoE评分动态自适应地改变移动采集端的发送速率，具体步骤如下:
a)对适配服务器进行初始化，在指定的端口进行监听，准备接收来自移动采集端和播放客户端的实时数据信息。
[0006]b)对移动采集端进行初始化，开始监测自身网络状况以及传输视频的类型，并将网络强度、链路速率信息以及所处运动状态信息通过套接字(socket)通信发送至适配服务器。对播放客户端进行初始化，开始监测自身网络状况，并将网络强度、链路速率信息发送至适配服务器。
[0007]c)播放客户端向移动采集端发起视频传输请求，二者之间开始传输实时视频数据；适配服务器开启适配服务，根据当前的移动采集端的网络信号强度、传输视频的类型、播放客户端的网络信号强度以及用户反馈的用户体验QoE评分，通过适配算法决策出适合当前状况的最佳发送比特率并发送至移动采集端。
[0008]d)移动采集端接收后，将发送比特率调整为该最佳发送比特率值，播放客户端接收调整后的视频数据进行观看。
[0009]本发明中移动采集端包括三个模块:发送比特率适配、网络状况监测、传输视频类型识别。播放客户端包括两个模块:网络状况检测、用户体验QoE评分。适配服务器由适配决策模块构成。其中，发送比特率适配模块用来接收适配决策后的发送速率值，并将移动采集端的发送速率调整为该值；网络状况监测模块用于在视频传输过程中对移动采集端或播放客户端所处的网络的信号强度进行监测，并将网络强度值发送至适配服务器进行适配；传输视频类型识别模块用于判断移动采集端的运动状态，并将其发送至适配服务器作为适配算法的一个参量。用户体验QoE评分模块用于用户在观看视频的过程中对视频质量进行打分，并将该值反馈至适配服务器以进行适配服务；适配决策模块负责接收来自移动采集端和播放客户端的各项数据信息，综合适配决策。
[0010]本发明的移动采集端、播放客户端与适配服务器之间构成传统的客户端服务器模式，通过套接字实现客户端服务器之间通信。
[0011]本发明的适配算法的参数包括移动采集端网络信号强度、播放客户端网络信号强度、移动采集端传输视频类型、客户端实时的用户体验QoE评分4项参数。具体适配算法如下:先将移动采集端和播放客户端的网络状况根据其取值范围将其分成若干等级，如S1、S2、S3、S4、S5 5个级别；再将发送比特率(Send Bit Rate, SBR)进行相应的分级，如A、B、C、D、E 5个级别，然后根据当前的移动采集端和播放客户端的网络信号强度的具体值判断其对应的级别，并映射出其相应的发送比特率级别。确定SBR的级别后，再根据当前发送视频的类型以及用户体验QoE评分来确定发送比特率的具体值。
[0012]播放客户端在观看实时视频的同时，可以对当前视频的质量进行打分，即用户体验QoE评分，并将该评分反馈至适配服务器端，若该评分低于最低用户体验QoE评分的门限值，则立刻触发适配算法调整当前的视频发送比特率，否则将该评分作为下一次自适应速率调整的参数值。
[0013]有益效果:本发明与现有技术相比，具有以下优点:
本发明不同于现有适配技术中的只考虑发送端或者接收端单方面的网络状况的适配方法，而是综合发送端与接收端的网络状况进行适配，为用户提供最合适的视频质量，降低了网络的丢包率。同时本发明将用户反馈的用户体验QoE评分作为适配的重要因素，可以根据用户的评价来进行视频速率的调整，从用户角度出发，可以为用户提供更好的服务体验。本发明基于日常生活中所使用的智能手机和笔记本电脑开发，成本较低，且所用适配算法简单，容易实现，可应用于小型的端到端实时视频传输系统中，具有一定的实用价值。
【专利附图】
【附图说明】
[0014]图1为本发明基于用户体验的实时视频传输速率自适应适配的网络模型图。
[0015]图2为本发明基于用户体验的实时视频传输速率自适应适配的方案实现图。
[0016]图3为本发明的适配服务器的工作流程图。
[0017]图4为本发明的适配算法流程图。
【具体实施方式】
[0018]以下结合附图，对本发明方法作进一步详细的描述。
[0019]本发明的基于用户体验的实时视频传输速率自适应方法，是建立在如图1所示，由移动采集端，播放客户端以及适配服务器三部分构成的网络模型。移动采集端可以为智能手机；播放客户端可以是笔记本电脑也可以是移动终端，如智能手机，平板电脑等；适配服务器可以搭建在笔记本电脑上。移动采集端负责实时视频数据的采集，播放客户端用于远程播放接收到的视频流，适配服务器主要负责收集这二者的网络信号强度数据、移动采集端的运动状态数据以及由播放客户端反馈的用户体验QoE评分，综合这几个参量进行适配决策得到当前的最优发送比特率值，并通知移动采集端进行相应的发送速率调整。
[0020]本发明的基于用户体验的实时视频传输速率自适应方法，根据移动采集端和播放客户端所处的网络环境、传输视频的类型以及用户反馈的用户体验QoE评分，动态自适应地改变移动采集端的发送速率，如图3所示，具体步骤如下:
a)对适配服务器进行初始化，在指定的端口进行监听，准备接收来自移动采集端和播放客户端的实时数据信息。移动采集端播放客户端的实时数据信息可以有网络信号的强度、链路速率、采集视频数据的运动类型、视频数据发送速率等等；播放客户端的实时数据信息可以有网络信号的强度、链路速率、实时的用户体验QoE评分信息等等。
[0021]b)对移动采集端进行初始化，开始监测自身网络状况以及移动状况，并将网络强度、链路速率信息以及所处运动状态信息通过套接字(socket)通信发送至适配服务器。播放客户端初始化，开始监测自身网络状况，并将网络强度、链路速率信息发送至适配服务器。
[0022]c)播放客户端向移动采集端发起视频传输请求，二者之间开始传输实时视频数据，适配服务器开启适配服务，根据当前的移动采集端的网络信号强度、运动状态、播放客户端的网络信号强度以及用户反馈的用户体验QoE评分通过适配算法决策出适合当前状况的最佳发送比特率并发送至移动采集端。
[0023]d)移动采集端接收后，将发送比特率调整为该最佳发送比特率值，播放客户端接收调整后的视频数据进行观看。
[0024]如图2所示，本发明中移动采集端包括三个模块:发送比特率适配、网络状况监测、传输视频类型识别。播放客户端包括两个模块:网络状况检测、用户体验QoE评分。适配服务器由适配决策模块构成。其中，发送比特率适配模块用来接收适配决策后的发送速率值，并将移动采集端的发送速率调整为该值；网络状况监测模块用于在视频传输过程中对移动采集端或播放客户端所处的网络的信号强度进行监测，并将网络强度值发送至适配服务器进行适配；传输视频类型识别模块用于判断移动采集端的运动状态，并将其发送至适配服务器作为适配算法的一个参量。用户体验QoE评分模块用于用户在观看视频的过程中对视频质量进行打分，并将该值反馈至适配服务器以进行适配服务；适配决策模块负责接收来自移动采集端和播放客户端的各项数据信息，综合适配决策。
[0025]本发明中移动采集端、播放客户端与适配服务器之间构成传统的客户端服务器模式，通过套接字实现客户端服务器间通信。移动采集端和播放客户端之间采用实时传输协议以及用户数据报协议传输视频数据。播放客户端向移动采集端发起视频请求后，移动采集端开始工作，采集视频数据并按照预设的发送比特率值将视频流发送至播放客户端，供用户进行观看。同时适配服务器开始工作，在指定的端口监听来自移动采集端和播放客户端的实时数据信息，并根据这些信息进行适配决策，适配服务器的工作流程图见图3。
[0026]以下针对适配算法进行详尽描述，算法流程可参考图4。本发明方法的适配算法参数包括移动采集端网络信号强度Ws、播放客户端网络信号强度Wc、移动采集端发送视频类型CT、客户端用户体验QoE评分MOS 4项参数。[0027]具体适配算法如下:先将移动采集端网络信号强度Ws和播放客户端的网络信号强度Wc根据其取值范围将其分成若干等级，如S1、S2、S3、S4、S5 5个级别，每个级别对应一个信号强度区间，从SI到S5依次减小；再将移动采集端的发送比特率SBR进行相应的分级，如A、B、C、D、E 5个级别，每个级别对应一个发送比特率区间，从A到E依次降低，然后根据当前的移动采集端网络信号强度Ws和播放客户端的网络信号强度Wc的具体值判断其对应的级别，并根据表1映射出其相应的发送比特率SBR级别，表1如下所示。
[0028]
【权利要求】
1.一种基于用户体验的实时视频传输速率自适应方法，是基于由移动采集端、播放客户端以及适配服务器三部分构成的网络架构，其特征包括以下步骤: a)适配服务器初始化，在指定的端口进行监听，准备接收来自移动采集端和播放客户端的实时数据信息； b)移动采集端初始化，开始监测自身网络状况以及移动状况，并将网络强度(Ws)、发送视频类型(CT)信息通过套接字通信发送至适配服务器；播放客户端初始化，开始监测自身网络状况，并将网络强度(Wc)信息发送至适配服务器； c)播放客户端向移动采集端发起视频传输请求，二者之间开始传输实时视频数据；适配服务器开启适配服务，根据当前的移动采集端的网络信号强度(Ws)、传输视频类型(CO、播放客户端的网络信号强度(Wc)以及用户反馈的用户体验评分(MOS)，通过适配算法决策出适合当前状况的最佳发送比特率(SBR)并发送至移动采集端； d)移动采集端接收后，将发送比特率调整为所述的最佳发送比特率(SBR)值，播放客户端接收调整后的视频数据进行观看。
2.根据权利要求1所述的一种基于用户体验的实时视频传输速率自适应方法，其特征在于: 所述的移动采集端中的发送比特率适配模块用来接收适配算法决策的发送比特率值，并将移动采集端的发送比特率调整为该值； 所述的移动采集端和播放 客户端中的网络状况监测模块用于在视频传输过程中对移动采集端和播放客户端各自所处的网络的信号强度进行监测，并将各自的网络信号强度值发送至适配服务器； 所述的移动采集端中的传输视频类型识别模块用于判断移动采集端传输视频的运动类型，并将其发送至适配服务器作为适配算法的一个参量； 所述的播放客户端中的用户体验(QoE)评分模块用于用户在观看视频的过程中对视频质量进行打分，并将该值反馈至适配服务器以进行适配服务； 所述的适配服务器中的适配决策模块负责接收来自移动采集端和播放客户端的各项数据信息，综合适配决策。
3.根据权利要求1所述的一种基于用户体验的实时视频传输速率自适应方法，其特征在于，所述的移动采集端、播放客户端与适配服务器之间构成传统的客户端服务器模式，通过套接字实现客户端服务器之间通信。
4.根据权利要求1所述的一种基于用户体验的实时视频传输速率自适应方法，其特征在于，所述的适配算法的参数包括移动采集端网络信号强度(Ws)、播放客户端网络信号强度(Wc)、移动采集端传输视频类型(CT)、客户端实时用户体验评分(MOS) 4项参数； 具体适配算法:先将移动采集端和播放客户端的网络信号强度根据其取值范围将其分成5个级别；再将发送比特率(SBR)进行相应地分成5个级别，然后根据当前的移动采集端和播放客户端的网络信号强度的具体值判断其对应的级别，并映射出其相应的发送比特率级别；确定发送比特率(SBR)的级别后，再根据当前发送视频类型以及用户体验评分来确定发送比特率的具体值。
5.根据权利要求1所述的一种基于用户体验的实时视频传输速率自适应方法，其特征在于，所述的用户体验评分是播放客户端在观看实时视频的同时，可以对当前视频的质量进行打分，并将该评分反馈至适配服务器端，若该评分低于最低用户体验评分的门限值，则立刻触发适配算法调整当前的视频发送比特率,否则将该用户体验评分作为下一次自适应速率调整的参数值。
【文档编号】H04N21/63GK103475951SQ201310362762
【公开日】2013年12月25日 申请日期:2013年8月20日 优先权日:2013年8月20日
【发明者】朱晓荣, 钱超, 巩晓迪, 李伟 申请人:南京邮电大学