专利名称：一种传感器网络中自适应的多媒体流控制方法
技术领域：
本发明涉及一种传感器网络中自适应的多媒体流控制方法，属于计算机通信网络领域。
背景技术：
迄今为止，大部分传感器网络只采集、处理和传输如温度、压力、湿度、物体位置 等单一的物理环境标量数据(scalar data),因此对通信网络带宽的要求很低，并且可 以容忍较大的传输延迟。最近，低成本的CMOS摄像机和麦克风等硬件设备开始实用化， 无线通信带宽也从每秒十几兆位发展到了每秒数十兆位。通过多媒体传感器件感知、采 集、处理和(实时)传输包括静止图像、音频和视频的多媒体数据巳经成为可能。由此 而产生的无线多媒体传感器网络(WMSNs: Wireless Multimedia Sensor Networks)引 起了学术界的极大兴趣。丽SNs的出现同时带给我们机遇和挑战。这种新兴的网络不论在基础理论研究，还 是在设计和实现方面都向科技工作者提出了大量挑战性问题。首先，在传统无线传感器 网络的研究和设计中，尽可能地降低能量消耗、延长网络的生命周期是人们关心的核心 问题。然而对于新兴的多媒体应用来说，提供满意的网络服务质量是无线多媒体传感器 网络的研究和设计面临的另一个关键问题。在资源贫乏和网络环境动态变化的条件下为 WMSNs提供QoS保证是非常困难的。这要求我们必须重新考虑传感器网络系统的体系结 构和各层之间的协作机制。在多媒体通信网络领域，网络服务质量特指一组定量的服务属性，包括时延 (delay),延迟抖动(delay jitter),可用带宽(available bandwidth),数据分组 丢失率(packet loss)等等。由于丽SNs具有更丰富的感知能力，因此能够提供的服 务种类也就更加丰富。相对传统无线传感器网络，WMSNs支持多种不同的网络服务，不 同的应用具有不同的特性和服务质量要求，例如实时性(real-time)、对数据丢失的容 忍(loss-tolerant)等。丽SNs独有的需要传送语音、图像等实时业务(如即时语音 通信、战地环境图像、临时视频会议等)时延、延迟抖动等QoS参数均较敏感，这就更 加需要丽SNs为用户提供业务的QoS保障。所以，对丽SN的QoS保障体系进行研究具有极其重要的理论意义和实用价值。目前国内外关于丽SNs服务质量的研究刚刚起步，并没有成熟的、体系化的QoS框架和相应的方法出现，不能够满足现实应用的迫切需求。 因此，丽SNs中QoS保障问题具有广阔的研究空间。发明内容发明目的本发明的目的是解决在无线传感器网络环境下实时传输MPEG视频流存在的主要 问题，找出性能瓶颈；在此基础上，提出一种基于跨层设计的自适应通信流量控制方法， 用于改善无线传感器网络的流媒体通信性能。技术方案-本发明为解决以上技术问题采用以下技术方案，一种传感器网络中自适应的多媒体流控制方法，来自应用层的多媒体数据流依次经 过传输层、网络层后，以分组的形式到达数据链路层，数据链路层将待发送的多媒体数 据流封装成数据帧暂存到接口队列中，并根据IEEE802. 15. 4协议将数据帧传送至物理 层，在数据链路层和应用层之间还存在层间直接通信，控制过程为数据链路层动态监 测其接口队列，并将接口队列的长度直接发送至应用层；A、 当应用层检测到接口队列的长度大于等于总长的50%时，应用层启动主动弃数 据帧策略，主动丢弃低优先级数据帧；B、 当应用层检测到接口队列的长度小于总长的50%时，便正常发送数据帧。 本发明的传感器网络中自适应的多媒体流控制方法，所述多媒体数据流为多媒体视频数据流；多媒体视频数据流在数据链路层封装成数据帧分为I帧、P帧和B帧，其 中优先级依次为I帧、P帧、B帧。应用层启动主动弃数据帧策略，主动丢弃低优先级 数据帧是B帧。技术效果1、 改进视频流在接收方的播放质量，改进无线传感器网络实时传输多媒体数据的 性能。2、 减少了网络中数据发送和数据处理的能耗；3、 减少了节点MAC层进行信道检测、发送数据、冲突发生以及随后的数据重传 消耗的能量；4、 减少了传感器节点进行数据存储和更新所消耗的能量。
图1是视频帧发送速率对吞吐量的影响。
图2是视频帧发送速率对的通信性能的影响。
图3是视频帧发送速率对IFQ长度的影响。
图4是本发明的跨层交互模式示意图。
图5是实验一可解码帧率。
图6是实验一丢包率。
图7是实验一平均端到端视频帧时延。
图8是实验一默认状态下的收发比特率的PDF。
图9是实验一采用主动弃帧策略后的收发比特率的PDF。
图io是实验二可解码帧率。
图11是实验二丢包率。
图12是实验二平均端到端视频帧时延。
图13是实验二视频帧发送速率对IFQ长度的影响(默认状态下)。 图14是视频帧发送速率对IFQ长度的影响(主动弃帧)。
具体实施例方式
下面结合附图以多媒体视频流为例对本发明的技术方案进行详细说明 1.基于跨层设计的自适应通信流量控制机制 1. 1通信性能分析
研究工作是在IEEE802.15.4传感器上进行的。802.15.4网络协议栈基于开放系统互 连模型(OSI)，每层实现一部分通信功能，并向高层提供服务。802.15.4标准定义了单 一的MAC层和多样的物理层。MAC子层以上的几个协议层，包括特定服务聚合子层 (SSCS: Service Specific Convergence Sublayer),链路控制子层(LLC: Logical Link Control)等，只是802.15.4标准可能的上层协议，并不在该标准的定义范围之内。
在MAC子层之上存在一个接口队列(IFQ: Interface Queue)。它用于存放来自上层 待发送的分组，当分组到达时，若IFQ队列还有存储空间，则按一定的队列管理机制 进入IFQ队列，否则分组被丢弃。通常在发送方对于所有发送的分组，网络层负责把 分组传递给接口队列，再由IFQ发往MAC子层；在接收方，对于所有接收到的分组， MAC层直接将分组传递给上层，不经过IFQ队列。
在研究WMSNs的通信性能时，做了以下仿真实验采用一个低质量的MPEG-4视频文件作为流媒体数据源(GOP结构为N=12， M = 3);链路层接口队列长度设为 100;视频帧发送间隔分别设置为0.12、 0.1、 0.08、 0.06和0.04s;场景为链式拓扑，源 节点和目的节点相距3瑕L仿真时间为10810s。
首先分析端到端吞吐量的变化，如图1所示，端到端获得的有效吞吐量开始时随着 帧间隔的减小而上升，当视频帧发送速率达到25*s时，平均吞吐量和峰值吞吐量分别 达到35Kbps和45Kbps。此后即便是视频帧发送速率继续增加，平均比特率和最大比特 率曲线没有明显变化，而是逐渐趋于平缓。
其次，图2(a)给出了数据丢失率随视频帧发送速率变化的曲线，随着视频帧发送速 率的不断增加，数据丢失率明显上升。当视频帧发送速率达到25fps，总的数据丢失率 达到33%。考虑到视频帧之间的依赖关系，这会导致一个很低的可解码帧率。图2(b) 给出了可解码帧率随视频帧发送速率变化的曲线。随着视频帧发送速率的不断增加，可 解码帧率下降明显。当视频帧发送速率增加到25fps，总的可解码帧率只有30%。显然， 是信道可用带宽的降低导致了丢包率和可解码帧率的变化。
我们统计了在不同帧间隔下源节点的接口队列长度变化的数据。如图3所示，随着 视频帧发送速率的提高，IFQ逐步趋于拥挤。这表明接口队列长度能够在一定程度上反 映信道的通信质量。 1.2主动弃帧策略
在上述分析研究的基础上，本发明提出一种改进策略，以改善WMSNs通信性能。 通过网络实时传输流媒体的过程中，来自应用层的MPEG视频流经过传输层、网络层 后，以分组(Packets)的形式到达数据链路层。数据链路层在物理层连接上，在相邻节 点之间提供一条高效、可靠的逻辑链接，具有流量控制、差错控制、帧重传等多种功能。 根据IEEE802.15.4协议，链路层封装数据帧，并将待发送的数据帧暂存到接口队列中， 按照停止-等待协议(ARQ)每发出一个数据帧均要求对方进行确认。也只有获得对方 确认以后，数据帧才被从队列中清除。研究表明，当无线通信信道质量变差、通信拥塞 等因素造成大量链路层数据帧重传时，来自上层的实时流媒体数据将迅速充满链路层接 口队列，造成队列缓冲区溢出，使数据丢失。在传统的层次化体系结构中，数据链路层 不提供任何反馈信息给上层进行速率调节，在各层之间缺乏一种有效的协调控制机制。
如前所述，实时流媒体通信对端到端的延迟及延迟抖动相当敏感，但可以容忍一定 程度的数据丢失。对MPEG视频流的深入分析和研究表明，I帧的完全丢失或丢失部分 超过限值将导致整个GOP在接收方无法解码而不得不丢弃，严重影响了接收方流媒体 播放的质量；同时，如果终止无效的P、 B帧的传输可以节约宝贵的信道资源。同样P
6帧的丢失或被破坏也会影响相关的P帧和B帧的解码。而B帧的丢失不会对其他图像 造成影响。因此，对于MPEG视频流的实时传输，I帧具有最高优先级，P帧其次，B 帧最低。
在发送方数据丢失不可避免的情况下，如果数据链路层能够尽早地把数据帧重传、 接口队列缓冲区状况等信息反馈给上层，使得应用层及时有选择地主动丢弃部分B帧， 达到适当降低通信负载，缓解下层传输压力的目的，从而提高MPEG视频流中I帧和P 帧成功传输的概率。这一改进无疑对改善WMSNs实时视频通信的QoS具有重要意义。 1.3跨层工作机制
我们通过大量的仿真实验对WMSNs各层的性能进行了深入的分析和研究。通过跟 踪数据链路层接口队列的动态变化，发现队列长度随着通信信道情况的变化多次达到极 限值，进而造成数据帧的丢失。
考虑到传统的分层网络体系结构在各层之间缺乏一种有效的协调控制机制，本文提 出一种流控制策略，即数据链路层动态监测其接口队列，并及时通知应用层。当接口队 列达到某个门限值时，应用层启动主动弃视频帧策略，有选择地扔掉部分B帧，达到 动态调整负载量，又不至于对流媒体质量产生太大影响。另一方面，主动丢弃部分B 帧，也降低了 I帧、P帧丢失或被破坏的风险。我们设计了如图4所示的层间交互模式。 这里允许数据链路层直接同应用层通信，当应用层检测到IFQ长度超过总长的50%时， 主动丢弃B帧；当应用层检测到IFQ长度恢复到总长的50X以下时，便正常发送视频 帧。
主动弃帧策略的节能特性分析
系统的生命周期是衡量WMSNs的QoS需求的重要因素。系统的生命周期定义为 从系统部署到系统不能满足用户QoS需求的时间。传感器节点靠微型电池供电，其能 源非常有限，大多无法对其进行充电或更换失效节点。如何尽可能地节省能源的使用， 延长网络的寿命成为无线传感器网络的核心问题。对于信息量大、格式复杂的多媒体数 据的处理，以及高速率的数据发送而产生的能耗也明显大于传统传感器网络中的简单标 量数值的处理。这又使得节能问题在WMSNs的研究和设计中变得更加突出。系统的生 命周期受到系统能耗的影响，主要体现为
■存储介质(如存储节点或汇聚节点的存储单元)上进行数据存储和更新的能耗；
■节点MAC层进行信道检测、发送数据、冲突发生以及随后的数据重传的能耗；
■保障网络覆盖性能的能耗；■提供定位及保证数据同步的能；
■维护源节点和目的节点间路由的能耗；
■维护网络拓扑连通性的能耗；
■网内数据处理(如模式匹配，识别等)的能耗，等等。
提出主动弃帧策略的首要目的是为了改善WMSNs流媒体通信性能，具体包括可解 码帧率、丢失率、时延、和平滑性等。另外，传感器网络的能耗问题也是研究人员关心 的核心问题。与传统的网络相比，通信拥塞对WMSNs造成的危害更大。如果某个传感 器节点被来自若干个高速多媒体流数据包所淹没而成为瓶颈的话，将不仅仅造成网络性 能短时间内的下降的问题，更严重的是该瓶颈节点的能量可能很快就会被耗尽而导致节 点失效。主动弃帧策略对于延长网络生命周期主要表现在以下三个方面
■减少了网络中数据发送和数据处理的能耗；
■减少了节点MAC层进行信道检测、发送数据、冲突发生以及随后的数据重传 消耗的能量；
■减少了传感器节点进行数据存储和更新所消耗的能量。 2性能分析与评价
为改善WMSNs通信的性能和服务质量，上一节提出了基于跨层设计的实时流控制 策略，本节将通过NS仿真来验证这一改进方案的有效性。 2.1仿真环境及参数配置
通过仿真的方法研究WMSNs支持流媒体通信的性能。仿真实验中802.15.4网络配 置为点到点结构。设计了两组实验，分别针对简单和复杂场景。采用一个低质量的MPEG 视频文件。下面首先介绍两组实验的基本参数配置，然后介绍两组实验的具体差别。 两组实验的基本设置如下 令网络参数配置
■数据链路层接口队列IFQ长度设为100; ■数据链路层接口队列IFQ类型为PriQueue; ■传输层最大传输单元(MTU)设为120bytes; ■路由层采用AODV路由协议； ■ IEEE802.15.4物理层最大传输速率为250Kbps; ■传感器节点单跳通信距离设为15m; ■仿真时间为10810s。 今MPEG-4流媒体数据源配置■ 压缩比为142.519951694055 (YUV:MP4);
■ 最小视频帧长为26bytes;
■ 最大视频帧长为4686bytes;
■ 平均帧长为266.759383541856bytes;
■ 视频帧发送间隔分别设置为0.12， 0.1， 0.08， 0.06禾卩0.04s
实验一在没有干扰源存在的简单场景下进行。设置了由4个传感器节点组成的链式 拓扑，节点之间距离为12m，源节点和目的节点相距3瑕L
实验二在有干扰源存在的复杂场景下进行。在50m*50m的拓扑边界内随机设置了 30个传感器节点。除了一对实时流媒体会晤外，还设置了 3对不同的背景通信源。具 体包括 一对基于UDP的CBR会晤，数据包发送速率为每秒5个包，包长设为70bytes; 一对基于UDP的Poisson流，包长为70bytes; —对FTP会晤，包长设为60bytes。 2.2性能评价标准
仿真实验将改进的策略(主动弃帧策略)和原有方式在相同的仿真环境和网络参数 配置下进行测试。从多个方面对主动弃帧方式和原有方式的流媒体通信的QoS表现进
行比较，具体包括 ■可解码帧率； ■丢包率；
■视频帧平均端到端时延；
■接口队列长度变化每隔0.1s统计接口队列长度的值；
■ 数据收发比特率的概率密度函数(PDF: Probability Density Function):用于对
比发送端和接收端每发送和接收的数据量变化。 2.3实验一性能分析
底层的数据丢失会导致应用层MPEG视频帧的丢失或损坏而在接收方无法解码， 从而造成流媒体播放质量的下降。不同的网络应用对网络服务质量QoS有不同的要求。 虽然实时流媒体应用可以容忍一定程度的数据丢失，但是考虑到视频帧之间的依赖关 系，数据丢失会导致更高的无效视频帧率。图5和图6显示了两种情况下接收方检测到 的可解码帧率和数据丢失率随视频帧发送速率的变化。虽然主动弃帧策略减少了视频帧 的发送，但是可解码帧率确相比原有方式得到了提高。当视频帧发送速率达到25fps时， 主动弃帧方式下的数据丢失率仅有16%，明显低于原有方式下的数据丢失率33%。由 于传感器节点应用层采用了主动弃帧策略有效降低了传感器节点应用层瞬间发出的数 据量，从而使到达IFQ的分组相应地减少，在一定程度上减缓了数据链路层的压力，使得链路层接口队列拥塞程度大大降低，从而使总的数据丢失率显著降低。
实时多媒体数据流传输需要在较长的时间内传送连续的多媒体数据并在接收方实 时播放。这类应用具有严格的端到端时延和延迟抖动要求，但却容许一定程度的数据丢 失；多媒体数据所包含的信息与时间密切相关，具有时间连续性和实时性的特点，要求 极低的通信时延。在WMSNs中，事件驱动的数据流对时延需求最高。周期性的音频视 频流同样也受时延限制，要求很短的端到端时延。当接收数据分组时如果出现超时，接 收端就会认为数据分组已经丢失，就算正确收到了这个数据分组，也只能做丢弃处理。 尽管对延迟的处理可以在客户端加大缓冲队列长度来减小延时对流媒体的影响，但是， 缓冲队列不能提供无限缓冲，当超过一定的界限，客户端就会被迫中断播放。数据分组 的存储转发决定了延迟是不可避免的，流媒体的传输有实时性要求，数据分组必须在播 放前到达，否则即使到达也已经无用。主动弃帧的引入减轻了信道的压力，从图7的比 较可看出，主动弃帧方式下的平均延迟比原有方式有较明显改善。
基于UDP的流媒体传输提供的是尽力而为的服务，多媒体传感器节点应用层速率 源源不断地向下层发送数据。图8和图9分别是原有方式下和采用主动弃帧策略后数据 收发比特率的概率密度函数。两组数据共同的变化趋势是随着视频帧发送速率的提高， 数据收发拟合程度呈现降低趋势。虽然原有方式虽然比主动弃帧方式在服务器方多发送 了分组，但接收方实际收到的分组却没有主动弃帧方式下收到的分组多，因为分组大多 在没有到达目的节点前就由于带宽限制或信道干扰而丢失。丢失的分组当然不乏属于I 帧和P帧的分组。I帧或P帧的分组丢失会造成其后续帧解码困难，这对视频质量的影 响较为严重。而主动弃帧方式下虽然少发了部分分组，但这些少发的B帧分组对其它 类型帧不会造成直接影响。因此，从这个角度来说，主动弃帧策略对WMSNs通信性能 的改进是有效的。
进一歩分析两种方式下发送和接收的比特率，主动弃帧方式下的收发曲线的拟合度 较好，而原有方式下的收、发曲线的拟合度就相对较差，收发差值较大。特别是在视频 帧发送速率为25fps时两种方式表现出的差别尤为明显。结果表明主动弃帧方式下的流 媒体收发的速率平滑性较好。 2.4实验二性能分析
大数据量多媒体信息(静止图像、音频和视频)的传输通常具有很高的带宽要求。这 也是所有带宽有限的无线通信网络面临的技术难题之一。首先，对音频和视频传感器节 点来说，其帧速、分辨率及压縮格式等设置的不同，都会影响传输所需的带宽资源；其 次是背景通信源对带宽的占用会加剧带宽资源的紧张。为了研究复杂环境下主动弃帧策
10略的表现，我们在实验二中设置了较多的背景通信源。这会对实时通信带来两方面的影 响 一方面，干扰源的存在增加了数据冲突的概率，容易导致了较多数量的丢包以及数 据重传；另一方面，各个通信源之间的信道竞争会使得流媒体会晤的可用带宽减少。
图IO和图11显示了两种方式下接收方检测到的可解码帧率和数据丢失率随视频帧
发送速率的变化。由于干扰源的存在，数据发送时发生冲突和重传的概率增加，可解码 帧率和数据丢失率相比简单场景下的实验结果都有所下降，但两组数据的变化基本保持
了实验一中的趋势。
图12显示了端到端视频帧平均时延随视频帧发送速率的变化。由于在实验中增加 了干扰源，因此两种策略的端到端时延都有所上升。可以看出，主动弃帧方式的达到的 效果相比在图7的表现更加明显。
由于数据链路层采用停止-等待协议和差错重传控制机制，链路层接口队列的长度 能够在一定程度上反映通信信道状况的变化。通常情况下，无线网络通信系统数据链路 层接口队列IFQ长度取值为100。根据我们提出的改进方案一一主动弃帧策略，IFQ长 度达到50时，应用层将主动丢弃B帧。
图13和图14更加直观地比较了两种方式队列长度随时间的变化。采用改进的主动 弃帧方案后，IFQ队列长度达到饱和(即IFQ队列满)的次数明显减少，进而改善信道 通信质量。
权利要求
1、一种传感器网络中自适应的多媒体流控制方法，来自应用层的多媒体数据流依次经过传输层、网络层后，以分组的形式到达数据链路层，数据链路层将待发送的多媒体数据流封装成数据帧暂存到接口队列中，并根据IEEE802.15.4协议将数据帧传送至物理层，其特征在于在数据链路层和应用层之间还存在层间直接通信，控制过程为数据链路层动态监测其接口队列，并将接口队列的长度直接发送至应用层；A、当应用层检测到接口队列的长度大于等于总长的50％时，应用层启动主动弃数据帧策略，主动丢弃低优先级数据帧；B、当应用层检测到接口队列的长度小于总长的50％时，便正常发送数据帧。
2、 根据权利要求1所述的传感器网络中自适应的多媒体流控制方法，其特征在于 所述多媒体数据流为多媒体视频数据流。
3、 根据权利要求2所述的传感器网络中自适应的多媒体流控制方法，其特征在于 所述多媒体视频数据流在数据链路层封装成数据帧分为I帧、P帧和B帧，其中优先级 依次为I帧、P帧、B帧。
4、 根据权利要求3所述的传感器网络中自适应的多媒体流控制方法，其特征在于 应用层启动主动弃数据帧策略，主动丢弃低优先级数据帧是B帧。
全文摘要
本发明公开了一种传感器网络中自适应的多媒体流控制方法，属于计算机通信网络领域。本发明根据多媒体编码视频序列的特点，由数据链路层动态监测其接口队列，并及时通知应用层，当无线链路质量变差，通信拥塞出现或者可能出现时，应用层启动主动弃视频帧策略，发送节点主动丢弃部分对接收方播放质量不太重要的低优先级视频帧数据，以降低通信负载，增加高优先级视频帧的成功传送概率，当通信正常时，发送节点再正常发送视频帧。本发明可以改进视频流在接收方的播放质量，同时减少节点能耗，改进无线传感器网络实时传输多媒体数据的性能。
文档编号H04N7/24GK101646077SQ20091003478
公开日2010年2月10日 申请日期2009年9月9日 优先权日2009年9月9日
发明者吴志刚, 磊 曹, 航 沈, 王军元, 白光伟, 陶金晶, 勇 靳 申请人:南京工业大学