专利名称：基于切片级别的视频传输中动态交织的方法
技术领域：
本发明是一种用于提高网络视频数据传输可靠性的应用方法，属于网络中可靠性 传输技术领域。
背景技术：
AVI (Audio Video Interleaved)即音频视频交错格式。是将语音和影像同步组 合在一起的文件格式。它对视频文件采用了一种有损压缩方式，但压缩比较高，因此尽管面 面质量不是太好，但其应用范围仍然非常广泛。AVI支持256色和RLE压缩。AVI信息主 要应用在多媒体光盘上，用来保存电视、电影等各种影像信息。AVI没有MPEG这么复杂，从 WIN3. 1时代，它就已经面世了。它最直接的优点就是兼容好、调用方便而且图象质量好，因 此也常常与DVD相并称。但它的缺点也是十分明显的体积大。也是因为这一点，我们才看 到了 MPEG-I和MPEG-4的诞生。与MPEG-2格式文件体积差不多的情况下，AVI格式的视频 质量相对而言要差不少，现在的数字电视和DVD的成功是建立在十多年前的MPEG-2标准上 的，这个标准曾经被证明是很实用的，但现在看来有点过时了。用更高效、更实用、并能很好 的利用更强的处理能力的技术取代MPEG-2的趋势已经很明显了，目前对于哪种技术将取 代MPEG-2的争论还在不断持续，其中比较看好的是国际标准MPEG-4和H. 264。H. 264标准压缩系统由视频编码层(VCL)和网络提取层(Network AbstractionLayer, NAL)两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视 频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL 提供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送， 它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道 信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当 前数据不属于被参考的帧。类型标志用于指示图像数据的类型。VCL可以传输按当前的网 络情况调整的编码参数。尽管H. 264编码基本结构与H. 261、H. 263是类似的，但它在很多环节做了改进1、 多种更好的运动估计。2、更精确的帧内预测。3、统一的VLC。由于H. 264在压缩性能方面 所具有的优势，H. 264将会在实时视频通信、广播电视、视频存储播放等领域中得到应用。在H. 264中可能被选择作为并行基本任务的单元有视频编码序列、单幅图像、切 片(Slice)、宏块、块。但在实际应用中，只有视频编码序列、Slice和宏块可以真正被用来 作为基本任务而被并行编码运行。视频编码序列作为独立的编码单元，在进行并行编码处 理上具有相当大的优势。但其缺点也是明显的，并行粒度比较大，各处理器间容易发生负载 不均衡的情况。当有用户交互需求发生时，调度困难。对于需求经常发生变化的场合是不 适合的；如果以单幅图像作为基本并行任务编码运行，那么正常情况下，一个视频编码序列 中后续的图像，必须有前面图像编码后的数据作为参考，才能完成编码的工作。如果待编码 图像所需的参考数据没有编码完毕，就必须等待。这不仅造成了任务之间的相互等待，增加 了处理器之间的通信量，还难于进行调度的管理，其编码时间有时还会高于单处理器的运行结果。因此，基于图像的并行编码方式，已经失去了最初并行编码的意义；在比宏块更细 的粒度上进行视频编码的并行处理，将导致大量的处理器间通信，因为运动估计等算法需 要在本地存储器外的区域进行搜索，显然采取更细的划分方法不仅不会提高系统的性能， 反而会引起系统性能的严重下降，同一 Slice中的宏块间，依然会有较大的依赖性。在编码 时，同样会引起处理器间的通信，进一步可能导致处理器之间的相互等待。在视频传输中采用数据交织编码的方法来提高传输的可靠性并不是什么新鲜的 事 ，目前常用的数据交织器有规则交织器、不规则交织器、随机交织器，其中规则数据交织 器及不规则数据交织器实现简单，算法复杂度较低，而随机交织器产生数据的分散度较高， 能够最大限度解决突发丢包，计算量较大。对于数据交织器，其交织数据的作用范围直接影 响数据传输的质量，当受作用的数据交织程度偏大时，媒体传输的单帧延时将加大；而当受 作用的数据交织程度偏小时，数据交织将不足以应付突发的数据丢包。但目前在低速度、高丢包率、弱稳定性的3G网络中实际视频通信系统中常常存在 突发性错误，导致数据的大量丢失。通过研究发现目前所用的这些交织方式在系统中是固 定单一的，这对于不同质量的视频图像而言是不合理的，交织后的效果也不令人满意。鉴于以上分析，现有视频图像数据交织的其问题总结如下1、对于H. 264视频的单帧数据较大不适合交织处理，要对其进行一定的灵活的处 理，进行交织时才能体现交织的作用，满足网络的容错要求。2、在交织编码过程中选择频编码序列、单幅图像、宏块、块作为基本的任务调度单 元都存在着较大的问题。3、在一个系统中针对不同质量和不同传输要求的视频，交织器应该是动态的，能 够根据自身的实际情况进行合理的算法选择。随着人们对网络质量的进一步提升，网络中许多传统的技术需要革新来满足人们 对通讯高质量的要求。参考文献[1]叶永涛，张申如，王庭昌，何维苗Turbo码中交织器的设计及其性能，[2]周宁兆，宋彬，常义林.基于H.264/AVC的视频通信抗分组丢失方法研究[J]. 计算机学报，2006. 29(2) =267-273,[3]刘志勇，刘晓红泰尔实验室有线终端通信部H. 264标准及其在视讯会议系统 中的应用2006-07-10，[4]宋彬，郭春芳，秦浩基于H. 264视频通信的交织保护算法通信学报2007-6-11。
发明内容
技术问题本发明的目的是提供一种基于切片级别的视频传输中动态交织的方 法，很好的提高了视频传输的质量问题，大大的降低交织器对空间和时间的要求，改变了以 往交织器单一不能根据视频数据量进行动态选择的情况。技术方案在理解H. 264协议的基础上，将音频、视频两组数据通过交织使数据乱 序通过选交织器对数据进行分散。选择该方法的优势在于将传输过程中突发产生的集中错 误进行分散，使局部大量丢包但不重传的情况下满足媒体播放的基本需求。但由于H. 264 视频的单帧数据较大，若简单的将音频数据帧和视频数据帧不加处理的直接进行交织，无法消除相关性也必然不可取。
该方法由视频分析器、切片策略、交织策略三部分构成；原始视频数据数据以帧为 单位一帧一帧的读入视频分析器，通过它得出一些关于视频图像清晰度、图像重要性、图像 数据量的参数；切片策略部分是以切片作为基本的任务调度单元，是在视频分析器的基础 上随机的基于切片块进行二次分解，确定参数后设置后，将一幅图像划分为有限数目的切 片；交织策略部分在接收到切片策略部分传来的数据后，根据切片的大小、个数这些参数交 织器分析后进行动态的算法和交织深度的选择，进而实现了基于切片的数据交织。视频图像数据通过视频分析器得出的关于图像清晰度、图像重要性、图像数据量 的参数；其中视频分析器是由运动估计技术、人脸识别技术和图像清晰度评估这三种技术 组合而成，视频分析器的结果是在分别得出运动估计的参数、人脸识别的参数和图像清晰 度评估的参数的基础上取它们的权值得到的，切片策略部分是指切片器是采用经理\雇员 模式调度算法制作成的，切片器在读入原始码流后确定参数设置，将图像切成有限数目的 切片；交织策略部分是由切片策略部分的结果、交织算法的选择和交织深度的确定三部分 构成。视频分析器中涉及到的运动估计技术是通过优化目标函数求解运动参数并且进 行局部和全局调整优化参数值，在分层叠代过程中进行初始分类，并且充分考虑到视频图 像空间和时间上的属性，实现运动物体和覆盖背景的精确分割，然后根据分类结果逐步精 确求解全局运动参数；人脸识别技术采用的是一种基于特征的人脸识别，先用预处理等简 单操作来确定初始图形脸部待检区域实现脸的初步定位，在该区域的基础上利用改进的粒 子算法群算法和肤色检测得到不同的检测结果，最后合并两个结果；图像的清晰度评估是 采用点锐度算法，利用点锐度算法易于运算程序化和评价和评价时间较短等空域度参数的 特点和对图像灰度分布差异的变化敏感的频域差数的特点快速准确地评价各类数字图像 的清晰度；交织策略部分交织算法的选择包括规则的交织算法和随机交织算法两种，应用 时根据视频图像的具体情况进行选择；其中，交织深度的确定是由传输的图像质量的要求 确定的，在实际移动通信环境下的衰落，将造成数字信号传输的突发性差错，交织深度越 大，则离散度越大，抗突发差错能力也就越强。有益效果1)运动估计、人脸识别、图像清晰度分析现有技术比较成熟，它们之间的相互结合 对整个视频图像的分析准确性高，本方案的数据是动态变化的，这些技术也满足次要求。2) slice的选取在这里也是动态的，它根据图像的情况合理的选择切片的大小和 数目，动态的节省空间资源。3)交织效率高，同时节省空间和时间的资源。4)适用于各种基于H. 264视频文件传输过程中的交织处理。
图1、基于slice的块状图，图2、动态交织器的模型图，图3、设计流程图。
具体实施例方式本发明提出一种基于切片级别的视频传输中动态交织的系统方法，改变了以往交 织直接以帧数据进行且交织器单一的局面。本方法涉及到图像清晰度评估、人脸识别、运动 估计三个具体的技术参数，在它们三个技术参数的基础上进行加权取它们的权值，为slice 大小选择、数量的确定和交织器的动态选择提供重要的依据。本发明基于slice (切片)级别的视频传输中动态交织的方法为1)组建视频分析器分析记录视频图像中图像清晰度评估的参数值、人脸识别的 参数值、运动估计的参数值，对这些参数值加权以后取它的权值，以此作为选择slice大小 的依据。2) Slice策略算法以Slice作为基本的任务调度单元，对H. 264的视频交织编码 任务进行合理的分配和调度后，由各个处理器进行编码。根据视频图像的质量以及其单帧 数据量的大小，在1分析的基础上随机的基于Slice块进行二次分解，确定参数设置后，将 一幅图像划分为有限数目的Slice，并将其平均依次分配给处理器进行编码；3)交织策略在收到2的数据后，根据slice的大小、个数，根据这些参数交织器 分析过后进行动态的算法和交织深度的选择，进而实现了 slice后动态的数据交织保证了 传输多种流的灵活性。本方案的实施过程可概括如下1)视频分析器，统计所播视频图像的所有信息，如峰值信噪比、图像重要性、图像 数据量等情况，便于选择slice的方法；2)接收到视频分析器分析结果消息的slice部分启动slice方法，并及时根据视 频分析器分析的结果进行相应的调控；3)交织器部分接收到slice部分传来的数据并根据这些数据量的大小以及图像 传输的质量要求决定交织的方法和交织深度。图3为该体系工作的原理图，各模块所负责的工作如下1、视频分析器设计1)运动估计通过优化目标函数求解运动参数并且进行局部和全局调整优化参数值，我们在分 层叠代过程中进行初始分类，并且充分考虑到视频图像空间和时间上的属性，实现了运动 物体和覆盖背景的精确分割，然后根据分类结果逐步精确求解全局运动参数。2)人脸识别一种简单的基于特征的人脸识别，首先利用简单方法即预处理等简单操作来确定 初始圆形脸部待检区域实现脸的初步定位，在该区域的基础上利用改进的粒子群算法和肤 色检测得到不同的检测结果，最后合并两个结果，这样就很大程度的确保了检测的正确性， 同时因为检测区域的缩小而提高了检测速度。3)图象清晰度评估点锐度算法，点锐度不但具备易于运算程序化和评价时间较短等空域灰度参数的 特点，同时也具备对图像灰度分布差异变化敏感的频域参数的特点，从而可以快速、准确地 评价各类数字图像的清晰度。2、slice 策略设计
H. 264视频的单帧数据较大，拟对于已分解后的视频单帧基于Slice块进行二次 分解，以Slice作为基本的任务调度单元。服务器按照一定的顺序读入原始的视频码流，在 根据视频分析器的分析结果和视频图像传输质量的要求对视频图像进行slice切片，再通 过指针定位各个Slice所对应的位置。3、交织策略设计1)交织算法选择规则交织器是最早应用于信道编码中的，其实它就是通常我们 所说的分组交织器，也就是行读列出或列读行出的交织器，其中规则数据交织器及不规则 数据交织器实现简单，算法复杂度较低，在传输信息帧较短的通信系统中应用Turbo码，采 用分组交织器更有利一些。而随机交织器产生数据的分散度较高，能够最大限度解决突发 丢包，随机交织器的随机性能主要取决于随机数的产生方式、交织器主要参数S、取值的选 取等方面。2)交织深度的确定在实际移动通信环境下的衰落，将造成数字信号传输的突发 性差错，交织深度越大，则离散度越大，抗突发差错能力也就越强，但交织深度越大，交织编 码处理时间越长，从而造成数据传输时延增大，交织编码是以时间为代价的。3)在slice策略的基础上将其按照预定的顺序，由消息传送环境MPI中的发送 数据命令，分发给交织器节点；交织器接收数据，并进行编码，编码后的数据也经由消息传 送环境MPI中的发送数据命令发送到服务器，服务器确定收集到交织器器节点发送的数据 后，进行组装，形成视频比特流，同时读取下一幅图像的原始视频码流，再次进行切片、交 织、组装等工作。
权利要求
一种基于切片级别的视频传输中动态交织的方法，其特征在于该方法由视频分析器、切片策略、交织策略三部分构成；原始视频数据数据以帧为单位一帧一帧的读入视频分析器，通过它得出一些关于视频图像清晰度、图像重要性、图像数据量的参数；切片策略部分是以切片作为基本的任务调度单元，是在视频分析器的基础上随机的基于切片块进行二次分解，确定参数后设置后，将一幅图像划分为有限数目的切片；交织策略部分在接收到切片策略部分传来的数据后，根据切片的大小、个数这些参数交织器分析后进行动态的算法和交织深度的选择，进而实现了基于切片的数据交织。
2.根据权利要求1所述的基于切片级别的视频传输中动态交织的方法，其特征在于视 频图像数据通过视频分析器得出的关于图像清晰度、图像重要性、图像数据量的参数；其中 视频分析器是由运动估计技术、人脸识别技术和图像清晰度评估这三种技术组合而成，视 频分析器的结果是在分别得出运动估计的参数、人脸识别的参数和图像清晰度评估的参数 的基础上取它们的权值得到的，切片策略部分是指切片器是采用经理\雇员模式调度算法 制作成的，切片器在读入原始码流后确定参数设置，将图像切成有限数目的切片；交织策略 部分是由切片策略部分的结果、交织算法的选择和交织深度的确定三部分构成。
3.根据权利要求1或2所述的基于切片级别的视频传输中动态交织的方法，其特征在 于视频分析器中涉及到的运动估计技术是通过优化目标函数求解运动参数并且进行局部 和全局调整优化参数值，在分层叠代过程中进行初始分类，并且充分考虑到视频图像空间 和时间上的属性，实现运动物体和覆盖背景的精确分割，然后根据分类结果逐步精确求解 全局运动参数；人脸识别技术采用的是一种基于特征的人脸识别，先用预处理等简单操作 来确定初始图形脸部待检区域实现脸的初步定位，在该区域的基础上利用改进的粒子算法 群算法和肤色检测得到不同的检测结果，最后合并两个结果；图像的清晰度评估是采用点 锐度算法，利用点锐度算法易于运算程序化和评价和评价时间较短等空域度参数的特点和 对图像灰度分布差异的变化敏感的频域差数的特点快速准确地评价各类数字图像的清晰 度；交织策略部分交织算法的选择包括规则的交织算法和随机交织算法两种，应用时根据 视频图像的具体情况进行选择；其中，交织深度的确定是由传输的图像质量的要求确定的， 在实际移动通信环境下的衰落，将造成数字信号传输的突发性差错，交织深度越大，则离散 度越大，抗突发差错能力也就越强。
全文摘要
基于切片级别的视频传输中动态交织的方法基于视频分析器、slice策略、交织策略三个部分系统；视频分析器通过对视频图像的分析将整个图像的重要信息通过图像质量评估(峰值信噪比)、人脸识别(图像重要性的体现)、运动估计(数据量)3个指标反映出来，再综合取他们的权值，为接下来的slice策略、交织策略的选择提供基础；在slice策略部分，对于已分解后的视频单帧基于slice块进行二次分解，以slice作为基本的任务调度单元参与交织。在slice切片的基础上根据数据量的大小和视频图像传输的质量要求交织器合理的选择交织方法和决定交织深度实现动态的交织。
文档编号H04N7/26GK101873494SQ201010162200
公开日2010年10月27日 申请日期2010年4月30日 优先权日2010年4月30日
发明者孙知信, 宫婧, 潘海华 申请人:南京邮电大学