专利名称：用于硬盘录像机和视频服务器的avs编码网络传输方法
技术领域：
本发明涉及网络化安全防范监控技术领域，具体说是涉及到一种用于硬盘录 像机和视频服务器的AVS编码网络传输方法。
背景技术：
视频监控经过第一代模拟监控、第二代半数字监控发展到现在的第三代全数 字网络监控，网络化监控已经成为安全防范监控领域的主流技术。数字化网络化-监控与视频图像数字化编码密切相关，国际上音视频编解码标准主要两大系列IS0/IEC JTC1制定的MPEG系列标准；ITU针对多媒体通信制定的H. 26x系列视 频编码标准和G. 7系列音频编码标准。目前音视频产业可以选择的信源编码标准 有四个MPEG-2、 MPEG-4、 MPEG-4 AVC (简称AVC，也称JVT、 H. 264)、 AVS。其 中MPEG-2是第一代信源标准，其余三个为第二代标准。图像编码技术经过MPEG1 、 MPEG2、 MPEG4发展到现在主流的H. 264，这些优秀的技术使数据量巨大的数字图 像压縮成相对较小的数据量，便于存储和网络传输。为了应对网络存储和网络传 输的需要，我国也制订了 AVS国家标准，AVS(Audio Video codingStandard)是 中国具备自主知识产权的第二代信源编码标准，顾名思义，"信源"是信息的"源 ..头"，信源编码技术解决的重点问题是数字音视频海量数据(即初始数据、信源) 的编码压缩问题，它解决的重点问题是数字音视频海量数据的编码压縮问题，也 称为数字音视频编解码标准技术。显而易见，它是其后数字信息传输、存储、播 放等环节的前提。而流媒体网络传输需要协议，RTP(real-time transportprotocol )实时传送协议是一套流媒体网络传输协议，也是目前世界范围内流媒 体网络传输广泛采用的协议，它详细说明了在互联网上传递音频和视频的标准数据包格式。它一开始被设计为一个多播协议，但后来被用在很多单播应用中。RTP定义了网络传输规则，但并未严格规定各种图像编码格式在其上传输时 的打包和拆包规则。RTP本身并没有提供按时发送机制或其它服务质量(QoS) 保证，它依赖于低层服务去实现这一过程。RTP并不保证传送或防止无序传送，也不确定底层网络的可靠性。RTP实行有序传送，RTP中的序列号允许接收方 重组发送方的包序列，同时序列号也能用于决定适当的包位置。AVS在RTP的打 包格式并没有定义，意味着AVS标准在使用RTP这一世界范围内广泛采用的网络 流媒体传输协议将不能很好地传输AVS编码音视频数据，也将会影响安防行业网 络传输的互联互通。由于AVS网络传输刚刚兴起，而AVS在RTP上的传输打包方 法目前没有确定，也就没有实际应用。但随着我国监控行业的快速发展，对适用 于监控行业的AVS网络传输也有了迫切的需求，如何解决AVS编码在RTP上的传 输打包问题，提供一种适用于AVS编码网络传输的方法，从而更快捷安全的应用 于网络化安全防范监控系统，是本领域当前需要解决的重要课题。发明内容本发明的目的是基于AVS信源编码标准，实现AVS在RTP传输上的打包格式， 利用RTP协议实现AVS的流媒体网络传输，使ASV编码在监控领域特别是网络化 监控中得到高效应用，在安全防范监控技术领域实现更快捷安全的网络化监控， 提供一种用于录像机和视频服务器的AVS编码网络传输方法。为了达到上述目的，本发明采用以下技术方案 一种用于录像机和视频服务 器的AVS编码网络传输方法，包括确定RTP协议传输AVS码流，AVS码流在RTP 有效负载区的具体格式，封装及解析的格式，其特点是，RTP数据包发送网络抽 象层单元(Network Abstract Layer Unit,简称NALU)的发送方式有三种— 个RTP中只负载一帧(ONP)、 一个RTP包里含多个帧(MNP)、 一帧被分为多个片 段分别打入RTP包(ONFP);三种发送方式，它们有共同的单元头网络抽象层单 元数据头结构(NALU Head, NH)，共2Bytes，三种发送方式定义的值如下一个RTP中只负载一帧(ONP)的值为 0x01;一个RTP包里含多个帧(画P)的值为； 0x10;一帧分为多个片段分别打入RTP包(ONFP)的值为 Oxll; 1. 一个RTP中只负载一帧(ONP)格式发送定义如下单元头(NH)， 2Bytes、 网络抽象层单元数据(NALU DATA), 4字节对齐、网络抽象层单元数据(NALU DATA), n字节，4字节对齐，在NH的后面，跟要发送的数据；2. —个RTP包里含多个帧(MNP)格式发送定义如下采用交错格式和是否 对每个NALU使用独立时戳，可分为如下四种子类型共用时间戳顺序排列的一包多单元(MNP-NIT)时，交错格式(NH标志为 I)为0 、独立时间戳(NH标志T)为0;交错排序的一包多单元(MNP-I)时，交错格式(NH标志为I )为1、独 立时间戳(NH标志T)为0 ;顺序排列的独立时间戳单元(MNP-T)时，交错格式(NH标志为I)为0、 独立时间戳(NH标志T )为 1;交错排序的独立时间戳单元(MNP-IT)时，交错格式(NH标志为I)为1、 独立时间戳(NH标志T )为1;共用时间戳顺序排列的一包多单元(MNP-NIT)格式发送时，RTP包中NALU 按其解码顺序依次排列，共用RTP包头中的时戳，共用时间戳顺序排列的一包多 单元格式定义如下，依次为单元头(2字节) 一单元大小一单元数据一单元大小一单元数据…； 交错排序的一包多单元(顧P)格式发送时，数个RTP数据包构成一组，将 按其解码顺序连续排列的多个NALU交错封装，交错排序的一包多单元(顧P)格 式定义如下，依次为单元头(2字节)一组号(2字节) 一单元大小(2字节)一当前单元在包内 的解码顺序(1字节) 一 单元数据一单元大小(2字节) 一当前单元在包内的解 码顺序(1字节) 一单元数据…； 顺序排列的独立时间戳单元(MNP-T)格式发送时，其格式定义如下，依次为 单元头(2字节)一单元大小(2字节)一相对时间戳(2字节)一单元数 据一单元大小(2字节)—相对时间戳(2字节) 一单元数据…； 交错排序的独立时间戳单元(MNP-IT)格式发送时，其格式定义如下，依次为 单元头(2字节)一组号(2字节) 一单元大小(2字节)一当前单元在包内 的解码顺序(1字节) 一 相对时间戳(4字节) 一单元数据一单元大小(2字节) 一当前单元在包内的解码顺序(1字节) 一 相对时间戳(4字节)一单元数据一 单元大小一当前单元在包内的解码顺序(1字节) 一 相对时间戳(4字节) 一单 元数据…；3. —个单元拆成多个分包)格式发送(0NFP)发送格式定义如下 单元头一单元数据；6上述所述网络抽象层单元数据头结构(NH结构)为SM 、 D、 S、 E、 I、 T、 R、 MT、 SMT; SM—Send Method,发送格式，包括每包包含的NALU个数，每包1个NALU 包为0NP，每包多个NALU包为MNP， 一个NALU包被拆成多个部分为0NFP。 D— (Discard) : 1 bit,为1时表示被丢弃的标识； S— (Start) : 1 bit,为1时表示此包为分片的丌始；E— (End) : 1 bit,为1时表示此包为分片的结束，S标识和E标识不同时为1;I— (Interleaved) : 1 bit，为1时表示采用交互格式；T— (Time): 1 bit,为1表示此包中每个NALU都有独立的时戳；R— (Reserved): 1 bit,保留位。MT — (Media Type): 3 bits,媒体类型，定义如下 视频(Video) 0x001 音频(Audio) 0x010 报警类数据(Alarm) 0x100 SMT— (Sub-Media Type) : 5 bits,媒体子类型，其定义如下 I帧(I-Frame) 0x00001 P帧(P-Frame) 0x00010 AVS在RTP传输上的打包格式，可以采用0NP、 MNP方式或0NFP格式方式， 使用0NFP的规则是，分片时使得每个RTP的有效载荷达到最大；当选择MNP时， 应采用与使用0NFP的同样规则，即使得RTP的有效载荷达到最大， 一个RTP包 的最大载荷应满足使整个包的大小不超过MTU。在打包规则中，本方案定义了多种RTP打包格式，当选择ONP格式方式时， 首先判断要打包的NALU是否能被-一个RTP包所包含，如果能包含，则将其按0NF 格式进行封装。如果不行能包含，则采用ONFP。使用ONFP的规则是，分片时使 得每个RTP的有效载荷达到最大；当选择MNP时，应采用与使用ONFP的同样规 则，即使得RTP的有效载荷达到最大。在解包规则中，解包的方法是统一的，接收端应该有两个队列， 一个是RTP 数据包的队列，另一个是NALU的队列；RTP队列中的数据包应该按其序列号依 次排列，即每收到一个RTP数据包，接收端必须根据其序列号将其插入RTP队列中的对应位置；NALU队列中的每一项则应按其解码顺序排列，NALU队列的来源 是解析RTP队列中的数据包，首先，从RTP队列的队首取一个RTP数据包，检査 其Marker bit (是否可重构解码的标志位)，如果Market bit位为1，则说明该 RTP包可以解析;而该RTP数据包必定是ONP、 MNP-NIT、 MNP-T中的一种，对于 0NP，直接取出其NALU DATA加入NALU队尾即可，对于MNP-NIT和MNP-T,依次 取出其中的每一个NALU，依次加入NALU队尾即可。由于采用了上述用于录像机和视频服务器的AVS编码网络传输方法，实现了 AVS在RTP传输上的打包格式，利用RTP协议实现了 AVS的流媒体网络传输，使 ASV编码在监控领域特别是网络化监控中得到高效应用，在安全防范监控技术领 域实现快捷安全的网络化监控。
具体实施方式
下面结合实施例详述本发明，下面结合实施例详述本发明， 一种用于硬盘录 像机和视频服务器的AVS编码网络传输方法，包括确定RTP协议传输AVS码流， AVS码流在RTP有效负载区的具体格式，封装及解析的格式；RTP数据包发送网 络抽象层单元(Network Abstract Layer Unit,简称NALU)的发送方式有三种 一个RTP中只负载一帧(ONP)、 一个RTP包里含多个帧(MNP)、 一帧被分为多个 片段分别打入RTP包(ONFP);三种发送方式，它们有共同的单元头网络抽象层 单元数据头结构(NALU Head, NH)，共2Bytes，三种发送方式定义的值如下一个RTP中只负载一帧(ONP)的值为 0x01;一个RTP包里含多个帧(MNP)的值为； 0x10;一帧分为多个片段分别打入RTP包(ONFP)的值为 Oxll; 而网络抽象层单元数据头结构(NH结构)为SM 、 D、 S、 E、 I、 T、 R、 MT、 SMT;1. 一个RTP中只负载一帧(ONP)格式发送定义如下单元头(NH)为2Bytes、网络抽象层单元数据(NALU DATA) ， 4字节对齐、网 络抽象层单元数据(NALU DATA), n字节，4字节对齐，在NH的后面，跟要发送 的数据；2. —个RTP包里含多个帧(MNP)格式发送定义如下 采用交错格式和是否对每个NALU使用独立时戳，可分为如下四种子类型共用时间戳顺序排列的一包多单元(MNP-NIT)时，交错格式(NH标志为 I)为0 、独立时间戳(NH标志T)为0;交错排序的一包多单元(MNP-I)时，交错格式(NH标志为I)为1、独 立时间戳(NH标志T)为0 ;顺序排列的独立时间戳单元(MNP-T)时，交错格式(NH标志为I)为0、 独立时间戳(NH标志T )为 1;交错排序的独立时间戳单元(MNP-IT)时，交错格式(NH标志为I)为1、 独立时间戳(NH标志T )为1;射；共用时间戳顺序排列的一包多单元(MNP-NIT)格式发送时，RTP包中NALU 按其解码顺序依次排列，共用RTP包头中的时戳，共用时间戳顺序排列的一包多 单元格式定义如下，依次为单元头(2字节) 一单元大小一单元数据一单元大小 一单元数据…；交错排序的一包多单元(MNP)格式发送时，数个RTP数据包构成一组，将 按其解码顺序连续排列的多个NALU交错封装，交错排序的一包多单元(MNP)格 式定义如下，依次为单元头(2字节)一组号(2字节) 一单元大小(2字节) 一 当前单元在包内 的解码顺序(1字节) 一 单元数据一单元大小(2字节) 一当前单元在包内的解 码顺序(1字节) 一单元数据…；顺序排列的独立时间戳单元(廳P-T)格式发送时，其格式定义如下，依次为单元头(2字节)一单元大小(2字节) 一相对时间戳(2字节) 一单元数 据一单元大小(2字节) 一 相对时间戳(2字节) 一单元数据…；交错排序的独立时间戳单元(画P-IT)格式发送时，其格式定义如下，依次为单元头(2字节)一组号(2字节) 一单元大小(2字节)一当前单元在包内 的解码顺序(1字节)一相对时间戳(4字节) 一单元数据一单元大小(2字节) 一当前单元在包内的解码顺序(1字节) 一 相对时间戳(4字节) 一单元数据一 单元大小一当前单元在包内的解码顺序(1字节) 一 相对时间戳(4字节) 一单 元数据…；3. —个单元拆成多个分包)格式发送(0NFP)发送格式定义如下单元头一单元数据；下面的实施例采用0NP和0NFP两种方式具体说明，当一个NALU大小可以在 一个RTP包中发送时，采用0NP，否则，采用ONFP;约定最大RTP包大小为1440 字节，RTP报头为12字节，本文规定的NH大小为2字节，用1440字节减去12+2 字节等于1426字节，经计算可知，无论采用0NP还是0NFP，可以发送的最大有 效载荷为1426字节。采用0NP格式方式发送大小为678字节大小的网络抽象层单元(NALU):80 E0 09 2B 00 01 El B8 00 00 00 00 40 01 ......;其中，前面12个字节是RTP报头，后面紧跟的两个字节是NH，后面的载荷 省略未标出。根据数据可知，本实施例使用的RTP版本号为2， Marker bit被置 为1，表示此包可以解码；Payload type为96，表示为AVS编码，序列号为2347; 时戳为123320表示从丌始播放至今经过了 123. 320秒；此RTP会话源的SSRC 为00 00 00 00;在NH中，发送方法(SM)为01，表示为0NP;媒体类型为0，表 示为视频；媒体子类型为l，表示为I帧。采用ONFP格式方式发送大小为1758字节的网络抽象层单元(NALU);第一个包为80 60 07 43 00 OB FD BO 00 00 00 00 DO 02 ......;可看出使用的RTP版本号为2， Marker bit为0，表示收到此包尚不可以解 码；Payload type为96，表示为AVS编码，序列号为1859;时戳为785840，表 示从丌始播放至今经过了 785. 840秒；此RTP会话源的SSRC为00 00 00 00; 在NH中，发送方法(SM)为ll，表示为ONFP;起始标识位(S)为l,表示分片的 开始；媒体类型为0，表示为视频；媒体子类型为2,表示为P帧；其后紧跟1426 字节的网络抽象层单元(NALU)数据。第二个包为80 E0 07 44 00 0B FD B0 00 00 00 00 C8 02 ......;可看出使用的RTP版本号为2， Marker bit为1，表示收到此包可以解码； Payload type为96，表示为AVS编码，序列号为]860;时戳为785840，表示从 丌始播放至今经过了 785. 840秒；因为它与上一个包属于同一个网络抽象层单元 (NALU),所以时戳相同；此RTP会话源的SSRC为00 00 00 00;在NH中，发'.送方法(SM)为ll，表示为0NFP;结束标识位(E)为1，表示分片的结束；媒体类 型为0，表示为视频；媒体子类型为2，表示为P帧；其后紧跟剩下的332字节 的网络抽象层单元(NALU)数据。
权利要求
1.一种用于录像机和视频服务器的AVS编码网络传输方法，包括确定RTP协议传输AVS码流，AVS码流在RTP有效负载区的具体格式，封装及解析的格式，其特征在于，RTP数据包发送网络抽象层单元的发送方式有三种一个RTP中只负载一帧-ONP或一个RTP包里含多个帧-MNP及一帧被分为多个片段分别打入RTP包-ONFP，三种发送方式有共同的单元头网络抽象层单元数据头结构-NH，共2Bytes，三种格式发送方式定义的值如下一个RTP中只负载一帧-ONP的值为 0x01；一个RTP包里含多个帧-MNP的值为； 0x10；一帧分为多个片段分别打入RTP包-ONFP的值为0x11。
2. 根据权利要求1所述的AVS编码网络传输方法，其特征在于上述所述网络抽象层单元数据头结构一NH结构为SM 、 D、 S、 E、 I、 T、 R、 MT、 SMT。
3. 根据权利要求1所述的AVS编码网络传输方法，其特征在于上述所 述一个RTP中只负载一帧一ONP格式发送定义为单元头为2Bytes、网络抽象层 单元数据，4字节对齐、网络抽象层单元数据n字节，4字节对齐，在单元头的 后面，跟要发送的数据。
4. 根据权利要求1所述的AVS编码网络传输方法，其特征在于上述所述 一个RTP包里含多个帧一MNP格式发送定义为如下四种子类型a. 共用时间戳顺序排列的一包多单元时，交错格式为0 、独立时间戳为0; RTP包中NALU按其解码顺序依次排列，共用RTP包头中的时戳，共用时间戳顺 序排列的一包多单元格式定义如下，依次为单元头一单元大小一单元数据一单元大小一单元数据…；b. 交错排序的-一包多单元时，交错格式l、独立时间戳0 ;多个RTP数 据包构成一组，将按其解码顺序连续排列的多个NALU交错封装，交错排序的--包多单元格式定义如下，依次为单元头一组号一单元大小一 当前单元在包内的解码顺序一 单元数据一单 元大小一当前单元在包内的解码顺序一单元数据…；C.顺序排列的独立时间戳单元时，交错格式为0、独立时间戳为1;顺序排 列的独立时间戳单元格式发送时，其格式定义如下，依次为单元头一单元大小一相对时间戳一单元数据一单元大小一 相对时间戳一单元数据…；d.交错排序的独立时间戳单元时，交错格式为1、独立时间戳为1;交错 排序的独立时间戳单元格式发送时，其格式定义如下，依次为单元头一组号一单元大小一 当前单元在包内的解码顺序一 相对时间戳一 单元数据一单元大小一当前单元在包内的解码顺序一 相对时间戳一单元数据一 单元大小一当前单元在包内的解码顺序一 相对时间戳一单元数据…。
5. 根据权利要求1或4所述的AVS编码网络传输方法，其特征在于上述 所述一个RTP包里含多个帧一MNP格式发送定义的四种子类型中，交错格式的NH标志为I ，独立时间戳的NH标志为T 。
6. 根据权利要求1所述的AVS编码网络传输方法，其特征在于上述所述一个单元拆成多个分包一ONFP发送格式定义为单元头一单元数据。
全文摘要
本发明公开了一种用于录像机和视频服务器的AVS编码网络传输方法，包括确定RTP协议传输AVS码流，AVS码流在RTP有效负载区的具体格式，RTP数据包发送网络抽象层单元数据头结构的三种发送方式为一个RTP中只负载一帧的ONP格式发送；一个RTP包里含多个帧的MNP格式发送；一帧被分为多个片段分别打入RTP包的ONFP格式发送以及封装及解析的格式。本发明实现了AVS在RTP传输上的打包格式，利用RTP协议实现了AVS的流媒体网络传输，使ASV编码在监控领域特别是网络化监控中得到高效应用，在安全防范监控技术领域可实现快捷安全的网络化监控。
文档编号H04N7/24GK101325701SQ20081011719
公开日2008年12月17日 申请日期2008年7月25日 优先权日2008年7月25日
发明者余和初, 林 楚, 蓉 聂, 政 谭 申请人:北京声迅电子有限公司