it，记录了 NAL单元和日志文件(扩展文件)的对应关系。RESERVED是保留区域，用来提高以后升级该系统的兼容性和可扩展性。
[0027]所述自定义的HEVC字节流提取模块，用于分析HEVC编码器模块产生的日志文件和NAL单元，根据所述日志文件记录的偏移量和NAL单元的顺序，从HEVC字节流中定位并提取NAL单元。
[0028]所述字节流发送模块，用于使用RTP/TCP协议传输发送所述NAL单元。
[0029]所述发送端还包括测试模块，用于从字节流中提取任何一个的NAL单元进行测试。
[0030]所述接收端包括接收处理模块，用于接收所述NAL单元，进行丢失标志位的NAL单元的识别、隐蔽性错误的解码和视觉质量的判定。通过对发送端的NAL单元跟踪文件与接收端的NAL单元跟踪文件比较来实现所述隐蔽性错误的解码。NAL单元跟踪文件是NAL单元的一个字段描述，记录了 HEVC视频流中得NAL单元和日志文件的对应关系。
[0031]附图1 中，PPS (Picture Parameter Set)NAL 是 NAL 单元的一种。STAP (Single-time aggregat1n packet)是一种数据格式，用来合并多个NAL单元到一个RTP报文中。VCL NAL是一种NAL单元格式，表示该NAL单元是视频编码层，功能是装在HEVC视频流信息。目前所有的流媒体几乎都是先打包成NAL单元，经过网络链路发送到接收端，进行解码。NAL单元是流媒体传输的基本单位。在HEVC草案中已经明确，所有的NAL单元都需要打包成通用的RTP/TCP包才能发送。
[0032]附图4是本发明的应用场景不意图，附图5是本发明在网络不稳定时的丢失率不意图，其中，IDR(Instantaneous Decoding Refresh)是RAP (random access point)的一种方式。RAP (随机读取点)可以是IDR、CRA、BLA帧。序列参数集SPS (Sequence ParameterSet)是HEVC封装视频参数等的一种NAL单元。序列参数集SPS包含CVS中所有slice需要的信息。增强信息SEI (Supplemental enhancement informat1n)用于存储视频元数据，比如说时间戳、使用的色彩空间、3D填充的方式等等。
[0033]本发明在网络不稳定或者带宽小幅降低情况下，提高HEVC流媒体应用的鲁棒性和适应性。本发明在网络不稳定时降低视频质量来降低网络带宽达到提高HEVC流媒体应用的鲁棒性和适应性
[0034]本发明使得在裸视频预处理阶段依赖于服务器的计算性能，接收端计算性能要求得到降低。自定义的HEVC编解码器使得软件编程方法用来提升网络波动下的HEVC流媒体视觉效果的灵活性更高，适应性更广。HEVC流媒体框架下的服务端和客户端经过验证和实现，并且达到10%的带宽降低仅造成3.61dB的下降。服务端和接收端都使用了软件模块，不依赖于具体的硬件设施，使得该框架的可以不经过修改或少量修改就可以移植。
[0035]以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
【主权项】
1.一种基于HEVC的网络流媒体应用系统，其特征在于，所述系统包括:发送端和接收端，其中，所述发送端包括修改后的HEVC编码器模块、NAL单元加权重模块、自定义的HEVC字节流提取模块、字节流发送模块； 所述修改后的HEVC编码器模块，用于对裸视频进行编码生成NAL单元并产生日志文件，所述日志文件用于记录NAL单元的第一个字节的内存偏移，所述NAL单元包括唯一标识符、PR1RITY字段以及标记原有顺序的字段； 所述NAL单元加权重模块用于将所述修改后的HEVC编码器模块编码后的NAL单元根据RD0和PSNR综合计算得出NAL单元的权重，记录到NAL的PR1RITY字段，并将G0P中的连续画面中的NAL单元根据权重重新排序，然后在所述标记原有顺序的字段记录NAL单元排序前的顺序； 所述自定义的HEVC字节流提取模块，用于分析HEVC编码器模块产生的日志文件和NAL单元，根据所述日志文件记录的偏移量和NAL单元的顺序，从HEVC字节流中定位并提取NAL单元；所述字节流发送模块，用于发送所述NAL单元。2.根据权利要求1所述的基于HEVC的网络流媒体应用系统，其特征在于:所述接收端包括接收处理模块，用于接收所述NAL单元，进行丢失标志位的NAL单元的识别、隐蔽性错误的解码和视觉质量的判定。3.根据权利要求2所述的基于HEVC的网络流媒体应用系统，其特征在于:通过对发送端的NAL单元跟踪文件与接收端的NAL单元跟踪文件比较来实现所述隐蔽性错误的解码。4.根据权利要求1所述的基于HEVC的网络流媒体应用系统，其特征在于:所述字节流发送模块利用PPS NAL单元缓冲，为RTP/TCP包的发送提供支持。5.根据权利要求1所述的基于HEVC的网络流媒体应用系统，其特征在于:所述发送端还包括测试模块，用于从字节流中提取任何一个的NAL单元进行测试。6.一种基于HEVC的网络流媒体应用方法，其特征在于:所述方法基于修改后的HEVC编码器，所述方法包括以下步骤: 5101:对裸视频进行编码生成NAL单元并产生日志文件，所述日志文件用于记录NAL单元的第一个字节的内存偏移，所述NAL单元包括唯一标识符以及标记原有顺序的字段； 5102:对编码后的NAL单元根据RD0和PSNR综合计算得出NAL单元的权重，并将G0P中的连续画面中的NAL单元根据权重重新排序，然后在所述标记原有顺序的字段记录NAL单元排序前的顺序； 5103:分析HEVC编码器模块产生的日志文件和NAL单元，根据所述日志文件记录的偏移量和NAL单元的顺序，从HEVC字节流中定位并提取NAL单元； 5104:发送所述NAL单元。7.根据权利要求6所述的基于HEVC的网络流媒体应用方法，其特征在于:在所述步骤104之后还包括S105:接收所述NAL单元，进行丢失标志位的NAL单元的识别、隐蔽性错误的解码和视觉质量的判定。
【专利摘要】本发明提出了一种基于HEVC的网络流媒体应用系统及方法，修改HEVC编码器，对NAL进行权重计算，并且根据NAL权重对GOP内的帧排序，通过自定义的HEVC字节流提取工具，帮助后续对HEVC流分包进行自定义处理，提供支持充分考虑大背景下的网络不稳定状态对HEVC流媒体的视觉观看效果的影响，从而对网络不稳定有充分的鲁棒性和良好的适用性，实现了HEVC的编码、传输和测试的功能，使得该系统的适用性和研究性都提到提升。
【IPC分类】H04N21/442, H04N21/2662, H04N21/2343, H04N21/6437
【公开号】CN105307050
【申请号】CN201510701060
【发明人】何震宇, 刘伟, 梁应毅, 李鑫, 张高伟, 李义
【申请人】何震宇
【公开日】2016年2月3日
【申请日】2015年10月26日