置的工作过程为：采集端将采集的视频数据进 行编码后以UDP方式将视频数据传输到流媒体服务器端，流媒体服务器端将从采集端传过 来的视频数据进行实时的流化处理，依据RTP协议规则将视频数据打包成标准RTP数据包， 然后使用RTSP协议与播放端进行交互，将RTP包发送到播放端，播放端播放接收到的视频 数据；对实时视频传输的装置播放视频数据进行延时测试表明视频播放延时由2160ms降 低到863ms，视频播放过程流畅没有出现中断和花屏的现象。
【主权项】
1. 一种实时视频传输装置，其特征在于主体结构包括采集端、流媒体服务器端和播放 端，采集端将采集的视频数据进行编码后WUDP方式将视频数据传输到流媒体服务器端； 流媒体服务器端由视频数据接口、实时处理逻辑模块、数据缓冲区、重传模块、自适应调节 模块、数据源处理模块、RTP编码模块、会话管理模块和RTSP交互模块按照电学原理连接组 成，视频数据接口接收UDP视频数据并将其保存到数据缓冲区中，实时处理逻辑模块对接 收到的UDP视频数据进行实时化处理，重传模块根据缓冲区是否接收到新的视频数据判断 是否重传视频数据W保持视频数据的连续性，重传模块配合自适应调节模块对采集端视频 数据发送速率进行动态调节并创建对应于实时视频数据的视频Source,视频Source用于 实时视频传输的装置中所有读取实时视频数据的操作，RTSP交互模块与播放端交互，播放 端发送DESCRIBE请求后获取到对应的流媒体信息的SDP描述信息并发送给播放端，播放端 发送SETUP请求后向会话管理模块请求建立新的Session和Sink,Sink用于实时视频传输 的装置中所有发送数据的操作，一个Session表示一个服务器与播放端的连接，同时建立 一个Source与Sink之间的连接，播放端发送PLAY请求后，RTP编码模块对视频数据进行 RTP打包，视频数据通过Source与Sink之间的连接被发送到播放端；播放端用于播放接收 到的视频数据。2. 根据权利要求1所述实时视频传输装置，其特征在于所述实时处理逻辑模块将从采 集端传到流媒体服务器端的视频数据通过H264编码转换成视频数据流，H264视频数据流 的格式开头为SPS和PPS，接着是编码器的参数信息，然后是I帖，流媒体服务器端将H264 视频数据流中的SPS、PPS和I帖截取并保存到缓冲区中，然后实时刷新缓冲区，W保证数据 的实时性；没有播放请求时，缓冲区内缓存帖数达到设定数目后缓冲区清空接收到的视频 数据，有播放请求时，缓冲区将接收到的最新的视频数据传给流媒体服务器端，W确保流媒 体服务器端传给播放端的视频数据是最新的，实现视频数据的实时传输；设及的缓冲区根 据其保存的Krame_num来判定是否刷新，当缓冲区内I帖数达到设定值时，缓冲区刷新和 清空接收到的视频数据；设定Krame_num=N，表明缓冲区内有N个I帖，当有播放请求时， 播放端从第一个I帖开始播放，实际上最新的视频数据是第N个I帖，该样就会产生N帖的 延迟，Krame_num设置过大，数据传输相对稳定，但是时延会变大，满足不了视频传输实时 性的要求；如果Iframe_num设置过小，时延会小，但是视频数据不能及时被传到流媒体服 务器端，视频播放出现中断；将Krame_num设为1，播放端请求播放时的延时是最小的，为 保证视频数据传输的稳定性，同时考虑缓冲区中视频数据到达速率与读取速率，将Krame_ num重置为3。3. 根据权利要求1所述实时视频传输装置，其特征在于所述实时处理逻辑模块的工作 过程为： (1) 、将采集端传过来的视频数据开头部分的SPS、PPS和I帖截取并保存到缓冲区中； (2)、在播放端请求播放前将Krame_num设为1; (3)、监听流媒体服务器端与播放端是否建立连接，如果没有连接，刷新缓冲区并继续 监听，如果已连接，将Krame_num重置为3 ; (4) 、监听流媒体服务器端与播放端是否断开连接，如果没有断开，保持Krame_num为 3,如果断开，将Krame_num设定为1，W确保下一次实时视频传输的时延最小。4. 根据权利要求1所述实时视频传输装置，其特征在于所述重传模块判断流媒体服 务器端的缓冲区接收到新视频数据时数据源正常读取数据并进行实时传送，重传模块判断 流媒体服务器端的缓冲区没有接收到新视频数据时数据源中用于读取视频数据的指针往 回偏移并重传已经保存的视频数据，W保持视频数据的连续性，防止视频播放的中断，如果 流媒体服务器端的缓冲区一直没有接收到新视频数据，重传模块循环执行偏移操作并记录 offset_num;设及的自适应调节模块是W重传模块记录的〇ffset_num为输入参数，将采集 端视频码流发送速率的调节幅度设为AC，根据实际采用的视频编码格式选用相应的编码 选项和相关参数，建立AC与offset_num的对应关系，自适应调节模块根据offset_num判 断视频数据从采集端到流媒体服务器端的传输状况采用粗粒度判别方式对视频数据传输 做出实时调整，〇ffset_num设定两个阀值化和TH，视频数据传输状况根据offset_num划 分为3个区域，区域statel表示offset_num较小，视频数据重传对视频的播放影响不大， 不需要对采集端的发送速率进行调整；区域state2表示offset_num对视频的播放产生影 响，出现部分花屏现象，需要对采集端的发送速率进行调整；区域state3表示offset_num 超过最高限值，表明采集端与流媒体服务器端的连接出现故障，较长时间内没有视频数据 传送过来，需要断开并重新建立连接，实现对视频数据传输状况的一个粗粒度的判别和划 分，AC和offset_num的对应关系算法表达式为；其中，AC是根据offset_num划分的3种数据传输状况来计算的，Range根据实际 需要预先设定权值a来实现不同的调节幅度，W满足实际传输情况的需要，如果AC过 大会引起采集端发送视频数据瞬时产生巨大波动，为避免频繁的波动对AC进行平滑处 理，用平滑处理后的AC对采集端发送视频的发送速率进行调节，平滑计算式为：AC' = (1-t)XAC(n-1)+tAC(n) (0《t《1) ;AC'是本次平滑处理后的调节幅度，AC(n-1)是 上一次平滑处理后的调节幅度，AC(n)是本次计算得到的调节幅度，当t增加时，AC(n)对 结果的影响增大；当t减小时，AC(n-l)对结果的影响增大。5. 根据权利要求1所述实时视频传输装置，其特征在于所述自适应调节模块的工作过 程为： (1) 、根据重传模块记录的〇ffset_num来判别当前数据传输的状况； (2) 、根据数据传输状况计算AC，预先设定offset_num的最小值化和最大值TH，当 offset_num小于化时，表明视频数据的重传对播放的影响忽略不计，不需要的对采集端视 频码流的发送速率进行调节，即AC= 0 ;当offset_num大于化且小于TH，表明视频数据 的重传对视频播放会产生影响，出现花屏现象，需要对采集端视频码流的发送速率进行调 节，调节幅度AC=aXRange;当offset_num大于TH，表明视频数据重传对视频播放产生 较大影响，出现卡屏现象，视频数据的传输出现问题，需要中断并重新建立连接； (3) 、当offset_num大于化且小于TH，将计算出的AC进行平滑处理；并将计算得到 的反馈给采集端。6. -种采用如权利要求5所述装置实现实时视频传输的方法，其特征在于具体过程 为：采集端将采集的视频数据进行编码后WUDP方式将视频数据传输到流媒体服务器端， 流媒体服务器端将从采集端传过来的视频数据进行实时的流化处理，依据RTP协议规则将 视频数据打包成标准RTP数据包，然后使用RTSP协议与播放端进行交互，将RTP包发送到 播放端，播放端播放接收到的视频数据；对实时视频传输的装置播放视频数据进行延时测 试表明视频播放延时由2160ms降低到863ms，视频播放过程流畅没有出现中断和花屏的现 象。
【专利摘要】本发明属于实时视频传输技术领域，涉及一种实时视频传输装置及方法，采集端将采集的视频数据进行编码后以UDP方式将视频数据传输到流媒体服务器端，流媒体服务器端将从采集端传过来的视频数据进行实时的流化处理，依据RTP协议规则将视频数据打包成标准RTP数据包，然后使用RTSP协议与播放端进行交互，将RTP包发送到播放端，播放端播放接收到的视频数据；其结构简单，原理可靠，具有良好的视频传输稳定性和视频播放流畅性，易于推广应用。
【IPC分类】H04N21/24, H04N7/18, H04N21/6437
【公开号】CN104935958
【申请号】CN201510350042
【发明人】魏崇毓, 田文鹏, 陈琦, 张宏琳, 孙海英
【申请人】青岛科技大学
【公开日】2015年9月23日
【申请日】2015年6月24日