视频图像数据的网络发送速率的平滑方法
【技术领域】
[0001] 本发明涉及视频图像传输领域，特别涉及一种视频图像传输过程中的视频图像平 滑方法。
【背景技术】
[0002] 在视频监控，网络视频会议等应用中，视频图像从实时采集一直到视频图像播放 端，需要经过采集、缓冲W及网络传输等环节。
[0003] 如图1所示，视频拍摄前端所采集到的视频数据经过视频编码器1编码后，视频编 码器1通过写指针11将视频数据存放到缓冲区2,网络发流器3通过读指针31将缓冲区中 存放的视频数据读出，并通过视频传输网络4发出。视频编码器1维护写指针11，在写指针 11将视频数据存放到缓冲区2时，写指针11在缓冲区2中的位置会随着视频数据的写入而 更新；网络发流器3维护读指针31，在读指针31将视频数据从缓冲区2读出时，读指针31 在缓冲区2中的位置会随着视频数据的读出而更新。在本领域中，网络发流器3的数量可 W为1个或者多个，每个网络发流器3各自维护自己的读指针31，另外，网络发流器3也可 W采用多线程技术实现。
[0004] 写指针11的更新速度反映了视频编码器1的输出速率，网络发流器3通过对读指 针31的控制，便可调整视频数据码流发送到视频传输网络4的速率，视频数据码流发送到 视频传输网络4的速率的平滑程度（或均匀性），反映到视频传输网络4上，即为网络数据 流的平滑性。
[0005] 在视频图像实时采集，视频传输网络实时发送采集到的视频数据时；一方面，由于 采集的视频图像的画面场景变化随机，进而所采集到的原始数据量差别很大；另一方面，视 频压缩算法采用了顿内（I顿）和顿间（P顿）压缩的方法，其中，I顿也叫关键顿，是顿间压 缩编码里的重要顿，I顿是全顿压缩的编码顿，解码时仅用I顿的数据就可重构完整图像，I 顿不需要参考其他画面而生成，而P顿由在它前面的P顿或者I顿预测而来，P顿比较与它 前面的P顿或者I顿之间的相同信息或数据，即考虑运动的特性进行顿间压缩，P顿是根据 本顿与相邻的前一顿（I顿或P顿）的不同点来压缩本顿数据，送样，由于I顿和P顿的不 同性质，导致压缩后的视频数据量差别很大。
[0006] 由于该两方面的原因，最终反映在网络传输数据上将变得很不平滑，会存在网络 数据的瞬间过冲的现象，加之在实际应用场合中，存在带宽限制等约束，送样，网络数据的 瞬间过冲将可能导致数据丢失，或者大量设备同时出现大量数据，将导致网络拥塞，甚至网 络痛疾。
[0007] 因此，对视频图像数据进行平滑处理，是保障网络数据不发生瞬间过冲，避免网络 拥塞和网络痛疾的重要手段。
[0008] 现有技术中，已有人针对此情况采用了对视频图像数据进行平滑处理的方法。例 如专利CN102355577A中所公开的一种多视视频码流的网络传输码率平滑方法，将发送缓 存区再分为两级缓存，并将数据设为阀口值进行计算。该方法可W-定程度上缓冲数据，进 而达到网络平滑，但是该方法也有明显的不足，例如，需要两个内存缓冲区，缺少动态实时 调整，只按预先设定的阔值进行平滑等，缺少对实时发送速率的应变。
【发明内容】
[0009] 有鉴于此，本发明提供一种视频图像数据的网络发送速率的平滑方法，W对当前 发送带宽进行实时检测，进而动态调整发送速度，达到码率平滑的目的。
[0010] 本申请的技术方案是送样实现的：
[0011] 一种视频图像数据的网络发送速率的平滑方法，包括在每个视频记录采样周期内 执行的如下过程：
[0012] 在当前视频记录采样周期内，将视频码流写入缓冲区；
[0013] 计算所述当前视频记录采样周期的视频编码器的码流变化；
[0014] 获取当前缓冲区中视频数据大小；
[0015] 根据所述当前缓冲区中视频数据大小与视频传输网络所允许延时的关系，获得所 述视频数据的待发送速率；
[0016] 将所述待发送速率分别与当前视频传输网络带宽和视频码流在视频传输网络中 的波动最大值进行比较，W确定实际发送速率；
[0017] 采用所述实际发送速率发送所述缓冲区中的视频数据。
[0018] 进一步，如果采用所述实际发送速率发送所述缓冲区中的视频数据所用时长超过 所述采样周期，则调整所述当前缓冲区中视频数据大小与视频传输网络所允许延时的关 系，W在下一个视频记录采样周期内采用。
[0019] 进一步，所述计算所述当前视频记录采样周期的视频编码器的码流变化，采用如 下公式进行：
[0020] AS = S-So
[0021] 其中，AS为当前视频记录采样周期的视频编码器的码流变化，S为当前视频记录 采样周期的视频编码器的码流量，S。为前一视频记录采样周期的视频编码器的码流量。
[0022] 进一步，根据所述当前缓冲区中视频数据大小与视频传输网络所允许延时的关 系，获得所述视频数据的待发送速率，包括：
[0023] 在所述缓冲区中设置第一阔值点和第二阔值点，其中第一阔值点小于第二阔值 占. ;、、、?
[0024] 当所述缓冲区中缓冲的视频数据量小于第一阔值点时，采用如下公式获得所述待 发送速率：
[0026]当所述缓冲区中缓冲的视频数据量位于所述第一阔值点和第二阔值点之间时，采 用如下公式获得所述待发送速率：
[0028]当所述缓冲区中缓冲的视频数据量大于第二阔值点时，采用如下公式获得所述待 发送速率：
[0030] 其中，V为待发送速率，V。为前一视频记录采样周期内发送到网络的最终发送速 率，T为视频记录采样周期，Ay为一级修正因子，Ax为二级修正因子。
[0031] 进一步，所述视频码流在视频传输网络中的波动最大值等于视频图像目标平滑值 与视频传输网络码率的乘积。
[0032] 进一步，将所述待发送速率分别与当前视频传输网络带宽和视频码流在视频传输 网络中的波动最大值进行比较，W确定实际发送速率，包括：
[0033] 将所述待发送速率、当前视频传输网络带宽、视频码流在视频传输网络中的波动 最大值H者中的最小值确定为实际发送速率。
[0034] 进一步，所述第一阔值点为所述视频传输网络延时所允许的缓冲数据量的3/8,所 述第二阔值点为所述视频传输网络延时所允许的缓冲数据量的5/8。
[0035] 进一步，当所述缓冲区中缓冲的视频数据量大于等于0,且小于所述视频传输网络 延时所允许的缓冲数据量的1/8,所述一级修正因子Ay为-0. 15;
[0036] 当所述缓冲区中缓冲的视频数据量大于等于所述视频传输网络延时所允许的缓 冲数据量的1/8,且小于所述视频传输网络延时所允许的缓冲数据量的2/8时，所述一级修 正因子Ay为-0. 1 ;
[0037]当所述缓冲区中缓冲的视频数据量大于等于所述视频传输网络延时所允许的缓 冲数据量的2/8,且小于所述视频传输网络延时所允许的缓冲数据量的3/8时，所述一级修 正因子Ay为-0. 05;
[0038] 当所述缓冲区中缓冲的视频数据量大于等于所述视频传输网络延时所允许的缓 冲数据量的3/8,且小于等于所述视频传输网络延时所允许的缓冲数据量的5/8时，所述一 级修正因子Ay为0 ;
[0039]当所述缓冲区中缓冲的视频数据量大于所述视频传输网络延时所允许的缓冲数 据量的5/8,且小于等于所述视频传输网络延时所允许的缓冲数据量的6/8时，所述一级修 正因子Ay为0. 05;
[0040] 当所述缓冲区中缓冲的视频数据量大于所述视频传输网络延时所允许的缓冲数 据量的6/8时，且小于等于所述视频传输网络延时所允许的缓冲数据量的7/8时，所述一级 修正因子Ay为0.1;
[0041]当所述缓冲区中缓冲的视频数据量大于所述视频传输网络延时所允许的缓冲数 据量的7/8时，且小于等于所述视频传输网络延时所允许的缓冲数据量的8/8时，所述一级 修正因子Ay为0. 15。
[0042] 进一步，所述二级修正因子通过如下方法确定：
[0043] 根据视频编码器码率，设定第H阔值点和第四阔值点，其中第H阔值点小于第四 阔值点；
[0044] 统计当前时间之前2砂钟到当前时间之前1砂钟的实际码流量，记为第一实际码 流量，统计当前时间之前1砂钟到当前时间的实际码流量，记为第二实际码流量；
[0045]当第一实际码流量和第二实际码流量均低于所述第H阔值点时：
[0047] 当第一实际码流量和第二实际码流量均高于所述第四阔值点时：
[0049] 其中，Ps为第H阔值点，P4为第四阔值点，T为视频记录采样周期，S为当前视频记 录采样周期的视频编码器的码流量，Ax为所述二级修正因子。
[0050] 进一步，所述第H阔值点为所述视频编码器码率的3/4,第四阔值点为所述视频编 码器码率的5/4,即
[0052] 其中，P。为所述视频编码器码率。
[0053] 从上述方案可W看出，采用本发明的视频图像数据的网络发送速率的平滑方法， 可给视频传输网络码率波动带来极大的改善，使得视频传输网络码率波动范围能够始终保 持在一个较小的范围内。采用本发明的视频图像数据的网络发送速率的平滑方法，可使得 视频图像数据的网络发送速率不断地按照预想的方向进行平滑，并最终实现视频图像数据 在视频传输网络中的平滑发送，进而避免网络数据的瞬间过冲、数据丢失、网络拥塞甚至网 络痛疾的可能。与现有技术相比，本发明的方法仅使用了单