视频通讯中动态调整编码帧率的方法和系统的制作方法
【技术领域】
[0001] 本发明涉及视频通讯技术领域，特别是涉及一种视频通讯中动态调整编码帧率的 方法，以及一种视频通讯中动态调整编码帧率的系统。
【背景技术】
[0002] 在现有的即时通信（IM，Instant Messaging)应用中，视频通讯是一项常见的应 用。
[0003] 在实时视频通信中，网络带宽经常变化，网络环境不稳定会导致编码器的编码码 率也会相应变化。当码率波动时如何选择一个最佳的编码帧率显得非常重要，目前的技术 方案基本是采用经验值的方法，也就是根据当前码率查找预设的码表得到一个对应的编码 帧率。
[0004] 现有技术通过查找码表来获取帧率，其编码帧率是由当前码率唯一决定的，因此 很难适应各种场景的变化。如果帧率设的过高，则编码图像会显得模糊，图像质量会下降， 甚至造成码率溢出，出现网络拥塞；而如果帧率设的过低，则视频图像会出现卡顿现象，视 频播放不流畅。
【发明内容】
[0005] 基于此，本发明提供一种视频通讯中动态调整编码帧率的方法和系统，能自适应 调整编码帧率，同时满足视频图像质量与视频流畅性的要求。
[0006] -种视频通讯中动态调整编码帧率的方法，包括如下步骤：
[0007] 采集视频源序列；
[0008] 提取所述视频源序列中视频图像的特征信息；
[0009] 根据检测到的码率及所述特征信息，计算编码帧率并发送至编码器；其中，所述特 征信息包括纹理特征和运动特征。
[0010] -种视频通讯中动态调整编码帧率的系统，包括：
[0011] 采集模块，用于采集视频源序列；
[0012] 提取模块，用于提取所述视频源序列中视频图像的特征信息；
[0013] 计算模块，用于根据检测到的码率及所述特征信息，计算编码帧率并发送至编码 器；其中，所述特征信息包括纹理特征和运动特征。
[0014] 上述视频通讯中动态调整编码帧率的方法和系统，首先采集视频数据，得到视频 源序列，通过检测视频源序列中多帧视频图像的纹理特征和运动特征，根据所述纹理特征 和运动特征及检测到的编码码率，计算得到编码帧率发送给编码器，以供编码器对当前的 视频源序列进行编码；本发明计算得到的编码帧率，同时考虑了视频图像内容的特征信息 和当前的编码码率，实现了动态调整编码帧率，从而能获得视频图像质量与视频流畅度的 最佳平衡。
【附图说明】
[0015] 图1为本发明视频通讯中动态调整编码帧率方法在一实施例中的流程示意图。
[0016] 图2为本发明视频通讯中动态调整编码帧率方法在一实施例中计算编码帧率的 流程示意图。
[0017] 图3为本发明视频通讯中动态调整编码帧率方法在一实施例中检测视频源序列 中视频图像的特征信息的流程示意图。
[0018] 图4为本发明视频通讯中动态调整编码帧率系统在一实施例中的结构示意图。
[0019] 图5为本发明视频通讯中动态调整编码帧率系统在另一实施例中的结构示意图。
[0020] 图6为本发明视频通讯中动态调整编码帧率系统在另一实施例中的结构示意图。
[0021] 图7为本发明视频通讯中动态调整编码帧率系统在另一实施例中的结构示意图。
[0022] 图8为本发明实施例的一个计算机系统1000的模块图。
【具体实施方式】
[0023] 下面结合实施例及附图对本发明作进一步详细说明，但本发明的实施方式不限于 此。
[0024] 如图1所示，是本发明视频通讯中动态调整编码帧率的方法在一实施例中的流程 示意图，包括如下步骤：
[0025] Sl 1、采集视频源序列；
[0026] S12、提取所述视频源序列中视频图像的特征信息；
[0027] S13、根据检测到的码率及所述特征信息，计算编码帧率并发送至编码器；其中，所 述特征信息包括纹理特征和运动特征；
[0028] 视频通讯中，两个或两个以上终端通过网络实现视频通讯；终端具有视频编码功 能，每个终端采集本地视频数据，将视频数据进行编码后通过网络服务器转发给其他终端， 其他终端接收后进行解码获得视频数据；上述的视频通讯中的终端，可包括移动终端、智能 设备或计算机等不同类型的支持即时通讯应用的终端；多个不同类型的终端可同时进行视 频通讯，不局限于同一类型的终端。
[0029] 在本实施例中首先需要采集视频数据，得到视频源序列；接着从视频源序列中提 取多帧视频图像的特征信息，提取出的特征信息能够有效表征当前视频图像的内容。
[0030] 结合所述特征信息及检测到的编码码率，计算编码当前视频源序列的编码帧率； 检测编码码率时，可通过与服务器建立网络连接，接收由服务器给定的根据当前网络状况 确定的码率；
[0031] 本实施例编码帧率的计算过程，可在视频源序列采集的过程中实时进行，也可根 据一预设周期定时计算，计算得到结果则输出至编码器，编码器每次接收到该编码帧率时， 则可根据最新接收到的编码帧率对当前采集的视频源序列进行编码。
[0032] 视频图像的特征信息可包括颜色特征、纹理特征、形状特征、运动特征或轮廓特征 等等；在视频通讯中，视频图像的纹理复杂度和运动剧烈程度对于视频图像质量和视频数 据大小的影响较高，因此本实施例中提取的特征信息采用纹理信息和运动信息，根据这两 类特征信息获得实时的编码帧率，以保证视频质量和视频流畅性的平衡。
[0033] 本实施例在计算编码帧率时，同时考虑了视频图像内容的特征信息和编码码率， 实现了动态调整编码帧率，从而能获得视频图像质量与视频流畅度的最佳平衡。
[0034] 在一较佳实施例中，所述纹理特征可包括图像亮度信息，所述运动特征可包括运 动矢量大小和运动矢量方向；通过提取图像亮度信息作为所述纹理特征、提取运动矢量大 小和运动矢量方向作为所述运动特征，可有效提高图像特征提取速度；纹理特征与运动特 征也可通过从图像中提取其他信息作为表征，具体可根据需要而选择合适的图像特征数 据。
[0035] 在一较佳实施例中，所述根据检测到的码率及所述特征信息，计算编码帧率并发 送至编码器的步骤可包括：
[0036] S21、根据预设的参数调整模型，通过下式计算模型参数：
[0038] 其中
为所述模型参数，A为所述参数调整模型，所述参数调整模型包含多 个预设的所述模型参数与所述图像亮度信息、运动矢量大小及运动矢量方向的相关性系 数，Ufd为所述图像亮度信息，σ μ?为所述运动矢量大小，0MM为所述运动矢量方向；
[0039] S22、将所述模型参数输入预设的码率模型和图像质量模型，得到图像质量值最大 的帧率作为所述编码帧率并发送至编码器；
[0040] 其中，所述码率模型为:
所述图像质量模型为
R(q，t)为所述检测到的码率，Q(q，t)为所述图像质 量值，q_为预设的最小量化步长，t_为预设的最大可用帧率，q为量化步长，t为所述帧 率，为预设的量化步长为q_、帧率为时对应的图像质量值。
[0041] 本实施例中涉及了两个模型：
[0042] 码率模型为：
其表征了在给定编码帧率（t)和量化 步长（q)的情况下，编码当前图像序列需要的码率。
[0043] 其中，q_为预设的最小量化步长，t_为预设的最大可用帧率；
[0044] Rmax为编码当如视频图像需要的最大码率，所述的最大码率并不是指编码码率不 能超过该值，而是指当编码码率超出该值的时候，图像质量不会再有明显提升；例如，在 H. 264编码中，当量化步长低于24的时候，继续降低量化步长对提高图像质量的作用较小， 因此可预设量化步长为24时对应的编码码率为所述编码当前视频图像需要的最大码率； 在该码率模型中，R_即为量化步长为q_、编码帧率为t_时对应的编码码率；
[0045] 参数a和b表征了 R(q，t)对q和t变化的敏感程度；参数a越大，q增加时码率 下降越快；参数b越大，帧率下降时，码率下降越快；a和b是与视频图像内容相关的参数， 即参数a和b与图像特征信息具有相关性；其中，视频图像的纹理越复杂，a越大；视频图像 的运动越剧烈，b越大。
[0046] 另一个是图像质量模型：
其建立了图像质量与图像特征信息之间 的关系，表征了当编码帧率为t、量化步长为q时，当前图像的MOS(Mean Opinion Score，平 均意见值）值的大小。
[0048] 其中，Q(q，t)为量化步长为q、编码帧率为t时对应的图像质量值；
[0049] Qniax为图像的最大MOS值，也即是量化步长为q_、编码帧率为t_时对应的MOS值； 当量化步长低于q_、编码帧率高于t_的时候，即使再继续降低量化系数或者提高帧率，图 像质量也不会有明显提升；因此，q_、t_对应的MOS值为最大MOS值；
[0050] 参数a q和a t表征了 Q (q，t)对q和t变化的敏感程