一种电力视频监控系统中实现码率自适应控制的方法与流程

1.本发明涉及电力系统自动化，特别是一种电力视频监控系统中实现码率自适应控制的方法。


背景技术：

2.视频监控系统是数字电网建设的重要组成部分，前端视频系统与平台侧视频系统通过统一的接口实现交互连接，实现平台侧对各前端系统的视频资源的统一监控管理和需求应用集成，如图2所示。获取可靠稳定的高质量视频流是实现电力领域场景分析，全景融合，智能巡检等高级应用功能的前提。现有的视频采集设备具备强大的编码能力，然受限于电力专网的信道承载能力限制，以及平台侧解码能力的不确定性，如果缺乏对前端系统所属视频设备码流控制，那么平台侧解码后的视频质量会降低，出现花屏、跳帧及卡顿等现象，如图3所示。
3.维持现有条件不变的情况下，解决上述异常最直接有效的方法是调节前端采集设备编码码率。之前往往依赖工程人员人工调整编码设备码率，即根据经验调整码率直至在平台侧观测解码后的视频片段无异常，这种方式有其固有局限性，当前端系统设备较多时，工作量较大，同时人工有限试验次数无法模拟多路并发复杂的场景，且为了确保多路并发时无传输丢失，单个前端设备的码率设置较低，当并发数不大时带宽没有得到充分利用。
4.电网视频监控系统是由前端系统、监控平台以及客户端三层结构组成，如图4所示，前端系统接入监控平台并被统一管理，视频平台与前端系统之间的交互遵循电力视频接口规范，主要分为三个子部分，一是信令交互，监控平台与前端通过sip协议实现注册、消息请求、会话请求及事件订阅等功能；二是媒体流传输，前端系统的基于rtp/rtcp协议推送至视频平台侧所含流媒体服务；三是数据传输通道，前端系统作为http客户端发送二进制数据至平台侧。客户端和监控平台之间通过http协议实现分发流的展示与控制命令发送。
5.近些年随着互联网的视频技术的方法，客户端根据视频数据缓存长度变化趋势实现拉流自适应码率切换技术已经得到广泛应用。但是在电力视频监控领域，视频监控平台和视频前端系统之间的码率自适应控制研究的比较少，尽管有网络层利用rtcp等报文中包含着视频质量控制信息，但是对于多样化的前端系统，有时rtcp中的数据存在不规范的现象。


技术实现要素：

6.发明目的：本发明的目的是提供一种电力视频监控系统中实现码率自适应控制的方法，从而实现视频码率自适应控制，并通过对现有的电力视频接口协议的拓展，形成基于视频质量评估实现码率自适应控制的解决方案。
7.技术方案：本发明所述的一种电力视频监控系统中实现码率自适应控制的方法，包括以下步骤：
8.(1)视频平台在收到站端移动告警事件通知且建立视频流传输通道后，下发启动
视频设备自适应码率控制指令开始的信令后，对前端系统及视频平台的视频图像信息采样；从双方约定的同步帧开始对关键帧的像素信息按区域进行降采样，前端系统采样后的数据通过步骤(3)中拓展协议发送至平台侧。
9.所述的视频图像信息采样的步骤为：
10.从前端系统和视频平台约定的帧序列开始，提取关键帧序列的图像信息作为评价视频质量比对信息，对关键帧图像按区域采样后发送其像素信息数据至平台侧，采样后减少了数据规模，有利于通过协议传输到视频平台侧。本发明对关键帧图像按固定大小依次划分区域，各区域内部采样的子区域作为关键帧的像素采样信息。
11.(2)提取前端系统及视频平台的视频运动特征；在收发端计算帧间光流特征，并依次从空间、时间两个维度对光流特征序列压缩变换，前端系统在获取运动特征后按步骤(3)拓展协议传输至视频平台侧。
12.所述的提取视频运动特征的步骤为：
13.按固定帧数间隔，在前端系统及视频平台侧依次计算帧间稠密光流场，各帧间获得w*h*2的光流常矩阵f，其中w,h与视频序列中图宽度和高度保持一致，通道数目为2，分别对应光流场在互相垂直方向的两个方向上的分量；视频平台接收端根据解码间隔时间对获取光流进行时间校正，如公式(1)所示。
[0014][0015]
其中f’是接收端时间校正后的光流矩阵，为接收侧当前定位帧与光流计算参照帧解码时间间隔，t为当前帧与光流计算参考帧的标准时间差，对光流特征的时间校准能有效利用视频序列的时空信息，提升基于运动特征的半参考的视频质量估计方法对于卡顿延时等现象的敏感度。
[0016]
按间隔对视频序列计算光流特征并校正，获取视频的光流序列，为了方便参考运动特征传输及计算，受离散余弦变换(dct)的思想启发，本发明从空域和时域两个维度采用dct变换对光流特征序列进行压缩；首先对视频各序列的光流特征在空间上压缩，采用图像dct压缩方法，参考公式(2)，将光流特征从空间域转换到频域。
[0017][0018]
其中u,v分别为dct变换后的行列坐标，w,h为输入矩阵的宽度及高度；帧间光流特征dct变换后能量主要集中于变换后图像左上区域，保留光流特征dct变换后左上区域数据作为帧内压缩后的运动特征；序列中所有光流矩阵在空域上dct变换并截取兴趣区域后，对于兴趣区域中一个坐标点，按时序把对应坐标点的dct特征值组织成一个一维向量，对该时序一维向量进行dct变换，参考公式(3)，获取特定空间频域的幅值在时间频域下的分布。
[0019]
[0020]
其中u为dct变换后一维向量的索引，n为光流特征在时间序列数；获取上述一维特征dct变换结果后，取其中前一部分离散值作为特定空间频域幅值在时间频域分布下的压缩特征；最后将各兴趣区内坐标点的压缩结果串联并归一化作为视频整体运动特征。
[0021]
(3)通过拓展现有电力视频监控接口规范协议，实现前端系统的关键帧图像采样信息数据和视频运动特征数据可靠传输至平台侧，拓展方式如图5所示。
[0022]
(3.1)视频平台向前端系统发送sip信令，告知前端系统即将开始自动码率设置流程，前端系统收到后信令后回复并开始对上送视频流解码，平台侧收到消息回复后开始度接收视频解码；sip信令体中内容采用xml格式，主要包含事件类型标志、任务id、控制设备编码、起始流序列号、历经关键帧帧数n。
[0023]
事件类型用“bitsratecontrol”字符串标志；任务id为贯穿此次自动码率控制过程唯一标志，在后续的步骤中都要携带该id，控制设备编码是前端设备的唯一编码；起始流序列号为前端和平台侧约定好开始计算视频特征的rtp流序列号，用来同步双方的起始视频帧，如果该序列号不是帧的起始包，那就从该序列包所属帧的下一帧开始计算计算视频特征；历经关键帧帧数为从起始视频帧开始，捕获到所设置的数目的关键帧后停止视频解码及特征计算。
[0024]
(3.2)前端系统从标志起始帧开始，遇到关键帧则把该帧的像素统计信息二进制数据采用http协议发送到平台侧，同时http协议报文中应该包含所属任务id及关键帧序列号。
[0025]
(3.3)前端系统从标志起始帧开始直至历经指定数目关键帧结束期间，计算其视频序列的运动特征，完成计算后通过http协议发送运动特征二进制数据到平台侧，同时报文中还包含所属任务id信息。
[0026]
(4)视频平台侧基于半参考特征评估视频质量并计算调整的码率倍率下发至前端系统。
[0027]
在前端系统对关键帧图像降采样及计算视频整体运动特征时，在视频平台侧采样的同样的策略对关键帧图像降采样及计算视频整体运动特征。
[0028]
计算视频的图像相似度通过计算匹配关键帧采样后图像的结构相似度实现，平台侧在接收到前端发送的关键帧按区域采样后的像素信息后，重排为前端采样后的图像，结构相似度计算如公式(4)所示。
[0029][0030]
其中xi,分别为前端发送测和平台接受侧第i个关键帧采样后的图像矩阵，为收发侧样本的结构相似度，为xi,的像素均值，分别为xi,的标
准差，c1,c2为常量。
[0031]
对于收发端若干个匹配的关键帧，视频图像整体结构相似度为各关键帧采样后结构相似度的均值，如公式(5)所示。
[0032][0033]
其中n为平台侧发送启动自适应码率控制命令中的历经关键帧数目参数；
[0034]
计算视频运动特征相似度通过运动特征差的l1范数实现，为了后续设置码率倍率方便，计算视频运动特征的差异度，如公式(6)所示。
[0035][0036]
根据上述计算的视频图像相似度及运动特征差异度，有选择性计算码率设置倍率，计算方式如公式(7)所示，其中d为要调整码率倍率。
[0037][0038]
平台侧计算出码率调整倍率d后，根据评估结果发送sip信令进行码率控制，信令体内容为xml格式，其中包含控制事件、控制对象设备编码以及设置码率倍率；如果d为1则sip信令控制事件设置为尝试提升码流动作，如果d小于0.5则sip信令事件设置为降低码率动作，码率倍率设置为0.5，通过降低码率后重复一遍视频质量分析及码率调整的策略，直至评估视频质量满足要求；若d在0.5至1的区间内，则sip信令事件设为至降低码率动作，码率倍率设置为d。
[0039]
一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种电力视频监控系统中实现码率自适应控制的方法。
[0040]
一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种电力视频监控系统中实现码率自适应控制的方法。
[0041]
有益效果：与现有技术相比，本发明具有如下优点：
[0042]
1、本发明通过对现有的电力视频接口协议的拓展，形成基于视频质量评估实现码率自适应控制的解决方案；
[0043]
2、本发明针对所选取的半参考特征的提取步骤及方法，拓展了现有的电力视频监控系统的规范接口，实现了前端系统半参考特征信息传输，并对基于视频质量评估的自适应码率控制方法的全过程进行了清晰的描述，体现了该方法的易用性。
附图说明
[0044]
图1是本发明的步骤流程图；
[0045]
图2是电力视频监控系统中平台侧统一监控的前端系统视频；
[0046]
图3是由于带宽限制导致的平台侧请求的前端系统视频出现异常画面；
[0047]
图4国家电网公司电力视频监控系统统一接口规范的实现方法；
[0048]
图5是拓展现有视频协议实现码率自适应控制的流程图；
[0049]
图6是帧间稠密光流的特征显示化及空间离散余弦变换后的效果图，其中，图6(a)为当前帧画面，6(b)为光流特征可视化效果图，6(c)为参考帧画面，6(d)为光流场空间离散余弦变换后的频域分布图。
具体实施方式
[0050]
下面结合附图对本发明的技术方案作进一步说明。
[0051]
如图1所示，一种电力视频监控系统中实现码率自适应控制的方法，具体步骤如下：
[0052]
s1、启动自适应码率控制指令下发。
[0053]
视频平台对前端系统中需要自适应码率控制设备进行移动侦测事件订阅，当视频平台接收到了前端系统中该设备移动告警事件通知后，立即对该设备请求实时流，前端系统和平台侧建立了rtp/rtcp媒体传输通道后开始传输流。视频平台向前端系统发送sip信令，告知前端系统即将开始自动码率设置流程，前端系统接收到信令后回复并对要发送的视频流解码，平台侧收到前端系统消息回复后开始视频解码。信令体中内容采用xml格式，主要包含事件类型标志，任务id，控制设备编码，起始流序列号，历经关键帧帧数n，本实施例中n＝3。
[0054]
s2、前端系统视频关键帧采样及信息上送。
[0055]
前端系统从步骤s1规定的标志起始帧开始解码，遇到关键帧则把该帧的像素统计信息二进制数据采用http协议发送到平台侧，如图5中h
1-hn步骤所示，同时http协议报文中应该包含所属任务id及关键帧序列号，当解码了关键帧数目等于步骤s1中的历经关键帧数目后停止解码，本实施例中，历经关键帧数目为3，因此在本次实施过程也发送了三次http数据。
[0056]
本实施例中视频分辨率为1280*720像素，按照技术方案中关于关键帧按区域采样描述进行操作，解码关键帧图像，对解码后的图像按照80*80的区域划分，提取每个区域中间的16*16子区域作为采样后的信息，原图像素信息大小越为2.63mb，取样后像素信息大小为108kb。在平台侧也按照同样的方法对接收视频流进行解码，保存自标志起始帧后的关键帧的采样信息。
[0057]
s3、前端系统视频运动特征上送。
[0058]
本实施例中接发侧每隔5帧计算当前帧光流场，参照帧为上次计算光流场的帧，即当前帧的往前第5帧，利用gunnar farnebak法计算稠密光流特征，获得1280*720*2的光流常矩阵f，其中光流矩阵的行列数与视频序列中图像高度宽度保持一致，通道数目为2，分别对应光流场在互相垂直方向的两个方向上的分量。如图6所示，图6(a)为当前帧画面，框中区域为主要运动区域，图6(c)为参考帧画面，图6(b)为光流特征可视化效果图，图中线段反映当前帧与参照帧的位移幅值及方位。接收端根据解码间隔时间对获取光流进行时间校正，参照公式(1)，t为当前帧与光流计算参考帧的标准时间差本次视频源帧率为25帧每秒，每隔5帧计算一次光流，则t值设置为200毫秒。
[0059]
获取校正后视频的光流序列，本发明参照技术方案从时空两个维度采用dct变换实现光流序列特征压缩。首先对视频各序列的光流特征在空间上进行压缩，将光流特征从
空间域转换到频域，空间dct变换如公式(2)所示，本实施例中w,h分别为1280和720。帧内的光流特征经过dct变换后主要集中于左上角的部分，本实施例截取左上部分50*50坐标区域内频域特征，如图6(d)所示。序列中所有光流矩阵在空间域上dct变换并截取50*50兴趣区域后，对于兴趣区域中一个坐标点，按时序把对应坐标点的dct特征值组织成一个一维向量，对该时序一维向量进行dct变换，参考公式(3)，获取特定空间频域的幅值在时间频域下的分布，获取上述一维特征dct变换结果后，取其中前一部分离散值作为特定空间频域幅值在时间频域分布下的压缩特征，本次实施案例保留了其中索引小于10数据。最后将各兴趣区内坐标点的压缩结果串联并归一化作为视频整体运动特征。最终水平方向的视频运动特征为25000，对竖直方向的光流特征序列采用同样的变换方式，并与水平方向的视频运动特征串联起来，长度共计50000。如图5中h
n+1
所示步骤，采用http协议上送运动特征至平台侧，在视频平台侧采用同样的策略计算接收视频的运动特征。
[0060]
s4、计算视频相似度及发送码率控制指令。
[0061]
计算视频图像信息相似度通过计算匹配关键帧采样后图像的结构相似度实现，在完成步骤s2后，平台侧在接收到前端发送的关键帧按区域采样后的像素信息后，重排为前端采样后的图像，结构相似度计算如公式(4)，本实施案例历经关键帧帧数设置为3，视频图像整体结构相似度为三次关键帧采样后结构相似度的均值。
[0062]
计算视频运动特征相似度通过运动特征差的l1范数实现，为了后续设置码率倍率方便，计算视频运动特征的差异度如公式(6)所示，根据上述计算的视频图像相似度及运动特征差异度，有选择性计算倍率设置，倍率设置计算方式如公式(7)所示，计算结果d为要调整倍率，平台侧计算出码率调整倍率d后，根据评估结果发送sip信令进行码率控制，如图5中f
3-f4步骤所示，信令体内容为xml格式，其中包含控制事件、控制对象设备编码以及设置码率倍率。如果d为1则sip信令控制事件设置为尝试提升码流动作，如果d小于0.5则sip信令事件设置为降低码率动作，码率倍率设置为0.5，通过降低码率后重复一遍视频质量分析及码率调整的策略，直至评估视频质量满足要求。若d在0.5至1的区间内，则sip信令事件设为至降低码率动作，码率倍率设置为d。
[0063]
此外本次实施例中模拟了部分异常情况来验证半参考视频特征用来评估视频质量及调节码率的有效性。
[0064]
本发明也从两个方面模拟了视频接收侧异常，一是模拟接收侧视频图像异常，二是模拟视频接收侧因网络延时解码延迟异常，表格中的第一行、第二行方法模拟视频图像异常现象，第一行模拟方法是对接收视频帧解码后图像实行高斯模糊变换，数值是高斯核尺寸，第二行模拟方法是对解码后图像部分区域手动设置为绿色，数值为手动设置绿色区域的占图像区域百分比。第三行往后模拟的是平台侧因网络堵塞造成的解码延时，在对光流特征校准时考虑引入延时量参与计算视频运动特征。以单帧延时10％为例，在发送端计算光流时，帧率若为25帧，每隔5帧计算光流时，当前帧与计算光流所用参考帧解码标准间隔时间为0.2s，若单帧延迟10％，则在接收侧匹配的参考帧与计算光流参考帧解码时刻差为0.22s。
[0065]
表1模拟多种异常情况的收发侧视频相似度及码率控制倍率计算值
[0066][0067]
如表1所示，当视频图像异常情况发生时，设置码率倍率与视频图像信息相似度近似相等，因为视频运动特征计算依赖于完整的视频图像解码结果，所以此时设置码率倍率与视频图像相似度成正相关，暂不考虑视频运动特征。当视频平台及前端系统图像信息相似度较高时，本实施案例中基于视频运动特征差异度去计算要设置码率的倍率，在单帧延迟3％-30％之间，计算的码率设置倍率与模拟的单帧延时率是相关的，基本能通过实现降低码率去减小网络延迟，当模拟单帧延迟10％时可认为网络延时率也为10％，通过本次实施案例计算的需要设置码率倍率结果为0.92，把前端视频设备编码码率降低到先前码率的92％基本可以消除先前码率高导致网络数据传输延迟10％的问题。另外形如单帧延时100％或者单帧延时300％的情况下，因为按照上述设置码率调整倍率计算方法，其结果远小于0.5，且与网络延时率相关性较低，可先下发设置0.5码率倍率，前端系统调整后视频平台侧再次尝试计算其视频运动特征相似度，根据结果决定下一步骤操作，可反复多次进行码率控制操作，直至视频平台侧获取到高质量的视频资源。