一种面向监控视频应用的图像质量半参考评价方法与流程

本发明涉及一种方法，针对监控视频应用的图像质量进行评估。该方法适用于监控摄像系统，通过评估后期监控图像质量来判断该监控摄像头是否需要更换或维修，从而确保监控系统正常运行。

背景技术：

随着监控系统的发展，传统的以人为主体的监管方法不能很好的评估监控图像的质量，已不能满足现今安保的需求。图像质量评估方法分为3种：全参考图像质量评估(fr)、半参考图像质量评估(rr)和无参考图像质量评估(nr)。全参考评价方法需要获取参考图像的全部信息。虽然监控系统可以获得参考图像，但是参考图像和日常运维图像在内容上存在不同，所有有参考图像质量评价方法并不理想。无参考图像质量评价方法指的是无需参考图像，利用先验知识实现对失真图像信息本身进而质量评价，但是该方法的性能依赖于先验知识的准确程度，而目前业界没有理想的监控图像先验模型。因此全参考评价的方法和无参考评价的方法对监控视频应用的图像质量均不能产生良好的评价结果。

图像主观质量评价是一个研究热点，有着非常广泛的应用。图像/视频的获取、传输和解码过程都会引入一定的失真，降低图像的主观质量。由计算机辅助实现评价图像质量的好坏可以帮助发现多媒体系统的设计缺陷，指导用户对系统进行调整，进而保证用户得到满意的图像质量。传统的基于信噪比的图像质量评价方法与人对图像的主观感受之间存在差距，不能很好地反应图像质量。视频监控系统因实时性、灵活性、实用性而得到广泛应用。监控图像质量与其信息的可用性密切相关，必须对监控视频图像质量进行管理才能保障监控系统的效能。监控系统规模激增使得以人为主体的传统监测方法已不能满足需求。图像质量评价分为无参考评价、全参考评价及半参考评价三种。有参考、半参考评价需要原始无失真图像信息作为参考，在实际应用中难以获得该图像，因此无参评价成为监控图像质量评价的必然选择。无参评价有基于变换域和空域两种，基于变换域的方法会将图像进行小波(wavelet)变换、离散余弦变换(discretecosinetransform，dct)，在变换域中对图像进行分析，但该方法不够直观。mittal等提出了一种空域上的无参考质量评价方法(blind/referencelessimagespatialqualityevaluator，brisque)，评估结果与人眼视觉判断拟合度优于其他方法。该方法易于判断单一类型的噪声，但对于受到多种噪声影响的监控图像，这种方法的分析性能并不好。

技术实现要素：

本发明的目的是提供一种面向监控视频应用的图像质量半参考评价方法，该方法以视频监控系统投入应用时的验收图像作为参考基准，以日常运维图像作为待检测图像，通过比较运维图像与参考图像间的特征变化，实现对图像质量的评价。

本发明的目的是这样实现的：

一种面向监控视频应用的图像质量半参考评价方法，特点是该方法包括以下具体步骤：

步骤1：求取归一化亮度mscn系数；用表示归一化之后空域图像的mscn系数，对图像的归一化消除相邻系数之间的相关性；具体包括：

空域图像的mscn系数表示如下：

其中：

i∈1，2...m，j∈1,2...n是空间索引，m，n分别表示图像的高度和宽度；ω＝{ωk,l|k＝-k，,...，k，l＝-l,...,l}是高斯加权函数；i(i,j)表示图像在其像素域坐标(i,j)中的亮度；c是一个常量，以防止除数为零的情况；局部均值μ(i,j)以及方差σ(i,j)分别用来表示图像的平均亮度以及对比度。

步骤2：确定mscn系数分布的拟合参数—广义高斯分布ggd函数；具体包括：

ggd表达式为：

其中：

α表示ggd函数的形状参数，σ²表示ggd函数的方差；γ(a)函数和β为了简化公式描述，引入的中间变量。

步骤3：用ggd模型拟合空域图像的mscn系数，确定提取图像失真的第一个特征集合；具体包括：

ggd分布的参数(α,σ²)通过矩匹配方法有效估算；

使用ggd分布的参数模型来拟合失真及非失真图像mscn分布；通过估算ggd分布的两个参数(α,σ²)来拟合mscn系数，以此作为用来提取图像失真的第一个特征集合。

步骤4：确定不对称广义高斯分布aggd模型的表达式；具体包括：

aggd表达式为：

其中：

ν反映aggd分布的形状，σl、σr分别为aggd分布的左方差、右方差，分别控制向两边的延伸程度。

步骤5：用aggd模型拟合空域图像的相邻mscn系数乘积的经验分布，确定提取图像失真的第二个特征集合；具体包括：

抽取aggd分布沿着四个方向上的参数来进行最优拟合，每个方向上的参数(v,σl,σr,η)通过矩匹配方法得到可靠的估算值，其中：

对于相邻mscn系数的乘积在四个方向上的经验分布，由于每个方向有四个参数，所以总共有4*4＝16个参数，这16个参数构成了用来提取图像失真的第二个特征集合。

步骤6：确定失真图像的基本特征集合；步骤6具体包括：

在两个尺度上对图像特征进行提取，每个尺度上有2+16＝18个参数，则两个尺度上共有18*2＝36个参数，以此来确定图像失真的基本特征集合。

步骤7：确定降质特征值,并基于降质图像的基本特征及降质特征，提取图像的视觉特征；具体包括：

将运维图像与参考图像的基本特征的差异作为降质特征值，用△φ表示；

△φ＝φ1-φ2

基于降质图像的基本特征及降质特征提取图像的视觉特征，图像的视觉特征定义如下：

φ＝[φ1,△φ]

其中，φ1和φ2分别表示运维图像与参考图像ggd与aggd分布的拟合参数；φi,i＝1,2通过ggd分布的参数(α,σ²)以及aggd在四个方向上的参数(v,σl,σr,η)来进行计算。

步骤8：图像质量评估；具体包括：

a)训练过程

a1)图像素材的选取

实现中，图像来自图像数据库管理平台，其中包含500对720*576的图像；当监视摄像机刚安装时获得参考图像，并且通过稍后的监视处理拍摄失真图像；在训练素材的选取过程中，为了保证结果的准确性，失真图像包含1到5个点的不同失真，每个分数的图像数量是均匀的；这些图像质量的评估由安全工业的专家在itu-rbt.500指南下进行；mos评分由多个iqa现场专家基于图像评分标准并与监测图像的特异性组合进行评估；

a2)提取失真图像的特征集合

为了防止同一个图像被重复用于训练和测试，采用交叉验证方法来确保合理的训练结果；训练过程中提取监控图像库中失真图像和参考图像ggd分布的参数对(α,σ²)以及aggd分布沿着四个方向上的参数(v,σl,σr,η)；并据此得到2个尺度上的共36个拟合特征参数，以此作为描述图像质量的基本特征；

a3)提取降质特征值及视觉特征

通过参考图像获得φ1；使用φ2代替理想的mscn分布来计算图像基本特征的差异△φ；用运维图像的mscn特征来描述图像内容即φ1，并将该特征与降质特征△φ相组合，形成半参考图像降质视觉特征，以此来限制svm的训练过程；

首先使用运维图像以及参考图像作为训练图像；其次使用svr来建立图像的视觉特征[φ1,△φ]与mos值之间的映射关系；最后基于运维图像视觉特征与mos值之间的映射关系构建训练模型；

b)测试过程

使用交叉验证的方法，实现时从图像数据库中随机选择80％的样本并将其设置为训练集，并将剩余的20％参考图像和失真图像设置为测试集，然后基于运维图像的视觉特征，使用训练阶段构建的训练模型，对运维图像的质量评估。

本发明基于空域的图像的归一化亮度(mscn)系数，用广义高斯分布(ggd)模型和不对称广义高斯分布(aggd)模型来拟合图像的mscn系数，以这些函数的参数作为描述图像质量的基本特征，将运维图像与其参考图像的基本特征差异作为降质特征值。

人的视觉感受不仅取决于图像的降质程度，还取决于图像的内容。本发明用运维图像的基本特征来描述图像内容，并将该特征与降质特征相组合，形成半参考图像降质视觉特征，该特征可以显著提高图像质量评价模型的精准性。本发明使用支持向量回归(svr)的方法分析半参考图像降质视觉特征和图像主观评价分(mos)间的映射关系，构建训练模型，并利用该模型对运维图像的质量评分。

本发明的有益效果：

本发明较无参质量评价的准确程度可以提高10％，较经典有参质量评价的准确程度可以提高20％。本发明能够解决对监控系统图像评价的问题，实现对多媒体系统性能的评价。

附图说明：

图1为本发明训练模型图；

图2为本发明测试模型图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限制本发明。

本发明在microsoftvisualstudio2013和opencv2.4.5开发环境下实现，具体实施通过如下步骤实现：

步骤1：求取归一化mscn系数

用表示归一化之后空域图像的mscn系数，对图像的归一化消除了相邻系数之间的相关性。空域图像的mscn系数表示如下：

其中：

i∈1，2...m，j∈1,2...n是空间索引，m，n分别表示图像的高度和宽度；ω＝{ωk,l|k＝-k，,...，k，l＝-l,...,l}是高斯加权函数；；i(i,j)表示图像在其像素域坐标(i,j)中的亮度；c是一个常量，以防止除数为零的情况；局部均值μ(i,j)以及方差σ(i,j)分别用来表示图像的平均亮度以及对比度。

步骤2：确定mscn参数分布的拟合参数—ggd函数

由于失真图像的mscn系数不能用高斯分布准确描述，本发明采用ggd的模型来描述失真图像mscn分布，ggd表达式为：

其中：

α表示ggd函数的形状参数，σ²表示ggd函数的方差。γ(a)函数和β为了简化公式描述，引入的中间变量。

步骤3：用ggd模型拟合空域图像的mscn系数，确定提取图像失真的第一个特征集合。

ggd分布的参数(α,σ²)可以通过矩匹配方法有效估算。

使用ggd分布的参数模型来拟合失真及非失真图像mscn分布。通过估算ggd分布的两个参数(α,σ²)来拟合mscn系数，以此作为用来提取图像失真的第一个特征集合。

步骤4：确定aggd模型的表达式

mscn系数对于原始图像更均匀，相邻mscn系数也呈现规则结构，但是这种结构在失真存在的情况下会被扰乱。本发明沿着四个方向上的相邻mscn系数乘积的经验分布进行建模来表示上述规则结构，分别为水平方向(h)、垂直方向(v)、主对角线(d1)以及副对角线(d2)四种方向,具体如下：

在高斯系数模型下，假设mscn系数是零均值和单位方差，这些相邻mscn系数的乘积在没有失真的情况下服从以下分布：

其中：f是不对称概率密度函数，ρ表示相邻系数的相关系数，k0是第二类的修正bessel函数。但是它仅具有单个参数，并且不能提供对来自失真图像的相邻mscn系数乘积的经验分布的良好拟合。此外，它在原点处不是有限的。

因此，上述四种方向的相邻mscn系数乘积的经验分布，用aggd来拟合：

其中：

ν反映aggd分布的形状，σl、σr分别为aggd分布的左方差、右方差，分别控制向两边的延伸程度。

步骤5：用aggd模型拟合空域图像的相邻mscn系数乘积的经验分布，确定提取图像失真的第二个特征集合

抽取aggd分布沿着四个方向上的参数来进行最优拟合，每个方向上的参数(v,σl,σr,η)可以通过矩匹配方法得到可靠的估算值，其中：

对于相邻mscn系数的乘积在四个方向上的经验分布，由于每个方向有四个参数所以总共有4*4＝16个参数，这16个参数构成了用来提取图像失真的第二个特征集合。

步骤6：确定失真图像的基本特征集合

由于图像在自然条件下具有多尺度，失真可以通过尺度影响图像结构。超过两个尺度并不能对性能有特别大的提升，所以本发明在两个尺度上对图像特征进行提取。因为每个尺度上总共有2+16＝18个参数，所以本发明中两个尺度上共有18*2＝36个参数，以此来确定图像失真的基本特征集合以及进行图像质量的评估。

步骤7：确定降质特征值，并基于降质图像的基本特征及降质特征，提取图像的视觉特征

将运维图像与参考图像的基本特征的差异作为降质特征值，用△φ表示。

△φ＝φ1-φ2

其中，φ1和φ2分别表示运维图像与参考图像ggd与aggd分布的拟合参数。φi,i＝1,2通过ggd分布的参数(α,σ²)以及aggd在四个方向上的参数(v,σl,σr,η)来进行计算。

结构相似性(ssim)表明图像质量与三个方面相关：亮度，对比度和结构，仅仅提取失真图像的mscn系数不能够反映目标图像的质量。视觉质量是对图像的综合感觉，图像质量评估必须考虑图像内容，因为不同的图像内容可以容忍不同程度的失真。本发明基于降质图像的基本特征及降质特征提取图像的视觉特征，图像的视觉特征定义如下：

φ＝[φ1,△φ]

步骤8：图像质量评估

a)训练过程

为增强系统的适用性，本项目所采用的分析及学习素材均来源于现实视频监控工程，所以需要建立专用数据采集平台来收集足够多的具有典型特点的视频。该平台由服务器和c/s程序组成，实现数据收集、交互式评价及数据分析等功能。该平台首先为工程商开设账户，然后由工程商通过internet网上传工程现场视频监控数据。平台具有图像数据库管理及检索功能，将应用场景分为点、线、面3大类，室外周边环境、室外周界防护、室外出入口、室外主干通道、室外广场区域、室外制高点、室内出入口、室内楼梯口、室内电梯厅、室内通道走廊、室内自动扶梯、室内电梯轿厢、特征出入口、特征区域检视、特征物品监视、特征过程监视、特征设备操控、特征现金操作、特征业务办理等19个小类。知识库管理软件对样本图像文件名独立编码，以利于对知识库的检索操作。平台提供交互式接口用于收集行业专家对数据的分析知识，在对这些知识深度学习及解析的基础上萃取专家认知模型。

实现中，图像来自上述图像数据库管理平台，其中包含500对720*576的图像。当监视摄像机刚安装时获得参考图像，并且通过稍后的监视处理拍摄失真图像。在训练素材的选取过程中，为了保证结果的准确性，失真图像包含1到5个点的不同失真，每个分数的图像数量是均匀的。这些图像质量的评估由安全工业的专家在itu-rbt.500指南下进行。mos评分由多个iqa现场专家基于图像评分标准并与监测图像的特异性组合进行评估。

为了防止同一个图像被重复用于训练和测试，本发明采用交叉验证方法来确保合理的训练结果。

训练过程中提取监控图像库中失真图像和参考图像ggd分布的参数对(α,σ²)以及aggd分布沿着四个方向上的参数(v,σl,σr,η)；并据此可得到2个尺度上的共36个拟合特征参数，以此作为描述图像质量的基本特征。

由于原始图像可能具有不同的mscn分布以及同样的mscn分布可能具有不同的图像质量，所以φ1不能通过理想的mscn分布来反映图像的失真以及偏差。尽管φ1通过原始图像实际上是难以获得的，但是它的参考图像可以给出关于φ1的一些信息。使用φ2代替理想的mscn分布来计算图像基本特征的差异△φ。

人的视觉感受不仅取决于图像的降质程度，还取决于图像的内容。本发明用运维图像的mscn特征来描述图像内容即φ1，并将该特征与降质特征△φ相组合，形成半参考图像降质视觉特征，以此来限制svm的训练过程。

本发明在训练阶段首先使用运维图像以及参考图像作为训练图像；其次使用svr来建立图像的视觉特征[φ1,△φ]与mos值之间的映射关系；然后基于运维图像视觉特征与mos值之间的映射关系构建训练模型。

b)测试过程

本发明用运维图像的mscn特征来描述图像内容即φ1，用φ2表示参考图像ggd与aggd分布的拟合参数，以此计算运维图像与参考图像的基本特征的差异来作为降质特征值△φ＝φ1-φ2。将运维图像的基本特征与降质特征相结合形成半参考图像降质视觉特征即φ＝[φ1,△φ]。由于本发明使用交叉验证的方法，实现时从图像数据库中随机选择80％的样本并将它们设置为训练集，并将剩余的20％参考图像和失真图像设置为测试集，然后基于运维图像的视觉特征φ，使用支持向量回归的方法分析半参考图像降质视觉特征和图像主观评价分间的映射关系，构建训练模型，并利用该模型对运维图像的质量评分。

实验结果表明本发明的输出分数和mos分数近似相等。此外，线性相关系数(lcc)和斯皮尔曼秩相关系数(srocc)被用于拟合mos得分和输出得分。lcc和srocc值在[0，1]之间，拟合值越接近1说明mos得分和所提出方法的输出分数更相似。本发明结果lcc和srocc分别高于0.80和0.76。该方法较无参质量评价的准确程度可以提高10％，较经典有参质量评价的准确程度可以提高20％，评价方法与主观评价具有高拟合度。