一种方块效应度量方法和视频质量评估方法

专利名称：一种方块效应度量方法和视频质量评估方法
技术领域：
本发明涉及视频技术领域，具体涉及一种方块效应度量方法和视频质量评估方法。
背景技术：
随着多媒体信息时代的到来，各类视频处理和视频通信技术层出不穷。
目前，在多媒体通信系统中，最主要的媒体形式为数字视频。数字视频是对模拟视频信号进行采样、量化、压缩编码、网络传输、解码还原等环节处理的结果。由于在上述每个环节的处理过程中都会不同程度的引入误差和信息失真，使数字视频相对于原始模拟视频信号存在失真现象，视频质量评估作为度量数字视频失真(Distortion)的一种有效手段，视频质量评估技术显得日益重要。
视频质量评估在视频压缩、处理以及视频通信等领域有着非常重要的作用，如实时或非实时的视频系统性能和各种视频传输信道的服务质量QoS(quality ofservice)最终是通过视频质量反应出来的，并且可以通过视频质量来调节编解码器或信道的参数，以保证视频质量在人们可接受的范围内；再如视频质量能够对各种不同编解码器输出的视频图像给出易于理解的量度，便于编解码器的性能设计、评估和优化，从而设计、优化出符合人的视觉模型的图形图像显示系统；同时，视频质量评估对于视频通信设备制造商和电信运营商也有着非常重要的意义，对于视频通信设备制造商而言，市场竞争日益激烈，客户在项目招标中，对于视频通信设备性能的要求日益提高，如果设备商能够提供出其视频通信设备的有说服力的视频质量评估结果，对于其产品的销售将会有很大推动作用；对于电信运营商而言，视频业务属于新型业务，视频质量的评估数据可以有利于其业务推广宣传，客户满意度调查等。对于一般客户来说，在不了解复杂技术的情况下，视频质量评估结果对其决定有着重要的影响。另外，利用视频质量评估还能够对视频通信设备进行实时监控，当检测到视频通信设备输出的视频质量长时间处于不正常状态时，就可以判断是视频通信设备或者网络出了问题，从而起到问题定位、故障诊断等作用。
视频质量评估包括主观视频质量评估和客观视频质量评估两大类。
主观视频质量评估依赖人类测试者(Human Test Subject)的参与，评估结果可靠，但是，由于该方法对于人类测试者有严格的要求，且过程复杂，所以，主观视频质量评估的方法难于普遍应用，特别是在评估有实时性要求的应用环境中，更不适于应用。
客观视频质量评估采用定量的方法测量视频图像的质量，并通过处理器自动计算实现，效率高，无需人工参与。但是，目前的客观视频质量评估方法都存在一些致命的问题，如客观视频质量评估的结果和主观视频质量评估的结果之间的关系不一致，比如客观视频质量评估结果高的视频序列，其主观视频评估结果不一定高，反之亦然。另外，两幅主观视频质量评估结果相近的视频图像，其客观视频质量评估结果可能相差很多。
因此，解决视频质量评估方法普遍应用问题的正确途径应该是开发一类客观质量评估方法，要求简单，实现容易，效率高，自动执行，最为重要的是，其视频质量评估结果和人类对于视频的主观质量感觉比较接近。这里的“接近”应该可以从统计学意义上进行基于不同数学模型和指标的衡量。那么，采用这类客观质量评估方法，就可以给出接近人类主观感觉的结果。
目前，客观视频质量评估的方法主要包括三种即需要完整原始视频序列的全参考模型(Full Reference Model)的视频质量评估方法、只需要原始视频序列部分统计特征的部分参考模型(Partial Reference Model)的视频质量评估方法和不需要原始视频序列的任何信息的无参考模型(Referenceless Model)的视频质量评估方法。
在实际应用中，由于无法获得原始视频序列等原因，使全参考模块和部分参考模块的客观视频质量评估方法无法得到广泛应用，而无参考模型的视频质量评估方法将成为视频质量评估的发展方向。
目前，无参考模型的视频质量评估方法一般是根据视频序列中某些特殊失真类型特性的失真程度来实现的，具体实现方法主要包括如下两种方法一、如附图1所示，针对能够反映视频质量的特征，分别提出受测视频的各种特征值，如方块效应(blocking artifacts)、震荡效应(ringing artifacts)、钳位(clipping)、噪声(noise)、对比度(contrast)以及边缘陡削(sharpness)等，然后联合各种不同特征的失真程度评估受测视频质量。
方块效应是指图像内块边界的不连续性(Discontinuity)，这种不连续性是由相邻块在编码中相互独立的DCT(离散余玄变换)以及量化过程造成的。通过测量块边界的不连续性能够表示方块效应的严重程度。方块效应是基于块DCT压缩算法如MPEG1、MPEG2、MPEG4、H.263等视频的主要失真原因。
震荡效应是指失真图像中高对比度边缘处的抖动现象。通常利用图像边缘区域像素值的方差来测量震荡效应的严重程度。
钳位是指图像处理中像素值的截断处理，如锐利增强技术会引起钳位的出现，钳位会引起高频信息的丢失，从而导致混淆效应。通常可以通过测量像素值为最大和最小可能值的比例来度量钳位。
噪声是指图像压缩或处理中引起图像空域或时域产生的一些随机变化。通过测量图像平滑区域的高频分量可得到噪声。
对比度是指图像亮度信号的动态变化。对比度可以反映图像中感兴趣区域与背景区域亮度的变化。通常可利用图像像素值直方图来计算图像的对比度。
边缘陡削是指图像轮廓和纹理的清晰程度。通常可以利用图像局部边缘的峰态来计算边缘陡削。
由于不同的视频压缩、处理算法会引起视频的失真类型不同，所以，在利用该方法进行视频质量评估时，关键在于如何联合多个特征值来评价视频质量，如通过MPEG2编码器生成的视频，其中方块效应对视频质量起着非常主要的影响，而对于采用了平滑滤波算法的编码器生成的视频，块边界的不连续会得到很好的平滑，其方块效应就不能反映视频质量了。
由于不可能找到适合所有视频的特征联合方法，使该方法同样不具有普遍适用性。
方法二、编码前在原始视频中嵌入一些标记信息如水印等，通过解码图像时提取到的标记信息的完整性来评价视频质量。通过水印评估视频质量方法的原理如附图2所示。
图2中，编码端在原始视频序列中嵌入水印图像信息，解码端根据提取出的水印图像信息的损伤部位和损伤程度来预测视频序列受量化、传输误码等影响而使视频质量下降的程度。
该方法必须在编码前将水印图像信息嵌入原始视频序列中，并且必须知道水印的嵌入方法以及原始的水印图像信息。对于没有嵌入水印的视频序列或者不知道水印嵌入方法及原始水印图像信息，都无法进行视频质量评估，使该方法难以在实际中应用。另外，在原始视频序列中嵌入水印会引起视频质量下降，为了进行质量评估而采用的视频质量评估方法自身降低了视频质量，这在逻辑上是错误的。
综上所述，现有的视频质量评估方法中，主观视频质量评估方法其评估结果可靠，但是具有适用性差、效率低等缺点；而客观视频质量评估方法存在的最主要的问题是视频质量评估结果与主观视频评估结果差距大，另外，有的客观视频质量评估方法还具有适用性差，视频质量评估方法本身降低视频质量等缺点。

发明内容
本发明的目的在于，提供一种方块效应度量方法和视频质量评估方法，通过将人类视觉感知特性融入方块效应度量和视频质量评估，提高了客观视频质量评估结果的准确性。
为达到上述目的，本发明提供的一种方块效应度量方法，包括a、根据图像帧中各图像块和与其相邻块中像素的灰度信息确定各图像块的原始方块效应度量；b、根据人类视觉感知特性对所述各原始方块效应度量进行掩盖处理，以获取各图像块的孤立方块效应度量；c、根据各图像块的孤立方块效应度量确定图像帧的方块效应度量。
所述步骤a具体包括如下步骤a1、图像帧中块Bi，j分别与其左边相邻块Bi，j-1、右边相邻块Bi，j+1、上边相邻块Bi-1，j、下边相邻块Bi+1，j的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j为dlOi，j＝Jlo(fi，j(n，0)，fi，j-1(n，M-1))(n＝0，1，2....N-1)drOi，j＝Jro(fi，j(n，M-1)，fi，j+1(n，0))(n＝0，1，2....N-1)dtOi，j＝Jto(fi，j(0，m)，fi-1，j(N-1，m))(m＝0，1，2....M-1)dbOi，j＝Jbo(fi，j(N-1，m)，fi+1，j(0，m))(m＝0，1，2....M-1)其中N为块Bi，j中一行像素的个数，M为块Bi，j中一列像素的个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1,j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，函数Jlo、Jro、Jto、Jbo为连续的多元函数，所述函数值恒为非负，且所述函数为非递减函数，即Jlo(fi，j(n，0)，fi，j-1(n，M-1))，对于|fi，j(n，0)-fi，j-1(n，M-1)|，n＝0，1，2，3....，N-1为非递减函数；Jro(fi，j(n，M-1)，fi，j+1(n，0))，对于|fi，j(n，M-1)-fi，j+1(n，0)|，n＝0，1，2，3....，N-1为非递减函数；Jto(fi，j(0，m)，fi+1，j(N-1，m))≥0，对于|fi，j(0，m)-fi-1，j(N-1，m)|，m＝0，1，2，3，....，M-1为非递减函数；Jbo(fi，j(N-1，m)，fi+1，j(0，m))≥0，对于|fi，j(N-1，m)-fi+1，j(0，m)|，m＝0，1，2，3，....，M-1为非递减函数；a2、根据所述dlOi，j、drOi，j、dtOi，j、dbOi，j确定块Bi，j的原始方块效应度量。
所述步骤a1具体为图像帧中块Bi，j分别与其左边相邻块Bi，j-1、右边相邻块Bi，j+1、上边相邻块Bi-1，j、下边相邻块Bi+1，j的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j为dlOi,j=1N|Σn=0N-1fi,j(n,0)-Σn=0N-1fi,j-1(n,M-1)|;]]>drOi,j=1N|Σn=0N-1fi,j(n,M-1)-Σn=0N-1fi,j+1(n,0)|;]]>dtOi,j=1M|Σm=0M-1fi,j(0,m)-Σm=0M-1fi-1,j(N-1,m)|;]]>dbOi,j=1M|Σm=0M-1fi,j(N-1,m)-Σm=0M-1fi+1,j(0,m)|;]]>或dlOi,j=1NΣn=0N-1(fi,j(n,0)-fi,j-1(n,M-1))2;]]>drOi,j=1N|Σn=0N-1fi,j(n,M-1)-Σn=0N-1fi,j+1(n,0)|;]]>dtOi,j=1M|Σm=0M-1fi,j(0,m)-Σm=0M-1fi-1,j(N-1,m)|;]]>dbOi,j=1M|Σm=0M-1fi,j(N-1,m)-Σm=0M-1fi+1,j(0,m)|;]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，Kh表示图像帧中水平方向的图像块个数，Kv表示图像帧中垂直方向的图像块个数。
所述步骤a2具体为确定块Bi，j的原始方块效应度量d0i，j为d0i，j＝dl0i，j+dr0i，j+dt0i，j+db0i，j。
所述步骤b中人类视觉感知特性为亮度掩盖效应和/或空间复杂度掩盖效应。
所述人类视觉感知特性为亮度掩盖效应；且所述步骤b具体包括如下步骤b1、对块Bi，j的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j进行亮度掩盖处理dlcmi,j=dlOi,j1+(2·|b(Bi,j-1,Bi,j)-bf|bf)r1;]]>drcmi,j=drOi,j1+(2·|b(Bi,j+1,Bi,j)-bf|bf)r1;]]>dtcmi,j=dtOi,j1+(2·|b(Bi-1,j,Bi,j)-bf|bf)r1;]]>dbcmi,j=dbOi,j1+(2·|b(Bi+1,j,Bi,j)-bf|bf)r1;]]>其中bf为块Bi，j所在的整帧图像的平均亮度，b(Bi，j-1，Bi，j)为块Bi，j和块Bi，j-1的平均亮度bi，j和bi，j-1的算术平均值，b(Bi，j+1， Bi，j)为块Bi，j和块Bi，j+1的平均亮度bi，j和bi，j+1的算术平均值，b(Bi-1，j，Bi，j)为块Bi，j和块Bi-1，j的平均亮度bi，j和bi-1，j的算术平均值，b(Bi+1，j，Bi，j)为块Bi，j和块Bi+1，j的平均亮度bi,j和bi+1，j的算术平均值，γ1为正数；b2、根据所述dlcmi，j、drcmi，j、dtcmi，j、dbcmi，j确定块Bi，j的孤立方块效应度量。
所述步骤b中的人类视觉感知特性为亮度掩盖效应和空间复杂度掩盖效应；
且所述步骤b1公式中的dlOi，j、drOi，j、dtOi，j、dbOi，j分别替换为对所述步骤a中的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j进行空间复杂度掩盖后的孤立方块效应度量dlpmi，j、drpmi，j、dtpmi，j、dbpmi，j。
所述步骤b1中块Bi，j、块Bi，j-1、Bi，j+1、块Bi-1，j、块Bi+1，j的平均亮度bi，j、bi，j-1、bi，j+1、bi-1，j和bi+1，j别为bi,j=1NMΣn=0N-1Σm=0M-1fi,j(n,m);]]>bi,j-1=1NMΣn=0N-1Σm=0M-1fi,j-1(n,m);]]>bi,j+1=1NMΣn=0N-1Σm=0M-1fi,j+1(n,m);]]>bi-1,j=1NMΣn=0N-1Σm=0M-1fi-1,j(n,m);]]>bi+1,j=1NMΣn=0N-1Σm=0M-1fi+1,j(n,m);]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，Kh表示图像帧中水平方向的图像块个数，Kv表示图像帧中垂直方向的图像块个数。
所述步骤b1中块Bi，j所在的整帧图像的平均亮度bf为bf=1KhKvNMΣi=0Kv-1Σj=0Kh-1Σn=0N-1Σm=0M-1fi,j(n,m);]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，Kh表示一帧图像中水平方向的图像块个数，Kv表示一帧图像中垂直方向的图像块个数，fi，j(n，m)表示块Bi，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，Kh表示图像帧中水平方向的图像块个数，Kv表示图像帧中垂直方向的图像块个数。
所述步骤b2具体为确定块Bi，j的孤立方块效应度量disoi，j为disoi，j＝dlcmi，j+drcmi，j+dtcmi，j+dbcmi，j。
所述人类视觉感知特性为空间复杂度掩盖效应；且所述步骤b具体包括如下步骤b1’、对块Bi，j的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j进行空间复杂度掩盖处理dlpmi,j=dlOi,ja0+(m(Bi,j-1,Bi,j)mf)r2;]]>drpmi,j=drOi,ja0+(m(Bi,j+1,Bi,j)mf)r2;]]>dtpmi,j=dtOi,ja0+(m(Bi-1,j,Bi,j)mf)r2;]]>dbpmi,j=dbOi,ja0+(m(Bi+1,j,Bi,j)mf)r2;]]>其中mf为块Bi，j所在的整帧图像的平均空间复杂度，m(Bi，j-1，Bi，j)表示块Bi，j，Bi，j-1的联合空间复杂度，m(Bi，j+1，Bi，j)表示块Bi，j，Bi，j+1的联合空间复杂度，m(Bi-1，j，Bi，j)表示块Bi，j，Bi-1，j的联合空间复杂度，m(Bi+1，j，Bi，j)表示块Bi，j，Bi+1，j的联合空间复杂度，γ2为正数；b2’、根据所述dlpmi，j、drpmi，j、dtpmi，j、dbpmi，j确定块Bi，j的孤立方块效应度量。
所述步骤b中的人类视觉感知特性为亮度掩盖效应和空间复杂度掩盖效应；
且所述步骤b1’公式中的dlOi，j、drOi，j、dtOi，j、dbOi，j替换为对所述步骤a中的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j进行亮度掩盖处理后的孤立方块效应度量dlcmi，j、drcmi，j、dtcmi，j、dbcmi，j。
所述m(Bi，j-1，Bi，j)、m(Bi，j+1，Bi，j)、m(Bi-1，j，Bi，j)、m(Bi+1，j，Bi,j)分别为m(Bi,j-1,Bi,j)=12(mi,j+mi,j-1);]]>m(Bi,j+1,Bi,j)=12(mi,j+mi,j+1);]]>m(Bi-1,j,Bi,j)=12(mi,j+mi-1,j);]]>m(Bi+1,j,Bi,j)=12(mi,j+mi+1,j);]]>其中mi，j、mi，j-1、mi，j+1、mi-1，j、mi+1，j分别为块Bi，j、块Bi，j-1、块Bi，j+1、块Bi-1，j、块Bi+1，j的空间复杂度。
所述块Bi，j、块Bi，j-1、块Bi，j+1、块Bi-1，j、块Bi+1，j的空间复杂度mi，j、mi，j-1、mi，j+1、mi-1，j、mi+1，j分别为mi,j=1NMΣn=0N-1Σm=0M-1(fi,j(n,m)-bi,j)2;]]>mi,j-1=1NMΣn=0N-1Σm=0M-1(fi,j-1(n,m)-bi,j-1)2;]]>mi,j+1=1NMΣn=0N-1Σm=0M-1(fi,j+1(n,m)-bi,j+1)2;]]>mi-1,j=1NMΣn=0N-1Σm=0M-1(fi-1,j(n,m)-bi-1,j)2;]]>
其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi,j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，Kh表示图像帧中水平方向的图像块个数，Kv表示图像帧中垂直方向的图像块个数，bi，j、bi，j-1、bi，j+1、bi-1，j和bi+1，j分别为块Bi，j、块Bi，j-1、Bi，j+1、块Bi-1，j、块Bi+1，j的平均亮度。
所述步骤b2具体为确定块Bi，j的孤立方块效应度量disoi，j为disoi，j＝dlpmi，j+drpmi，j+dtpmi，j+dbpmi，j。
本发明还提供一种视频质量评估方法，包括步骤a’、根据图像帧中各图像块和与其相邻块中像素的灰度信息确定各图像块的原始方块效应度量；b’、根据人类视觉感知特性对所述各原始方块效应度量进行掩盖处理，以获取各图像块的孤立方块效应度量；c’、根据所述各图像块的孤立方块效应度量确定图像帧的视频质量。
所述步骤c’具体包括步骤c1、根据图像帧中各图像块的孤立方块效应度量从大到小的顺序选取预定个数的图像块；c2、将所述预定个数的图像块中相互相邻的块聚合成至少一个集群；c3、根据所述各集群中图像块的方块效应度量确定各集群的集群方块效应度量；c4、根据所述各集群方块效应度量确定所述图像帧的视频质量。
所述步骤c2具体包括步骤c21、设定m的初始值；c22、判断预定个数的图像块中是否存在没有聚合到集群中的图像块；如果不存在，步骤c2结束；如果存在，到步骤c23；
在步骤c23，将孤立方块效应度量值最大且未被聚合到任一个集群的图像块作为Cm集群的核；到步骤c24、根据孤立方块效应度量值由大到小的顺序，查找与Cm集群中的任一图像块相邻且未被聚合到其它集群的图像块，并将其加入到Cm集群中，成为Cm集群中的图像块；到步骤c25、重复步骤c24，直到没有与Cm集群相邻的块，或者直到Cm集群包含的图像块的个数超过预定门限NT2，停止Cm集群的聚合过程，存储Cm集群中图像块的个数，到步骤c26；c26、m＝m+1，返回步骤c22。
所述步骤c3具体为根据所述各集群中的图像块的孤立方块效应度量确定各集群的集群方块效应度dcm为dcm=M-k1(Σs=0M1-1dlsiso);]]>其中dlsiso为图像块的孤立方块效应，M1为该集群中的图像块个数，0＜k1＜1。
所述步骤c4具体为根据所述各集群方块效应度量从大到小的顺序选取NT3个集群方块效应度量，并根据所述选取的集群方块效应度量确定所述图像帧的视频质量FB为FB=1NT3Σn=0NT3-1dc(n);]]>其中dc(n)为根据集群方块效应度量从大到小的顺序选取的第n个集群方块效应度量。
通过上述技术方案的描述可知，本发明通过在方块效应度量方法中充分结合视觉感知特性中的亮度掩盖效应和空间复杂度掩盖效应，对原始方块效应度量做掩盖处理，即对视频数字图像中各图像块的原始方块效应度量进行亮度掩盖和空间复杂度掩盖，使本发明的基于方块效应度量的视频质量评估结果更接近人类对视频质量的主观评价结果；本发明充分考虑了孤立方块效应、集群方块效应对视频图像质量的影响，使客观视频质量评估结果和主观评估结果具有较高的一致性；由于本发明提供的基于方块效应度量的视频质量评估方法是一种简单的无参考的客观视频质量评估方法，使本发明能够广泛的用于视频通信中，如提供快速实时的通信质量检测，帮助定位网络问题及其它系统问题，再如在视频通信类产品开发过程中，帮助产品测试、验证等；本发明的方块效应度量方法和视频质量评估方法还可以和其他有参考的视频质量评估方法结合起来对视频质量进行综合评估；从而通过本发明提供的技术方案实现了提高客观视频质量评估结果的准确性，提高视频通信类产品的性能和市场竞争力，加速视频通信业务的普及，为电信运营商大规模提供多媒体增值业务的目的。


图1是现有技术中的基于视频特征的客观视频质量评估方法示意图；图2是现有技术中的水印评估视频质量的实现原理示意图；图3是本发明的集群方块效应对视频质量的影响示意图；图4是视频质量评估采用的视频序列；图5中的(a)图是基于孤立方块效应度量的视频质量评估结果与主观评价结果的对应关系散布图；图5中的(b)图是基于集群方块效应度量的视频质量评估结果与主观评价结果的对应关系散布图。
具体实施例方式
目前，广泛应用的视频压缩国际标准如MPEG-1(Moving Picture Experts Group运动图象专家组)、MPEG-2、H.263/H.263+/H.263++和H.264等，都采用了B-DCT(Block-Based Discrete Cosine Transform，基于块的离散余玄变换)技术。而面向未来的、ITU-T(国际电信联盟-电信标准化组织)正在制定之中的H.265，在很大程度上仍然会采用B-DCT技术。
采用B-DCT技术压缩后的恢复视频会产生多种失真，其中最容易出现的是方块效应(Blocking Artifacts)，方块效应是B-DCT压缩视频中的主要失真类型。
在B-DCT视频编码中，需要将视频序列中的每一帧作为一幅图像进行压缩编码。每一帧图像分成多个不重叠且大小一致的块，如8×8、8×4、4×8、4×4像素的块等，其中8×8像素大小的块是B-DCT类视频编码技术最为常用的块。由于各个块的DCT量化编码过程是独立的，相当于对各个块使用了不同参数的滤波器分别滤波，因此，各个块引入的DCT量化误差大小及其分布特性相互独立，从而会导致相邻块边界的不连续，这种不连续会导致方块效应的产生。方块效应会产生明显的垂直和水平块边缘，极易刺激人们的视觉，在低速率视频编码通信，或者在信道误码/分组丢失使基于块的解码失败的情况下，恢复视频中的方块效应更是严重影响了视频的主观质量，方块效应的严重程度甚至可以直接反映视频质量。
因此，如何准确地度量图像帧的方块效应，并根据图像帧的方块效应度量来准确评估视频质量是非常重要的。
本发明的方块效应度量方法的核心是根据图像帧中各图像块和与其相邻块中像素的灰度信息确定各图像块的原始方块效应度量，根据人类视觉感知特性对所述各原始方块效应度量进行掩盖处理，以获取各图像块的孤立方块效应度量，根据各图像块的孤立方块效应度量确定图像帧的方块效应度量。
人类视觉对激励的反应主要依赖于相对光强，即对比度，而不是依赖于绝对的亮度信息。在视觉可感知的光强范围内，视觉对图像中亮度变化的感知能力与背景亮度成一种非线性的反比关系，这种视觉感知特性称为亮度掩盖效应。
数字图像的边缘的可见性不仅受区域平均亮度的影响，而且还与其所在区域的空间纹理复杂度有关，即对于边缘两侧较平滑的区域，边缘的视觉可见性强，反之，边缘两侧图像区域比较复杂，细节较多，则边缘的视觉可见性差。这种视觉感知特性称为空间复杂度掩盖效应。
本发明充分结合视觉感知特性中的亮度掩盖效应和空间复杂度掩盖效应，对原始方块效应度量做掩盖处理，即对视频数字图像中各图像块的原始方块效应度量进行亮度掩盖和空间复杂度掩盖，使亮度掩盖效应、复杂度掩盖效应在方块效应度量过程中发挥重要的作用。从而，使本发明的孤立方块效应度量结果在和人类视觉感知密切相关的后续应用中，与人类对图像的视觉理解具有较高的一致性，如在视频质量评估中，使客观视频质量评估结果和主观评估结果具有较高的一致性，从而提高了客观视频质量评估结果的准确性。
下面基于本发明的核心思想对本发明提供的技术方案做进一步的描述。
本发明对图像块的大小不限制，即图像块可以为8×8的块，也可以为4×4、4×8、8×4的块，或任意大小的块。
本发明首先需要根据相邻块边界像素的灰度信息来确定图像帧中各图像块的孤立方块效应度量，其具体过程为设定一帧图像由K个N×M大小的图像块组成，其中，K＝Kh×Kv，Kh表示水平方向的图像块个数，Kv表示垂直方向的图像块个数。fi，j(n，m)表示块Bi，j中位于(n，m)位置像素的灰度，其中i表示块Bi，j所在图像帧的行块号，j表示块Bi，j所在图像帧的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1。
块Bi，j与其左边、右边、上边、下边相邻块dl0i，j、dr0i，j、dt0i，j、db0i，j的方块效应度量分别如公式(1a)、(1b)、(1c)、(1d)所示dlOi，j＝Jlo(fi，j(n，0)，fi，j-1(n，M-1))(n＝0，1，2....N-1)(1a)drOi，j＝Jro(fi，j(n，M-1)，fi，j+1(n，0))(n＝0，1，2....N-1)(1b)dtOi，j＝Jto(fi，j(0，m)，fi-1，j(N-1，m))(m＝0，1，2....M-1)(1c)dbOi，j＝Jbo(fi,j(N-1，m)，fi+1，j(0，m))(m＝0，1，2....M-1)(1d)其中l表示“left”(左)，r表示“right”(右)，t表示“top”(上)，b表示“bottom”(下)，dl0i，j表示块Bi，j和其左边相邻块的方块效应度量，dr0i，j表示块Bi，j和其右边相邻块的方块效应度量，dt0i，j表示块Bi，j和其上边相邻块的方块效应度量，db0i，j表示块Bi，j和其下边相邻块的方块效应度量，由于这个方块效应度量未经过任何掩盖处理，是块Bi，j与其相邻块的原始方块效应度量，因此，用字母“o”作为上标表示original(原始)，N为块Bi，j中一行像素的个数，M为块Bi，j中一列像素的个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，函数Jlo、Jro、Jto、Jbo为连续的多元函数，且均满足如下两个条件(1)、函数值恒为非负即Jlo(fi，j(n，0)，fi，j-1(n，M-1))≥0，对于任何fi，j(n，0)，fi，j-1(n，M-1)；Jro(fi，j(n，M-1)，fi，j+1(n，0))≥0，对于任何fi，j(n，M-1)，fi，j+1(n，0)；Jto(fi，j(0，m)，fi-1，j(N-1，m))≥0，对于任何fi，j(0，m)，fi-1，j(N-1，m)；Jbo(fi，j(N-1，m)，fi+1，j(0，m))≥0，对于任何fi，j(N-1，m)，fi+1，j(0，m)；(2)、函数为非递减性函数即Jlo(fi，j(n，0)，fi，j-1(n，M-1))，对于|fi，j(n，0)-fi，j-1(n，M-1)|，n＝0，1，2，3....，N-1为非递减函数；Jro(fi，j(n，M-1)，fi，j+1(n，0))，对于|fi，j(n，M-1)-fi，j+1(n，0)|，n＝0，1，2，3....，N-1为非递减函数；Jto(fi，j(0，m)，fi-1，j(N-1，m))≥0，对于|fi，j(0，m)-fi-1，j(N-1，m)|，m＝0，1，2，3，....，M-1为非递减函数；Jbo(fi，j(N-1，m)，fi+1，j(0，m))≥0，对于|fi，j(N-1，m)-fi+1，j(0，m)|，m＝0，1，2，3，....，M-1为非递减函数。
公式(1a)的两个具体实施例如公式(1)和公式(2)所示dlOi,j=1N|Σn=0N-1fi,j(n,0)-Σn=0N-1fi,j-1(n,M-1)|----(1)]]>dlOi,j=1NΣn=0N-1(fi,j(n,0)-fi,j-1(n,M-1))2----(2)]]>公式(1b)、(1c)、(1d)的具体实施例如公式(3)、公式(4)、公式(5)、公式(6)、公式(7)和公式(8)所示
drOi,j=1N|Σn=0N-1fi,j(n,M-1)-Σn=0N-1fi,j+1(n,0)|----(3)]]>dtOi,j=1M|Σm=0M-1fi,j(0,m)-Σm=0M-1fi-1,j(N-1,m)|----(4)]]>dbOi,j=1M|Σm=0M-1fi,j(N-1,m)-Σm=0M-1fi+1,j(0,m)|----(5)]]>drOi,j=1N|Σn=0N-1fi,j(n,M-1)-Σn=0N-1fi,j+1(n,0)|----(6)]]>dtOi,j=1M|Σm=0M-1fi,j(0,m)-Σm=0M-1fi-1,j(N-1,m)|----(7)]]>dbOi,j=1M|Σm=0M-1fi,j(N-1,m)-Σm=0M-1fi+1,j(0,m)|----(8)]]>根据图像块和其周边四个相邻块的方块效应度量确定图像块的原始方块效应度量的方法很灵活，如将图像块和其周边四个相邻块的方块效应度量的总和确定为该图像块的原始方块效应度量，即块Bi，j的原始方块效应度量d0i，j＝dl0i，j+dr0i，j+dt0i，j+db0i，j。当然也可以采取其它方法，如将均值、最大的方块效应度量等作为该图像块的原始方块效应度量。
由于视觉心理学研究表明，人眼对激励的反应更多地依赖于相对光强即亮度的相对变化，即对比度，而不是绝对的亮度信息，因此，方块效应在边界处的不连续对于人的主观感觉影响程度，不仅与相邻块之间在边界处的亮度差异有关，还与相邻块之间的像素灰度有关。由此，需要引入和周边像素灰度相关的量来对于公式(1)至公式(8)定义的原始方块效应度量进行校正。这个过程我们叫做亮度掩盖(contrast masking)处理。边界的区域背景亮度越偏离图像平均亮度，亮度掩盖效应越明显。
对dlOi，j，drOi，j，dtOi，j，dbOi，j进行亮度掩盖处理后，图像块Bi，j与各相邻块的孤立方块效应度量分别如公式(9)、公式(10)、公式(11)和公式(12)所示
dlcmi,j=dlOi,j1+(2·|b(Bi,j-1,Bi,j)-bf|bf)r1----(9)]]>drcmi,j=drOi,j1+(2·|b(Bi,j+1,Bi,j)-bf|bf)r1----(10)]]>dtcmi,j=dtOi,j1+(2·|b(Bi-1,j,Bi,j)-bf|bf)r1----(11)]]>dbcmi,j=dbOi,j1+(2·|b(Bi+1,j,Bi,j)-bf|bf)r1----(12)]]>其中bf为块Bi，j所在的整帧图像的平均亮度，b(Bi，j-1，Bi，j)表示块Bi，j和块Bi，j-1的平均亮度bi，j和bi，j-1的算术平均值，b(Bi，j+1，Bi，j)表示块Bi，j和块Bi，j+1的平均亮度bi，j和bi，j+1的算术平均值，同理，b(Bi-1，j，Bi，j)表示块Bi，j和块Bi-1，j的平均亮度bi，j和bi-1，j的算术平均值，b(Bi+1，j，Bi，j)表示块Bi，j和块Bi+1，j的平均亮度bi，j和bi+1，j的算术平均值，γ1为正数。
上述块Bi，j和块Bi，j-1的平均亮度bi，j，bi，j-1可分别通过公式(13)和公式(14)表示bi,j=1NMΣn=0N-1Σm=0M-1fi,j(n,m)----(13)]]>bi,j-1=1NMΣn=0N-1Σm=0M-1fi,j-1(n,m)----(14)]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，fi，j(n，m)表示块Bi，j中位于(n，m)位置像素的灰度，fi，j-1(n，m)表示块Bi，j-1中位于(n，m)位置像素的灰度。
同理，可以根据下面的公式(14a)、(14b)、(14c)计算出块Bi，j+1、块Bi-1，j和块Bi+1，j的平均亮度bi，j+1、bi-1，j和bi+1，j分别为
bi,j+1=1NMΣn=0N-1Σm=0M-1fi,j+1(n,m);----(14a)]]>bi-1,j=1NMΣn=0N-1Σm=0M-1fi-1,j(n,m);----(14b)]]>bi+1,j=1NMΣn=0N-1Σm=0M-1fi+1,j(n,m).----(14c)]]>Bi，j和块Bi，j-1的平均亮度bi，j和bi，j-1的算术平均值b(Bi，j-1，Bi，j)如公式(15)所示b(Bi,j-1,Bi,j)=bi,j+bi,j-12----(15)]]>b(Bi，j+1，Bi，j)、b(Bi-1，j，Bi，j)和b(Bi+1，j，Bi，j)可通过公式(15a)、(15b)、(15c)表示b(Bi,j+1,Bi,j)=bi,j+bi,j+12;----(15a)]]>b(Bi-1,j,Bi,j)=bi,j+bi-1,j2;----(15b)]]>b(Bi+1,j,Bi,j)=bi,j+bi+1,j2.----(15c)]]>上述公式(9)至公式(12)中块Bi，j所在的整帧图像的平均亮度bf如公式(16)所示bf=1KhKvNMΣi=0Kv-1Σj=0Kh-1Σn=0N-1Σm=0M-1fi,j(n,m)----(16)]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，Kh表示一帧图像中水平方向的图像块个数，Kv表示一帧图像中垂直方向的图像块个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1。
如果仅仅根据亮度掩盖处理后的结果来确定块Bi，j的孤立方块效应度量结果，则块Bi，j的孤立方块效应度量为disoi，j＝dlcmi，j+drcmi，j+dtcmi，j+dbcmi，j。
当然，块Bi，j的孤立方块效应度量也可以采用其它方法计算获得，如采用将dlcmi，j，drcmi，j，dtcmi，j，dbcmi，j的均值、或dlcmi，j，drcmi，j，dtcmi，j，dbcmi，j中最大的方块效应度量等作为该图像块的孤立方块效应度量。
在确定了图像帧中各图像块的孤立方块效应度量后，整帧图像的孤立方块效应度量可以根据各图像块经过亮度掩盖处理后的孤立方块效应度量来确定，其确定的方法同样很灵活，如将各图像块经过亮度掩盖处理后的孤立方块效应度量的平均值作为整帧图像的孤立方块效应度量，再如将各图像块经过亮度掩盖处理后的孤立方块效应度量的和、或者最大值等作为整帧图像的孤立方块效应度量。
整帧图像的视频质量评估也可以根据各图像块经过亮度掩盖处理后的孤立方块效应度量来确定，与上面的描述相同，确定视频质量评估的方法也很灵活如将各图像块经过亮度掩盖处理后的孤立方块效应度量的平均值、之和或者最大值等作为整帧图像的视频质量评估结果。
本发明还可以在上述亮度掩盖dcmi，j的基础上，再进行空间复杂度掩盖处理。对dlcmi，j，drcmi，j，dtcmi，j，dbcmi，j分别进行空间复杂度掩盖处理的过程如公式(17)、公式(18)、公式(19)、公式(20)所示dlpmi,j=dlcmi,ja0+(m(Bi,j-1,Bi,j)mf)r2----(17)]]>drpmi,j=drcmi,ja0+(m(Bi,j+1,Bi,j)mf)r2----(18)]]>dtpmi,j=dtcmi,ja0+(m(Bi-1,j,Bi,j)mf)r2----(19)]]>dbpmi,j=dbcmi,ja0+(m(Bi+1,j,Bi,j)mf)r2----(20)]]>其中，mf为块Bi，j所在的整帧图像的平均空间复杂度，m(Bi，j-1，Bi，j)表示块Bi，j，Bi，j-1的联合空间复杂度，m(Bi，j+1，Bi，j)表示块Bi，j，Bi，j+1的联合空间复杂度，m(Bi-1，j，Bi，j)表示块Bi，j，Bi-1，j的联合空间复杂度，m(Bi+1，j，Bi，j)表示块Bi，j，Bi+1，j的联合空间复杂度，γ2为正数；且m(Bi，j-1，Bi，j)、m(Bi，j+1，Bi，j)、m(Bi-1，j，Bi，j)、m(Bi+1，j，Bi，j)可通过公式(21)、公式(21a)、公式(21b)、公式(21c)计算获得m(Bi,j-1,Bi,j)=12(mi,j+mi,j-1)----(21)]]>m(Bi,j+1,Bi,j)=12(mi,j+mi,j+1);----(21a)]]>m(Bi-1,j,Bi,j)=12(mi,j+mi-1,j);----(21b)]]>m(Bi+1,j,Bi,j)=12(mi,j+mi+1,j);----(21c)]]>其中mi，j、mi，j-1、mi，j+1、mi-1，j、mi+1，j分别为块Bi，j、块Bi，j-1、块Bi，j+1、块Bi-1，j、块Bi+1，j的空间复杂度，且mi，j、mi，j-1、mi，j+1、mi-1，j、mi+1，j可分别通过公式(22)、公式(23)、公式(23a)、公式(23b)、公式(23c)计算获得mi,j=1NMΣn=0N-1Σm=0M-1(fi,j(n,m)-bi,j)2----(22)]]>mi,j-1=1NMΣn=0N-1Σm=0M-1(fi,j-1(n,m)-bi,j-1)2----(23)]]>mi,j+1=1NMΣn=0N-1Σm=0M-1(fi,j+1(n,m)-bi,j+1)2;----(23a)]]>mi-1,j=1NMΣn=0N-1Σm=0M-1(fi-1,j(n,m)-bi-1,j)2;----(23b)]]>mi+1,j=1NMΣn=0N-1Σm=0M-1(fi+1,j(n,m)-bi+1,j)2;----(23c)]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、bi+1，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，bi，j、bi，j-1、bi，j+1、bi-1，j和bi+1，j分别为块Bi，j、块Bi，j-1、Bi，j+1、块Bi-1，j、块Bi+1，j的平均亮度，具体可通过公式(13)、(14)、(14a)、(14b)、(14c)计算获得。
块Bi，j所在的整帧图像的平均空间复杂度mf可通过公式(24)获得mf=1KhKvNMΣi=0Kv-1Σj=0Kh-1Σn=0N-1Σm=0M-1(fi,j(n,m)-bi,j)2----(24)]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，Kh表示一帧图像中水平方向的图像块个数，Kv表示一帧图像中垂直方向的图像块个数，fi，j(n，m)表示块Bi，j中位于(n，m)位置像素的灰度，i表示块Bi，j所在整帧图像的行块号，j表示块Bi，j所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1。
经过亮度掩盖处理和空间复杂度掩盖处理后，块Bi，j对应的孤立方块效应disoi，j为disoi，j＝dlpmi，j+drpmi，j+dtpmi，j+dbpmi，j(25)其中，上标”iso”表示isolated(孤立)。
当然，块Bi，j的孤立方块效应度量也可以采用其它方法计算获得，如采用将dlpmi，j，drpmi，j，dtpmi，j，dbpmi，j的均值、或dlpmi，j，drpmi，j，dtpmi，j，dbpmi，j中最大的方块效应度量等作为该图像块Bi，j的孤立方块效应度量。
在确定了图像帧中各图像块的孤立方块效应度量后，整帧图像的孤立方块效应度量可以根据各图像块经过亮度掩盖处理和空间复杂度掩盖处理后的孤立方块效应度量来确定，其确定的方法同样很灵活，如如将各图像块经过亮度掩盖处理和空间复杂度掩盖处理后的孤立方块效应度量的平均值作为整帧图像的孤立方块效应度量，再如将各图像块经过亮度掩盖处理和空间复杂度掩盖处理后的孤立方块效应度量的和、或者最大值等作为整帧图像的孤立方块效应度量。
整帧图像的视频质量评估也可以根据各图像块经过亮度掩盖处理和空间复杂度掩盖处理后的孤立方块效应度量来确定，与上面的描述相同，确定视频质量评估的方法也很灵活，如将各图像块经过亮度掩盖处理和空间复杂度掩盖处理后的孤立方块效应度量的平均值、之和或者最大值等作为整帧图像的视频质量评估结果。
上述实施例是以先进行亮度掩盖处理、再进行空间复杂度掩盖处理为例对孤立方块效应度量、视频质量评估进行描述的，本发明也可以仅根据空间复杂度掩盖处理后的结果来确定块Bi，j的孤立方块效应度量、视频质量评估结果。
当仅根据空间复杂度掩盖处理后的结果来确定块Bi，j的孤立方块效应度量、视频质量评估结果时，上述公式(17)、公式(18)、公式(19)和公式(20)应分别变换为dlpmi,j=dlOi,j1+(2·|b(Bi,j-1,Bi,j)-bf|bf)r1----(17)']]>drpmi,j=drOi,j1+(2·|b(Bi,j+1,Bi,j)-bf|bf)r1----(18)']]>dtpmi,j=dtOi,j1+(2·|b(Bi-1,j,Bi,j)-bf|bf)r1----(19)']]>dbpmi,j=dbOi,j1+(2·|b(Bi+1,j,Bi,j)-bf|bf)r1----(20)']]>其中dlOi，j，drOi，j，dtOi，j，dbOi，j，b(Bi，j-1，Bi，j)、b(Bi，j+1，bi，j)、b(Bi-1，j，Bi，j)、b(Bi+1，j，Bi，j)、bf的计算方法如上面的描述，在此不再一一列出。
本发明也可以首先进行空间复杂度掩盖处理，再进行亮度掩盖处理，然后，根据空间复杂度掩盖处理和亮度掩盖处理后的结果来确定块Bi，j的孤立方块效应度量、整帧图像的方块效应度量和视频质量评估结果。如果本发明先进行空间复杂度掩盖处理，再进行亮度掩盖处理，则上述公式(9)、公式(10)、公式(11)和公式(12)应分别变换为
dlcmi,j=dlpmi,j1+(2·|b(Bi,j-1,Bi,j)-bf|bf)r1----(9)']]>drcmi,j=drpmi,j1+(2·|b(Bi,j+1,Bi,j)-bf|bf)r1----(10)']]>dtcmi,j=dtpmi,j1+(2·|b(Bi-1,j,Bi,j)-bf|bf)r1----(11)']]>dbcmi,j=dbpmi,j1+(2·|b(Bi+1,j,Bi,j)-bf|bf)r1----(12)']]>其中dlpmi，j，drpmi，j，dtpmi，j，dbpmi，j可通过公式(17)’、公式(18)’、公式(19)’和公式(20)’获得，b(Bi，j-1，Bi，j)、b(Bi，j+1，bi，j)、b(Bi-1，j，Bi，j)、b(Bi+1，j，Bi，j)、bf的计算方法如上面的描述，在此不再一一列出。
根据人类视觉感知特性可知，某一时刻传入大脑的信息只是图像的一个很小的区域，对整幅图像的理解是依靠人眼的迅速运动(Saccade)形成的印象。人眼每秒钟一般只有3次聚焦(Fixation)的能力，所以，往往是几个感兴趣区域的图像质量决定了整幅图像的视觉主观质量。值得注意的是，人眼最易受失真严重区域的吸引，也就是说质量最差的几个区域决定了整帧图像的主观视觉质量。
从上述实施例的描述中可以看出，孤立方块效应度量能够确定每个图像块和其相邻块边界值的不连续性，但是，每个块的孤立方块效应度量仅仅是影响图像主观质量的因素之一。
方块效应的对于视频质量的影响有两个方面，一个是每个方块作为一个孤立因素的影响，另一个是一群邻近的方块作为一个集群的影响。在一般情况下，这两种影响因素同时存在。
由此，可以得出这样的结论与周围相邻块都不连续的多个马赛克块(MosaicBlocks)形成的集群是影响图像主观质量的更为重要的因素，集群越大，对图像主观质量的影响越严重。
图像中的集群方块效应如附图3所示，图3中圈出了多个集群方块效应，这几个集群方块效应是影响图像主观质量的最重要的因素。
因此，本发明可以根据一帧图像中几个最为严重的方块效应群来确定整帧图像方块效应的严重程度，以决定图像的视频质量评估结果。
根据各图像块的孤立方块效应度量来定义图像的集群方块效应度量，其具体实现过程为步骤1、对整帧图像中所有图像块按其孤立方块效应度量值由大到小排序，得到新的块序列B(0)，B(1)，...，B(K-1)。disok是排序为第k的块B(k)的孤立方块效应度量值，则有dkiso≥dliso,]]>0≤k＜l＜K，K为一帧图像中总的图像块数。
到步骤2、设定一个门限NT1，NT1≤K，在这些孤立方块效应度量值最大的NT1个块(B(0)，B(1)，...，B(NT1-1))中将相邻的块聚合成群，聚合成群的方法可以如步骤21至步骤24所示设定m的初始值为0。
在步骤21、寻找孤立方块效应度量值最大且未被聚合到任一个集群的块，作为Cm集群的核。Cm表示第m个集群，集群的编号可以从0开始依次递增，如果当前的集群为Cm，则表示此时已经存在C0到Cm-1共m个集群。如果已经没有未被聚合的图像块，即所有的NT1个块都被聚合成群，则到步骤3。
到步骤22、按孤立方块效应度量值由大到小的顺序，寻找与群Cm中的任何一个成员块相邻、且未被聚合到其它任一个集群的块，使该图像块加入到Cm集群中，使其成为Cm集群的成员块。Cm集群的核也是Cm集群的成员块。
到步骤23、重复上述步骤22，直到再没有与Cm集群相邻的块，或者Cm集群包含的成员块的个数已经为最大允许的预定个数NT2，则停止Cm集群的进一步聚合，记录并存储Cm集群的成员块、成员块个数。
到步骤24、m＝m+1，返回步骤21。
在步骤3、设方块效应Cm集群中包含M个块B(l0)，B(l1)，...，B(lM-1)，则Cm的集群方块效应度量定义为dcm=M-k1(Σs=0M1-1dlsiso)----(26)]]>其中M1为该集群中的图像块个数，0＜k1＜1，k1可以选取2/3等数值。
到步骤4、将序列dc0，dc1，dc2，...按照从大到小按顺序排列为dc(0)，dc(1)，dc(2)，...，取集群方块效应度量最大的前NT3个方块效应集群，根据这NT3个方块效应集群的方块效应集群度量获得该帧图像的视频质量评估。
根据NT3个方块效应集群的方块效应集群度量获得该帧图像的视频质量评估的方法可以为对这NT3个方块效应集群的方块效应集群度量求平均值FB=1NT3Σn=0NT3-1dc(n)----(27)]]>在步骤4中，也可以采用其它方法来确定整帧图像的视频质量评估，如将集群方块效应度量最大的前NT3个集群方块效应度量的均值、最大值等作为整帧图像的视频质量评估。
本发明的方块效应度量方法和视频质量评估方法对于灰度(grayscale)图像和彩色图像YUV/YCbCr都是适用的。因为在彩色图像中，亮度分量(luminancecomponent)图像的分辨率一般高于色度分量(chrominance component)图像，很多研究已经表明评价亮度分量图像的质量已经足以反映彩色图像的整体质量。而本发明可以直接评价亮度分量图像，因为亮度分量本质上是一个灰度图像。
本发明的方块效应度量方法和视频质量评估方法适用于视频序列，同样适用于视频序列中的静止图像。
整个视频序列的视频质量评估结果可根据视频序列中的各视频帧的视频质量评估结果来确定。
本发明的方块效应度量方法和视频质量评估方法还可以和其他有参考的视频质量评估方法结合起来对视频质量进行综合评估。
采用本发明的方块效应度量和视频评估方法的具体实验效果如附图5。
实验使用H.263视频编码器，分别对如附图4中(a)图、(b)图、(c)图、(d)图所示的CIF图像格式、100帧的标准图像序列“Foreman”，“Claire”，“Carphone”和“News”序列采用帧内模式编码，量化步长取5-25。
主观质量评估方法采用SSM(Single Stimulus Methods单激励方法)，其中视频质量评分测度采用5分制。然后，采用VQEG(Video Quality Experts Group视频质量专家组)评价视频质量评估模型精度的方法，先将主观平均评分Si归一化到
范围，其中0代表无失真，即最好的视频质量，1表示失真最大，即最差的视频质量，归一化后的主观平均评分Si为S‾i=Si-SbestSworst-Sbest----(28)]]>在采用本发明的方法确定各失真视频序列的方块效应度量时，对于亮度掩盖处理，取r1＝2；对于空间复杂度掩盖处理，取r2＝1.4，a0＝0.3，NT1＝15％K，NT2＝2％K，NT3＝5。
然后，根据主观评价结果和本发明基于孤立方块效应度量和集群方块效应度量的结果，按照对应关系，把后两者的数值，通过最小二乘方法拟合成一个线性映射关系，映射到
区间。
按照VQEG评价视频质量评估模型精度的方法，采用RMSE(Root MeanSquared Error，均方误差)，PCC(Pearson Correlation Coefficient，Pearson线性相关系数)，SCC(Spearman Rank Order Correlation Coefficient，Spearman秩相关系数)3个尺度来来评价本发明基于孤立方块效应度量和基于集群方块效应度量的视频评估方法的性能，如附图5和表1所示。
表1


从表1可以看出，本发明提出的无参考的客观视频质量评估方法得到的客观评分与主观视频质量评估结果进行比较，有较小的RMSE，反映了本发明具有较好的预测精度；有较大的pearson目关系数和Spearman秩相关系数，反映了本发明具有较好的预测单调性。
图5中的(a)图是基于孤立方块效应度量的视频质量评估结果与主观评价结果的对应关系散布图，图5中的(b)图是基于集群方块效应度量的视频质量评估结果与主观评价结果的对应关系散布图。
散布图中的点越靠近一条直线说明本发明的视频评价结果与主观评价结果的相关性越好，即视频质量评价结果越接近主观评价结果。
表1和图5结果一致，都表明本发明的基于集群方块效应度量的视频质量评价方法其结果更加接近人类的主观评价结果。
本发明的无参考的客观视频质量评估方法能够广泛的用于视频通信中，如提供快速实时的通信质量检测，帮助定位网络问题及其他系统问题，再如在视频通信类产品开发过程中，帮助产品测试、验证等。由于本发明的视频质量评估方法更接近人类对视频质量的主观评价结果，对于运营商提供视频通信类业务的市场宣传有很大帮助，如果在业务演示中，能够实时显示视频业务的视频质量，则能够在很大程度上引用户的兴趣。从而，通过本发明的方法能够提高视频通信类产品的性能和市场竞争力，加速视频通信业务的普及，为电信运营商大规模提供多媒体增值业务，创造更多利润服务。
虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，本发明的申请文件的权利要求包括这些变形和变化。
权利要求
1.一种方块效应度量方法，其特征在于，包括a、根据图像帧中各图像块和与其相邻块中像素的灰度信息确定各图像块的原始方块效应度量；b、根据人类视觉感知特性对所述各原始方块效应度量进行掩盖处理，以获取各图像块的孤立方块效应度量；c、根据各图像块的孤立方块效应度量确定图像帧的方块效应度量。
2.如权利要求1所述的一种方块效应度量方法，其特征在于，所述步骤a具体包括如下步骤a1、图像帧中块Bi，j分别与其左边相邻块Bi，j-1、右边相邻块Bi，j+1、上边相邻块Bi-1，j、下边相邻块Bi+1，j的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j为dlOi，j＝Jlo(fi，j(n，0)，fi，j-1(n，M-1))(n＝0，1，2....N-1)drOi，j＝Jro(fi，j(n，M-1)，fi，j+1(n，0))(n＝O，1，2....N-1)dtOi，j＝Jto(fi，j(0，m)，fi-1，j(N-1，m))(m＝O，1，2....M-1)dbOi，j＝Jbo(fi，j(N-1，m)，fi+1，j(O，m))(m＝O，1，2....M-1)其中N为块Bi，j中一行像素的个数，M为块Bi，j中一列像素的个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，函数Jlo、Jro、Jto、Jbo为连续的多元函数，所述函数值恒为非负，且所述函数为非递减函数，即Jlo(fi，j(n，0)，fi，j-1(n，M-1))，对于|fi，j(n，0)-fi，j-1(n，M-1)|，n＝0，1，2，3....，N-1为非递减函数；Jro(fi，j(n，M-1)，fi，j+1(n，0))，对于|fi，j(n，M-1)-fi，j+1(n，0)|，n＝0，1，2，3....，N-1为非递减函数；Jto(fi，j(0，m)，fi-1，j(N-1，m))≥0，对于|fi，j(0，m)-fi-1，j(N-1，m)|，m＝0，1，2，3，....，M-1为非递减函数；Jbo(fi，j(N-1，m)，fi+1，j(0，m))≥0，对于|fi，j(N-1，m)-fi+1，j(0，m)|，m＝0，1，2，3，....，M-1为非递减函数；a2、根据所述dlOi，j、drOi，j、dtOi，j、dbOi，j确定块Bi，j的原始方块效应度量。
3.如权利要求2所述的一种方块效应度量方法，其特征在于，所述步骤a1具体为图像帧中块Bi，j分别与其左边相邻块Bi，j-1、右边相邻块Bi，j+1、上边相邻块Bi-1，j、下边相邻块Bi+1，j的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j为dlOi,j=1N|Σn=0N-1fi,j(n,0)-Σn=0N-1fi,j-1(n,M-1)|;]]>drOi,j=1N|Σn=0N-1fi,j(n,M-1)-Σn=0N-1fi,j+1(n,0)|;]]>dtOi,j=1M|Σm=0M-1fi,j(0,m)-Σm=0M-1fi-1,j(N-1,m)|;]]>dbOi,j=1M|Σm=0M-1fi,j(N-1,m)-Σm=0M-1fi+1,j(0,m)|;]]>或dlOi,j=1NΣn=0N-1(fi,j(n,0)-fi,j-1(n,M-1))2;]]>drOi,j=1N|Σn=0N-1fi,j(n,M-1)-Σn=0N-1fi,j+1(n,0)|;]]>dtOi,j=1M|Σm=0M-1fi,j(0,m)-Σm=0M-1fi-1,j(N-1,m)|;]]>dbOi,j=1M|Σm=0M-1fi,j(N-1,m)-Σm=0M-1fi+1,j(0,m)|;]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，Kh表示图像帧中水平方向的图像块个数，Kv表示图像帧中垂直方向的图像块个数。
4.如权利要求2所述的一种方块效应度量方法，其特征在于，所述步骤a2具体为确定块Bi，j的原始方块效应度量d0i，j为d0i，j＝dl0i，j+dr0i，j+dt0i，j+db0i，j。
5.如权利要求2所述的一种方块效应度量方法，其特征在于，所述步骤b中人类视觉感知特性为亮度掩盖效应和/或空间复杂度掩盖效应。
6.如权利要求5所述的一种方块效应度量方法，其特征在于，所述人类视觉感知特性为亮度掩盖效应；且所述步骤b具体包括如下步骤b1、对块Bi，j的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j进行亮度掩盖处理dlcmi,j=dlOi,j1+(2·|b(Bi,j-1,Bi,j)-bf|bf)r1;]]>drcmi,j=drOi,j1+(2·|b(Bi,j+1,Bi,j)-bf|bf)r1;]]>dtcmi,j=dtOi,j1+(2·|b(Bi-1,j,Bi,j)-bf|bf)r1;]]>dbcmi,j=dbOi,j1+(2·|b(Bi+1,j,Bi,j)-bf|bf)r1;]]>其中bf为块Bi，j所在的整帧图像的平均亮度，b(Bi，j-1，Bi，j)为块Bi，j和块Bi，j-1的平均亮度bi，j和bi，j-1的算术平均值，b(Bi，j+1，Bi，j)为块Bi，j和块Bi，j+1的平均亮度bi，j和bi，j+1的算术平均值，b(Bi-1，j，Bi，j)为块Bi，j和块Bi-1，j的平均亮度bi，j和bi-1，j的算术平均值，b(Bi+1，j，Bi，j)为块Bi，j和块Bi+1，j的平均亮度bi，j和bi+1，j的算术平均值，γ1为正数；b2、根据所述dlcmi，j、drcmi，j、dtcmi，j、dbcmi，j确定块Bi，j的孤立方块效应度量。
7.如权利要求6所述的一种方块效应度量方法，其特征在于，所述步骤b中的人类视觉感知特性为亮度掩盖效应和空间复杂度掩盖效应；且所述步骤b1公式中的dlOi，j、drOi，j、dtOi，j、dbOi，j分别替换为对所述步骤a中的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j进行空间复杂度掩盖后的孤立方块效应度量dlpmi，j、drpmi，j、dtpmi，j、dbpmi，j。
8.如权利要求6或7所述的一种视频质量评估方法，其特征在于，所述步骤b1中块Bi，j、块Bi，j-1、Bi，j+1、块Bi-1，j、块Bi+1，j的平均亮度bi，j、bi，j-1、bi，j+1、bi-1，j和bi+1，j分别为bi,j=1NMΣn=0N-1Σm=0M-1fi,j(n,m);]]>bi,j-1=1NMΣn=0N-1Σm=0M-1fi,j-1(n,m);]]>bi,j+1=1NMΣn=0N-1Σm=0M-1fi,j+1(n,m);]]>bi-1,j=1NMΣn=0N-1Σm=0M-1fi-1,j(n,m);]]>bi+1,j=1NMΣn=0N-1Σm=0M-1fi+1,j(n,m);]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，Kh表示图像帧中水平方向的图像块个数，Kv表示图像帧中垂直方向的图像块个数。
9.如权利要求6或7所述的一种视频质量评估方法，其特征在于，所述步骤b1中块Bi，j所在的整帧图像的平均亮度bf为bf=1KhKvNMΣi=0Kv-1Σj=0Kh-1Σn=0N-1Σm=0M-1fi,j(n,m);]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，Kh表示一帧图像中水平方向的图像块个数，Kv表示一帧图像中垂直方向的图像块个数，fi，j(n，m)表示块Bi，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，Kh表示图像帧中水平方向的图像块个数，Kv表示图像帧中垂直方向的图像块个数。
10.如权利要求6或7所述的一种方块效应度量方法，其特征在于，所述步骤b2具体为确定块Bi，j的孤立方块效应度量disoi，j为disoi，j＝dlcmi，j+drcmi，j+dtcmi，j+dbcmi，j。
11.如权利要求5所述的一种方块效应度量方法，其特征在于，所述人类视觉感知特性为空间复杂度掩盖效应；且所述步骤b具体包括如下步骤b1’、对块Bi，j的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j进行空间复杂度掩盖处理dlpmi,j=dlOi,ja0+(m(BI,J-1,Bi,j)mf)r2;]]>drpmi,j=drOi,ja0+(m(BI,J+1,Bi,j)mf)r2;]]>dtpmi,j=dtOi,ja0+(m(BI-1,J,Bi,j)mf)r2;]]>dbpmi,j=dbOi,ja0+(m(BI+1,J,Bi,j)mf)r2;]]>其中mf为块Bi，j所在的整帧图像的平均空间复杂度，m(Bi，j-1，Bi，j)表示块Bi，j，Bi，j-1的联合空间复杂度，m(Bi，j+1，Bi，j)表示块Bi，j，Bi，j+1的联合空间复杂度，m(Bi-1，j，Bi，j)表示块Bi，j，Bi-1，j的联合空间复杂度，m(Bi+1，j，Bi，j)表示块Bi，j，Bi+1，j的联合空间复杂度，γ2为正数；b2’、根据所述dlpmi，j、drpmi，j、dtpmi，j、dbpmi，j确定块Bi，j的孤立方块效应度量。
12.如权利要求11所述的一种方块效应度量方法，其特征在于，所述步骤b中的人类视觉感知特性为亮度掩盖效应和空间复杂度掩盖效应；且所述步骤b1’公式中的dlOi，j、drOi，j、dtOi，j、dbOi，j替换为对所述步骤a中的原始方块效应度量dlOi，j、drOi，j、dtOi，j、dbOi，j进行亮度掩盖处理后的孤立方块效应度量dlcmi，j、drcmi，j、dtcmi，j、dbcmi，j。
13.如权利要求11或12所述的一种视频质量评估方法，其特征在于，所述m(Bi，j-1，Bi，j)、m(Bi，j+1，Bi，j)、m(Bi-1，j，Bi，j)、m(Bi+1，j，Bi，j)分别为m(Bi,j-1,Bi,j)=12(mi,j+mi,j-1);]]>m(Bi,j+1,Bi,j)=12(mi,j+mi,j+1);]]>m(Bi-1,j,Bi,j)=12(mi,j+mi-1,j);]]>m(Bi+1,j,Bi,j)=12(mi,j+mi+1,j);]]>其中mi，j、mi，j-1、mi，j+1、mi-1，j、mi+1，j分别为块Bi，j、块Bi，j-1、块Bi，j+1、块Bi-1，j、块Bi+1，j的空间复杂度。
14.如权利要求13所述的一种视频质量评估方法，其特征在于，所述块Bi，j、块Bi，j-1、块Bi，j+1、块Bi-1，j、块Bi+1，j的空间复杂度mi，j、mi，j-1、mi，j+1、mi-1，j、mi+1，j分别为mi,j=1NMΣn=0N-1Σm=0M-1(fi,j(n,m)-bi,j)2;]]>mi,j-1=1NMΣn=0N-1Σm=0M-1(fi,j-1(n,m)-bi,j-1)2;]]>mi,j+1=1NMΣn=0N-1Σm=0M-1(fi,j+1(n,m)-bi,j+1)2;]]>mi-1,j=1NMΣn=0N-1Σm=0M-1(fi-1,j(n,m)-bi-1,j)2;]]>mi+1,j=1NMΣn=0N-1Σm=0M-1(fi+1,j(n,m)-bi+1,j)2;]]>其中N为图像块一行中包含的像素个数，M为图像块一列中包含的像素个数，fi，j(n，m)、fi，j-1(n，m)、fi，j+1(n，m)、fi-1，j(n，m)、fi+1，j(n，m)分别表示块Bi，j、Bi，j-1、Bi，j+1、Bi-1，j、Bi+1，j中位于(n，m)位置像素的灰度，i表示图像块所在整帧图像的行块号，j表示图像块所在整帧图像的列块号，且0≤i≤Kv-1，0≤j≤Kh-1，0≤n≤N-1，0≤m≤M-1，Kh表示图像帧中水平方向的图像块个数，Kv表示图像帧中垂直方向的图像块个数，bi，j、bi，j-1、bi，j+1、bi-1，j和bi+1，j分别为块Bi，j、块Bi，j-1、Bi，j+1、块Bi-1，j、块Bi+1，j的平均亮度。
15.如权利要求11或12所述的一种方块效应度量方法，其特征在于，所述步骤b2具体为确定块Bi，j的孤立方块效应度量disoi，j为disoi，j＝dlpmi，j+drpmi，j+dtpmi，j+dbpmi，j。
16.一种视频质量评估方法，其特征在于，包括步骤a’、根据图像帧中各图像块和与其相邻块中像素的灰度信息确定各图像块的原始方块效应度量；b’、根据人类视觉感知特性对所述各原始方块效应度量进行掩盖处理，以获取各图像块的孤立方块效应度量；c’、根据所述各图像块的孤立方块效应度量确定图像帧的视频质量。
17.如权利要求16所述的一种视频质量评估方法，其特征在于，所述步骤c’具体包括步骤c1、根据图像帧中各图像块的孤立方块效应度量从大到小的顺序选取预定个数的图像块；c2、将所述预定个数的图像块中相互相邻的块聚合成至少一个集群；c3、根据所述各集群中图像块的方块效应度量确定各集群的集群方块效应度量；c4、根据所述各集群方块效应度量确定所述图像帧的视频质量。
18.如权利要求17所述的一种视频质量评估方法，其特征在于，所述步骤c2具体包括步骤c21、设定m的初始值；c22、判断预定个数的图像块中是否存在没有聚合到集群中的图像块；如果不存在，步骤c2结束；如果存在，到步骤c23；在步骤c23，将孤立方块效应度量值最大且未被聚合到任一个集群的图像块作为Cm集群的核；到步骤c24、根据孤立方块效应度量值由大到小的顺序，查找与Cm集群中的任一图像块相邻且未被聚合到其它集群的图像块，并将其加入到Cm集群中，成为Cm集群中的图像块；到步骤c25、重复步骤c24，直到没有与Cm集群相邻的块，或者直到Cm集群包含的图像块的个数超过预定门限NT2，停止Cm集群的聚合过程，存储Cm集群中图像块的个数，到步骤c26；c26、m＝m+1，返回步骤c22。
19.如权利要求17所述的一种视频质量评估方法，其特征在于，所述步骤c3具体为根据所述各集群中的图像块的孤立方块效应度量确定各集群的集群方块效应度dcm为dcm=M-k1(Σs=0M1-1dlsiso);]]>其中dlsiso为图像块的孤立方块效应，M1为该集群中的图像块个数，0＜k1＜1。
20.如权利要求17、18或19所述的一种视频质量评估方法，其特征在于，所述步骤c4具体为根据所述各集群方块效应度量从大到小的顺序选取NT3个集群方块效应度量，并根据所述选取的集群方块效应度量确定所述图像帧的视频质量FB为FB=1NT3Σn=0NT3-1dc(n);]]>其中dc(n)为根据集群方块效应度量从大到小的顺序选取的第n个集群方块效应度量。
全文摘要
本发明提供一种方块效应度量方法和视频质量评估方法，本发明通过在方块效应度量方法中充分结合人类的视觉感知特性，使本发明的基于方块效应度量的视频质量评估结果更接近人类对视频质量的主观评价结果；由于本发明提供的基于方块效应度量的视频质量评估方法是一种简单的无参考的客观视频质量评估方法，使本发明能够广泛地用于视频通信中，本发明的方块效应度量方法和视频质量评估方法还可以和其它有参考的视频质量评估方法结合起来对视频质量进行综合评估；从而实现了提高客观视频质量评估结果的准确性，提高视频通信类产品的性能和市场竞争力，加速视频通信业务的普及，帮助电信运营商向社会公众大规模提供多媒体增值业务的目的。
文档编号H04N7/14GK1885954SQ200510077398
公开日2006年12月27日 申请日期2005年6月23日 优先权日2005年6月23日
发明者罗忠, 杨付正, 万帅, 常义林 申请人:华为技术有限公司