专利名称：Motion Jpeg2000视频客观质量的无参考评估方法
技术领域：
本发明属于数字视频技术领域，具体来说涉及一种Motion Jpeg2000 视频客观质量无参考评估方法。
背景技术：
在多媒体通信系统中，最主要的媒体形式为数字视频。数字视频在对 模拟视频信号进行采样、压缩编码、网络传输、解码还原等环节的处理过 程中，引入了误差和信息失真(Distortion )。视频质量评估(Video Quality Assessment)作为度量数字视频失真的一种有效手段，显得日益重要。例 如在视频编解码领域，可以根据视频质量评估的结果优化编解码器的性能 和参数，设计符合人类视觉系统的视频编解码设备；在无线通讯领域，可 以根据终端获得的视频质量调节前端编码器或传输信道的参数，以保证视 频质量在人眼可以接受的范围之内。
视频质量评估包括主观质量评估和客观质量评估。主观质量评估依赖 人眼观察结果，评估结果可靠。但是，由于该方法对于观察者有严格要求， 且测试的条件苛刻，观察的过程复杂，耗费的时间多，在实际中很难普遍 应用。客观质量评估采用定量的方法测量视频的图像质量，并通过处理器 自动计算实现，效率高，过程中无人工参与。但是，目前的视频客观质量 评估方法都存在评估结果与主观质量评估结果不一致的缺点。视频客观质 量评估的方法主要包括三类全参考、部分参考和无参考的视频质量评估 方法。在实际应用中，通常无法获得原始视频序列，所以无参考的视频客 观质量评估方法成为未来编码领域和无线通信领域;见频质量评估发展的 方向。
目前，无参考的视频客观质量评估方法一般根据视频序列中某些特殊 失真类型特性的失真程度来实现。比如在基于DCT块编码的H26x、
Mpeg2、 Mpeg4和Motion Jpeg等编码视频中，由于相邻块在编码中相互 独立的DCT变换和粗糙的量化过程，常会引入的失真是方块效应(blocking artifacts);在基于小波变换的Motion Jpeg2000编码视频中，常会引入的失真是边缘才莫糊(blurring)和震荡效应(ringing)。
Motion Jpeg2000 (MJ2 )是JPEG2000标准中的第三部分，是在标准 第一部分的基础上对运动图^f象进行编解码的压缩标准。在MJ2中，编码首 先对连续^f见频进行逐帧帧内编码，帧内编码采用标准第一部分所述的核心 编码算法，然后将已压缩的视频数据按一定的顺序连接起来，并加入相应 的meta-data信息，编成标准的MJ2文件码流。与其他编码标准相比，MJ2 只进行帧内编码，没有采用帧间预测和补偿，因而具有任何一帧图像解码 与其他帧无关的优点，从而具有更强的抗干扰能力。MJ2广泛应用在数码 设备、医学诊断以及无线通讯等领域中。在这些应用中，很多场合下无法 获得原始视频序列，传统的客观质量评估方法(PSNR和MSE等)不能 发挥作用。因而开发能够有效度量MJ2视频客观质量的无参考评估方法十 分必要。
发明内容
本发明提供了 一种Motion Jpeg2000视频客观质量的无参考评估方法。 一种采用本发明Motion Jpeg2000视频客观质量的无参考评估方法， 包括
(1) 输入Motion Jpeg2000视频并对其进行解码得到解码后的还原图 像，Motion Jpeg2000视频简称MJ2视频；
其中用于MJ2视频解码的是一个标准的MJ2码流解析器。
(2) 对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征。
(3) 将每帧还原图像的全局特征代入到一个经过训练的函数模型，输出 该还原图像每帧的帧g观质量。
(4) 计算加权系数函数获得还原图像的加权系数，对还原图像的帧M 观质量进行加权得到还原图像的序列级评估质量。
所述的对每帧还原图像都进行特征提取，得到每帧还原图像的全局特 征包括以下步骤
1) 用边缘探测算子检测一帧还原图像中的边缘点；
2) 计算该还原图像中的结构化紋理系数；
3) 提取还原图像中的结构化紋理区域的边缘点的位置信息；
4) 对步骤3)获得的每个边缘点，计算每个边缘点梯度方向，按照8类模板提取与梯度方向垂直的像素点，作为还原图像的边缘点的
局部特征；
5)将所有还原图像的边缘点的局部特征求平均值，并且归一化后， 作为还原图像的全局特征。
所述的将每帧还原图像的全局特征代入到 一个经过训练的函数模型， 经过训练状态和测试状态输出该还原图像每帧的帧级客观质量的具体过 程如下
1) 将每帧还原图像的全局特征FG(/)代入到一个经过训练的函数模 型"=;1 +碼(/),/ = 1，2,...^中。其中A为lxd维加权向量，^是dxd维加
权矩阵，d为输入向量全局边缘特征的维数。
2) 函数模型进入训练状态训练样本采用LIVE实验室提供的 JPEG2000图像数据库H. R. Sheikh, Z. Wang， A. C. Bovik et al. LIVE image quality assessment database release 2. http:〃live.ece.utexas.edu/research /quality。其中包括169张不同压缩率下的JPEG2000图^f象及其相对应的主 观质量评估结果(DMOS)。提取数据库样本的全局特征。将样本的全局 特征和相应的主观质量评估结果(DMOS)作为模型的输入，完成客观质 量与主观质量拟合。权值义和爿每一维的候选值范围是
，步长为 0.01，因此模型在100^^个训练回合后终止训练。(达到什么样的情况算
是符合条件？)预测客观质量込与主观质量^DM0S绝对残差之和Z/SSE最
小的那组候选值成为最终的权值义和^。
,=169
AsSE = Z |仏- 2dMOS /=1
3) 函数模型进入测试状态利用训练状态得到的模型具体参数A和爿 到模型2"=义+ ^&(0" = l，2,...d中，输入待测试的每帧还原图像的全局特 征F(3(Z),输出该还原图像的帧M^观质量。
所述的计算加权系数函数获得还原图像的加权系数包括以下步骤
1) 对还原图像当前帧的帧级质量仏与上 一 帧的帧级质量gn - i进行比 较，并根据加权系数函数获得还原图像当前帧的加权系数。
2) 对还原图像的帧级客观质量进行加权得到还原图像的序列级评估 质量。
本发明方法能够在缺乏原始视频序列的情况下，准确地反映出MotionJPEG2000s视频图像的客观质量，在3G无线网络和IP ^L频系统中可以用 来调节编解码和信道参数，监测图像的实时传输质量，有着广泛的应用前 景。
图1为本发明方法的流程图2为本发明8类边缘点的局部特征提取模板示意图； 图3为本发明方法特征提取操作流程图； 图4为本发明方法加权系数曲线图5为本发明方法对^L频序列Horizontal scrolling的帧级预测质量图； 图6为本发明方法对一见频序列Horizontal scrolling的序列级预测质量图。
具体实施例方式
下面结合附图对本发明的一种采用本发明Motion Jpeg2000 4见频客观 质量的无参考评估方法通过实施例来进行详细说明。
如图1所示， 一种采用本发明Motion Jpeg2000^L频客^L质量的无参 考评估方法，包括
(1) 输入Motion Jpeg2000视频并对其进行解码得到解码后的还原图 像，Motion Jpeg2000视频简称MJ2视频；
其中用于MJ2视频解码的是一个标准的MJ2码流解析器。
(2) 对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征。
(3) 将每帧还原图像的全局特征代入到一个经过训练的函数模型，输出 该还原图像每帧的帧M观质量。
(4) 计算加权系数函数获得还原图像的加权系数，对还原图像的帧^ 观质量进行加权得到还原图像的序列级评估质量。
对每帧还原图像都进行特征提取的具体过程如图3所示，包括以下步
骤
1)用边缘检测算子探测一帧还原图像中的边缘点。
设一帧还原图像的亮度分量为/(/，力，利用边缘^r测Canny算子得到相应的边缘轮廓五(/，y')。如果像素点属于边缘轮廓，则E(/,/)为l;如果像 素点不属于边缘轮廓，则力为0。边缘检测Canny算子是一种标准的 边缘检测算法。
2)计算该还原图像的结构化紋理系数；
a)将还原图像的亮度分量为/(/, y')划分为互不重叠的8x8块，每 个块的边缘紧挨，但是互相不重叠。计算块内每个像素点的梯 度方向。
W，y') = arctan
(1)
3)
G"ver(/，力和Gh。r(/，力分别代表像素点(/,力的垂直和水平梯度，《/,力
为像素点(/,y')的梯度方向，计算后的《/，力分为4种方向 &/， /) e {0。或180。, 450或225°, 90。或270。, 135。或315。}
b)统计每个8x8块内方向的种类数Cd和总边缘点数"e，其中We
为该8x 8块内边缘轮廓五((力值为1的像素点总个数。当总边 缘点数大于给定阈值n/ (n/= 16)，则置标号Ce为l，否则为 0。那么该8x8块的结构紋理系数r (/,y)可以由如下公式(2) 表示。Ce是一个标志符，用于公式(2)的计算，标志着该8x8 块内属于边缘轮廓的像素点比较多。
'1 if(c,O) 2
r(/j) = J2-ce
1-Ce
0
提取还原图像的结构化紋理区域的边缘点的位置信息。
a)使用形式为[O， 1， 0; 1, 2, 1; 0, 1， O]的3x3滤波模板对r(/,力进行 平滑处理后，检测在图像结构紋理区域内的边缘轮廓。通过公 式(3)保留结构紋理系数大于给定阈值f的区域内的边缘轮廓， 其中T' = 1,该边缘轮廓由一系列边缘点构成。
if (~ = 1) if= 2) if (c, = 3) else
(2)￡ (,力')=!卯，力i柳,力〉T" t ， 0 otherwise (3)
4) 对步骤3)获得的边缘轮廓中的每个边缘点，计算每个边缘点 的梯度方向，按照8类模板，如附图2所示，提取边缘轮廓中 与梯度方向垂直的像素点，作为局部特征。 设图像结构紋理区域内，坐标为(/,力的边缘点像素为/(/,_/)， A:= 1， 2,…，K表示边缘点的序号。边缘点的梯度方向^，力分为8
类^，力"0。,45。,90。,135。，180。,225°,270°,315。}。才艮据归类后
的梯度方向^(z'，刀，局部边缘特征凡k(/)按照8类模板提取。附
图2中，中心黑点表示边缘像素/(/,力，虚线箭头表示梯度方向 ^W)，沿实线箭头方向的灰点表示边缘点的相邻像素。第A个 局部边缘特征Fj(/)由黑色和灰色点集组成，/表示局部边缘特 征中，组成特征向量的元素索引，取值范围是[l， 2N+1]，其中 N表示提取模板的宽度，N取值为9。
、-N),…,/ *(-1),;/(/，力，/ 、1),…,/ 、-N)) (4)
5) 将所有边缘点的局部特征求平均值，并且归一化后，作为图像 的全局特征。
a) 根据式(5)求取图像结构紋理区域内K个边缘点的平均局部边 缘特征Fmean(/)。
F』=4lX(/) = (/;，/ = l, ...,2N+1} (5)
b) 根据式(6)对平均局部边缘特征进行归一化处理，得到每帧还原
图像的全局特征FG(/)，式中minFmean(/)表示一个序列中最小的 平均局部边缘特征，maxFmean(/)表示一个序列中最大的平均局 部边缘特征。
= ~F脂加。-mm(^謂(0)_ = l…,2N+1K6)将每巾贞还原图像的全局特征代入到 一个经过训练的函数模型，经过训
练状态和测试状态输出该还原图像每帧的帧M^观质量的具体过程如下
1) 将每帧还原图像的全局特征尸g(/)代入到一个经过训练的函数 模型，模型如式(7)所示
0^义+矽g(/),/:l,2" j (7) 其中义为lxd维加权向量，^是dxd维加权矩阵，d为输入向量全局 边缘特征的维数。
2) 函数模型进入训练状态训练样本采用LIVE实验室提供的 JPEG2000图像数据库H. R. Sheikh, Z. Wang， A. C. Bovik et al. LIVE image quality assessment database release 2. http:〃live.ece.utexas.edu/research/quality。其中包才舌169张不同压 缩率下的JPEG2000图像及其相对应的主观质量评估结果
(DMOS)。提取数据库样本的全局特征。将样本的全局特征和 相应的主观质量评估结果(DMOS)作为模型的输入，完成客 观质量与主观质量拟合。权值义和^每一维的候选值范围是 [O.Ol，l]，步长为0.01,因此模型在100^,个训练回合后终止
训练。预测客观质量込与主观质量2DMOS绝对残差之和^sse
最小的那组候选值成为最终的权值A和4,其中Asse可以由(8) 式求得
,=169
Asse = S |么-2dmos (8)
3) 函数模型进入测试状态利用训练状态得到的模型具体参数;i 和X到式(7)中，输入待测试的每帧还原图像的全局特征FG(/)， 输出该还原图像的帧级客观质量。
计算加权系数函数获得还原图像的加权系数包括以下步骤
对还原图像当前帧的帧级质量a与上一帧的帧级质量込-i进行比 较，并根据加权系数函数获得还原图像当前帧的加权系数。
a)定义一般质量加权系数函数Fi(x)和失真质量加权系数函数 F2(x),式(9)为具体表达式，加权曲线如附图4所示。其中一般 质量加权系数函数的系数分别为al =0.5，bl =0.4,cl =0.4，失 真质量加权系数函数的系数分别为a2 = 1, b2 = 2, c2 = 0.5。 〃=0.7，用于区分当前帧的帧级质量"的属性，如果">/ ,
则当前帧的帧级质量为一^^量，否则为失真质量。
F,(义)=a, + A x log(l + Cl x而,必> / ) (9) F2(x), + 62 x log(l + c2 x ), & S々)
b) 当第O帧时，加权帧数/0 = 0,加权系数,-Fi(/"o)。
c) 当第n帧时，加权帧数/n和加权系数wo由以下关系决定，式(IO) 为具体表达式。其中a-O. 2，表示当前帧的帧级质量gn与上 一帧的帧级质量a-i的绝对差
/ = /" +1, A = F,(/")，(abs必-,) < " & &^ 〉釣 / = +1，w = F2(厶)，(abs(" — 0^—,) < " &&2 ^釣(10) / = 0, w = F, (/ )， (abs(2" —,) ^ " & &0> > = 0，气=F2(/J,(abs必-区—,)^ " &&0>《")
加权帧数/^
中的整数。 对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质 量具体操作如下
通过式(ll)计算还原图像的第O帧到当前帧M的序列级评估质量，其 中M可以是序列的最后一帧，也可以是序列的中间某一帧
w
Z , x 2"
l"2^—— (11)
附图5和附图6是本发明预测真实视频序列Horizontal scrolling(视频 序列来源Video Quality Experts Group (VQEG) Phase I测试-现频集， http:〃www.vqeg.org)的客观质量评估结果。附图5显示序列21帧到220 帧，每帧的预测帧M4^观质量。(序列的0至20帧由于质量不稳定，不参 加客观质量的预测)附图6显示从0至x秒(x= [1,8.8]，每秒有25帧图 像)的序列级客观质量。
权利要求
1. 一种Motion Jpeg2000视频客观质量的无参考评估方法，包括以下步骤(1)输入Motion Jpeg2000视频并对其进行解码得到解码后的还原图像；(2)对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征；(3)将每帧还原图像的全局特征代入到一个函数模型，函数模型经过训练状态和测试状态后输出该还原图像每帧的帧级客观质量；(4)计算加权系数函数获得还原图像的加权系数，对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量。
2. 根据权利要求1所述的Motion Jpeg2000视频客观质量的无参考评 估方法，其特征在于，所述步骤(2)中的特征提取包括以下步骤1) 用边缘探测算子检测一帧还原图像中的边缘点；2) 计算该还原图像中的结构化紋理系数；3) 提取还原图像中的结构化紋理区域的边缘点的位置信息；4) 对步骤3)获得的每个边缘点，计算每个边缘点梯度方向，按照8 类模板提取与梯度方向垂直的像素点，作为还原图像的边缘点的 局部特征；5) 将所有还原图像的边缘点的局部特征求平均值，并且归一化后， 作为还原图像的全局特征。
3. 根据权利要求1所述的Motion Jpeg2000视频客观质量的无参考评 估方法，其特征在于，步骤(3)中所述的函数模型为 g = ;i + ^Fc(/)，/ = l,2,...d;其中;i为lxd维加权向量,^是dxd维加权矩阵， d为输入向量全局边缘特征的维数，F(j(/)为还原图像的全局特征；所述的训练状态为利用样本的全局特征和相应的主观质量评估结果 作为模型的输入，完成客观质量与主观质量拟合；将样本的全局特征和相 应的主观质量评估结果作为模型的输入，完成客观质量与主观质量拟合， 将预测客观质量与主观质量的绝对残差之和最小的那组候选值成为最终 的权值沐爿；所述的测试状态为利用训练状态得到的模型具体参数;i和^到模型<formula>formula see original document page 3</formula>中，输入待测试的每帧还原图像的全局特征，输 出该还原图像的帧级客观质量。
4.根据权利要求1所述的Motion Jpeg2000视频客观质量的无参考评 估方法，其特征在于，步骤(4)所述的计算加权系数函数获得还原图像的加 权系数包括以下步骤[1 )对还原图像当前帧的帧级质量a与上一帧的帧级质量进行比 较，并根据加权系数函数获得还原图像当前帧的加权系数；[2)对还原图像的帧级客观质量进行加权得到还原图像的序列级评估 质量。
全文摘要
本发明公开了一种Motion Jpeg2000视频客观质量的无参考评估方法，包括以下步骤1)输入MJ2视频并对其进行解码得到解码后的还原图像；2)对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征；3)将每帧还原图像的全局特征代入到一个函数模型，函数模型经训练状态和测试状态后输出该还原图像每帧的帧级客观质量；4)计算加权系数函数获得还原图像的加权系数，对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量。该方法能在缺乏原始视频序列的情况下，准确地反映出MJ2视频图像的客观质量，在3G无线网络和IP视频系统中可用来调节编解码和信道参数，监测图像的实时传输质量，有广泛的应用前景。
文档编号H04N17/00GK101478691SQ20081016359
公开日2009年7月8日 申请日期2008年12月31日 优先权日2008年12月31日
发明者桦 张, 威 朱, 陈耀武 申请人:浙江大学