视频匹配装置，方法以及程序的制作方法

专利名称：视频匹配装置，方法以及程序的制作方法
技术领域：
本发明涉及一种视频处理技术，尤其涉及一种使视频的主观品质评价 所采用的基准视频与劣化视频在时间以及空间上进行匹配的视频匹配技 术。
背景技术：
采用由沿着时间轴排列的多个视频帧(静态画面)构成的视频信号的 物理特征量来推定主观品质的客观品质评价法中，有一种采用基准视频和 劣化视频对于所希望的评价对象推定主观品质评价值的技术。所谓劣化视 频，是指因对基准视频的编码或网络传送等的信号处理、即因评价对象中 的损失而劣化的视频。
在这样的技术中，当基准视频与劣化视频之间存在时间方向或空间方 向的偏差时，由于无法高精度地推定客观品质评价值，因此使基准视频和 劣化视频适当进行匹配较为重要。
以往所提出的采用基准视频和劣化视频推定主观品质评价值的技术
(参照例如特开2004 — 080177号公报，USP5446492、 USP6704451等)，
在假设TV播放的情况下，能够对严格同步的信号或者相同的视频大小/ 帧率信号适当地推定主观品质评价值。因此，这些技术的前提在于，采用 预先匹配的基准视频和劣化视频、或者采用在图像的开始时刻简单地匹配 了的基准视频和劣化视频。
但是，近年来开始普及的采用因特网等IP网络的视频配信服务或视频 通信服务中，由于在个人计算机(PC)终端接收视频，因而基准视频和劣 化视频的大小或纵横(aspect)比不同，因网络性能引起的视频品质的劣 化变大，难以进行基准视频和劣化视频在空间或时间上的匹配。因此上述 技术中，都难以适当地推定主观品质评价值。
对此，发明者们提出了一种技术，使基准视频与劣化视频的信号格式
一致，并且通过按每帧对这些视频信号进行宏(macro)或微(micro)匹 配处理，从而实现基准视频与劣化视频在时间方向或空间方向的匹配得到 客观评价结果(参照例如WO2005/020592A1等)。
然而，在该以往技术中，基准视频与劣化视频，虽然在例如关于像素 数伸縮 变形整数倍时是能够进行适当匹配的，但是在仅伸縮 变形几个 像素时，是无法完全对应的。
尤其，通过成为评价对象的视频编码化或传送系统等的信号处理，也 会有时将视频本身伸縮*变形仅几个像素，有时基准视频自身最开始就变 得模糊，有时劣化的程度很大。关于这样的视频信号，存在如下情况，即 虽然一部分进行了匹配，但在此以外的很多区域没有进行匹配，因而无法 对基准视频与劣化视频进行最佳化。
因此，在得到客观品质评价值时，有关视频匹配是否适当需要具备专 业知识的评价者根据经验来判断。因而，在没有具备专业知识的评价者的 情况下，无法判断得到客观品质评价时的视频匹配是否适当，结果，存在 无法推定适当的主观品质评价值的问题。

发明内容
本发明就是为解决这样的问题而产生的，其目的在于提供一种不用具 备专业知识的评价值根据经验判断，便能够判断得到客观品质评价时的视 频匹配是否适当的视频匹配装置、方法、以及程序。
为了实现这样的目的，本发明的视频匹配装置，具备匹配状态检测机构， 其输入由沿着时间轴排列的多个基准视频帧构成的任意基准视频，和由这 些基准视频帧因任意的评价对象而劣化后的劣化视频帧构成的劣化视频， 按每个劣化视频帧，从和该劣化视频帧具有规定帧数以内的时间偏差的多 个基准视频帧中，检测出处于与该劣化视频帧在空间以及时间上匹配的匹 配状态的基准视频帧；匹配度导出机构，其导出表示处于匹配状态的基准 视频帧与劣化视频帧之间的匹配程度的匹配度；匹配信息输出机构，其将 基于匹配状态匹配后的基准视频以及劣化视频和匹配度输出；和劣化量导 出部，其将表示任意的两个视频帧之间的劣化程度的劣化量导出；通过匹
配度导出机构，对劣化量导出部进行控制，获得第一劣化量以及第二劣化 量，该第一劣化量表示处于匹配状态的基准视频帧与劣化视频帧之间的劣 化量，该第二劣化量表示在从匹配状态偏差规定像素数的状态下基准视频 帧与劣化视频帧之间的劣化量，基于这些第一劣化量与第二劣化量之比算 出上述匹配度。
另外，本发明涉及的视频匹配方法，包括匹配状态检测步骤，输入 由沿着时间轴排列的多个基准视频帧构成的任意基准视频，由这些基准视 频帧因任意的评价对象而劣化后的劣化视频帧构成的劣化视频，由匹配状 态检测机构，按每个劣化视频帧，从与该劣化视频帧具有规定帧数以内的 时间偏差的多个基准视频帧中，检测出处于与该劣化视频帧在空间以及时 间上匹配的匹配状态的基准视频帧；匹配度导出步骤，由匹配度导出机构 导出表示处于匹配状态的基准视频帧与劣化视频帧之间的匹配程度的匹 配度；匹配信息输出步骤，由匹配信息输出机构将基于匹配状态匹配后的 基准视频以及劣化视频和匹配度输出；和劣化量导出步骤，由劣化量导出 部将表示任意的两个视频帧之间的劣化程度的劣化量导出，匹配度导出步 骤，由以下步骤组成采用劣化量导出步骤，获得第一劣化量以及第二劣
化量的步骤，其中该第一劣化量表示处于匹配状态的基准视频帧与劣化视 频帧之间的劣化量，该第二劣化量表示在从匹配状态偏差规定像素数的状
态下基准视频帧与劣化视频帧之间的劣化量；和基于这些第一劣化量与第
二劣化量之比算出匹配度的步骤。
另外，本发明涉及的程序，是一种使视频匹配装置的计算机执行的程 序，该视频匹配装置，输入由沿着时间轴排列的多个基准视频帧构成的任 意基准视频，和由这些基准视频帧因任意的评价对象而劣化后的劣化视频 帧构成的劣化视频，使这些基准视频与劣化视频在空间以及时间上匹配并
输出，该程序包括如下匹配状态检测步骤，输入由沿着时间轴排列的 多个基准视频帧构成的任意基准视频，和由这些基准视频帧因任意的评价 对象而劣化后的劣化视频帧构成的劣化视频，由匹配状态检测机构，按每 个劣化视频帧，从与该劣化视频帧具有规定帧数以内的时间偏差的多个基 准视频帧中，检测出处于与该劣化视频帧在空间以及时间上匹配的匹配状 态的基准视频帧；匹配度导出步骤，由匹配度导出机构导出表示处于匹配
状态的基准视频帧与劣化视频帧之间的匹配程度的匹配度；匹配信息输出
步骤，由匹配信息输出机构将基于匹配状态匹配后的基准视频以及劣化视
频和匹配度输出；和劣化量导出步骤，由劣化量导出部将表示任意的两个 视频帧之间的劣化程度的劣化量导出，并且，作为匹配度导出步骤，执行 以下步骤采用劣化量导出步骤，获得第一劣化量以及第二劣化量的步骤，
该第一劣化量表示处于匹配状态的基准视频帧与劣化视频帧之间的劣化 量，该第二劣化量表示在从匹配状态偏差规定像素数的状态下的基准视频 帧与劣化视频帧之间的劣化量，和基于这些第一劣化量与第二劣化量之比 算出匹配度的步骤。
采用本发明，由于基于在基准视频与劣化视频在空间以及时间上最匹 配的匹配状态时表示基准视频帧与劣化视频帧之间的劣化量的第一劣化 量、与在从匹配状态偏差规定像素数的状态下表示基准视频帧与劣化视频 帧之间的劣化量的第二劣化量之比，计算表示匹配的程度的匹配度，因此 能够算出匹配度作为表示视频匹配的最佳程度的指标。
因此，不需要具备专门知识的评价者根据经验判断，便能够判断在得 到客观品质评价值时的视频匹配是否适当。这样，能够容易推定适当的主 观品质评价值，最终，在视频服务中能够实现考虑了品质的开发或服务提 供。


图1是表示本发明的一实施方式涉及的视频匹配装置的结构的框图。
图2是表示本发明的实施方式涉及的视频匹配装置的视频匹配处理的 流程图。
图3是表示格式变换确认用的基准测试视频例的说明图。
图4是表示位置匹配/匹配范围确认用的基准测试视频例的说明图。
图5是表示可局部变形处理的范围确认用的基准测试视频例的说明图。
图6是表示亮度/颜色出现分布确认用的基准测试视频例的说明图。
图7是表示显示时刻的匹配例的说明图。
图8是表示显示时刻的其它匹配例的说明图。
图9是表示显示时刻的其它匹配例的说明图。
图IO是表示时间方向的宏同步处理例的说明图。
图11是表示时间方向的微同步处理例的说明图。
图12是表示匹配状态检测处理中的劣化量与帧间差值的计算例的说 明图。
图13是表示基于匹配状态的匹配特性变化的说明图。
图14是表示基于基准视频的精细度的匹配特性变化的说明图。
图15是表示像素偏差的说明图。
图16是表示本发明的其它实施方式的视频匹配装置的结构的框图
具体实施例方式
下面，参照附图对本发明的实施方式进行说明。
(视频匹配装置)
首先，参照图l对本发明的一实施方式的视频匹配装置进行说明。图 1为表示本发明的一实施方式的视频匹配装置的结构的框图。
视频匹配装置100，由对输入信号进行任意的运算处理，得到所希望 的输出信号的信号处理装置构成，是一种输入由沿着时间轴排列的多个视 频帧(静态画面)构成的任意基准视频1、和该基准视频1因编码化信号 处理或网络传送等任意的评价对象而劣化后的劣化视频2，输出使劣化视 频2与基准视频1在空间或者时间上匹配后的视频以及与匹配处理有关的 各种匹配处理信息的装置。
本实施方式中，基于第一劣化量与第二劣化量之比，算出并输出表示 匹配的程度的匹配度，其中该第一劣化量表示在基准视频和劣化视频处于 在空间以及时间上最匹配的匹配状态时基准视频帧与劣化视频帧之间的 劣化量，第二劣化量表示在从匹配状态偏差规定像素数的状态下基准视频 帧与劣化视频帧之间的劣化量。
该视频匹配装置100中，设置有格式变换部10、显示时刻匹配部20、 视频匹配部30、劣化量导出部40、以及匹配参数导出部50。
这些功能部，由信号处理电路部或运算处理部进而存储部实现。其中， 运算处理部，具有CPU或DSP等微处理器与其周边电路，通过从微处理
器内部或周边电路的存储器或者存储部中读入程序并执行，从而实现各种 功能部。另外，存储部由硬盘或存储器等存储装置构成，对信号处理电路 部或运算处理部所采用的各种处理信号、基准视频或劣化视频的视频数 据、进而程序进行存储。
格式变换部10，由信号处理电路或运算处理部组成，具有将劣化视 频2的信号格式变换成基准视频1的信号格式的功能、和将通过该格式变 换所得到的格式变换后的劣化视频2A输出的功能。
显示时刻匹配部20，由信号处理电路或运算处理部组成，具有使格
式变换后的劣化视频2A的视频帧数和其显示时刻与基准视频1匹配的功 能、和将通过该匹配所得到的时间匹配后的劣化视频2B输出的功能。
视频匹配部30，由信号处理电路或运算处理部组成，具有对所输入的 基准视频1和劣化视频2B在各个视频帧分别进行匹配处理，将匹配后的 基准视频或劣化视频进而其匹配度等、与视频匹配处理有关的各种匹配信 息输出的功能。
该视频匹配部30，作为具体的功能机构，设置有宏(macro)同步机 构31、微(micro)同步机构32、匹配状态检测机构33、匹配度导出机构 34以及匹配信息输出机构35。
宏同步机构31，通过对从所输入的基准视频1与劣化视频2B中分别 提取的规定的视频特征量的推移进行比较，从而将基准视频1与劣化视频 2B的宏帧差导出的功能。
微同步机构32，具有从通过宏同步机构31使之宏同步的基准视频 1与劣化视频2B中，选择任意的劣化视频帧与相对该劣化视频帧具有规 定帧数以内的时间偏差的多个基准视频帧形成的帧对(frame pair)，对劣 化量导出部40进行控制获得这些帧对的劣化量的功能、和基于这些帧对 中劣化量最小的帧对，导出基准视频1与劣化视频2B之间的微帧差的功 能。
匹配状态检测机构33，具有针对根据宏帧差以及微帧差使之同步的基 准视频1与劣化视频2B，按每个劣化视频帧，从与该劣化视频帧之间具 有规定帧数以内的时间偏差的多个基准视频帧中，检测出处于与该劣化视 频帧在空间以及时间上匹配的匹配状态的基准视频帧的功能。
匹配度导出机构34，具有将表示处于匹配状态的基准视频帧与劣化视频帧之间的匹配程度的匹配度导出的功能。更具体来说，对劣化量导出部40进行控制，获得第一劣化量以及第二劣化量，该第一劣化量表示处于匹 配状态的基准视频帧与劣化视频帧之间的劣化量，第二劣化量表示在从匹 配状态偏差规定像素数的状态下的基准视频帧与劣化视频帧之间的劣化 量，并基于这些第一劣化量与第二劣化量之比算出匹配度。这时，将基于 ITU-TR910的规定算出的基准视频的空间特征量(SI)乘以上述比算出匹 配度。
匹配信息输出机构35，具有输出包含每个劣化视频帧的匹配度的、与 这些视频匹配处理有关的匹配信息的功能。
劣化量导出部40，由信号处理电路或运算处理部组成，具有导出任 意两个视频帧之间的信噪比作为劣化量的功能、导出任意两个视频帧之间 的各像素值差值的平均值作为帧间差值的功能、和将这些劣化量以及帧间 差值向视频匹配度30输出的功能。
具体来说，劣化量导出部40，根据来自匹配度导出机构34的指示， 算出基准视频帧与劣化视频帧之间的信噪比作为第一劣化量。并且，根据 来自匹配度导出机构34的指示，算出处于匹配状态的基准视频帧、与处 于在从匹配状态在横向、纵向以及纵横两个方向分别偏差规定像素数且的 状态下的多个劣化视频帧之间的平均信噪比作为第二劣化量。并且，根据 来自匹配状态检测机构33的指示，算出基准视频帧与劣化视频帧之间的 信噪比作为劣化量。
匹配参数导出部50，由信号处理电路或运算处理部组成，具有对规 定的基准测试视频3与该基准测试视频3因评价对象而劣化了的劣化测试 视频4进行比较的功能、和将视频匹配处理所采用的各种匹配参数导出的 功能。
(视频匹配装置的动作) 接着，参照图2，对本实施方式的视频匹配装置的动作进行说明。图 2为表示本实施方式的视频匹配装置的视频匹配处理的流程图。另外，在 此，在基准视频1与劣化视频2中包含帧率信息或者帧显示时刻/取入时刻 信息， 一边将成为处理对象的帧前后的多帧基准视频以及劣化视频储存在
存储部中 一边非实时执行处理。
视频匹配装置100，在基准视频1与劣化视频2的匹配之前，通过匹 配参数导出部50，对基准测试视频3以及劣化测试视频4进行比较将各种 匹配参数导出(步骤100)。
这时，也可以将预先保存在视频匹配装置100中的基准测试视频3输 入评价对象，并接受作为其输出的劣化测试视频4。这些基准测试视频3 以及劣化测试视频4，可以是实际的信号，也可以是表示信号值的数据列 组成的数据文件。
但是，劣化测试视频4的信号形式或尺寸虽然与基准测试视频3不同，
但在能够根据输入数据文件的头信息等事先识别的情况下，采用与格式变 换部10同样的处理方法将劣化测试视频4变换成与基准测试视频3同样 的形式之后导出匹配参数。
在匹配参数导出部50中，在步骤S100导出匹配参数时，釆用图3 图6所示这样的基准测试视频，导出各种匹配参数。
图3为格式变换确认用的基准测试视频例。该基准测试视频3A，是 方格花纹等将相同形状样子的亮度(也包括颜色)设为最大和最小的测试
、 如果采用这样的基准测试视频3A，则由于样子位置关系或尺寸的不 同，因此能够导出基准测试视频3和劣化测试视频4的视频放大縮小率5A 作为匹配参数。并且，如果采用基准测试视频3A，则能够根据基准视频 与劣化视频的最大/最小亮度值(也包含颜色)导出基准测试视频3和劣化 测试视频4中的亮度出现范围5B作为匹配参数。
图4是位置匹配/匹配范围确认用的基准测试视频例。该基准测试视频 3B，是指在视频中分散在很宽范围的多个地方加入了用小点(pinpoint) 表示其位置的记号的测试视频，即使特定的点劣化难以看清，也能够根据 周围的样子推定该点。
采用这样的基准测试视频3B，则能够导出基准视频与劣化视频在空 间方向的偏差量5C、和在视频帧内进行了对应的空间方向的偏差对应范 围5D，作为匹配参数。
图5为可局部变形处理的范围确认用的基准测试视频例。该基准测试 视频3C，是例如按每个像素等，按一定像素数交替加入黑白框的测试图 像。
如果采用这样的基准测试视频3C，则能够导出劣化测试视频相对基 准测试视频3C的部分的视频变形区域范围5E、或可作为评价视频有效使 用的有效区域范围5F作为匹配参数。
图6为亮度/颜色出现分布确认用的基准测试视频例。该基准测试视频 3D,是使画面内的亮度从最小值(例如0)至最大值(例如255)为止重 复阶段性变化的图像(灰度图像)、或同样使颜色变化的每个基准色的图 像(红色图像、绿色图像、蓝色图像)构成的测试图像。
如果采用这样的基准测试视频3D，就能够导出劣化测试视频4中的 亮度或颜色的出现分布5G (平均值或分散、灰度数)作为匹配参数。
接着，格式变换部IO，针对基准视频1和劣化视频2，在信号形式、 尺寸、纵横比、信号的出现范围不同时，基于由匹配参数导出部50导出 的视频放大縮小率5A或亮度出现范围5B构成的匹配参数51进行劣化视 频2的信号形式变换，输出格式变换后的劣化视频2A (步骤IOO。
这时，基准视频1为非压縮的YUV形式，如果劣化视频的数据形式 为非压縮的RGB形式，则例如采用Rec.ITU-R BT.601 "STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE-SCREEN 16:9 ASPECT RATIOS"的变换式对劣化视频2 进行变换。
另外，当劣化视频2为压縮形式时，事先变换成非压縮形式。并且， 当尺寸或纵横比不同时，按照变成相同的方式进行变换。例如，虽然有些 情况下简单变换成整数倍是能够计算的，但在不是这样的情况下就需要变 换成任意的尺寸，例如按照"上〈^力、3fV^夕》画像処理"CQ出版 的第7章"图像的析像度变换"所述，执行向任意尺寸的变换。因此将基 准视频与变换后的劣化视频2A传递给显示时刻匹配部20。
尤其，在事先没有正确掌握视频格式时、或者在头等中不存在视频格 式的信息时，基于由匹配参数导出部50导出的视频放大缩小率5A进行视 频的放大縮小的变换。另外，在基于亮度出现范围5B的像素出现范围因 标准不同而不同时，则采用亮度值的线性变换进行使出现范围一致的变
换。
接着，显示时刻匹配部20，为了使由格式变换部IO进行格式变换后 的劣化视频2A与基准视频1的显示时刻一致，因此进行帧插补等处理， 将时间匹配后的劣化视频2B输出(步骤102)。图7 图9为显示时刻的 匹配例。
具体来说，如图7所示，当格式变换后的劣化视频2A的显示间隔比 基准视频l的显示间隔稳定地长时，通过针对劣化视频2A插补紧前面的 帧从而修改视频。
并且，如图8所示，当劣化视频的显示间隔不稳定时，采用在基准视 频1的显示时刻显示的视频或者在时间上与基准视频1的显示时刻接近的 视频对劣化视频2A进行插补。
进而，如图9所示，当基准视频1本身不是恒定的帧率时，按照在与 其不同的正确时间间隔显示的方式对基准视频1和劣化视频2A进行插补。
接着，视频匹配部30，采用由匹配参数导出部50所得到的、视频放 大縮小率5A、亮度出现范围5B、空间方向的偏差量5C、对应范围5D、 视频变形区域范围5E、或者出现分布5G等的匹配参数52， 一边在三种动 作状态、即评价开始状态、同步状态、以及冻结(freeze)状态中进行过 渡， 一边进行基准视频1与时间匹配后的劣化视频2B的视频匹配处理(步 骤110 135)。
首先，在评价开始状态中，视频匹配部30，为了实现时间方向的较大 同步，而通过宏同步机构31进行宏同步处理(步骤IIO)。在该宏同步处 理中，宏同步机构31，对与一定时间的基准视频1和劣化视频2B有关的 按每1帧的或特定区域的信号的亮度/色差/RGB值的平均值的这样的视频 特征量的推移进行比较，导出两者之间的匹配性最高时的帧差作为时间方 向上的宏偏差即宏帧差。
图IO为时间方向的宏同步处理例。具体来说，如图10所示，根据将
平均亮度值等特征量在时间方向偏差使各时序值的差值变成最小的条件、 或者相互相关系数变成最大的条件算出时间方向的偏差、即宏帧差。
接着，视频匹配部30，针对根据由微同步机构32所得到的宏帧差实 现宏同步之后的基准视频1和劣化视频2B，为了进一步得到时间方向和空间方向的详细同步，而执行微同步处理(步骤111)。图11为表示微同 步处理例的说明图。
在该微同步处理中，微同步机构32，针对宏同步后的基准视频l和劣
化视频2B的任意帧对、例如由劣化视频2B的开头帧、和与之对应的基准 视频l的帧以及具有与该帧在规定帧数以内的时间偏差的帧构成的检索对 象帧所组成的各帧对，如图11所示，将仅根据由匹配参数导出部50所得 到的空间方向的偏差量5C (上下左右的位置)对两者之间的像素位置进 行了校正时的劣化量的计算，指示给劣化量导出部40。与此相应，劣化量 导出部40，利用后述的式1分别计算信噪比PSNR (Peak Signal to Noise Ratio)作为两帧之间的劣化量。
微同步机构32，通过选择由劣化量导出部40所算出的这些信噪比 PSNR为最大的、即劣化量最小的帧对，从而求出基准视频1与劣化视频 2B的最匹配时的帧对应关系，并导出该帧差作为微帧差。这样便能够实 现时间方向的微匹配。以下，将这样的基准视频1与劣化视频2B的帧对 应关系称作同步状态。
并且，将处于这样的基准视频1与劣化视频2B的帧对应关系的帧对 的劣化量最小的空间位置关系、具体来说处于信噪比PSNR最大的位置关 系的状态称作基准视频1与劣化视频2B在时间以及空间上最匹配的匹配 状态。
接着，视频匹配部30，在基准视频1以及时间匹配后的劣化视频2B 中的任一方变成最后的视频帧之前，从处于同步状态的帧对应关系的基准 视频1和劣化视频2B中依次选择基准视频对象帧与劣化视频对象帧，针 对这些基准视频对象帧和劣化视频对象帧，开始如下这样的同步状态以及 冻结状态下的处理循环(步骤112、 114)。
另外，在图2中，变量i、 j分别表示基准视频对象帧编号以及劣化视 频对象帧编号，变量N、 M分别表示基准视频最终帧编号以及劣化视频最 终帧编号。并且，标记F1表示空间方向的两个视频的同步状态(0)、非 同步状态(1 )，标记F2表示时间方向的两个视频的同步(0)、帧跳过(1 )、 其它(2:帧返回状态)。变量Coimt为劣化视频的冻结次数。
首先，在标记F1表示0的同步状态下(步骤113:否)，视频匹配部
30，通过匹配状态检测机构33生成对基于由匹配参数导出部50所得到的 时间空间方向的偏差量5C或亮度以及颜色信息5B、 5G对劣化视频2B进 行了修正后的匹配劣化视频，通过后述的匹配状态检测处理，算出与基准 视频之间的劣化量以及帧间差值(步骤120)。
这时，匹配状态检测机构33，通过向劣化量导出部40分别传递这些 劣化视频和基准视频的处理对象帧，从而从劣化量导出部40获得与这些 帧有关的劣化量以及帧间差值。
图12为表示匹配状态检测处理中的劣化量与帧间差值的计算例的说 明图。劣化量导出部40，如图12所示，针对从匹配状态检测机构33获得 的、由劣化视频2B的劣化视频对象帧(j)、和由与之对应的基准视频1 的基准视频对象帧(i)以及具有与该基准视频对象帧(i)在规定帧数以 内的时间偏差的基准视频帧组成的检索对象帧、所构成的各帧对之间，分 别导出劣化量。然后，选择这些帧对中劣化量最小且处于匹配状态的帧对， 将其基准视频帧的帧编号导出。
另外，劣化量导出部40，针对上述帧对的基准视频帧与劣化视频帧， 采用后述的式2导出与各自的紧前面的帧之间的帧间差值。这时，劣化量 导出部40，按两个视频帧的每个像素算出像素值的差值，算出该视频帧整 体的像素的平均差值作为帧间差值。
视频匹配部30，通过匹配状态检测机构33基于由劣化量导出部40 所导出的各对象帧的帧间差值判断劣化视频有无冻结(步骤121)。 g卩，相 对有关基准视频的差值表示某个值，如果劣化视频的差值几乎表示0，则 判断处于劣化视频中没有变化的冻结状态。
在此，当劣化视频处于冻结状态时(步骤121:是)，视频匹配部30， 将标记F1设置为非同步状态(1)，并且将冻结数Count设置为"1"(步 骤128)，向处理循环的步骤14过渡。
另一方面，当劣化视频不是冻结状态时(步骤121:否)，则匹配状态 机构33，判断由步骤120的匹配状态检测处理所得到的、劣化视频对象帧 与基准视频帧之间的劣化量是否为最小(步骤122)，在为最小时(步骤 122:是)，则设为同步状态(F = 2)(步骤124)。
当不是最小时(步骤122:否)，则判定处于帧偏差状态(帧跳过状态、
帧返回状态等)，将检索对象帧中劣化量最小且处于匹配状态的基准视频
帧的编号设为i，如果是帧跳过则设置标记F2二1，如果是其以外则设置标 记F2二2，将此时的帧的偏差数设置为Count (步骤123)。
接着，视频匹配部30，通过匹配度导出机构34执行后述的匹配度算 出处理，计算表示处于匹配状态的基准视频帧与劣化视频帧的匹配程度的 匹配度(步骤125)。接着，通过匹配信息输出机构35将由基于上述匹配 状态匹配后的基准视频或劣化视频构成的匹配基准视频或匹配劣化视频、 匹配度、匹配参数(5A 5G)、同步信息(F2)、以及冻结数(Count)等 匹配信息输出(步骤126)。然后，将Count设置为0之后(步骤127)， 向步骤U4过渡。
另外，在标记F1表示1的非同步状态下(步骤113:是)，视频匹配 部30，与步骤120同样由匹配状态检测机构33执行匹配状态检测处理(步 骤130)，与步骤121同样地判断劣化视频有无冻结(步骤131)。
在此，在劣化视频为冻结状态时(步骤131:是)，匹配状态检测机构 33，将冻结数Count递增(+ l)(步骤135)，向处理循环的步骤114过渡。
另一方面，当劣化视频不是冻结状态时(步骤131:否)，视频匹配部 30，进行与步骤110同样的宏同步处理(步骤132)，通过匹配信息输出机 构35输出冻结数Count (步骤133)。然后，将标记Fl以及Count设为0 (步骤134)，向处理循环的步骤114过渡。
在步骤114中，将基准视频对象帧编号i以及劣化视频对象帧编号j 分别递增，当kN或者j〈M成立时，重复与步骤112之间的循环处理。另 外，在i、 j均到达N、 M的时刻，结束一连串的视频匹配处理。
另外，在上述视频匹配处理中，始终针对基准视频和劣化视频储存整 个一帧或者特定区域的信号亮度/色差/RGB值的平均值这样的特征量。并 且，当在某种情况下没有实现同步时，例如在作为对象的帧中的特征量距 离一定期间的平均值还存在某个阈值(如3d这样为标准偏差的恒定倍数) 以上的差距时，进入评价初始状态，重新从步骤110开始的处理。 (匹配度计算动作)
接着，参照图13 图15，针对本实施方式的匹配度计算动作进行说 明。图13为表示基于匹配状态的匹配特性变化的说明图。图14为表示基于基准视频的精细度的匹配特性变化的说明图。图15为表示像素偏差的 说明图。
匹配度是利用接下来的两个特征导出的。第一特征在于，如图13所 示，当匹配为最佳化时，在该匹配状态下的基准视频和劣化视频的帧间信 噪比、与在即使从匹配状态仅偏差一个像素的状态下的信噪比之间的差别
较大；当匹配不是最佳化时，与即使从匹配状态仅偏差一个像素的状态下 的信噪比之间的差别较小。第二特征在于，匹配为最佳化时的特征，如图 14所示，基准视频的图案很细，越是精细度高的视频越具有显著的倾向。
关于匹配度导出机构34的具体匹配度的计算处理，首先，作为在判 断基准视频与劣化视频之间在时间/空间上最匹配的匹配状态下的劣化量 (第一劣化量)，如式1的信噪比PSNR (Peak Signal to Noise Ratio)所示， 针对峰值亮度(255)计算基准视频与劣化视频的像素差值、即式2所示 的MSE之间的对数比。
但是，在式2中，Yin、 Yout为基准视频/劣化视频，N为像素数，Y (x、 y、 i)表示第i帧的位置(x、 y)的像素值。
<formula>complex formula see original document page 19</formula>[公式1]
<formula>complex formula see original document page 19</formula>[公式2]
接着，针对从该匹配状态仅偏差了规定像素数的状态(匹配附近状
态)，也同样计算该信噪比PSNR，将该平均值作为劣化量(第二劣化量) 导出。在此，如图15所示，采用与匹配状态相邻偏差一个像素的8个状 态或者相邻偏差两个像素的18个状态。
然后，作为基准视频的空间特征量，计算ITU—TP.910 ("Subjective video quality assessment methods for multimedia applications," Aug. 1996.) 所规定的空间特征量、即SI值(Spatial Information),利用这些值采用式 3导出匹配度。只是，a是用于对匹配度进行正规化的系数。
匹配度二ax基准视频的SI值x (匹配状态的PSNR/匹配附近状态的 PSNR的平均值) ……(3)
这样，在本实施方式中，基于第一劣化量与第二劣化量之比，算出并 输出表示匹配的程度的匹配度，该第一劣化量表示在基准视频和劣化视频 处于在空间以及时间上最匹配的匹配状态时的、基准视频帧与劣化视频帧 之间的劣化量，该第二劣化量表示在从匹配状态偏差规定像素数的状态下 基准视频帧与劣化视频帧之间的劣化量，因此能够算出匹配度作为表示视 频匹配的最佳化状况的指数。
因此，不需具有专门知识的评价者根据经验进行判断，便能够判断在 得到的客观品质评价时的视频匹配是否适当。这样，最终便能够实现在视 频服务中考虑了品质的开发或服务提供。
另外，由于将根据ITU-T P.910的规定算出的基准视频的空间特征量 (SI)乘以劣化量之比计算匹配度，因此能够根据基准视频的特征量进行 加权。
另外，作为劣化量，由于采用根据成为劣化量计算对象的像素算出的 基准视频和劣化信号的信噪比，因此能够稳定且公用地计算匹配度。另外， 在本实施方式中，虽然以采用信噪比PSNR作为劣化量的情况为例作了说 明，但并非限定于此，也可以采用像素值的平均差值。另外，即使在采用 信噪比时，也可以采用PSNT以外的公知的信噪比。 (实施方式的扩展)
在本实施方式中，如图1所示，虽然就视频匹配部30和劣化量导出 部40由不同的功能部实现的情况为例作了说明，但这两个功能部，均由 信号处理电路部或运算处理部实现。因此，如图16所示，也可以由与视 频匹配部30相同的功能部实现劣化量导出部40。这样，在视频匹配部30 的各功能机构与劣化量导出部40之间，便能够极其容易地处理各种数据， 能够实现处理所需时间的缩短或硬盘资源的削减。另外，这一点在格式变 换部10、显示时刻匹配部20、或者匹配参数导出部50与视频匹配部30 之间的关系方面也同样能够应用。
另外，在本实施方式中，虽然就在步骤lll的微同步处理中，将劣化 视频帧固定，与多个基准视频帧构成帧对的情况为例作了说明，但并非限
定于此。例如，也可以将基准视频帧固定，构成与之对应的劣化视频帧以 及与该劣化视频帧具有规定帧数以内的时间偏差的多个劣化视频帧形成 的帧对，能够执行与上述同样的微同步处理。
另外，在本实施方式中，虽然以微同步机构32与匹配状态检测机构
33由不同的功能机构实现的情况为例作了说明，但并非限定于此。如上述， 这些微同步机构32和匹配状态检测机构33，均具有对劣化量导出部40 进行控制，获得多个帧对的劣化量，并选择劣化量最小的帧对的功能。因 此，也可以用相同的功能机构实现。
另外，在本实施方式中，在通过匹配信息输出机构35输出匹配后的 视频时，也可以将匹配度计算所采用的基准视频帧或劣化视频帧分别输出 作为匹配基准视频或匹配劣化视频。
另外，在本实施方式中，虽然以在视频匹配部30的视频匹配处理中 采用从外部输入的基准视频l的情况为例作了说明，但并非限定于此。例 如，如图9所示，在通过显示时刻匹配部20对基准视频1的帧率进行插 补时，也可以采用该插补后的基准视频1进行视频匹配处理。
另外，在本实施方式中，虽然以设置匹配参数导出部50的情况为例 作了说明，但也可以不设置匹配参数导出部50，而将图2的处理内所需要 的参数导出。
例如，虽然在步骤111的微同步处理中，在针对劣化视频2B的劣化 视频对象帧和与之对应的基准视频1侧的各基准处理对象帧，对各个帧对 之间算出劣化量时，改变帧对之间在空间方向的像素位置、即偏差量，通 过劣化量导出部40计算若干个信噪比PSNR，且只要将该信噪比PSNR最 大时的偏差量作为空间方向的偏差量5C导出。
另外，基于处于微同步的时刻的帧对，根据其基准视频帧和劣化视频 帧的最大/最小亮度值(也包含颜色)，导出亮度出现范围5B作为匹配参 数，也可以将亮度或颜色的出现分布5G (平均值或分散、灰度数)导出。
并且，在本实施方式中，由于设置匹配参数导出部50，对规定的测试 用基准视频和因评价对象而根据测试用基准视频所得到的测试用劣化视 频进行比较，并将对基准视频和劣化视频进行匹配时所采用的各种匹配参 数导出，因此与如上述采用一般的基准视频或劣化视频的情况相比，能够将显著地表示评价对象的劣化特性的匹配参数导出。进而，由于基于该匹 配参数进行匹配处理，因此即使在基准视频或劣化视频模糊时、或由评价 对象所产生的劣化很大时，也能够进行适当的视频匹配。
另外，在上述视频匹配方法中，假定了从视频匹配部30中输出基准 视频和匹配视频及其匹配信息(时间方向的状态)后输入客观评价装置中，
然而如果在微同步处理中从劣化量导出部40接受客观评价值而不是劣化 量，并通过视频匹配部30输出其结果，则也能够利用视频匹配装置100 作为客观评价装置。 工业上的可利用性
本发明的视频匹配装置，在采用互联网等IP网络的视频配信服务或 视频通信服务的品质管理中，在对由接受侧终端再生的视频的品质进行客 观评价时，作为使其基准视频和劣化视频在时间以及空间上匹配的装置是 有用的。
权利要求
1、一种视频匹配装置，具备匹配状态检测机构，其输入由沿着时间轴排列的多个基准视频帧构成的任意基准视频，和由这些基准视频帧因任意的评价对象而劣化后的劣化视频帧构成的劣化视频，按每个上述劣化视频帧，从和该劣化视频帧具有规定帧数以内的时间偏差的多个基准视频帧中，检测出处于与该劣化视频帧在空间以及时间上匹配的匹配状态的基准视频帧；匹配度导出机构，其导出表示处于上述匹配状态的基准视频帧与劣化视频帧之间的匹配程度的匹配度；匹配信息输出机构，其将基于上述匹配状态匹配后的基准视频以及劣化视频和上述匹配度输出；和劣化量导出部，其将表示任意的两个视频帧之间的劣化程度的劣化量导出，上述匹配度导出机构，对上述劣化量导出部进行控制，获得第一劣化量以及第二劣化量，该第一劣化量表示处于上述匹配状态的基准视频帧与劣化视频帧之间的劣化量，该第二劣化量表示在从上述匹配状态偏差规定像素数的状态下基准视频帧与劣化视频帧之间的劣化量，基于上述第一劣化量与第二劣化量之比算出上述匹配度。
2、 根据权利要求l所述的视频匹配装置，其特征在于 上述劣化量导出部，根据上述匹配度导出机构的控制，算出上述基准视频帧与上述劣化视频帧之间的信噪比作为上述第一劣化量。
3、 根据权利要求1所述的视频匹配装置，其特征在于 上述劣化量导出部，根据上述匹配度导出机构的控制，算出处于上述匹配状态的上述基准视频帧、与处于在从上述匹配状态在横向、纵向、以 及纵横方向分别偏差规定像素数的状态下的上述劣化视频的各视频帧之 间的平均信噪比作为上述第二劣化量。
4、 根据权利要求l所述的视频匹配装置，其特征在于 上述匹配度导出机构，将基于ITU—TR910的规定算出的上述基准视频的空间特征量(SI)乘以上述比，算出上述匹配度。
5、 根据权利要求1所述的视频匹配装置，其特征在于，还具备 格式变换部，其将上述劣化视频的信号格式变换成上述基准视频的信号格式后输出；和显示时刻匹配部，其使上述基准视频以及上述格式变换后的劣化视频 所包含的视频帧数与其显示时刻匹配并输出，上述匹配状态检测机构，将通过上述显示时刻匹配部使显示时刻匹配 后的基准视频与劣化视频作为输入。
6、 根据权利要求5所述的视频匹配装置，其特征在于， 还具备匹配参数导出部，其将规定的基准测试视频与该基准测试视频因上述评价对象而劣化后的劣化测试视频进行比较，将与上述基准测试视 频的视频帧和上述劣化测试视频的视频帧的大小有关的放大縮小率、与上 述基准测试视频和上述劣化测试视频所采用的亮度范围作为匹配参数导 出，上述格式变换部，基于上述放大縮小率与上述亮度范围进行上述格式 变换。
7、 根据权利要求l所述的视频匹配装置，其特征在于，还具备上述匹配状态检测机构，对上述劣化量导出部进行控制，针对该劣化 视频帧，按该劣化视频帧与成为检索对象的各基准视频帧形成的帧对的每 一个，获得劣化量，判断这些帧对中劣化量最小的帧对处于匹配状态。
8、 根据权利要求7所述的视频匹配装置，其特征在于， 上述劣化量导出部，根据来自上述匹配状态检测机构的指示，算出上述基准视频帧与上述劣化视频帧之间的信噪比作为上述劣化量。
9、 根据权利要求l所述的视频匹配装置，其特征在于， 还具备宏同步机构，其通过对从所输入的上述基准视频的各基准视频帧与所输入的上述劣化视频的各劣化视频帧中分别提取的规定视频特征 量的推移进行比较，从而导出上述基准视频与上述劣化视频的宏帧差，上述匹配状态检测机构，将基于上述宏帧差使之时间上同步了的基准 视频和劣化视频作为输入。
10、 根据权利要求9所述的视频匹配装置，其特征在于， 还具备微同步机构，其从根据上述宏帧差使之宏同步了的基准视频和 劣化视频中，选择任意的劣化视频帧与相对该劣化视频帧具有规定的帧数 以内的时间偏差的多个基准视频帧所形成的帧对，控制上述劣化量导出部 并按每个这些帧对获得劣化量，基于这些帧对中劣化量最小的帧对，导出 上述基准视频与上述劣化视频的微帧差，上述匹配状态检测机构，将基于上述宏帧差与上述微帧差使之在时间 上同步了的基准视频和劣化视频作为输入。
11、 一种视频匹配方法，包括匹配状态检测步骤，输入由沿着时间轴排列的多个基准视频帧构成的 任意基准视频，和由这些基准视频帧因任意的评价对象两劣化后的劣化视 频帧构成的劣化视频，由匹配状态检测机构，按每个上述劣化视频帧，从 和该劣化视频帧具有规定帧数以内的时间偏差的多个基准视频帧中，检测 出处于与该劣化视频帧在空间以及时间上匹配的匹配状态的基准视频帧；匹配度导出步骤，由匹配度导出机构导出表示处于上述匹配状态的基 准视频帧与劣化视频帧之间的匹配程度的匹配度；匹配信息输出步骤，由匹配信息输出机构将基于上述匹配状态匹配后 的基准视频以及劣化视频和上述匹配度输出；和劣化量导出步骤，由劣化量导出部将表示任意的两个视频帧之间的劣 化程度的劣化量导出，上述匹配度导出步骤，由以下步骤组成采用上述劣化量导出步骤， 获得第一劣化量以及第二劣化量的步骤，其中该第一劣化量表示处于上述 匹配状态的基准视频帧与劣化视频帧之间的劣化量，该第二劣化量表示在 从上述匹配状态偏差规定像素数的状态下基准视频帧与劣化视频帧之间 的劣化量；和基于这些第一劣化量与第二劣化量之比算出上述匹配度的步 骤。
12、 一种使视频匹配装置的计算机执行的程序，该视频匹配装置，输 入由沿着时间轴排列的多个基准视频帧构成的任意基准视频和由这些基 准视频帧因任意的评价对象而劣化后的劣化视频帧构成的劣化视频，使这 些基准视频与劣化视频在空间以及时间上匹配并输出，该程序包括以下步骤 匹配状态检测步骤，输入由沿着时间轴排列的多个基准视频帧构成的 任意基准视频，和由这些基准视频帧因任意的评价对象而劣化后的劣化视 频帧构成的劣化视频，由匹配状态检测机构，按每个上述劣化视频帧，从 和该劣化视频帧具有规定帧数以内的时间偏差的多个基准视频帧中，检测出处于与该劣化视频帧在空间以及时间上匹配的匹配状态的基准视频帧；匹配度导出步骤，由匹配度导出机构导出表示处于上述匹配状态的基 准视频帧与劣化视频帧之间的匹配程度的匹配度；匹配信息输出步骤，由匹配信息输出机构将基于上述匹配状态匹配后 的基准视频以及劣化视频和上述匹配度输出；和劣化量导出步骤，由劣化量导出部将表示任意的两个视频帧之间的劣 化程度的劣化量导出，作为上述匹配度导出步骤，执行以下步骤..采用上述劣化量导出步骤， 获得第一劣化量以及第二劣化量的步骤，该第一劣化量表示处于上述匹配 状态的基准视频帧与劣化视频帧之间的劣化量，该第二劣化量表示从上述 匹配状态偏差规定像素数的状态下基准视频帧与劣化视频帧之间的劣化 量，和基于这些第一劣化量与第二劣化量之比算出上述匹配度的步骤。
全文摘要
通过视频匹配装置(100)的匹配状态检测机构(33)，对基准视频(1)与劣化视频(2B)的各视频帧中处于与每个劣化视频帧在空间以及时间上匹配的匹配状态的基准视频帧进行检测，通过匹配度导出机构(34)，对劣化量导出部(40)进行控制，获得表示处于匹配状态的基准视频帧与劣化视频帧之间的劣化量的第一劣化量、以及在从匹配状态偏差规定像素数的状态下表示基准像素帧与劣化像素帧之间的劣化量的第二劣化量，基于这些第一劣化量与第二劣化量之比计算匹配度，通过匹配信息输出机构(35)输出匹配后的基准视频以及劣化视频和匹配度。
文档编号H04N17/04GK101199211SQ200680021889
公开日2008年6月11日 申请日期2006年7月11日 优先权日2005年7月11日
发明者冈本淳, 栗田孝昭 申请人:日本电信电话株式会社