专利名称：检测视频中的重放片段的方法和设备的制作方法
技术领域：
本申请涉及视频的处理，尤其涉及视频中重放片段的检测。
背景技术：
重放片段的检测是视频处理的一个非常重要的领域，具有很多用途。例如，在体育 比赛现场直播过后，观众很少会对其内容进行从头至尾的重新观看，而一般只是关心其中 的少量精彩片段，例如足球比赛中的射门、角球、任意球、点球和红牌等事件。因此，精彩片 段的自动识别和提取就具有非常重要的价值。因为体育视频中的重放片段被用来再次从各 种视角展示刚刚发生的精彩事件，所以它与精彩镜头之间有着天然的联系，是精彩镜头检 测的稳定有效的线索。为了方便后面的说明，首先介绍一些基本概念。视频由一个或者多个镜头构成。一 个镜头是指由一台摄像机连续拍摄的一组内在相关的帧，它用来表现时空上连续的一组内 容。视频片段是一个相对的概念，是指视频或者更大的视频片段的一部分，它也是由一个或 者多个镜头构成。重放片段是指在视频流(例如但不限于电视直播的视频流)中对时间在 前的事件进行重新再现的视频片段。视频镜头转换的类型有两种突变(abrupt transition)和渐变(gradual transition，简称GT)。突变也常称为切变(cut)，它指的是前一个镜头的最后一帧与下一 个镜头的第一帧直接相连的情况。当然，在隔行扫描的电视广播视频中，在切变处可能会有 一帧由前一个镜头的最后一帧与下一个镜头的第一帧混叠而成，夹在两个镜头之间。并且 由于视频压缩编码的原因，即使对这一帧隔行采样也无法完全去除混叠效应。这种情况也 属于切变。与切变不同，渐变时，前一个镜头通过一个持续多帧的变化过程过渡到下个镜头， 也就是说，视频中存在若干帧被夹在两个相邻的镜头之间而不属于其中的任何一个镜头。 常见的渐变类型主要有淡出淡入(fadeout/in)、溶解(dissolve)、划变(wipe)等。淡出是 指前一个镜头的图像逐渐隐去直至画面完全为单一颜色，然后切变至下一个镜头；淡入指 的是与淡出相反的镜头转换过程。当然，淡出和淡入也可以在时间上连在一起使用。溶解 是指在前一个镜头的图像逐渐模糊的同时，后一个镜头的图像逐渐增强，在这样一个前后 镜头图像重叠的过程中完成镜头的过渡。划变是指后一个镜头的图像从某一区域开始按照 一定规律逐渐变大，直到把前一个镜头的图像完全覆盖掉。与普通的划变不同，同时伴随着 动画标志飞入与飞出的更复杂的划变过程称为动画划变(graphic wipe)，也称为标志过渡 (logo transition)。在文献中已经有许多工作试图有效地检测重放片段。由于重放镜头通常以较低速度播放，因此有些工作致力于检测慢动作模式。在 H. Pan, P. van Beek等人的Detection of slow-motion replaysegments in sports video for highlights generation, ICASSP 2001, vol. 3,pp. 1649-1652 中，采用帧差异的波动来 表征通过对帧进行重复来产生的慢动作。
在 L. Wang， X. Liu 等人 Generic slow -motion replay detection insports video，ICIP 2004，vol. 3，pp. 24-27中，采用颜色、运动和镜头长度统计数据来表征慢动作。在 L. Gu, D. Bone 等人的 Replay detection in sports video sequences. Proc. the Eurographics Workshop on Multimedia 1999，Springer Verlag，pp. 3-12 中，提出的 方法是在不同的镜头中搜索空间和时间匹配的片段。这种方法假设重放及其对应的非重放 片段是由同一摄像机拍摄的。在 J.Wang，E. Chng 等人的“Soccer replay detection using scenetransition structure analysis”，ICASSP 2005，vol. 2，pp. 433-436 中，提出在足球视频中将上下文镜 头类型信息用作重放检测的特征。在这种方法中需要镜头场面分类来提取特征。为了强调重放片段，通常在片段开始前和结束后会出现两次标志过渡(logo transition) 0许多工作利用了标志样本选择和标志模板匹配的思想来检测重放片段， 例如 H. Pan， B. Li 等人的 Automatic detection of replaysegments in broadcast sports programs by detection of logos in scenetransitions，ICASSP 2002， vol. 4， pp. 3385-3388， X. Tong， H. Lu 等人的 Replay detection in broadcasting sports video，Int' 1 Conf Image﹠Graphics 2004， pp. 337-340，以及Q. Huang, J. Hu 等人 A reliable logoand replay detector for sports video，ICME 2007， pp.1695-1698。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理 解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关 键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念， 以此作为稍后论述的更详细描述的前序。本发明的一个主要目的在于提供一种新的检测视频中的重放片段的方法。根据本发明的一个方面，一种检测视频中的重放片段的方法包括第一运动矢量 可靠性获取步骤，获取候选片段两端的至少一对帧中的运动矢量的可靠性；分类步骤，根据 所述运动矢量的可靠性对候选片段是否重放片段进行分类。根据本发明的另一方面，一种检测视频中的重放片段的设备包括第一运动矢量 可靠性获取装置，获取候选片段两端的至少一对帧中的运动矢量的可靠性；候选片段分类 装置，根据所述运动矢量的可靠性对候选片段是否重放片段进行分类。另外，本发明的实施例还提供了用于实现上述检测视频中的重放片段的方法的计 算机程序。此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其 上记录有用于实现上述检测视频中的重放片段的方法的计算机程序代码。本发明能够有效地检测视频中的重放片段。
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其 它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似 的技术特征或部件将采用相同或类似的附图标记来表示。
图1为用于说明运动矢量的可靠性的示意图；图2为根据本发明的一种实施方式的检测视频中的重放片段的方法的流程图；图3为根据本发明的另一种实施方式的检测视频中的重放片段的方法的流程图；图4为用于说明运动矢量的可靠性类别在渐变帧中的分布规律的示意图；图5为在本发明的一种实施方式中对检测到的镜头转换进行配对以获取候选片 段的示意图；图6为利用误匹配运动矢量检测重放片段的效果的直方图；图7为在本发明的一种实施方式中检测视频中的重放片段的方法的流程图；图8为在本发明的另一种实施方式中检测视频中的重放片段的方法的流程图；图9为图7、图8所示检测视频中的重放片段的方法中获取摄像机运动特征的步骤 的流程图；图10为利用运动矢量可靠性来检测摄像机运动的效果的示意图；图11为在本发明的另一种实施方式中检测视频中的重放片段的方法的流程图；图12为在本发明的另一种实施方式中检测视频中的重放片段的方法的流程图；图13为在本发明的另一种实施方式中检测视频中的重放片段的方法的流程图；图14为图13所示的检测视频中的重放片段的方法中获取镜头内容类型的步骤的 流程图；图15为在本发明的另一种实施方式中检测视频中的重放片段的方法的流程图；图16为在本发明的另一种实施方式中检测视频中的重放片段的方法的流程图；图17为在图16所示的实施方式中构建的因果概率关系网络的示意图；图18为可以用于实施本发明的检测视频中的重放片段的方法和设备的计算设备 的举例的结构图；图19到29为本发明的检测视频中的重放片段的设备的各实施方式的流程图。
具体实施例方式下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描 述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应 当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知 的部件和处理的表示和描述。检测视频中的重放片段的方法第一实施方式申请人:发现，重放片段两端的镜头切换一般采用类似的切换模式，例如都是划变， 或者都是标志过渡，等等。因此，如果能够识别或者表征某个视频片段两端的镜头切换模式 的相似性，则可以利用这种相似性来对视频片段分类，确定其是否或者有多大概率是重放 片段。进一步，申请人发现了一种新的表征镜头切换模式相似性的手段。下面详述其原理。我们知道，可以利用运动矢量表征对象在视频帧之间的运动，具体来说，运动矢量 是当前帧中的对象相对于参考帧中的相应对象的位移。取决于具体应用，所述对象可以是形状、大小均可以改变的图像块。一般，将帧画面分为大小均等的矩形图像块。图像块可以 小到一个像素。在下文中，当涉及图像块时，如果没有特别说明，应包括像素的情形。现有技术中，有多种运动矢量搜索方法可以用来搜索视频中的运动矢量，例如全 搜索、利用中心偏置特性的全搜索、利用梯度下降法的菱形快速搜索和六边形快速搜索等。 但是这些运动矢量搜索方法所搜索到的运动矢量未必是可靠的，也就是说不能反映对象真 实的运动。如果一个运动矢量精确描述了对应于块的真实区域的位置移动，则它是可靠的。 在一般的应用中，不可靠的运动矢量是有害的。但是，申请人发现这种不可靠运动矢量本身 的分布是有规律的。例如在镜头的转换过程中，不可靠运动矢量的分布能够反映转换的模 式。不可靠运动矢量的出现是有原因的。如图1所示，分别示出了当前帧(图1B)和 参考帧(图1A)中的几个图像块的示例。白色矩形是搜索到的对应于黑色矩形的图像块， 它们之间的位移就是运动矢量。如图所示，不可靠运动矢量主要出现在以下情况下A、运动 中的前景(这里是球)的遮挡；B、非刚性对象(这里是脸和手臂部分)的运动；C、平滑的纹 理(这里是比赛场地的地面)；D、单向纹理(这里是地面上的线条)；E、空间上重复的纹理 (这里是地面上的虚线)。另外，内容的突变也是产生不可靠运动矢量的原因，例如，划变相 当于产生前景的遮挡，划变的边界则可能形成单向纹理，等等。图4示出了对一些镜头转换中的帧搜索出的运动矢量的示例。图中，小方块是用 于搜索运动矢量的图像块。黑色空白方框和黑色划叉方框所表示的图像块的运动矢量是不 可靠的，除此之外的图像块(用白色方框表示)的运动矢量是可靠的。可以看到，不可靠运 动矢量的分布(为了行文简洁，在下文中，提及某种运动矢量的分布，与提及该种运动矢量 的图像块的分布是等效的)与镜头转换的模式是相关联的。例如，在图4A的划变中，不可 靠运动矢量主要出现在新旧画面的交界处及其附近。因此，可以利用能够反映视频片段两端的镜头转换模式(进而反映了其相似性) 的视频片段两端的运动矢量的可靠性来对候选片段是否为重放片段进行分类。因此，如图2所示，提出了一种检测视频中的重放片段的方法，包括第一运动矢量 可靠性获取步骤202和分类步骤206。在第一运动矢量可靠性获取步骤202中，获取候选片段两端至少一对帧中的运动 矢量的可靠性。运动矢量的可靠性的获取可以用多种手段实现。例如，可以利用对视频的预 处理数据，即从外部读取关于运动矢量可靠性的数据。也可以对未经预处理的候选片段进 行运动矢量搜索和运动矢量可靠性分类，二者均可以利用任何现有的和将来的技术实现。 具体地，如前所述，有各种现有技术可供搜索运动矢量。运动矢量的可靠性分类也有多种可 资利用的现有技术，例如 T. Yoshida，A. Miyamoto 等人的 Reliability metric of motion vectors and its applications to motionestimation,Proc. SPIE,vol. 2501,VCIP 1995, PP. 799-809中就公开了对运动矢量可靠性的量度。该文献的全部内容通过引用结合于本申请中。在分类步骤206中，根据所述运动矢量的可靠性对候选片段是否重放片段进行分 类。该分类步骤可以利用任何现有的或者将来的通过样本学习进行训练的分类器技术来实现。在本实施方式的一种变型中，如图3所示，可以在获取候选片段两端的运动矢量的可靠性(步骤202)之后，在匹配分数计算步骤304中根据所述候选片段两端的至少一对 帧中的运动矢量的可靠性的分布计算候选片段两端的镜头转换模式的匹配程度。这种匹配 程度可以用匹配分数来表示。分类步骤206可以直接利用该匹配分数(或者其变换形式)， 认为其反映了候选片段是重放片段的概率，据之判断候选片段是否为(或者可能为)重放 片段。当然分类步骤206也可以利用任何通过样本学习进行训练的分类器技术来实现。对 于步骤304中匹配分数的计算，可以想见，对于任何变量的任何两个分布，可以设计出任何 适当的方式来计算其匹配程度。匹配程度包括但不限于相似性。例如，如果重放片段两端 的划变采用完全相同的模式，包括划变方向，则可以认为匹配程度应当反映可靠性分布的 相似性。但也有可能重放片段两端的划变采用对称的模式，例如进入重放时从右向左划变， 退出重放时从左向右划变。在这种情况下可以认为可以用对称性反映匹配程度。在本申请中，针对两端的镜头转换模式相同的情况，申请人还提出了一种计算相 似性从而计算匹配分数的方式。对于夹着候选重放片段的一对镜头转换(用GT1、GT2表示)，可以计算下式作为 匹配分数
权利要求
一种检测视频中的重放片段的方法，包括第一运动矢量可靠性获取步骤，获取候选片段两端的至少一对帧中的运动矢量的可靠性；分类步骤，根据所述运动矢量的可靠性对候选片段是否重放片段进行分类。
2.如权利要求1所述的检测视频中的重放片段的方法，还包括匹配分数计算步骤，根据所述候选片段两端的至少一对帧中的运动矢量的可靠性的分 布计算候选片段两端的匹配分数；其中，所述分类步骤被配置为根据所述匹配分数对候选片段是否重放片段进行分类。
3.如权利要求2所述的检测视频中的重放片段的方法，其中 所述运动矢量的可靠性包括可靠和不可靠。
4.如权利要求2所述的检测视频中的重放片段的方法，其中 所述运动矢量的可靠性包括误匹配和非误匹配；其中，所述匹配分数计算步骤被配置为根据所述候选片段两端的至少一对帧中的误 匹配运动矢量的分布计算候选片段两端的匹配分数。
5.如权利要求4所述的检测视频中的重放片段的方法，其中，所述匹配分数计算步骤 被配置为计算所述候选片段两端的至少一对帧中的误匹配运动矢量的分布的相似性作为 所述匹配分数。
6.如权利要求5所述的检测视频中的重放片段的方法，其中，按下式计算所述相似性
7.如权利要求6所述的检测视频中的重放片段的方法，其中，针对所述候选片段两端 的多对帧计算所述相似性的平均值作为所述匹配分数
8.如权利要求2所述的检测视频中的重放片段的方法，还包括 摄像机运动特征获取步骤，获取候选片段中的摄像机运动特征； 其中，所述分类步骤被配置为根据所述匹配分数以及所述摄像机运动特征对候选片段 是否重放片段进行分类。
9.如权利要求8所述的检测视频中的重放片段的方法，还包括镜头分类步骤，根据所述摄像机运动特征对镜头是否为变速回放镜头进行分类； 其中，所述分类步骤被配置为根据所述匹配分数以及变速回放镜头统计特征对候选片 段是否重放片段进行分类。
10.如权利要求9所述的检测视频中的重放片段的方法，其中，所述摄像机运动特征获 取步骤包括第二运动矢量可靠性获取步骤，获取候选片段中的运动矢量的可靠性；运动检测步骤，利用可靠的运动矢量检测所述候选片段中的摄像机运动；特征计算步骤，根据所述摄像机运动和运动矢量的可靠性的分布计算摄像机运动特征。
11.如权利要求10所述的检测视频中的重放片段的方法，其中，运动矢量的可靠性包 括可靠、多匹配和误匹配，该方法还包括获取所述运动矢量的可靠性的统计特征；其中，所述镜头分类步骤被配置为根据所述摄像机运动特征和所述运动矢量的可靠性 的统计特征对镜头是否为变速回放镜头进行分类。
12.如权利要求2所述的检测视频中的重放片段的方法，还包括 镜头内容类型获取步骤，获取候选片段中的镜头内容类型；其中，所述分类步骤被配置为根据所述匹配分数以及镜头内容类型统计特征对候选片 段是否重放片段进行分类。
13.如权利要求12所述的检测视频中的重放片段的方法，其中，所述镜头内容类型获 取步骤包括遍历步骤以包括预定数量的镜头的窗口按照一定的步长遍历候选片段中的所有镜 头，将每一个窗口所包括的镜头组视为一个镜头对其内容类型进行分类；合并步骤，针对每一个镜头，将包含该镜头的所有镜头组的分类结果合并，从而得到该 镜头的内容类型。
14.如权利要求2所述的检测视频中的重放片段的方法，还包括 镜头数量获取步骤，获取候选片段中的镜头数量；其中，所述分类步骤被配置为根据所述匹配分数以及所述镜头数量对候选片段是否重 放片段进行分类。
15.如权利要求9所述的检测视频中的重放片段的方法，还包括 镜头内容类型获取步骤，获取候选片段中的镜头内容类型；其中，所述分类步骤被配置为根据所述匹配分数、变速回放镜头统计特征以及镜头内 容类型统计特征对候选片段是否重放片段进行分类。
16.如权利要求15所述的检测视频中的重放片段的方法，还包括 镜头数量获取步骤，获取候选片段中的镜头数量；其中，所述分类步骤被配置为根据所述匹配分数、变速回放镜头统计特征、镜头内容类 型统计特征以及所述镜头数量对候选片段是否重放片段进行分类。
17.如权利要求16所述的检测视频中的重放片段的方法，其中，所述匹配分数、变速回 放镜头统计特征、镜头内容类型统计特征以及所述镜头数量构成因果概率关系网络，所述分类步骤被配置为使用因果概率关系网络分类器进行分类。
18.—种检测视频中的重放片段的设备，包括第一运动矢量可靠性获取装置，获取候选片段两端的至少一对帧中的运动矢量的可靠性；候选片段分类装置，根据所述运动矢量的可靠性对候选片段是否重放片段进行分类。
19.如权利要求18所述的检测视频中的重放片段的设备，还包括匹配分数计算装置，根据所述候选片段两端的至少一对帧中的运动矢量的可靠性的分 布计算候选片段两端的匹配分数；其中，所述候选片段分类装置被配置为根据所述匹配分数对候选片段是否重放片段进 行分类。
20.如权利要求19所述的检测视频中的重放片段的设备，其中，所述运动矢量的可靠 性包括误匹配和非误匹配，所述匹配分数计算装置被配置为根据所述候选片段两端的至 少一对帧中的误匹配运动矢量的分布计算候选片段两端的匹配分数。
21.如权利要求19所述的检测视频中的重放片段的设备，还包括 摄像机运动特征获取装置，获取候选片段中的摄像机运动特征；其中，所述候选片段分类装置被配置为根据所述匹配分数以及所述摄像机运动特征对 候选片段是否重放片段进行分类。
22.如权利要求21所述的检测视频中的重放片段的设备，还包括镜头分类装置，根据所述摄像机运动特征对镜头是否为变速回放镜头进行分类； 其中，所述候选片段分类装置被配置为根据所述匹配分数以及变速回放镜头统计特征 对候选片段是否重放片段进行分类。
23.如权利要求22所述的检测视频中的重放片段的设备，其中，所述摄像机运动特征 获取装置包括第二运动矢量可靠性获取装置，获取候选片段中的运动矢量的可靠性；运动检测装置，利用可靠的运动矢量检测所述候选片段中的摄像机运动；特征计算装置，根据所述摄像机运动和运动矢量的可靠性的分布计算摄像机运动特征。
24.如权利要求23所述的检测视频中的重放片段的设备，其中，运动矢量的可靠性包 括可靠、多匹配和误匹配，该设备还包括获取所述运动矢量的可靠性的统计特征的装置；其中，所述镜头分类装置被配置为根据所述摄像机运动特征和所述运动矢量的可靠性 的统计特征对镜头是否为变速回放镜头进行分类。
25.如权利要求19所述的检测视频中的重放片段的设备，还包括 镜头内容类型获取装置，获取候选片段中的镜头内容类型；其中，所述候选片段分类装置被配置为根据所述匹配分数以及镜头内容类型统计特征 对候选片段是否重放片段进行分类。
26.如权利要求25所述的检测视频中的重放片段的设备，其中，所述镜头内容类型获 取装置包括镜头组遍历装置以包括预定数量的镜头的窗口按照一定的步长遍历候选片段中的所有镜头，将每一个窗口所包括的镜头组视为一个镜头对其类型进行分类；合并装置，针对每一个镜头，将包含该镜头的所有镜头组的分类结果合并，从而得到该 镜头的内容类型。
27.如权利要求19所述的检测视频中的重放片段的设备，还包括 镜头数量获取装置，获取候选片段中的镜头数量；其中，所述候选片段分类装置被配置为根据所述匹配分数以及所述镜头数量对候选片 段是否重放片段进行分类。
28.如权利要求22所述的检测视频中的重放片段的设备，还包括 镜头内容类型获取装置，获取候选片段中的镜头内容类型；其中，所述候选片段分类装置被配置为根据所述匹配分数、变速回放镜头统计特征以 及镜头内容类型统计特征对候选片段是否重放片段进行分类。
29.如权利要求28所述的检测视频中的重放片段的设备，还包括 镜头数量获取装置，获取候选片段中的镜头数量；其中，所述候选片段分类装置被配置为根据所述匹配分数、变速回放镜头统计特征、镜 头内容类型统计特征以及所述镜头数量对候选片段是否重放片段进行分类。
30.如权利要求29所述的检测视频中的重放片段的设备，其中，所述候选片段分类装 置为因果概率关系网络分类器。
全文摘要
本申请涉及检测视频中的重放片段的方法和设备，包括获取候选片段两端的至少一对帧中的运动矢量的可靠性；并根据所述运动矢量的可靠性对候选片段是否重放片段进行分类。还可以综合镜头转换模式匹配分数、变速回放镜头统计特征、镜头内容类型统计特征以及镜头数量统计特征利用因果概率关系分类器对候选片段是否重放片段进行分类。本发明能够有效地检测视频中的重放片段。
文档编号G06T7/20GK101990093SQ20091016116
公开日2011年3月23日 申请日期2009年8月6日 优先权日2009年8月6日
发明者吴伟国, 韩博 申请人:索尼株式会社