在视频中检测摄像机运动类型的方法及装置制造方法

在视频中检测摄像机运动类型的方法及装置制造方法
【专利摘要】本发明实施例公开了在视频中检测摄像机运动类型的方法及装置，其中一种方法包括：获取所述视频中的变焦运动参数；根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段；计算该视频片段中各帧图像的焦点位置；以及根据所述各帧图像的焦点位置，对该视频片段的检测结果进行验证。通过本发明实施例，能够更有效、准确地检测出视频中摄像机的运动类型。
【专利说明】在视频中检测摄像机运动类型的方法及装置
[0001]本发明申请是 申请日期:为2011年3月31日、申请号为“201110085697.3”、发明名称为“在视频中检测摄像机运动类型的方法及装置”的发明专利申请的分案申请。

【技术领域】
[0002]本发明一般地涉及视频数据处理【技术领域】，尤其是在视频中检测摄像机运动类型的方法及装置。

【背景技术】
[0003]随着数字视频文件数目的急剧增长，人们日常生活的许多方面都需要使用有效的视频管理分析系统。在该系统的帮助下，人们可以更加方便地组织个人电脑中的视频文件，城市交通可以有效地控制，视频监控也可以很容易地检测出诸如陌生人侵入等异常事件。
[0004]视频文件是由拍摄者使用摄像机(可能是专门的摄像机，也可能是带有摄像功能的终端设备，如手机、便携式计算机等等)拍摄得到的。在拍摄的过程中，可能会根据需要进行一些调整焦距、移动摄像机等动作，这种动作对应着摄像机的运动，不同的动作则对应着不同的运动类型。通常，由于拍摄者在拍摄过程中可能需要做各种不同的调整(例如先平移，再聚焦，然后静止，等等)，因此，一个视频文件中可能会包含多种运动类型。
[0005]对于拍摄者而言，对摄像机进行调整时，通常是源于关注对象的重要程度。例如，当拍摄者想要重点拍摄远处某个人物的动作时，则当镜头对准该人物之后，可能会调整摄像机的焦距，以放大该人物在画面中的显示比例。相应的，对于视频文件而言，如果其中包含聚焦等运动类型，则该运动类型对应的那部分视频内容通常应该是拍摄者想要重点关注的，因此可能是该视频文件的重点内容，甚至可能能够代表该视频文件的主要内容，如果需要提取该视频文件的摘要，则可以将这部分内容提取出来。
[0006]因此，有效的摄像机运动检测成为视频管理分析系统中的一项关键技术。基于拍摄视频过程中摄像机的运动类型，能够更加方便地浏览视频，并能够更加容易地获取视频的主要内容，进而可以便于获取视频文件的摘要，为进一步的视频文件检索等提供基础。
[0007]现有的视频管理分析系统，能够从视频文件中分析出摄像机的运动类型，进而可以获得拍摄意图等高层信息。然而，现有技术在从视频文件中分析摄像机的运动类型时，对于一些特殊情况往往会无法准确地检测出来或者出现检测错误。


【发明内容】

[0008]有鉴于此，本发明实施例提供了在视频中检测摄像机运动类型的方法及装置，能够更有效、准确地检测出视频中摄像机的运动类型。
[0009]根据本发明实施例的一个方面，提供一种在视频中检测摄像机运动类型的方法，包括:估计所述视频中相邻帧之间的第一变焦运动参数；当所述第一变焦运动参数符合第一预置条件时，估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数；以及当所述第二变焦运动参数符合第二预置条件时，将所述视频片段的摄像机运动类型识别为缓慢变焦。
[0010]根据本发明实施例的另一个方面，提供另一种在视频中检测摄像机运动类型的方法，包括:获取所述视频中的变焦运动参数；根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段；计算该视频片段中各帧图像的焦点位置；以及根据所述各帧图像的焦点位置，对该视频片段的检测结果进行验证。
[0011]根据本发明实施例的再一个方面，提供一种在视频中检测摄像机运动类型的装置，包括:第一估计单元，配置为估计所述视频中相邻帧之间的第一变焦运动参数；第二估计单元，配置为当所述第一变焦运动参数符合第一预置条件时，估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数；以及确定单元，配置为当所述第二变焦运动参数符合第二预置条件时，将所述视频片段的摄像机运动类型识别为缓慢变焦。
[0012]根据本发明实施例的另一个方面，提供另一种在视频中检测摄像机运动类型装置，包括:运动参数获取单元，配置为获取所述视频中的变焦运动参数；运动类型检测单元，配置为根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段；焦点位置计算单元，配置为计算该视频片段中各帧图像的焦点位置；以及检测结果验证单元，配置为根据所述各帧图像的焦点位置，对该视频片段的检测结果进行验证。
[0013]另外，根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述在视频中检测摄像机运动类型的方法。
[0014]此外，根据本发明的再一方面，还提供了一种程序产品。所述程序产品包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述在视频中检测摄像机运动类型的方法。
[0015]根据本发明实施例的上述方法，在检测缓慢变焦这种运动类型时，采用“双变焦运动参数”的检测方式，即首先估计出相邻帧之间的第一变焦运动参数，在符合第一预置条件的情况下，再估计出每隔几帧之间的第二变焦运动参数，如果第二变焦运动参数符合第二预置条件，则可以将这些帧对应的视频片段中，摄像机运动类型识别为缓慢变焦。可见，通过本发明实施例的方法，能够准确地识别出缓慢变焦这种运动类型。
[0016]另外，本发明实施例在根据运动参数获取到视频文件中摄像机运动类型的检测结果之后，针对检测结果为聚焦的视频片段，还会再计算出该视频片段中各帧图像的焦点位置，然后根据各帧图像的焦点位置，对该视频片段的检测结果进行验证。可见，通过本发明实施例，可以进一步验证视频片段对应的运动类型是否确实为聚焦运动，因此，可以提高检测的准确度。
[0017]在下面的说明书部分中给出本发明实施例的其他方面，其中，详细说明用于充分地公开本发明实施例的优选实施例，而不对其施加限定。

【专利附图】

【附图说明】
[0018]下面结合具体的实施例，并参照附图，对本发明实施例的上述和其它目的和优点做进一步的描述。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。
[0019]图1是示出作为本发明实施例提供的第一方法的流程图；
[0020]图2是示出作为本发明实施例提供的第二方法的流程图；
[0021]图3是示出作为本发明实施例提供的第一装置的示意图；
[0022]图4是示出作为本发明实施例提供的第二装置的示意图；
[0023]图5是示出作为本发明的实施例中所采用的信息处理设备的个人计算机的示例性结构的框图。

【具体实施方式】
[0024]下面参照附图来说明本发明实施例。
[0025]首先，本发明人在实现本发明的过程中发现，在利用现有技术的方法对视频中摄像机的运动类型进行检测时，至少存在以下问题:
[0026]一方面，现有技术在检测变焦这种运动类型时，经常采用以下方法:估计视频中相邻帧之间的变焦运动参数，如果该变焦运动参数大于某预置的阈值，则符合变焦这种运动类型的特征，进而就可以认为对应的帧组成的视频片段中，摄像机的运动类型是变焦。显然，利用这种方法检测变焦这种运动类型时，阈值的选择是很重要的，既不能太高，也不能太低，因为，如果太高，则会使得本来是变焦的运动类型无法被检测出来，而如果设置得太低，又可能带来很多噪声，也即，将本来不是变焦的运动类型也检测为变焦这种运动类型。因此，通常会根据视频的帧率以及对标准的变焦运动进行检测，设定出一个比较折中的值，作为检测时使用的标准阈值。
[0027]显然，这种检测方法对于标准的变焦运动是比较有效的，但是，在实际应用中，可能存在缓慢变焦的情况，也即用户在拍摄视频时，可能缓慢地调整焦距，以至于对应的视频片段中不具有非常显著的变焦特征，进而在使用现有技术的方法在检测时，相邻帧之间的变焦运动参数低于预置的阈值，因此，就无法将这个视频片段中摄像机的运动类型识别为变焦，显然，这并不符合实际情况，是错误的。
[0028]另一方面，在标准情况下拍摄视频时，通常要求拍摄场景与摄像机的焦平面尽可能地保持平行。但是，对于一些业余的视频拍摄者而言，在使用摄像机拍摄视频时，可能会出现拍摄场景与摄像机的焦平面不平行的情况。如果在这种情况下将摄像机进行平移运动，则拍摄出的视频中，物体会逐渐变大，这与聚焦片段非常相似。以至于在利用前述识别变焦类型的方法对视频文件进行检测时，可能会将这种摄像机倾斜时的平移运动，错误地识别为聚焦运动，显然，这也是错误的。
[0029]本发明实施例就是针对现有技术中存在的上述两个问题，提供了相应的解决方案，下面分别进行详细地介绍。
[0030]首先，参见图1，本发明实施例提供的第一种在视频中检测摄像机运动类型的方法包括以下步骤:
[0031]SlOl:估计所述视频中相邻帧之间的第一变焦运动参数。
[0032]估计相邻帧之间变焦运动参数的步骤可以采用已有技术中的方法来进行。例如，可以将视频的每一帧划分为很多图像块，并基于局部搜索的方法确定每个图像块的运动向量。然后，可以采用如下的含有6个参数的仿射模型描述运动向量场的全局运动:
\u — ax +α^χ + α,ν? λ \
[0033]\\1 )
[ν = α4 + α5χ + α6 V
[0034]其中(X，y)表示图像块的位置，是已知的；(U，V)表示图像块的运动向量。基于同一帧中多个图像块的位置及其对应的运动向量信息，可以采用最小二乘法等方法确定上述模型中的这6个参数。然后，就可以根据摄像机运动参数与上述模型中这6个参数之间的对应关系，计算出摄像机运动参数。
[0035]其中，摄像机变焦对应的运动参数与上述模型中参数的对应关系如下:
[0036]div = 0.5 (a2+a6) (2)
[0037]在上述公式(2)中，div即为摄像机变焦对应的运动参数，为方便描述，将其简称为变焦运动参数。在获取到变焦运动参数之后，就可以进一步根据变焦运动参数检测视频中是否存在摄像机运动类型为变焦的片段。例如，在％与&6同号(同为正或同为负)的条件下，将div与一预置的阈值进行比较，根据比较结果来判断对应的摄像机运动类型是否为变焦。
[0038]需要说明的是，对于一个视频而言，实际上是由很多帧静止的图像组成的，因此，关于摄像机运动参数这个概念而言，既然是一种运动，那么从单独一帧图像中是无法体现出来的。因此，关于运动参数的计算，实际上是基于图像块在不同帧之间的相对位置关系计算得到的。因此，在以上所述涉及到的概念中，“运动向量”是指对视频中的某两帧进行分析得到的这两帧之间的运动向量。进而，摄像机运动参数，也是指基于这两帧得到的摄像机运动参数。
[0039]基于上述分析可知，在估计视频中相邻帧之间的变焦运动参数时，就可以首先根据视频中的相邻帧，估计出每个图像块的运动向量，然后转换为公式(I)，再根据公式(2)，计算得到div。假设视频中共有10帧(当然实际情况会远远大于这个数目，这里仅仅是为了便于描述而采用的一种假设值)，则会有9对相邻帧，因此可以计算得到9个相邻帧的变焦运动参数。例如，第一帧与第二帧之间的变焦运动参数，可以用diVl2表示，第二帧与第三帧之间变焦运动参数可以用Cliv23表示，以此类推。
[0040]S102:当所述第一变焦运动参数符合第一预置条件时，估计对应的视频片段中每隔预置数目的帧之间的第二变焦运动参数。
[0041]S103:当所述第二变焦运动参数符合第二预置条件时，将所述视频片段的摄像机运动类型识别为缓慢变焦。
[0042]其中，第一预置条件可以是:第一变焦运动参数大于某第一预置阈值。其中，该第一预置阈值相对于现有技术中的阈值可以小一些。如果大于该第一预置阈值，则意味着对应的视频片段可能是变焦运动，但是需要进行进一步检测。当然，该第一预置条件可以设置为其他形式，例如，当连续有很多个相邻帧的变焦运动参数大于该第一预置阈值时，才认为符合条件；或者，根据第一变焦运动参数与第一预置阈值之间大小关系设置其他的条件，等等，这里不进行限定。
[0043]为了便于理解，下面首先介绍这里“视频片段”的含义。视频片段是由视频中的一部分帧组成的，而“第一变焦运动参数符合第一预置条件时对应的视频片段”是指，符合第一预置条件的第一变焦运动参数对应的帧组成的视频片段。例如，通过计算，发现div12、div23、div34、div45都符合该第一预置条件，则对应的视频片段就可以是指视频中的第I至第4帧组成的片段。当然，也可以是指第2至第5帧组成的片段，或者第I至第5帧组成的片段，等等。也就是说，对于根据相邻的两帧估计出的运动参数，可以将这种运动参数对应到其中的前一帧、后一帧或同时对应到这两个帧，对实际的影响都不大(因为实际的视频中通常都是有很多帧，一两个帧的差异对于人眼观察而言可以忽略不计)。在本发明中，假设对应到两个帧，则对应的视频片段相当于是视频中的第I至第5帧组成的片段。
[0044]也就是说，通过初步判断，发现第I到第5帧组成的这一视频片段可能具有缓慢变焦的运动类型，但是，也具有不是缓慢变焦的可能性，因此，本发明实施例还需要进行进一步地判断。具体的，就是针对这个视频片段，估计其中每隔预置数目的帧之间的第二变焦运动参数。其中，该预置数据可以根据实际的需要(例如考虑帧率等因素的影响)进行设定，这里不做限定。
[0045]例如，假设可以为每隔两帧的变焦运动参数，则在前述例子中，就相当于是估计出第I帧与第4帧之间的变焦运动参数div14、第2帧与第5帧之间的变焦运动参数div25，然后再判断这两个变焦运动参数是不是满足第二预置条件。其中，第二预置条件也可以是根据第二阈值设定的，例如，如果第二变焦运动参数大于该第二阈值，则满足第二预置条件，或者，当连续多个第二变焦运动参数都大于该第二阈值时，则满足第二预置条件，等等。也即，假设diVl4和Cliv25都大于某个第二预置，则可以将该第I到第5帧组成的视频片段对应的摄像机运动类型确定为缓慢变焦。
[0046]其中，在估计每隔几帧的变焦运动参数时，同样可以采用前文所述的方法，例如，在估计第I帧与第4帧之间的变焦运动参数div14时，就可以首先估计出第I帧与第4帧之间图像块的运动向量，然后将该运动向量用公式(I)表示，再根据公式(2)，得到对应的变焦运动参数，即为div14。对于其他帧之间的变焦运动参数，以此类推即可。
[0047]需要说明的是，在本发明实施例的前述方法中，相当于针对一种特殊的摄像机运动类型——缓慢变焦，提供了新的检测方法，这与传统的变焦运动类型检测的方法并不冲突。例如，在检测的过程中，在获取到相邻帧之间的变焦运动参数之后，可以首先判断其是否满足传统的变焦检测条件，如果满足，则继续检测其他帧的情况。如果不满足，则判断其是否满足本发明实施例中的第一预置条件，如果满足，再获取每隔几帧之间的变焦运动参数，再判断新获取到的变焦运动参数是否满足本发明实施例中的第二预置条件，如果满足，则将对应的视频片段确定为缓慢变焦。
[0048]另外需要说明的是，在本发明实施例中，由于变焦分为两种情况，一种为使图像变大的变焦，称为聚焦，另一种是与之相反的、使图像变小的变焦，这就使得估计出的变焦运动参数div的值可能是正的，也可能是负的。因此，在与预置的阈值进行比较时，均是div值的绝对值与预置的阈值进行比较，在大小满足条件的情况下，可以再根据div的正负来确定具体是聚焦还是聚焦相反的另一种变焦。
[0049]当然，无论是在判断第一预置条件还是在判断第二预置条件时，前提都是估计出的a2与a6同号(同为正或同为负)，因为只有在这两个参数同号时，对应的摄像机运动类型才可能是变焦。
[0050]可见，通过本发明实施例，能够针对缓慢变焦这种相对特殊的摄像机运动类型，提供了有效地检测方法，因此，相对于仅能检测出标准的变焦运动的方法而言，提高了检测的有效性及准确性。
[0051]针对前文所述的现有技术中存在的另一方面的问题，本发明实施例还提供了另一种在视频中检测摄像机运动类型的方法，参见图2，该方法包括以下步骤:
[0052]S201:获取所述视频中的变焦运动参数；
[0053]S202:根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段。
[0054]步骤S201中的获取变焦运动参数，以及步骤S202中的检测出视频中包含的摄像机运动类型为聚焦的视频片段的具体实现方法，都可以与已有技术中相同，当然，如果需要识别缓慢聚焦这种运动类型，则可以使用前文所述的方法。
[0055]S203:计算该视频片段中各帧图像的焦点位置；
[0056]S204:根据所述各帧图像的焦点位置，对该视频片段的检测结果进行验证。
[0057]如实施例开始部分所述，对于聚焦这种运行类型，可能会出现判断错误的情况，实际的情况可能是一种平移的运动类型，只是拍摄者将摄像机倾斜了，以至于拍摄场景与摄像机的焦平面不平行。
[0058]因此，为了避免产生这种错误，本发明实施例针对初次检测中被检测为聚焦类型的视频片段，还需要进行进一步地检测。具体的方法可以是:针对检测结果为聚焦的视频片段，计算该视频片段中各帧图像的焦点位置。如果确实是聚焦运动，则各帧图像的焦点位置应该变化不大，否则，如果物体逐渐变大是由于拍摄场景与摄像机的焦平面不平行引起的，则对应的各帧图像的焦点位置变化会比较大，因此，可以根据焦点位置的变化情况，对检测为聚焦的视频片段的检测结果进行进一步的验证。
[0059]具体的，可以是如果各帧图像之间的焦点位置变化小于预置阈值，则确定该视频片段的检测结果为聚焦。例如，可以在计算出每帧图像的焦点位置之后，比较每相邻两帧之间焦点位置，如果发现每相邻两帧之间焦点位置变化都很小，则可以确定该视频片段对应的摄像机运动类型确实为聚焦。否则，如果发现每相邻两帧之间焦点位置变化都比较大，则可以确定该视频片段对应的摄像机运动类型不是聚焦。当然，在比较各帧图像的焦点位置之间的变化时，也不一定取相邻帧进行比较，例如，为了降低计算量，提高效率，也可以选取其中的某几帧，进行焦点位置的比较，等等，这里不做限定。
[0060]其中，具体在计算各帧图像的焦点位置时，可以采用如下方法进行:
[0061]设摄像机的焦点位置坐标为(?, y0)，并考虑如下运动模型:

【权利要求】
1.一种在视频中检测摄像机运动类型的方法，包括: 获取所述视频中的变焦运动参数； 根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段； 计算该视频片段中各帧图像的焦点位置；以及 根据所述各帧图像的焦点位置，对该视频片段的检测结果进行验证。
2.根据权利要求1所述的方法，其中所述根据所述各帧图像的焦点位置，对该视频片段的检测结果进行验证包括: 如果所述各帧图像之间的焦点位置变化小于预置阈值，则确定该视频片段中的摄像机运动类型为聚焦。
3.一种在视频中检测摄像机运动类型的装置，包括: 运动参数获取单元，配置为获取所述视频中的变焦运动参数； 运动类型检测单元，配置为根据所述变焦运动参数检测出所述视频中包含的摄像机运动类型为聚焦的视频片段； 焦点位置计算单元，配置为计算该视频片段中各帧图像的焦点位置；以及检测结果验证单元，配置为根据所述各帧图像的焦点位置，对该视频片段的检测结果进行验证。
4.根据权利要求3所述的装置，其中所述检测结果验证单元具体配置为如果所述各帧图像之间的焦点位置变化小于预置阈值，则确定该视频片段中的摄像机运动类型为聚焦。
【文档编号】H04N17/00GK104135658SQ201410273270
【公开日】2014年11月5日 申请日期:2011年3月31日 优先权日:2011年3月31日
【发明者】李斐, 刘汝杰, 于浩, 马场孝之, 上原祐介 申请人:富士通株式会社