一种镜头类型的确定方法、装置及客户端与流程

本发明涉及互联网技术领域，特别涉及一种镜头类型的确定方法、装置及客户端。

背景技术：

随着网络以及多媒体技术的迅速发展，涌现出了大量的数字视频，如新闻、广告、监控视频、家庭视频等。数字视频的大量涌现引发了许多新的技术，包括视频存档、编目、索引以及有效存取等，而这些都需要将非结构化的视频数据转换成为结构化的视频数据。

视频数据按层次可划分为帧、镜头、场景、故事单元等，其中镜头是视频结构的基本单位，因此对视频镜头的检测成为视频检索和浏览技术的基础工作。

对视频中镜头拍摄方式的自动识别属于电视资料编目的描述范畴，镜头的拍摄方式包括：固定镜头、平移、推进和拉伸、镜头转换。传统的做法，镜头的拍摄方式的确定是通过人工观看视频来判断。但是人工识别的方式，存在效率较低，识别准确性较差的问题。而精确的镜头切分能够大大降低视频编辑系统的存储和数据上传负担。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的镜头类型的确定方法、装置及客户端。

本发明实施例提供的一种镜头类型的确定方法，包括：

将镜头下相邻的前后两帧图片分别进行特征点检测，提取特征点；

对所述两帧图片的特征点进行匹配，提纯所述特征点；

使用提纯后的特征点，确定所述前后两帧图片的变换关系；

根据所述变换关系，对所述两帧图片中的后一帧图像进行图像变换；

根据前一帧图像与变换后的后一帧图像，确定所属镜头的类型。

进一步地，所述提取特征点的步骤之后，还包括：

使用RANSAC对匹配的特征点对进行筛选；

相应地，对所述两帧图片的特征点进行匹配，提纯所述特征点，具体包括：

对经过RANSAC筛选后的特征点进行匹配，提纯所述特征点。

进一步地，对所述两帧图片的特征点进行匹配，提纯所述特征点，包括：

剔除两帧图像中匹配度低于设定的阈值的特征点对；和/或

编辑提纯后的匹配点对之间的连接线，剔除所述连接线斜率大于设定阈值的特征点。

所述使用提纯后的特征点，确定所述前后两帧图片的变换关系，具体包括：

使用提纯处理后的特征点进行计算，得到图片之间的变换矩阵。

本发明实施例提供的一种镜头类型的确定装置，包括：

特征点检测模块，用于将镜头下相邻的前后两帧图片分别进行特征点检测，提取特征点；

提纯模块，用于对所述两帧图片的特征点进行匹配，提纯所述特征点；

变换关系确定模块，用于使用提纯后的特征点，确定所述前后两帧图片的变换关系；

图像变换模块，用于根据所述变换关系，对所述两帧图片中的后一帧图像进行图像变换；

镜头类型确定模块，用于根据前一帧图像与变换后的后一帧图像，确定所属镜头的类型。

进一步地，所述提纯模块，还用于在特征点检测模块提取特征点之后，使用RANSAC对匹配的特征点对进行筛选；

相应地，所述提纯模块，用于对经过RANSAC筛选后的特征点进行匹配，提纯所述特征点。

进一步地，上述提纯模块，具体用于剔除两帧图像中匹配度低于设定的阈值的特征点对；和/或

编辑提纯后的匹配点对之间的连接线，剔除所述连接线斜率大于设定阈值的特征点。

进一步地，变换关系确定模块，具体用于使用提纯处理后的特征点进行计算，得到图片之间的变换矩阵。

本发明实施例还提供了一种视频编辑客户端，所述客户端包括上述镜头类型的确定装置。

本发明的有益效果包括：

本发明实提供的上述镜头类型的确定方法、装置及客户端中，将镜头下相邻的前后两帧图片分别进行特征点检测，提取特征点；然后对两帧图片的特征点进行匹配，提纯该前后两帧图片的特征点；使用提纯后的特征点，确定前后两帧图片的变换关系；根据变换关系，对两帧图片中的后一帧图像进行图像变换；根据前一帧图像与变换后的后一帧图像，确定所属镜头的类型。本发明通过对同一个镜头下的相邻两张图片进行匹配的方式，确定所属镜头的类型，实现了镜头类型识别的自动化，并且，对特征点进行提纯后确定两张图片的变换关系,依据变换关系,对后一帧图像进行图像变换的方式，能够提高特征点的匹配的准确度。

进一步地,本发明提供的上述镜头类型的确定方法、装置及客户端中，使用编辑提纯后的匹配点对之间的连接线，剔除所述连接线斜率大于设定阈值的特征点的方式对特征点进行提纯，方式简单有效，进一步提高了图片匹配的速度和准确性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可 通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例中镜头类型的确定方法的流程图；

图2为本发明实施例提供的图片中匹配准确和不准确的特征点的连接线示意图；

图3为本发明实施例中图片的匹配装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

首先对本发明实施例提供的镜头类型的确定方法的具体实施方式进行说明。

本发明实施例提供的镜头类型的确定方法，如图1所示，包括：

S11、将镜头下相邻的前后两帧图片分别进行特征点检测，提取特征点；

S12、对所述两帧图片的特征点进行匹配，提纯所述特征点；

S13、使用提纯后的特征点，确定前后两帧图片的变换关系；

S14、根据变换关系，对两帧图片中的后一帧图像进行图像变换；

S15、根据前一帧图像与变换后的后一帧图像，确定所属镜头的类型。

下面分别对上述各步骤进行详细的说明。

上述步骤S11-S15针对的两帧相邻的图片，其图像重叠区域不能太小，一般来说，不能少于图片大小的15％，这样才能保证有足够的特征点匹配。一般连续性镜头不用考虑重叠区域多少的问题；只有切换镜头的时候，不能再按照这个方法进行，因为不同镜头下的图片很难检测到匹配点，换言之，检测到的匹配点其实都是严重错误的。

进一步地，上述S11中，将镜头下相邻的前后两帧图片分别进行特征点检测，提取特征点，可以参考现有特征点检测的方法，例如采用简单的Harris角点检测等，或者提取或者按照现有技术提取尺度不变特征转换(Scale-invariant feature transform，SIFT)特征等。具体的方法不再详述。

对特征点进行检测提取出特征点之后，上述步骤S11和S12之间，还可以包括使用随机抽样一致(RANdom SAmple Consensus，RANSAC)算法对特征点进行筛选的步骤，该步骤也可以采用最小二乘法进行，该步骤的目的是去掉一些噪声，得到有效的样本，算是初步的提纯。

下面简单介绍一下RANSAC算法。

RANSAC可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。RANSAC算法的输入是一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数。RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点，并用下述方法进行验证：

有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出，用上面得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。然后，用所有假设的局内点去重新估计模型，因为它 仅仅被初始的假设局内点估计过。

具体来说，本发明实施例使用RANSAC对匹配的特征点对进行筛选，可以包括如下步骤：

从所有匹配的特征点对中，随机抽选一个RANSAC样本，所述RANSAC样本中包含多个匹配点对；

根据RANSAC样本中的匹配点对，计算变换矩阵；

根据RANSAC样本、所述变换矩阵和误差度量函数，计算满足当前变换矩阵的一致集；

根据一致集中的元素个数，判断一致集是否为设定的最优一致集；

当判断结果为是时，计算当前错误概率，当错误概率低于设定的最小错误概率时，将变换矩阵作为最终结果输出，否则，重新随机抽选RANSAC样本，重复上述计算，直至错误概率低于设定的最小错误概率。

举个简单的例子来说明使用RANSAC的流程，首先从样本集中随机抽选一个RANSAC样本，例如4个匹配点对，然后根据这4个匹配点对计算变换矩阵M；根据样本集，变换矩阵M，和误差度量函数计算满足当前变换矩阵的一致集consensus，并返回一致集中元素个数；根据当前一致集中元素个数判断是否最优一致集，若是则更新当前最优一致集；同时更新当前错误概率p，若p大于允许的最小错误概率则重复前面的步骤继续迭代，直到当前错误概率p小于最小错误概率。

在执行S12中，可以通过下述方式提纯经过RANSAC筛选之后的特征点：

第一种方式是：剔除两帧图像中匹配度低于设定的阈值的特征点对。

即：参考两帧图片中的特征点的匹配度的阈值(预先设定)，将特征点的匹配度低于设定阈值的特征点进一步地筛除。

第二种方式是：编辑提纯后的匹配点对之间的连接线，剔除连接线斜率大于设定阈值的特征点。

第三种方式是：既剔除两帧图像中匹配度低于设定的阈值的特征点对，又 编辑提纯后的匹配点对之间的连接线，剔除连接线斜率大于设定阈值的特征点，且这两个步骤的执行顺序可以前后调换。

发明人发现，凡是两张图片之间特征点对之间的连接线的斜率超过一定程度的匹配点对都是错误的。由此，如果根据连接线的斜率删掉错误的特征点对，则最后得到的都是几乎平行的匹配点对，也即正确匹配的特征点对。

如图2的例子来说，图片1和图片2进行匹配时，特征点对之间的连接线的斜率低于例如0.1时(近乎水平)，则为准确匹配的特征点对，如图2所示的虚线连接的特征点对，反之，特征点对之间的连接线的斜率高于该阈值时，如图2所示的实线连接的特征点对，则为错误匹配的特征点对。

现有技术对图像进行匹配的方法，常常采用将所有匹配点进行转换，得到一个相邻图像的转换关系然后再进行转换的方式，这种方式的前提是特征点的选取都是正确的而且特征点的匹配也是正确的，这中间就存在一个平衡矛盾的问题：特征点选择的准确度越优(比如sift特征点)，则提取特征点的速度就越慢，如果特征点的维数很高，匹配的速度也会很慢(即使先经过上一步的特征点筛选)。所以如何在特征点选择和图像匹配速度上进行平衡，是需要考虑的。基于此，本发明实施例的S12步骤中，采用了使用编辑提纯后的匹配点对之间的连接线，剔除连接线斜率大于设定阈值的特征点的方式和/或剔除两帧图像中匹配度低于设定的阈值的特征点对的方式，对特征点进行提纯，方式简单有效，进一步提高了图片匹配的速度和准确性。

相应地，上述S13中使用提纯后的特征点，确定前后两帧图片的变换关系，在具体实施时，可以对两帧图片的有效密集区域，使用特征点提纯处理后的特征点进行计算，得到图片之间的变换矩阵(例如选择opencv中的FindHomography函数输出的透视变换矩阵)。

基于同一发明构思，本发明实施例还提供了一种镜头类型的确定装置以及视频编辑客户端，由于这些装置所解决问题的原理与前述镜头类型的确定方法相似，因此该装置和客户端的实施可以参见前述方法的实施，重复之处不再赘 述。

进一步地，上述S15中，根据前一帧图像与变换后的后一帧图像，确定所属镜头的类型，具体来说，即根据变换后的后一帧图像与前一帧图像的相似程度，来确定镜头是否固定，是否发生了的平移、推进和拉伸等。

本发明实施例提供的一种镜头类型的确定装置，如图3所示，包括：

特征点检测模块301，用于将镜头下相邻的前后两帧图片分别进行特征点检测，提取特征点；

提纯模块302，用于对所述两帧图片的特征点进行匹配，提纯所述特征点；

变换关系确定模块303，用于使用提纯后的特征点，确定所述前后两帧图片的变换关系；

图像变换模块304，用于根据所述变换关系，对所述两帧图片中的后一帧图像进行图像变换；

镜头类型确定模块305，用于根据前一帧图像与变换后的后一帧图像，确定所属镜头的类型。

进一步地，上述提纯模块302，还用于在特征点检测模块提取特征点之后，使用RANSAC对匹配的特征点对进行筛选；

相应地，提纯模块302，用于对经过RANSAC筛选后的特征点进行匹配，提纯所述特征点。

进一步地，上述提纯模块302，具体用于提纯模块，具体用于剔除两帧图像中匹配度低于设定的阈值的特征点对；和/或

编辑提纯后的匹配点对之间的连接线，剔除所述连接线斜率大于设定阈值的特征点。

进一步地，上述变换关系确定模块303，具体用于使用提纯处理后的特征点进行计算，得到图片之间的变换矩阵。

本发明实施例还提供了一种视频编辑客户端，该视频编辑客户端包括本发明实施例提供的上述镜头类型的确定装置。

本发明实提供的上述镜头类型的确定方法、装置及客户端中，将镜头下相邻的前后两帧图片分别进行特征点检测，提取特征点；然后对两帧图片的特征点进行匹配，提纯该前后两帧图片的特征点；使用提纯后的特征点，确定前后两帧图片的变换关系；根据变换关系，对两帧图片中的后一帧图像进行图像变换；根据前一帧图像与变换后的后一帧图像，确定所属镜头的类型。本发明通过对同一个镜头下的相邻两张图片进行匹配的方式，确定所属镜头的类型，实现了镜头类型识别的自动化，并且，对特征点进行提纯后确定两张图片的变换关系,依据变换关系,对后一帧图像进行图像变换的方式，能够提高特征点的匹配的准确度。

进一步地，本发明提供的上述镜头类型的确定方法、装置及客户端中，使用编辑提纯后的匹配点对之间的连接线，剔除连接线斜率大于设定阈值的特征点的方式对特征点进行提纯，方式简单有效，进一步提高了图片匹配的速度和准确性。

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。