一种视频序列中场景切换检测方法及装置与流程

本发明涉及视频处理技术领域，尤其涉及一种视频序列中场景切换检测方法及装置。

背景技术：

帧是组成视频图像的基本单位。在视频编码时，可将帧类型的设定为I帧、P帧或B帧。帧内编码帧(I帧)，是一个全帧内压缩的编码帧。解码时仅用I帧的数据就可重构完整图像，不需要参考其他画面而生成。预测帧(P帧)只保存有当前帧与I帧或前一帧的画面差别的数据；双向预测帧(B帧)记录的是当前帧与前后帧的差别。通常在视频序列中会在两种情况下设置I帧：随机访问的需要、场景切换的发生。由上述可知，在视频序列中检测出场景切换的帧，将其设定为I帧，对于提高编码效率至关重要。

因此，本领域技术人员需要提供一种视频序列中场景切换检测方法及装置，能够准确判断视频序列中发生场景切换的帧。

技术实现要素：

为了解决现有技术问题，本发明提供了一种视频序列中场景切换检测方法及装置，能够准确判断视频序列中发生场景切换的帧。

本发明实施例提供的一种视频序列中场景切换检测方法，包括：

获取视频序列，所述视频序列至少包括两个按顺序排列的分辨率相同的帧；

获取第一帧的帧内复杂度以及所述第一帧和第二帧之间的帧间复杂度，所述第一帧为所述视频序列中的一帧，所述第二帧为所述视频序列中的另一帧；

获取所述帧内复杂度与所述帧间复杂度的差值，得到复杂度差；

根据所述复杂度差和预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧。

优选地，所述根据所述复杂度差和预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧，具体包括：

将所述帧内复杂度除以所述复杂度差，得到第一复杂度商；

当所述第一复杂度商大于第一预设阈值时，所述第一帧是所述视频序列中场景切换的帧。

优选地，所述根据所述复杂度差和预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧，具体包括：

将所述帧间复杂度除以所述复杂度差，得到第二复杂度商；

当所述第二复杂度商大于第二预设阈值时，所述第一帧是所述视频序列中场景切换的帧。

优选地，所述根据所述复杂度差和预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧，具体包括：

将所述帧内复杂度的X次方除以第一值，得到第三复杂度商，所述第一值等于所述复杂度差的Y次方，Y大于0；

当所述第三复杂度商大于第三预设阈值时，所述第一帧是所述视频序列中场景切换的帧。

优选地，所述根据所述复杂度差和预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧，具体包括：

将所述帧间复杂度的M次方除以第二值，得到第四复杂度商，所述第二值等于所述复杂度差的N次方，N大于0；

当所述第四复杂度商大于第四预设阈值时，所述第一帧是所述视频序列中场景切换的帧。

本发明实施例还提供了一种视频序列中场景切换检测装置，包括：第一获取单元、第二获取单元和检测单元；

所述第一获取单元，用于获取视频序列，所述视频序列至少包括两个按顺序排列的分辨率相同的帧；

所述第二获取单元，用于获取第一帧的帧内复杂度以及所述第一帧和第二帧之间的帧间复杂度，所述第一帧为所述视频序列中的一帧，所述第二帧为所述视频序列中的另一帧；

所述第二获取单元，还用于获取所述帧内复杂度与所述帧间复杂度的差值，得到复杂度差；

所述检测单元，用于根据所述复杂度差和预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧。

优选地，所述检测单元，包括：第一计算子单元、第一判断子单元和第一确定子单元；

所述第一计算子单元，用于用将所述帧内复杂度除以所述复杂度差，得到第一复杂度商；

所述第一判断子单元，用于判断所述第一复杂度商是否大于第一预设阈值；

所述第一确定子单元，用于当所述第一判断子单元判断所述第一复杂度商大于所述第一预设阈值时，确定所述第一帧是所述视频序列中场景切换的帧。

优选地，所述检测单元，包括：第二计算子单元、第二判断子单元和第二确定子单元；

所述第二计算子单元，用于将所述帧间复杂度除以所述复杂度差，得到第二复杂度商；

所述第二判断子单元，用于判断所述第二复杂度商是否大于第二预设阈值；

所述第二确定子单元，用于当所述第二判断子单元判断所述第二复杂度商大于所述第二预设阈值时，确定所述第一帧是所述视频序列中场景切换的帧。

优选地，所述检测单元，包括：第三计算子单元、第三判断子单元和第三确定子单元；

所述第三计算子单元，用于将所述帧内复杂度的X次方除以第一值，得到第三复杂度商，所述第一值等于所述复杂度差的Y次方，Y大于0；

所述第三判断子单元，用于判断所述第三复杂度商是否大于第三预设阈值；

所述第三确定子单元，用于当所述第三判断子单元判断所述第三复杂度商大于所述第三预设阈值时，确定所述第一帧是所述视频序列中场景切换的帧。

优选地，所述检测单元，包括：第四计算子单元、第四判断子单元和第四确定子单元；

所述第四计算子单元，用于将所述帧间复杂度的M次方除以第二值，得到第四复杂度商，所述第二值等于所述复杂度差的N次方，N大于0；

所述第四判断子单元，用于判断所述第四复杂度商是否大于第四预设阈值；

所述第四确定子单元，用于当所述第四判断子单元判断所述第四复杂度商大于所述第四预设阈值时，确定所述第一帧是所述视频序列中场景切换的帧。

与现有技术相比，本发明至少具有以下优点：

本发明实施例提供的视频序列中场景切换检测方法，在获取到视频序列后，分别计算分辨率相同的每一帧的帧内复杂度及其与时间轴上位置不同的参考帧之间的帧间复杂度。由于当视频中的某一帧发生场景转换时，相对于没有发生场景切换的帧，该帧的帧间复杂度和帧内复杂度的比例关系会发生改变。此时，可根据每一帧的帧内复杂度和帧间复杂度之差与预设值之间的对应关系，判断该帧是否为视频序列中场景切换的帧。本发明实施例提供的视频序列中场景切换检测方法，能够准确判断出视频序列中发生场景切换的帧，提高视频编码的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明提供的视频序列中场景切换检测方法实施例一的流程示意图；

图2为本发明提供的视频序列中场景切换检测方法实施例二的流程示意图；

图3为本发明提供的视频序列中场景切换检测方法实施例三的流程示意图；

图4为本发明提供的视频序列中场景切换检测装置实施例一的结构示意图；

图5为本发明提供的视频序列中场景切换检测装置实施例二的结构示意图；

图6为本发明提供的视频序列中场景切换检测装置实施例三的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先需要说明的是，在编码过程中都需要计算当前帧的自相关性，以及当前帧和参考帧(时间轴上与当前帧位置不同的另外一帧)之间的互相关性。在计算当前帧的自相关性的时候，可以使用原始分辨率的视频图像或者降低分辨率的下采样视频图像，以进行帧内预测。然后计算帧内预测残差的平方和或者绝对值之和，以此来描述当前帧的帧内复杂度。当前帧和参考帧之间的帧间互相关性则可使用当前帧和参考帧之间的帧间预测所获得的帧间预测残差的平方和或者绝对值之和来描述。而后，所获得的帧间预测残差的平方和或者绝对值之和，需要进一步和帧内预测时所获得的帧内预测残差的平方和或者绝对值之和相比较，将两者中较小的值称其为帧间复杂度。还需要说明的是，本领域技术人员还可采用其他方法计算当前帧的帧内复杂度及当前帧和参考帧之间的帧间复杂度，在此不再一一列举。

方法实施例一：

参见图1，该图为本发明提供的视频序列中场景切换检测方法实施例一的流程示意图。

本实施例提供的视频序列中场景切换检测方法，包括：

S101：获取视频序列，所述视频序列至少包括两个按顺序排列的分辨率相同的帧；

可以理解的是，视频是由多个按时间轴排列的静止画面组成的，每个静止画面为一帧。

S102：获取第一帧的帧内复杂度以及所述第一帧和第二帧之间的帧间复杂度，所述第一帧为所述视频序列中的一帧，所述第二帧为所述视频序列中的另一帧；

需要说明的是，第二帧可以是第一帧的前向与其相邻的帧，也可以是第一帧的前向与其不相邻的帧。

S103：获取所述帧内复杂度与所述帧间复杂度的差值，得到复杂度差；

可以理解的是，在计算帧间复杂度时，将所获得的帧间预测残差的平方和或者绝对值之和进一步和帧内预测时所获得的帧内预测残差的平方和或者绝对值之和相比较，将两者中较小的值称其为帧间复杂度。因此，第一帧的帧内复杂度总是大于第一帧与参考帧之间的帧间复杂度，即第一帧的复杂度差大于零。

S104：根据所述复杂度差和预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧。

本领域技术人员可根据实际情况具体设定预设值。例如，预设值可以为检测帧的帧内复杂度或帧间复杂度等。

需要说明的是，当视频中某一帧发生实际的场景切换的时候，一个显著的特点是当前帧和时间轴上的某一位置不同的参考帧间的互相关性很小，即当前帧与参考帧之间的帧间复杂度较大。如果没有发生场景切换的时候，由于参考帧与当前帧的互相关性较大，当前帧与参考帧间的帧间复杂度较小。这样，对第一帧来说，发生场景切换时与第二帧之间的帧间复杂度要大于无场景切换时与第二帧之间的帧间复杂度。并且对于同一帧来说，该帧为场景切换帧时的复杂度差大于该帧不是场景转换帧时的复杂度差。即，发生场景切换的帧的复杂度差要小于没有发生场景切换帧的复杂度差。

因此，可以预设值为标准，比较复杂度差与预设值之间的对应关系(例如大小等线性关系或比例关系等其他函数关系)来判断第一帧是否为视频中场景切换的帧。由于在某些情况下，场景切换帧的帧内复杂度与帧间复杂度之间的差值较小，相较于仅比较帧内复杂度与帧间复杂度之间的大小关系来判断第一帧是否为视频序列中场景切换的帧，比较预设值与复杂度差之间的对应关系可提高场景切换检测的准确率。

还需要说明的是，由于帧内复杂度和帧间复杂度的计算受视频分辨率的影响，本实施例提供的视频序列中场景切换检测方法可以在视频序列图像的原始分辨率下展开，也可以在降低了分辨率的下采样图像中进行。但是，场景切换检测涉及到的两帧，即第一帧和第二帧的分辨率相同。

本实施例提供的视频序列中场景切换检测方法，在获取到视频序列后，分别计算分辨率相同的每一帧的帧内复杂度及其与时间轴上位置不同的参考帧之间的帧间复杂度。由于当视频中的某一帧发生场景转换时，相对于没有发生场景切换的帧，该帧的帧间复杂度和帧内复杂度的比例关系会发生改变。此时，可根据每一帧的帧内复杂度和帧间复杂度之差与预设值之间的对应关系，判断该帧是否为视频序列中场景切换的帧。本实施例提供的视频序列中场景切换检测方法，能够准确判断出视频序列中发生场景切换的帧，提高视频编码的效率。

方法实施例二：

参见图2，该图为本发明提供的视频序列中场景切换检测方法实施例二的流程示意图。相较于图1，本实施例提供了一种更加具体且精确度高的视频序列中场景切换检测方法，具体说明如何根据所述复杂度差与预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧。

本实施例提供的视频序列中场景切换检测方法的步骤S201-S203分别于方法实施例一的S101-S103相同，在此不再赘述。

本实施例提供的视频序列中场景切换检测方法，还包括：

S204：将所述帧内复杂度除以所述复杂度差，得到第一复杂度商；

这时，预设值为第一帧的帧内复杂度。

S205：当所述第一复杂度商大于第一预设阈值时，所述第一帧是所述视频序列中场景切换的帧。

以复杂度差为除数，以帧内复杂度为被除数，得到复杂度商后，由于当第一帧为场景切换帧时，复杂度商较大；而当第一帧不是场景切换帧时，复杂度商较小。这样，将复杂度商与预设阈值比较，就可判断出第一帧是否为场景切换帧。

这里需要说明的是，当帧间复杂度与帧内复杂度比较接近的情况下，仅使用帧间复杂度与帧内复杂度的大小关系进行场景切换检测所得到的结果的准确性较低。因此，采用上述步骤来判断第一帧是否为视频序列中场景切换的帧，以复杂度差为除数，以帧内复杂度为被除数，可使得第一复杂度商在不同的情况下有一个更大的变化范围，更准确的判断第一帧是否为视频序列中场景切换的帧。

另外，本实施例提供的视频序列中场景切换检测方法，在步骤S203之后还可通过以下步骤来判断第一帧是否为视频序列中场景切换的帧：

S206：将所述帧内复杂度的X次方除以第一值，得到第三复杂度商，所述第一值等于所述复杂度差的Y次方，Y大于0；

S207：当所述第三复杂度商大于第三预设阈值时，所述第一帧是所述视频序列中场景切换的帧。

需要说明的是，例如，当Y为大于或等于0.1的数值时，使用复杂度差的Y次方为除数后，当第一帧为场景切换帧时，得到的第三复杂度商与第一帧不是场景切换帧时得到的第三复杂度商的差距扩大，可更准确的将两种不同情况(即是否为场景切换帧)区分开来。

需要说明的是，帧内复杂度和帧间复杂度均与帧的分辨率相关。因此，当第一帧和第二帧的分辨率相同时，第一复杂度商和第二复杂度商与分辨率无关。此时，本领域技术人员可根据实际情况设定第一预设阈值和第三预设阈值，并不必须以视频的分辨率为依据来设定。

这里还需要说明的是，本领域技术人员还可根据实际情况采用其他方法进行验证，在此不再一一列举。

方法实施例三：

参见图3，该图为本发明提供的视频序列中场景切换检测方法实施例三的流程示意图。相较于图1，本实施例提供了一种更加具体且精确度高的视频序列中场景切换检测方法，具体说明如何根据复杂度差与预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧。

本实施例提供的视频序列中场景切换检测方法的步骤S301-S303分别于方法实施例一的S101-S103相同，在此不再赘述。

本实施例提供的视频序列中场景切换检测方法，还包括：

S304：将所述帧间复杂度除以所述复杂度差，得到第二复杂度商；

此时，预设值为第一帧的帧间复杂度。

S305：当所述第二复杂度商大于第二预设阈值时，所述第一帧是所述视频序列中场景切换的帧。

可以理解的是，以帧间复杂度为被除数，以复杂度差为除数的具体原理与以帧内复杂度为被除数，以复杂度差为除数的原理相似，在此不再赘述。

另外，本实施例提供的视频序列中场景切换检测方法，在步骤S303之后还可通过以下步骤来判断第一帧是否为视频序列中场景切换的帧：

S306：将所述帧内复杂度的M次方除以第二值，得到第四复杂度商，所述第二值等于所述复杂度差的N次方，N大于0；

S307：当所述第四复杂度商大于第四预设阈值时，所述第一帧是所述视频序列中场景切换的帧。

可以理解的是，例如，当N为大于或等于0.1的数值时，使用复杂度差的N次方为除数后，当第一帧为场景切换帧时，得到的第四复杂度商与第一帧不是场景切换帧时得到的第四复杂度商的差距扩大，可更准确的将两种不同情况(即是否为场景切换帧)区分开来。

需要说明的是，帧内复杂度和帧间复杂度均与帧的分辨率相关。因此，当第一帧和第二帧的分辨率相同时，第二复杂度商和第四复杂度商与分辨率无关。此时，本领域技术人员可根据实际情况设定第二预设阈值和第四预设阈值，并不必须以视频的分辨率为依据来设定。

这里还需要说明的是，本领域技术人员还可根据实际情况采用其他方法进行验证，在此不再一一列举。

基于上述实施例提供的视频序列中场景切换检测方法，本发明实施例还提供了一种视频序列中场景切换检测装置。

装置实施例一：

参见图4，该图为本发明提供的视频序列中场景切换检测装置实施例一的示意图。

本实施例提供的视频序列中场景切换检测装置，包括：第一获取单元100、第二获取单元200和检测单元300；

所述第一获取单元100，用于获取视频序列，所述视频序列至少包括两个按顺序排列的分辨率相同的帧；

所述第二获取单元200，用于获取第一帧的帧内复杂度以及所述第一帧和第二帧之间的帧间复杂度，所述第一帧为所述视频序列中的一帧，所述第二帧为所述视频序列中的另一帧；

所述第二获取单元200，还用于获取所述帧内复杂度与所述帧间复杂度的差值，得到复杂度差；

所述检测单元300，用于根据所述复杂度差和预设值之间的对应关系，判断所述第一帧是否为所述视频序列中场景切换的帧。

本实施例提供的视频序列中场景切换检测装置，在获取单元获取到视频序列后，计算单元分别计算分辨率相同的每一帧的帧内复杂度及其与时间轴上位置不同的参考帧之间的帧间复杂度。由于当视频中的某一帧发生场景转换时，相对于没有发生场景切换的帧，该帧的帧间复杂度和帧内复杂度的比例关系会发生改变。此时，检测单元根据每一帧的帧内复杂度和帧间复杂度之差与预设值之间的对应关系，判断该帧是否为视频序列中场景切换的帧。本实施例提供的视频序列中场景切换检测装置，能够准确判断出视频序列中发生场景切换的帧，提高视频编码的效率。

装置实施例二：

参见图5，该图为本发明提供的视频序列中场景切换检测装置实施例二的示意图。相较于图4，本实施例提供了一种更加具体且准确率高的视频序列中场景切换检测装置。

本实施例提供的场景切换检测装置中，所述检测单元300，包括：第一计算子单元301a、第一判断子单元302a和第一确定子单元303a；

所述第一计算子单元301a，用于将所述帧内复杂度除以所述复杂度差，得到第一复杂度商；

所述第一判断子单元302a，用于判断所述第一复杂度商是否大于第一预设阈值；

所述第一确定子单元303a，用于当所述第一判断子单元302a判断所述第一复杂度商大于第一预设阈值时，确定所述第一帧是所述视频序列中场景切换的帧。

另外，为了进一步提高检测的准确性，本实施例提供的场景切换检测装置中，所述检测单元300，还可以包括：第三计算子单元301c、第三判断子单元302c和第三确定子单元303c；

所述第三计算子单元301c，用于将所述帧内复杂度的X次方除以第一值，得到第三复杂度商，所述第一值等于所述复杂度差的Y次方，Y大于0；

所述第三判断子单元302c，用于判断所述第三复杂度商是否大于第三预设阈值；

所述第三确定子单元303c，用于当所述第三判断子单元302c判断所述第三复杂度商大于所述第三预设阈值时，确定所述第一帧是所述视频序列中场景切换的帧。

装置实施例三：

参见图6，该图为本发明提供的视频序列中场景切换检测装置实施例三的示意图。相较于图4，本实施例提供了一种更加具体且准确率高的视频序列中场景切换检测装置。

本实施例提供的场景切换检测装置中，所述检测单元，包括：第二计算子单元301b、第二判断子单元302b和第二确定子单元303b；

所述第二计算子单元301b，用于将所述帧间复杂度除以所述复杂度差，得到第二复杂度商；

所述第二判断子单元302b，用于判断所述第二复杂度商是否大于第二预设阈值；

所述第二确定子单元303b，用于当所述第二判断子单元302b判断所述第二复杂度商大于第二预设阈值时，确定所述第一帧是所述视频序列中场景切换的帧。

需要说明的是，帧内复杂度和帧间复杂度均与帧的分辨率相关。因此，当第一帧和第二帧的分辨率相同时，复杂度商与分辨率无关。此时，本领域技术人员可根据实际情况设定第一预设阈值和第二预设阈值，并不必须以视频的分辨率为依据来设定。

此外，为了进一步提高检测的准确性，本实施例提供的场景切换检测装置中，所述检测单元，还可以包括：第四计算子单元301d、第四判断子单元302d和第四确定子单元302d；

所述第四计算子单元301d，用于将所述帧内复杂度的M次方除以第二值，得到第四复杂度商，所述第二值等于所述复杂度差的N次方，N大于0；

所述第四判断子单元302d，用于判断所述第四复杂度商是否大于第四预设阈值；

所述第四确定子单元302d，用于当所述第四判断子单元302d判断所述第四复杂度商大于所述第四预设阈值时，确定所述第一帧是所述视频序列中场景切换的帧。

这里还需要说明的是，本领域技术人员还可根据实际情况采用其他方法进行验证，在此不再一一列举。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。