视频浏览方法及装置制造方法
【专利摘要】本公开关于一种视频浏览方法及装置，属于计算机【技术领域】。所述方法包括：将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息；若目标块信息满足预定条件，则将当前图像帧确定为关键帧；将当前图像帧的后一个图像帧确定为当前图像帧，继续执行将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的步骤，直至比较完视频中的最后一个图像帧后停止；对确定的至少一个关键帧进行播放。所述装置包括：图像比较模块、图像确定模块、操作执行模块和图像播放模块。本公开解决了无法从连续镜头的视频中提取关键帧导致的无法浏览视频的问题，达到了提高视频的播放效率的效果。
【专利说明】视频浏览方法及装置
【技术领域】
[0001]本公开涉及计算机【技术领域】，特别涉及一种视频浏览方法及装置。
【背景技术】
[0002]随着互联网的发展，网络视频被越来越频繁的使用。当我们获取到一段视频时，需要快速浏览视频来了解视频内容，因此，如何对视频进行快速浏览成为了人们关注的问题。
[0003]由于视频是由连续的图像帧组成的，因此，在提取视频的关键帧的过程中，终端将视频分段为至少两个镜头；根据每个镜头的边界，响应于图像质量和视频内容的改变为每个镜头选择一组关键帧；将这些关键帧以恰当的速率在屏幕上再现，实现视频浏览。
[0004]公开人在实现本公开的过程中，发现相关技术中至少存在以下缺陷:终端需要根据镜头的边界提取关键帧，当视频是一个连续的镜头时，无法从视频中提取关键帧。
【发明内容】
[0005]为解决无法从连续镜头的视频中提取关键帧导致的无法浏览视频的问题，本公开提供了一种视频浏览方法及装置。
[0006]根据本公开实施例的第一方面，提供一种视频浏览方法，包括:
[0007]将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，所述目标块信息是对所述当前图像帧中包括的目标块和所述前一个图像帧中包括的目标块进行比较后得到的信息；
[0008]若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键帧；
[0009]将所述当前图像帧的后一个图像帧确定为当前图像帧，继续执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的步骤，直至比较完所述视频中的最后一个图像帧后停止；
[0010]对确定的至少一个关键帧进行播放。
[0011]可选的，所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，包括:
[0012]比较所述前一个图像帧中的目标块与所述当前图像帧中的目标块；
[0013]若所述当前图像帧中包括所述前一个图像帧中不存在的至少一个目标块，则将不存在的每个目标块确定为新增目标块，并为所述新增目标块设置标志位信息，得到每个新增目标块的目标块信息，所述标志位信息是已经确定的关键帧的个数加I;
[0014]若所述当前图像帧中包括所述前一个图像帧中存在的至少一个目标块，则将存在的每个目标块确定为已有目标块，计算所述当前图像帧中所述已有目标块基于所述前一个图像帧中对应的目标块的移动信息，得到每个已有目标块的目标块信息；
[0015]若所述前一个图像帧中包括所述当前图像帧中不存在的至少一个目标块，则将不存在的每个目标块确定为消失目标块，得到每个消失目标块的目标块信息。
[0016]可选的，所述若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键中贞，包括:
[0017]从所述当前图像帧的目标块信息中读取每个已有目标块的移动信息，所述移动信息包括所述已有目标块的移动次数、移动位移和移动至的区域中的至少一种；
[0018]检测满足移动条件的移动信息的条数是否大于预定阈值；
[0019]若检测满足所述移动条件的移动信息的条数大于所述预定阈值，则将所述当前图像帧确定为所述关键帧。
[0020]可选的，所述若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键中贞，包括:
[0021]从所述当前图像帧的目标块信息中读取每个目标块的标志位信息；
[0022]检测各个标志位信息中是否存在与所述消失目标块的标志位信息相同的标志位信息；
[0023]若检测出不存在与所述消失目标块的标志位信息相同的标志位信息，则将所述当前图像帧确定为所述关键帧。
[0024]可选的，所述方法，还包括:
[0025]获取所述视频中的每个图像帧以及拍摄所述图像帧时的传感器信息，所述传感器信息包括全球定位系统GPS信息、加速度信息和感光度ISO信息中的至少一种；
[0026]根据所述传感器信息对不满足筛选条件的图像帧进行丢弃，触发执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的步骤。
[0027]可选的，若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键帧，包括:
[0028]若所述当前图像帧中包括人物，则检测所述当前图像帧相对于所述前一个图像帧的人物姿态信息是否产生变化，并检测所述当前图像帧中除所述人物之外的目标块信息是否满足所述预定条件；
[0029]若检测出所述人物姿态信息产生了变化，且所述当前图像帧中除所述人物之外的目标块信息满足所述预定条件，则将所述当前图像帧确定为关键帧。
[0030]根据本公开实施例的第二方面，提供一种视频浏览装置，包括:
[0031]图像比较模块，被配置为将视频中的当前图像帧与前一个图像帧进行比较，得到目标块信息，所述目标块信息是对所述当前图像帧中包括的目标块和所述前一个图像帧中包括的目标块进行比较后得到的信息；
[0032]图像确定模块，被配置为在所述图像比较模块得到的所述目标块信息满足预定条件时，将所述当前图像帧确定为关键帧；
[0033]操作执行模块，被配置为将所述当前图像帧的后一个图像帧确定为当前图像帧，继续执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的操作，直至比较完所述视频中的最后一个图像帧后停止；
[0034]图像播放模块，被配置为对所述图像确定模块确定的至少一个关键帧进行播放。
[0035]可选的，所述图像比较模块，包括:
[0036]目标比较子模块，被配置为比较所述前一个图像帧中的目标块与所述当前图像帧中的目标块；
[0037]第一确定子模块，被配置为在所述目标比较子模块比较出所述当前图像帧中包括所述前一个图像帧中不存在的至少一个目标块时，将不存在的每个目标块确定为新增目标块，并为所述新增目标块设置标志位信息，得到每个新增目标块的目标块信息，所述标志位信息是已经确定的关键帧的个数加I;
[0038]第二确定子模块，被配置为在所述目标比较子模块比较出所述当前图像帧中包括所述前一个图像帧中存在的至少一个目标块时，将存在的每个目标块确定为已有目标块，计算所述当前图像帧中所述已有目标块基于所述前一个图像帧中对应的目标块的移动信息，得到每个已有目标块的目标块信息；
[0039]第三确定子模块，被配置为在所述目标比较子模块比较出所述前一个图像帧中包括所述当前图像帧中不存在的至少一个目标块时，将不存在的每个目标块确定为消失目标块，得到每个消失目标块的目标块信息。
[0040]可选的，所述图像确定模块，包括:
[0041]第一读取子模块，被配置为从所述当前图像帧的目标块信息中读取每个已有目标块的移动信息，所述移动信息包括所述已有目标块的移动次数、移动位移和移动至的区域中的至少一种；
[0042]第一检测子模块，被配置为检测满足移动条件的移动信息的条数是否大于预定阈值；
[0043]第四确定子模块，被配置为在所述第一检测子模块检测出满足所述移动条件的移动信息的条数大于所述预定阈值时，将所述当前图像帧确定为所述关键帧。
[0044]可选的，所述图像确定模块，包括:
[0045]第二读取子模块，被配置为从所述当前图像帧的目标块信息中读取每个目标块的标志位信息；
[0046]第二检测子模块，被配置为检测各个标志位信息中是否存在与所述消失目标块的标志位信息相同的标志位信息；
[0047]第五确定子模块，被配置为在所述第二检测子模块检测出不存在与所述消失目标块的标志位信息相同的标志位信息时，将所述当前图像帧确定为所述关键帧。
[0048]可选的，所述装置，还包括:
[0049]信息获取模块，被配置为获取所述视频中的每个图像帧以及拍摄所述图像帧时的传感器信息，所述传感器信息包括全球定位系统GPS信息、加速度信息和感光度ISO信息中的至少一种；
[0050]图像筛选模块，被配置为根据所述信息获取模块中获取的传感器信息对不满足筛选条件的图像帧进行丢弃，触发执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的操作。
[0051]可选的，所述图像确定模块，包括:
[0052]第三检测子模块，被配置为在所述当前图像帧中包括人物时，检测所述当前图像帧相对于所述前一个图像帧的人物姿态信息是否产生变化，并检测所述当前图像帧中除所述人物之外的目标块信息是否满足所述预定条件；
[0053]第六确定子模块，被配置为在所述第三检测子模块检测出所述人物姿态信息产生了变化，且所述当前图像帧中除所述人物之外的目标块信息满足所述预定条件时，将所述当前图像帧确定为关键帧。
[0054]根据本公开实施例的第三方面，提供一种视频浏览装置，包括:
[0055]处理器；
[0056]用于存储处理器可执行指令的存储器；
[0057]其中，所述处理器被配置为:
[0058]将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，所述目标块信息是对所述图像帧中包括的目标块和所述前一个图像帧中包括的目标块进行比较后得到的信息;
[0059]若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键帧；
[0060]将所述当前图像帧的后一个图像帧确定为当前图像帧，继续执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的步骤，直至比较完所述视频中的最后一个图像帧后停止；
[0061]对确定的至少一个关键帧进行播放。
[0062]本公开的实施例提供的技术方案可以包括以下有益效果:
[0063]通过将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，该目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息；若目标块信息满足预定条件，则将当前图像帧确定为关键帧，可以通过对视频中当前图像帧的目标块进行比较得到目标块信息，再根据目标块信息筛选出关键帧，而不需要通过镜头的边界确定关键帧，解决了无法从连续的镜头中提取关键帧导致的无法浏览视频的问题，达到了提高视频的播放效率的效果。
[0064]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
【专利附图】
【附图说明】
[0065]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。
[0066]图1是根据一示例性实施例示出的一种视频浏览方法的流程图。
[0067]图2是根据另一示例性实施例示出的一种视频浏览方法的流程图。
[0068]图3是根据一示例性实施例示出的一种视频浏览装置的框图。
[0069]图4是根据一示例性实施例示出的一种视频浏览装置的框图。
[0070]图5是根据一示例性实施例示出的一种用于视频浏览的装置的框图。
【具体实施方式】
[0071]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0072]图1是根据一示例性实施例示出的一种视频浏览方法的流程图，该视频浏览方法应用于终端中，如图1所示，该视频浏览方法包括以下步骤。
[0073]在步骤101中，将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，该目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息。
[0074]图像帧是视频的单位画面。目标块是对图像帧中的内容进行划分后得到的，目标块可以包括至少一个物体，也可以包括一个物体的部分，本实施例不限定对目标块的划分方式。目标块信息指将视频中的当前图像帧的目标块与其前一个图像帧的目标块进行比较后得到的信息。
[0075]在步骤102中，若目标块信息满足预定条件，则将当前图像帧确定为关键帧。
[0076]关键帧是指在整个视频中物体或物体运动中关键动作所在的一个图像帧，可以代表视频中一个时间段的视频内容。
[0077]由于图像帧中的物体可以用目标块表示，且目标块信息可以用来表示相邻两个图像帧中目标块的变化，因此，终端可以根据目标块信息对图像帧是否是关键帧进行检测，从而从视频中提取出至少一个关键帧。
[0078]在步骤103中，将当前图像帧的后一个图像帧确定为当前图像帧，继续执行将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的步骤，直至比较完视频中的最后一个图像帧后停止。
[0079]为了提取到视频中的所有关键帧，终端需要对所有图像帧进行比较，因此，在比较完当前图像帧之后，可以将当前图像帧的后一个图像帧确定为新的当前图像帧，并将该当前图像帧确定为新的当前图像帧的前一个图像帧，继续执行步骤101，直至将视频中的最后一个图像帧作为当前图像帧进行比较后，结束检测流程。
[0080]在步骤104中，对确定的至少一个关键帧进行播放。
[0081]由于每一个关键帧都可以代表一个时间段的视频内容，因此，将确定的至少一个关键帧按照顺序以适当的帧速度在终端中播放，可以在不缩减视频所要表达的有效信息的前提下，对视频的播放时长进行压缩，实现对视频内容的快速浏览，提高了视频播放效率。
[0082]综上所述，本公开提供的视频浏览方法，通过将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息；若目标块信息满足预定条件，则将当前图像帧确定为关键帧，可以通过对视频中当前图像帧的目标块进行比较得到目标块信息，再根据目标块信息筛选出关键帧，而不需要通过镜头的边界确定关键帧，解决了无法从连续的镜头中提取关键帧导致的无法浏览视频的问题，达到了提高视频的播放效率的效果。
[0083]图2是根据另一示例性实施例示出的一种视频浏览方法的流程图，该视频浏览方法应用于终端中，如图2所示，该视频浏览方法包括如下步骤。
[0084]在步骤201中，获取视频中的每个图像帧以及拍摄图像帧时的传感器信息，该传感器信息包括GPS (Global Posit1ning System，全球定位系统)信息、加速度信息和感光度ISO信息中的至少一种，根据传感器信息对不满足筛选条件的图像帧进行丢弃，触发执行步骤202。
[0085]本实施例中，步骤201是可选步骤。即，终端可以通过摄像头拍摄视频，在获取到视频后执行步骤202 ;或，终端可以在获取到视频后，对视频中的图像帧进行筛选，对满足丢弃条件的图像帧进行丢弃，以节省对满足丢弃条件的图像帧进行处理造成的资源浪费，提高对图像帧的处理效率。其中，图像帧是视频的单位画面。
[0086]若终端需要对图像帧进行筛选，则可以在通过摄像头拍摄视频时，通过传感器采集每个图像帧的传感器信息，根据传感器信息检测每个图像帧是否满足丢弃条件。其中，传感器信息可以是GPS信息、加速度信息和感光度ISO信息中的至少一种。
[0087]其中，终端可以根据不同的传感器信息设置不同的丢弃条件。当传感器信息是GPS信息时，拍摄场景可以是在移动过程中拍摄视频，若终端长时间停留在同一个地理位置，此时拍摄的图像帧可能会重复，因此，可以设置丢弃条件是:在移动过程中拍摄视频时，GPS信息与前一个图像帧的GPS信息之间的距离小于GPS阈值的图像帧。当传感器信息是加速度信息时，拍摄场景可以是在移动过程中拍摄视频，若终端移动的加速度较快，此时拍摄的图像帧会模糊，因此，可以设置丢弃条件是:加速度超于加速度阈值的图像帧；当传感器信息是ISO信息时，若ISO较高，此时拍摄的图像帧中的噪点较多，因此，可以设置丢弃条件是:IS0超过ISO阈值的图像帧。当传感器信息包括GPS信息、加速度信息和ISO信息中的至少两种时，终端可以将每种传感器信息各自对应的丢弃条件进行合并，在传感器信息中的至少一种满足丢弃条件时，确定丢弃该图像帧。
[0088]在步骤202中，将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，该目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息。
[0089]目标块是对图像帧中的内容进行划分后得到的，目标块可以包括至少一个物体，也可以包括一个物体的部分，是根据对图像帧的划分方式确定的。其中，终端可以对图像帧进行等分操作，比如，终端将图像帧在长度方向上M等分，在宽度方向上N等分，得到MXN个目标块。或，终端可以根据图像帧中感兴趣的最小目标划分目标块，即，每个目标块包括至少一个最小目标。或，终端可以根据开发人员的经验值来划分目标块等等，本实施例不限定对目标块的划分方式。
[0090]在得到当前图像帧的目标块后，终端可以将该当前图像帧的目标块与其前一个图像帧的目标块进行比较，得到目标块信息。该目标块信息用于表示相邻两个图像帧中目标块的变化。
[0091]本实施例中，将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，包括:
[0092]I)比较前一个图像帧中的目标块与当前图像帧中的目标块；
[0093]2)若当前图像帧中包括前一个图像帧中不存在的至少一个目标块，则将不存在的每个目标块确定为新增目标块，并为新增目标块设置标志位信息，得到每个新增目标块的目标块信息，该标志位信息是已经确定的关键巾贞的个数加I ;
[0094]3)若当前图像帧中包括前一个图像帧中存在的至少一个目标块，则将存在的每个目标块确定为已有目标块，计算当前图像帧中已有目标块基于前一个图像帧中对应的目标块的移动信息，得到每个已有目标块的目标块信息；
[0095]4)若前一个图像帧中包括当前图像帧中不存在的至少一个目标块，则将不存在的每个目标块确定为消失目标块，得到每个消失目标块的目标块信息。
[0096]其中，当前图像帧中的目标块与前一个图像帧中的目标块可以进行特征对比，该特征可以是颜色直方图，也可以是颜色直方图和纹理特征，比对方式可以使用欧式距离。进行目标块比较可以有三种结果，下面分别对这三种结果进行描述。
[0097]第一，当前图像帧中包括前一个图像帧中不存在的至少一个目标块，此时，终端可以将该不存在的至少一个目标块确定为新增目标块，并对该新增目标块设置标志位信息进行标识。
[0098]其中，终端可以将新增目标块的标志位信息设置为已经确定的关键帧的个数加I。假设在第k个图像帧之前已经确定了 s个关键帧，则可以将第k个图像帧中新增目标块的标志位信息设置为s+1 ;若第k个图像帧不是关键帧，则可以将第k+Ι个图像帧中的新增目标块的标志位仍然设置为s+1。S卩，在第s个关键帧和第s+1个关键帧之间的图像帧中的新增目标块的标志位彳目息都是s+1。
[0099]可选的，终端还可以获取目标块的位置和标识等信息，并将标识、标志位信息和位置等信息确定为该新增目标块的目标块信息。
[0100]第二，当前图像帧中包括前一个图像帧中存在的至少一个目标块，此时，终端可以将该存在的至少一个目标块确定为已有目标块，并获取已有目标块的移动信息。
[0101]其中，移动信息可以是该当前图像帧中的目标块相对于前一个图像帧中对应的目标块的移动位移、该当前图像帧中的目标块相对于前一个图像帧中对应的目标块的移动次数和该当前图像帧中的目标块移动到至的区域中的至少一种。
[0102]比如，当移动信息包括移动位移时，假设该目标块在前一个图像帧中的坐标是(10厘米，13厘米)，该目标块在当前图像帧中的坐标是(10厘米，15厘米)，此时该目标块的位移是2厘米。当移动信息包括移动次数时，假设该目标块在前一个图像帧中的移动次数是2且该目标块在当前图像帧中的位置与该目标块在前一个图像帧中的位置不同，则确定该目标块的移动次数是3。当移动信息包括移动至的区域时，若该目标块位于当前图像帧的中央区域，则确定该目标块移动到的区域是中央区域。
[0103]可选的，终端还可以获取该目标块的标识和标志位信息，并将标识、标志位信息和移动信息确定为该已有目标块的目标块信息。
[0104]第三，前一个图像帧中包括当前图像帧中不存在的至少一个目标块，此时，终端可以将该不存在的至少一个目标块确定为消失目标块，并将该目标块的标识、标志位信息和移动信息确定为该消失目标块的目标块信息。
[0105]在步骤203中，若目标块信息满足预定条件，则将当前图像帧确定为关键帧。
[0106]关键帧是指在整个视频中物体或物体运动中关键动作所在的一个图像帧，可以代表视频中一个时间段的视频内容。由于图像帧中的物体可以用目标块表示，且目标块信息可以用来表示相邻两个图像帧中目标块的变化，因此，终端可以根据目标块信息对当前图像帧是否是关键帧进行检测，从而从视频中提取出至少一个关键帧。
[0107]其中，终端可以根据不同的目标块信息确定关键帧，本实施例以目标块信息分别包括移动信息和标志位信息对确定关键帧的流程进行举例说明。
[0108]第一，若目标块信息满足预定条件，则将当前图像帧确定为关键帧，包括:
[0109]I)从当前图像帧的目标块信息中读取每个已有目标块的移动信息，该移动信息包括已有目标块的移动次数、移动位移和移动至的区域中的至少一种；
[0110]2)检测满足移动条件的移动信息的条数是否大于预定阈值；
[0111]3)若检测满足移动条件的移动信息的条数大于预定阈值，则将当前图像帧确定为关键帧。
[0112]上述确定关键帧的方法适用于前景目标在移动且背景变化不大的场景，或，适用于缩放背景且没有前景目标的场景。
[0113]由于移动信息可以是移动次数、移动位移和移动至的区域中的至少一种，当移动信息不同时，与移动信息所对应的移动条件不同。比如，当移动信息包括移动次数时，移动条件可以是移动次数大于次数阈值；当移动信息包括移动位移时，移动条件可以是移动位移大于位移阈值；当移动信息包括移动至的区域时，移动条件可以是目的区域。当移动信息包括移动次数、移动位移和移动至的区域中的至少两种，可以将每种移动信息各自对应的移动条件进行合并，在移动信息中的每种移动信息均满足各自的移动条件时，确定该移动信息满足移动条件。
[0114]比如，当移动条件是移动次数超过4次且目标区域是中央区域，则当终端检测出某一个移动信息中记录的移动次数为5且移动至的区域是中央区域时，确定该移动信息满足移动条件。
[0115]在确定出移动信息满足移动条件后，终端还可以对满足移动条件的移动信息的条数进行统计，并检测统计得到的次数是否大于预定阈值。若终端检测出统计得到的次数大于预定阈值，则确定当前图像帧中多数目标块的目标信息相对于前一个关键帧发生了变化，可以将当前图像帧确定为关键帧；若终端检测出统计得到的次数小于预定阈值，则确定当前图像帧中少数目标块的目标信息相对于前一个关键帧发生了变化，可以不将当前图像帧确定为关键帧。
[0116]第二，若目标块信息满足预定条件，则将当前图像帧确定为关键帧，包括:
[0117]I)从当前图像帧的目标块信息中读取每个目标块的标志位信息；
[0118]2)检测各个标志位信息中是否存在与消失目标块的标志位信息相同的标志位信息；
[0119]3)若检测出不存在与消失目标块的标志位信息相同的标志位信息，则将当前图像帧确定为关键帧。
[0120]上述确定关键帧的方法适用于背景以预定速度平移且没有前景目标的场景，或，适用于背景以预定速度平移且前景目标没有变化的场景。
[0121]由于目标块信息还包括标志位信息，则当图像帧中某一个标志位信息完全消失时，确定该图像帧是关键帧。在检测标志位信息是否完全消失时，终端可以获取当前图像帧中的消失目标块的标志位信息，检测当前图像帧包括的各个标志位信息中是否存在与消失目标块的标志位信息相同的标志位信息。当终端检测出当前图像帧包括的各个标志位信息中不存在与消失目标块的标志位信息相同的标志位信息时，确定该标志位信息完全消失；当终端检测出当前图像帧包括的各个标志位信息中存在与消失目标块的标志位信息相同的标志位信息时，确定该标志位信息没有完全消失。
[0122]对于包括人物的图像帧，有时候需要捕捉人物细微的姿态变化，此时，若终端将人物划分成目标块进行检测，可能会由于目标块信息的变化不大导致将重要的图像帧错误的确定为非关键帧，造成重要信息的丢失。
[0123]因此，若目标块信息满足预定条件，则将当前图像帧确定为关键帧，包括:
[0124]I)若当前图像帧中包括人物，则检测当前图像帧相对于前一个图像帧的人物姿态信息是否产生变化，并检测当前图像帧中除人物之外的目标块信息是否满足预定条件；
[0125]2)若检测出人物姿态信息产生了变化，且当前图像帧中除人物之外的目标块信息满足预定条件，则将当前图像帧确定为关键帧。
[0126]终端可以将当前图像帧中的人物和背景进行分离，对人物姿态进行分析，将背景划分成目标块，根据目标块信息进行检测，根据分析结果和检测结果确定图像是否为关键帧。其中，人物姿态信息包括人脸表情或人物姿态。
[0127]终端对人物姿态进行分析的方法有很多种，比如，终端可以采用ASM(ActiveShape Model)算法或AAM(Active Appearance Model)算法进行人脸特征点定位,再对关键器官的特征进行提取，按照表情对特征进行分类。在终端检测到当前图像帧中特征的表情分类与前一个图像帧中特征的表情分类不同时，确定该当前图像帧是关键帧。终端对目标块信息的检测过程和上述检测过程相同，此处不赘述。
[0128]需要补充说明的是，终端还可以根据传感器信息确定关键帧。比如，当传感器信息是GPS信息时，可以将GPS信息与前一个图像帧的GPS信息进行比较，当GPS信息与前一个图像帧的GPS信息之间的距离大于GPS阈值时，确定该GPS信息对应的当前图像帧为关键帧。
[0129]在步骤204中，将当前图像帧的后一个图像帧确定为当前图像帧，继续执行步骤202，直至比较完视频中的最后一个图像帧后停止。
[0130]为了提取到视频中的所有关键帧，终端需要对所有图像帧进行比较，因此，在比较完当前图像帧之后，可以将当前图像帧的后一个图像帧确定为新的当前图像帧，并将该当前图像帧确定为新的当前图像帧的前一个图像帧，继续执行步骤202，直至将视频中的最后一个图像帧作为当前图像帧进行比较后，结束检测流程。
[0131]在步骤205中，对确定的至少一个关键帧进行播放。
[0132]由于每一个关键帧都可以代表一个时间段的视频内容，因此，将确定的至少一个关键帧按照顺序以适当的帧速度在终端中播放，可以在不缩减视频所要表达的有效信息的前提下，对视频的播放时长进行压缩，实现对视频内容的快速浏览，提高了视频播放效率。
[0133]可选的，终端还可以对至少一个关键帧进行存储，从而将视频转换为短视频。
[0134]综上所述，本公开提供的视频浏览方法，通过将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，该目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息；若目标块信息满足预定条件，则将当前图像帧确定为关键帧，可以通过对视频中图像帧的目标块进行比较得到目标块信息，再根据目标块信息筛选出关键帧，而不需要通过镜头的边界确定关键帧，解决了无法从连续的镜头中提取关键帧导致的无法浏览视频的问题，达到了提高视频的播放效率的效果。
[0135]另外，通过获取视频中的每个图像帧以及拍摄图像帧时的传感器信息，根据传感器信息对不满足筛选条件的图像帧进行丢弃，可以节省对满足丢弃条件的图像帧进行处理造成的资源浪费，提高对图像帧的处理效率。
[0136]图3是根据一示例性实施例示出的一种视频浏览装置的框图，该视频浏览装置应用于终端中，如图3所示，该视频浏览装置包括:图像比较模块310、图像确定模块320、操作执行模块330和图像播放模块340。
[0137]该图像比较模块310，被配置为将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息；
[0138]该图像确定模块320，被配置为在图像比较模块310得到的目标块信息满足预定条件时，将当前图像帧确定为关键帧；
[0139]该操作执行模块330，被配置为将当前图像帧的后一个图像帧确定为当前图像帧，继续执行将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的操作，直至比较完视频中的最后一个图像帧后停止；
[0140]该图像播放模块340，被配置为对图像确定模块320确定的至少一个关键帧进行播放。
[0141]综上所述，本公开提供的视频浏览装置，通过将视频中的当前图像帧与前一个图像帧进行比较，得到目标块信息，该目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息；若目标块信息满足预定条件，则将当前图像帧确定为关键帧，可以通过对视频中图像帧的目标块进行比较得到目标块信息，再根据目标块信息筛选出关键帧，而不需要通过镜头的边界确定关键帧，解决了无法从连续的镜头中提取关键帧导致的无法浏览视频的问题，达到了提高视频的播放效率的效果。
[0142]图4是根据一示例性实施例示出的一种视频浏览装置的框图，该视频浏览装置应用于终端中，如图4所示，该视频浏览装置包括:图像比较模块310、图像确定模块320、操作执行模块330和图像播放模块340。
[0143]该图像比较模块310，被配置为将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息；
[0144]该图像确定模块320，被配置为在图像比较模块310得到的目标块信息满足预定条件时，将当前图像帧确定为关键帧；
[0145]该操作执行模块330，被配置为将当前图像帧的后一个图像帧确定为当前图像帧，继续执行将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的操作，直至比较完视频中的最后一个图像帧后停止；
[0146]该图像播放模块340，被配置为对图像确定模块320中确定的至少一个关键帧进行播放。
[0147]可选的，图像比较模块310，包括:目标比较子模块311、第一确定子模块312、第二确定子模块313、第三确定子模块314 ；
[0148]该目标比较子模块311，被配置为比较前一个图像帧中的目标块与当前图像帧中的目标块；
[0149]该第一确定子模块312，被配置为在目标比较子模块311比较出当前图像帧中包括前一个图像帧中不存在的至少一个目标块时，将不存在的每个目标块确定为新增目标块，并为新增目标块设置标志位信息，得到每个新增目标块的目标块信息，标志位信息是已经确定的关键帧的个数加I ;
[0150]该第二确定子模块313，被配置为在目标比较子模块311比较出当前图像帧中包括前一个图像巾贞中存在的至少一个目标块时，将存在的每个目标块确定为已有目标块，计算当前图像帧中已有目标块基于前一个图像帧中对应的目标块的移动信息，得到每个已有目标块的目标块信息；
[0151]该第三确定子模块314，被配置为在目标比较子模块311比较出前一个图像帧中包括当前图像帧中不存在的至少一个目标块时，将不存在的每个目标块确定为消失目标块，得到每个消失目标块的目标块信息。
[0152]可选的，图像确定模块320，包括:第一读取子模块321、第一检测子模块322、第四确定子模块323 ；
[0153]该第一读取子模块321，被配置为从当前图像帧的目标块信息中读取每个已有目标块的移动信息，移动信息包括已有目标块的移动次数、移动位移和移动至的区域中的至少一种；
[0154]该第一检测子模块322，被配置为检测满足移动条件的移动信息的条数是否大于预定阈值；
[0155]该第四确定子模块323，被配置为在第一检测子模块322检测出满足移动条件的移动信息的条数大于预定阈值时，将当前图像帧确定为关键帧。
[0156]可选的，图像确定模块320，包括:第二读取子模块324、第二检测子模块325、第五确定子模块326 ；
[0157]该第二读取子模块324，被配置为从当前图像帧的目标块信息中读取每个目标块的标志位信息；
[0158]该第二检测子模块325，被配置为检测各个标志位信息中是否存在与消失目标块的标志位信息相同的标志位信息；
[0159]该第五确定子模块326，被配置为在第二检测子模块325检测出不存在与消失目标块的标志位信息相同的标志位信息时，将当前图像帧确定为关键帧。
[0160]可选的，视频浏览装置，还包括:信息获取模块350、图像筛选模块360 ；
[0161]该信息获取模块350，被配置为获取视频中的每个图像帧以及拍摄图像帧时的传感器信息，传感器信息包括全球定位系统GPS信息、加速度信息和感光度ISO信息中的至少一种；
[0162]该图像筛选模块360，被配置为根据信息获取模块350中获取的传感器信息对不满足筛选条件的图像帧进行丢弃，触发执行将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的操作。
[0163]可选的，图像确定模块320，包括:第三检测子模块327、第六确定子模块328 ；
[0164]该第三检测子模块327，被配置为在当前图像帧中包括人物时，检测当前图像帧相对于前一个图像帧的人物姿态信息是否产生变化，并检测当前图像帧中除人物之外的目标块信息是否满足预定条件；
[0165]该第六确定子模块328，被配置为在第三检测子模块327中检测出人物姿态信息产生了变化，且当前图像帧中除人物之外的目标块信息满足预定条件时，将当前图像帧确定为关键中贞。
[0166]综上所述，本公开提供的视频浏览装置，通过将视频中的当前图像帧与前一个图像帧进行比较，得到目标块信息，该目标块信息是对当前图像帧中包括的目标块和前一个图像帧中包括的目标块进行比较后得到的信息；若目标块信息满足预定条件，则将当前图像帧确定为关键帧，可以通过对视频中图像帧的目标块进行比较得到目标块信息，再根据目标块信息筛选出关键帧，而不需要通过镜头的边界确定关键帧，解决了无法从连续的镜头中提取关键帧导致的无法浏览视频的问题，达到了提高视频的播放效率的效果。
[0167]另外，通过获取视频中的每个图像帧以及拍摄图像帧时的传感器信息，根据传感器信息对不满足筛选条件的图像帧进行丢弃，可以节省对满足丢弃条件的图像帧进行处理造成的资源浪费，提高对图像帧的处理效率。
[0168]关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0169]图5是根据一示例性实施例示出的一种用于视频浏览装置500的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0170]参照图5，装置500可以包括以下一个或多个组件:处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口 512，传感器组件514，以及通信组件516。
[0171 ] 处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器518来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
[0172]存储器504用于存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
[0173]电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
[0174]多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0175]音频组件510用于输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
[0176]I/O接口 512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
[0177]传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CXD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0178]通信组件516用于便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UffB)技术，蓝牙(BT)技术和其他技术来实现。
[0179]在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSro)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0180]在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器518执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
[0181]本领域技术人员在考虑说明书及实践这里的公开的后，将容易想到本的其它实施方案。本申请旨在涵盖本的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本的一般性原理并包括本公开未公开的本【技术领域】中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本的真正范围和精神由下面的权利要求指出。
[0182]应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
【权利要求】
1.一种视频浏览方法，其特征在于，包括: 将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，所述目标块信息是对所述当前图像帧中包括的目标块和所述前一个图像帧中包括的目标块进行比较后得到的信息; 若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键帧； 将所述当前图像帧的后一个图像帧确定为当前图像帧，继续执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的步骤，直至比较完所述视频中的最后一个图像帧后停止； 对确定的至少一个关键帧进行播放。
2.根据权利要求1所述的方法，其特征在于，所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，包括: 比较所述前一个图像帧中的目标块与所述当前图像帧中的目标块； 若所述当前图像帧中包括所述前一个图像帧中不存在的至少一个目标块，则将不存在的每个目标块确定为新增目标块，并为所述新增目标块设置标志位信息，得到每个新增目标块的目标块信息，所述标志位信息是已经确定的关键帧的个数加I; 若所述当前图像帧中包括所述前一个图像帧中存在的至少一个目标块，则将存在的每个目标块确定为已有目标块，计算所述当前图像帧中所述已有目标块基于所述前一个图像帧中对应的目标块的移动信息，得到每个已有目标块的目标块信息； 若所述前一个图像帧中包括所述当前图像帧中不存在的至少一个目标块，则将不存在的每个目标块确定为消失目标块，得到每个消失目标块的目标块信息。
3.根据权利要求2所述的方法，其特征在于，所述若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键帧，包括: 从所述当前图像帧的目标块信息中读取每个已有目标块的移动信息，所述移动信息包括所述已有目标块的移动次数、移动位移和移动至的区域中的至少一种； 检测满足移动条件的移动信息的条数是否大于预定阈值； 若检测满足所述移动条件的移动信息的条数大于所述预定阈值，则将所述当前图像帧确定为所述关键帧。
4.根据权利要求2所述的方法，其特征在于，所述若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键帧，包括: 从所述当前图像帧的目标块信息中读取每个目标块的标志位信息； 检测各个标志位信息中是否存在与所述消失目标块的标志位信息相同的标志位信息； 若检测出不存在与所述消失目标块的标志位信息相同的标志位信息，则将所述当前图像帧确定为所述关键帧。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法，还包括: 获取所述视频中的每个图像帧以及拍摄所述图像帧时的传感器信息，所述传感器信息包括全球定位系统GPS信息、加速度信息和感光度ISO信息中的至少一种； 根据所述传感器信息对不满足筛选条件的图像帧进行丢弃，触发执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的步骤。
6.根据权利要求1所述的方法，其特征在于，所述若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键帧，包括: 若所述当前图像帧中包括人物，则检测所述当前图像帧相对于所述前一个图像帧的人物姿态信息是否产生变化，并检测所述当前图像帧中除所述人物之外的目标块信息是否满足所述预定条件； 若检测出所述人物姿态信息产生了变化，且所述当前图像帧中除所述人物之外的目标块信息满足所述预定条件，则将所述当前图像帧确定为关键帧。
7.一种视频浏览装置，其特征在于，包括: 图像比较模块，被配置为将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，所述目标块信息是对所述当前图像帧中包括的目标块和所述前一个图像帧中包括的目标块进行比较后得到的信息； 图像确定模块，被配置为在所述图像比较模块得到的所述目标块信息满足预定条件时，将所述当前图像帧确定为关键帧； 操作执行模块，被配置为将所述当前图像帧的后一个图像帧确定为当前图像帧，继续执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的操作，直至比较完所述视频中的最后一个图像帧后停止； 图像播放模块，被配置为对所述图像确定模块确定的至少一个关键帧进行播放。
8.根据权利要求7所述的装置，其特征在于，所述图像比较模块，包括: 目标比较子模块，被配置为比较所述前一个图像帧中的目标块与所述当前图像帧中的目标块； 第一确定子模块，被配置为在所述目标比较子模块比较出所述当前图像帧中包括所述前一个图像帧中不存在的至少一个目标块时，将不存在的每个目标块确定为新增目标块，并为所述新增目标块设置标志位信息，得到每个新增目标块的目标块信息，所述标志位信息是已经确定的关键帧的个数加I ; 第二确定子模块，被配置为在所述目标比较子模块比较出所述当前图像帧中包括所述前一个图像巾贞中存在的至少一个目标块时，将存在的每个目标块确定为已有目标块，计算所述当前图像帧中所述已有目标块基于所述前一个图像帧中对应的目标块的移动信息，得到每个已有目标块的目标块信息； 第三确定子模块，被配置为在所述目标比较子模块比较出所述前一个图像帧中包括所述当前图像帧中不存在的至少一个目标块时，将不存在的每个目标块确定为消失目标块，得到每个消失目标块的目标块信息。
9.根据权利要求8所述的装置，其特征在于，所述图像确定模块，包括: 第一读取子模块，被配置为从所述当前图像帧的目标块信息中读取每个已有目标块的移动信息，所述移动信息包括所述已有目标块的移动次数、移动位移和移动至的区域中的至少一种； 第一检测子模块，被配置为检测满足移动条件的移动信息的条数是否大于预定阈值； 第四确定子模块，被配置为在所述第一检测子模块检测出满足所述移动条件的移动信息的条数大于所述预定阈值时，将所述当前图像帧确定为所述关键帧。
10.根据权利要求8所述的装置，其特征在于，所述图像确定模块，包括: 第二读取子模块，被配置为从所述当前图像帧的目标块信息中读取每个目标块的标志位信息； 第二检测子模块，被配置为检测各个标志位信息中是否存在与所述消失目标块的标志位信息相同的标志位信息； 第五确定子模块，被配置为在所述第二检测子模块检测出不存在与所述消失目标块的标志位信息相同的标志位信息时，将所述当前图像帧确定为所述关键帧。
11.根据权利要求7至10任一项所述的装置，其特征在于，所述装置，还包括: 信息获取模块，被配置为获取所述视频中的每个图像帧以及拍摄所述图像帧时的传感器信息，所述传感器信息包括全球定位系统GPS信息、加速度信息和感光度ISO信息中的至少一种； 图像筛选模块，被配置为根据所述信息获取模块获取的传感器信息对不满足筛选条件的图像帧进行丢弃，触发执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的操作。
12.根据权利要求7所述的装置，其特征在于，所述图像确定模块，包括: 第三检测子模块，被配置为在所述当前图像帧中包括人物时，检测所述当前图像帧相对于所述前一个图像帧的人物姿态信息是否产生变化，并检测所述当前图像帧中除所述人物之外的目标块信息是否满足所述预定条件； 第六确定子模块，被配置为在所述第三检测子模块检测出所述人物姿态信息产生了变化，且所述当前图像帧中除所述人物之外的目标块信息满足所述预定条件时，将所述当前图像帧确定为关键帧。
13.—种视频浏览装置，其特征在于，包括: 处理器； 用于存储处理器可执行指令的存储器； 其中，所述处理器被配置为: 将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息，所述目标块信息是对所述图像帧中包括的目标块和所述前一个图像帧中包括的目标块进行比较后得到的信息； 若所述目标块信息满足预定条件，则将所述当前图像帧确定为关键帧； 将所述当前图像帧的后一个图像帧确定为当前图像帧，继续执行所述将视频中的当前图像帧与其前一个图像帧进行比较，得到目标块信息的步骤，直至比较完所述视频中的最后一个图像帧后停止； 对确定的至少一个关键帧进行播放。
【文档编号】H04N21/234GK104284240SQ201410475165
【公开日】2015年1月14日 申请日期:2014年9月17日 优先权日:2014年9月17日
【发明者】王百超, 秦秋平, 侯文迪 申请人:小米科技有限责任公司