一种信息处理方法和装置制造方法

一种信息处理方法和装置制造方法
【专利摘要】本申请实施例提供了一种信息处理方法和装置，所述方法包括：获取视频数据，所述视频数据由连续的多个视频帧组成；从所述连续的多个视频帧中选择满足第一预设条件的视频帧，作为关键帧；针对每一个关键帧，将每一个关键帧进行划分，获得每一个关键帧对应的多个图像块；处理每一个关键帧对应的各个图像块，获得各个图像块对应的特征描述子，所述特征描述子用于表示各个图像块的特征；按照顺序排列的所述特征描述子用于表示所述关键帧；利用各个图像块的特征描述子进行视频处理，本申请实施例提高了视频处理的精确度。
【专利说明】一种信息处理方法和装置

【技术领域】
[0001] 本申请涉及信息处理【技术领域】，更具体的说是涉及一种信息处理方法和装置。

【背景技术】
[0002] 在进行视频搜索、视频匹配或视频滤波等视频处理时，是基于视频数据的视频帧 进行的，例如视频匹配时，是通过比较两个视频数据中的视频帧的相似度进行匹配的。
[0003] 现有技术中，在进行视频的分析处理时，一种方式是分析视频帧中的像素点，从中 选择出多个关键的像素点来代表视频帧，在进行视频处理分析视频帧时，是针对视频帧中 若干个关键的像素点进行的。但是现有的这种方式，精确度并不高，会影响视频处理的效 果。


【发明内容】

[0004] 有鉴于此，本申请提供了一种信息处理方法和装置，用于提高视频处理的精确度， 提高视频处理的效果。
[0005] 为实现上述目的，本申请提供如下技术方案：
[0006] 一种信息处理方法，所述方法包括：
[0007] 获取视频数据，所述视频数据由连续的多个视频帧组成；
[0008] 从所述连续的多个视频帧中选择满足第一预设条件的视频帧，作为关键帧；
[0009] 针对每一个关键帧，将每一个关键帧进行划分，获得每一个关键帧对应的多个图 像块；
[0010] 处理每一个关键帧对应的各个图像块，获得各个图像块对应的特征描述子，所述 特征描述子用于表示各个图像块的特征；按照顺序排列的所述特征描述子用于表示所述关 键帧；
[0011] 利用各个图像块的特征描述子进行视频处理。
[0012] 优选地，所述将每一个关键帧进行划分，获得每一个关键帧对应的多个图像块包 括：
[0013] 将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一个关键帧对应的多 个图像块。
[0014] 优选地，所述将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一个关 键帧对应的多个图像块；
[0015] 确定所述关键帧中满足第二预设条件的内容；
[0016] 确定所述满足第二预设条件的内容对应的区域尺寸；
[0017] 根据所述区域尺寸，获得图像块的预设划分尺寸，所述预设划分尺寸中最大尺寸 对应的图像块包含所述关键帧中满足第二预设条件的内容；
[0018] 将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一个关键帧对应的多 个图像块。
[0019] 优选地，所述将每一个关键帧进行划分，获得每一个关键帧对应的多个图像块包 括：
[0020] 根据每一个关键帧，获得每一个关键帧对应的N个相同的图像帧；
[0021] 将每一个关键帧对应的N个相同的图像帧分别进行划分，获得每一个关键帧对应 的由图像帧划分得到的图像块，其中，每一个图像帧划分得到的图像块数量不同。
[0022] 优选地，所述将每一个关键帧对应的N个相同图像帧分别进行划分包括：
[0023] 将每一个关键帧对应的N个相同的图像帧按照不同的预设划分尺寸进行划分，所 述预设划分尺寸至少包括：将一个图像帧不进行划分得到一个图像块；将另一个图像帧的 长和宽的长度分别按照1:1划分得到4个图像块；以及将又一个图像帧长和宽的长度分别 按照1:2:1划分得到9个图像块。
[0024] 优选地，所述从所述连续的多个视频帧中选择满足第一预设条件的视频帧，作为 关键巾贞包括：
[0025] 按照第一策略，将视频数据划分为多个视频数据段；
[0026] 在每一个视频数据段中，按照第二策略，选择最接近所述视频数据段内容的视频 帧作为关键帧。
[0027] 一种信息处理装置，所述装置包括：
[0028] 数据获取模块，用于获取视频数据，所述视频数据由连续的多个视频帧组成；
[0029] 关键帧选择模块，用于从所述连续的多个视频帧中选择满足第一预设条件的视频 帧，作为关键帧；
[0030] 块划分模块，用于针对每一个关键帧，将每一个关键帧进行划分，获得每一个关键 帧对应的多个图像块；
[0031] 特征描述模块，用于处理每一个关键帧对应的各个图像块，获得各个图像块对应 的特征描述子，所述特征描述子用于表示各个图像块的特征；按照顺序排列的所述特征描 述子用于表示所述关键帧；
[0032] 处理模块，用于利用各个图像块的特征描述子进行视频处理。
[0033] 优选地，所述块划分模块具体用于将每一个关键帧按照预设划分尺寸进行不等分 划分，获得每一个关键帧对应的多个图像块。
[0034] 优选地，所述块划分模块包括：
[0035] 内容确定模块，用于确定所述关键帧中满足第二预设条件的内容；
[0036] 区域确定模块，用于确定所述满足第二预设条件的内容对应的区域尺寸；
[0037] 尺寸确定模块，用于根据所述区域尺寸，获得图像块的预设划分尺寸，所述预设划 分尺寸中最大尺寸对应的图像块包含所述关键帧中满足第二预设条件的内容；
[0038] 第一划分子模块，用于将每一个关键帧按照预设划分尺寸进行不等分划分，获得 每一个关键帧对应的多个图像块。
[0039] 优选地，所述块划分模块包括：
[0040] 图像帧获得模块，用于根据每一个关键帧，获得每一个关键帧对应的N个相同的 图像帧；
[0041] 第二划分子模块，用于将每一个关键帧对应的N个相同的图像帧分别进行划分， 获得每一个关键帧对应的由图像帧划分得到的图像块，其中，每一个图像帧划分得到的图 像块数量不同。
[0042] 优选地，所述第二划分模块具体将每一个关键帧对应的N个相同的图像帧按照不 同的预设划分尺寸进行划分，获得每一个关键帧对应的由图像帧划分得到的图像块；所述 预设划分尺寸至少包括：将一个图像帧不进行划分得到一个图像块；将另一个图像帧的长 和宽的长度分别按照1:1划分得到4个图像块；以及将又一个图像帧长和宽的长度分别按 照1:2:1划分得到9个图像块。
[0043] 优选地，所述关键帧选择模块包括：
[0044] 段划分模块，用于按照第一策略，将视频数据划分为多个视频数据段；
[0045] 关键帧选择子模块，用于在每一个视频数据段中，按照第二策略，选择最接近所述 视频数据段内容的视频帧作为关键帧。
[0046] 经由上述的技术方案可知，与现有技术相比，本申请提供了一种信息处理方法和 装置，针对获取的视频数据中的连续的多个视频帧，从中选择满足第一预设条件的视频帧 作为关键帧，针对每一个关键帧，将关键进行划分，得到多个图像块，从而可以对图像块进 行处理，获得用于描述图像块特征的特征描述子，在进行视频处理时，即处理各个图像块的 特征描述子即可。由于将视频帧划分为了多个图像块，按照图像块的特征进行视频处理，多 个图像块覆盖了视频帧包含的不同信息，因此可以提高视频处理时的精确度，提高处理效 果。

【专利附图】

【附图说明】
[0047]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 提供的附图获得其他的附图。
[0048] 图1为本申请实施例提供的一种信息处理方法一个实施例的流程图；
[0049] 图2为本申请实施例提供的一种信息处理方法又一个实施例的流程图；
[0050] 图3a?图3c为本申请实施例中关键帧划分的一种示意图；
[0051] 图3d为本申请实施例中特征描述子一种表示示意图；
[0052] 图4为本申请实施例提供的一种信息处理装置一个实施例的结构示意图；
[0053] 图5为本申请实施例提供的一种信息处理装置又一个实施例的结构示意图。

【具体实施方式】
[0054] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本申请保护的范围。
[0055] 在本申请实施例中，针对获取的视频数据中的连续的多个视频帧，从中选择满足 第一预设条件的视频帧作为关键帧，针对每一个关键帧，将关键进行划分，得到多个图像 块，从而可以对图像块进行处理，获得用于描述图像块特征的特征描述子，在进行视频处理 时，即处理各个图像块的特征描述子即可。由于将视频帧划分为了多个图像块，按照图像块 的特征进行视频处理，多个图像块覆盖了视频帧包含的各种不同信息，因此可以提高视频 处理时的精确度，提高了处理效果。
[0056] 下面结合附图，对本申请实施方案进行详细描述。
[0057] 图1为本申请实施例提供的一种信息处理方法一个实施例的流程图，该方法可以 包括以下几个步骤：
[0058] 101 :获取视频数据，所述视频数据由连续的多个视频帧组成。
[0059] 102 :从所述连续的多个视频帧中选择满足第一预设条件的视频帧，作为关键帧。
[0060] 103 :针对每一个关键帧，将每一个关键帧进行划分，获得每一个关键帧对应的多 个图像块。
[0061] 104:处理每一个关键帧对应的各个图像块，获得各个图像块对应的特征描述子。
[0062] 所述特征描述子用于表示各个图像块的特征；按照顺序排列的所述特征描述子用 于表示所述关键帧。
[0063] 105 :利用各个图像块的特征描述子进行视频处理。
[0064] 在本申请实施例中，针对视频数据中的每一个关键帧，将关键进行划分，得到多个 图像块，从而可以对图像块进行处理，获得用于描述图像块特征的特征描述子，这些顺序排 列的特征描述子即可以表示关键帧，从而在进行视频处理时，处理各个图像块的特征描述 子即可。由于将视频帧划分为多个图像块，按照图像块的特征进行视频处理，使得可以提高 处理的精确度，提高了处理效果。
[0065] 在视频处理过程对视频的处理包括视频搜索、与其他视频进行匹配、对视频进行 滤波降噪处理等。
[0066] 视频搜索可以应用于播放器播放的视频中镜头快进等场景。
[0067] 视频匹配可以应用于分析两个视频是否有相同的部分等。
[0068] 现有技术中，视频搜索、视频匹配以及视频滤波等视频处理均是基于视频帧进行 的，通过几个关键像素点表示视频帧，这种方式精确度较低。而通过本申请实施例，可以利 用视频帧对应的特征描述子进行处理，视频搜索时，可以利用特征描述子进行搜索。视频匹 配时，可以分别计算得到两个视频的关键帧对应的特征描述子，通过匹配特征描述子即可。 [0069] 特别描述子表示图像块的特征，而一帧视频帧对应的各个图像块基本覆盖了视频 帧中的不同信息内容，覆盖范围大，在进行视频处理时，精确度会更高。
[0070] 其中，为了使得关键帧存在突出的内容，在又一个实施例中，所述将每一个关键帧 进行划分，获得每一个关键帧对应的多个图像块可以具体是：
[0071] 将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一个关键帧对应的多 个图像块。
[0072] 例如，该预设划分尺寸可以是指将关键帧的长和宽的长度分别按照1:2:1划分得 到9个图像块。其中，尺寸最大的图像块位于关键帧的中间，而通常关键帧的中间部分为包 含信息量最多以及最重要的部分，因此可以将其对应的图像块的尺寸设置的最大。
[0073] 当然，该预设划分尺寸还可以是指将关键帧的长和宽的长度分别按照1:1: 2划分 得到9个图像块，以为了突出关键帧边缘的内容。
[0074] 该预设划分尺寸还可以是指将关键帧的长和宽的长度分别按照2:4:2划分得到9 个图像，或者1:2:2:1划分得到16个图像块等。
[0075] 其中，作为一种可能的实现方式，将每一个关键帧按照预设划分尺寸进行不等分 划分，获得每一个关键帧对应的多个图像块可以具体是：
[0076] 确定所述关键帧中满足第二预设条件的内容；
[0077] 确定所述满足第二预设条件的内容对应的区域尺寸；
[0078] 根据所述区域尺寸，获得图像块的预设划分尺寸，所述预设划分尺寸中最大尺寸 对应的图像块包含所述关键帧中满足第二预设条件的内容；
[0079] 将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一个关键帧对应的多 个图像块。
[0080] 该第二预设条件即可以是指包含的信息量最多的内容，或者包含重要信息的内 容。或者根据实际应用情况具体限定，例如实际应用中想要突出边缘内容，该第二预设条件 即可以设定为位于关键帧边界的内容，从而使得划分得到的图像块，位于边界的图像块其 尺寸最大。
[0081] 通过不等分划分可以突出关键帧中重点关注的内容，从而可以进一步提高视频处 理的精确度。
[0082] 图2为本申请实施例提供的一种信息处理方法又一个实施例的流程图，该方法可 以包括以下几个步骤：
[0083] 201 :获取视频数据，所述视频数据由连续的多个视频帧组成。
[0084] 202 :从所述连续的多个视频帧中选择满足第一预设条件的视频帧，作为关键帧。
[0085] 203 :针对每一个关键帧，获得每一个关键帧对应的N个相同的图像帧；
[0086] 204 :将每一个关键帧对应的N个相同的图像帧分别进行划分，获得每一个关键帧 对应的由图像帧划分得到的图像块。
[0087] 其中，每一个图像帧划分得到的图像块数量不同。
[0088] 205:处理每一个关键帧对应的各个图像块，获得各个图像块对应的特征描述子。
[0089] 所述特征描述子用于表示各个图像块的特征。
[0090] 206 :利用各个图像块的特征描述子进行视频处理。
[0091] 本实施例中，对于每一个关键巾贞不仅进行一次划分，而是进行N次划分。每一次划 分得到的图像块的数量不同。也即将关键帧复制得到N个图像帧，将N个图像帧分别进行 划分。
[0092] 每一个图像帧划分得到的图像块即是关键帧对应的图像块。
[0093] 其中，将每一个关键帧对应的N个相同的图像帧分别进行划分，具体可以是将每 一个关键帧对应的N个相同的图像帧按照不同的预设划分尺寸进行划分，所述预设划分尺 寸至少包括：将一个图像帧不进行划分得到一个图像块；将另一个图像帧的长和宽的长度 分别按照1:1划分得到4个图像块；以及将又一个图像帧长和宽的长度分别按照1:2:1划 分得到9个图像块。
[0094] 由于在视频处理过程中，根据不同的实际应用情况，并不要求100%的处理精确 度。例如在视频匹配时，一种情况可能两帧视频帧70%相似，即可认为两帧视频帧匹配，另 一种情况可能两帧视频帧90%相似，才认为两帧视频帧匹配。而每一个关键帧分别进行了 不同的划分，假设不同图像帧分别划分得到图像块为1块、4块、9块，在进行匹配时，根据匹 配精确度，在精确度要求不高时，可以利用划分出的4块中的每一块匹配即可，若其中两块 相似，则可以认为匹配，而如果采用9块中每一块进行匹配，可能需要至少比较5块才能确 定出是否匹配，因此可以降低处理复杂度；在精确度要求高时，可以利用划分出的9块中的 每一块匹配即可。因此，通过将关键帧分别进行N次不同的划分，可以使得得到的关键帧对 应的特征描述子能够适用于不同的情况，适用范围广，且可以降低处理的复杂度。
[0095] 且在需要对关键帧对应的9块图像块进行处理时，可以首先对4块图像块进行处 理，以初步确定出哪一块或哪几块为本次处理需要重点处理的，进而可以确定出需要处理 的位置和方向，再对9块图像块进行处理时，可以只针对需要处理的位置和方向处对应的9 块图像块中图像块，进行细化处理即可，无需对9块图像块全部进行处理，从而也可以降低 处理复杂度，提高处理效率。
[0096] 因此，通过本实施例的技术方案，不仅扩大适用范围，且可以降低处理的复杂度， 提商处理效率。
[0097] 在上述各个实施例的描述中，作为一种可能的实现方式，该第一预设条件可以是 视频数据中的每一个视频帧均作为关键帧。
[0098] 通过分析视频数据的每一个视频帧，建立每一视频帧对应的特征描述子。因此，在 进行视频处理时，特征描述子基本覆盖了视频数据的全部内容，精确度会更高。
[0099] 作为另一种可能的实现方式，该第一预设条件可以是指视频数据划分出的每一个 视频数据段中，最接近视频数据段内容的视频帧作为关键帧。
[0100]因此，该从所述连续的多个视频帧中选择满足第一预设条件的视频帧，作为关键 帧可以包括：
[0101] 按照第一策略，将视频数据划分为多个视频数据段；
[0102] 在每一个视频数据段中，按照第二策略，选择最接近所述视频数据段内容的视频 帧作为关键帧。
[0103] 视频数据段的划分可以有多种实现方式。
[0104] 该第一策略可以是指按照视频镜头进行划分。
[0105] 也即将视频数据划分为多个视频数据段具体为将视频数据按照镜头划分为多个 镜头段，每一个镜头段即为一个视频数据段。
[0106] 同一摄像机进行连续不间断拍摄，表示时间和空间上的一个连续动作的帧序列称 为个镜头。
[0107] 视频数据的镜头分割可以采用镜头边界检测方式检测出镜头边界，进而将视频数 据再按照镜头分割。
[0108] 镜头边界的形成是两个镜头进行切换的结果，即边界是由于视频内容的不连续造 成的，因此可以据此确定出镜头边界。且镜头边界处的视频帧内容变化比较剧烈。
[0109] 当然该第一策略还可以是其他的可能情况，对应其他的视频数据段划分的其他实 现方式。例如该第一策略还可以是指将视频数据的多个连续视频帧进行等分，每一份即对 应一个视频数据段。
[0110] 最接近所述视频数据段内容的视频帧的确定也可以有多种实现方式：
[0111] 一种可能的实现方式为：
[0112] 每间隔Μ帧，选择所述视频数据段中的视频帧作为候选视频帧；
[0113] 计算每一候选视频帧与其他候选视频帧的帧差之和；
[0114] 将帧差之和最小的候选视频帧作为所述视频数据段的关键视频帧。
[0115] 其中，帧差可以通过计算任意两帧视频帧的每一个像素点的像素值的差值，再将 差值求平均得到帧差。
[0116] 或者分别求得两帧视频帧的特征直方图，利用特征直方图计算得到的帧差，具体 的可以按照下述计算得到：
[0117] (1(4,?) =Σ min (4(:0,? (i));
[0118] 氏，!12表示两个特征直方图，H(i)表示该征直方图第i个bin的值，表示 两个特征直方图的相交值。
[0119] 如果两个特征直方图都被归一化到1，则完全匹配时两个特征直方图相交的值是 1，完全不匹配时是0。通常使用时，会用1减去该相交值，所以1表示两帧帧差最大，0表示 两帧帧差最小。
[0120] 另一种可能的实现方式为：
[0121] 可以采用帧平均算法确定，例如可以将一个视频数据段中求其所有视频帧的像素 值的平均值，将该视频数据段中最接近该平均值的视频帧作为关键帧。
[0122] 其中，图像块的特征描述子可以有多种实现方式。
[0123] 在一种可能的实现方式中，该特征描述子即可以是指建立的图像块的特征直方 图。
[0124] 该特征直方图可以具体是指颜色直方图等、
[0125] 其中，不同颜色空间可以求不同颜色空间的直方图，如灰度、 RGB (Red-Green-Blue，红绿蓝）、HSV((Hue-Saturation-Value，色调-饱和度-亮度）等。 因为HSV更符合人眼感知特性，同时相比其他颜色空间来说，其直方图的匹配效果也较优， 因此，优选地，该特征直方图可以具体用HSV直方图。
[0126] 在另一种可能的实现方式，该特征描述子可以是指图像块的 SIFT (Scale-invariant feature transform，尺度不变特征转换）特征或者 SURF (Speeded Up Robust Features,加速稳健特征）特征。
[0127] 在又一种可能的实现方式，可以首先建立各个图像块的特征直方图，然后将各个 图像块对应的特征直方图量化为多维数据，将每一维数据作为特征描述子，利用各个图像 块的特征描述子进行视频处理时，可以具体是：利用每一维数据进行视频处理。
[0128] 以关键帧为视频数据中最接近每一个镜头段内容的视频帧，将关键帧对应的N个 相同的图像帧，分别进行划分，获得每一个关键帧对应的由图像帧划分得到的图像块为例， 其中，所述划分包括将一个图像帧不进行划分得到一个图像块；将另一个图像帧的长和宽 的长度分别按照1:1划分得到4个图像块；以及将又一个图像帧长和宽的长度分别按照 1:2:1划分得到9个图像块。具体划分如图3a?图3c所示。
[0129] 对每一个图像求取特征直方图，每一个特征直方图可以量化为18维数据，14块图 像块即共有14*18 = 252维数据。加上每一个镜头段中视频关键帧的序号，以及起始帧序 号和结束帧序号，因此一个关键帧，也即一个镜头段可以采用255维数据进行描述，每一维 即是一个特征描述子，如图3d所示。
[0130] 在利用各个图像块的特征描述子进行视频处理时，即是利用多维数据进行视频处 理。例如视频帧匹配，可以通过比较特征描述子确定视频帧是否匹配。
[0131] 对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但 是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某 些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描 述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
[0132] 图4为本申请实施例提供的一种信息处理装置一个实施例的结构示意图，所述装 置可以包括：
[0133] 数据获取模块401，用于获取视频数据，所述视频数据由连续的多个视频帧组成。
[0134] 关键帧选择模块402,用于从所述连续的多个视频帧中选择满足第一预设条件的 视频帧，作为关键帧。
[0135] 块划分模块403,用于针对每一个关键帧，将每一个关键帧进行划分，获得每一个 关键帧对应的多个图像块。
[0136] 特征描述模块404,用于处理每一个关键帧对应的各个图像块，获得各个图像块对 应的特征描述子，所述特征描述子用于表示各个图像块的特征；按照顺序排列的所述特征 描述子用于表示所述关键帧。
[0137] 处理模块405,用于利用各个图像块的特征描述子进行视频处理。
[0138] 在本申请实施例中，针对视频数据中的每一个关键帧，将关键进行划分，得到多个 图像块，从而可以对图像块进行处理，获得用于描述图像块特征的特征描述子，这些顺序排 列的特征描述子即可以表示关键帧，从而在进行视频处理的视频帧处理时，处理各个图像 块的特征描述子即可。由于将视频帧划分为多个图像块，按照图像块的特征进行视频处理， 使得可以提高处理的精确度，提高了处理效果。
[0139] 在视频处理过程对视频的处理包括视频搜索、与其他视频进行匹配、对视频进行 滤波降噪处理等。
[0140] 视频搜索可以应用于播放器播放的视频中镜头快进等场景。
[0141] 视频匹配可以应用于分析两个视频是否有相同的部分等。
[0142] 现有技术中，视频搜索、视频匹配以及视频滤波等视频处理均是基于视频帧进行 的，通过几个关键像素点表示视频帧，这种方式精确度较低。而通过本申请实施例，可以利 用视频帧对应的特征描述子进行处理，视频搜索时，可以利用特征描述子进行搜索。视频匹 配时，可以分别计算得到两个视频的关键帧对应的特征描述子，通过匹配特征描述子即可。
[0143] 特别描述子表示图像块的特征，而一帧视频帧对应的各个图像块基本覆盖了视频 帧中的不同信息内容，覆盖范围大，在进行视频处理时，精确度会更高。
[0144] 其中，为了使得关键帧存在突出的内容，在又一个实施例中，所述块划分模块具体 用于将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一个关键帧对应的多个图 像块。
[0145] 例如，该预设划分尺寸可以是指将关键帧的长和宽的长度分别按照1:2:1划分得 到9个图像块。其中，尺寸最大的图像块位于关键帧的中间，而通常关键帧的中间部分为包 含信息量最多以及最重要的部分，因此可以将其对应的图像块的尺寸设置的最大。
[0146] 当然，该预设划分尺寸还可以是指将关键帧的长和宽的长度分别按照1:1:2划分 得到9个图像块，以为了突出关键帧一侧边缘的内容。
[0147] 该预设划分尺寸还可以是指将关键帧的长和宽的长度分别按照2:4:2划分得到9 个图像，或者1:2:2:1划分得到16个图像块等。
[0148] 其中，作为一种可能的实现方式，所述块划分模块可以具体包括：
[0149] 内容确定模块，用于确定所述关键帧中满足第二预设条件的内容；
[0150] 区域确定模块，用于确定所述满足第二预设条件的内容对应的区域尺寸；
[0151] 尺寸确定模块，用于根据所述区域尺寸，获得图像块的预设划分尺寸，所述预设划 分尺寸中最大尺寸对应的图像块包含所述关键帧中满足第二预设条件的内容；
[0152] 第一划分子模块，用于将每一个关键帧按照预设划分尺寸进行不等分划分，获得 每一个关键帧对应的多个图像块。
[0153] 该第二预设条件即可以是指包含的信息量最多的内容，或者包含重要信息的内 容。或者根据实际应用情况具体限定，例如实际应用中想要突出边缘内容，该第二预设条件 即可以设定为位于关键帧边界的内容，从而使得划分得到的图像块，位于边界的图像块其 尺寸最大。
[0154] 通过不等分划分可以突出关键帧中重点关注的内容，从而可以进一步提高视频处 理的精确度。
[0155] 图5为本申请实施例提供的一种信息处理装置又一个实施例的结构示意图，所述 装置可以包括数据获取模块401、关键帧选择模块402、块划分模块403、特征描述模块404 以及处理模块405,各个模块功能可以参见图4对应实施例，与图4对应的实施例不同之处 在于，所述特征描述模块404可以包括：
[0156] 图像帧获得模块501，用于根据每一个关键帧，获得每一个关键帧对应的N个相同 的图像帧。
[0157] 第二划分子模块502,用于将每一个关键帧对应的N个相同的图像帧分别进行划 分，获得每一个关键帧对应的由图像帧划分得到的图像块，其中，每一个图像帧划分得到的 图像块数量不同。
[0158] 本实施例中，对于每一个关键巾贞不仅进行一次划分，而是进行N次划分。每一次划 分得到的图像块的数量不同。也即将关键帧复制得到N个图像帧，将N个图像帧分别进行 划分。
[0159] 每一个图像帧划分得到的图像块即是关键帧对应的图像块。
[0160] 其中，所述第二划分模块可以具体用于将每一个关键帧对应的N个相同的图像帧 按照不同的预设划分尺寸进行划分，获得每一个关键帧对应的由图像帧划分得到的图像 块；所述预设划分尺寸至少包括：将一个图像帧不进行划分得到一个图像块；将另一个图 像帧的长和宽的长度分别按照1:1划分得到4个图像块；以及将又一个图像帧长和宽的长 度分别按照1:2:1划分得到9个图像块。
[0161] 由于在视频处理过程中，根据不同的实际应用情况，并不要求100%的处理精确 度。例如在视频匹配时，一种情况可能两帧视频帧70%相似，即可认为两帧视频帧匹配，另 一种情况可能两帧视频帧90%相似，才认为两帧视频帧匹配。而每一个关键帧分别进行了 不同的划分，假设不同图像帧分别划分得到图像块为1块、4块、9块，在进行匹配时，根据匹 配精确度，在精确度要求不高时，可以利用划分出的4块中的每一块匹配即可，若其中两块 相似，则可以认为匹配，而如果采用9块中每一块进行匹配，可能需要至少比较5块才能确 定出是否匹配，因此可以降低处理复杂度；在精确度要求高时，可以利用划分出的9块中的 每一块匹配即可。因此，通过将关键帧分别进行N次不同的划分，可以使得得到的关键帧对 应的特征描述子能够适用于不同的情况，适用范围广，且可以降低处理的复杂度。
[0162] 且在需要对关键帧对应的9块图像块进行处理时，可以首先对4块图像块进行处 理，以初步确定出哪一块或哪几块为本次处理需要重点处理的，进而可以确定出需要处理 的位置和方向，再对9块图像块进行处理时，可以只针对需要处理的位置和方向处对应的9 块图像块中图像块，进行细化处理即可，无需对9块图像块全部进行处理，从而也可以降低 处理复杂度，提高处理效率。
[0163] 因此，通过本实施例的技术方案，不仅扩大适用范围，且可以降低处理的复杂度， 提商处理效率。
[0164] 在上述各个实施例的描述中，作为一种可能的实现方式，该第一预设条件可以是 视频数据中的每一个视频帧均作为关键帧。
[0165] 通过分析视频数据的每一个视频帧，建立每一视频帧对应的特征描述子。因此，在 进行视频处理时，特征描述子基本覆盖了视频数据的全部内容，精确度会更高。
[0166] 作为另一种可能的实现方式，该第一预设条件可以是指视频数据划分出的每一个 视频数据段中，最接近视频数据段内容的视频帧作为关键帧。
[0167] 因此，所述关键帧选择模块可以包括：
[0168] 段划分模块，用于按照第一策略，将视频数据划分为多个视频数据段；
[0169] 关键帧选择子模块，用于在每一个视频数据段中，按照第二策略，选择最接近所述 视频数据段内容的视频帧作为关键帧。
[0170] 视频数据段的划分可以有多种实现方式。
[0171] 该第一策略可以是指按照视频镜头进行划分。
[0172] 也即将视频数据划分为多个视频数据段具体为将视频数据按照镜头划分为多个 镜头段，每一个镜头段即为一个视频数据段。
[0173] 同一摄像机进行连续不间断拍摄，表示时间和空间上的一个连续动作的帧序列称 为个镜头。
[0174] 视频数据的镜头分割可以采用镜头边界检测方式检测出镜头边界，进而将视频数 据再按照镜头分割。
[0175] 镜头边界的形成是两个镜头进行切换的结果，即边界是由于视频内容的不连续造 成的，因此可以据此确定出镜头边界。且镜头边界处的视频帧内容变化比较剧烈。
[0176] 当然该第一策略还可以是其他的可能情况，对应其他的视频数据段划分的其他实 现方式。例如该第一策略还可以是指将视频数据的多个连续视频帧进行等分，每一份即对 应一个视频数据段。
[0177] 最接近所述视频数据段内容的视频帧的确定也可以有多种实现方式：
[0178] 一种可能的实现方式为：
[0179] 每间隔Μ帧，选择所述视频数据段中的视频帧作为候选视频帧；
[0180] 计算每一候选视频帧与其他候选视频帧的帧差之和；
[0181] 将帧差之和最小的候选视频帧作为所述视频数据段的关键视频帧。
[0182] 其中，帧差可以通过计算任意两帧视频帧的每一个像素点的像素值的差值，再将 差值求平均得到帧差。
[0183] 或者分别求得两帧视频帧的特征直方图，利用特征直方图计算得到的帧差，具体 的可以按照下述计算得到：
[0184] (1(^,?) = Σ min (? (i), H2 (i))；
[0185] 氏，4表示两个特征直方图，H(i)表示该征直方图第i个bin的值，表示 两个特征直方图的相交值。
[0186] 如果两个特征直方图都被归一化到1，则完全匹配时两个特征直方图相交的值是 1，完全不匹配时是0。通常使用时，会用1减去该相交值，所以1表示两帧帧差最大，0表示 两帧帧差最小。
[0187] 另一种可能的实现方式为：
[0188] 可以采用帧平均算法确定，例如可以将一个视频数据段中求其所有视频帧的像素 值的平均值，将该视频数据段中最接近该平均值的视频帧作为关键帧。
[0189] 其中，图像块的特征描述子可以有多种实现方式。
[0190] 在一种可能的实现方式中，该特征描述子即可以是指建立的图像块的特征直方 图。
[0191] 该特征直方图可以具体是指颜色直方图等、
[0192] 其中，不同颜色空间可以求不同颜色空间的直方图，如灰度、 RGB (Red-Green-Blue，红绿蓝）、HSV((Hue-Saturation-Value，色调-饱和度-亮度）等。 因为HSV更符合人眼感知特性，同时相比其他颜色空间来说，其直方图的匹配效果也较优， 因此，优选地，该特征直方图可以具体用HSV直方图。
[0193] 在另一种可能的实现方式，该特征描述子可以是指图像块的 SIFT (Scale-invariant feature transform，尺度不变特征转换）特征或者 SURF (Speeded Up Robust Features,加速稳健特征）特征。
[0194] 在又一种可能的实现方式，可以首先建立各个图像块的特征直方图，然后将各个 图像块对应的特征直方图量化为多维数据，将每一维数据作为特征描述子，利用各个图像 块的特征描述子进行视频处理时具体是：利用每一维数据进行视频处理。
[0195] 以关键帧为视频数据中最接近每一个镜头段内容的视频帧，将关键帧对应的N个 相同的图像帧，分别进行划分，获得每一个关键帧对应的由图像帧划分得到的图像块为例， 其中，所述划分包括将一个图像帧不进行划分得到一个图像块；将另一个图像帧的长和宽 的长度分别按照1:1划分得到4个图像块；以及将又一个图像帧长和宽的长度分别按照 1:2:1划分得到9个图像块。
[0196] 对每一个图像求取特征直方图，每一个特征直方图可以量化为18维数据，14块图 像块即共有14*18 = 252维数据。加上每一个镜头段中视频关键帧的序号，以及起始帧序 号和结束帧序号，因此一个关键帧，也即一个镜头段可以采用255维数据进行描述，每一维 即是一个特征描述子。
[0197] 在利用各个图像块的特征描述子进行视频处理时，即是利用多维数据进行视频处 理。例如视频帧匹配，可以通过比较特征描述子确定视频帧是否匹配。
[0198] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他 实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置 而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说 明即可。
[0199] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存 在任何这种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要 素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除 在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0200] 为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本 申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0201] 通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可 借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质 上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品 可以存储在存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些 部分所述的方法。
[0202] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的 一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请 将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。
【权利要求】
1. 一种信息处理方法，其特征在于，所述方法包括： 获取视频数据，所述视频数据由连续的多个视频帧组成； 从所述连续的多个视频帧中选择满足第一预设条件的视频帧，作为关键帧； 针对每一个关键帧，将每一个关键帧进行划分，获得每一个关键帧对应的多个图像 块； 处理每一个关键帧对应的各个图像块，获得各个图像块对应的特征描述子，所述特征 描述子用于表示各个图像块的特征；按照顺序排列的所述特征描述子用于表示所述关键 帧； 利用各个图像块的特征描述子进行视频处理。
2. 根据权利要求1所述的方法，其特征在于，所述将每一个关键帧进行划分，获得每一 个关键帧对应的多个图像块包括： 将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一个关键帧对应的多个图 像块。
3. 根据权利要求2所述的方法，其特征在于，所述将每一个关键帧按照预设划分尺寸 进行不等分划分，获得每一个关键帧对应的多个图像块； 确定所述关键帧中满足第二预设条件的内容； 确定所述满足第二预设条件的内容对应的区域尺寸； 根据所述区域尺寸，获得图像块的预设划分尺寸，所述预设划分尺寸中最大尺寸对应 的图像块包含所述关键帧中满足第二预设条件的内容； 将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一个关键帧对应的多个图 像块。
4. 根据权利要求1所述的方法，其特征在于，所述将每一个关键帧进行划分，获得每一 个关键帧对应的多个图像块包括： 根据每一个关键帧，获得每一个关键帧对应的N个相同的图像帧； 将每一个关键帧对应的N个相同的图像帧分别进行划分，获得每一个关键帧对应的由 图像帧划分得到的图像块，其中，每一个图像帧划分得到的图像块数量不同。
5. 根据权利要求4所述的方法，其特征在于，所述将每一个关键帧对应的N个相同图像 帧分别进行划分包括： 将每一个关键帧对应的N个相同的图像帧按照不同的预设划分尺寸进行划分，所述预 设划分尺寸至少包括：将一个图像帧不进行划分得到一个图像块；将另一个图像帧的长和 宽的长度分别按照1:1划分得到4个图像块；以及将又一个图像帧长和宽的长度分别按照 1:2:1划分得到9个图像块。
6. 根据权利要求1所述的方法，其特征在于，所述从所述连续的多个视频帧中选择满 足第一预设条件的视频帧，作为关键帧包括： 按照第一策略，将视频数据划分为多个视频数据段； 在每一个视频数据段中，按照第二策略，选择最接近所述视频数据段内容的视频帧作 为关键帧。
7. -种信息处理装置，其特征在于，所述装置包括： 数据获取模块，用于获取视频数据，所述视频数据由连续的多个视频帧组成； 关键帧选择模块，用于从所述连续的多个视频帧中选择满足第一预设条件的视频帧， 作为关键帧； 块划分模块，用于针对每一个关键帧，将每一个关键帧进行划分，获得每一个关键帧对 应的多个图像块； 特征描述模块，用于处理每一个关键帧对应的各个图像块，获得各个图像块对应的特 征描述子，所述特征描述子用于表示各个图像块的特征；按照顺序排列的所述特征描述子 用于表示所述关键帧； 处理模块，用于利用各个图像块的特征描述子进行视频处理。
8. 根据权利要求7所述的装置，其特征在于，所述块划分模块具体用于将每一个关键 帧按照预设划分尺寸进行不等分划分，获得每一个关键帧对应的多个图像块。
9. 根据权利要求8所述的装置，其特征在于，所述块划分模块包括： 内容确定模块，用于确定所述关键帧中满足第二预设条件的内容； 区域确定模块，用于确定所述满足第二预设条件的内容对应的区域尺寸； 尺寸确定模块，用于根据所述区域尺寸，获得图像块的预设划分尺寸，所述预设划分尺 寸中最大尺寸对应的图像块包含所述关键帧中满足第二预设条件的内容； 第一划分子模块，用于将每一个关键帧按照预设划分尺寸进行不等分划分，获得每一 个关键帧对应的多个图像块。
10. 根据权利要求7所述的装置，其特征在于，所述块划分模块包括： 图像帧获得模块，用于根据每一个关键帧，获得每一个关键帧对应的N个相同的图像 帧； 第二划分子模块，用于将每一个关键帧对应的N个相同的图像帧分别进行划分，获得 每一个关键帧对应的由图像帧划分得到的图像块，其中，每一个图像帧划分得到的图像块 数量不同。
11. 根据权利应要求10所述的装置，其特征在于，所述第二划分模块具体将每一个关 键帧对应的N个相同的图像帧按照不同的预设划分尺寸进行划分，获得每一个关键帧对应 的由图像帧划分得到的图像块；所述预设划分尺寸至少包括：将一个图像帧不进行划分得 到一个图像块；将另一个图像帧的长和宽的长度分别按照1:1划分得到4个图像块；以及 将又一个图像帧长和宽的长度分别按照1:2:1划分得到9个图像块。
12. 根据权利要求7所述的装置，其特征在于，所述关键帧选择模块包括： 段划分模块，用于按照第一策略，将视频数据划分为多个视频数据段； 关键帧选择子模块，用于在每一个视频数据段中，按照第二策略，选择最接近所述视频 数据段内容的视频帧作为关键帧。
【文档编号】H04N5/14GK104219423SQ201410498530
【公开日】2014年12月17日 申请日期:2014年9月25日 优先权日:2014年9月25日
【发明者】蔡明祥, 陶嘉明 申请人:联想(北京)有限公司