一种视频摘要生成方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像识别领域，具体涉及一种视频摘要生成方法及装置。
【背景技术】
[0002] 视频摘要又称为视频浓缩，是对视频内容的概括，以自动或半自动方式，通过运动 目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个 共同的背景场景中，并将它们以某种方式进行组合。随着视频技术的发展，视频摘要在视频 分析和基于内容的视频检索中的作用愈加重要。
[0003] 在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重 要组成部分。然而视频录像存在存储数据量大，存储时间长等特点，通过录像寻找线索，获 取证据传统的做法要耗费大量人力、物力以及时间，效率极其低下，以至于错过最佳破案时 机。
[0004] 针对现有技术中无法快速的从大规模视频数据中寻找最优的摘要视频的问题，目 前尚未提出有效的解决方案。
【发明内容】
[0005] 为了克服现有技术中的不足，本发明实施例提供了一种视频摘要生成方法及装 置。
[0006] 为了解决上述技术问题，本发明实施例采用如下技术方案：
[0007] 依据本发明实施例的一个方面，提供了一种视频摘要生成方法，包括：将原始视频 划分为多个视域；根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹， 划分到该对象轨迹最为接近的视域中；根据视域中对象轨迹的活跃程度，统计视域的活跃 度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视 域；对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个 视域进行合并，生成视频摘要。
[0008] 其中，所述将原始视频划分为多个视域，包括：确定原始视频中场景的方向；根据 所述场景的方向，将原始视频划分为多个视域，所述多个视域的方向与所述场景的方向一 致。
[0009] 其中，所述确定原始视频中场景的方向，包括：获取所述原始视频中场景内的多条 对象轨迹的初始点与终止点；根据对象轨迹的初始点与终止点进行坐标差值计算，确定对 象轨迹的方向；根据所述多条对象轨迹中的大部分对象轨迹的方向，判断所述原始视频中 场景的方向，所述场景的方向与多条对象轨迹中的大部分对象轨迹的方向一致。
[0010] 其中，所述根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨 迹，划分到该对象轨迹最为接近的视域中，包括：获取每个视域的线段特征，所述线段特征 包括：视域的起止点坐标和视域内包含的对象轨迹的个数；获取对象轨迹的起止点坐标， 计算对象轨迹与各个视域的接近程度；根据所述接近程度，将原始视频包含的各个对象轨 迹，划分到该对象轨迹最为接近的视域中；根据该对象轨迹的起止点坐标，更新该最为接近 的视域的线段特征。
[0011] 其中，所述根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述 活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域，包括：所述活跃程 度与对象轨迹对应的对象面积及对象轨迹的持续时间呈正相关，所述统计视域的活跃度指 标为：将视域内所有对象轨迹的活跃程度进行求和计算，得到视域的活跃度指标；根据所 述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域。
[0012] 可选地，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行 处理后得到的各个视域进行合并，生成视频摘要，包括：若所述多个视域均为重要视域，则 采用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的 最优对象轨迹组合；根据所有视域的最优对象轨迹组合，生成视频摘要。
[0013] 可选地，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行 处理后得到的各个视域进行合并，生成视频摘要，包括：若所述多个视域均为次要视域，则 采用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的 最优对象轨迹组合；根据所有视域的最优对象轨迹组合，生成视频摘要。
[0014] 可选地，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行 处理后得到的各个视域进行合并，生成视频摘要，包括：若所述多个视域中包含重要视域和 次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的 重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用 第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的 最优对象轨迹组合；采用第二预设函数分别求解各个次要视域的对象轨迹组合的最优解， 进而确定该最优解对应的最优对象轨迹组合；根据所有视域的最优对象轨迹组合，生成视 频摘要。
[0015] 可选地，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行 处理后得到的各个视域进行合并，生成视频摘要，包括：若所述多个视域中包含重要视域和 次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的 重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用 第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的 最优对象轨迹组合；次要视域中的对象轨迹按照原始视频复制到背景图像中；根据处理结 果，将各个视域进行合并，生成视频摘要。
[0016] 依据本发明实施例的另一个方面，还提供了一种视频摘要生成装置，包括：第一划 分模块，用于将原始视频划分为多个视域；归类模块，用于根据对象轨迹与各个视域的接近 程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；第二划分模 块，用于根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标 是否超出预设门限，将各个视域划分为重要视域和次要视域；合并处理模块，用于对各个 重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合 并，生成视频摘要。
[0017] 其中，所述第一划分模块包括：第一计算单元，用于确定原始视频中场景的方向； 第一划分单元，用于根据所述场景的方向，将原始视频划分为多个视域，所述多个视域的方 向与所述场景的方向一致。
[0018] 其中，所述第一计算单元包括：第一获取单元，用于获取所述原始视频中场景内的 多条对象轨迹的初始点与终止点；差值计算单元，用于根据对象轨迹的初始点与终止点进 行坐标差值计算，确定对象轨迹的方向；判断单元，用于根据所述多条对象轨迹中的大部分 对象轨迹的方向，判断所述原始视频中场景的方向，所述场景的方向与多条对象轨迹中的 大部分对象轨迹的方向一致。
[0019] 其中，所述归类模块包括：第二获取单元，用于获取每个视域的线段特征，所述线 段特征包括：视域的起止点坐标和视域内包含的对象轨迹的个数；距离计算单元，用于获 取对象轨迹的起始点与终止点，计算对象轨迹与各个视域的接近程度；第一归类单元，用于 根据所述接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域 中；更新单元，用于根据该对象轨迹的起止点坐标，更新该最为接近的视域的线段特征。
[0020] 其中，所述第二划分模块包括：活跃度指标计算单元，其中对象轨迹的活跃程度 与对象轨迹对应的对象面积及对象轨迹的持续时间呈正相关，所述统计视域的活跃度指标 为：将视域内所有对象轨迹的活跃程度进行求和计算，得到视域的活跃度指标；第二划分 单元，用于根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视 域。
[0021] 可选地，所述合并处理模块包括：第一合并单元，用于若所述多个视域均为重要视 域，则采用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解 对应的最优对象轨迹组合；第一处理单元，用于根据所有视域的最优对象轨迹组合，生成视 频摘要。
[0022] 可选地，所述合并处理模块包括：第二合并单元，用于若所述多个视域均为次要视 域，则采用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解 对应的最优对象轨迹组合；第二处理单元，用于根据所有视域的最优对象轨迹组合，生成视 频摘要。
[0023] 可选地，所述合并处理模块包括：第三合并单元，用于若所述多个视域中包含重要 视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合 并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻， 则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解 对应的最优对象轨迹组合；采用第二预设函数分别求解各个次要视域的对象轨迹组合的最 优解，进而确定该最优解对应的最优对象轨迹组合；第三处理单元，用于根据所有视域的最 优对象轨迹组合，生成视频摘要。
[0024] 可选地，所述合并处理模块包括：第四合并单元，用于若所述多个视域中包含重要 视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合 并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻， 则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解 对