一种生成视频浓缩摘要的方法、装置及设备的制造方法
【技术领域】
[0001] 本发明涉及数字视频领域，特别涉及一种生成视频浓缩摘要的方法、装置及设备。
【背景技术】
[0002] 当前，公共安全受到社会各界广泛关注，由此产生了海量的监控视频。人们为了从 监控视频中寻找线索，需要观看几个几十甚至几百个小时的监控视频，耗费大量的人力和 时间。因此，如果对原始监控视频进行浓缩，以将原始监控视频变为几分钟或几十分钟的视 频浓缩摘要，视频浓缩摘要是对原始监控视频的视频内容的概括，如此人们可以通过观看 视频浓缩摘要来快速寻找线索。
[0003] 目前，现有技术提供了一种生成视频浓缩摘要的方法，可以为：从监控视频中获取 一运动物体，运动物体是监控视频中处于运动状态的人或车等物体。从监控视频中获取包 括该运动物体的各视频图像，将每张视频图像中包含的该运动物体的图像按时间顺序组成 该运动物体的运动轨迹。按上述相同方式获取监控视频中的每个运动物体的运动轨迹，再 获取每个运动物体的运动轨迹在视频浓缩摘要中的起始帧的帧号。从监控视频中选取多张 视频图像，去除选取的每张视频图像中包含的运动物体的图像，将去除后的视频图像作为 视频浓缩摘要的背景图像并组成一段视频。根据每个运动物体的运动轨迹在视频浓缩摘 要中的起始帧的帧号，分别将每个运动物体的运动轨迹插入到该段视频中得到视频浓缩摘 要。
[0004] 在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
[0005] 在监控视频中可能有多个运动物体的运动轨迹存在冲撞点，冲撞点可以为多个运 动物体的运动轨迹的交点，冲撞点表示多个运动物体存在接触。例如，两个人的运动轨迹存 在的冲撞点可能是两个人存在身体上的接触，如两个人打架。现有技术在生成视频浓缩摘 要时，分别将每个运动物体的运动轨迹插入到视频中，可能使多个运动物体的运动轨迹存 在冲撞点消失，如此导致重要信息丢失。
【发明内容】
[0006] 为了保存视频中的重要信息，本发明提供了一种生成视频浓缩摘要的方法、装置 及设备。所述技术方案如下：
[0007] 第一方面，一种生成视频浓缩摘要的装置，所述装置包括：
[0008] 第一获取模块，用于从视频中获取第一运动轨迹集合，所述第一运动轨迹集合包 括所述视频中的每个运动物体的运动轨迹；
[0009] 合并模块，用于将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值 的多条运动轨迹合并为一条运动轨迹，将合并后的运动轨迹和所述第一运动轨迹集合中未 合并的运动轨迹组成第二运动轨迹集合；
[0010] 生成模块，用于根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要。
[0011] 结合第一方面，在第一方面的第一种可能的实现方式中，所述合并模块包括：
[0012] 第一选择单元，用于从所述第一运动轨迹集合中选择相互之间的间距小于预设第 一阈值的多条运动轨迹；
[0013] 第二选择单元，用于从所述多条运动轨迹的起始时间中选择最小起始时间以及从 所述多条运动轨迹的结束时间中选择最大结束时间；
[0014] 合并单元，用于将所述多条运动轨迹合并为一条运动轨迹，并设置合并得到的所 述一条运动轨迹的起始时间为所述最小起始时间以及结束时间为所述最大结束时间。
[0015] 结合第一方面，在第一方面的第二种可能的实现方式中，所述装置还包括：
[0016] 第二获取模块，用于从所述视频中获取包含第一运动物体和第二运动物体的视频 图像，所述第一运动物体和所述第二运动物体分别为所述视频中的任意两个运动物体；
[0017] 计算模块，用于计算获取的每张视频图像中的所述第一运动物体与所述第二运动 物体之间的距离；
[0018] 选择模块，用于从所述计算的距离中选择最小距离，并将所述最小距离作为所述 第一运动物体的运动轨迹与所述第二运动物体的运动轨迹之间的间距。
[0019] 结合第一方面，在第一方面的第三种可能的实现方式中，所述生成模块包括：
[0020] 第三选择单元，用于从所述第二运动轨迹集合中选择起始时间最早或长度最长的 一个运动物体的运动轨迹，设置所述选择的运动物体的运动轨迹在视频浓缩摘要缓存中的 起始帧的帧号为所述视频浓缩摘要缓存的第一帧；
[0021] 第四选择单元，用于从所述第二运动轨迹集合中未选择的运动物体的运动轨迹中 选择起始时间最早或长度最长的一个运动物体的运动轨迹作为第三运动物体的运动轨迹， 设置所述第三运动物体的运动轨迹的起始帧号；
[0022] 第一确定单元，用于根据所述第三运动物体的运动轨迹的起始帧号，确定所述第 三运动物体与所述视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件；
[0023] 设置单元，用于如果满足预设条件，则将所述第三运动物体的运动轨迹在视频浓 缩摘要缓存中的起始帧的帧号设置为所述第三运动物体的运动轨迹的起始帧号；
[0024] 插入单元，用于获取所述视频浓缩摘要的背景图像并组成一段视频；根据所述第 二运动轨迹集合中的每条运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，分别将所述第 二运动轨迹集合中的每条运动轨迹插入所述组成的一段视频中得到所述视频浓缩摘要。
[0025] 结合第一方面，在第一方面的第四种可能的实现方式中，所述第四选择单元包 括：
[0026] 第一设置子单元，用于设置所述第三运动物体的运动轨迹的起始帧号为所述视频 浓缩摘要缓存的第一帧；或，
[0027] 第二设置子单元，用于设置所述第三运动物体的运动轨迹的起始帧号大于或等于 在所述第三运动物体之前最近一次选择的运动物体的运动轨迹在视频浓缩摘要缓存中的 起始中贞。
[0028] 结合第一方面，在第一方面的第五种可能的实现方式中，所述确定单元包括：
[0029] 获取子单元，用于根据所述第三运动物体的运动轨迹的起始帧号，获取视频浓缩 摘要缓存中包含所述第三运动物体和第四运动物体的视频图像，所述第四运动物体为所述 视频浓缩摘要缓存中的任一运动物体；
[0030] 计算子单元，用于根据所述获取的视频图像，计算所述第三运动物体与所述第四 运动物体之间的冲撞度；
[0031] 确定子单元，用于如果所述第三运动物体与所述视频浓缩摘要缓存中每个运动物 体之间的冲撞度小于预设第二阈值，则确定所述第三运动物体与所述视频浓缩摘要缓存中 的运动物体之间的遮挡程度满足预设条件。
[0032] 结合第一方面，在第一方面的第六种可能的实现方式中，所述计算子单元具体用 于计算所述获取的每张视频图像中的所述第三运动物体和所述第四运动物体之间相互遮 挡的区域包括的像素点的个数；
[0033] 根据所述每张视频图像中的所述第三运动物体和所述第四运动物体之间相互遮 挡的区域包括的像素点的个数计算所述第三运动物体与所述第四运动物体之间的冲撞度。[0034] 结合第一方面，在第一方面的第七种可能的实现方式中，所述计算子单元具体用 于计算所述获取的视频图像中的所述第三运动物体和所述第四运动物体之间相互遮挡的 区域包括的像素点的第一个数；
[0035] 计算所述第一个数与所述获取的视频图像中的所述第四物体的图像包括的像素 点的个数之间的比值，将所述比值作为所述获取的视频图像对应的比值；
[0036] 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物 体之间的冲撞度。
[0037] 结合第一方面，在第一方面的第八种可能的实现方式中，
[0038] 所述计算子单元具体用于计算所述获取的视频图像中的所述第三运动物体和所 述第四运动物体之间相互遮挡的区域包括的像素点的第一个数；
[0039] 计算所述第一个数与所述获取的视频图像中的所述第三物体的图像包括的像素 点的个数之间的第一比值，以及计算所述第一个数与所述获取的视频图像中的所述第四物 体的图像包括的像素点的个数之间的第二比值；
[0040] 如果所述第一比值大于或等于所述第二比值，则将所述第一比值确定为所述获取 的视频图像对应的比值，否则，将所述第二比值确定为所述获取的视频图像对应的比值；
[0041] 根据获取的每张视频图像对应的比值计算所述第三运动物体与所述第四运动物 体之间的冲撞度。
[0042] 结合第一方面，在第一方面的第九种可能的实现方式中，所述生成模块还包括：
[0043] 增加单元，用于如果不满足预设条件，则增加所述第三运动物体的运动轨迹的起 始帧号，再根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述 视频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件。
[0044] 结合第一方面，在第一方面的第十种可能的实现方式中，所述生成模块还包括：
[0045] 获取单元，用于根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓 缩摘要缓存中包含所述第三运动物体的视频图像，确定所述获取的每张视频图像中包含的 运动物体的数目是否都小于预设第三阈值，如果都小于，则执行根据所述第三运动物体的 运动轨迹的起始帧号，确定所述第三运动物体与所述视频浓缩摘要缓存中的运动物体之间 的遮挡程度是否满足预设条件的步骤。
[0046] 结合第一方面，在第一方面的第十一种可能的实现方式中，所述获取单元还包 括：
[0047] 增加子单元，用于如果不都小于，则增加所述第三运动物体的运动轨迹的起始帧 号，再根据所述第三运动物体的运动轨迹的起始帧号，获取所述视频浓缩摘要缓存中包含 所述第三运动物体的视频图像，确定所述获取的每张视频图像中包含的运动物体的数目是 否都小于预设第三阈值。
[0048] 结合第一方面，在第一方面的第十二种可能的实现方式中，其特征在于，所述装置 还包括：
[0049] 切割模块，用于对所述第二运动轨迹集合中长度超过预设长度的运动轨迹进行切 害I]，得到长度不超过预设长度的运动轨迹。
[0050] 结合第一方面，在第一方面的第十三种可能的实现方式中，所述切割模块包括：
[0051] 第二确定单元，用于如果长度超过预设长度的运动轨迹中存在冲撞点，则确定第 一切割点和第二切割点，所述第一切割点位于所述冲撞点之前，所述第二切割点位于所述 冲撞点之后，所述第一切割点与所述第二切割点之间的长度不超过预设长度；
[0052] 切割单元，用于根据所述第一切割点和所述第二切割点，对所述长度超过预设长 度的运动轨迹进行切割。
[0053] 第二方面，一种生成视频浓缩摘要的方法，所述方法包括：
[0054] 从视频中获取第一运动轨迹集合，所述第一运动轨迹集合包括所述视频中的每个 运动物体的运动轨迹；
[0055] 将所述第一运动轨迹集合中的相互之间的间距小于预设第一阈值的多条运动轨 迹合并为一条运动轨迹，将合并后的运动轨迹和所述第一运动轨迹集合中未合并的运动轨 迹组成第二运动轨迹集合；
[0056] 根据所述第二运动轨迹集合生成所述视频的视频浓缩摘要。
[0057] 结合第二方面，在第二方面的第一种可能的实现方式中，所述将所述第一运动轨 迹集合中的相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运动轨迹，包 括：
[0058] 从所述第一运动轨迹集合中选择相互之间的间距小于预设第一阈值的多条运动 轨迹；
[0059] 从所述多条运动轨迹的起始时间中选择最小起始时间以及从所述多条运动轨迹 的结束时间中选择最大结束时间；
[0060] 将所述多条运动轨迹合并为一条运动轨迹，并设置合并得到的所述一条运动轨迹 的起始时间为所述最小起始时间以及结束时间为所述最大结束时间。
[0061] 结合第二方面，在第二方面的第二种可能的实现方式中，所述将所述第一运动轨 迹集合中的相互之间的间距小于预设第一阈值的多条运动轨迹合并为一条运动轨迹之前， 还包括：
[0062] 从所述视频中获取包含第一运动物体和第二运动物体的视频图像，所述第一运动 物体和所述第二运动物体分别为所述视频中的任意两个运动物体；
[0063] 计算获取的每张视频图像中的所述第一运动物体与所述第二运动物体之间的距 离；
[0064] 从所述计算的距离中选择最小距离，并将所述最小距离作为所述第一运动物体的 运动轨迹与所述第二运动物体的运动轨迹之间的间距。
[0065] 结合第二方面，在第二方面的第三种可能的实现方式中，所述根据所述第二运动 轨迹集合生成所述视频的视频浓缩摘要，包括：
[0066] 从所述第二运动轨迹集合中选择起始时间最早或长度最长的一个运动物体的运 动轨迹，设置所述选择的运动物体的运动轨迹在视频浓缩摘要缓存中的起始帧的帧号为所 述视频浓缩摘要缓存的第一帧；
[0067] 从所述第二运动轨迹集合中未选择的运动物体的运动轨迹中选择起始时间最早 或长度最长的一个运动物体的运动轨迹作为第三运动物体的运动轨迹，设置所述第三运动 物体的运动轨迹的起始帧号；
[0068] 根据所述第三运动物体的运动轨迹的起始帧号，确定所述第三运动物体与所述视 频浓缩摘要缓存中的运动物体之间的遮挡程度是否满足预设条件；
[0069] 如果满足预设条件，则将所述第三运动物体的运动轨迹在视频浓缩摘要缓存中的 起始帧的帧号设置为所述第三运动物体的运动轨迹的起始帧号；
[0070] 获取所述视频浓缩摘要的背景图像并组成一段视频；根据所述第二运动轨迹集合 中的每条运动轨迹在视频浓缩摘要缓存中的起始帧的帧号，分别将所述第二运动轨迹集合 中的每条运动轨迹插入所述组成的一段视频中得到所述视频浓缩摘要。
[0071] 结合第二方面，在第二方面的第四种可能的实现方式中，所述设置所述第三运动 物体的运动轨迹的起始帧号，包括：
[0072] 设置所述第三运动物体的运动轨迹的起始