视频摘要生成方法及装置与流程

本发明涉及视频处理
技术领域：
，具体涉及一种视频摘要生成方法及装置。
背景技术：
：随着人们对多媒体信息需求的不断增加，多媒体数据大量涌现，视频作为一种主要的多媒体类型，在丰富人们的生活、教育、娱乐等方面起到越来越突出的作用。如何有效地组织、管理、查询、检索和浏览视频数据，成为迫切需要解决的问题。视频摘要是解决上述问题的一个有效途径，视频摘要又称视频浓缩，是指对视频内容的一个简单的概括，以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，将它们以某种方式进行组合。视频摘要在视频分析和基于内容的视频检索中扮演着重要角色。通常几个小时的录像，可以浓缩成几分钟的浓缩视频，大大加快了录像查看的速度。发明人在研发视频摘要的生成方法中，先是采用对视频内容从前往后依次分析，提取运动目标，然后对各个目标的运动轨迹进行分析。但是，发明人发现这种视频摘要的生成方法，对于不同时长的视频内容，视频摘要生成的时间不同；此外，对于时长较长的视频内容，其摘要生成的时间相对较长、效率低。技术实现要素：有鉴于此，本发明实施例提供了一种视频摘要生成方法及装置，以解决时长较长的视频内容生成视频摘要的耗时长、效率低的问题。本发明第一方面提供了一种视频摘要生成方法，包括以下步骤：获取待处理视频；将所述待处理视频划分为多个切片；开启与所述多个切片一一对应的多个线程，分别执行对每个所述切片的目标分析任务，得到每个所述切片中运动目标的分析结果；利用所述多个切片的先后顺序对所述运动目标的分析结果进行浓缩展示，生成所述待处理视频的视频摘要。可选地，在将所述待处理视频划分为多个切片之后，还包括：记录每个切片的起止位置；对每个所述切片生成唯一的标识，每个切片对应的标识还与其在所述待处理视频中的位置对应。可选地，所述分别执行对每个所述切片的目标分析任务，得到每个所述切片中运动目标的分析结果，包括：获取每个所述切片中的运动目标；利用所述多个切片的先后顺序生成每个所述切片的运动目标的标识；获取相邻的切片在相邻时刻出现的运动目标；根据所述运动目标的位置特征判断所述相邻的切片在相邻时刻出现的运动目标是否相同；当判断所述相邻的切片在相邻时刻出现的运动目标相同时，将所述运动目标对应的标识合并成一个。可选地，开启第一线程以执行利用所述多个切片的先后顺序对所述运动目标的分析结果进行浓缩计算，以生成所述待处理视频的视频摘要，同时开启第二线程对所述浓缩计算得到的视频摘要进行展示。可选地，所述利用所述多个切片的先后顺序对所述运动目标的分析结果进行浓缩计算，包括：根据所述切片的标识对所述切片进行排序；依次根据排序后的所述切片中运动目标提取视频图像。本发明第二方面提供了一种视频摘要生成装置，包括：第一获取单元，用于获取待处理视频；切片划分单元，用于将所述待处理视频划分为多个切片；处理单元，用于开启与所述多个切片一一对应的多个线程，分别执行对每个所述切片的目标分析任务，得到每个所述切片中运动目标的分析结果；浓缩单元，用于利用所述多个切片的先后顺序对所述运动目标的分析结果进行浓缩计算，以生成所述待处理视频的视频摘要。可选地，所述视频摘要生成装置，还包括：记录单元，用于记录每个切片的起止位置；标记单元，用于对每个所述切片生成唯一的标识，每个切片对应的标识还与其在所述待处理视频中的位置对应。可选地，所述处理单元，包括：第一获取子单元，用于获取每个所述切片中的运动目标；标记子单元，用于利用所述多个切片的先后顺序生成每个所述切片的运动目标的标识；第二获取子单元，用于获取相邻的切片在相邻时刻出现的运动目标；判断子单元，用于根据所述运动目标的位置特征判断所述相邻的切片在相邻时刻出现的运动目标是否相同；合并子单元，用于当判断所述相邻的切片在相邻时刻出现的运动目标相同时，将所述运动目标对应的标识合并成一个。可选地，所述浓缩单元，包括：排序子单元，用于根据所述切片的标识对所述切片进行排序；提取子单元，用于依次根据排序后的所述切片中运动目标提取视频图像。本发明第三方面提供了一种图像处理装置，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明第一方面或第一方面中任一项所述的视频摘要生成方法。本发明第四方面提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行本发明第一方面或第一方面中任一项所述的视频摘要生成方法。本发明第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行第一方面或者第一方面的任意一种可选方式中所述的视频摘要生成方法。本发明提供的技术方案，具有如下优点：1.本发明实施例提供的视频摘要生成方法，包括以下步骤：获取待处理视频；将所述待处理视频划分为多个切片；开启与所述多个切片一一对应的多个线程，分别执行对每个所述切片的目标分析任务，得到每个所述切片中运动目标的分析结果；利用所述多个切片的先后顺序对所述运动目标的分析结果进行浓缩计算，以生成所述待处理视频的视频摘要。本发明实施例提供的视频摘要生成方法，通过使用多线程并行处理一个视频的目标分析任务，然后对于分散的分析结果进行综合浓缩，生成视频摘要，以实现在短时间内浏览视频所有内容的目的，从而极大减少了等待时间。2.本发明实施例提供的视频摘要生成方法，其中，在将所述待处理视频划分为多个切片之后，还包括：记录每个切片的起止位置；对每个所述切片生成唯一的标识，每个切片对应的标识还与其在所述待处理视频中的位置对应。本发明实施例中，通过对每个切片分配唯一的标识，便于在同时对所有切片进行目标分析时，根据该标识对不同的切片中的目标分析结果进行保存，从而避免了存储结果之间的冲突。3.本发明实施例提供的视频摘要生成方法，其中，开启第一线程以执行利用所述多个切片的先后顺序对所述运动目标的分析结果进行浓缩计算，以生成所述待处理视频的视频摘要，同时开启第二线程对所述浓缩计算得到的视频摘要进行展示。本发明实施例通过对切片中的运动目标进行分段浓缩计算，并将浓缩计算和浓缩展示分两个线程并发执行，可以实现边处理边展示的目的，从而可以解决待处理视频中的目标个数较多，需要耗费大量时间进行目标浓缩展示的等待时间。4.本发明实施例提供的视频摘要生成方法，其中，所述利用所述多个切片的先后顺序对所述运动目标的分析结果进行浓缩计算，包括：根据所述切片的标识对所述切片进行排序；依次根据排序后的所述切片中运动目标提取视频图像。本发明实施例中，采用同时对所有切片进行目标分析，分析结果可存储在不同的地方，因此，通过切片的标识可以还原各切片在视频中的位置，避免了切片顺序的混乱，从而为从运动目标中提取视频图像提供了条件。5.本发明实施例提供的视频摘要生成装置，包括，第一获取单元，用于获取待处理视频；切片划分单元，用于将所述待处理视频划分为多个切片；处理单元，用于开启与所述多个切片一一对应的多个线程，分别执行对每个所述切片的目标分析任务，得到每个所述切片中运动目标的分析结果；浓缩单元，用于利用所述多个切片的先后顺序对所述运动目标的分析结果进行浓缩计算，以生成所述待处理视频的视频摘要。本发明实施例提供的视频摘要生成装置，通过使用多线程并行处理一个视频的目标分析任务，然后对于分散的分析结果进行综合浓缩，生成视频摘要，以实现在短时间内浏览视频所有内容的目的，从而极大减少了等待时间。附图说明通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：图1示出了本发明实施例1中视频摘要生成方法的一个具体示意的流程图；图2示出了本发明实施例2中视频摘要生成方法的一个具体示意的流程图；图3示出了本发明实施例3中视频摘要生成方法的一个具体示意的流程图；图4示出了本发明实施例4中视频摘要生成装置的一个具体示意的结构图；图5示出了本发明实施例4中处理单元的一个具体示意的结构图；图6示出了本发明实施例4中浓缩单元的一个具体示意的结构图；图7示出了本发明实施例5中图像处理装置的一个具体示意的结构图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例1本施例提供一种视频摘要生成方法，用于视频摘要生成装置中。如图1所示，该视频摘要生成方法包括以下步骤：步骤s11，获取待处理视频。本实施例中的待处理视频可以是事先存储在视频摘要生成装置中的，或视频摘要生成装置实时从外界获取的视频，也可以是视频摘要生成装置从一段录像中提取的视频段。步骤s12，将待处理视频划分为多个切片。本实施例中，通过在视频摘要生成装置中预览待处理视频的总时长，同时可以根据在视频摘要生成装置的处理能力，划分切片的个数。例如，可以根据视频摘要装置中，硬件电路的处理数据的能力，确定最大能够并发处理的数据量，根据该数据量进行待处理视频的划分。其中，所有切片组成一个完整待处理视频，同时在每个切片中可以包括若干视频帧，每一帧中包括若干目标。步骤s13，开启与多个切片一一对应的多个线程，分别执行对每个切片的目标分析任务，得到每个切片中运动目标的分析结果。本实施例中，通过在视频摘要生成装置中开启多个线程分别执行对每个切片的目标分析任务。其中，所开启的线程的个数与待处理视频所划分出的切片的个数相等，即能够达到在视频摘要生成装置中同时进行所有切片的目标分析任务。其中，每个切片中运动目标的分析结果可以保存在不同的路径下，也可以在同一路径下通过不同的标记加以区分。步骤s14，利用多个切片的先后顺序对运动目标的分析结果进行浓缩计算，以生成待处理视频的视频摘要。本实施例中，在上述步骤s13中是对所有切片同时进行目标分析任务，而每个切片中运动目标的分析结果的保存时不一定保持原来的先后顺序关系。因此，在进行运动目标的分析结果浓缩计算时，需要按照切片的先后顺序进行，从而才能够避免切片顺序的混乱。本实施例提供的视频摘要生成方法，通过使用多线程并行处理一个视频的目标分析任务，然后对于分散的分析结果进行综合浓缩，生成视频摘要，以实现在短时间内浏览视频所有内容的目的，从而极大减少了等待时间，对于时长较长的视频内容，其效果更佳明显。实施例2本施例提供一种视频摘要生成方法，用于视频摘要生成装置中。如图2所示，该视频摘要生成方法包括以下步骤：步骤s21，获取待处理视频。与实施例1步骤s11相同，在此不再赘述。步骤s22，将待处理视频划分为多个切片。本实施例中，通过在视频摘要生成装置中预览待处理视频的总时长，并根据视频摘要生成装置中硬件电路的处理数据的能力，将待处理视频划分为多个切片文件。在将待处理视频划分为多个切片之后，记录每个切片的起止位置，用于后续对每个切片进行目标分析任务之前的对切片的解码操作。此外，对每个切片生成唯一的标识，该标识的大小与切片在待处理视频中的位置对应；即该标识的大小与切片在待处理视频中的时间顺序保持一致，从而达到通过该标识能够快速找到相邻的前后切片。本实施例中的标识可以采用数值表示，也可以采用字符表示。其中，数值或字符按照切片在待处理视频中的时间进行顺序设置。作为本实施例的一种可选实施方式，本实施例中的标识采用数值表示。例如，采用1，2，3，…，依次作为切片的标识。步骤s23，开启与多个切片一一对应的多个线程，分别执行对每个切片的目标分析任务，得到每个切片中运动目标的分析结果。本实施例中，通过在视频摘要生成装置中开启多个线程分别执行对每个切片的目标分析任务。其中，所开启的线程的个数与待处理视频所划分出的切片的个数相等，即能够达到在视频摘要生成装置中同时进行所有切片的目标分析任务。此外，每个切片包括若干目标，因此在本实施例中，通过对每个切片中的每个目标分配唯一的标识，用于进行目标的区分，从而达到在待处理视频中的目标都有唯一的标识。具体地，分别执行对每个切片的目标分析任务，得到每个切片中运动目标的分析结果，包括以下步骤：步骤s231，获取每个切片中的运动目标。本实施例中，首先根据背景建模方法，快速分析每个切片的前面一小段，获取一个稳定的切片的静态背景；然后，根据该静态背景，将切片中不属于该静态背景中的目标提取，即为运动目标。在对切片进行目标分析过程中，对于切片中的某些场景而言，静态背景并非一成不变，任何运动到静止的目标都会成为背景的一部分，因此，需要不断更新背景，并保存每一个变化的背景图像；以及，每一个背景图像在待处理视频中的目标轨迹信息，具体地，包括背景图像出现消失的时间段、以及在待处理视频中的位置。步骤s232，利用多个切片的先后顺序生成每个切片的运动目标的标识。本实施例中，每个切片包括有若干目标，对每个切片中的每个目标分配唯一的标识，用于进行目标的区分，从而达到在待处理视频中的目标都有唯一的标识。该标识可以用数值标识，也可以用字符标识。其中，可以预先判定出每个切片中出现目标的个数，然后按照切片的先后顺序依次设置每个切片中目标的起始标识，相连切片的起始标识之间的差值大于等于预先判定的每个切片中出现目标的个数。在进行目标标识时，每个切片中目标标识可以按照目标出现的先后，在起始标识的基础上，顺序递增。作为本实施例的一种可选实施方式，待处理视频中各个切片以及每个切片中目标的标识，如下表所示：表1各个切片以及每个切片中目标的标识切片(001)目标(001001)目标(001002)…目标(001***)切片(002)目标(002001)目标(002002)…目标(002***)切片(003)目标(003001)目标(003002)…目标(003***)……………切片(***)目标(***001)目标(***002)…目标(******)上表中，每行第一列的代表待处理视频中各个切片以及其对应的标识，每行中其余列代表第一列中表示的切片中的目标以及其对应的标识。例如，切片(001)标识该切片的标识为001，目标(001001)表示切片(001)中的第一个目标，该目标的标识为001001；其余，依次类推。本实施例中，每个切片中包括若干视频帧，在进行切片中目标分析过程中，对相邻帧进行相同目标的合并，从而避免了相邻的视频帧中的相同的目标被赋予了不同的标识。作为本实施例的一种可选实施方式，将切片的每帧图像中提取出的运动目标，根据该运动目标的位置特征进行前后匹配，将匹配成功的目标赋予相同的标识，未匹配成功的目标的标识保持不变。本实施例中，在进行了切片中相邻帧的目标合并之后，保存合并处理胡的目标信息，具体地，该信息包括目标轨迹、出现和消失时间等等。步骤s233，获取相邻的切片在相邻时刻出现的运动目标。本实施例中，在当前切片的目标分析任务完成之后，通过当前切片的标识获取相邻的切片，并分别获取当前切片以及与其相邻的切片在相邻时刻出现的运动目标，同时获取对应于运动目标的标识。步骤s234，根据所述运动目标的位置特征判断所述相邻的切片在相邻时刻出现的运动目标是否相同。若判断结果为是，则执行步骤s235；否则，执行步骤s24。本实施例中，通过跟踪算法计算获取的运动目标的位置特征，如果计算出来的运动目标的位置图片重叠，则表示相邻的切片在相邻时刻出现的运动目标是相同的；若计算出来的运动目标的位置图片不重叠，则表示相邻的切片在相邻时刻出现的运动目标不同。步骤s235，将运动目标对应的标识合并成一个。本实施例中，在判断出相邻的切片在相邻时刻出现的运动目标是相同的，则将相同的目标赋予相同的标识。进行相同目标的合并，是为了达到下述目的：由于在对待处理视频进行切片划分时，并没有考虑切分点的内容，会导致在切分点将真实视频中的同一个目标(即人物或者车辆)分配在两个切片中，那么在每个切片中同一个目标会拥有各自不同的标识；如果不进行相同目标的合并，那么在后续的目标浓缩计算时，就会出现同一个目标在不同时间出现。因此，在每个切片的目标分析任务完成之后，根据切片的标识获取相邻的切片，并分析相邻的切片在相邻时刻出现的运动目标是否相同，若相同，则赋予同一个标识，从而达到同一个目标在同一个时间出现的目的。步骤s24，利用多个切片的先后顺序对运动目标的分析结果进行浓缩计算，以生成待处理视频的视频摘要。与实施例1步骤s14相同，在此不再赘述。本发明实施例中，通过对每个切片分配唯一的标识，便于在同时对所有切片进行目标分析时，根据该标识对不同的切片中的目标分析结果进行保存，从而避免了存储结果之间的冲突；此外，通过同一切片的相邻帧以及对相邻切片在相邻时刻出现的相同的运动目标进行合并，从而避免了生成视频摘要之后，相同的目标出现在不同的时刻。实施例3本施例提供一种视频摘要生成方法，用于视频摘要生成装置中。如图3所示，该视频摘要生成方法包括以下步骤：步骤s31，获取待处理视频。与实施例2步骤s21相同，在此不再赘述。步骤s32，将待处理视频划分为多个切片。与实施例2步骤s22相同，在此不再赘述。步骤s33，开启与多个切片一一对应的多个线程，分别执行对每个切片的目标分析任务，得到每个切片中运动目标的分析结果。与实施例2步骤s23相同，在此不再赘述。步骤s34，利用多个切片的先后顺序对运动目标的分析结果进行浓缩计算，以生成待处理视频的视频摘要。本实施例中，通过视频摘要生成装置开启第一线程以执行利用多个切片的先后顺序对运动目标的分析结果进行浓缩计算，以生成待处理视频的视频摘要，同时开启第二线程对浓缩计算得到的视频摘要进行展示。具体地，本实施例中的利用多个切片的先后顺序对运动目标的分析结果进行浓缩计算，包括以下步骤：步骤s341，根据切片的标识对切片进行排序。本实施例中，视频摘要生成装置从各个存储路径中提取各个切片的目标分析结果，并开启第一线程，按照切片的标识对提取的切片进行前后的排序。步骤s342，依次根据排序后的切片中运动目标提取视频图像。本实施例中，从前往后依次读取各个切片中的运动目标，当读取到一定的运动目标个数时，先停止读取操作；对这些已经读取的运动目标进行排布计算，然后开启第二线程，对排布计算结果进行展示。通过重复读取，计算，展示的步骤，直到所有目标全都处理完毕。本发明实施例，通过对切片中的运动目标进行分段浓缩计算，并将浓缩计算和浓缩展示分两个线程并发执行，可以实现边处理边展示的目的，从而可以解决待处理视频中的目标个数较多，需要耗费大量时间进行目标浓缩展示的等待时间。实施例4本施例提供一种视频摘要生成装置，用于执行本发明实施例1至实施例3中的视频摘要生成方法。如图4所示，该视频摘要生成装置包括：第一获取单元41，用于获取待处理视频。切片划分单元42，用于将待处理视频划分为多个切片。处理单元43，用于开启与多个切片一一对应的多个线程，分别执行对每个切片的目标分析任务，得到每个切片中运动目标的分析结果。浓缩单元44，用于利用多个切片的先后顺序对运动目标的分析结果进行浓缩计算，以生成待处理视频的视频摘要。本发明实施例提供的视频摘要生成装置，通过使用多线程并行处理一个视频的目标分析任务，然后对于分散的分析结果进行综合浓缩，生成视频摘要，以实现在短时间内浏览视频所有内容的目的，从而极大减少了等待时间。作为本实施例的一种可选实施方式，其中，如图5所示，处理单元43，包括：第一获取子单元431，用于获取每个切片中的运动目标。标记子单元432，用于利用多个切片的先后顺序生成每个切片的运动目标的标识。第二获取子单元433，用于获取相邻的切片在相邻时刻出现的运动目标。判断子单元434，用于根据运动目标的位置特征判断相邻的切片在相邻时刻出现的运动目标是否相同。合并子单元435，用于当判断相邻的切片在相邻时刻出现的运动目标相同时，将运动目标对应的标识合并成一个。作为本实施例的一种可选实施方式，其中，如图6所示，浓缩单元44，包括：排序子单元441，用于根据切片的标识对切片进行排序。提取子单元442，用于依次根据排序后的切片中运动目标提取视频图像。实施例5图7是本发明实施例提供的图像处理装置的硬件结构示意图，如图7所示，该装置包括一个或多个处理器51以及存储器52，图7中以一个处理器51为例。该图像处理装置还可以包括：图像显示器(未示出)，用于展示视频摘要。处理器51、存储器52和图像显示器可以通过总线或者其他方式连接，图7中以通过总线连接为例。处理器51可以为中央处理器(centralprocessingunit，cpu)。处理器51还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的视频摘要生成方法对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述实施例中的视频摘要生成方法。存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据视频摘要生成装置的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至视频摘要生成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。所述一个或者多个模块存储在所述存储器52中，当被所述一个或者多个处理器51执行时，执行实施例1至实施例3中任一项所述的视频摘要生成方法。上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图1所示的实施例中的相关描述。实施例6本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行实施例1至实施例3中任一项所述的视频摘要生成方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等。虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。当前第1页12