录播视频摘要生成方法、装置、电子设备及可读存储介质与流程

本申请涉及视频监控技术，尤其涉及一种录播视频摘要生成方法、装置、电子设备及可读存储介质。

背景技术：

录播系统是指包括录播主机、前端相机(可以包括教师跟踪球、学生跟踪球等)、电脑(如pc(personalcomputer，个人计算机))以及音频设备的系统，主要用于课堂视频录制及远程教学。录播系统中的录播主机录制的课堂视音频文件可以称为录播视频。

目前，当用户(如教师、学生等)观看录播视频时，通常需要观看完整的视频文件，才能确定感兴趣的内容，其信息获取效率较低。

技术实现要素：

有鉴于此，本申请提供一种录播视频摘要生成方法、装置、电子设备及可读存储介质。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种录播视频摘要生成方法，包括：

获取录播视频画面以及课件画面；

根据所述课件画面确定摘要信息；

根据所述录播视频画面以及所述摘要信息生成包括摘要信息的录播视频。

根据本申请实施例的第二方面，提供一种录播视频摘要生成装置，包括：

获取单元，用于获取录播视频画面以及课件画面；

确定单元，用于根据所述课件画面确定摘要信息；

生成单元，用于根据所述录播视频画面以及所述摘要信息生成包括摘要信息的录播视频。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述录播视频摘要生成方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述录播视频摘要生成方法。

本申请实施例的录播视频摘要方法，通过获取录播视频画面以及课件画面，并根据课件画面确定摘要信息，进而，根据录播视频画面以及摘要信息生成包括摘要信息的录播视频，提高了从录播视频中的获取信息的效率。

附图说明

图1是本申请一示例性实施例示出的一种录播视频摘要生成方法的流程示意图；

图2是本申请一示例性实施例示出的一种具体应用场景的架构示意图；

图3a是本申请一示例性实施例示出的一种确定摘要信息的流程示意图；

图3b是本申请一示例性实施例示出的一种课件画面的示意图；

图3c是本申请一示例性实施例示出的一种包括摘要信息的录播视频的生成流程示意图；

图3d是本申请一示例性实施例示出的一种包括摘要信息的录播视频的播放界面的示意图；

图4是本申请一示例性实施例示出的一种录播视频摘要生成装置的结构示意图；

图5是本申请又一示例性实施例示出的一种录播视频摘要生成装置的结构示意图；

图6是本申请又一示例性实施例示出的一种录播视频摘要生成装置的结构示意图；

图7是本申请又一示例性实施例示出的一种录播视频摘要生成装置的结构示意图；

图8是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种录播视频摘要生成方法的流程示意图，其中，该录播视频摘要生成方法应用于录播系统中的录播主机，如图1所示，该录播视频摘要生成方法可以包括：

步骤s100、获取录播视频画面以及课件画面。

本申请实施例中，录播主机可以通过前端相机获取录播视频画面(即课堂视频画面)，并通过播放教学课件的电脑获取课件画面。

例如，播放教学课件的pc机可以通过vga(videographicsarray，视频图形阵列)或hdmi(highdefinitionmultimediainterface，高清多媒体接口)线与录播主机连接，并将课件画面实时传输给录播主机。

需要说明的是，在本申请实施例中，录播主机还可以通过音频设备(如拾音器)获取教学课堂的音频数据，以用于录播主机进行录播视频生成，其具体实现可以参见现有录播系统中的相关实现，本申请实施例在此不做赘述。

步骤s110、根据课件画面确定摘要信息。

本申请实施例中，录播主机获取到课件画面之后，可以根据所获取到的课件画面确定摘要信息。

在本申请其中一个实施例中，上述根据课件画面确定摘要信息，可以包括：

当检测到课件画面发生变化时，对课件画面进行图像抓取；

对所抓取的图像进行识别，以确定摘要信息。

在该实施例中，录播主机获取到课件画面之后，可以对课件画面进行检测，以确定课件画面是否发生变化。

可选地，当录播主机检测到课件画面中出现像素变化，且变化的像素数量或比例超过预设阈值时，录播主机可以确定课件画面发生变化。

在该实施例中，当录播主机检测到课件画面发生变化时，录播主机可以对课件画面进行图像抓取，并对所抓取的图像进行识别，根据识别得到的字符信息确定摘要信息。

需要说明的是，在本申请实施例中，录播主机也可以直接通过对课件画面进行智能分析的方式，确定摘要信息，其具体实现在此不做赘述。

在一个示例中，上述对抓取的图像进行识别，以确定摘要信息，可以包括：

对所抓取的图像的预设区域进行识别，以确定摘要信息。

在该示例中，考虑到教学课件中的字符可能会比较多，若直接对整个课件画面的抓图进行识别，需要识别的字符比较多，且若直接将识别出的字符作为摘要，则摘要会过于繁琐，因此，可以预先在课件画面中选定用于进行摘要信息获取的区域(本文中称为预设区域)，以便录播主机可以不需要对整个课件画面的抓图进行识别，提高摘要信息确定的效率以及所确定的摘要信息的简要性。

相应地，在该示例中，录播主机对课件画面进行图像抓取之后，可以对所抓取的图像的预设区域进行识别，以确定摘要信息。

例如，可以将课件标题区域确定为预设区域，由录播主机对该课件标题区域进行识别，并将识别出的字符(即课件标题)作为摘要信息。

进一步地，在该示例中，考虑到教学课件中可能会出现连续多页课件标题相同的情况，在该情况下，为了避免出现连续多个相同的摘要信息，录播主机确定了摘要信息之后，可以比较所确定的摘要信息与上一次确定的摘要信息，若二者不一致，则保存所确定的摘要信息；否则，拒绝保存所确定的摘要信息。

需要说明的是，在本申请实施例中，若录播主机在对课件画面抓图的预设区域进行识别时，未识别到字符，则录播主机可以不生成新的摘要信息。

应该认识到，在本申请实施例中，上述通过对课件画面的抓图的预设区域进行识别，以确定摘要信息的方式仅仅是本申请实施例中根据课件画面确定摘要信息的一种具体示例，而并不是对本申请保护范围的限定，例如，录播主机也可以对整个课件画面抓图进行识别，并将最上方识别到的连续字符作为摘要信息，其具体实现在此不做赘述。

步骤s120、根据录播视频画面以及摘要信息生成包括摘要信息的录播视频。

本申请实施例中，录播主机确定了摘要信息之后，可以根据获取到的录播视频画面以及该摘要信息生成包括摘要信息的录播视频。

在本申请其中一个实施例中，上述根据录播视频画面以及摘要信息生成包括摘要信息的录播视频，可以包括：

根据录播视频画面生成录播视频；

关联存储录播视频以及摘要信息。

在该实施例中，录播主机确定了摘要信息之后，可以根据录播视频画面生成录播视频，并关联存储录播视频以及摘要信息。

例如，录播主机可以将录播视频及对应的摘要信息存储在一段连续的存储空间中；或者，录播主机可以将录播视频及对应的摘要信息存储在不同的存储空间，并记录录播视频的存储地址与对应的摘要信息的存储地址的关联关系。

需要说明的是，在本申请实施例中，录播主机生成录播视频以及确定摘要信息可以并发进行；或者，可以先生成录播视频，然后确定摘要信息；或者，还可以先确定摘要信息，然后生成录播视频，本申请实施例对此不做限定。

进一步地，在本申请其中一个实施例中，上述根据录播视频画面以及摘要信息生成包括摘要信息的录播视频之后，还可以包括：

当接收到针对录播视频的播放指令时，在录播视频的播放界面的指定区域展示摘要信息。

在该实施例中，当用户播放录播视频时，录播主机可以获取录播视频对应的摘要信息，并在录播视频的播放界面的指定区域展示该摘要信息，其具体实现将在下文中结合具体实例进行说明，本申请实施例在此不做赘述。

在一个示例中，上述在录播视频的播放界面的指定区域展示摘要信息之后，还可以包括：

当接收到针对摘要信息中的任一摘要的选择指令时，播放该摘要对应的录播视频；其中，该摘要对应的录播视频为该摘要对应的时间段的录播视频。

在该示例中，用户可以通过对录播视频的播放界面的指定区域展示的摘要信息中摘要进行选择的方式查看感兴趣的录播视频片段。

相应地，当录播主机接收到针对摘要信息中任一摘要的选择指令时，录播主机可以播放该摘要对应的时间段的录播视频。

其中，摘要对应的时间为录播主机获取到该摘要的课件画面抓图时候的系统时间。

举例来说，假设录播主机在时间t1对课件画面抓取图像，并通过对该课件画面的抓图的预设区域进行识别，得到了摘要a，则摘要a对应的时间为t1。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体应用场景对本申请实施例提供的技术方案进行说明。

请参见图2，为本申请实施例提供的一种具体应用场景的架构示意图，如图2所示，该应用场景可以包括录播主机、前端相机(包括教师跟踪球和学生跟踪球)、pc机、拾音器、录播视频播放设备(包括显示器和投影仪)。

其中：

前端相机用于采集教室画面；

拾音器用于获取录播视频中的音频数据；

pc机用于播放教学课件，采集课件画面；

录播主机用于生成并存储录播视频；

录播视频播放设备用于播放录播视频。

基于图2所示应用场景，在该实施例中，录播视频摘要生成方案实现流程如下：

一方面，录播主机通过导播通道获取前端相机实时拍摄的教室画面，并通过拾音器获取教室中的音频数据，进而，根据获取到的教师画面以及音频数据生成录播视频。

其中，录播主机生成录播视频的具体实现可以参见现有录播系统中的相关实现，本申请实施例在此不做赘述。

另一方面，当接入pc机信号后，教师在电脑上播放教学课件，该信号通过vga/hdmi线接入录播主机，形成课件信号视频。录播主机实时对该课件信号视频画面(即课件画面)进行检测，分析课件画面是否存在变化。当检测到该课件画面有变化且达到一定阈值(即存在像素变化，且像素变化的数量或比例超过预设阈值)时，录播主机从课件信号视频中抓取一张图片，随后将此图片和识别区域信息发送给智能ocr分析模块完成字符识别分析，以得到摘要信息，其流程示意图可以如图3a所示。

其中，为了实现对课件信号视频中的摘要信息的识别提取，首先需要在录播主机中配置摘要信息在课件画面的哪一个区域，如可以将课件标题区域作为识别区域。

举例来说，以图3b所示课件为例，可以将课件标题区域确定为识别区域，当录播主机从课件信号视频中抓取图片之后，可以将该图片，以及课件标题区域的坐标信息发送给智能ocr分析模块完成字符识别分析，以得到摘要信息。

在该实施例中，录播主机可以将摘要信息的内容和时间信息(进行图片抓取时的系统时间)与录播视频一起关联存储至硬盘，得到包括摘要信息的录播视频，其示意图可以如图3c所示。

用户可以通过web登录录播主机，检索该录播视频及其关联的摘要信息，并通过投影仪或显示器播放包括摘要信息的录播视频。

其中，包括摘要信息的录播视频的播放界面可以如图3d所示，如图3d所示，包括摘要信息的录播视频的播放界面中可以包括一个用于展示摘要信息的区域(可以称为摘要展示区域，如图3d的视频播放器右侧的区域)；此外，当用户查看视频播放进度时，可以在视频进度显示区域中实时展示该时间段的录播视频所对应的摘要信息。进而，用户可以通过点击摘要展示区域中展示的摘要信息，或按照视频进度显示区域展示的摘要信息拖动进度条的方式，触发录播主机播放所选择的摘要信息对应的录播视频。

举例来说，一位教师在使用该录播系统上了一节历史课，使用了ppt课件，课件主题分别为秦朝历史，汉朝历史，隋朝历史，唐朝历史等等，在教师授课时不仅将其授课过程录制下来，同时也将这些课件主题识别记录下来，并与视频关联。这时一个学生想会看这节课程中对于隋朝历史的讲解，他进入web界面，看到视频摘要索引隋朝历史，然后点击该摘要，设备即定位播放该摘要对应的隋朝历史讲解视频。

综上，在该实施例中，录播视频摘要生成以及录播视频播放流程可以如下：

(1)、配置课程摘要信息检测区域(即上述识别区域)。

在录播主机上配置课程摘要信息检测区域，以避免非摘要信息被识别，识别信息过多。

(2)、接入课件信号。

教师播放课件的pc通过vga或者hdmi线接入录播主机中，以便录播主机可以接收到课件信号数据流。

(3)、接入相机信号。

相机包括教师跟踪球、学生跟踪球等，以实现录播视频录制。

(4)、教师开始上课。

教师开始上课触发录播主机导播策略及视频录制。

(5)、教师在pc上播放课件内容。

教师在pc上展示课件给学生授课。

(6)、课程摘要识别。

当教师在pc上展示课件时，录播主机实时检测分析课件画面，并根据画面信息完成课件画面采集与课件信息识别，以得到摘要信息。

(7)、录像视频与课程摘要记录存储。

录播主机将识别的摘要信息与录播视频一起存储到录播主机硬盘当中，同时建立索引对应关系，以供后续查询。

(8)、用户在web客户端浏览录播视频关联的摘要信息。

用户登录录播主机web客户端，查看录播视频的摘要信息，找到自己感兴趣的信息。

(9)、根据录播视频的摘要信息定位播放录播视频。

用户根据感兴趣的摘要信息，拖动进度条播放录播视频或者双击摘要信息播放对应的录播视频。

本申请实施例中，通过获取录播视频画面以及课件画面，并根据课件画面确定摘要信息，进而，根据录播视频画面以及摘要信息生成包括摘要信息的录播视频，提高了从录播视频中的获取信息的效率。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图4，为本申请实施例提供的一种录播视频摘要生成装置的结构示意图，其中，该录播视频摘要生成装置可以应用于上述实施例中的录播主机，如图4所示，该录播视频摘要生成装置可以包括：

获取单元410，用于获取录播视频画面以及课件画面；

确定单元420，用于根据所述课件画面确定摘要信息；

生成单元430，用于根据所述录播视频画面以及所述摘要信息生成包括摘要信息的录播视频。

在一种可选的实施方式中，所述确定单元420，具体用于当检测到所述课件画面发生变化时，对所述课件画面进行图像抓取；对所抓取的图像进行识别，以确定摘要信息。

在一种可选的实施方式中，所述确定单元420，具体用于对所抓取的图像的预设区域进行识别，以确定摘要信息。

在一种可选的实施方式中，如图5所示，所述装置还包括：

保存单元440，用于当所确定的摘要信息与上一次确定的摘要信息不同时，保存所确定的摘要信息；当所确定的摘要信息与上一次确定的摘要信息相同时，拒绝保存所确定的摘要信息。

在一种可选的实施方式中，所述生成单元430，具体用于根据所述录播视频画面生成录播视频；关联存储所述录播视频以及所述摘要信息。

在一种可选的实施方式中，如图6所示，所述装置还包括：

展示单元450，用于当接收到针对所述录播视频的播放指令时，在所述录播视频的播放界面的指定区域展示所述摘要信息。

在一种可选的实施方式中，如图7所示，所述装置还包括：

播放单元460，用于当接收到针对所述摘要信息中的任一摘要的选择指令时，播放该摘要对应的录播视频；其中，该摘要对应的录播视频为该摘要对应的时间段的录播视频。

请参见图8，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器801、通信接口802、存储器803和通信总线804。处理器801、通信接口802以及存储器803通过通信总线804完成相互间的通信。其中，存储器803上存放有计算机程序；处理器801可以通过执行存储器803上所存放的程序，执行上文描述的录播视频摘要生成方法。

本文中提到的存储器803可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器802可以是：ram(radomaccessmemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种存储有计算机程序的机器可读存储介质，例如图8中的存储器803，所述计算机程序可由图8所示电子设备中的处理器801执行以实现上文描述的录播视频摘要生成方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。