远程培训视频的生成方法、装置、设备及存储介质与流程

文档序号:21007256发布日期:2020-06-05 23:14阅读:来源:国知局

技术特征:

1.一种远程培训视频的生成方法,应用于远程培训平台,其特征在于,所述远程培训视频的生成方法包括以下步骤:

获取培训过程中的视频流,其中,所述视频流包括:讲师授课时的授课视频和/或学员参训时的听课互动视频;

通过预设的图像分割模型,对所述视频流进行分割处理,得到独立画面,其中,所述独立画面包括所述讲师授课的独立人像画面、独立授课课件画面和独立学员画面中的一种或多种;

提取所述独立画面中的元素内容,以及所述元素内容位于画面中的位置信息;

根据所述位置信息构建虚拟讲堂的画面框架,所述画面框架为用于容纳所述独立画面的画面布局;

将所述元素内容添加至所述画面框架的对应位置上,得到ai讲堂的培训视频。

2.如权利要求1所述的远程培训视频的生成方法,其特征在于,在所述获取培训过程中的视频流的步骤之后,还包括:

检测所述视频流中的授课视频是否为混合视频,其中,所述混合视频包括所述讲师的人像视频和授课课件视频;

若所述授课视频为混合视频,则利用人像提取算法提取所述人脸视频中讲师的独立人像画面,以及利用字符检测算法提取所述授课课件视频中讲师当前使用的课件信息,并将所述独立人像画面和课件信息合成独立授课课件画面;

若所述授课视频为非混合视频,则执行通过预设的图像分割模型,对所述视频流进行分割处理,得到独立画面的步骤。

3.如权利要求2所述的远程培训视频的生成方法,其特征在于,所述通过预设的图像分割模型,对所述视频流进行分割处理,得到独立画面的步骤包括:

当所述视频流为所述讲师的授课视频时,根据预设的景深公式,计算所述授课视频中各画面的景深的深度值;

根据所述深度值识别所述授课视频中画面的前景区域和后景区域,其中,所述前景区域中包括人像画面;

利用图像抠图算法,将对所述前景区域从所述授课视频中提取出来,得到前景视频画面,以及将所述后景区域从所述授课视频中提取出来,得到所述独立授课课件画面;

根据预设的人像识别算法,识别所述前景区域中的人像画面,并将所述人像画面从所述前景区域中提取出来,形成所述独立人像画面。

4.如权利要求2所述的远程培训视频的生成方法,其特征在于,所述通过预设的图像分割模型,对所述视频流进行分割处理,得到独立画面的步骤包括:

当所述视频流为所述学员的听课互动视频时,利用人脸识别技术,识别所述听课互动视频中是否存在满足课堂互动姿势的学员,其中,所述课堂互动姿势包括站立和举手;

若存在,则通过摄像头对所述学员进行人体扫描处理,得到所述学员的人像轮廓,并根据预设的景深公式计算所述人像轮廓在所述听课互动视频中的景深值;

以所述景深值作为画面切割临界点,将所述听课互动视频中位于所述临界点上的所有画面切割出来,形成所述独立学员画面。

5.如权利要求1-4任一项所述的远程培训视频的生成方法,其特征在于,所述提取所述独立画面中的元素内容,以及所述元素内容位于画面中的位置信息的步骤包括:

根据所述独立画面的长度和宽度创建画布,并选择所述画布中任意一角点作为坐标原点,建立二维坐标系;

基于所述二维坐标系,计算所述讲师的人像或者所述学员的人像位于所述独立画面中的坐标信息,以及计算授课课件的授课内容位于所述独立画面中的坐标信息;

根据所述坐标信息,将所述人像和课件内容从所述独立画面中提取出来。

6.如权利要求5所述的远程培训视频的生成方法,其特征在于,所述根据所述位置信息构建虚拟讲堂的画面框架的步骤包括:

以所述独立授课课件画面作为ai讲堂的背景画布,并在所述背景画布上构建坐标系;

根据所述坐标信息,在所述背景画布上勾画与所述人像形状形同的人像填充区域,得到所述画面框架;

所述将所述元素内容添加至所述画面框架的对应位置上,得到ai讲堂的培训视频的步骤包括:

将提取到的所述人像填充到对应的所述人像填充区域中,并通过边界插值背景融合算法,将所述人像与所述背景画布融合,得到所述培训视频。

7.如权利要求6所述的远程培训视频的生成方法,其特征在于,所述景深计算公式为:

其中,δ容许弥散圆直径,f镜头焦距,f镜头的拍摄光圈值,l对焦距离。

8.一种远程培训视频的生成装置,其特征在于,所述远程培训视频的生成装置包括:

采集模块,用于获取培训过程中的视频流,其中,所述视频流包括:讲师授课时的授课视频和/或学员参训时的听课互动视频;

分割模块,用于通过预设的图像分割模型,对所述视频流进行分割处理,得到独立画面,其中,所述独立画面包括所述讲师授课的独立人像画面、独立授课课件画面和独立学员画面中的一种或多种;

提取模块,用于提取所述独立画面中的位置信息;

合成模块,用于根据所述位置信息构建虚拟讲堂的画面框架,所述画面框架为用于容纳所述独立画面的画面布局;将所述元素内容添加至所述画面框架的对应位置上,得到ai讲堂的培训视频。

9.一种培训设备,其特征在于,所述培训设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的远程培训视频的生成程序,所述远程培训视频的生成程序被所述处理器执行时实现如权利要求1-7中任一项所述的远程培训视频的生成方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有远程培训视频的生成程序,所述远程培训视频的生成程序被所述处理器执行时实现如权利要求1-7中任一项所述的远程培训视频的生成方法的步骤。


技术总结
本发明涉及人工智能技术领域,公开了一种远程培训视频的生成方法,主要是通过实时采集讲师的授课视频和学生的参训视频,基于图像分割模型进行视频的分割,提取单独的画面,并从画面中提取元素内容和其位于原画面中的位置信息,根据位置信息构建合成视频的画面框架,基于画面框架将视频流合成新的培训视频,以得到AI讲堂视频。本发明还提供了一种远程培训视频的生成装置、培训设备及计算机可读存储介质。本发明实现双方都能实时观察授课和听课的状态,以及提高的互动性,能快速准确地传达培训的内容。

技术研发人员:欧光礼
受保护的技术使用者:中国平安人寿保险股份有限公司
技术研发日:2020.01.15
技术公布日:2020.06.05
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1