教学视频的合成方法及系统与流程

本申请涉及教学领域，特别涉及教学视频的合成技术。

背景技术：

网上课堂、录播产品的核心功能是将所采集的摄像机、教师教学计算机屏幕的多路原始视频根据用户的需求合成一路视频。

目前，现有的合成视频重点在于记录教学的过程；而且，普遍通过多个摄像机机位分别记录不同拍摄区域的教学行为视频，再进行合成处理。不仅成本较高，而且各摄像机拍摄画面杂乱，重点不突出，合成的视频不美观等。

技术实现要素：

本申请的目的在于提供一种教学视频的合成方法及系统，使得所合成的视频在记录教学过程的同时更大程度地突出展示教学内容，能够更好地满足用户的学习需求。

本申请公开了一种教学视频的合成方法，包括：

获取第一摄像机视频和计算机屏幕视频，所述第一摄像机拍摄范围覆盖黑板区域和讲台上的教师活动区域，所述计算机屏幕用于播放教学课件；

根据所述第一摄像机视频确定黑板板书画面；

将所述第一摄像机视频、所述计算机屏幕视频和所述黑板板书画面合成为包含大画面和第一小画面的合成视频，其中所述大画面用于根据预设规则切换播放所述黑板板书画面和所述教学课件画面，所述第一小画面用于播放所述第一摄像机视频。

在一个优选例中，所述根据所述第一摄像机视频确定黑板板书画面，进一步包括：

每隔预设时间获取所述第一摄像机视频中的当前图像帧,根据所述当前图像帧更新当前黑板板书画面，其中初始黑板板书画面是根据所述第一摄像机开机后的第一张图像帧确定的。

在一个优选例中，所述获取第一摄像机视频和计算机屏幕视频，进一步包括：

获取所述第一摄像机视频、所述计算机屏幕视频和第二摄像机视频，所述第二摄像机拍摄范围覆盖全部或部分学生听课区域；

所述将所述第一摄像机视频、计算机屏幕视频和所述黑板板书画面合成为包含大画面和第一小画面的合成视频，进一步包括：

将所述第一摄像机视频、所述计算机屏幕视频、所述黑板板书画面和所述第二摄像机视频合成为包含所述大画面、所述第一小画面和第二小画面的合成视频，其中所述第二小画面用于播放所述第二摄像机视频。

在一个优选例中，所述大画面用于根据预设规则切换播放所述黑板板书画面和所述教学课件画面，进一步包括：

当满足以下任一条件时，所述大画面从所述黑板板书画面切换到所述教学课件画面：

接收到所述计算机执行打开教学软件的信号；

接收到所述计算机执行打开投影仪的信号；

接收到键盘或鼠标的操作信号；以及，

当满足以下任一条件时，所述大画面从所述教学课件画面切换到所述黑板板书画面：

接收到所述计算机执行关闭所述教学软件的信号；

接收到所述计算机执行关闭所述投影仪的信号；

识别到所述黑板区域中有遮挡物。

在一个优选例中，所述获取第一摄像机视频和计算机屏幕视频之前，还包括：

预先用所述第一摄像机标定黑板，确定所述黑板区域；

所述每隔预设时间获取所述第一摄像机视频中的当前图像帧，根据所述当前图像帧更新当前黑板板书画面，进一步包括：

每隔预设时间获取所述第一摄像机视频中的当前图像帧，如果判定所述当前图像帧中的黑板板书有更新，则提取所述当前图像帧中的黑板板书画面以更新所述当前黑板板书画面；

如果判定所述黑板板书没有更新，则将所述当前图像帧更新为所述基准图像帧，其中初始基准图像帧为所述第一摄像机开机后的第一张图像帧；

所述每隔预设时间获取所述第一摄像机视频中的当前图像帧，如果判定所述当前图像帧中的黑板板书有更新，则提取所述当前图像帧中的黑板板书画面以更新所述当前黑板板书画面，进一步包括：

每隔预设时间获取所述第一摄像机视频中的当前图像帧，将所述当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；

如果判定所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域，并提取所述有效区域中的所述黑板板书画面以更新所述当前黑板板书画面。

在一个优选例中，所述每隔预设时间获取所述第一摄像机视频中的当前图像帧，将所述当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新，进一步包括：

每隔预设时间获取所述第一摄像机视频中的当前图像帧，分别将所述当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图；

根据所述二值图判断所述黑板板书是否有更新。

在一个优选例中，所述根据所述二值图判断所述黑板板书是否有更新，进一步包括：

如果所述二值图的像素个数之和小于第一预设阈值，则判定所述黑板板书没有更新；

如果所述二值图的像素个数之和大于第二预设阈值，则确定所述黑板板书有更新或所述黑板区域中有遮挡物，并将所述二值图根据连通性分为若干区域块；

计算并绘制能够包括每个区域块的最小面积的矩形区块，如果某个矩形区块下边沿在所述黑板区域下边沿的上方，则判定所述黑板板书有更新，以及如果某个矩形区块下边沿在所述黑板区域下边沿的下方，则判定所述黑板区域有遮挡物。

在一个优选例中，所述黑板包括多联规格相同的子黑板；

所述识别所述当前图像帧的所述黑板区域中的有效区域，进一步包括：

将所述当前图像帧从rgb颜色空间转换为lab颜色空间，提取所述lab颜色空间中的b通道图像；

将所述b通道图像按照图像的灰度特性分成背景和黑板边框；

将所述黑板边框进行二值化处理，得到边框二值图；

根据所述边框二值图确认所述黑板区域中的所述有效区域。

在一个优选例中，所述预先用所述第一摄像机标定黑板，确定所述黑板区域之后，还包括：

框选所述第一摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值；

所述根据所述边框二值图确认所述黑板区域中的所述有效区域，进一步包括：

根据所述边框二值图得到所述当前图像帧的边框形态图，如果所述边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域；

计算所述边框形态图中每个闭合区域的图像像素值；

如果某一闭合区域的图像像素值与所述完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域；

计算每个被标识的闭合区域中的所有像素的颜色平均值和所述黑板区域内的所有像素的颜色平均值；

如果某个被标识的闭合区域中的所有像素的颜色平均值与所述黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为所述有效区域；

所述提取所述当前图像帧中的黑板板书画面以更新所述当前黑板板书画面，进一步包括：

提取所述当前图像帧中所述黑板区域中的所述有效区域，并进行放大和重新构图得到所述黑板板书画面，或者

将所述当前图像帧中所述黑板区域中的非所述有效区域的区域填充为黑板底色，并提取填充后的所述黑板区域为所述黑板板书画面。

本申请还公开了一种教学视频的合成系统，包括：

视频获取模块，用于获取第一摄像机视频和计算机屏幕视频，所述第一摄像机拍摄范围覆盖黑板区域和讲台上的教师活动区域，所述计算机屏幕用于播放教学课件；

黑板板书画面提取模块，用于根据所述第一摄像机视频确定黑板板书画面；

视频合成模块，用于将所述第一摄像机视频、计算机屏幕视频和所述黑板板书画面合成为包含大画面和第一小画面的合成视频，其中所述大画面用于根据预设规则切换播放所述黑板板书画面和所述教学课件画面，所述第一小画面用于播放所述第一摄像机视频。

本申请还公开了一种教学视频的合成系统包括：

存储器，用于存储计算机可执行指令；以及，

处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。

本申请还公开了一种计算机可读存储介质所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。

本申请实施方式中，与现有技术相比至少包括以下区别和效果：

采用更少的摄像机覆盖教室内全部教学场景以实现视频合成，将涉及教学内容的黑板板书画面和教学课件画面以大画面的方式按照预设规则切换展示，将涉及教学过程的教师教学行为视频(或教师教学行为视频和学生听课行为视频)以小画面的方式进行展示，使得所合成的视频在记录教学的过程的同时也更大程度地突出展示教学内容，可以更好地满足用户的学习需求；并且在视频合成过程中，基于同一个摄像机拍摄的视频得到教师教学行为画面和黑板板书画面，降低摄像机等硬件成本等。

进一步地，设置合理的自动切换规则，使得黑板板书画面和教学课件画面根据教学行为的变化进行实时自动切换，最大程度的突出展示实时教学内容，进一步更好地满足用户的学习需求。

进一步地，在根据教师教学行为视频提取黑板板书画面过程中，标定黑板框定黑板区域，周期性地将摄像机所拍摄教师教学行为视频的当前图像帧和基准图像帧进行比对来判断黑板板书是否有更新，如果判定黑板板书有更新则确定当前图像帧为有效帧，识别该有效帧中的该黑板区域中的有效区域，提取该有效区域的黑板板书画面作为当前黑板板书画面；引入有效帧的判定过程，并基于有效帧，识别其黑板区域中的有效区域，在提取黑板板书画面时，只提取有效帧中的有效区域的黑板板书画面作为当前黑板板书画面，最大程度地减少计算量，提高黑板板书画面提取的效率和准确度。

进一步地，根据当前图像帧和基准图像帧得到二者的灰度图化后的差值二值图，并对二值图进行特征分析，以实现对当前图像帧的黑板板书内容是否更新做出准确判定，进一步提高了黑板板书画面的提取的准确性。

进一步地，在识别黑板区域中的有效区域过程中，利用黑板边框与黑板板面、背景墙壁颜色的色差特征，将获取的摄像机所拍摄教师教学行为视频的当前图像帧抽象分离为包含黑板边框的特征图，通过黑板边框形态图实现了黑板区域的自动标定和有效区域的自动识别，实现了黑板区域中有效区域的自动识别过程，将摄像机所拍摄图像中所包含的墙壁、教学仪器等无效信息进行了滤除，进一步提高了有效区域识别准确性，进而进一步提高了黑板板书画面的提取的可靠性和准确性，并且所合成的视频美观。

本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a+b+c，在另一个例子中公开了特征a+b+d+e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a+b+c+d的方案因技术不可行而应当不被视为已经记载，而a+b+c+e的方案应当视为已经被记载。

附图说明

图1是根据本申请第一实施方式的教学视频的合成方法流程示意图；

图2是根据本申请第一实施方式的第一摄像机和第二摄像机示例布局方式；

图3是根据本申请第一实施方式的一个实施例的当前图像帧的有效区域识别过程的流程示意图；

图4(1)是根据本申请第一实施方式的示例合成视频中大画面切换到教学课件画面状态的示意图；

图4(2)是根据本申请第一实施方式的示例合成视频中大画面切换到黑板板书画面状态的示意图；

图5是根据本申请的示例黑板的四联子黑板依次排布的状态图；

图6是根据本申请的基于示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；

图7是根据本申请的基于示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；

图8是根据本申请的基于示例黑板的包含三个闭合区域的一种黑板边框形态图的示意图；

图9是根据本申请的基于示例黑板的包含五个闭合区域的一种黑板边框形态图的示意图；

图10是根据本申请的基于示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；

图11是根据本申请第二实施方式的教学视频的合成系统结构示意图；

图12是根据本申请的左右拉合形式的示例黑板的某一拉合状态的示意图；

图13是根据本申请的上下拉合形式的示例黑板的某一拉合状态的示意图；

图14是根据本申请的当前图像帧和基准图像帧的灰色图的差值二值图的一个示例的示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

部分概念的说明：

有效区域：黑板区域中具有完整子黑板的闭合区域。

无效区域：黑板区域中某块子黑板被其他子黑板部分或全部遮挡，造成黑板板书不完整而无法对其进行识别的闭合区域。

非黑板区域：黑板区域中因子黑板拉开后露出的区域。

有效帧：网上课堂视频中产生了黑板板书更新的图像帧。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

现有合成视频的缺点有很多。例如，现有网上课堂合成视频侧重点在于记录教学的过程，而不是教学内容的展示，合成视频如果作为网上课堂视频供学生学习，缺乏实用性；又如，现有的网上课堂视频产品普遍采用三个及以上的摄像机位进行拍摄，后续将所拍摄的各视频合成过程算法复杂，摄像机和运算处理器硬件成本偏高；再如，各摄像机拍摄黑板板书画面特写时会将老师、墙壁、教学仪器等无效信息拍摄入内，导致黑板板书画面杂乱、不美观，且重点不突出。

为了至少解决以上问题，本申请的第一实施方式涉及一种教学视频的合成方法，其流程如图1所示，该方法包括以下步骤：

在步骤101中，获取第一摄像机视频和计算机屏幕视频，该第一摄像机拍摄范围覆盖黑板区域和讲台上的教师活动区域，该计算机屏幕用于播放教学课件。其中，该第一摄像机拍摄范围可以根据需要进行设定，例如可以包括黑板区域和教师在讲台上活动的全部或者大部分范围区域。

可选地，该步骤101之前，还包括以下步骤：

预先存储所在教室的课程表；

根据所述课程表的时间安排自动启动所在教室中的各摄像机，并进入步骤101。

可选地，该步骤101之前，还包括以下步骤：

预先用该第一摄像机标定黑板，确定该黑板区域。

可选地，可以但不限于采用人工标定的方式标定黑板。在一个实施例中，在安装第一摄像机时，预先根据拍摄范围覆盖需求固定该第一摄像机的位置和拍摄角度，然后通过软件设置，令工程安装人员在操作界面上用矩形框框选黑板，系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域；可选地该第一摄像机的位置和拍摄角度固定后就不再改变，仅在安装时进行一次框选黑板区域就可以完成标定工作。且不限于此实施例，其他可以实现黑板标定的具体实施方式都在本说明书的保护范围内。

可选地，该“预先用该第一摄像机标定黑板，确定该黑板区域”之后，还包括以下步骤：

框选该第一摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值。

可选地，该步骤101进一步包括以下步骤：

获取该第一摄像机视频、该计算机屏幕视频和第二摄像机视频，该第二摄像机拍摄范围覆盖全部或部分学生听课区域。其中，该第二摄像机拍摄范围可以根据需要进行设定。

为了更好的说明该第一摄像机和第二摄像机的布局情况，现进行举例说明。如图2所示为该第一摄像机和第二摄像机的示例布局情况，通过如图2所示的第一摄像机和第二摄像机将教师路、学生路、课件路三路视频合成为包含一个大画面为主画面、两个小画面为辅助画面的合成视频，其中大画面在教学课件画面与黑板板书画面之间智能切换，突出显示教学内容，两个小画面分别呈现教师、学生的课堂实况，实时显示教学行为；该第一摄像机为教师路摄像机，拍摄范围能覆盖教师在讲台活动的全部或大部分范围，同时能拍摄到完整的黑板区域；该第二摄像机为学生路摄像机，拍摄范围能覆盖部分或全部学生。

之后，进入步骤102，根据该第一摄像机视频确定黑板板书画面。

可选地，该步骤102进一步包括以下步骤：

每隔预设时间获取该第一摄像机视频中的当前图像帧,根据该当前图像帧更新当前黑板板书画面，其中初始黑板板书画面是根据该第一摄像机开机后的第一张图像帧确定的。

可选地，该“每隔预设时间获取该第一摄像机视频中的当前图像帧,根据该当前图像帧更新当前黑板板书画面”进一步包括以下步骤a、b和c：

在步骤a中，每隔预设时间获取该第一摄像机视频中的当前图像帧，并判断该当前图像帧中的黑板板书是否有更新；如果判定该当前图像帧中的黑板板书有更新，则执行步骤b，提取该当前图像帧中的黑板板书画面以更新该当前黑板板书画面；如果判定该黑板板书没有更新，则执行步骤c,将该当前图像帧更新为该基准图像帧。

可选地，该步骤a进一步包括以下步骤：

每隔预设时间获取该第一摄像机视频中的当前图像帧，将该当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新。

可选地，该步骤“每隔预设时间获取该第一摄像机视频中的当前图像帧，将该当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新”进一步包括以下步骤ⅰ和ⅱ：

在步骤ⅰ中，每隔预设时间获取该第一摄像机视频中的当前图像帧，分别将该当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图；之后执行步骤ⅱ，根据该二值图判断该黑板板书是否有更新。

可选地，该步骤ⅱ进一步包括以下步骤①、②和③：

在步骤①中，如果该二值图的像素个数之和小于第一预设阈值，则判定该黑板板书没有更新；以及，

在步骤②中，如果该二值图的像素个数之和大于第二预设阈值，则确定该黑板板书有更新或该黑板区域中有遮挡物，并将该二值图根据连通性分为若干区域块；之后执行步骤③，计算并绘制能够包括每个区域块的最小面积的矩形区块，如果某个矩形区块下边沿在该黑板区域下边沿的上方，则判定该黑板板书有更新，以及如果某个矩形区块下边沿在该黑板区域下边沿的下方，则判定该黑板区域有遮挡物。

需要说明的是，该第一预设阈值和该第二预设阈值可以但不限于根据经验进行设置。上述可选实施例中的步骤①和步骤②③可以同时执行或者以任意顺序先后执行。另外，为了更好的理解，对上述实施例进一步举例说明：如图14所示为该当前图像帧和基准图像帧的灰色图的差值二值图的一个示例，为了明显区分，图中将黑板区域用灰色矩形框框定，该二值图中第一白色区域块对应的矩形区块下边沿在黑板区域下边沿的上方，为黑板板书更新造成的，第二白色区域块(比第一白色区域块面积大的)对应的矩形区块下边沿在黑板区域下边沿的下方，为教师(遮挡物)移动造成的。需要说明的是，该例子中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。

可选地，该黑板可以是单联黑板或者是包括多联规格相同的子黑板。例如该多联子黑板为四联黑板，如图12所示为左右拉合形式的示例黑板的某一拉合状态的示意图，如图13所示为上下拉合形式的示例黑板的某一拉合状态的示意图，其中该示例中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。

在一个实施例中，该黑板是包括多联规格相同的子黑板，该步骤b进一步包括以下步骤：

如果判定该黑板板书有更新，则识别该当前图像帧的该黑板区域中的有效区域，并提取该有效区域中的该黑板板书画面以更新该当前黑板板书画面。

可选地，如图3所示，该“识别该当前图像帧的该黑板区域中的有效区域”进一步包括以下步骤301～304：

在步骤301中，将该当前图像帧从rgb颜色空间转换为lab颜色空间，提取该lab颜色空间中的b通道图像；之后进入步骤302，将该b通道图像按照图像的灰度特性分成背景和黑板边框；之后进入步骤303，将该黑板边框进行二值化处理，得到边框二值图；之后进入步骤304，根据该边框二值图确认该黑板区域中的该有效区域。

可选地，该步骤302、303进一步包括以下步骤①、②和③：

在步骤①中，确定该b通道图像大小为m×n，黑板边框的像素个数占整幅图像的比例为ω0，其平均灰度为μ0，背景像素个数占整幅图像的比例为ω1，其平均灰度为μ1，b通道图像的总平均灰度记为μ；

之后执行步骤②，设置一个阈值t，图像中像素的灰度值小于阈值t的像素个数记作n0，像素灰度大于阈值t的像素个数记作n1，则有：

ω0＝n0/m×n(1)

ω1＝n1/m×n(2)

n0+n1＝m×n(3)

ω0+ω1＝1(4)

μ＝ω0*μ0+ω1*μ1(5)

g＝ω0(μ0-μ)²+ω1(μ1-μ)²(6)

将上述式(5)代入式(6)，得到等价公式：

g＝ω0ω1(μ0-μ1)²(7)

并采用遍历的方法得到使g最大的阈值t，该阈值t是最优的二值化阈值；

之后执行步骤③，根据该阈值t将该黑板边框进行二值化处理，得到边框二值图。

可选地，该步骤304进一步包括以下步骤：

开始，根据该边框二值图得到该当前图像帧的黑板边框形态图，如果该黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域；之后，计算该边框形态图中每个闭合区域的图像像素值；如果某一闭合区域的图像像素值与该完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域；之后，计算每个被标识的闭合区域中的所有像素的颜色平均值和该黑板区域内的所有像素的颜色平均值；如果某个被标识的闭合区域中的所有像素的颜色平均值与该黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为该有效区域。其中该第三预设阈值和该第四预设阈值可以但不限根据经验进行设置。

可选地，在步骤b中“提取该当前图像帧中的黑板板书画面以更新该当前黑板板书画面”进一步实现为以下步骤a或步骤b：

其中，在步骤a中，提取该当前图像帧中该黑板区域中的该有效区域，并进行放大和重新构图得到该黑板板书画面。其中，在步骤b中，将该当前图像帧中该黑板区域中的非黑板区域和无效区域填充为黑板底色，并提取填充后的该黑板区域为该黑板板书画面。

之后，进入步骤103，将该第一摄像机视频、该计算机屏幕视频和该黑板板书画面合成为包含大画面和第一小画面的合成视频，其中该大画面用于根据预设规则切换播放该黑板板书画面和该教学课件画面，该第一小画面用于播放该第一摄像机视频。

该大画面和该第一小画面的设置方式有多种。可选地，该第一小画面可以是以画中画的形式设置在该大画面中，其中该第一小画面在该大画面中的位置可以是固定的的且二者具体相对位置关系可以根据用户喜欢选择配置，或者用户可以根据习惯拖动该第一小画面到该大画面中的任意位置处。可选地，该第一小画面和该大画面也可以是以部分相交或者不相交的方式布局。

可选地，该步骤103进一步包括以下步骤：

将该第一摄像机视频、该计算机屏幕视频、该黑板板书画面和该第二摄像机视频合成为包含该大画面、该第一小画面和第二小画面的合成视频，其中该第二小画面用于播放该第二摄像机视频。

其中，该大画面、该第一小画面和该第二小画面的设置方式有多种。可选地，该第一小画面和该第二小画面可以是以画中画的形式设置在该大画面中，且二者相对位置不做限定，并且用户可以根据习惯拖动该第一小画面到该大画面中的任意位置处。可选地，该第一小画面、该第二小画面和该大画面也可以是以部分相交或者不相交的方式布局。例如，图4(1)和4(2)分别为基于图2的第一摄像机和第二摄像机的布局方式，得到的示例合成视频的效果图，其中4(1)为大画面切换到教学课件画面状态的示意图，图4(2)为大画面切换到黑板板书画面状态的示意图。

在一个实施例中，该步骤103中“该大画面用于根据预设规则切换播放该黑板板书画面和该教学课件画面”进一步包括以下步骤：

当满足以下任一条件时，该大画面从该黑板板书画面切换到该教学课件画面：①接收到该计算机执行打开教学软件的信号；②接收到该计算机执行打开投影仪的信号；③接收到键盘或鼠标的操作信号；以及，

当满足以下任一条件时，该大画面从该教学课件画面切换到该黑板板书画面：①接收到该计算机执行关闭该教学软件的信号；②接收到该计算机执行关闭该投影仪的信号；③识别到该黑板区域中有遮挡物。

为了能够更好地理解本申请的技术方案，下面结合一个具体的示例来进行说明上述“步骤102”，该示例中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。该示例中的黑板为左右拉合式黑板，该黑板包括四联规格相同的子黑板(子黑板1、子黑板2、子黑板3、子黑板4)，如图5所示为四联子黑板依次排布的状态图，其中子黑板1和子黑板4分别固定于最左侧和最右侧，子黑板2和子黑板3可以左右移动拉合，根据本说明书中的实施方式，可以按照以下四个步骤对该黑板的黑板板书进行提取，具体包括：

步骤一，打开摄像机，标定黑板。

1)安装摄像机时，通过软件设置，由工程安装人员在操作界面上用矩形框框选黑板；

2)系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域；

3)由工程人员框选黑板的一联完整子黑板，后台软件读取框选的坐标，并计算出该完整子黑板在拍摄图像中所占的像素个数，记为d。

步骤二，摄像机拍摄期间，基于摄像机所拍摄视频判断黑板板书是否有更新。

1)记录摄像机后的第一张图像帧，作为初始基准帧图像；

2)拍摄期间，每隔时间t(t＝1s)获取该摄像机视频的当前图像帧，分别将当前图像帧和基准图像帧转化为灰度图；

3)将当前图像帧与基准图像帧转化后的灰度图作差，并将差值图进行二值图化处理，生成二值图；

4)当二值图的像素个数之和小于第一预设阈值，则判定黑板板书没有更新，黑板区域中也没有遮挡物(如教师)，图像的差别是光线变化造成的，用当前图像帧更新基准图像帧，当二值图的像素个数之和大于第二预设阈值，则判定黑板板书有更新或黑板区域中有遮挡物(如教师)，之后继续进行5)；

5)将3)中所得的二值图根据区域连通性分为若干个区域块，求出能包含每个区域块的最小面积的矩形区块，对各矩形区块的位置进行以下分析：

当区域块矩形下边缘的纵坐标小于黑板下边缘纵坐标时，判定该区域块为遮挡物移动造成的，黑板板书没有更新；

当区域块矩形下边缘的纵坐标大于黑板下边缘纵坐标时，判定黑板板书有更新。

步骤三，识别黑板区域中的有效区域。

1)基于步骤一框选的黑板区域和步骤二确定的二值图得到黑板边框形态图，其中如果黑板边框形态图中某个闭合区域下边沿为非闭合曲线时，则判定教师遮挡黑板造成的，可以将该区域补充为闭合的区域。

2)由黑板边框形态图，计算出每个闭合区域所占的像素值d。

3)每个闭合区域所占的像素值与步骤一标定的一联完整子黑板所占的像素进行对比分析：当满足|d-d|＜α时，该闭合区域的大小与标定的子黑板区域大小相近，判定为该闭合区域为完整子黑板或者非黑板区域，其中阈值α为经验值。

4)满足3)的各闭合区域需要通过颜色判别法进行进一步甄别是否存在非黑板区域(例如可能存在图6和图7所示的闭合区域2和闭合区域3大小与完整黑板像素值相近，但是都为非黑板区域)，即获取满足3)的各闭合区域内所有对各区域的图像像素的颜色求平均值，分别为c1、c2、c3……、cn，并求得黑板区域内所有像素的平均值cav，满足|cav-cn|＜δ时，cn对应的闭合区域为有效区域，否则为非黑板区域，其中阈值δ为经验值。例如可能得到的以下i、ii、iii三种情况的黑板边框形态图：

i.得到的黑板边框形态图包含三个闭合区域，效果如图8所示。可以判定：图中闭合区域2为非黑板，闭合区域1、闭合区域3为有效区域。

ii.得到的黑板边框形态图包含五个闭合区域，效果如图9所示，可以判定：图中区域3为非黑板区域，闭合区域1、闭合区域5为无效区域，闭合区域2、区域4为有效区域。

iii.得到的黑板边框形态图包含四个闭合区域。该情况下，又可以细分为三种子情况，需要进一步对各区域的图像像素的颜色求平均值，分别为c1、c2、c3、c4，并求得黑板内所有像素的平均值cav，则：

若同时满足|cav-c1|＜δ，|cav-c2|＜δ，|cav-c3|＜δ，|cav-c4|＜δ时，为图10所示的第一种子情况，四个闭合区域都为黑板有效区域。

若同时满足|cav-c1|＜δ，|cav-c2|＞δ，|cav-c3|＜δ，|cav-c4|＜δ时，为图6所示的第二种子情况，闭合区域1、闭合区域3、闭合区域4为有效区域，闭合区域2为非黑板区域。

若同时满足|cav-c1|＜δ，|cav-c2|＜δ，|cav-c3|＞δ，|cav-c4|＜δ时，为如图7所示的第三种子情况，闭合区域1、闭合区域2、闭合区域4为有效区域，区域3为非黑板区域。

5)提取该当前图像帧中该黑板区域中的该有效区域，并进行放大和重新构图得到该黑板板书画面。

本申请的第二实施方式涉及一种教学视频的合成系统，其结构如图11所示，该教学视频的合成系统包括视频获取模块、黑板板书画面提取模块和视频合成模块。

具体的，该视频获取模块，用于获取第一摄像机视频和计算机屏幕视频，该第一摄像机拍摄范围覆盖黑板区域和讲台上的教师活动区域，该计算机屏幕用于播放教学课件。其中，该第一摄像机拍摄范围可以根据需要进行设定，例如可以包括黑板区域和教师在讲台上活动的全部或者大部分范围区域。

可选地，该视频获取模块还用于获取该第一摄像机视频、该计算机屏幕视频和第二摄像机视频，该第二摄像机拍摄范围覆盖全部或部分学生听课区域。其中，该第二摄像机拍摄范围可以根据需要进行设定。

该黑板板书画面提取模块，用于根据该第一摄像机视频确定黑板板书画面。

可选地，该黑板板书画面提取模块还用于每隔预设时间获取该第一摄像机视频中的当前图像帧，根据该当前图像帧更新当前黑板板书画面，其中初始黑板板书画面是根据该第一摄像机开机后的第一张图像帧确定的。

可选地，该黑板板书画面提取模块还用于每隔预设时间获取该第一摄像机视频中的当前图像帧，如果判定该当前图像帧中的黑板板书有更新，则提取该当前图像帧中的黑板板书画面以更新该当前黑板板书画面，如果判定该黑板板书没有更新，则将该当前图像帧更新为该基准图像帧，其中初始基准图像帧为该第一摄像机开机后的第一张图像帧。

可选地，该系统还包括标定模块，该标定模块用于预先用该第一摄像机标定黑板，确定该黑板区域。

可选地，该黑板板书画面提取模块还用于每隔预设时间获取该第一摄像机视频中的当前图像帧，将该当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新，如果判定该黑板板书有更新，则识别该当前图像帧的该黑板区域中的有效区域，并提取该有效区域中的该黑板板书画面以更新该当前黑板板书画面。

可选地，该黑板板书画面提取模块可以但不限于采用人工标定的方式标定黑板。在一个实施例中，在安装第一摄像机时，预先根据拍摄范围覆盖需求固定该第一摄像机的位置和拍摄角度，然后通过软件设置，令工程安装人员在操作界面上用矩形框框选黑板，系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域；可选地该第一摄像机的位置和拍摄角度固定后就不再改变，仅在安装时进行一次框选黑板区域就可以完成标定工作。且不限于此实施例，其他可以实现黑板标定的具体实施方式都在本说明书的保护范围内。

可选地，该黑板板书画面提取模块还用于每隔预设时间获取该第一摄像机视频中的当前图像帧，分别将该当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图，以及根据该二值图判断该黑板板书是否有更新。

可选地，该黑板板书画面提取模块还用于如果该二值图的像素个数之和小于第一预设阈值，则判定该黑板板书没有更新，如果该二值图的像素个数之和大于第二预设阈值，则确定该黑板板书有更新或该黑板区域中有遮挡物，并将该二值图根据连通性分为若干区域块，以及计算并绘制能够包括每个区域块的最小面积的矩形区块，如果某个矩形区块下边沿在该黑板区域下边沿的上方，则判定该黑板板书有更新，以及如果某个矩形区块下边沿在该黑板区域下边沿的下方，则判定该黑板区域有遮挡物。其中，该第一预设阈值和该第二预设阈值可以但不限于根据经验进行设置。

可选地，该黑板板书画面提取模块还用于将该当前图像帧从rgb颜色空间转换为lab颜色空间，提取该lab颜色空间中的b通道图像，将该b通道图像按照图像的灰度特性分成背景和黑板边框，将该黑板边框进行二值化处理，得到边框二值图，以及根据该边框二值图确认该黑板区域中的该有效区域。

可选地，该黑板板书画面提取模块还用于先确定该b通道图像大小为m×n，黑板边框的像素个数占整幅图像的比例为ω0，其平均灰度为μ0，背景像素个数占整幅图像的比例为ω1，其平均灰度为μ1，b通道图像的总平均灰度记为μ；然后设置一个阈值t，图像中像素的灰度值小于阈值t的像素个数记作n0，像素灰度大于阈值t的像素个数记作n1，则有：

ω0＝n0/m×n(1)

ω1＝n1/m×n(2)

n0+n1＝m×n(3)

ω0+ω1＝1(4)

μ＝ω0*μ0+ω1*μ1(5)

g＝ω0(μ0-μ)²+ω1(μ1-μ)²(6)

将式(5)代入式(6)，得到等价公式：

g＝ω0ω1(μ0-μ1)²(7)

并采用遍历的方法得到使g最大的阈值t，该阈值t是最优的二值化阈值；然后根据该阈值t将该黑板边框进行二值化处理，得到边框二值图。

可选地，该黑板是单联黑板或者包括多联规格相同的子黑板。例如该多联子黑板为四联黑板，如图12所示为左右拉合形式的示例黑板的某一拉合状态的示意图，如图13所示为上下拉合形式的示例黑板的某一拉合状态的示意图，其中该示例中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。

可选地，该标定模块还用于框选该第一摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值。

可选地，该黑板板书画面提取模块还用于根据该边框二值图得到该当前图像帧的边框形态图，如果该边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域，计算该边框形态图中每个闭合区域的图像像素值，如果某一闭合区域的图像像素值与该完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域，计算每个被标识的闭合区域中的所有像素的颜色平均值和该黑板区域内的所有像素的颜色平均值，如果某个被标识的闭合区域中的所有像素的颜色平均值与该黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为该有效区域。

在一个实施例中，该黑板板书画面提取模块还用于提取该当前图像帧中该黑板区域中的该有效区域，并进行放大和重新构图得到该黑板板书画面。在另一个实施例中，该黑板板书画面提取模块还用于将该当前图像帧中该黑板区域中的非该有效区域的区域填充为黑板底色，并提取填充后的该黑板区域为该黑板板书画面。

该视频合成模块，用于将该第一摄像机视频、计算机屏幕视频和该黑板板书画面合成为包含大画面和第一小画面的合成视频，其中该大画面用于根据预设规则切换播放该黑板板书画面和该教学课件画面，该第一小画面用于播放该第一摄像机视频。

可选地，该视频合成模块还用于将该第一摄像机视频、该计算机屏幕视频、该黑板板书画面和该第二摄像机视频合成为包含该大画面、该第一小画面和第二小画面的合成视频，其中该第二小画面用于播放该第二摄像机视频。

该大画面、该第一小画面和该第二小画面的设置方式有多种。可选地，该第一小画面和该第二小画面可以是以画中画的形式设置在该大画面中，且二者相对位置不做限定，并且用户可以根据习惯拖动该第一小画面到该大画面中的任意位置处。可选地，该第一小画面、该第二小画面和该大画面也可以是以部分相交或者不相交的方式布局。例如，图4(1)和4(2)分别为基于图2的第一摄像机和第二摄像机的布局方式，得到的示例合成视频的效果图，其中4(1)为大画面切换到教学课件画面的状态图，图4(2)为大画面切换到黑板板书画面的状态图。

可选地，该视频合成模块还用于当满足以下任一条件时，该大画面从该黑板板书画面切换到该教学课件画面：①接收到该计算机执行打开教学软件的信号；②接收到该计算机执行打开投影仪的信号；③接收到键盘或鼠标的操作信号。

可选地，该视频合成模块还用于当满足以下任一条件时，该大画面从该教学课件画面切换到该黑板板书画面：①接收到该计算机执行关闭该教学软件的信号；②接收到该计算机执行关闭该投影仪的信号；③识别到该黑板区域中有遮挡物。

其中，该预设规则不限于于以上可选规则，其他合适合理的规则都在本申请的保护范围内。

可选地，该教学视频的合成系统还包括存储模块和时钟模块，其中该存储模块用于预先存储所在教室的课程表，所述时钟模块用于根据所述课程表的时间安排自动启动各摄像机和该教学视频的合成系统，该大画面的初始画面可以预先约定为黑板板书画面或者教学课件画面。

第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。

需要说明的，本申请中的“大画面”是指相对于“第一小画面和/或第二小画面”来说尺寸更大的画面，前者是作为主要画面存在的而后者是作为次要画面存在的；并且，“大画面”和“第一小画面和/或第二小画面”的具体尺寸可以根据用户需求和/或各摄像机视频画面质量来确定。

需要说明的是，本领域技术人员应当理解，上述教学视频的合成系统的实施方式中所示的各模块的实现功能可参照前述教学视频的合成方法的相关描述而理解。上述教学视频的合成系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述教学视频的合成系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，readonlymemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

相应地，本申请实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

此外，本申请实施方式还提供一种教学视频的合成系统，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(centralprocessingunit，简称“cpu”)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，简称“dsp”)、专用集成电路(applicationspecificintegratedcircuit，简称“asic”)等。前述的存储器可以是只读存储器(read-onlymemory，简称“rom”)、随机存取存储器(randomaccessmemory，简称“ram”)、快闪存储器(flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。

在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。