一种板书位置检测方法、存储介质及系统与流程

本发明涉及自动化图像检测领域，尤其涉及一种摄录课堂中的板书位置的检测方法、存储介质及系统。

背景技术：

在现在的智能课堂等应用场景下，教师的教学内容需要实时录制，同时摄录课堂情况，摄录视频能够用于网络推广等等。为了达到更好的课程使用效果，目前的技术手段中，市面上的录播主机大多都需要一个专门的板书摄像头，用来对准板书位置获取板书区域的图像。后续课程制作的时候再对多摄像机的内容进行剪辑。这导致了不仅在硬件上要设置多个摄像头增加了成本，也提高了录播系统安装部署的难度，需要根据每个教室中板书的具体位置去选定板书摄像头的安装位置。

如果直接运用现有技术进行软件处理，在自动化图像检测板书位置时，如果直接在教室全景图中进行检索，所需要的计算量较大，在较为复杂的场景下容易出现误检或漏检，可能会导致录播系统录制到无用画面。

技术实现要素：

为此，需要提供一种基于教师位置判断的板书位置检测方法，以解决在现有技术中对于课堂录像中画面调整不够智能化的问题；

为实现上述目的，发明人提供了一种板书位置检测方法，包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；

对全景图进行中值滤波，

从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；

对二值图进行开运算，过滤二值图中的小区块；

对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。

具体地，所述待处理画面来源于摄像机，包括如下步骤，当判断人像位于板书前时，通知摄像机对板书位置进行特写。

可选地，还包括步骤，过滤二值图后进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断。

进一步地，所述中值滤波为，用全景图中像素点邻域矩阵的中值来代替该像素点的值。

一种板书位置检测存储介质，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；

对全景图进行中值滤波，

从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；

对二值图进行开运算，过滤二值图中的小区块；

对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。

具体地，所述待处理画面来源于摄像机，所述计算机程序被运行时还执行包括如下步骤，当判断人像位于板书前时，通知摄像机对板书位置进行特写。

可选地，还包括步骤，过滤二值图后进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断。

优选地，所述中值滤波具体执行，用全景图中像素点邻域矩阵的中值来代替该像素点的值。

一种板书位置检测系统，包括计算机，所述计算机的存储部件包括上述的存储介质。

在本发明方案的一些具体实施例中，板书可以指以教师为前景的背景板或及其展示的文字、图样、符号等，例如黑板、演示文稿、幻灯片，无论是否有具体内容，均可以视为板书。

通过上述方法，本发明能够在教师走到黑板前的某些特定位置时，进行图像处理及识别，通过虚化板书内容，通过对人像识别之后根据特定位置的像素作为目标点二值化摄制图像，从而能够在设置图像中达到判断人像是否位于板书内容前方的技术效果。最终能够利用判断结果进行摄制内容的优化控制。

附图说明

图1为本发明具体实施方式所述的板书位置检测方法流程图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，介绍了一种板书位置检测方法，包括如下步骤，s100获取待处理画面，所述待处理画面包括人物影像及背景；在这些实施例中，人物可以为板书前的讲师。

s102对全景图进行中值滤波，具体的中值滤波方法可以由技术人员根据需要自行确定具体的参数值，而较为一般的做法，我们可以用像素点邻域矩阵的中值来代替该像素点的值，过滤掉噪声，邻域的大小可以根据需要选取、优化。通过设计全景图中值滤波步骤能够模糊板书上字迹的效果，使得板书内部信息更为连续，便于后续板书位置的识别和板书特征标识的提取。

s104从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图。在一些实施例中，我们采取的做法是，选取教师当前所在位置的背景中的三个像素点(三个点：影像识别后的教师影像头顶中部、左右肩膀边界处，向上方若干像素值取点)作为目标点。设置一个阈值，遍历全景图中的每个像素点，如果该点的y、u、v颜色分量至少与其中两个目标点(两个目标点必须包含头顶中部那点)的差值均小于设定的阈值，则将该点所在的位置记为255，否则记为0。从而得到一幅二值图，白点表示全景图中该位置与教师所在位置的背景点颜色相近。

而另一些简化了的做法中，可以选取一个或两个像素点，作为目标点，当然基于实际情况考虑，黑板的设计一般都高于老师，因此教师头顶上方点为最优选点，其讲课或写板书时该点大概率位于黑板位置，当然也可以进行排错步骤，判断教师图像高度值最高的像素点不在黑板内的时候无论其他步骤结果如何，均不进行对黑板区域的缩放聚焦，从而防止聚焦之后摄录不到教师的影像。在确定头顶上方的点之后，可以另选一个点同时作为目标点，也可以不选。再确定阈值，遍历全景图中的每个像素点，当该点的颜色分量与目标点的差值小于阈值是，则将该点所在的位置记为255，否则记为0。从而得到二值图。以便后续步骤的处理。

在图1所示的实施例中，继续进行步骤s106对二值图进行开运算，过滤二值图中的小区块，开运算是图像处理中的一种处理方式，我们可以用它来消除小物体，在纤细点处分离物体，并且在平滑较大物体的边界的同时不明显改变其面积，从而达到除杂的处理效果。

后续进行步骤s108，对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。这里的预设形状可以为，看外接矩形形状是否符合预设的长宽比，因为对于特定的教室，特定的黑板或板书形状是固定的，因此可以根据具体的录制需要设定外接矩形的预设形状判断条件，从而提高在不同场景应用情景下本方法的普适性。进而提高本发明方法的实用性。通过上述步骤设计，本发明方案能够在图像处理的时候，先对图像进行初步处理，在对图像的初步处理结果进行矩形的识别，即能够对矩形是否是通常认识的黑板进行程式化的识别，从而达到对人像是否位于板书前方的识别，解决视频录制场景下人像位置的识别问题。

其他一些进一步的具体实施例中，所述待处理画面来源于摄像机的实时画面，意即对摄像机的实时画面进行实时解析，实时判断，根据判断结果再进行如下步骤，s110当判断人像位于板书前时，通知摄像机对板书位置进行特写。通过上述步骤设计，我们可以做到，在判断为人像在板书位置前的时候当即就推进摄像机的对焦和画面，从而解决对教师站位进行智能判断从而智能控制摄像机调整摄录画面的问题。当然可选的实施例中，我们的待处理画面若非来源于实时的摄录画面，而是预制的录像时，则当判断人像位于板书前时，可以采取其他响应步骤，比如对其他判定为非板书区域的画面进行裁剪，再将裁剪过的录像接入原始录像等等，或其他根据实际情况确定的响应步骤，均可以更好地对板书部分的影像进行摄录或制作。达到更好地制备教室相关视频的效果。

在其他一些可选的实施例中，为了更好地进行板书区域位置的判断，使得判断成功率得到提高，我们的方案中还包括步骤，过滤二值图后进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断。具体可以包括步骤，选取教师头顶中部的该目标点，作为区域生长算法步骤中的生长种子点(基于前文所述的原因，优选目标点包括教师头顶中部的点)，通过区域生长算法求出该点所在的连通域，即为目标连通域。目标连通域的选取则能够排除整个教室画面的二值图中其他与板书无关的部分的干扰，如课堂中可能存在的其他矩形如书本、桌面等等。提高本方法在课堂情景应用下的适用性。

综上，本发明方法可以利用现有识图技术的判断结果，根据老师影像当前的位置信息展开计算，比起在一些直接检索板书的算法大大减小了计算量。

本发明方案可以通过反复使用s100-s110进行动态检测的方案，在板书可以移动的某些大学教室场景下，也能够重新检测到移动后的板书位置。而且在我们的检测得到的板书位置总是包含教师当前所在位置，即便出现误检的情况，摄像头仍然会给到老师，不会录制下无用画面。本发明方法解决了现有的智慧课堂智能摄制的程式化需求问题。

一种板书位置检测存储介质，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤，获取待处理画面，所述待处理画面包括人物影像及背景；

对全景图进行中值滤波，

从所述人物影像肩线上方的背景中选取目标点，根据待处理画面中各像素点与目标点的差值将待处理画面转换为二值图；

对二值图进行开运算，过滤二值图中的小区块；

对过滤结果中区块的外接矩形形状进行判断，看是否符合预设形状；是则判断为人像位于板书前。

具体地，所述待处理画面来源于摄像机，所述计算机程序被运行时还执行包括如下步骤，当判断人像位于板书前时，通知摄像机对板书位置进行特写。

可选地，还包括步骤，过滤二值图后进行区域生长算法步骤，得到过滤结果中区块的连通域，并对所述连通域的外接矩形形状进行判断。

优选地，所述中值滤波具体执行，用全景图中像素点邻域矩阵的中值来代替该像素点的值。

一种板书位置检测系统，包括计算机，所述计算机的存储部件包括上述的存储介质。计算机还通过控制单元与摄像机连接。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。