一种黑板笔迹自动合成方法与流程

本发明涉及数据处理技术领域，特别涉及一种黑板笔迹自动合成方法。

背景技术：

在传统的课堂录播系统中，相机的视野、位置等都是固定的。当教师在讲台上走动时，相机并不能跟随教师移动，因此很容易出现无法拍摄到教师的情形。此外，当课堂中教师和学生发生互动时，相机不能转动，不能对学生进行拍摄，从而失去了课堂的生动灵活性。降低了录制的视频的效果。

技术实现要素：

本发明的目的在于提供一种可提高教学质量的黑板笔迹自动合成方法。

为实现以上目的，本发明采用的技术方案为：

采用一种黑板笔迹自动合成方法，包括如下步骤：

通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位；

在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像；

将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素；

利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹；

将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。

优选地，所述通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位，具体包括：

利用Canny边缘检测算子，提取黑板区域图像的边缘；

遍历所有边缘的像素，并利用Hough直线检测方法，得到直线以及直线对应的方程；

对长度大于预设个数像素的直线进行分析，得到共线的两条直线，其中，预设个数的像素设为50个；

对于两条共线的直线，计算该两条直线对应的边缘像素的最短距离；

在该最短距离小于预设个数像素时，将该两条直线融合为一条直线作为边界线，其中，预设个数的像素设为50个；

对得到的所有边界线进行分析，在边界线构成四边形时则确定黑板定位。

优选地，所述在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像，具体包括：

在确定黑板位置后，从图像中提取出黑板区域；

将黑板区域等间隔分割成6×6个子区域图像；

检测每个子区域图像内部是否存在笔迹；

对于不存在笔迹的子区域图像，直接更新到背景图像中该子区域对应的位置以得到背景图像。

优选地，所述将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素，具体包括：

将摄像机当前采集的图像与所述背景图像进行逐像素对比；

若在某个像素位置，当前采集的图像与背景图像之间的亮度差值大于设定的亮度值，则将该像素检测出来；

对检测出的像素进行中值滤波处理，得到准确的前景像素。

优选地，所述利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹，具体包括：

对所述前景像素进行逐行水平扫描，并记录线条的左右边界；

在同一行中，若线条左、右边界的距离小于3个像素，则保留下这两个边界的位置；

对所有行的线条的左、右边界进行分析，得到平滑的线条；

将当前采集图像中所有连续的、平滑的边界线条提取出来；

在所有连续的、平滑的边界线条中，将对应的左右边界线条形成连通域，得到对应的文字笔迹。

优选地，所述将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记，具体包括：

将连续的每一帧笔迹像素内容，逐个叠加到一张全黑的图像中，得到累加图像；

采用中值滤波对累加图像进行噪声过滤处理，并对处理后的图像进行连通域提取；

将距离小于2个像素的连通域连接起来，成为完整的文字作为笔迹。

优选地，在所述将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记之前，还包括：

根据前后帧黑板区域图像的文字笔迹内容变化，判断是否发生擦除动作；

若发生擦除动作，则将发生擦除动作前的连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。

优选地，还包括对所述黑板上的笔记进行识别，将其转录成数字内容，其具体包括：

对黑板上的文字进行文字行定位，得到多个文字行；

在每个文字行内，对单个的文字进行分割，对每个文字定位；

将每一个文字对应的图像块进行归一化处理，缩放至同样的尺寸；

采用事先训练好的深度卷积神经网络对文字图片进行特征提取、字符分类操作，得到对应的数字文字识别结果。

优选地，所述对黑板上的文字进行文字行定位，得到多个文字行，具体包括：

A1)根据设定的文字行高数值对黑板上的文字版面进行二值化处理，得到笔迹图；

A2)将得到的笔迹图进行行投影，得到一条投影曲线；

A3)根据预先建立的波谷高斯模型，在投影曲线上检测出波谷的位置；

A4)将所有检测到的波谷位置提取出来，将两个相邻波谷之间作为一个文字行；

A5)重复执行步骤A1)至A4)，得到所述黑板上所有文字的文字行位置。

优选地，所述在每个文字行内，对单个的文字进行分割，对每个文字定位，具体包括：

B1)根据设定的文字宽度数值，对每个文字行进行二值化处理，得到当前文字行的二值化图像；

B2)将得到的文字行的二值化图像进行投影，得到文字行的投影曲线；

B3)基于预先建立的波谷高斯模型，在文字行的投影曲线上，检测波谷的位置；

B4)将所有检测到的波谷位置提取出来，将两个相邻的波谷之间作为一个文字。

B5)重复执行步骤B1)至B4)，得到每一个文字行中文字的位置。

与现有技术相比，本发明存在以下技术效果：本发明中通过利用摄像机实时采集黑板区域的图像，并进行背景建模，根据背景图像对摄像机当前采集的图像进行处理，识别出图像中的文字笔迹，并合成得到黑板版面上的文字，节省了学生的记录笔迹的时间。而且，能自动检测到老师板书时新书写的内容，提取黑板中的文字信息，极大的提高了教学质量。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种黑板笔迹自动合成方法的流程示意图；

图2是黑板定位的流程示意图；

图3是黑板背景建模的流程示意图；

图4是图像中的运动信息检测流程示意图；

图5是文字笔迹提取流程示意图；

图6是擦除动作判断流程图；

图7是黑板内容合成流程示意图；

图8是另一种黑板笔迹自动合成方法的流程示意图；

图9是文字识别流程示意图；

图10是文字行定位流程示意图；

图11是文字定位流程示意图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种黑板笔迹自动合成方法，包括如下步骤S101至S105：

S101、通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位；

需要说明的是，本实施例中通过设置一个摄像机实时对黑板区域的画面进行采集，获取连续的包含黑板区域的图像帧。

S102、在检测出黑板位置后，根据图像中的黑板区域进行背景建模，得到背景图像；

S103、将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素；

S104、利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹；

S105、将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记。

作为进一步优选的方案，如图2所示，上述步骤S101：通过摄像机实时采集包含黑板区域的图像，并在图像中检测黑板外框，对黑板进行定位，具体包括：

(1)在包含黑板区域的图像中，利用Canny边缘检测算子，提取边缘。

(2)遍历所有的边缘像素，利用Hough直线检测方法，提取直线，同时计算出直线对应的方程；

(3)在提取的所有直线中，将长度小于50个像素的直线过滤掉。

(4)将所有长度大于50个像素的直线进行分析，找到共线的两条直线。具体为：

利用这两条直线各自对应的直线方程，并计算二者的距离。如果两条直线距离小于5个像素，就是共线直线。

(5)对于两条共线的直线，遍历两条直线边缘上所有的边缘点，得到最近的两个边缘的距离，以得到这两条直线对应的边缘像素的最短距离。

(6)如果这两条直线是共线直线，并且对应边缘的距离小于50个像素，则将这两条直线融合为一条直线作为边界线。

(7)分析所有的边界线检测结果，实现四边形定位。具体为：

a、找到左右两条边界且左、右两条边界是对称的。

b、找到上下两条边界且上、下两条边界是平行的。其中，利用该边界线的直线方程计算两条线的方向角，如果二者方向角的差值小于5°，则是平行的，否则不是。即上下边界的方向角在[-5°,5°]范围内，则符合要求。

利用对称性验证此时的四边围成的四边形是否为等腰梯形。如果是，则是黑板。如果不是，则定位失败。

(8)对四边形的四条边长进行分析，并且与事先存储的经验值(本实施例中经验值取100个像素)进行比较，如果每条边的长度差超过100像素，则认为定位失败。

需要说明的是，最终得到的四条边，就是黑板的外部边界位置。至此，黑板定位结束。

作为进一步优选的方案，如图3所示，在上述步骤S102中：结合黑板平日在使用上的习惯，采用如下策略进行背景建模：

(1)针对当前采集的图像，检测黑板位置，将黑板区域的图像提取出来后，将黑板图像等间隔分割成6×6个子区域图像；

(2)检测每个子区域图像内部是否存在笔迹，具体过程为：

对该子区域进行sobel梯度计算，然后对梯度图以30作为阈值进行前景图像提取。

统计前景像素的数目，与该子区域图像面积相除得到前景比例。如果该比例值低于3％，则说明此时该子区域内部不存在笔迹。

(3)对于不存在笔迹的子区域图像，直接更新到背景图像中，该子区域对应的位置。

需要说明的是，本实施例中对黑板进行全天候监控，实时更新每一个子区域图像，直接将当前采集图像中的子区域拷贝到背景图像中，实现背景图像的实时更新。

需要说明的是，在实际应用中，老师书写上去的文字内容，总是有一个从无到有的过程，因此可以通过对比前后帧信息，将文字内容，以及老师运动造成的变动部分，一起检测出来。如图4所示，上述步骤S103：将摄像机当前采集到的图像与背景图像进行逐像素比对，得到前景像素。具体包括：

将当前采集的图像与背景图像进行逐像素对比；

某个像素位置，当前图与背景图之间的亮度差值大于20，说明存在新出现的内容，则将这些像素作为前景像素检测出来。

优选地，本实施例中对检测出来的前景像素进行中值滤波处理，以将孤立的前景像素及噪声过滤掉。

需要说明的是，在实际应用中，上述提取的前景像素，不仅仅包括了当前的新的文字笔迹，也包含人体的运动信息，因此需要将文字笔迹单独提取出来。如图5所示，上述步骤S104：利用线条提取算法，对前景像素进行处理，以从当前采集到的图像中提取出文字笔迹，具体包括：

(1)对前景像素进行逐行水平扫描，记录下线条的左、右边界，其中，左边界是由黑变白，右边界由白边黑。

(2)在同一行中，其两个左、右边界的距离，小于3个像素，则该行有可能是线条，保留下这两个位置。如果大于3个像素，则不进行保留。

(3)对所有行的线条的左、右边界进行分析，观察其连续性，所有的左边界点是否能够形成平滑的线条。具体为：

上下相邻两行左边界点，横坐标相差不超过2个像素，则认为其是平滑的。只要有一行不平滑，则该线条不是平滑的。利用这种方式，得到线条的左右边界。

(4)将图像中所有的连续的、平滑的边界线条提取出来。

(5)利用对应的左、右边界线条形成连通域，该连通域就是对应的文字笔迹。

需要说明的是，这里的线条指的是字体的每一个笔画，将连续、平滑的边界线提取出来形成连通域，即可得到每个文字的笔迹。

在实际应用中，摄像机的录像过程中，有非常多的图片帧。但并不是每一帧对应的时刻，都是最合理的保存笔迹的时刻。一般老师完成整个黑板区域内容之后，会重新将该区域擦除。如图6所示，时本实施例中通过检测该动作，实现对笔迹的保存，以准确的合成黑板笔迹。

本实施例中在上述步骤S105之前，还包括：

比较前后帧黑板区域图像内的笔迹内容是增加还是减少，若增加则说明发生擦除动作，则利用发生擦除动作时刻以前积累的每一帧中的笔迹像素进行合成，从而得到该段时间内黑板上的笔记。

具体地，如果当前时刻内，1秒钟时间内(25帧图像)，整个黑板区域的笔迹像素数目减少量超过整体笔迹像素数目的5％，则认为当前时刻有擦除动作。

作为进一步优选的方案，如图7所示，上述步骤S105：将连续多帧图像笔迹内容进行叠加，得到黑板上的笔记，具体包括：

(1)每两次擦除动作之间，作为一个书写时间段。

(2)将该书写时间段内的所有的每一帧笔迹像素内容，逐个叠加到一张全黑的图像中。

(3)采用中值滤波对累加图像进行噪声过滤处理，并对处理后的图像进行连通域提取。

(4)将距离小于2个像素的连通域连接起来，成为完整的文字作为笔迹。

作为进一步优选的方案，如图8至图9所示，为了进一步提高系统的功能，对每一版面的书写内容，利用手写体文字识别方法，对文字进行识别，转录成为数字化内容。具体为：

(1)对当前版面文字进行文字行定位，如图10所示，步骤如下：

A1)根据设定的文字行高数值对黑板上的文字版面进行二值化处理，得到笔迹图。其中，文字行高数值可取值为40个像素，可通过平日的观察得到。

A2)将得到的笔迹图进行行投影，得到一条投影曲线，具体为：具体为：对该行的前景像素数目进行统计，记录下来。每一行都得到一个对应的像素数目值，也就是投影值。将所有行的投影值连接起来，得到一条投影曲线。

A3)根据预先建立的波谷高斯模型，在投影曲线上检测出波谷的位置，其中，假设每一个波谷的形状，都符合高斯曲线的形状，来对波谷进行高斯建模，拟合出波谷对应的高斯曲线的参数，波谷的宽度可根据经验值获取。

A4)将所有检测到的波谷位置提取出来，将两个相邻波谷之间作为一个文字行；

A5)重复执行步骤A1)至A4)，得到所述黑板上所有文字的文字行位置。

(2)在每个文字行内，对单个的文字进行分割，对每个文字定位，具体如图11所示：

B1)根据设定的文字宽度数值，对每个文字行进行二值化处理，得到当前文字行的二值化图像。文字宽度数值可取值为30个像素，可通过平日的观察得到。

B2)将得到的文字行的二值化图像进行投影，得到文字行的列投影曲线。具体为：对该列的前景像素数目进行统计，记录下来。每一列都得到一个对应的像素数目值，也就是投影值。所有列的投影值，连接起来，就是一条投影曲线。

B3)基于预先建立的波谷高斯模型，在文字行的投影曲线上，检测波谷的位置。其中，假设每一个波谷的形状，都符合高斯曲线的形状，来对波谷进行高斯建模，拟合出波谷对应的高斯曲线的参数，波谷的宽度可根据经验值获取。该波谷高斯模型与下文中的波谷高斯模型构建原理相同。

B4)将所有检测到的波谷位置提取出来，将两个相邻的波谷之间作为一个文字。

B5)重复执行步骤B1)至B4)，得到每一个文字行中文字的位置。

(3)对文字尺寸进行归一化：

将每一个文字对应的图像块，缩放到同样的尺寸，文字尺寸可设为100×100像素。以方便神经网络文字识别器进行特征的采集。

(4)文字识别：

采用基于深度卷积神经网络(Convolutional Neural Network,CNN)的方法进行训练和识别，具体为：

事先采用构建的样本数据库对待训练的卷积神经网络进行训练，得到训练好的卷积神经网络，其中，样本数据库中为多个文字图片。

将上述步骤得到的二值化笔迹图中的每一个文字图片作为训练好的卷积神经网络的输入，网络对文字图片进行特征提取、字符分类操作，最终得到对应的文字识别结果。其中，输入的文字图片已经缩放到100×100像素大小。

需要说明的是，本实施例能够自动对黑板内容进行合成，节省了学生的记录笔记的时间；可自动检测到黑板的位置，在黑板位置发生变动的情形下，也能准确定位；可自动检测到老师板书时新书写的内容，提取黑板中的文字信息。可自动合成老师的书写内容，在每次擦除之前，合成一张图像，用于作为笔记，节省学生记录笔记的时间开销。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。