一种纸写板书和讲解自动文档化的讲台系统的制作方法

本发明涉及教学装备信息化技术领域，特别是指一种纸写板书和讲解自动文档化的讲台系统。

背景技术：

传统的讲台教学是由教师使用粉笔在黑板上书写教学内容，该方式不仅有害于教师的身体健康，也难以存档，不利于学生纪录和复习，更不便于教师记录、修订完善教学内容；同时讲解语音无记录无存档。

现有的智慧讲台系统通常需要手写大屏等昂贵设备，同时手写电子屏也无法达到传统的板书效果。

技术实现要素：

本发明要解决的技术问题是提供一种纸写板书和讲解自动文档化的讲台系统，以解决现有技术所存在的依赖粉笔写黑板不方便且难存档、手写电子屏昂贵且效果差、讲解语音无记录无存档的问题。

为解决上述技术问题，本发明实施例提供一种纸写板书和讲解自动文档化的讲台系统，包括：采集子系统、与采集子系统相连的处理子系统、与处理子系统相连的显示子系统，所述采集子系统包括：纸写摄像装置和讲解录音装置；其中：

所述纸写摄像装置，用于捕获在纸上书写的纸写板书视频，并将其实时上传至处理子系统；

所述讲解录音装置，用于将采集的讲解语音实时上传至处理子系统；

所述处理子系统，用于对接收到的纸写板书视频进行处理，将纸写板书识别成文字文档，将接收到的讲解语音识别成文字文档，还用于将纸写板书视频、讲解语音识别生成的文字文档和ppt课件在显示子系统的三个区域同步独立显示。

进一步地，所述纸写摄像装置和所述讲解录音装置内置于智能终端中；或，纸写摄像装置为独立摄像头且讲解录音装置为独立麦克风。

进一步地，所述处理子系统包括：光学字符识别模块、语音识别模块和三区同屏处理模块；

所述光学字符识别模块，用于利用光学字符识别对接收到的纸写板书视频进行处理，将纸写板书识别成文字文档；

所述语音识别模块，用于将接收到的讲解语音识别成文字文档；

所述三区同屏处理模块，用于将纸写板书视频、讲解语音识别生成的文字文档和ppt课件在同一显示屏或投影屏幕的板书区、语音识别区和讲稿区三个区域同步独立显示。

进一步地，所述处理子系统还包括：直播服务模块；

当所述纸写摄像装置和所述讲解录音装置内置于智能终端中时，所述智能终端还包括：直播推送模块；

所述直播推送模块，用于在接收用户输入的直播开启指令后，将智能终端内置纸写摄像装置捕获的纸写板书视频实时推送到直播服务模块，同时将智能终端内置讲解录音装置采集的讲解语音同步推送到语音识别模块。

进一步地，当纸写摄像装置为独立摄像头且讲解录音装置为独立麦克风时，所述摄像头，用于将捕获的纸写板书视频实时推送到直播服务模块；

所述麦克风，用于将采集的讲解语音同步推送到语音识别模块。

进一步地，所述光学字符识别模块，用于在接收用户输入的光学字符识别指令后，从直播服务模块提取纸写板书静态图片，将纸写板书静态图片的手写体文字识别成电脑字库文字保存在文档中，并同步保存纸写板书静态图片。

进一步地，所述光学字符识别模块，还用于去除纸写板书视频中的手和笔。

进一步地，所述语音识别模块，还用于将针对所述纸写板书静态图片生成的文字文档和与所述纸写板书静态图片同步的讲解语音生成的文字文档按同一时间戳进行存储。

本发明的上述技术方案的有益效果如下：

上述方案中，是一种无需粉笔写黑板、无需手写电子屏的智能讲台系统，利用集成的视频直播技术、字符识别技术和语音识别技术对纸写板书视频和语音讲解进行处理，实现纸写板书视频直播和文档化，讲解语音文档化，且支持纸写板书视频、讲解语音文档和ppt课件在显示子系统的三区同步独立显示，互不影响，这样，能够使教师在不使用粉笔写黑板和手写电子屏的情况下完成板书授课，且结构简单、成本低廉、操作简洁，便于课后获取授课内容。

附图说明

图1为本发明实施例提供的纸写板书和讲解自动文档化的讲台系统的流程示意图；

图2为本发明实施例提供的采用智能手机内置摄像头和麦克风的讲台布局示意图；

图3为本发明实施例提供的智能手机内置摄像头和麦克风方式授课操作流程示意图；

图4为本发明实施例提供的智能手机放置位置俯视图；

图5为本发明实施例提供的智能手机放置位置侧视图；

图6为本发明实施例提供的手机客户端操控界面示意图；

图7为本发明实施例提供的电脑客户端的课堂展示模式示意图；

图8为本发明实施例提供的电脑客户端的课件整理模式示意图；

图9为本发明实施例提供的采用独立摄像头和独立麦克风方式的讲台布局示意图；

图10为本发明实施例提供的独立摄像头和独立麦克风方式的授课操作流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，本发明实施例提供的纸写板书和讲解自动文档化的讲台系统，包括：采集子系统11、与采集子系统11相连的处理子系统12、与处理子系统12相连的显示子系统13，所述采集子系统11包括：纸写摄像装置和讲解录音装置；其中：

所述纸写摄像装置，用于捕获在纸上书写的纸写板书视频，并将其实时上传至处理子系统；

所述讲解录音装置，用于将采集的讲解语音实时上传至处理子系统；

所述处理子系统12，用于对接收到的纸写板书视频进行处理，将纸写板书识别成文字文档，将接收到的讲解语音识别成文字文档，还用于将纸写板书视频、讲解语音识别生成的文字文档和ppt课件在显示子系统13的三个区域同步独立显示。

本发明实施例所述的纸写板书和讲解自动文档化的讲台系统，是一种无需粉笔写黑板、无需手写电子屏的智能讲台系统，利用集成的视频直播技术、字符识别技术和语音识别技术对纸写板书视频和语音讲解进行处理，实现纸写板书视频直播和文档化，讲解语音文档化，且支持纸写板书视频、讲解语音文档和ppt课件在显示子系统的三区同步独立显示，互不影响，这样，能够使教师在不使用粉笔写黑板和手写电子屏的情况下完成板书授课，且结构简单、成本低廉、操作简洁，便于课后获取授课内容。

在前述纸写板书和讲解自动文档化的讲台系统的具体实施方式中，进一步地，所述纸写摄像装置和所述讲解录音装置内置于智能终端中；或，

纸写摄像装置为独立摄像头(例如，单目摄像头)且讲解录音装置为独立麦克风。

本实施例中，若所述处理子系统为电脑主机，则摄像装置、录音装置分别采用通用连接线与电脑主机相连。

在前述纸写板书和讲解自动文档化的讲台系统的具体实施方式中，进一步地，所述处理子系统包括：光学字符识别模块、语音识别模块和三区同屏处理模块；

所述ocr识别模块，用于利用光学字符识别对接收到的纸写板书视频进行处理，将纸写板书识别成文字文档；

所述语音识别模块，用于将接收到的讲解语音识别成文字文档；

所述三区同屏处理模块，用于将纸写板书视频、讲解语音识别生成的文字文档和ppt课件在同一显示屏或投影屏幕的板书区、语音识别区和讲稿区三个区域同步独立显示。

本实施例中，所述语音识别模块除了支持将语音识别成文档之外，还支持对生成的文档进行编辑和保存功能。

在前述纸写板书和讲解自动文档化的讲台系统的具体实施方式中，进一步地，所述处理子系统还包括：直播服务模块；

当所述纸写摄像装置和所述讲解录音装置内置于智能终端中时，所述智能终端还包括：直播推送模块；

所述直播推送模块，用于在接收用户输入的直播开启指令后，将智能终端内置纸写摄像装置捕获的纸写板书视频实时推送到直播服务模块，同时将智能终端内置讲解录音装置采集的讲解语音同步推送到语音识别模块。

在前述纸写板书和讲解自动文档化的讲台系统的具体实施方式中，进一步地，当纸写摄像装置为独立摄像头且讲解录音装置为独立麦克风时，所述摄像头，用于将捕获的纸写板书视频实时推送到直播服务模块；

所述麦克风，用于将采集的讲解语音同步推送到语音识别模块。

在前述纸写板书和讲解自动文档化的讲台系统的具体实施方式中，进一步地，为了提高视频直播的视觉效果，所述ocr识别模块，还用于去除纸写板书视频中的手和笔，仅余纸写笔迹进行直播。

在前述纸写板书和讲解自动文档化的讲台系统的具体实施方式中，进一步地，所述ocr识别模块，用于在接收用户输入的光学字符识别指令后，从直播服务模块提取纸写板书静态图片，将纸写板书静态图片的手写体文字识别成电脑字库文字保存在文档中，并同步保存纸写板书静态图片。

在前述纸写板书和讲解自动文档化的讲台系统的具体实施方式中，进一步地，所述语音识别模块，还用于将针对所述纸写板书静态图片生成的文字文档和与所述纸写板书静态图片同步的讲解语音生成的文字文档按同一时间戳进行存储。

本实施例中，可以存储在数据库中，存储的图片和文档支持拷贝和互联网分享。

在前述纸写板书和讲解自动文档化的讲台系统的具体实施方式中，进一步地，所述显示子系统包括：显示屏或投影仪。

本实施例中，若处理子系统为电脑主机，则所述显示屏包括：供教师使用的电脑显示屏及悬挂教室天花板的投影仪，通过一拖二视频线连接电脑主机。纸写摄像装置录制的教师纸写板书视频，在电脑显示屏的板书区实时直播显示，并在连接电脑主机的投影仪同步投影直播显示。

本实施例中，所述投影仪可以替换为置于传统黑板位置的大尺寸显示器，电脑显示和所述大尺寸显示器通过一拖二视频线连接电脑主机。

为了更好地理解本实施例提供的纸写板书和讲解自动文档化的讲台系统，对以下2种方式进行详细说明：

(一)、采用智能终端(例如，智能手机)内置的纸写摄像装置(例如，摄像头)和讲解录音装置(例如，麦克风)

如图2所示，使用如下硬件设备：

1)内置摄像头和麦克风的智能手机一台；

2)讲台电脑一台(包括：相当于处理子系统的主机和相当于部分显示子系统的显示屏)；

3)投影仪，连接讲台上的电脑主机；

4)手机支架，置于书写区域正前方,智能手机置于手机支架上，其嵌入式摄像头对准板书书写纸。

使用如下软件模块：

1)运行于智能手机的直播推送模块和运行于讲台电脑主机的直播服务模块，其中，直播推送模块和直播服务模块构成直播模块；

2)ocr识别模块，运行于讲台电脑主机，利用光学字符识别对接收到的纸写板书视频进行处理，将纸写板书识别成文字文档并保存；

3)语音识别模块，运行于讲台电脑主机，将接收到的讲解语音识别成文字文档并保存；

4)三区同屏处理模块，运行于讲台电脑主机，将纸写板书视频、讲解语音识别生成的文字文档和ppt课件在同一显示屏或投影屏幕的板书区、语音识别区和讲稿区同步独立显示。

本实施例中，将智能手机录像同步直播、语音识别、文字识别以及分屏显示四个功能封装成一个应用(app)方便教师操作，本app包括：智能手机客户端和电脑客户端两部分，如图3所示，本实施例提供的纸写板书和讲解自动文档化的讲台系统的工作流程如下：

s1，教师开始上课，打开讲台电脑主机，选择课堂展示模式，将智能手机及手机支架置于书写区域上方，放置位置如图4、5所示；打开智能手机客户端，此时手机屏幕显示画面如图6所示，点击“直播开启”按钮，智能手机运行直播推送模块，开启内置摄像头和麦克风，开始直播推送，将智能手机内置摄像头所捕获的教师纸写板书视频实时推送到主机的直播服务模块，同时将智能终端内置讲解录音装置采集的教师的讲解语音同步推送到讲台电脑主机的语音识别模块。

s2，讲台电脑主机的课堂直播过程工作在三区同屏状态：教师纸写板书视频在板书区实时显示、语音识别模块识别生成的文字文档在语音识别区显示、教师的ppt课件在讲稿区显示，三区独立，互不影响，如图7所示；教师完成一张纸写板书后，用鼠标点击讲台电脑显示器操控界面的ocr识别按钮，即可启动一次板书ocr识别，具体由ocr识别模块从主机直播服务模块提取纸写板书静态图片，将纸写板书静态图片的手写体文字识别成电脑字库文字，并保存在文档中。

s3，课堂讲授结束，教师在智能手机客户端点击“结束直播”按钮，直播结束；直播结束后，如图8所示，教师在电脑客户端点击“课件整理”，将纸写板书静态图片、针对所述纸写板书静态图片生成的文字文档和与所述纸写板书静态图片同步的讲解语音生成的文字文档按同一时间戳进行保存，以便后续修改和分享给学生。

(二)、采用独立摄像头和独立麦克风

如图9所示，使用如下硬件设备：

1)讲台电脑一台(包括：相当于处理子系统的主机和相当于部分显示子系统的第一显示屏)；

2)摄像头(例如，单目摄像头)，连接讲台上的电脑主机；

3)麦克风，连接讲台上的电脑主机；

4)投影仪，连接讲台上的电脑主机。

使用如下软件模块：

1)语音识别模块，运行于讲台电脑主机，将接收到的讲解语音识别成文字文档并保存；

2)ocr识别模块，运行于讲台电脑主机，利用光学字符识别对接收到的纸写板书视频进行处理，将纸写板书识别成文字文档并保存；

3)三区同屏处理模块，运行于讲台电脑主机，将纸写板书视频、讲解语音识别生成的文字文档和ppt课件在同一显示屏或投影屏幕的板书区、语音识别区和讲稿区同步独立显示；

4)运行于讲台电脑主机的直播服务模块。

本实施例中，教师借助讲台电脑主机提供的操控界面实施授课，如图10所示，具体的工作流程如下：

s1，教师开始上课，将摄像头和麦克风放到合适位置，放置位置如图9所示：打开主机，选择课堂展示模式，开启摄像头和麦克风，摄像头将捕获的教师纸写板书视频实时推送到主机的直播服务模块，同时将教师的讲解语音同步推送到主机的语音识别模块。

s2，课堂直播过程工作在三区同屏状态：板书区实时显示教师纸写板书视频、在语音识别区显示识别生成的教师讲解文字文档、在讲稿区显示教师播放的ppt课件，三区独立，互不影响，如图7所示；教师完成一张纸写板书后，用鼠标点击讲台电脑显示器上的ocr识别按钮，即可启动一次板书ocr识别，具体由ocr识别模块从主机直播服务模块提取纸写板书静态图片，将纸写板书静态图片的手写体文字识别成电脑字库文字，并保存在文档中。

s3，课堂讲授结束，教师在电脑客户端点击“结束直播”按钮，直播结束；直播结束后，如图8所示，教师在电脑客户端点击“课件整理”，将纸写板书静态图片、针对所述纸写板书静态图片生成的文字文档和与所述纸写板书静态图片同步的讲解语音生成的文字文档按同一时间戳进行保存，以便后续修改和分享给学生。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。