本发明涉及一种课堂电子笔记记录系统及方法，属于计算机教学技术领域。
背景技术：
目前，在学校的教学中，学生往往需要对课堂上老师的讲课内容记录笔记，但是由于黑板面积有限，老师常常会在黑板上的板书写满后擦除之前的板书以便写新的板书，这就要求学生快速的记录下老师的板书内容，从而对学生的专心听讲有一定影响。
学生记录下老师的板书内容，但有时老师对有的内容是进行口头解释说明，并没有进行板书，这就导致学生记录的笔记不能完全记录下课堂上老师讲的所有内容。
一些学校建设有录播教室，可以记录下整堂课的内容，但是录播教室的建设成本高昂，不适宜于将学校的每个教室建设为录播教室；
目前还有一种微课平台，建设平台不是很高，可以记录碎片化教学内容，但是微课的时长一般为5—8分钟左右，比较零碎分散，不适于系统性的复习课堂内容；
同时录播教室和微课都是以传统视频的形式存储，不适于快速检索定位，且其制作时需要老师控制录播，占用讲课时间，录播的文件还需要进行较长时间的剪辑，比较麻烦；同时，视频文件容量较大，不利于传播和分享。
技术实现要素：
针对现有技术的不足，本发明的技术方案提供了一种课堂电子笔记记录系统及方法，使用高清拍照摄像头采集课堂上老师的板书图像，使用拾音麦拾取老师的讲课声音，之后将板书图像和讲课声音进行简单的剪辑处理后制作为小巧的电子笔记文件，利于快速检索、传播和分享，并且课堂上采集数据时由该课堂电子笔记记录系统自动完成，无需老师控制，且课后老师只需要对无用的课堂内容进行简单的裁剪即可，无需复杂的剪辑工作，同时建设成本低廉，便于普及。
本发明的技术方案一种课堂电子笔记记录系统，包括：数据采集模块，用于采集课堂上的笔记素材；记录控制模块，用于控制数据采集模块的采集动作，判断采集的笔记素材的有效性并生成课堂电子笔记初始文件；笔记剪辑模块，用于对课堂电子笔记初始文件进行剪辑处理生成最终的课堂电子笔记文件。
根据课堂电子笔记记录系统，数据采集模块包括：图像采集单元，用于拍摄黑板上的板书内容获取板书图像，并将拍摄的板书图像发送至记录控制模块；声音采集单元，用于拾取课堂上的声音，并将其发送至记录控制模块。
根据课堂电子笔记记录系统，记录控制模块包括：图像记录单元，用于控制图像采集单元拍摄板书图像，判断拍摄的板书图像的有效性，从有效的板书图像中提取出板书内容并处理成清晰的板书图片，记录下有效的板书图片；
声音记录单元，用于根据背景噪声样本识别讲课声音，控制声音采集单元拾取讲课声音，并将所述讲课声音记录下来；
第一笔记生成单元，用于生成描述板书图片、讲课声音及其时间位置关系和数据量信息的数据管理文件，将记录下的板书图片、讲课声音和所述数据管理文件进行压缩打包生成课堂电子笔记初始文件，并将所述课堂电子笔记初始文件发送至笔记剪辑单元。
进一步，图像记录单元判断板书图像的有效性的方法包括前景检测方法，该方法包括以下步骤：从图像采集单元读取多张拍摄的板书图像；从多张板书图像中依据设定的黑板位置均截取出黑板区域图像；根据多张黑板区域图像计算出背景的平均像素值，在其基础上增加或减少一定的阈值范围，构成背景模型；后面新拍摄的图像中，如果对应位置的像素超出了这个背景模型中对应位置像素的阈值范围，就把它当作前景内容；前景内容持续时间超过预设的时间阈值，待前景内容结束后，拍摄的图像为有效的板书图像；使用图像处理技术处理有效的板书图像以获取清晰的板书图片；记录下清晰的板书图片。
进一步，图像记录单元判断板书图像的有效性的方法还包括黑板边缘检测方法，该方法包括以下步骤：从图像采集单元读取拍摄的板书图像；从板书图像中依据设定的黑板位置截取黑板边缘图像；将截取的黑板边缘图像的图像边缘与前一次有效的黑板边缘图像的图像边缘相减；根据两次黑板边缘图像的图像边缘差值判断该板书图像是否为处于板书中的图像；将未处于板书中的板书图像与前一次有效的板书图像使用包括但不限于感知哈希算法进行对比；根据感知哈希算法的对比值判断该板书图像的有效性；使用图像处理技术处理有效的板书图像以获取清晰的板书图片；记录下清晰的板书图片。
进一步，声音记录单元记录有效的讲课声音包括以下步骤：从声音采集单元输入的声音波形计算出背景噪声样本；识别声音采集单元拾取的课堂上的声音波形；记录下区别于背景噪声样本的讲课声音。
根据课堂电子笔记记录系统，笔记剪辑模块包括：笔记解析单元，用于将课堂电子笔记初始文件解析成板书图片、讲课声音和数据管理文件并发送至相应的图像编辑单元、声音编辑单元和第二笔记生成单元；图像编辑单元，用于对课堂电子笔记初始文件解析出的板书图片进行剪辑处理，包括删除与课堂内容无关的板书图片；声音编辑单元，用于对课堂电子笔记初始文件解析出的讲课声音进行剪辑处理，包括剔除与课堂内容无关的声音片段；第二笔记生成单元，用于根据剪辑后的板书图片和讲课声音重新生成数据管理文件，将剪辑后的板书图片、讲课声音和新生成的数据管理文件进行压缩打包生成最终的课堂电子笔记文件。
根据课堂电子笔记记录系统，该系统还包括阅读模块，用于解析课堂电子笔记文件从而同步播放板书图片与讲课声音，并通过交互界面为用户提供阅读操作。
本发明的技术方案还包括一种课堂电子笔记记录方法，包括：采集课堂上的笔记素材；控制数据采集模块的采集动作，判断采集的笔记素材的有效性并生成课堂电子笔记初始文件；对记录的有效笔记进行剪辑处理。
本发明的有益效果为：减少了建设成本，简化了手动制作的过程，使用图片与声音结合的方式，提供了全面的课堂笔记，并利于检索定位、查找重点，同时相比视频具有较小的容量，便于传播和分享。
附图说明
图1所示为根据本发明实施方式的总体结构图；
图2所示为根据本发明实施方式的具体结构图；
图3所示为根据本发明实施方式的总体方法流程图；
图4所示为根据本发明实施方式的图像记录单元使用前景检测法识别记录有效的板书图片的方法流程图；
图5所示为根据本发明实施方式的图像记录单元使用黑板边缘检测法识别记录有效的板书图片的方法流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。本发明的课堂电子笔记记录系统及方法适用于老师教学课堂中的笔记记录。
如图1所示，本发明的课堂电子笔记记录系统，包括数据采集模块，用于采集课堂上的笔记素材；记录控制模块，用于控制数据采集模块的采集动作，判断采集的笔记素材的有效性并生成课堂电子笔记初始文件；笔记剪辑模块，用于对课堂电子笔记初始文件进行剪辑处理生成最终的课堂电子笔记文件。
如图2所示，其中，数据采集模块包括：
图像采集单元，用于拍摄黑板上的板书内容获取板书图像，并将拍摄的板书图像发送至记录控制模块的图像记录单元；具体的，作为优选，图像采集单元使用高清拍照摄像头，固定于任何能拍摄清楚老师板书内容的位置，一般固定于黑板的前上方；该高清拍照摄像头可以通过有线和/或无线传输方式将采集的图像数据传输至记录控制模块的图像记录单元；
声音采集单元，用于拾取课堂上的声音，并将其发送至记录控制模块的声音记录单元；具体的，作为优选，声音采集单元使用全向远距拾音麦，该拾音麦设置于能够清晰地拾取到老师讲课声音的位置，可以与高清拍照摄像头组合在一起，也可以与高清拍照摄像头分开位于不同位置，本实施例中，全向远距拾音麦设置在讲台上，其通过有线和/或无线传输方式将拾取的声音传输至记录控制模块的声音记录单元。
其中，记录控制模块为与数据采集模块连接的计算机中的处理系统，包括：图像记录单元，用于控制图像采集单元拍摄板书图像，判断拍摄的板书图像的有效性，从有效的板书图像中提取出板书内容并处理成清晰的板书图片，记录下有效的板书图片；声音记录单元，用于根据背景噪声样本识别讲课声音，控制声音采集单元拾取讲课声音，并将所述讲课声音记录下来；第一笔记生成单元，用于生成描述板书图片、讲课声音及其时间位置关系和数据量信息的数据管理文件，将记录下的板书图片、讲课声音和所述数据管理文件进行压缩打包生成课堂电子笔记初始文件，并将所述课堂电子笔记初始文件发送至笔记剪辑单元。
其中，笔记剪辑模块可以为与数据采集模块连接的计算机中的处理系统，也可以是独立的处理系统，包括：笔记解析单元，用于将课堂电子笔记初始文件解析成板书图片、讲课声音和数据管理文件并发送至相应的图像编辑单元、声音编辑单元和第二笔记生成单元；图像编辑单元，用于对课堂电子笔记初始文件解析出的板书图片进行剪辑处理，包括删除与课堂内容无关的板书图片；声音编辑单元，用于对课堂电子笔记初始文件解析出的讲课声音进行剪辑处理，包括剔除与课堂内容无关的声音片段；第二笔记生成单元，用于根据剪辑后的板书图片和讲课声音重新生成数据管理文件，将剪辑后的板书图片、讲课声音和新生成的数据管理文件进行压缩打包生成最终的课堂电子笔记文件。
其中，阅读模块可以是任何支持该课堂电子笔记文件格式的阅读器。
如图3所示，本发明的课堂电子笔记记录方法，包括：采集课堂上的笔记素材；控制数据采集模块的采集动作，判断采集的笔记素材的有效性并生成课堂电子笔记初始文件；对记录的有效笔记进行剪辑处理。
具体的，采集课堂上的笔记素材，包括：拍摄黑板上的板书内容获取板书图像，并将拍摄的板书图像发送至记录控制模块的图像记录单元；拾取课堂上的声音，并将其发送至记录控制模块的声音记录单元。
具体的，控制数据采集模块的采集动作，判断采集的笔记素材的有效性并生成课堂电子笔记初始文件，包括：控制图像采集单元拍摄板书图像，判断拍摄的板书图像的有效性，从有效的板书图像中提取出板书内容并处理成清晰的板书图片，记录下有效的板书图片并发送至第一笔记生成单元；根据背景噪声样本识别讲课声音，控制声音采集单元拾取讲课声音，并将所述讲课声音记录下来发送至第一笔记生成单元；生成描述板书图片、讲课声音及其时间位置关系和数据量信息的数据管理文件，将记录下的板书图片、讲课声音和所述数据管理文件进行压缩打包生成课堂电子笔记初始文件，并将所述课堂电子笔记初始文件发送至笔记剪辑单元。
具体的，对记录的有效笔记进行剪辑处理，包括：将课堂电子笔记初始文件解析成板书图片、讲课声音和数据管理文件并发送至相应的图像编辑单元、声音编辑单元和第二笔记生成单元；对课堂电子笔记初始文件解析出的板书图片进行剪辑处理，包括删除与课堂内容无关的板书图片；对课堂电子笔记初始文件解析出的讲课声音进行剪辑处理，包括剔除与课堂内容无关的声音片段；根据剪辑后的板书图片和讲课声音重新生成数据管理文件，将剪辑后的板书图片、讲课声音和新生成的数据管理文件进行压缩打包生成最终的课堂电子笔记文件。
其中，高清拍照摄像头由图像记录单元控制拍摄，采用定时抓取拍摄的方式，拍摄后的板书图像由图像记录单元判断有效性，有效的板书图像经过处理获得清晰的板书图片，图像记录单元记录下处理好的板书图片并发送至第一笔记生成单元；由于图像采集单元采用定时抓拍的方式进行板书图像的采集，因此可能出现抓拍时老师正在进行板书挡住了部分板书内容的情况，此时的板书图像是无效的；还有的时候会出现两次拍摄的板书图像无差别或仅有细微的差别，不足以影响对板书内容的理解时，这样的板书图像视为重复的，也是无效的。
如图4所示，图像记录单元使用前景检测法判断板书图像的有效性并记录有效的板书图片，包括：
s401.读取板书图像；
具体的，从高清拍照摄像头读取多张拍摄的板书图像。
s402.截取黑板区域图像；
具体的，从多张板书图像中依据设定的黑板位置均截取出黑板区域图像。
s403.创建背景模型；
具体的，根据多张黑板区域图像计算出背景的平均像素值，在其基础上增加或减少一定的阈值范围，构成背景模型。
s404.检测是否有前景内容；
具体的，后面新拍摄的图像中，若对应位置的像素超出了这个背景模型中对应位置像素的阈值范围，就表明有前景内容,则执行步骤s405，否则执行步骤s406。
s405.判断前景内容持续时间是否超过时间阈值；
具体的，若前景内容持续时间超过预设的时间阈值，则表明此时的板书图像无效，重新执行步骤s401，否则表明此时的板书图像有效，继续执行步骤s406。
s406.处理该板书图像获得清晰的板书图片；
具体的，因为高清拍照摄像头拍摄的板书图像是变形的、杂乱的，需要从变形的、杂乱的板书图像中将板书的内容提取出来做进一步处理，获取清晰的板书图片；其中，由于高清拍照摄像头与黑板的位置固定，在调试时，参考高清拍照摄像头拍摄的图像，通过人为设置将黑板区域参数提前设定好，通常设定好的黑板区域是一个不规则的四边形，然后使用包括但不限于opencv和emgucv等图形处理库将不规则的板书图像根据需求转换为高质量的规则图片，为了让板书内容更清晰，继续对获得的图片进行灰度和二值化处理获得含有清晰的板书内容的板书图片。
s407.记录下处理好之后的板书图片；
具体的，记录下板书图片后发送至第一笔记生成单元并继续重复步骤s401-步骤s407。
如图5所示，图像记录单元使用黑板边缘检测法判断板书图像的有效性并记录有效的板书图片，包括：
s501、读取板书图像；
具体的，从高清拍照摄像头读取抓拍的板书图像。
s502、截取黑板边缘图像；
具体的，在板书图像中依据设定的黑板位置进行截取获得黑板边缘图像。
s503、与前一次有效黑板边缘相减；
具体的，将截取的黑板边缘图像的图像边缘与前一次有效的板书图像的图像边缘相减。
s504、判断是否在板书中；
若两次图像边缘的差值超过设定的阈值，则表示正处于板书中，该板书图像无效，重新执行步骤s501；否则表示未处于板书中，继续判断是否与前一次有效的板书图像重复，执行步骤s505。
s505、与前一次有效的板书图像使用包括但不限于感知哈希算法进行对比。
s506、判断是否为有效的板书图像；
若感知哈希算法的对比值超过设定的阈值，则表示该板书图像有效，执行步骤s507，否则表示该板书图像无效，重新执行步骤s501。
s507、处理该板书图像获得清晰的板书图片；
具体的，该步骤具体操作与步骤s406相同，不再赘述。
s508、记录下处理好之后的板书图片；
具体的，记录下板书图片后发送至第一笔记生成单元并继续重复步骤s501-步骤s508。
其中，全向远距拾音麦由声音记录单元控制对声音的记录，具体的，调试时从全向远距拾音麦输入的声音波形计算出背景噪声样本，上课时当有区别于背景噪声样本的声音波形出现，表明老师正在讲课，此时对讲课声音进行记录，当无声音输入或拾取的声音波形为噪声波形时，表明老师未讲课，停止记录声音。
当记录好需要的板书图片和讲课声音后，第一笔记生成单元生成使用包括但不限于xml、ini、json和html的描述语言描述板书图片、讲课声音及其时间位置关系和数据量信息的数据管理文件，将记录下的板书图片、讲课声音和所述数据管理文件进行压缩打包生成课堂电子笔记初始文件，并将所述课堂电子笔记初始文件发送至笔记剪辑单元，笔记剪辑模块的笔记解析单元将接收到课堂电子笔记初始文件解析成板书图片、讲课声音和数据管理文件并发送至相应的图像编辑单元、声音编辑单元和第二笔记生成单元进行进一步处理。
其中，对课堂电子笔记初始文件解析出的板书图片进行剪辑处理，包括删除与课堂内容无关的板书图片；对课堂电子笔记初始文件解析出的讲课声音进行剪辑处理，包括剔除与课堂内容无关的声音片段，剔除无用的声音片段后，将其压缩成mp3或ogg等格式的声音文件；剪辑处理好板书图片和讲课声音之后，第二笔记生成单元根据剪辑后的板书图片和讲课声音重新生成数据管理文件，并将剪辑后的板书图片、讲课声音和新生成的数据管理文件进行压缩打包生成最终的课堂电子笔记文件。此课堂电子笔记文件容量小巧，便于传播与分析，可以在任何支持该课堂电子笔记文件数据格式的阅读器上进行阅读操作。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。