一种基于音频语音处理技术的课堂教学辅助督导方法及系统与流程

本发明涉及一种课堂教学辅助督导方法及系统，更具体地，涉及一种包含课堂语音采集，传输，云端处理及客户端显示等多个步骤的一种基于音频语音处理技术的课堂教学辅助督导方法及系统。

背景技术：

教学督导工作是学校教学管理工作中的一个重要环节，在加强教学质量检查、加强教学过程监控和提高教师教学质量等方面都有着重要的作用。但在实际情况中，通常开展教学活动的教室数量要远远大于教学督导员的数量，人工督导的人力成本较高以及对督导员本身的业务素养也有较高要求，这都使得传统的全人工形式的教学督导不能覆盖到所有课程。同时，人工教学督导所产生评价结果不可避免地具有高度的主观性和不可重复性。

因此基于信号处理及人工智能技术的客观化教学质量评估及授课内容数字化存档及检索成为了一个新的趋势，我们称之为课堂教学辅助督导系统。一方面，安装多种传感器全方位采集课堂内的多模态行为数据进行多种智能分析可以客观化地描述课堂内的授课内容及授课情况；另一方面，受到学校现有的课堂内网络接口及校内网的基础设施的限制以及成本方面的考量，因此，本发明提出一种基于音频语音处理技术的课堂教学辅助督导方法及系统。

技术实现要素：

本发明所要解决的技术问题是提供一种可高质量采集语音，高效率传输语音，并准确全面的对采集的语音进行分析的教学辅助督导方法。为了解决上述问题，本发明提供了一种基于音频语音处理技术的课堂教学辅助督导方法，所述方法包括：采集教室内的音频信号；识别采集的所述音频信号中是否有教学语音；若有，则将包含有所述教学语音的音频信号传送到服务器；分析所述服务器接收的来自不同教室的音频信号，得到与课堂教学督导相关的指标。

优选的，所述方法还包括通过移动设备查看所述指标，并对所述指标进行纵向或横向比较。

优选的，所述方法还包括当发生突发情况或教学事故时自动发送报警信息。

优选的，所述识别采集的所述音频信号中是否有教学语音包括：利用基于神经网络的语音端点检测技术识别是否有教学语音。

优选的，所述基于神经网络的语音端点检测技术采用深度神经网络和卷积神经网络作为分类模型。

本发明还提供一种基于音频语音处理技术的课堂教学辅助督导系统，所述系统包括：语音采集模块，用于采集教室内的音频信号；语音识别模块，用于识别采集的所述音频信号中是否有教学语音；通信模块，用于将包含有所述教学语音的音频信号传送到服务器；分析模块，对服务器接收的来自不同教室的音频信号进行分析，得到与教学督导相关的指标。

优选的，所述系统还包括移动设备，用于查看所述指标，并对所述指标进行纵向或横向比较。

优选的，所述系统还包括报警模块，用于当发生突发情况或教学事故时自动发送报警信息。

优选的，所述识别模块通过神经网络的语音端点检测技术识别是否有教学语音。

相对于现有技术中的方案，本发明的优点：本发明采用了深度神经网络和卷积神经网络作为分类模型。通过对比实验结果表明，将麦克风阵列采集到的多通道语音信号作为输入时可以有效的提升深度神经网络和卷积神经网络模型的分类效果，且神经网络模型的分类效果对于不同类型的噪声环境具有一定的鲁棒性。提高了语音采集的效率，并对采集的语音进行全面的分析，安全便捷的呈现分析结果。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1所示为本发明其中一实施例的基于音频语音处理技术的课堂教学辅助督导方法的流程示意图。

图2所示为本发明另一实施例的基于音频语音处理技术的课堂教学辅助督导方法的流程示意图。

图3所示为本发明一实施例的一种基于音频语音处理技术的课堂教学辅助督导系统的结构示意图。

图4所示为本发明一实施例的具体的系统结构示意图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以如具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

请参考图1所示，本发明中提供一种基于音频语音处理技术的课堂教学辅助督导方法，所述方法包括：

步骤s1，采集教室内的音频信号。在教室内，采集教师在课堂授课的语音信息，语音信号包括了身份，口音，内容，情感等多种信息。本发明通过有线麦克风，无线麦克风，穿戴式麦克风或麦克风阵列等各种形式采集得到的音频信号。将采集的音频信号从教室内的调音台或功放设备上引出，连接到嵌入式音频发送至移动终端。

步骤s2，识别采集的所述音频信号中是否有教学语音。所述移动终端接收来自教室内的语音，利用语音端点检测技术判断是否有教学语音，主要判断是否有人说话。本发明主要利用基于神经网络的语音端点检测技术识别是否有教学语音。现有技术主要采用双门限法、方差法和谱熵法等最具代表性的传统语音端点检测算法。这些传统信号处理方法，在较高信噪比的情况下，通过调整参数和阈值的办法，可以得到很好的端点检测效果，但通过实验发现，在不同类型的噪声环境下，总体的鲁棒性较差。本发明使用了基于神经网络的端点检测算法：采用了深度神经网络和卷积神经网络作为分类模型。通过对比实验结果表明，将麦克风阵列采集到的多通道语音信号作为输入时可以有效的提升深度神经网络和卷积神经网络模型的分类效果，且神经网络模型的分类效果对于不同类型的噪声环境具有一定的鲁棒性。

本发明通过语音识别模块识别采集的音频信号中是否有教学语音，本发明的语音识别模块可以根据给定的课程教学大纲和课本的文本定制语音识别中的语言模型，本发明使用n-gram的语言模型：n-gram是一种统计语言模型，用来根据前(n-1)个item来预测第n个item。在应用层面，这些item可以是音素(语音识别应用)、字符(输入法应用)、词(分词应用)或碱基对(基因信息)。一般来讲，可以从大规模文本或音频语料库生成n-gram模型。

模型假设：出现当前单词的概率仅与前n-1个单词有关，即

p(wk|w1,w2,…,wk-1)＝p(wk|wk-n+1,…,wk-1)

所以一整段句子出现的概率可表示为

通常通过最大似然估计方法来估计n-gram语言模型参数计算。

其中c(x)是x在语料中出现的次数，训练的语料规模越大，估计出来的参数就越可靠。一般来说n取3或者4性能能够达到要求。对于参数估计概率为0的情况，使用数据平滑的方法进行平滑，赋给这些情况以较小的概率。常用的平滑算法有good-turing平滑、加法平滑、katz平滑、插值平滑，等等。

步骤s3，若有，则将包含有所述教学语音的音频信号传送到服务器。本发明通过网络或射频方式将包含有教学语音的信号发送给私有云上的服务器。

步骤s4，分析所述服务器接收的来自不同教室的音频信号，得到与课堂教学督导相关的指标。私有云上的服务器接收来自不同教室的音频信号，调用声纹识别，语种方言识别，语音识别，情感识别，说话人日志等语音技术来得到一系列与课堂教学督导相关的指标，如考勤，教师普通话水平，课堂授课语音转文本字幕，关键词检索，主题提取，摘要生成，教学大纲关联度分析，教师授课语音流利程度，语法正确性，总时长，总字数，授课教师语音的情感及韵律分析等指标。

其中，本步骤中的语音识别仍可采用步骤3中的语音识别方法，另外，因为老师授课时并不是只讲课本的文本，或者可能语音识别系统初来对某些老师的某些口音识别并不准确，因此，需要将做出大纲课程专用语言模型与通用语言模型做合并处理，使用真实老师授课时所讲话的文本测试混淆度，以期望测试不同混合比例的效果来改善模型。具体的，对采集的语音的识别结果和识别音频进行重新标注，之后加入到训练语音识别模型的训练数据中重新训练模型。这样新生成的语音识别系统对此老师的此口音识别更加准确，达到了对老师口音的自适应的迭代改进。

本发明语音识别后与教学大纲进行比对，采用tf-idf模型对识别结果和教学大纲两大文档进行相关度计算。具体的，对两大文档进行词频统计，构建词袋字典模型，key为文档中出现过的词，value为这个词的索引序号。那么每个文档都可以用词袋表示成向量，向量的索引为词袋模型的value，索引上的值为本文档中出现这个词的频数。

因为中文文本中最常见的词是“的”、“是”、“有”这样的没有实际含义的词。所以要对这些没有含义的词给予一个小的权重，出现频数少但是关键词的词要赋予大的权重。使用idf逆文档频率可完成。

其中，tf表示词频，即一个词在这篇文本中出现的频率；idf表示逆文档频率，即一个词在所有文本中出现的频率倒数。因此，一个词在某文本中出现的越多，在其他文本中出现的越少，则这个词能很好地反映这篇文本的内容，权重就越大。最后将两个词袋向量求距离可以得到两个文档的相关度。

请参考图2所示，在本发明的另一实施例中，所述基于音频语音处理技术的课堂教学辅助督导方法还包括：

步骤s5，通过移动设备查看所述指标，并对所述指标进行纵向或横向比较。用户可通过网页客户端或者移动设备app来查看各种分析的结果，并对分析结果进行横向及纵向的比较，并将比较结果通过网页客户端或者移动设备app进行显示，方便用户进行选择。

步骤s6，当发生突发情况或教学事故时自动发送报警信息。本发当教学过程中发生突发分情况或存在潜在的教学事故的情况下，会自动发送短信和邮件进行提醒，辅助开展课堂教学的督导工作。

本发明提供的基于音频语音处理技术的课堂教学辅助督导方法，采集教师在课堂授课的语音信息，将语音信号经过压缩以后，码率非常小，方便于利用现有校内网络传输全校的课室的数据，安全可靠且数据体积小，方便存储。同时，对语音进行识别，处理和分析的模块在终端和云端对计算量的要求要明显小于视频，大大节约整体系统的部署成本。最后，使用课室内现有的多种音频采集方式，可以不限制教师的活动范围，可在不改变教学方式的情况下，从调音台或功放外接音频通过智能化转发终端发送到私有云的服务器上，无缝对接云端的语音处理模块。

请参考图3所示，本发明还提供一种基于音频语音处理技术的课堂教学辅助督导系统，包括语音采集模块10，语音识别模块20，通信模块30和分析模块40，其中，语音采集模块10用于采集教室内的音频信号，并将采集的音频信号从教室内的调音台或功放设备上引出，连接到嵌入式音频发送至移动终端50。所述移动终端50接收来自教室内的语音，利用语音端点检测技术判断是否有教学语音，主要判断是否有人说话。将包含的有教学语音的音频信号通过通信模块40发送给私有云上的服务器60。分析模块40对服务器60接收的来自不同教室的音频信号进行分析，得到与教学督导相关的指标。

请参考图4所示，在教室内，采集教师在课堂授课的语音信息，语音信号包括了身份，口音，内容，情感等多种信息。本发明通过有线麦克风，无线麦克风，穿戴式麦克风或麦克风阵列等各种形式采集得到的音频信号。将采集的音频信号从教室内的调音台或功放设备上引出，连接到嵌入式音频发送终端服务器。终端服务器采集教室内的语音，利用语音端点检测技术判断是否有人在说话或是否有教学语音，如有则通过网络或射频方式发送给私有云上的服务器。私有云端服务器接收来自不同教室的音频语音数据，调用声纹识别，语种方言识别，语音识别，情感识别，说话人日志等语音技术来得到一系列与课堂教学督导相关的指标，如考勤，教师普通话水平，课堂授课语音转文本字幕，关键词检索，主题提取，摘要生成，教学大纲关联度分析，教师授课语音流利程度，语法正确性，总时长，总字数，授课教师语音的情感及韵律分析等指标。

在本发明的另一实施例还包括移动设备，用于查看分析后的指标，并对所述指标进行纵向或横向比较。用户可通过网页客户端或者移动设备app来查看各种分析的结果，进行横向及纵向的比较，并将比较结果通过网页客户端或者移动设备app进行显示，方便用户进行选择。

本发明的另一实施例中，还包括报警模块，用于当发生突发情况或教学事故时自动发送报警信息。系统也将在有突发状况或潜在教学事故的情况下，自动发送短信和邮件进行预警，辅助开展课堂教学的督导工作

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡如本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。