本发明涉及音频识别与处理,具体而言,涉及一种背诵质量的智能检测方法、装置、存储介质和程序产品。
背景技术:
1、智能设备已经成为学生日常学习中不可或缺的一部分。比如,学生有很多背诵的知识点,但居家背诵时父母可能没有充足的时间对学生背诵的结果进行检查,这时就需要智能设备能够充当“父母”或“老师”的角色,对学生背诵的结果进行检查。同时,老师也可以通过智能设备对学生背诵结果的检查情况来了解不同学生对不同知识点的掌握情况。
2、目前,在线背诵设备通常采用预先将用户上传的数字化资料生成背诵内容,再根据背诵内容与用户背诵语音(实际上是用户背诵的语音转化成的文字)对比生成检查结果。然而,现有方案中的不足在于:
3、(1)背诵内容由用户自行上传,老师无法掌握不同学生的背诵情况;且背诵内容是标准的、唯一的,比如古诗词。而对于一些开放性的、自定义的背诵内容,现有方案无法对此类背诵内容做出评分标准,无法真正实现检查学生对知识点的掌握情况。
4、(2)学生背诵时可能存在口音,或者不同学生因为普通话水平差别而导致学生背诵录音转化成文字时存在不真实的差距,进而导致评分不客观,无法真正实现检查学生背诵的功能。
技术实现思路
1、本发明的目的在于提供一种背诵质量的智能检测方法、装置、存储介质和程序产品,有助于解决上述技术问题。
2、本发明是这样实现的:
3、第一方面,提供了一种背诵质量的智能检测方法,包括以下步骤:
4、背诵内容定义步骤:用于在老师端设定背诵内容文本,并设置背诵内容文本的关键词句及其评分权重。
5、音频数据采集步骤:用于在学生端采集学生用户的音频数据。
6、音频数据识别步骤:用于识别音频数据中的声纹特征;用于将音频数据转化成背诵识别文本。
7、特征比对步骤:用于将背诵过程的声纹特征与预录入的声纹特征进行比对;用于将背诵识别文本与背诵内容文本进行比对,并按照评分权重统计输出分数。
8、在上述技术方案中,进一步地,在背诵过程开始前,学生端预先采集学生用户的音频数据并识别为预录入的声纹特征。
9、在上述任一技术方案中,进一步地,在背诵内容定义步骤中,还设定了与全部或者部分关键词句对应的近义词句,近义词句的评分权重即为对应的关键词句的评分权重;在特征比对步骤中,当背诵识别文本与关键词句或者近义词句比对存在一致时,按照评分权重统计输出分数并将背诵识别文本存储至第一数据库;当背诵识别文本与关键词句或者近义词句比对完全不一致时,将背诵识别文本存储至第二数据库。
10、在上述任一技术方案中,进一步地,在音频数据识别步骤中通过i-vector/plda模型识别音频数据中的声纹特征。
11、在上述任一技术方案中,进一步地,在音频数据识别步骤中利用transformer模型或者speechformer模型对音频数据进行纠错后转化成最接近音频数据的背诵识别文本。
12、在上述任一技术方案中,进一步地,在音频数据识别步骤中,学生端能够实时输出背诵识别文本,能够对背诵识别文本进行修改,同时修改痕迹将被保存至老师端。
13、在上述任一技术方案中,进一步地,还包括图像采集步骤:在学生端以设定的频率采集学生用户的人像数据并进行动态监测,如果在设定的期间内人像移动达到设定的次数,则判定学生用户作弊。
14、第二方面,提供了一种背诵质量的智能检测装置,包括:
15、采集识别单元,用于在学生端采集学生用户的音频数据、识别音频数据的声纹特征和将音频数据转化成背诵识别文本。
16、数据存储单元,用于存储背诵内容文本和背诵识别文本。
17、对比检测单元,用于将背诵内容文本和背诵识别文本进行比对评分。
18、第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序包括用于执行上述的背诵质量的智能检测方法的部分或全部步骤。
19、第四方面,提供了一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得所述计算机执行上述的背诵质量的智能检测方法的部分或全部步骤。
20、与现有技术相比,本发明的有益效果是:
21、本发明的背诵质量的智能检测方法、装置、存储介质和程序产品,通过背诵内容定义步骤及其关键词句和评分权重的设置,利于老师自定义可评分的背诵内容,使得此智能检测方法适用于非唯一背诵内容的场景,并向老师给出最合理的背诵检查结果。同时,通过音频数据识别步骤的声纹特征识别,可避免学生因口音等问题影响评分的客观性,还可以防止部分学生在背诵过程出现作弊行为。
1.一种背诵质量的智能检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的智能检测方法,其特征在于,在背诵过程开始前,学生端预先采集学生用户的音频数据并识别为预录入的声纹特征。
3.根据权利要求1所述的智能检测方法,其特征在于,在背诵内容定义步骤中,还设定了与全部或者部分关键词句对应的近义词句,近义词句的评分权重即为对应的关键词句的评分权重;
4.根据权利要求1所述的智能检测方法,其特征在于,在音频数据识别步骤中通过i-vector/plda模型识别音频数据中的声纹特征。
5.根据权利要求1所述的智能检测方法,其特征在于,在音频数据识别步骤中利用transformer模型或者speechformer模型对音频数据进行纠错后转化成最接近音频数据的背诵识别文本。
6.根据权利要求1所述的智能检测方法,其特征在于,在音频数据识别步骤中,学生端能够实时输出背诵识别文本,能够对背诵识别文本进行修改,同时修改痕迹将被保存至老师端。
7.根据权利要求1~6任一项所述的智能检测方法,其特征在于,还包括图像采集步骤:在学生端以设定的频率采集学生用户的人像数据并进行动态监测,如果在设定的期间内人像移动达到设定的次数,则判定学生用户作弊。
8.一种背诵质量的智能检测装置,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序包括用于执行权利要求1~7任一项所述的背诵质量的智能检测方法的部分或全部步骤。
10.一种计算机程序产品,其特征在于,所述计算机程序产品在计算机上运行时,使得所述计算机执行权利要求1~7任一项所述的背诵质量的智能检测方法的部分或全部步骤。