一种基于人工智能的英语口语练习分析比对系统

本发明涉及英语口语分析，具体而言，是一种基于人工智能的英语口语练习分析比对系统。

背景技术：

1、英语在世界所有语言中用途最广,由于社会的不断发展进步,对综合型人才有大量的需求,很多学校对英语口语教学予以一定的重视,但由于学校的英语口语教学是一对多的教学模式，使得教学老师在教学过程中无法实时关注到每一个学生，导致难以为学生提供一对一均衡的口语教学,致使当前学校英语口语的教学收效甚微，在这种情况下，人们迫切需要一种一对一实时的口语教学形式，为了满足这种需求，基于人工智能的英语口语教学系统应运而生。

2、鉴于英语口语教学的关键在于发音教学，使得现在的英语口语教学系统侧重于发音校对，如公开号为cn109326160a的中国发明专利公开的一种英语口语发音校对系统，通过对练习者进行发音音频数据和口型图像数据采集，以此评判练习者的英语口语发音是否标准，并根据评判结果进行发音辅助指导，该发明在实际应用中存在如下缺陷：1、该发明在进行发音辅助指导时由于缺乏对发音错误的细化指向解析，导致难以为发音辅助指导提供针对性的发音口型指导方向，进而不仅降低了辅助指导效率，还直接影响了辅助指导效果。

3、2、该发明对练习者错误发音数据的利用形式过于单一，仅用于实现发音校正，致使错误发音数据的利用率较低，导致英语口语教学系统的使用功能过于局限，仅适合当前使用，无法为练习者的未来发音练习提供有效参考，潜在价值不高，不利于练习者发音标准度的快速提高，从而在一定程度上降低了练习者对英语口语教学系统的使用粘性。

技术实现思路

1、为解决上述技术问题，本发明是通过以下技术方案实现的：一种基于人工智能的英语口语练习分析比对系统，包括：学生用户登录模块，用于由学生用户通过注册账号登录系统。

2、发音音频采集模块，用于在学生用户练习英语单词的过程中利用拾音器采集学生用户练习各英语单词的发音音频。

3、口型视频采集模块，用于在学生用户练习英语单词的过程中利用图像采集器采集学生用户练习各英语单词的口型视频。

4、比对信息库，用于存储各英语单词对应的标准发音音频和标准口型视频，并存储各音素表征类型对应的发音主导因子。

5、发音标准评估模块，用于提取各英语单词的标准发音音频，进而将学生用户练习各英语单词的发音音频与对应英语单词的标准发音音频进行对比分析，评估学生用户练习各英语单词的发音标准度。

6、关键英语单词识别模块，用于基于学生用户练习各英语单词的发音标准度识别出关键英语单词。

7、发音错误音节解析模块，用于解析各关键英语单词对应的发音错误音节。

8、关键英语单词发音指导模块，用于提取各关键英语单词的口型视频，并结合各关键英语单词对应的发音错误音节进行发音指导。

9、重点练习音素确定模块，用于将各关键英语单词对应的发音错误音节进行综合对比分析，从中确定学生用户对应的英语口语重点练习音素。

10、重点练习词库构建存储模块，用于根据学生用户对应的英语口语重点练习音素进行重点练习词库构建，并存储。

11、进一步地，所述评估学生用户练习各英语单词的发音标准度包括以下步骤：a1、依次将学生用户练习各英语单词的发音音频和各英语单词的标准发音音频进行音波图转化，得到学生用户练习各英语单词的发音波形图和各英语单词的标准发音波形图。

12、a2、将各英语单词进行音节划分，并对各音节进行编号，同时计算各音节对应的字母占比率。

13、a3、分别从各英语单词的标准发音波形图、学生用户练习各英语单词的发音波形图中标记出音波单体，其中音波单体与音节一一对应。

14、a4、从学生用户练习各英语单词的发音波形图中提取各音节所属音波单体的幅值和发音时间区间，其中发音时间区间由初始发音时间点和结束发音时间点构成，并从各英语单词的标准发音波形图中提取各音节所属音波单体的标准幅值和标准发音时间区间。

15、a5、借助公式统计得到学生用户练习各英语单词中各音节对应的发音标准度cpij，其中i表示为英语单词的编号，i＝1,2,…,n，n表示为学生用户练习的英语单词数量，j表示为音节编号，j＝1,2,...,m，m表示为英语单词中存在的音节数量，pij表示为学生用户练习第i个英语单词中第j个音节所属音波单体的幅值，pij′表示为第i个英语单词中第j个音节所属音波单体的标准幅值，tija、tijb分别表示为学生用户练习第i个英语单词中第j个音节所属音波单体的初始发音时间点、结束发音时间点，tija′、tijb′分别表示为第i个英语单词中第j个音节所属音波单体的标准初始发音时间点、标准结束发音时间点，rij表示为学生用户练习第i个英语单词中第j个音节对应的发音时长符合度，α、β分别表示为预设的幅值、发音时间对应的权衡因子，且α+β＝1。

16、a6、将cpij代入评估公式得到学生用户练习各英语单词的发音标准度qi，λij表示为第i个英语单词中第j个音节对应的字母占比率。

17、进一步地，所述rij的表示公式为e表示为自然常数。

18、进一步地，所述关键英语单词的识别方式为将学生用户练习各英语单词的发音标准度与设置的合格发音标准度进行对比，若学生用户练习某英语单词的发音标准度小于设置的合格发音标准度，则将该英语单词记为关键英语单词。

19、进一步地，所述解析各关键英语单词对应的发音错误音节如下解析方式为：将学生用户练习各关键英语单词中各音节对应的发音标准度与相应音节的发音标准度阈值进行对比，从中筛选出各关键英语单词中小于发音标准度阈值的音节作为各关键英语单词对应的发音错误音节。

20、进一步地，所述基于各关键英语单词对应的发音错误音节进行发音指导具体包括以下步骤：b1、根据各关键英语单词对应的发音错误音节从学生用户练习各关键英语单词的发音波形图中定位出发音错误音节对应的音波单体，将其记为特定音波单体。

21、b2、从学生用户练习各关键英语单词的发音波形图中提取指定音波单体对应的发音时间区间，将其记为特定时间区间，以此从相应关键英语单词的口型视频中截取特定时间区间对应的口型视频段，记为特定口型视频段。

22、b3、从各关键英语单词对应的特定口型视频段中截取有效口型图像，并从中提取口型特征参数，其中口型特征参数包括唇部张开形状、舌头卷曲形状和舌尖放置位置。

23、b4、从比对信息中提取各关键英语单词对应的标准口型视频，并将其按照b2和b3处理得到标准有效口型图像，进而从中提取标准口型特征参数。

24、b5、将各关键英语单词对应的口型特征参数与标准口型特征参数进行对比，从中识别出异常口型特征参数，作为各关键英语单词对应的发音口型指导方向。

25、b6、根据各关键英语单词对应的发音口型指导方向进行指导。

26、进一步地，所述从各关键英语单词对应的特定口型视频段中截取有效口型图像如下操作方式：从学生用户练习各关键英语单词的发音波形图中提取指定音波单体峰值对应的时间点，记为目标时间点。

27、从各关键英语单词对应的特定口型视频段中定位到目标时间点对应的图像，记为有效口型图像，并截取。

28、进一步地，所述确定学生用户对应的英语口语重点练习音素参见如下步骤：c1、将各关键英语单词对应的发音错误音节依次进行音素分解，得到若干音素，并识别出各音素对应的表征类型，进而从对比信息库中提取各音素对应的发音主导因子。

29、c2、将各发音错误音节分解得到的各音素进行相互对比，进而将相同音素进行归类，以此统计所有发音错误音节归类出的音素数量及各音素的出现频次。

30、c3、将各音素对应的发音主导因子和出现频次通过公式计算出各音素对应的倾向指数其中k表示为音素编号，k＝1,2,…,z，z表示为所有发音错误音节归类出的音素数量，xk表示为第k音素的出现频次，εk表示为第k音素对应的发音主导因子。

31、c4、从各音素对应的倾向指数中提取最大倾向指数对应的音素作为学生用户对应的英语口语重点练习音素。

32、进一步地，所述表征类型包括元音和辅音。

33、进一步地，所述根据学生用户对应的英语口语重点练习音素进行重点练习词库归纳构建具体执行过程包括以下步骤:d1、基于学生用户的注册账号从后台提取学生用户对应的当前学业年级，并据此从英语词库中筛选出学生用户当前学业年级规定掌握的英语单词，将其记为备选英语单词。

34、d2、分别将各备选英语单词进行音节划分，并对划分的各音节进行音素分解，得到各备选英语单词分解完成的若干音素。

35、d3、将各备选英语单词分解完成的若干音素与学生用户对应的英语口语重点练习音素进行匹配，从中筛查出匹配成功的备选英语单词，记为适配英语单词。

36、d4、从各适配英语单词划分的音节中识别出学生用户对应的英语口语重点练习音素归属音节，将其记为指定音节。

37、d5、依次将各适配英语单词对应的指定音节与各关键英语单词对应的发音错误音节进行字母重合对比，并利用公式计算得到各适配英语单词与各关键英语单词的音节相似度，与此同时将其导入计算得到各适配英语单词对应的综合音节相似度d表示为适配英语单词的编号，d＝1,2,…,u，u表示为适配英语单词的数量，χdmax、χdmin分别表示为第d适配英语单词与各关键英语单词的音节相似度中的最大音节相似度、最小音节相似度。

38、d6、将筛查出的适配英语单词构成重点练习词库，并在重点练习词库内将各适配英语单词按照综合音节相似度降序排列。

39、与现有技术相比，本发明具有以下优点：1、本发明通过利用拾音器和图像采集器采集学生用户练习各英语单词的发音音频和口型视频，进而将发音音频进行音波图转化分割处理，以此评判学生用户的英语口语发音是否标准，并在评判结束后基于发音音频数据的具象分割处理实现了发音错误的细化指向解析，使得评判结果更加深入，能够为发音辅助指导提供针对性的发音口型指导方向，不仅能够提高辅助指导效率，还有利于提高辅助指导效果。

40、2、本发明通过对学生用户存在发音错误的英语单词进行集中处理，确定学生用户对应的英语口语重点练习音素，并据此进行重点练习词库构建，实现了学生用户错误发音数据的高效利用，使得英语口语教学系统的使用功能不在局限于当前使用，而是扩展到未来使用，能够为练习者的未来发音练习提供有效参考，具有较高的潜在价值，有利于在短期内提高学生用户的发音标准度，从而在一定程度上提高了的学生用户对英语口语教学系统的使用粘性。