一种基于声纹和语音识别的在线听力学习方法及系统的制作方法

一种基于声纹和语音识别的在线听力学习方法及系统的制作方法
【专利摘要】本发明公开了一种基于声纹和语音识别的在线听力学习方法及系统，本系统由客户端和服务器端组成，其中客户端包括用户界面、语音采集模块，服务器端包括声纹识别模块、语音识别模块、实时处理模块、信息存储模块和监督控制模块。用户在使用本系统进行在线听力学习的过程中，首先进行登录，通过身份验证之后根据系统的语音提示进行作答，系统将作答数据上传到服务器。在服务器端系统主要实现以下功能：实时提取用户的声纹特征判断用户身份；实时进行语音识别，获取用户语音中所包含的信息以判断用户作答是否正确。本发明的实现克服了传统在线学习方式不能识别当前用户真实身份的缺点，而且能够直接从用户的语音中识别答案，提高了在线学习的效率。
【专利说明】
【技术领域】
[0001] 本发明涉及一种在线听力学习方法及系统，尤其是一种基于声纹和语音识别的在 线听力学习方法及系统。 -种基于声纹和语音识别的在线听力学习方法及系统

【背景技术】
[0002] 听力学习在语言学习中一直占有重要地位。传统的在线听力学习方式只能使用用 户界面交互方式进行作答，不能识别当前用户的真实身份，这一缺陷容易在在线听力考试 的过程中产生不公正现象。而且，使用界面交互方式进行学习需要用户实时关注用户界面 试题，这对于喜欢移动学习的用户造成不便。


【发明内容】

[0003] 本发明要解决的技术问题是提供一种在线听力学习的方法及系统，实时对用户的 身份进行验证，维护在线考试的公平性，而且可以实时识别用户语音信息，提高在线听力学 习的效率。为解决上述技术问题本发明的技术方案包括以下两个方面。
[0004] 在本
【发明内容】
的第一方面中，提供了一种基于声纹和语音识别的在线听力学习系 统，该系统包括客户端和服务器端。客户端既可以运行于移动终端，也可以运行于计算机 上，所述服务器端运行于高性能计算机上，他们之间的通信方式既可以采用无线通信方式， 也可以采用有线通信方式。
[0005] 所述的客户端包括：用户界面，用于用户进行注册、登录和成绩查询等操作；语音 采集模块，用于实时采集用户的语音信号。所述的服务器端包括：信息存储模块，用于存储 注册用户的身份信息、声纹特征和听力试题及答案等信息；声纹识别模块，用于对客户端传 送的语音信号进行处理并实时提取此语音信号的声纹特征等信息；语音识别模块，用于对 客户端传送的语音信号进行处理并实时提取此语音信号中所包含的文字信息（主要为用 于作答的结果信息）；实时处理模块，用于获取声纹识别模块和语音识别模块的结果，并将 此结果分别与信息存储模块中用户的声纹特征和试题答案进行匹配处理，获得匹配结果； 监督控制模块，用于获取实时处理模块的匹配结果，管理员可以根据此结果对未能通过声 纹匹配验证的用户采取一定措施。所述监督控制模块还包括管理员进行用户管理的操作界 面。
[0006] 在本
【发明内容】
的第二方面中，提供了一种基于声纹和语音识别的在线听力学习方 法，该方法包括以下步骤：
[0007] 1、用户在客户端打开用户界面，客户端与服务器端建立通信链接；
[0008] 2、用户在首次使用本系统时，需要在客户端的用户界面上进行注册后方可登录， 同时语音采集模块采集该用户的语音信号；用户再次使用本系统时，直接在客户端的用户 界面上进行登录即可，并且语音采集模块采集用户该次登录的语音信号；
[0009] 3、系统将用户注册或登录时所输入的个人身份信息和采集的语音信号上传至服 务器端；
[0010] 4、服务器端的实时处理模块首先判断该用户进行的是注册还是登录操作，若用户 进行的是注册操作，实时处理模块调用信息存储模块并为该用户在信息存储模块中分配信 息存储空间，存储该用户注册的个人身份信息，然后调用声纹识别模块提取该用户语音信 号中的声纹特征，并将特征结果存储到该用户的信息存储空间；若用户进行的是登录操作， 实时处理模块调用声纹识别模块提取该用户本次登录时语音信号中的声纹特征，然后同时 将识别的声纹特征和用户登陆时输入的身份信息在信息存储模块中进行匹配，信息存储模 块将匹配结果返回至实时处理模块；
[0011] 5、服务器端的实时处理模块根据信息存储模块返回的匹配结果判断该用户是否 为合法用户。若匹配成功，说明登录者为用户本人，用户方可进行下一步学习操作；若匹配 失败，系统则进行相应提示；
[0012] 6、服务器端的实时处理模块判定登录者为用户本人时，根据用户在用户界面的选 择从信息存储模块中调出相应的听力试题回传到客户端；
[0013] 7、客户端根据用户在用户界面的选择进行听力放音，用户听完每道听力试题之后 用语音进行作答，用户作答的语音信号实时上传至服务器端；
[0014] 8、服务器端接收到用户作答的语音信号之后，并行进行以下两种操作：调用声纹 识别模块提取该语音信号的声纹特征并与该用户在信息存储模块中存储的声纹特征进行 匹配；调用语音识别模块识别该语音信号中的作答信息，并将识别出的作答信息与信息存 储模块中该套听力试题的答案进行匹配；
[0015] 9、服务器端的实时处理模块根据声纹特征的匹配结果实时对作答用户的真实身 份进行识别，并且根据用户的作答信息与答案的匹配结果实时对用户的答题结果进行判 断，并将该用户的身份识别信息与作答信息传递给监督控制模块供管理员进行实时监控；
[0016] 10、若用户在使用本系统进行听力学习的过程中，始终为用户本人进行作答，当用 户完成一套听力试题之后，服务器端的实时处理模块将用户的作答信息及成绩返回给客户 端和监督控制模块，并在该用户的信息存储空间中实时进行存储记录；若非本人进行作答， 则监督控制模块向管理员进行提示，管理员进行相应管理；
[0017] 11、用户完成听力学习之后，在客户端关闭用户界面，客户端与服务器端断开链 接。
[0018] 在步骤2中，用户注册时需要填写的信息包括用户名、密码、确认密码、注册邮箱、 真实姓名，用户登录时需要填写的信息包括用户名、密码、验证码。并且用户在登录时有两 种答题方式可供选择，一种是语音答题方式，另一种是非语音答题方式，当用户采取非语音 答题方式时，服务器端只在用户登录时进行声纹特征提取，在用户答题时不进行声纹特征 提取和语音识别。
[0019] 本发明具有如下有益效果：
[0020] 与传统在线听力学习方式相比，本发明能够实时对用户的身份进行验证，维护在 线考试的公平性，而且可以实时识别用户语音信息，提高在线听力学习的效率。

【专利附图】

【附图说明】
[0021] 图1为本发明所述的一种基于声纹和语音识别的在线听力学习方法及系统的系 统框架图；
[0022] 图2为本发明所述的一种基于声纹和语音识别的在线听力学习方法及系统的方 法流程图；
[0023] 图3为本发明所述的一种基于声纹和语音识别的在线听力学习方法及系统的客 户端用户登陆界面布局示意图；
[0024] 图4为本发明所述的一种基于声纹和语音识别的在线听力学习方法及系统的客 户端用户注册界面布局示意图；
[0025] 图5为本发明所述的一种基于声纹识别和语音识别的在线听力学习方法及系统 的客户端用户选择试题界面布局示意图；
[0026] 图6为本发明所述的一种基于声纹和语音识别的在线听力学习方法及系统的客 户端用户答题界面布局示意图；
[0027] 图7为本发明所述的一种基于声纹和语音识别的在线听力学习方法及系统的客 户端用户答题完毕提交界面布局示意图；
[0028] 图8为本发明所述的一种基于声纹和语音识别的在线听力学习方法及系统的服 务器端监督控制模块管理员界面布局示意图；

【具体实施方式】
[0029] 结合说明书附图，对本发明的【具体实施方式】做详细阐述。本发明提供一种基于声 纹和语音识别的在线听力学习方法及系统，该系统包括客户端和服务器端，客户端既可以 运行于移动终端，也可以运行于计算机上，所述服务器端运行于高性能计算机上，他们之间 的通信方式既可以采用无线通信方式，也可以采用有线通信方式。其系统框架如图1所示。
[0030] 该系统的客户端包括：用户界面，用于用户进行注册、登录和成绩查询等操作；语 音采集模块，用于实时采集用户的语音信号。该系统的服务器端包括：信息存储模块，用于 存储注册用户的身份信息、声纹特征和听力试题及答案等信息；声纹识别模块，用于对客户 端传送的语音信号进行处理并实时提取此语音信号的声纹特征等信息；语音识别模块，用 于对客户端传送的语音信号进行处理并实时提取此语音信号中所包含的文字信息（主要 为用于作答的结果信息）；实时处理模块，用于获取声纹识别模块和语音识别模块的结果， 并将此结果分别与信息存储模块中用户的声纹特征和试题答案进行匹配处理，获得匹配结 果；监督控制模块，用于获取实时处理模块的匹配结果，管理员可以根据此结果对未能通过 声纹匹配验证的用户采取一定措施。所述监督控制模块还包括管理员进行用户管理的操作 界面。
[0031] 本发明提供一种基于声纹和语音识别的在线听力学习方法及系统，该方法步骤包 括：
[0032] 1、用户在客户端打开用户界面，客户端与服务器端建立通信链接；
[0033] 2、用户在首次使用本系统时，需要在客户端的用户界面上进行注册后方可登录， 同时语音采集模块采集该用户的语音信号；用户再次使用本系统时，直接在客户端的用户 界面上进行登录即可，并且语音采集模块采集用户该次登录的语音信号；
[0034] 3、系统将用户注册或登录时所输入的个人身份信息和采集的语音信号上传至服 务器端；
[0035] 4、服务器端的实时处理模块首先判断该用户进行的是注册还是登录操作，若用户 进行的是注册操作，实时处理模块调用信息存储模块并为该用户在信息存储模块中分配信 息存储空间，存储该用户注册的个人身份信息，然后调用声纹识别模块提取该用户语音信 号中的声纹特征，并将特征结果存储到该用户的信息存储空间；若用户进行的是登录操作， 实时处理模块调用声纹识别模块提取该用户本次登录时语音信号中的声纹特征，然后同时 将识别的声纹特征和用户登陆时输入的身份信息在信息存储模块中进行匹配，信息存储模 块将匹配结果返回至实时处理模块；
[0036] 5、服务器端的实时处理模块根据信息存储模块返回的匹配结果判断该用户是否 为合法用户。若匹配成功，说明登录者为用户本人，用户方可进行下一步学习操作；若匹配 失败，系统则进行相应提示；
[0037] 6、服务器端的实时处理模块判定登录者为用户本人时，根据用户在用户界面的选 择从信息存储模块中调出相应的听力试题回传到客户端；
[0038] 7、客户端根据用户在用户界面的选择进行听力放音，用户听完每道听力试题之后 用语音进行作答，用户作答的语音信号实时上传至服务器端；
[0039] 8、服务器端接收到用户作答的语音信号之后，并行进行以下两种操作：调用声纹 识别模块提取该语音信号的声纹特征并与该用户在信息存储模块中存储的声纹特征进行 匹配；调用语音识别模块识别该语音信号中的作答信息，并将识别出的作答信息与信息存 储模块中该套听力试题的答案进行匹配；
[0040] 9、服务器端的实时处理模块根据声纹特征的匹配结果实时对作答用户的真实身 份进行识别，并且根据用户的作答信息与答案的匹配结果实时对用户答题的正确与否进 行判断，并将该用户的身份识别信息与作答信息传递给监督控制模块供管理员实时进行监 控；
[0041] 10、若用户在使用本系统进行听力学习的过程中，始终为用户本人作答，当用户完 成一套听力试题之后，服务器端的实时处理模块将用户的作答信息及成绩返回给客户端和 监督控制模块，并在该用户的信息存储空间中实时进行存储记录；若非本人作答，则监督控 制模块向管理员提示，管理员进行相应管理；
[0042] 11、用户完成听力学习之后，在客户端关闭用户界面，客户端与服务器端断开链 接。
[0043] 在步骤2中，用户注册时需要填写的信息包括用户名、密码、确认密码、注册邮箱、 真实姓名，用户登录时需要填写的信息包括用户名、密码、验证码。并且用户在登录时有两 种答题方式可供选择，一种是语音答题方式，另一种是非语音答题方式，当用户采取非语音 答题方式时，服务器端只在用户登录时进行声纹特征提取，在用户答题时不进行声纹特征 提取和语音识别。算法流程图如图2所示。
[0044] 以安卓系统的手机作为客户端，以计算机作为服务器端实现上述方法为例，将本 发明的一种基于声纹和语音识别的在线听力学习方法及系统介绍如下。
[0045] 首先介绍客户端实现方法。
[0046] 1、实例化用户登录、用户注册、选择试题、作答试题、提交共五个Activity类，其 中用户登陆界面布局如图3所示，用户注册界面布局如图4所示，用户选择试题界面布局如 图5所示，用户作答试题界面布局如图6所示，用户提交作答结果界面布局如图7所示，并 在AndroidManifest. xml中增加对Activity的声明，获取录音权限，代码示例如下： 〈users-permission android:name =，'android, permission. RECORD-AUDIO，'>
[0047] 2、客户端与服务器端的通信采用Http协议，以登录为例，代码示例如下： HttpClient httpClient = new DefaultHttpClient ()； String url = Const. url+〃/loginServlet〃 ； HttpPost httpPost = new HttpPost (url)；
[0048] 3、语音采集模块录音功能实现代码示例如下： private static final String LOG-TAG = 〃AudioRecordTest〃 ； private static String mFileName = null ； private MediaRecorder mRecorder = null ； mRecorder = new MediaRecorder ()； mRecorder. setAudioSource(MediaRecorder. AudioSource. MIC)； mRecorder. setOutputFormat(MediaRecorder. OutputFormat. THREE-GPP); mRecorder. setOutputFile(mFileName)； mRecorder. setAudioEncoder(MediaRecorder. AudioEncoder. AMR_NB)； try {mRecorder. prepare () ；} catch (IOException e) {Log. e (LOG-TAG，''prepare () failed"）；} mRecorder. start ()；
[0049] 然后介绍服务器端实现方法。
[0050] 1、服务器端采用Tomcat服务器；
[0051] 2、服务器端声纹识别模块和语音识别模块采用成熟的专业声纹识别引擎和语音 识别引擎。
[0052] 3、信息存储模块采用Access数据库，与数据库连接的示例代码如下： private llnal sialic String driver = !,sun.jdbc.odbc.JdbcOdbcDrivcr!; private final sialic String url = nj dbc: odbc: clri vcr= {M i croso It Access Driver (*.mdb. 气 accdb)i;DBQ=D://shujuku.mdb''： static { try { C l ass. (brN am c(dri v cr); \ calch (ClassNotFoundExceplion e) \ c.printStackTracc(); \ | public static Connection gctConncciion() throws Exception j return DrivcrManagcr.gclConncction(url); !
[0053] 4、监督控制模块管理员界面布局如图8所示，采用JSP技术编写。以查看操作为 例，其示例代码如下： Connection conn = null ； PreparedStatement pstm = null ； ResultSet rs = null ； try {String sql = ''SELECT氺FROM users WHERE username = ? and password = ? 〃 ； conn = DBUtils. getConnection()； pstm = conn. prepareStatement (sql) ；}
[0054] 由此可见，本发明能够实时对用户的身份进行验证，维护在线考试的公平性，而且 可以实时识别用户语音信息，提高在线听力学习的效率。
【权利要求】
1. 一种基于声纹和语音识别的在线听力学习方法及系统，其特征在于，所述的系统包 括客户端和服务器端，所述的客户端包括： 用户界面，用于用户进行登录、注册和成绩查询等操作； 语音采集模块，用于实时采集用户的语音信号； 所述的服务器端包括： 信息存储模块，用于存储注册用户的身份信息、声纹特征和听力试题及答案等信息； 声纹识别模块，用于对客户端传送的语音信号进行处理并实时提取此语音信号的声纹 特征等信息； 语音识别模块，用于对客户端传送的语音信号进行处理并实时提取此语音信号中所包 含的文字信息（主要为用于作答的结果信息）； 实时处理模块，用于获取声纹识别模块和语音识别模块的结果，并将此结果分别与信 息存储模块中用户的声纹特征和试题答案进行匹配处理，获得匹配结果； 监督控制模块，用于获取实时处理模块的匹配结果，管理员可以根据此结果对未能通 过声纹匹配验证的用户采取一定措施。
2. 根据权利要求1所述的一种基于声纹和语音识别的在线听力学习方法及系统，其特 征在于，所述客户端既可以运行于移动终端，也可以运行于计算机上，所述服务器端运行于 高性能计算机上。
3. 根据权利要求1所述的一种基于声纹和语音识别的在线听力学习方法及系统，其特 征在于，所述客户端与服务器端的通信方式既可以采用无线通信方式，也可以采用有线通 信方式。
4. 根据权利要求1所述的一种基于声纹和语音识别的在线听力学习方法及系统，其特 征在于，所述的监督控制模块，包括管理员进行用户管理的操作界面。
5. -种基于声纹和语音识别的在线听力学习方法及系统，其特征在于，所述的方法包 括以下步骤： (1) 用户在客户端打开用户界面，客户端与服务器端建立通信链接； (2) 用户在首次使用本系统时，需要在客户端的用户界面上进行注册后方可登录，同时 语音采集模块采集该用户的语音信号；用户再次使用本系统时，直接在客户端的用户界面 上进行登录即可，并且语音采集模块采集用户该次登录的语音信号； (3) 系统将用户注册或登录时所输入的个人身份信息和采集的语音信号上传至服务器 端； (4) 服务器端的实时处理模块首先判断该用户进行的是注册还是登录操作，若用户进 行的是注册操作，实时处理模块调用信息存储模块并为该用户在信息存储模块中分配信 息存储空间，存储该用户注册的个人身份信息，然后调用声纹识别模块提取该用户语音信 号中的声纹特征，并将特征结果存储到该用户的信息存储空间；若用户进行的是登录操作， 实时处理模块调用声纹识别模块提取该用户本次登录时语音信号中的声纹特征，然后同时 将识别的声纹特征和用户登陆时输入的身份信息在信息存储模块中进行匹配，信息存储模 块将匹配结果返回至实时处理模块； (5) 服务器端的实时处理模块根据信息存储模块返回的匹配结果判断该用户是否为合 法用户。若匹配成功，说明登录者为用户本人，用户方可进行下一步学习操作；若匹配失败， 系统则进行相应提示； (6) 服务器端的实时处理模块判定登录者为用户本人时，根据用户在用户界面的选择 从信息存储模块中调出相应的听力试题回传到客户端； (7) 客户端根据用户在用户界面的选择进行听力放音，用户听完每道听力试题之后用 语音进行作答，用户作答的语音信号实时上传至服务器端； (8) 服务器端接收到用户作答的语音信号之后，并行进行以下两种操作：调用声纹识 别模块提取该语音信号的声纹特征并与该用户在信息存储模块中存储的声纹特征进行匹 配；调用语音识别模块识别该语音信号中的作答信息，并将识别出的作答信息与信息存储 模块中该套听力试题的答案进行匹配； (9) 服务器端的实时处理模块根据声纹特征的匹配结果实时对作答用户的真实身份 进行识别，并且根据用户的作答信息与答案的匹配结果实时对用户答题的正确与否进行判 断，并将该用户的身份识别信息与作答信息传递给监督控制模块供管理员实时进行监控； (10) 若用户在使用本系统进行听力学习的过程中，始终为用户本人进行作答，当用户 完成一套听力试题之后，服务器端的实时处理模块将用户的作答信息及成绩返回给客户端 和监督控制模块，并在该用户的信息存储空间中实时进行存储记录；若非本人进行作答，则 监督控制模块向管理员进行提示，管理员进行相应管理； (11) 用户完成听力学习之后，在客户端关闭用户界面，客户端与服务器端断开链接。
6. 根据权力要求5所述的一种基于声纹和语音识别的在线听力学习方法及系统，其 特征在于，在步骤（2)中，用户注册时需要填写的信息包括用户名、密码、确认密码、注册邮 箱、真实姓名，用户登录时需要填写的信息包括用户名、密码、验证码。
7. 根据权力要求5、6所述的一种基于声纹和语音识别的在线听力学习方法及系统，其 特征在于，在步骤（2)中，用户在登录时有两种答题方式可供选择，一种是语音答题方式， 另一种是非语音答题方式，当用户采取非语音答题方式时，服务器端只在用户登录时进行 声纹特征提取，在用户答题时不进行声纹特征提取和语音识别。
【文档编号】G09B5/04GK104064062SQ201410283637
【公开日】2014年9月24日 申请日期:2014年6月23日 优先权日:2014年6月23日
【发明者】潘荔霞, 李世宝, 孙璐, 马鹏程, 任迎春, 朱珊 申请人:中国石油大学(华东)