一种答题合格的确定方法、装置、电子设备及存储介质与流程

1.本公开涉及机器学习技术领域，具体而言，涉及一种答题合格的确定方法、装置、电子设备及存储介质。


背景技术：

2.目前，在金融以及保险等行业内，需要针对销售人员、客服人员等进行职业话术培训，以帮助销售人员、客服人员等在不同的场景下，使用标准化，专业化的语言为客户提供高质量服务，同时在培训结束后需要对学员的培训效果进行考核，以测评学员的培训效果。
3.在现有的话术培训过程中，培训以及考核的形式主要以面授为主，针对不同领域的职业话术需要由对应的导师完成培训并对学员的培训情况进行考核，但是，由于每个导师都有自己的培训方法及考核标准，其考核方法的可复用性较差，并且考核过程的效率较低，无法适应多学员、多领域的大范围培训需求。


技术实现要素：

4.本公开实施例至少提供一种答题合格的确定方法、装置、电子设备及存储介质，以提升考核学员培训掌握情况的效率，同时可以适应多学员、多领域的大范围培训需求。
5.本公开实施例提供了一种答题合格的确定方法，所述方法包括：
6.获取待识别答题文本及对应的音素特征信息，确定所述待识别答题文本对应的目标应用场景；
7.将所述待识别答题文本和所述音素特征信息输入至预先训练好的要点语句识别模型中，得到所述目标应用场景对应的目标要点语句，以及所述目标要点语句对应的位置特征信息；
8.确定所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息是否对应；
9.若所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息对应，则确定所述待识别答题文本合格。
10.一种可选的实施方式中，基于以下方法获取所述待识别答题文本：
11.获取用户朗读答题内容的音频信息；
12.将所述音频信息转换为文本信息，其中，所述文本信息包括文字文本信息以及所述文字文本信息对应的音素文本信息；
13.将所述文字文本信息以及所述音素文本信息确定为所述待识别答题文本。
14.一种可选的实施方式中，在所述将所述文字文本信息以及所述音素文本信息确定为所述待识别答题文本之后，所述方法还包括：
15.分隔所述文字文本信息以及所述音素文本信息；
16.针对每一个所述文字文本信息，确定该文字文本信息是否对应有所述音素文本信息；
17.若没有，则为所述文字文本信息配置增补音素文本信息。
18.一种可选的实施方式中，在将所述待识别答题文本和所述音素特征信息输入至预先训练好的要点语句识别模型中之前，所述方法还包括：
19.针对所述待识别答题文本进行数据清洗，其中，所述数据清洗包括文本格式清洗、文本标点清洗以及文本数字清洗。
20.一种可选的实施方式中，基于以下方法训练所述要点语句识别模型：
21.从样本数据中提取文本特征和音素特征；
22.确定与所述样本数据对应的数据标签，所述数据标签包括要点语句及要点语句对应的位置信息；
23.根据所述样本数据和所述样本数据对应的数据标签进行模型训练。
24.一种可选的实施方式中，所述样本数据包括标准答题文本、扩展答题文本以及用户答题文本，基于以下方法构建所述样本数据的数据结构：
25.根据所述目标要点语句以及预设的问句生成模板，确定所述样本数据对应的目标问句组；
26.针对所述目标问句组中的每一个所述目标问句，将该目标问句以及所述样本数据分别分割为目标字符串；
27.在所述目标字符串中加入分类字符以及句子分隔符，确定所述样本数据的数据结构。
28.一种可选的实施方式中，基于以下方法确定所述标准答题文本中，所述目标要点语句对应的目标位置特征信息：
29.确定所述标准答题文本在所述目标应用场景中的目标要点语句；
30.确定所述目标要点语句在所述标准答题文本中的文本位置；
31.标识所述文本位置对应的文本起始位置以及文本终止位置；
32.将所述文本起始位置以及文本终止位置确定为所述目标位置特征信息。
33.本公开实施例还提供一种答题合格的确定装置，所述装置包括：
34.获取模块，用于获取待识别答题文本及对应的音素特征信息，确定所述待识别答题文本对应的目标应用场景；
35.输入模块，用于将所述待识别答题文本和所述音素特征信息输入至预先训练好的要点语句识别模型中，得到所述目标应用场景对应的目标要点语句，以及所述目标要点语句对应的位置特征信息；
36.特征识别模块，用于确定所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息是否对应；
37.确定模块，用于若所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息对应，则确定所述待识别答题文本合格。
38.本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述答题合格的确定方法，或上述答题合格的确定方法中任一种可能的实施方式中的步骤。
39.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有
计算机程序，该计算机程序被处理器运行时执行上述答题合格的确定方法，或上述答题合格的确定方法中任一种可能的实施方式中的步骤。
40.本公开实施例提供的一种答题合格的确定方法、装置、电子设备及可读存储介质，采用预先训练好的要点语句识别模型，针对学员的答题文本进行处理，通过答题文本对应的音素特征识别其中是否包含在相应的应用场景中对应的目标要点语句，并将该目标要点语句在学员答题文本中的位置特征信息与标准答题文本中目标要点语句的目标位置特征信息进行对比，以确定该学员的答题是否合格，其考核学员培训掌握情况的效率较高，同时可以适应多学员、多领域的大范围培训需求。
41.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
42.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
43.图1示出了本公开实施例所提供的一种答题合格的确定方法的流程图；
44.图2示出了本公开实施例所提供的另一种答题合格的确定方法的流程图；
45.图3示出了本公开实施例所提供的一种答题合格的确定装置的示意图之一；
46.图4示出了本公开实施例所提供的一种答题合格的确定装置的示意图之二；
47.图5示出了本公开实施例所提供的一种答题合格的确定装置的示意图之三；
48.图6示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
49.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
50.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
51.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
52.经研究发现，在现有的话术培训过程中，培训以及考核的形式主要以面授为主，针
对不同领域的职业话术需要由对应的导师完成培训并对学员的培训情况进行考核，但是，由于每个导师都有自己的培训方法及考核标准，其考核方法的可复用性较差，并且考核过程的效率较低，无法适应多学员、多领域的大范围培训需求。
53.基于上述研究，本公开提供了一种答题合格的确定方法，采用预先训练好的要点语句识别模型，针对学员的答题文本进行处理，通过答题文本对应的音素特征识别其中是否包含在相应的应用场景中对应的目标要点语句，并将该目标要点语句在学员答题文本中的位置特征信息与标准答题文本中目标要点语句的目标位置特征信息进行对比，以确定该学员的答题是否合格，其考核学员培训掌握情况的效率较高，同时可以适应多学员、多领域的大范围培训需求。
54.为便于对本实施例进行理解，首先对本公开实施例所公开的一种答题合格的确定方法进行详细介绍，本公开实施例所提供的答题合格的确定方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该答题合格的确定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
55.参见图1所示，为本公开实施例提供的一种答题合格的确定方法的流程图，所述方法包括步骤s101～s104，其中：
56.s101、获取待识别答题文本及对应的音素特征信息，确定所述待识别答题文本对应的目标应用场景。
57.该步骤中，获取学员针对培训内容做出的待识别答题文本，并将所述答题文本转换生成音素文本，以音素文本作为待识别答题文本对应的音素特征信息，同时，确定该答题文本对应的目标应用场景。
58.其中，所述目标应用场景可以为学员针对培训内容做出的待识别答题文本在具体实践的应用过程中对应的应用场景，在具体实施过程中，可选的，可以为车险报案场景，寿险产品销售场景等，可以根据实际需要进行设置，在此不做具体限制。
59.这里，音素是构成音节的最小单位或最小的语音片段，是从音质的角度划分出来的最小的线性的语音单位。在待识别答题文本中，每个字或词都由一到多个音素组成，例如“帮您”这一词语对应的音素为【b ang1 n in2】，其中“b ang1”组成“帮”字的音素特征信息，数字1对应“帮”字的声调，“n in2”组成“您”字的音素特征信息，数字2对应“您”字的声调；“不用”这一词语对应的音素为【b u2 ii iong4】，其中“b u2”组成“不”字的音素特征信息，数字2对应“不”字的声调，“ii iong4”组成“用”字的音素特征信息，数字4对应“用”字的声调。
60.s102、将所述待识别答题文本和所述音素特征信息输入至预先训练好的要点语句识别模型中，得到所述目标应用场景对应的目标要点语句，以及所述目标要点语句对应的位置特征信息。
61.该步骤中，将步骤s101中获取到的待识别答题文本输入至预先训练好的要点语句识别模型中进行处理，以识别其中是否包括在目标应用场景下的目标要点语句，以及在整个待识别文本中，目标要点语句出现的位置。
62.这里，根据待识别答题文本中每个字词对应的音素特征信息，确定待识别答题文本中是否命中了在目标应用场景下对应的目标要点语句，若命中，则确定该目标要点语句在待识别答题文本中的位置特征信息。
63.这里，在不同的应用场景下，如：车险报案场景、寿险产品销售场景，每个场景中需要学员利用不同的话术内容与客户进行对话沟通，其话术内容由要点语句以及流程分支组成，为了使学员达到话术标准的培训效果，但并不严格要求学员进行完整背诵，以学员是否表达出要点语句内容为基准考核学员的培训效果，需要使用预先训练好的要点语句识别模型，识别学员的待识别答题文本中是否包括在相应的应用场景中标准表述对应的要点语句，以及该要点语句在整篇文本中的表述位置。
64.其中，所述位置特征信息可以为目标要点语句在待识别答题文本中的起始位置以及终止位置；所述目标要点语句可以为某一特定的关键词，也可以为一段标准表述语句，在实际应用的过程中，可以由业务方根据其业务性质以及应用的实际场景进行确定。在实际应用的过程中，目标要点语句的数量可以根据实际需要进行设置，在此不做具体限制。
65.作为一种可能的实施方式，可以在待识别答题文本中，检测与目标要点语句的语义相似度在预设误差阈值范围内的答题要点语句，将所述答题要点语句确定为所述目标要点语句。由于表述的原因，相同的语义可能存在不同的表达方式，因此，为增加检测灵活性，若待识别答题文本中存在与目标要点语句语义相同但表述方式不同的相应语句，也可视为待识别答题文本中命中了目标要点语句。
66.例如：标准答题文本的内容可以为“您好，交强险由协会平台控制禁止重复投保，商业险原则上可以重复投保，就同一辆车，可以在多家保险公司投保商业险，但在同一公司内禁止重复投保；理赔是按照比例赔付，对于商业险不建议重复投保，因理赔按照比例赔付，在后续理赔处理上容易产生纠纷，理赔时效也会受影响，基于此点，有的地区机构无法进行商业险重复投保，最终以承保机构提供的信息为准。”其中，目标要点语句可以为“交强险禁止重复投保”、“理赔按照比例赔付”、“理赔时效受影响”，若待识别答题文本中，某一部分的表述为“交强险可以重复投保”，此时不认为待识别答题文本命中了“交强险禁止重复投保”这一目标要点语句。
67.s103、确定所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息是否对应。
68.该步骤中，当待识别答题文本中包括了在目标应用场景下对应的目标要点语句时，进一步的需要对其在整篇文本中的出现位置进行确定，并将其与标准答题文本中，目标要点语句的表述位置进行对比，以识别所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息是否对应。
69.具体的，基于以下方法确定所述标准答题文本中，所述目标要点语句对应的目标位置特征信息：
70.(1)确定所述标准答题文本在所述目标应用场景中的目标要点语句；
71.(2)确定所述目标要点语句在所述标准答题文本中的文本位置；
72.(3)标识所述文本位置对应的文本起始位置以及文本终止位置；
73.(4)将所述文本起始位置以及文本终止位置确定为所述目标位置特征信息。
74.其中，所述标准答题文本的内容可以为客服、销售等行业内的职业话术、专业话
术、流程基本用语、事件处理话术、各类产品的介绍文档、基本条款文本等，可以根据实际需要进行设置，在此不做具体限制。
75.s104、若所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息对应，则确定所述待识别答题文本合格。
76.该步骤中，若待识别答题文本中目标要点语句的出现位置与标准答题文本中目标要点语句的出现位置相对应，则确定待识别答题文本合格。
77.作为一种可能的实施方式，若所述位置特征信息与所述目标应用场景对应的标准答题文本中，所述目标要点语句对应的目标位置特征信息不相同，可以确定所述位置特征信息与所述目标位置特征信息之间的位置偏差，当所述位置偏差小于预设的误差范围阈值时，确定所述待识别答题文本合格。
78.本公开实施例提供的一种答题合格的确定方法，采用预先训练好的要点语句识别模型，针对学员的答题文本进行处理，通过答题文本对应的音素特征识别其中是否包含在相应的应用场景中对应的目标要点语句，并将该目标要点语句在学员答题文本中的位置特征信息与标准答题文本中目标要点语句的目标位置特征信息进行对比，以确定该学员的答题是否合格，其考核学员培训掌握情况的效率较高，同时可以适应多学员、多领域的大范围培训需求。
79.参见图2所示，为本公开实施例提供的另一种答题合格的确定方法的流程图，所述方法包括步骤s201～s205，其中：
80.s201、获取待识别答题文本及对应的音素特征信息，确定所述待识别答题文本对应的目标应用场景。
81.s202、针对所述待识别答题文本进行数据清洗，其中，所述数据清洗包括文本格式清洗、文本标点清洗以及文本数字清洗。
82.该步骤中，针对步骤s201获取到的待识别答题文本需要进行等数据文本格式清洗、文本标点清洗以及文本数字清洗等数据清洗工作。
83.其中，所述文本格式清洗包括去除换行、空格等无效字符；所述文本标点清洗包括对常见标点归一，对于未在常见字符表内的标点设置通配符；所述文本数字清洗包括对于数字、百分号、加减乘除等有中文读法的内容进行读法转换转为中文读法，最后并对非合法(不在标准字符表、音素表内)的字符设置通配符。
84.s203、将所述待识别答题文本和所述音素特征信息输入至预先训练好的要点语句识别模型中，得到所述目标应用场景对应的目标要点语句，以及所述目标要点语句对应的位置特征信息。
85.s204、确定所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息是否对应。
86.s205、若所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息对应，则确定所述待识别答题文本合格。
87.其中，步骤s201、s203～s205与步骤s101～s104具有相同的实现方法并且可以达到相同的效果，对此不再赘述。
88.下面，将结合具体实施方式对上述方案进行说明。
89.作为一种可能的实施方式，基于以下方法获取所述待识别答题文本：获取用户朗
读答题内容的音频信息；将所述音频信息转换为文本信息，其中，所述文本信息包括文字文本信息以及所述文字文本信息对应的音素文本信息；将所述文字文本信息以及所述音素文本信息确定为所述待识别答题文本。
90.这里，由于考核方式的多样化，学员可以通过口述的方式答题，通过采集学员在答题过程中的音频数据，利用语音识别技术将音频数据转换为文本数据，其中，所述用户可以为参加培训的学员。
91.进一步的，在所述将所述文字文本信息以及所述音素文本信息确定为所述待识别答题文本之后，所述方法还包括：分隔所述文字文本信息以及所述音素文本信息；针对每一个所述文字文本信息，确定该文字文本信息是否对应有所述音素文本信息；若没有，则为所述文字文本信息配置增补音素文本信息。
92.这里，由于采集数据的端口数量较多等原因，采集到的文字文本信息与音素文本信息存在数据交杂在一起的情况，需要针对文字文本信息以及所述音素文本信息进行分割处理，将其清洗规整成为文字以及音素两个字段，在正常的情况下，待识别答题文本中的每一个文字文本信息均有其对应的音素文本信息，若在转换过程中存在遗漏现象，出现没有对应的音素文本信息的文字文本信息，则需要对其进行增补，为其配置对应的增补音素文本信息。
93.作为一种可能的实施方式，基于以下方法训练所述要点语句识别模型：从样本数据中提取文本特征和音素特征；确定与所述样本数据对应的数据标签，所述数据标签包括要点语句及要点语句对应的位置信息；根据所述样本数据和所述样本数据对应的数据标签进行模型训练。
94.这里，基于以下方法收集所述样本数据：通过多个数据收集接口持续收集多种领域内的文本数据，并按数据收集接口对应的来源名称、类目名称、文本内容以及来源时间进行存储；为收集到的文本数据中预设作为标准答题文本的文本数据，配置相应的科目id、话术id、话术内容、更新时间等属性信息；确定各文本数据对应的目标要点语句，并标识目标要点语句对应的起止位置区域。
95.这里，在要点语句识别模型抽取样本数据的过程中，由于目标应用场景、目标要点语句的样本数量不均衡问题，采取在三重维度上随机，先随机针对目标应用场景进行抽取、再随机针对目标要点语句在文本流程中的流程节点进行随机抽取、最后随机目标要点语句本身的内容，这样保证每个目标应用场景、流程节点以及目标要点语句都可能被抽取到。
96.其中，所述样本数据包括标准答题文本、扩展答题文本以及用户答题文本，所述扩展答题文本可以为针对已获取到的标准答题文本，由业务方提供的与标准答题文本内容具有相关性的扩展话术内容。
97.可选的，在使用所述要点语句识别模型的过程中，持续收集用户的待识别答题文本中的文字文本信息以及音素文本信息，用以扩增要点语句识别模型的训练数据库。
98.作为一种可能的实施方式，基于以下方法构建所述样本数据的数据结构：根据所述目标要点语句以及预设的问句生成模板，确定所述样本数据对应的目标问句组；针对所述目标问句组中的每一个所述目标问句，将该目标问句以及所述样本数据分别分割为目标字符串；在所述目标字符串中加入分类字符以及句子分隔符，确定所述样本数据的数据结构。
99.这里，根据目标要点语句以及预设的问句生成模板生成针对目标要点语句内容的相关目标问句，用以帮助要点识别模型理解输入文本的内容语义。所述目标问句由三部分组成，第一部分为目标要点语句自己本身的要点内容表述，第二部分为按照预设的问句生成模板生成的问句表述，第三部分为针对目标要点语句中关键词汇的高频同义词表述。
100.例如：针对目标要点语句“交强险禁止重复投保”，对应的目标问句可以为：(1)表述内“交强险禁止重复投保”对应的位置在哪里？(2)“交强险禁止重复投保”是否在表述内被提及？(3)哪段话表述了“交强险禁止重复投保”的意思？(4)学员是否抓到了“交强险禁止重复投保”这个要点？(5)学员对于要点“交强险禁止重复投保”的表达是否到位？(6)：标识出“交强险禁止重复投保”要点的部分？(7)：学员是否被培训到了“交强险禁止重复投保”要点？(8)：“交强险禁止重复投保”的同义词高频表达？
101.具体的，从目标问句组q中分别取每一个目标问句q
i
与目标要点语句对应的文本表述t，将所述目标问句以及所述目标要点语句分割为token字符串，同时加入标准分类字符(classifier token，cls)和句子分隔符(sentence separator，sep)构成输入：[cls]q
i token[sep]t token[sep]。
[0102]
作为一种可能的实施方式，基于以下方法对目标问句进行扩增处理，获取针对预设的问句生成模板以及目标要点语句的扩增方案；针对所述扩增方案，根据预设的相似度模型进行筛选，删除所属苏改写方案中质量较差的扩增。可选的，采用扩增方案对所述训练好的要点语句识别模型进行对抗攻击，保留在所述要点语句识别模型下目标问句中无法过关的所述扩增方案。
[0103]
作为一种可能的实施方式，在所述根据所述目标要点语句以及预设的问句生成模板，确定所述样本数据对应的目标问句组之后，所述方法还包括：为所述目标问句组中的每一个所述目标问句设置对应的权重。
[0104]
这里，对目标问句组设置权重向量w＝(ω1,ω2,
…
ω
n
)，其中每个目标问句的初始权重均等，可选的，设置为1/n。在针对要点语句识别模型的训练中，分别进入模型，以获得结果。例如：以start指针为例，每个目标问句对应的第i个token位置的结果为利用所述权重向量获得归总结果：最后取argmax作为该token对应的结果标签。在一定批次的目标问句权重设置运行完成后，可随时更新目标问句的权重向量，根据f1分数，为f1分数较高的目标问句提供较高的权重，其中，以验证集上各个目标问句分别对应的f1分数，求和后的占比作为ω。
[0105]
进一步的，将要点语句识别模型中，正负样本的比例设置为超参r，其中超参r可调节。在具体实施过程中，正样本样数据例较为充足，负样本样数据例除了从用户使用中积累的样本，还可采取跨节点组合目标要点语句和文本数据生成负样本的方式。样本抽取完毕后，对于每种目标问句生成方式，生成最终样本，即抽取n个样本情况下，现有问句生成方式为t个，最终样本个数为n*t。
[0106]
作为一种可能的实施方式，基于以下方法构建所述要点语句识别模型：根据所述目标输入数据结构以及预设的预训练模型，确定所述要点语句识别模型对应的文本识别特征；为所述文本识别特征配置音素识别特征以及位置识别特征；组合所述文本识别特征、音素识别特征以及位置识别特征，确定所述要点语句识别模型对应的输出张量；根据要点语
句开始位置指针以及要点语句结束位置指针，配置所述输出张量。
[0107]
这里，具体的，通过以下方法确定所述定所述要点语句识别模型对应的文本识别特征：将待识别答题文本构建为[cls]q
i token[sep]t token[sep]数据结构后，接入至标准的预训练模型架构中，在所述预训练模型架构中，以bert
‑
base为例，包含12层的attention
‑
block，输出最后一层的文本识别特征sequence_output，张量大小为[batch_size,seq_length,hidden_size]。
[0108]
进一步的，为所述文本识别特征配置音素识别特征，例如：假设音素元素总数为m个，预留英文占位编码1个和[pad]编码1个，如有其它需求词表可自行添加后重新训练，假设目前总词表数为m+2个，初始化音素特征lookup矩阵w
p
，大小为[m+2,ph_embed_size]。以“帮您”与“不用”两个词语为例，“帮您[b ang1 n in2]”、“不用[b u2 ii iong4]”，上述两个词语中的每个字都对应于2个音素，并且上述预训练模型的编码是字token级别，因此，可选的，可以采取一种简便的归总方法，对音素数据做嵌入后在字token的维度上做相加，可选的，也可以直接生成更大的笛卡尔词表，直接将音素识别特征嵌入至文本识别特征中，得到最终的音素识别特征phoneme_output，张量大小为[batch_size,seq_length,ph_embed_size]。
[0109]
进一步的，为所述文本识别特征配置位置识别特征，作为一种可选的实施方式，可以参考bioes编码方式设置起始位置编码、终止位置编码、起始终止中间位置编码、非命中位置编码以及[pad]。备选编码方式可以参考bio编码，设置起始位置编码、中间位置编码、非命中位置编码以及[pad]。初始化位置特征lookup矩阵，其大小为[l,l_embed_size]。将位置特征做嵌入，得到最终的位置识别特征location_output，张量大小为[batch_size,seq_length,l_embed_size]。
[0110]
进一步的，将文本识别特征sequence_output、音素识别特征phoneme_output和位置识别特征location_output做组合，可选的，可以采用concat在embed维连接的方式，得到输出张量[batch_size,seq_length,hidden_size+ph_embed_size+l_embed_size]。
[0111]
进一步的，构建开始结束双指针网络，要点语句识别模型的output_layer采取预测要点语句的开始位置和结束位置两个指针位置方法。分别做dense+softmax，得到每个token对应的p
start
和p
end
。损失函数采用交叉熵，并将要点语句的开始位置预测和结束位置预测一起训练。
[0112]
本公开实施例提供的一种答题合格的确定方法，采用预先训练好的要点语句识别模型，针对学员的答题文本进行处理，通过答题文本对应的音素特征识别其中是否包含在相应的应用场景中对应的目标要点语句，并将该目标要点语句在学员答题文本中的位置特征信息与标准答题文本中目标要点语句的目标位置特征信息进行对比，以确定该学员的答题是否合格，其考核学员培训掌握情况的效率较高，同时可以适应多学员、多领域的大范围培训需求。
[0113]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0114]
基于同一发明构思，本公开实施例中还提供了与上述答题合格的确定方法对应的答题合格的确定装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述答
题合格的确定方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0115]
请参阅图3、图4以及图5，图3为本公开实施例提供的一种答题合格的确定装置的示意图之一，图4为本公开实施例提供的一种答题合格的确定的示意图之二，图5为本公开实施例提供的一种答题合格的确定的示意图之三。如图3中所示，本公开实施例提供的确定装置300包括：
[0116]
获取模块310，用于获取待识别答题文本及对应的音素特征信息，确定所述待识别答题文本对应的目标应用场景；
[0117]
输入模块320，用于将所述待识别答题文本和所述音素特征信息输入至预先训练好的要点语句识别模型中，得到所述目标应用场景对应的目标要点语句，以及所述目标要点语句对应的位置特征信息；
[0118]
特征识别模块330，用于确定所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息是否对应；
[0119]
确定模块340，用于若所述位置特征信息与所述目标应用场景对应的标准答题文本中的目标位置特征信息对应，则确定所述待识别答题文本合格。
[0120]
可选的，如图4中所示，所述答题合格的确定装置300还包括数据清理模块350，所述数据清理模块350用于：
[0121]
针对所述待识别答题文本进行数据清洗，其中，所述数据清洗包括文本格式清洗、文本标点清洗以及文本数字清洗。
[0122]
可选的，如图5中所示，所述答题合格的确定装置300还包括模型训练模块360，所述模型训练模块360用于：
[0123]
从样本数据中提取文本特征和音素特征；
[0124]
确定与所述样本数据对应的数据标签，所述数据标签包括所述目标要点语句及所述目标要点语句对应的目标位置特征信息；
[0125]
根据所述样本数据和所述样本数据对应的数据标签进行模型训练。
[0126]
可选的，所述样本数据包括标准答题文本、扩展答题文本以及用户答题文本，所述模型训练模块360还用于：
[0127]
根据所述目标要点语句以及预设的问句生成模板，确定所述样本数据对应的目标问句组；
[0128]
针对所述目标问句组中的每一个所述目标问句，将该目标问句以及所述样本数据分别分割为目标字符串；
[0129]
在所述目标字符串中加入分类字符以及句子分隔符，确定所述样本数据的数据结构。
[0130]
可选的，所述获取模块310还用于：
[0131]
获取用户朗读答题内容的音频信息；
[0132]
将所述音频信息转换为文本信息，其中，所述文本信息包括文字文本信息以及所述文字文本信息对应的音素文本信息；
[0133]
将所述文字文本信息以及所述音素文本信息确定为所述待识别答题文本。
[0134]
可选的，所述获取模块310还用于：
[0135]
分隔所述文字文本信息以及所述音素文本信息；
[0136]
针对每一个所述文字文本信息，确定该文字文本信息是否对应有所述音素文本信息；
[0137]
若没有，则为所述文字文本信息配置增补音素文本信息。
[0138]
可选的，所述特征识别模块330还用于：
[0139]
确定所述标准答题文本在所述目标应用场景中的目标要点语句；
[0140]
确定所述目标要点语句在所述标准答题文本中的文本位置；
[0141]
标识所述文本位置对应的文本起始位置以及文本终止位置；
[0142]
将所述文本起始位置以及文本终止位置确定为所述目标位置特征信息。
[0143]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0144]
本公开实施例提供的一种答题合格的确定装置，采用预先训练好的要点语句识别模型，针对学员的答题文本进行处理，通过答题文本对应的音素特征识别其中是否包含在相应的应用场景中对应的目标要点语句，并将该目标要点语句在学员答题文本中的位置特征信息与标准答题文本中目标要点语句的目标位置特征信息进行对比，以确定该学员的答题是否合格，其考核学员培训掌握情况的效率较高，同时可以适应多学员、多领域的大范围培训需求。
[0145]
对应于图1中的答题合格的确定方法，本公开实施例还提供了一种电子设备600，如图6所示，为本公开实施例提供的电子设备600结构示意图，包括：
[0146]
处理器61、存储器62、和总线63；存储器62用于存储执行指令，包括内存621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理器61中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器61通过内存621与外部存储器622进行数据交换，当所述电子设备600运行时，所述处理器61与所述存储器62之间通过总线63通信，使得所述处理器61执行图1与图2中的答题合格的确定方法的步骤。
[0147]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的答题合格的确定方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0148]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0149]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0150]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显
示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0151]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0152]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0153]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。