信息交互方法、装置、电子设备及存储介质与流程

1.本发明涉及视频数据处理领域，特别是涉及一种信息交互方法、装置、电子设备及存储介质。


背景技术：

2.随着社会的进步和发展，市面上的多数智能发声设备（点读机或学习机）大都有点读功能，其能够帮助家长更好的辅导学生学习功课、纠正学生发声以及便于学生随时随地的自学。在实际的交互场景中，以点读场景为例，目前的智能发声设备是根据点读笔点击的位置或手指点击的位置，输出点读内容对应的发声或释义。
3.然而，在目前的智能发声设备中，点读内容的发声和释义通常是预先存储的元数据，并未针对用户进行区分，可见，目前智能发声设备的信息交互形式较为单一。
4.故需要提供一种信息交互方法及装置，以解决上述的技术问题。


技术实现要素：

5.本发明实施例提供一种信息交互方法及装置，可以丰富智能发声设备的信息交互形式。
6.本发明实施例提供一种信息交互方法，其包括：响应于针对智能发声设备的交互操作，确定所述交互操作对应的用户标识；当所述用户标识为学生标识时，触发所述智能发声设备进入教学模式，并在所述教学模式下，获取所述学生标识对应的历史教学数据以及第一电子发声书；基于所述历史教学数据对所述第一电子发声书的发声参数进行调整；响应于针对所述第一电子发声书的播放操作，根据调整后发声参数播放所述第一电子发声书；当所述用户标识为孩童标识时，触发所述智能发声设备进入点读模式，并在所述点读模式下，获取所述孩童标识对应的第二电子发声书；响应于针对所述第二电子发声书的手势操作，基于所述孩童标识对应的眼动数据，播放所述第二电子发声书。
7.在本发明所述的信息交互方法中，所述基于所述历史教学数据对所述第一电子发声书的发声参数进行调整，包括：从所述历史教学数据提取在历史时段内所述第一电子发声书对应的第一教学信息，以及；从所述历史教学数据提取在历史时段内其他历史发声内容对应的第二教学信息；计算所述历史发声内容与所述第一电子发声书之间的匹配度；基于所述第一教学信息、第二教学信息以及匹配度，对所述第一电子发声书的发声参数进行调整。
8.在本发明所述的信息交互方法中，所述基于所述第一教学信息、第二教学信息以及匹配度，对所述第一电子发声书的发声参数进行调整，包括：将匹配度大于第一预设值的历史发声内容确定第一参考发声内容；
根据所述第一教学信息，确定所述第一电子发声书对应的历史发声速度、历史跟读速度以及历史跟读错误率；根据所述第二教学信息，确定所述第一参考发声内容的参考发声速度、参考跟读速度以及参考跟读错误率；将所述历史跟读错误率转换为第一调参权重，并将所述第一参考发声内容对应的匹配度转换为第二调参权重；基于所述历史发声速度与历史跟读速度之间的比值，输出第三调参权重，以及基于所述参考发声速度与参考跟读速度之间的比值，输出第四调参权重；计算所述历史发声速度、第一调参权重、第二调参权重、第三调参权重以及第四调参权重的乘积，得到播放所述第一电子发声书对应的目标发声速度；基于所述历史跟读错误率和参考跟读错误率，调整所述第一电子发声书中目标发声内容的播放次数。
9.在本发明所述的信息交互方法中，所述根据所述第一教学信息，确定所述第一电子发声书对应的历史跟读错误率，包括：从所述第一教学信息中提取所述第一电子发声书对应的跟读信息；获取所述第一电子发声书对应的音频文本；提取每个所述音频单字的音高值，得到多个音高值；根据所述音高值以及跟读信息，确定所述第一电子发声书对应的历史跟读错误率。
10.在本发明所述的信息交互方法中，所述基于所述第一教学信息、第二教学信息以及匹配度，对所述第一电子发声书的发声参数进行调整，包括：将匹配度大于第二预设值的历史发声内容确定第二参考发声内容；获取所述第一电子发声书对应的目标发声文本以及所述第二参考发声内容对应的参考发声文本；从所述第一教学信息中提取所述目标发声文本中各目标发声对象对应的展示分布，以及；从所述第二教学信息中提取所述参考发声文本中各参考发声对象对应的参考展示分布；基于所述第二参考发声内容的匹配度，确定所述参考展示分布对所述展示分布的影响程度；根据所述影响程度以及展示分布，调整所述第一电子发声书中各目标发声对象的展示时长和展示次数。
11.在本发明所述的信息交互方法中，所述响应于针对所述第二电子发声书的手势操作，基于所述孩童标识对应的眼动数据，播放所述第二电子发声书，包括：响应于针对所述第二电子发声书的手势操作，识别所述手势操作是否为目标手势操作；当识别到所述手势操作为目标手势操作时，则获取所述孩童标识对应的眼动数据以及所述第二电子书中各点读内容的坐标数据；根据所述眼动数据和坐标数据，在所述第二电子书中确定目标点读内容；
播放所述目标点读内容，并在预设时间后，输出所述目标点读内容的图像信息或动效。
12.在本发明所述的信息交互方法中，所述在所述点读模式下，获取所述孩童标识对应的第二电子发声书，包括：获取所述孩童标识对应的待点读数据和教学进度；基于所述教学进度以及预设配置信息，将所述待点读数据中的目标数据确定为第二电子发声书。
13.本发明实施例还提供一种信息交互装置，其包括：确定模块，用于响应于针对智能发声设备的交互操作，确定所述交互操作对应的用户标识；第一获取模块，用于当所述用户标识为学生标识时，触发所述智能发声设备进入教学模式，并在所述教学模式下，获取所述学生标识对应的历史教学数据以及第一电子发声书；调整模块，用于基于所述历史教学数据对所述第一电子发声书的发声参数进行调整；第一播放模块，用于响应于针对所述第一电子发声书的播放操作，根据调整后发声参数播放所述第一电子发声书；第二获取模块，用于当所述用户标识为孩童标识时，触发所述智能发声设备进入点读模式，并在所述点读模式下，获取所述孩童标识对应的第二电子发声书；播放模块，用于响应于针对所述第二电子发声书的手势操作，基于所述孩童标识对应的眼动数据，播放所述第二电子发声书。
14.本发明实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行上述信息交互方法。
15.本发明实施例还提供一种存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述信息交互方法。
16.本发明的信息交互方法及信息交互响应于针对智能发声设备的交互操作，确定所述交互操作对应的用户标识后，当所述用户标识为学生标识时，触发所述智能发声设备进入教学模式，并在所述教学模式下，获取所述学生标识对应的历史教学数据以及第一电子发声书；基于所述历史教学数据对所述第一电子发声书的发声参数进行调整；响应于针对所述第一电子发声书的播放操作，根据调整后发声参数播放所述第一电子发声书，当所述用户标识为孩童标识时，触发所述智能发声设备进入点读模式，并在所述点读模式下，获取所述孩童标识对应的第二电子发声书；响应于针对所述第二电子发声书的手势操作，基于所述孩童标识对应的眼动数据，播放所述第二电子发声书，可见，本发明的信息交互方法及信息交互装置，可以根据不同的用户标识，进入相应的电子发声模式，不仅可以利用历史教学数据对第一电子发声书进行调整，还可以基于眼动数据播放第二电子发声书，由此，丰富了智能发声设备的信息交互形式。
附图说明
17.图1为本发明的信息交互方法的流程示意图；图2为本发明的信息交互方法的一实施例的流程示意图；图3为本发明的信息交互装置的一实施例的结构示意图；
图4为本发明的信息交互装置的一实施例的调整模块的结构示意图；图5为本发明的信息交互装置的一实施例的第二获取模块的结构示意图；图6为本发明的信息交互装置的一实施例的第二播放模块的结构示意图；图7为本发明的信息交互装置所在的电子设备的工作环境结构示意图。
具体实施方式
18.请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
19.在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
20.本发明的信息交互方法及信息交互装置可设置在任何的电子设备中，用于响应于针对智能发声设备的交互操作，确定所述交互操作对应的用户标识，当用户标识为学生标识时，触发智能发声设备进入教学模式，并在教学模式下，获取学生标识对应的历史教学数据以及第一电子发声书；基于历史教学数据对第一电子发声书的发声参数进行调整；响应于针对第一电子发声书的播放操作，根据调整后发声参数播放第一电子发声书；当用户标识为孩童标识时，触发智能发声设备进入点读模式，并在点读模式下，获取孩童标识对应的第二电子发声书；响应于针对第二电子发声书的手势操作，基于孩童标识对应的眼动数据，播放第二电子发声书。该电子设备包括但不限于个人计算机、服务器计算机、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该信息交互装置优选为进行信息交互的数据处理终端或服务器，可以根据不同的用户标识，进入相应的电子发声模式，不仅可以利用历史教学数据对第一电子发声书进行调整，还可以基于眼动数据播放第二电子发声书，由此，丰富了智能发声设备的信息交互形式。
21.目前基于智能发声设备的信息交互方案，以点读场景为例，目前的智能发声设备是根据点读笔点击的位置或手指点击的位置，输出点读内容对应的发声或释义，并且，点读内容的发声和释义通常是预先存储的元数据，并未针对用户进行区分，因此，目前基于智能发声设备的信息交互方案中，信息交互形式较为单一。
22.本发明提供一种信息交互方案，响应于针对智能发声设备的交互操作，确定交互操作对应的用户标识；当用户标识为学生标识时，触发智能发声设备进入教学模式，并在教学模式下，获取学生标识对应的历史教学数据以及第一电子发声书；基于历史教学数据对第一电子发声书的发声参数进行调整；响应于针对第一电子发声书的播放操作，根据调整后发声参数播放第一电子发声书；当用户标识为孩童标识时，触发智能发声设备进入点读
模式，并在点读模式下，获取孩童标识对应的第二电子发声书；响应于针对第二电子发声书的手势操作，基于孩童标识对应的眼动数据，播放第二电子发声书，可见，本发明的信息交互方法及信息交互装置丰富了智能发声设备的信息交互形式。
23.请参照图1，图1为本发明的信息交互方法的一实施例的流程图。本实施例的信息交互方法可使用上述的电子设备进行实施，本实施例的信息交互方法包括：步骤101、响应于针对智能发声设备的交互操作，确定交互操作对应的用户标识；步骤102、当用户标识为学生标识时，触发智能发声设备进入教学模式，并在教学模式下，获取学生标识对应的历史教学数据以及第一电子发声书；基于历史教学数据对第一电子发声书的发声参数进行调整；响应于针对第一电子发声书的播放操作，根据调整后发声参数播放第一电子发声书；步骤103、当用户标识为孩童标识时，触发智能发声设备进入点读模式，并在点读模式下，获取孩童标识对应的第二电子发声书；响应于针对第二电子发声书的手势操作，基于孩童标识对应的眼动数据，播放第二电子发声书。
24.下面详细说明本实施例的信息交互方法。
25.在步骤101中，智能发声设备可以是点读机或点读笔，也可以是集成有发声功能的电子设备，交互操作可以是针对智能发声设备的操作，该交互操作可以是长按操作、点击操作、滑动操作、手势操作或语音操作等，比如，该交互操作是针对智能发声设备的显示屏幕的点击操作，也可以是针对该智能发声设备的摇动操作，响应针对该智能发声设备的交互操作，触发该智能发声设备进入用户识别模式，并在该用户识别模式下确定用户标识。
26.其中，用户标识可以是预先设定的，也可以是通过实时采集用户图像，基于该用户图像的图像特征，确定相应的用户标识。
27.比如，家长预先设定用户a的用户标识为孩童标识、用户b的用户标识为学生标识以及用户c的用户标识为学生标识，当用户a针对智能发声设备触发的交互操作时，则采集该用户a的用户图像，并根据该用户图像确定该交互操作对应的用户标识为用户标识a；又比如，响应于针对智能发声设备的交互操作，采集该交互操作对应的图像，以用户图像为例，识别该用户图像的用户特征，基于该用户特征预估该交互操作对应的用户的用户年龄，并根据用户年龄确定该交互操作对应的用户标识。
28.在步骤102中，历史教学数据记录了用户在历史时段的教学情况，该历史教学数据携带有用户的历史点播信息、历史查询信息和历史跟读信息，该历史点播信息、历史查询信息和历史跟读信息可以反应用户在不同的发声内容和教学内容上的熟练度，由此，可以基于该历史点播信息、历史查询信息和历史跟读信息对第一电子发声书的发声参数进行调整，使得调整后的第一电子发声书的发声内容更适应于该用户，由此，完成个性化配置电子发声书。
29.需要说明的是，不同的电子发声书对应的第一教学信息不同，比如，电子发声书a的教学信息携带英语课文第六章的内容，电子发声书b的教学信息携带英语课文第一章的内容，由此可见，两者所对应的内容不同，但是，由于其均是英语课文，因此，在一定程度上，其存在相似性，比如，某些单词是相同的单词，但是在某些句子上的用法不同，故，可选地，在一些实施例中，本技术提供的信息交互方法可以基于不同电子发声书之间的相似性，对第一电子发声书的发生参数进行调整，即，步骤“基于历史教学数据对第一电子发声书的发
声参数进行调整”，具体可以包括：（11）从历史教学数据提取在历史时段内第一电子发声书对应的第一教学信息，以及从历史教学数据提取在历史时段内其他历史发声内容对应的第二教学信息；（12）计算历史发声内容与第一电子发声书之间的匹配度；（13）基于第一教学信息、第二教学信息以及匹配度，对第一电子发声书的发声参数进行调整。
30.比如，用户在历史时段内针对第一电子发声书产生的第一教学信息，针对其他历史发声内容对应的第二教学信息，然后，可以计算历史发声内容与第一电子发声书之间的内容匹配度，最后，基于第一教学信息、第二教学信息以及内容匹配度，对第一电子发声书的发声参数进行调整，比如，调整第一电子发声书的发声速度和重点发声速度。
31.又比如，第一电子发声书为用户首次接触的电子发声书，在这种情况下，则可以直接计算历史发声内容与第一电子发声书之间的内容匹配度，最后，基于第二教学信息以及内容匹配度，对第一电子发声书的发声参数进行调整。
32.需要说明的是，该匹配度可以是多个不同维度的匹配度之间综合计算的结果，匹配度m具体可以通过式（1）进行计算：式（1）其中，a为每个维度对应的权重系数，且，n为维度对应的数量，可选地，可以根据实际需求调整每个维度对应的权重系数，也可以根据维度对应的数量调整每个维度对应的权重系数，具体可以根据实际情况进行选择，在此不再赘述。
33.需要说明的是，这多个不同维度的匹配度可以包括文本维度的匹配度、篇幅维度的匹配度、语义维度的匹配度以及内容标签维度的匹配度等等。
34.为了提高后续对第一电子发声书调整的准确性，可选地，在一些实施例中，可以基于匹配度对历史发声内容进行划分，将匹配度大于预设值的发声内容确定为第一参考发声内容，将匹配度小于或等于预设值的发声内容确定为第二参考发声内容。
35.可选地，第一预设值大于第二预设值，针对第一参考发声内容，由于其匹配度更高，因此，其正向参考价值更高，因此，可以根据其对应的参考发生速度、参考跟读速度以及参考跟读错误率，对第一电子发声书的发声参数进行调整，即，步骤“基于第一教学信息、第二教学信息以及匹配度，对第一电子发声书的发声参数进行调整”，包括：（21）将匹配度大于第一预设值的历史发声内容确定第一参考发声内容；（22）根据第一教学信息，确定第一电子发声书对应的历史发声速度、历史跟读速度以及历史跟读错误率；（23）根据第二教学信息，确定第一参考发声内容的参考发声速度、参考跟读速度以及参考跟读错误率；（24）将历史跟读错误率转换为第一调参权重，并将第一参考发声内容对应的匹配度转换为第二调参权重；（25）基于历史发声速度与历史跟读速度之间的比值，输出第三调参权重，以及基于参考发声速度与参考跟读速度之间的比值，输出第四调参权重；
（26）计算历史发声速度、第一调参权重、第二调参权重、第三调参权重以及第四调参权重的乘积，得到播放第一电子发声书对应的目标发声速度；（27）基于历史跟读错误率和参考跟读错误率，调整第一电子发声书中目标发声内容的播放次数。
36.需要说明的是，电子发声书的发声速度可以由厂家或内容分享者预先设定，发生速度的单位为字/分钟，可以理解的是，跟读速度是由用户通过电子发声书的发声内容进行跟读所产生的数据，跟读速度的单位为字/分钟。
37.可以理解的是，历史跟读错误率表征用户是否正确地读出发声内容的读音，历史跟读错误率越高，则其对应的第一调参权重越低；第一参考发声内容的匹配度衡量了第一参考发声内容的参考重要度，匹配度越高，则其对应的参考重要度也越高；历史跟读速度与历史发声速度之间的比值可以表征用户对第一电子发声书的熟悉程度，比值越大，则用户对该第一电子发声书的内容越熟悉，故，可以提高其对应的发声速度；同样地，参考跟读速度与参考发声速度之间的比值可以表征用户对第一参考发声内容的熟悉程度，比值越大，则用户对该第一参考发声内容越熟悉，故，可以提高其对应的发声速度。
38.以跟读场景为例进行说明，比如，历史跟读错误率为10%，可以将该历史跟读错误率转换为第一调参权重q1，其中，历史跟读错误率w与第一调参权重q1的关系如式（2）所示：式（2）即，历史跟读错误率为10%，其对应的该第一调参权重的数值为0.9，以便于后续根据该第一调参权重对第一电子发声书的发声参数进行调整。
39.进一步的，第一参考发声内容a的匹配度为85%，其对应的第二调参权重q2为0.85，历史跟读速度为150字/分钟，历史发声速度为180字/分钟，可以计算历史跟读速度与历史发声速度之间的比值为0.83，并将其比值确定为第三调参权重q3，参考发声速度为180字/分钟，参考跟读速度为130字/分钟，因此，可以计算参考跟读速度与参考发声速度之间的比值为0.72，并将其比值确定为第四调参权重q4，最后，计算历史发声速度vl、第一调参权重q1、第二调参权重q2、第三调参权重q3以及第四调参权重q4的乘积，具体可以采用式（3）进行计算：其中，vl（q1+q3）是只考虑到历史发声的情况，vc（q2+q4）是只考虑到参考发声的情况，vl是历史发声速度，vc是参考发声速度，因此，为了结合历史发声情况和参考发声情况，将vl（q1+q3）和vc（q2+q4）取平均数就是最终的目标发声速度。
40.从上述历史发声速度、历史跟读速度以及历史跟读错误率可知，在历史时段内，由于第一电子发声书的发声速度设置的较快，导致用户在跟读过程中，出现错读、漏读或者发音不清的情况，从而出现跟读错误的情况，因此，本技术利用历史跟读错误率、历史发声速度、历史跟读速度、参考发声速度以及参考跟读速度，对第一电子发声书的发声速度进行调
整。
41.进一步的，在用户根据目标发声速度进行跟读后，当检测到当前跟读错误率小于历史跟读错误率时，则提高目标发声速度，比如，将目标发声速度恢复至历史发声速度，即，将目标发声速度从121字/分钟提高至180字/分钟。
42.可选地，在一些实施例中，电子发声书的发声速度设置较慢，会出现用户的语速大于发声速度，导致电子发声书的播放时间较长，为了提高跟读效率，可以根据历史发声速度vl、第一调参权重q1、第二调参权重q2、第三调参权重q3以及第四调参权重q4的乘积，提高第一电子发声书的发声速度，比如，历史跟读错误率为5%，其对应的第一调参权重为0.95，第一参考发声内容a的匹配度为85%，其对应的第二调参权重q2为0.85，历史跟读速度为150字/分钟，历史发声速度为130字/分钟，可以计算历史跟读速度与历史发声速度之间的比值为1.2，并将其比值确定为第三调参权重q3，参考发声速度为180字/分钟，参考跟读速度为130字/分钟，可以计算参考跟读速度与参考发声速度之间的比值为0.72，并将其比值确定为第四调参权重q4，最后，计算历史发声速度vl、第一调参权重q1、第二调参权重q2、第三调参权重q3以及第四调参权重q4的乘积，具体可以采用式（4）进行计算：其中，为调整系数，该调整系数的范围为1.2至1.5，具体根据历史跟读错误率进行选择，可以理解的是，历史跟读错误率越低，该调整系数越高，以此提高第一电子发声书的发声速度。
43.可选地，在一些实施例中，当历史跟读错误率小于或等于预设错误率，且历史跟读速度大于历史发声速度时，采用式（4）提高第一电子发声书的发声速度，由此，可以在保证用户跟读准确率的情况下，减少第一电子发声书的播放时间。
44.当然，还可以根据历史跟读错误率，确定第一电子发声书对应的错误发声的第一内容，以及确定第一电子发声书对应的正确发声的第二内容。
45.另外，在第一发声书中确定错误发声的第一内容和正确发声的第二内容，对于第一内容而言，可以增加其相应的播放次数，从而提高用户对该第一内容的熟悉度；对于第二内容而言，可以减少其相应的播放次数；在确定第一内容和第二内容后，基于历史跟读错误率，输出第一内容对应的计划播放次数x以及第二内容对应的计划播放次数y；随后，根据匹配度和参考跟读错误率，输出用于调整计划播放次数的调参因子a，最后，基于计划播放次数x和调参因子a的乘积，计算第一内容的播放次数t1，以及基于计划播放次数y和调参因子a的乘积，计算第二内容的播放次数t2。
46.可以预先设置跟读错误率与计划播放次数的映射表，具体参阅表1：表1
比如，历史跟读错误率为15%，匹配度为85%，参考跟读错误率为10%，通过查表可知，输出第一内容对应的计划播放次数x为3次以及第二内容对应的计划播放次数y为1次；另外，计算根据匹配度和参考跟读错误率的乘积，得到调参因子a为0.085，随后，计算第一内容的播放次数t1=x+（1-a）=3+（1-0.085），四舍五入取整数为4次，计算第二内容的播放次数t2=y+a=1+0.085，四舍五入取整数为1次。
47.需要说明的是，当匹配度小于预设值时，则将计划播放次数x确定为第一内容的播放次数t1、以及将计划播放次数y确定为第二内容的播放次数t2，预设值可以根据实际情况进行设置，在此不再赘述。
48.进一步的，对于跟读类的电子发声书而言，智能发声设备最重要的功能之一为辅助练习发音，因此，在该场景下，跟读正确率至关重要，故，可选地，在一些实施例中，可以确定第一电子发声书对应的音频文本，根据该音频文本中的音高变化率、音高值以及第一电子发声书对应的跟读信息，确定第一电子发声书的历史跟读错误率，即，步骤“根据第一教学信息，确定第一电子发声书对应的历史跟读错误率”，具体可以包括：（31）从第一教学信息中提取第一电子发声书对应的跟读信息；（32）获取第一电子发声书对应的音频文本；（33）从音频文本中提取预设时间点对应的文字，得到多个音频单字；（34）提取每个音频单字的音高值，得到多个音高值；（35）根据音高值以及跟读信息，确定第一电子发声书对应的历史跟读错误率。
49.需要说明的是，在跟读场景下，目前的一种方式是用户通过点读笔点击发声书的位置，输出点读内容对应的发声，随后，用户根据该发声进行跟读，接着，智能发声设备根据该发声确定该跟读声对应的发音是否正确，由此输出相应的跟读准确率或跟读错误率。
50.然而，在该种方式下，仅仅考虑到单个字的发音，对于多音字而言，可能会出现单字的读音正确而以该单词组成的词组读音不正确的情况，比如，对于单词“的卢马”，“的”的读音可以为“de”第一声，也可以为“di”第二声，若用户分别用点读笔点击“的”、“卢”以及“马”，用户的跟读声为“de”、“lu”以及“ma”，可能会出现跟读正确率100%的情况，而实际上“的卢马”的发声应为“di”、“lu”以及“ma”。又比如，对于定冠词“the”，其发音规则为在辅音前发音“thuh”，在元音前，则发音“thee”，因此，对于单词“the apple”若用户分别用点读笔点击“the”和“apple”，用户的跟读声为“thuh”和
“æ
pl”，可能会出现跟读正确率100%的情况，即，目前的跟读准确率或跟读错误率的准确性不佳。
51.由于一个单字通常不止有一个发音，而决定发音不同的则是相对音高，在发音过程中，声带是可以随时调整的，这样就造成种种不同的音高变化，形成了不同的声调，即，意味着一个单字往往有多个音高，比如，对于音频文本“刘备的的卢马”，第一个“的”和第二个“的”其对应的音高值不同，即，第一个“的”和第二个“的”之间的音高值发生了变化，故，在本技术一些实施例中，利用音高值以及跟读信息，确定第一电子发声书对应的历史跟读错误率，其中，跟读信息携带有用户跟读第一电子发声书中发声内容的跟读音高值、跟读速度以及跟读时长等等，在该实施例中，首先获取第一电子发声书对应的音频文本，然后，获取每个预设时间点对应的音频单字，接着，提取每个音频单字对应的音高值，然后，对比音高值与跟读音高值之间的差值，将差值大于设定差值的音频单字确定为错误跟读字，由此确定第一电子发声书对应的历史跟读错误率。
52.针对第二参考发声内容，由于其匹配度大于第二预设值，但是其小于第一预设值，因此，可以利用第二参考发声内容辅助调整第一电子发声书的发声参数，即，可选地，在一些实施例中，步骤“基于第一教学信息、第二教学信息以及匹配度，对第一电子发声书的发声参数进行调整”，具体可以包括：（41）将匹配度大于第二预设值的历史发声内容确定第二参考发声内容；（42）获取第一电子发声书对应的目标发声文本以及第二参考发声内容对应的参考发声文本；（43）从第一教学信息中提取目标发声文本中各目标发声对象对应的展示分布，以及从第二教学信息中提取参考发声文本中各参考发声对象对应的参考展示分布；（44）基于第二参考发声内容的匹配度，确定参考展示分布对展示分布的影响程度；（45）根据影响程度以及展示分布，调整第一电子发声书中各目标发声对象的展示时长和展示次数。
53.其中，将匹配度大于第二预设值的历史发声内容确定第二参考发声内容，即，在该实施例中，关注于局部的发声内容（即第二参考发声内容），然后，确定各目标发声对象对应的展示分布和各参考发声对象对应的参考展示分布，其中，发声对象可以是单字、单词、短语、短句或长句等等，具体可以根据实际情况而定，在此不作限制，进一步的，根据第二参考发声内容的匹配度，确定参考展示分布对展示分布的影响程度，比如，参考发声对象a1对应目标对象a1，参考发声对象a2对应目标对象a2，参考发声对象a1所在的第二参考发声内容对应的匹配度为90%，参考发声对象a2所在的第二参考发声内容对应的匹配度为70%，可见，参考发声对象a1的对于目标参考对象a1的影响程度更大，因此，则可以将该匹配度转换为权重系数，比如，将参考发声对象a1对应的匹配度转换为权重系数为0.9，则根据该权重系数提高参考发声对象a1的展示次数，该展示次数的计算方式可以为x=（1+y）t，其中，x为调整后的展示次数，y为权重系数，t为调整前的展示次数；同理，可以根据该权重系数提高参考发声对象a1的展示时长，展示时长的调整方式与展示次数的调整方式类似，请参阅前面实施例，在此不再赘述。
54.在步骤103中，当用户标识为孩童标识时，则触发进入点读模式。在本技术的一些实施例中，将年龄为5-8岁的用户确定为孩童，由于在该年龄段的用户，其认识的文字有限，因此，为了便于孩童在点读模式下点读第二电子发声书，将点读功能的开关与手势操作进行绑定，使得孩童可以更便捷快速的点读第二电子发声书，即，可选地，在一些实施例中，步骤“响应于针对第二电子发声书的手势操作，基于孩童标识对应的眼动数据，播放第二电子发声书”，具体可以包括：
（51）响应于针对第二电子发声书的手势操作，识别手势操作是否为目标手势操作；（52）当识别到手势操作为目标手势操作时，则获取孩童标识对应的眼动数据以及第二电子书中各点读内容的坐标数据；（53）根据眼动数据和坐标数据，在第二电子书中确定目标点读内容；（54）播放目标点读内容，并在预设时间后，输出目标点读内容的图像信息或动效。
55.比如，可以预先存储多个目标手势轨迹，当接收到针对第二电子发声书的手势操作，则识别该手势操作对应的手势轨迹，当识别到该手势轨迹与存储的任一目标手势轨迹匹配时，则获取孩童标识对应的眼动数据以及第二电子书中各点读内容的坐标数据。随后，根据眼动数据，确定孩童在第二电子书上的眼动坐标，接着，根据各点读内容的坐标数据以及眼动坐标在第二电子书中确定目标点读内容，对于某些具有图像表现的点读内容而言，在播放目标点读内容的预设时间后，输出目标点读内容的图像信息或动效。
56.可选地，在一些实施例中，步骤“在点读模式下，获取孩童标识对应的第二电子发声书”，具体可以包括：（61）获取孩童标识对应的待点读数据和教学进度；（62）基于教学进度以及预设配置信息，将待点读数据中的目标数据确定为第二电子发声书。
57.可选地，该预设配置信息携带有配置的待点读数据、以及每个待点读数据的展示顺序，对于初次使用智能发声设备的用户，其可以根据设定的顺序输出第二电子发声书；而对于已使用过智能发声设备的用户，其可以根据每个待点读数据的教学进度，将教学进度最前的待点读数据确定为第二电子发声书。
58.这样即完成了本实施例的信息交互过程。
59.本实施例的信息交互方法在响应于针对智能发声设备的交互操作，确定交互操作对应的用户标识后，当用户标识为学生标识时，触发智能发声设备进入教学模式，并在教学模式下，获取学生标识对应的历史教学数据以及第一电子发声书；基于历史教学数据对所述第一电子发声书的发声参数进行调整；响应于针对第一电子发声书的播放操作，根据调整后发声参数播放第一电子发声书，当用户标识为孩童标识时，触发智能发声设备进入点读模式，并在点读模式下，获取孩童标识对应的第二电子发声书；响应于针对第二电子发声书的手势操作，基于孩童标识对应的眼动数据，播放第二电子发声书，在与智能发声设备进行信息交互时，可以根据不同的用户标识，进入相应的电子发声模式，不仅可以利用历史教学数据对第一电子发声书进行调整，还可以基于眼动数据播放第二电子发声书，由此，丰富了智能发声设备的信息交互形式。
60.本技术实施例还提供一种信息交互方法，其中，该信息交互装置集成在服务器中，请参阅图2，具体流程如下：步骤201、服务器响应于针对智能发声设备的交互操作，确定交互操作对应的用户标识；步骤202、服务器当用户标识为学生标识时，触发智能发声设备进入教学模式，并在教学模式下，获取学生标识对应的历史教学数据以及第一电子发声书；基于历史教学数据对第一电子发声书的发声参数进行调整；响应于针对第一电子发声书的播放操作，根据
调整后发声参数播放第一电子发声书；步骤203、服务器当用户标识为孩童标识时，触发智能发声设备进入点读模式，并在点读模式下，获取孩童标识对应的第二电子发声书；响应于针对第二电子发声书的手势操作，基于孩童标识对应的眼动数据，播放第二电子发声书。
61.由上可知，服务器可以根据不同的用户标识，进入相应的电子发声模式，不仅可以利用历史教学数据对第一电子发声书进行调整，还可以基于眼动数据播放第二电子发声书，由此，丰富了智能发声设备的信息交互形式。
62.本发明还提供一种信息交互装置，请参照图3，图3为本发明的信息交互装置的一实施例的结构示意图，本实施例的信息交互装置可使用上述的信息交互方法进行实施。本实施例的信息交互装置30包括确定模块301、第一获取模块302、调整模块303、第一播放模块304、第二获取模块305以及第二播放模块306，具体如下：确定模块301，用于响应于针对智能发声设备的交互操作，确定交互操作对应的用户标识。
63.第一获取模块302，用于当用户标识为学生标识时，触发智能发声设备进入教学模式，并在教学模式下，获取学生标识对应的历史教学数据以及第一电子发声书。
64.调整模块303，用于基于历史教学数据对第一电子发声书的发声参数进行调整。
65.第一播放模块304，用于响应于针对第一电子发声书的播放操作，根据调整后发声参数播放第一电子发声书。
66.第二获取模块305，用于当用户标识为孩童标识时，触发智能发声设备进入点读模式，并在点读模式下，获取孩童标识对应的第二电子发声书.第二播放模块306，用于响应于针对第二电子发声书的手势操作，基于孩童标识对应的眼动数据，播放第二电子发声书。
67.可选地，在一些实施例中，请参阅图4，图4为本发明的信息交互装置的一实施例的调整模块的结构示意图，该调整模块303具体可以包括：提取单元3031，用于从历史教学数据提取在历史时段内第一电子发声书对应的第一教学信息，以及从历史教学数据提取在历史时段内其他历史发声内容对应的第二教学信息；计算单元3032，用于计算历史发声内容与第一电子发声书之间的匹配度；调整单元3033，用于基于第一教学信息、第二教学信息以及匹配度，对第一电子发声书的发声参数进行调整。
68.可选地，在一些实施例中，调整单元3033具体可应用于：将匹配度大于第一预设值的历史发声内容确定第一参考发声内容；根据第一教学信息，确定第一电子发声书对应的历史发声速度、历史跟读速度以及历史跟读错误率；根据第二教学信息，确定第一参考发声内容的参考发声速度、参考跟读速度以及参考跟读错误率；将历史跟读速度转换为第一调参权重；基于第一参考发声内容的匹配度，输出参考发声速度对应的第二调参权重和参考跟读速度对应的第三调参权重；计算历史发声速度、第一调参权重、第二调参权重以及第三调参权重的乘积，得到播放第一电子发声书对应的目标发声速度；基于历史跟读错误率和参考跟读错误率，调整所述第一电子发声书中目标发声内容的播放次数。
69.可选地，在一些实施例中，调整单元3033具体可应用于：从第一教学信息中提取第
一电子发声书对应的跟读信息；获取第一电子发声书对应的音频文本；从音频文本中提取预设时间点对应的文字，得到多个音频单字；统计音频单字在音频文本出现的单字次数以及音频单字对应的音高值在音频文本出现的音高次数；计算单字次数与音高次数之间的乘积，确定每个音频单字的在所述音频文本中的音高独立概率；获取每个音频单字在预设时间点的变化参数，得到多个变化参数；提取每个音频单字的音高值，得到多个音高值；基于变化参数和音高值计算音高值在相邻预设时间间隔发生变化的概率，得到音高值对应的音高变化概率；根据音高变化概率、音高值以及跟读信息，确定第一电子发声书对应的历史跟读错误率。
70.可选地，在一些实施例中，调整单元3033具体还可应用于：将匹配度大于第二预设值的历史发声内容确定第二参考发声内容；获取第一电子发声书对应的目标发声文本以及第二参考发声内容对应的参考发声文本；从第一教学信息中提取目标发声文本中各目标发声对象对应的展示分布，以及从第二教学信息中提取参考发声文本中各参考发声对象对应的参考展示分布；基于第二参考发声内容的匹配度，确定参考展示分布对展示分布的影响程度；根据影响程度以及展示分布，调整第一电子发声书中各目标发声对象的展示时长和展示次数。
71.可选地，在一些实施例中，请参阅图5，图5为本发明的信息交互装置的一实施例的第二获取模块的结构示意图，该第二获取模块305具体可以包括：获取单元3051，用于获取孩童标识对应的待点读数据和教学进度；确定单元3052，用于基于教学进度以及预设配置信息，将待点读数据中的目标数据确定为第二电子发声书。
72.可选地，在一些实施例中，请参阅图6，图6为本发明的信息交互装置的一实施例的第二播放模块的结构示意图，该第二播放模块306具体可以包括：识别单元3061，用于响应于针对第二电子发声书的手势操作，识别手势操作是否为目标手势操作；获取单元3062，用于当识别到手势操作为目标手势操作时，则获取孩童标识对应的眼动数据以及第二电子书中各点读内容的坐标数据；确定单元3063，用于根据眼动数据和坐标数据，在第二电子书中确定目标点读内容；播放单元3064，用于播放目标点读内容，并在预设时间后，输出目标点读内容的图像信息或动效。
73.这样即完成了本实施例的信息交互装置30与用户之间的信息交互过程。
74.本实施例的信息交互装置的具体工作原理与上述信息交互方法的实施例中的描述相同或相似，具体请参见上述信息交互方法的实施例中的详细描述。
75.本实施例的信息交互装置在响应于针对智能发声设备的交互操作，确定交互操作对应的用户标识后，当用户标识为学生标识时，触发智能发声设备进入教学模式，并在教学模式下，获取学生标识对应的历史教学数据以及第一电子发声书；基于历史教学数据对所述第一电子发声书的发声参数进行调整；响应于针对第一电子发声书的播放操作，根据调整后发声参数播放第一电子发声书，当用户标识为孩童标识时，触发智能发声设备进入点读模式，并在点读模式下，获取孩童标识对应的第二电子发声书；响应于针对第二电子发声
书的手势操作，基于孩童标识对应的眼动数据，播放第二电子发声书，在与智能发声设备进行信息交互时，可以根据不同的用户标识，进入相应的电子发声模式，不仅可以利用历史教学数据对第一电子发声书进行调整，还可以基于眼动数据播放第二电子发声书，由此，丰富了智能发声设备的信息交互形式。
76.如本技术所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和／或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和／或线程内，并且组件可以位于一个计算机上和／或分布在两个或更多计算机之间。
77.图7和随后的讨论提供了对实现本发明所述的信息交互装置所在的电子设备的工作环境的简短、概括的描述。图7的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1012包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(pda)、媒体播放器等等）、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。
78.尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布（下文讨论）。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(api)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。
79.图7图示了包括本发明的信息交互装置中的一个或多个实施例的电子设备1012的实例。在一种配置中，电子设备1012包括至少一个处理单元1016和存储器1018。根据电子设备的确切配置和类型，存储器1018可以是易失性的(比如ram)、非易失性的（比如rom、闪存等）或二者的某种组合。该配置在图1中由虚线1014图示。
80.在其他实施例中，电子设备1012可以包括附加特征和／或功能。例如，设备1012还可以包括附加的存储装置（例如可移除和／或不可移除的），其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图7中由存储装置1020图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1020中。存储装置1020还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1018中由例如处理单元1016执行。
81.本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1018和存储装置1020是计算机存储介质的实例。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字通用盘(dvd)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1012访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1012的一部分。
82.电子设备1012还可以包括允许电子设备1012与其他设备通信的通信连接1026。通
信连接1026可以包括但不限于调制解调器、网络接口卡(nic)、集成网络接口、射频发射器／接收器、红外端口、usb连接或用于将电子设备1012连接到其他电子设备的其他接口。通信连接1026可以包括有线连接或无线连接。通信连接1026可以发射和／或接收通信媒体。
83.术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
84.电子设备1012可以包括输入设备1024，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和／或任何其他输入设备。设备1012中也可以包括输出设备1022，比如一个或多个显示器、扬声器、打印机和／或任意其他输出设备。输入设备1024和输出设备1022可以经由有线连接、无线连接或其任意组合连接到电子设备1012。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1012的输入设备1024或输出设备1022。
85.电子设备1012的组件可以通过各种互连（比如总线）连接。这样的互连可以包括外围组件互连(pci)(比如快速pci)、通用串行总线(usb)、火线(ieee 13104)、光学总线结构等等。在另一个实施例中，电子设备1012的组件可以通过网络互连。例如，存储器1018可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
86.本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1028访问的电子设备1030可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1012可以访问电子设备1030并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1012可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1012处执行并且一些指令可以在电子设备1030处执行。
87.本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
88.而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件（例如元件、资源等）执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能（例如其在功能上是等价的）的任意组件（除非另外指示），即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
89.本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单
独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。
90.综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。