一种基于大数据分析的远程日语教学交互系统及交互方法与流程

本发明属于教学技术领域，尤其涉及一种基于大数据分析的远程日语教学交互系统及交互方法。

背景技术：

日语的使用范围包括日本国全境(琉球地区大部分使用，有原住民使用琉球语，日本不承认琉球语为独立语言)。日语在世界范围使用广泛，因为日本动漫产业在世界范围内的影响力，虽不是联合国工作语言，在世界上影响力也很大。特别是对于与acg相关的物什，日语几乎是唯一的用语。日语极富变化，不单有口语和书面语的区别，还有简体和敬体、普通和郑重、男与女、老与少的区别，不同行业和职务的人说话也不同，这体现出日本社会森严的等级和团队思维。日语中的敬语发达，敬语的使用使得公众场合下的日语十分典雅，但过于繁复的语法使得学习敬语异常困难，即使土生土长的日本人也不能完全熟练掌握。然而，

综上所述，现有技术存在的问题是：

现有日语教学中使用的翻译机在进行语音翻译时，翻译语音听起来都是同一个人的声音，单调乏味，让人感觉是在与机器人对话，而不是与真人对话，缺乏真实感和人情味，容易引起听觉疲劳，用户体验不佳；同时，日语文本翻译时，由于在将源文本的音素序列转化为源文本的词序列时，转化过程容易出错，从而导致翻译结果也容易出错，影响教学质量。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于大数据分析的远程日语教学交互系统及交互方法。

本发明是这样实现的，一种基于大数据分析的远程日语教学交互系统包括：

教学视频采集模块，与中央控制模块连接，用于通过摄像头采集日语教学视频数据；

输入模块，与中央控制模块连接，用于通过输入键盘输入操作指令及待翻译文本；

中央控制模块，与教学视频采集模块、输入模块、网络通信模块、语音翻译模块、文本翻译模块、大数据处理模块、存储模块、显示模块连接，用于通过单片机控制各个模块正常工作；

网络通信模块，与中央控制模块连接，用于通过网卡连接互联网进行远程日语教学数据通信操作；

语音翻译模块，与中央控制模块连接，用于通过语音翻译器对日语语音进行识别翻译；

文本翻译模块，与中央控制模块连接，用于通过翻译程序对输入的日语文本进行翻译；

大数据处理模块，与中央控制模块连接，用于通过云服务器集中大数据资源对采集的日语教学视频进行处理分析；

存储模块，与中央控制模块连接，用于通过存储器存储采集的日语教学视频数据；

显示模块，与中央控制模块连接，用于通过触控显示器显示日语教学交互系统界面及日语教学视频内容。

一种基于大数据分析的远程日语教学交互方法包括以下步骤：

步骤一，通过教学视频采集模块利用摄像头采集日语教学视频数据；通过输入模块利用输入键盘输入操作指令及待翻译文本；

步骤二，中央控制模块通过网络通信模块利用网卡连接互联网进行远程日语教学数据通信操作；

步骤三，通过语音翻译模块利用语音翻译器对日语语音进行识别翻译；通过文本翻译模块利用翻译程序对输入的日语文本进行翻译；

步骤四，通过大数据处理模块利用云服务器集中大数据资源对采集的日语教学视频进行处理分析；

步骤五，通过存储模块利用存储器存储采集的日语教学视频数据；

步骤六，通过显示模块利用触控显示器显示日语教学交互系统界面及日语教学视频内容。

进一步，所述语音翻译模块翻译方法如下：

(1)从原始语音信息中提取出原始声纹；

(2)对所述原始语音信息进行翻译处理，获得翻译信息；

(3)将所述翻译信息和所述原始声纹合成为最终语音信息。

进一步，所述翻译信息为目标语音信息，所述将所述翻译信息和所述原始声纹合成为最终语音信息的步骤包括：

剔除所述目标语音信息中的预设声纹，得到无声纹的目标语音信息；

将所述原始声纹合成到所述无声纹的目标语音信息中，生成最终语音信息。

进一步，所述剔除所述目标语音信息中的预设声纹的步骤包括：

从所述目标语音信息中提取出预设声纹；

对所述目标语音信息和所述预设声纹做信号减法运算，得到无声纹的目标语音信息。

进一步，所述将所述原始声纹合成到所述无声纹的目标语音信息中，生成最终语音信息的步骤包括：

对所述原始声纹和所述无声纹的目标语音信息做信号加法运算，得到最终语音信息。

进一步，所述对所述原始语音信息进行翻译处理，获得翻译信息的步骤包括：

向第一服务器发送所述原始语音信息，以使所述第一服务器将所述原始语音信息翻译处理为目标语音信息；

接收所述第一服务器返回的所述目标语音信息。

进一步，所述文本翻译模块翻译方法如下：

1)获取源文本对应的音素序列编码向量及词序列向量；其中，所述源文本对应的音素序列编码向量由所述源文本中每一分词对应的音素编码向量所构成，所述源文本对应的词序列向量由所述源文本中每一分词对应的词向量所构成，所述源文本对应的音素序列编码向量中包含的音素编码向量数与所述源文本对应的词序列向量中包含的词向量数相同；

2)将所述源文本对应的音素序列编码向量与词序列向量输入至翻译模型，输出得到所述源文本对应的目标文本。

进一步，所述获取源文本中每一分词对应的音素编码向量，包括：

获取所述源文本中每一分词对应的音素序列中最后一个音素的编码向量，并作为每一分词对应的音素编码向量。

进一步，所述获取源文本中每一分词对应的音素编码向量，包括：

对所述源文本对应的音素序列作卷积处理，得到卷积向量；

根据所述卷积向量的维度及所述源文本对应的词序列向量中包含的词向量数，确定池化处理的窗口尺寸；

基于所述窗口尺寸对所述卷积向量作池化处理，得到每一分词对应的音素序列编码向量。

进一步，所述根据所述卷积向量的维度及所述源文本对应的词序列向量中包含的词向量数，确定池化处理的窗口尺寸，包括：

计算所述卷积向量的维度与所述源文本对应的词序列向量中包含的词向量数之间的比值，对计算得到的比值向上取整，将得到的整数值作为池化处理的窗口尺寸。

进一步，所述将所述源文本对应的音素序列编码向量与词序列向量输入至翻译模型，输出得到所述源文本对应的目标文本，包括：

将所述源文本中每一分词对应的音素编码向量与每一分词对应的词向量进行拼接，得到每一分词对应的特征向量，将每一分词对应的特征向量输入至翻译模型，输出得到所述源文本对应的目标文本。

进一步，步骤六中触控显示器显示日语教学交互系统界面及日语教学视频内容，同时进行人机交互；人机交互的方法包括：

步骤一，系统初始化：

用户a与用户b在首次登录系统时进行初始化；

用户a与用户b在完成初始化后即进行登陆系统，登陆过程如下：

用户登录系统，用户界面将自动获取存储于第三方存储机构的密钥文件，并通过对注册信息进行哈希计算获取到口令密钥，通过口令密钥解密密钥文件，对密钥文件进行解析后分别获得用户主密钥与用户私钥，并将主密钥与私钥存储于用户界面；

用户界面初拟关键指标集合；

精炼同层指标和计算权重；

计算跨层指标权重；

初拟关键指标集合的过程为：在具有n个专家参与系统评估的场景中，专家i给出的指标类型为:

其中，ni是一个多指标的集合，指专家i给出的指标j的权重，表示指标类型个数，表示指标类型个数，m表示最多指标数量，n个专家形成该系统的总的指标集合为n'＝{ni,i＝1,...,n}；

精炼同层指标和计算权重的过程为：在具有n个专家参与系统评估的场景中，根据所述n个专家形成的系统的总的指标集合为n'＝{ni,i＝1,...,n}，求解公共的关键指标类型和相应指标的权重，其中精炼后的指标类型记作n0，则其中表示n个专家给出的指标类型ni,i＝1,...,n的交集；精炼后的关键指标的权重向量采用平均法计算，即其中表示第j个被加入到精炼后指标集合n0中的指标元素的权重；

步骤二，文件加密上传；

步骤三，密文共享；

步骤四，文件下载解密；

步骤五，注销：

当需要注销时，用户界面会自动清除存储于用户界面的主密钥与用户私钥。

进一步，在步骤三中所述文件共享具体包括：

第一步，用户a首先在自己的存储空间内选择需要共享的文件，设置文件属性为共享，提供用户查询的窗口，当用户a在窗口内输入用户b的用户名后用户界面自动发送查询请求到服务端查询用户b是否存在，如果用户b存在则将返回一个确认信息以及用户b的公钥；

第二步，用户a通过发送请求获取当前所要共享文件的加密后的文件密钥，第三方平台机构接收到请求后则会将第三方平台机构中存储的当前文件密态的文件密钥发送给用户a；

第三步，用户a接收到文件的文件密钥后，通过存储在本地的主密钥解密获取文件的明文状态的文件密钥；

第四步，通过使用在第一步中获取到的用户b的公钥对明文的文件密钥进行加密处理，形成新密态的文件密钥；

第五步，用户a的用户界面自动将新加密得到的密钥通过可视化编码为字符串，然后将编码后的密钥上传到第三方平台机构，并在共享文件信息列表中插入一条记录用来存储密钥以及相关信息；

第六步，第三方平台机构根据共享文件信息列表对用户b进行文件标记，使得用户b能够在自己的存储空间中看到并识别出共享文件。

本发明的优点及积极效果为：

本发明通过语音翻译模块利用从原始语音信息中提取出原始声纹，再将翻译信息和原始声纹合成为最终语音信息，使得最终语音信息与原始语音信息的声纹相同，听起来好像对方用户自己说出了翻译后的语言，实现了原声翻译的效果，将人机对话提升为人与人的直接对话，提高了翻译语音的生动性和真实性，提升了用户体验；同时，通过文本翻译模块获取源文本对应的音素序列编码向量及词序列向量；将源文本对应的音素序列编码向量与词序列向量输入至翻译模型，输出得到源文本对应的目标文本；由于在机器翻译的解码阶段之前，结合了词序列和音素序列进行编码，从而可利用音素序列对语音识别结果作容错处理，使得翻译后的目标文本能够更加准确地对应源语音信号，翻译结果更加准确，提高日语教学质量。

本发明中，触控显示器显示日语教学交互系统界面及日语教学视频内容，同时进行人机交互；人机交互的方法包括：步骤一，系统初始化：用户a与用户b在首次登录系统时进行初始化；用户a与用户b在完成初始化后即进行登陆系统，登陆过程如下：用户登录系统，用户界面将自动获取存储于第三方存储机构的密钥文件，并通过对注册信息进行哈希计算获取到口令密钥，通过口令密钥解密密钥文件，对密钥文件进行解析后分别获得用户主密钥与用户私钥，并将主密钥与私钥存储于用户界面；用户界面初拟关键指标集合；精炼同层指标和计算权重；计算跨层指标权重；步骤二，文件加密上传；步骤三，密文共享；能够方便的进行人机交换和共享文件。

附图说明

图1是本发明实施例提供的基于大数据分析的远程日语教学交互方法流程图。

图2是本发明实施例提供的基于大数据分析的远程日语教学交互系统结构框图。

图中：1、教学视频采集模块；2、输入模块；3、中央控制模块；4、网络通信模块；5、语音翻译模块；6、文本翻译模块；7、大数据处理模块；8、存储模块；9、显示模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明提供的基于大数据分析的远程日语教学交互方法包括以下步骤：

s101，通过教学视频采集模块利用摄像头采集日语教学视频数据；通过输入模块利用输入键盘输入操作指令及待翻译文本；

s102，中央控制模块通过网络通信模块利用网卡连接互联网进行远程日语教学数据通信操作；

s103，通过语音翻译模块利用语音翻译器对日语语音进行识别翻译；通过文本翻译模块利用翻译程序对输入的日语文本进行翻译；

s104，通过大数据处理模块利用云服务器集中大数据资源对采集的日语教学视频进行处理分析；

s105，通过存储模块利用存储器存储采集的日语教学视频数据；

s106，通过显示模块利用触控显示器显示日语教学交互系统界面及日语教学视频内容。

如图2所示，本发明实施例提供的基于大数据分析的远程日语教学交互系统包括：教学视频采集模块1、输入模块2、中央控制模块3、网络通信模块4、语音翻译模块5、文本翻译模块6、大数据处理模块7、存储模块8、显示模块9。

教学视频采集模块1，与中央控制模块3连接，用于通过摄像头采集日语教学视频数据；

输入模块2，与中央控制模块3连接，用于通过输入键盘输入操作指令及待翻译文本；

中央控制模块3，与教学视频采集模块1、输入模块2、网络通信模块4、语音翻译模块5、文本翻译模块6、大数据处理模块7、存储模块8、显示模块9连接，用于通过单片机控制各个模块正常工作；

网络通信模块4，与中央控制模块3连接，用于通过网卡连接互联网进行远程日语教学数据通信操作；

语音翻译模块5，与中央控制模块3连接，用于通过语音翻译器对日语语音进行识别翻译；

文本翻译模块6，与中央控制模块3连接，用于通过翻译程序对输入的日语文本进行翻译；

大数据处理模块7，与中央控制模块3连接，用于通过云服务器集中大数据资源对采集的日语教学视频进行处理分析；

存储模块8，与中央控制模块3连接，用于通过存储器存储采集的日语教学视频数据；

显示模块9，与中央控制模块3连接，用于通过触控显示器显示日语教学交互系统界面及日语教学视频内容。

在本发明实施例中，本发明提供的语音翻译模块5翻译方法如下：

(1)从原始语音信息中提取出原始声纹；

(2)对所述原始语音信息进行翻译处理，获得翻译信息；

(3)将所述翻译信息和所述原始声纹合成为最终语音信息。

本发明提供的翻译信息为目标语音信息，所述将所述翻译信息和所述原始声纹合成为最终语音信息的步骤包括：

剔除所述目标语音信息中的预设声纹，得到无声纹的目标语音信息；

将所述原始声纹合成到所述无声纹的目标语音信息中，生成最终语音信息。

本发明提供的剔除所述目标语音信息中的预设声纹的步骤包括：

从所述目标语音信息中提取出预设声纹；

对所述目标语音信息和所述预设声纹做信号减法运算，得到无声纹的目标语音信息。

本发明提供的将所述原始声纹合成到所述无声纹的目标语音信息中，生成最终语音信息的步骤包括：

对所述原始声纹和所述无声纹的目标语音信息做信号加法运算，得到最终语音信息。

本发明提供的对所述原始语音信息进行翻译处理，获得翻译信息的步骤包括：

向第一服务器发送所述原始语音信息，以使所述第一服务器将所述原始语音信息翻译处理为目标语音信息；

接收所述第一服务器返回的所述目标语音信息。

本发明提供的文本翻译模块6翻译方法如下：

1)获取源文本对应的音素序列编码向量及词序列向量；其中，所述源文本对应的音素序列编码向量由所述源文本中每一分词对应的音素编码向量所构成，所述源文本对应的词序列向量由所述源文本中每一分词对应的词向量所构成，所述源文本对应的音素序列编码向量中包含的音素编码向量数与所述源文本对应的词序列向量中包含的词向量数相同；

2)将所述源文本对应的音素序列编码向量与词序列向量输入至翻译模型，输出得到所述源文本对应的目标文本。

在本发明实施例中，本发明提供的获取源文本中每一分词对应的音素编码向量，包括：

获取所述源文本中每一分词对应的音素序列中最后一个音素的编码向量，并作为每一分词对应的音素编码向量。

本发明提供的获取源文本中每一分词对应的音素编码向量，包括：

对所述源文本对应的音素序列作卷积处理，得到卷积向量；

根据所述卷积向量的维度及所述源文本对应的词序列向量中包含的词向量数，确定池化处理的窗口尺寸；

基于所述窗口尺寸对所述卷积向量作池化处理，得到每一分词对应的音素序列编码向量。

本发明提供的根据所述卷积向量的维度及所述源文本对应的词序列向量中包含的词向量数，确定池化处理的窗口尺寸，包括：

计算所述卷积向量的维度与所述源文本对应的词序列向量中包含的词向量数之间的比值，对计算得到的比值向上取整，将得到的整数值作为池化处理的窗口尺寸。

本发明提供的将所述源文本对应的音素序列编码向量与词序列向量输入至翻译模型，输出得到所述源文本对应的目标文本，包括：

将所述源文本中每一分词对应的音素编码向量与每一分词对应的词向量进行拼接，得到每一分词对应的特征向量，将每一分词对应的特征向量输入至翻译模型，输出得到所述源文本对应的目标文本。

在本发明实施例中，步骤六中触控显示器显示日语教学交互系统界面及日语教学视频内容，同时进行人机交互；人机交互的方法包括：

步骤一，系统初始化：

用户a与用户b在首次登录系统时进行初始化；

用户a与用户b在完成初始化后即进行登陆系统，登陆过程如下：

用户登录系统，用户界面将自动获取存储于第三方存储机构的密钥文件，并通过对注册信息进行哈希计算获取到口令密钥，通过口令密钥解密密钥文件，对密钥文件进行解析后分别获得用户主密钥与用户私钥，并将主密钥与私钥存储于用户界面；

用户界面初拟关键指标集合；

精炼同层指标和计算权重；

计算跨层指标权重；

初拟关键指标集合的过程为：在具有n个专家参与系统评估的场景中，专家i给出的指标类型为:

其中，ni是一个多指标的集合，指专家i给出的指标j的权重，表示指标类型个数，表示指标类型个数，m表示最多指标数量，n个专家形成该系统的总的指标集合为n'＝{ni,i＝1,...,n}；

精炼同层指标和计算权重的过程为：在具有n个专家参与系统评估的场景中，根据所述n个专家形成的系统的总的指标集合为n'＝{ni,i＝1,...,n}，求解公共的关键指标类型和相应指标的权重，其中精炼后的指标类型记作n0，则其中表示n个专家给出的指标类型ni,i＝1,...,n的交集；精炼后的关键指标的权重向量采用平均法计算，即其中表示第j个被加入到精炼后指标集合n0中的指标元素的权重；

步骤二，文件加密上传；

步骤三，密文共享；

步骤四，文件下载解密；

步骤五，注销：

当需要注销时，用户界面会自动清除存储于用户界面的主密钥与用户私钥。

在本发明实施例中，在步骤一中所述初始化过程包括：

第一步，用户进入注册界面，按要求提供用户名与口令进行注册，然后用户界面会根据注册信息在用户界面通过哈希函数生成符合对称加密密钥长度要求的用户口令密钥；

第二步，用户界面会通过本地函数调用在本地生成大小为m的安全随机数，随机数作为用户的主密钥，m的大小根据对称加密算法对密钥长度的要求来进行确定，与此同时也在本地生成用户的非对称加密的密钥对；

第三步，将生成的用户主密钥与用户私钥通过口令密钥进行加密，生成密文状态的密钥文件，将文件通过编码后上传至第三方平台机构进行存储，存储至用户注册信息列表中；

第四步，将生成的公钥直接上传至用户注册信息列表中，进行存储从而完成注册；

在步骤二中所述文件上传过程包括：

第一步，用户a选择需要加密上传的文件，然后由用户界面随机生成一个安全的随机数，长度符合对称加密密钥长度，将随机数作为文件密钥；

第二步，通过使用文件密钥对所选文件进行加密，并将加密结果缓存在本地；

第三步，文件密钥通过用户主密钥进行加密，并且将加密后的文件密钥通过文件拼接的方式拼接到通过第二步加密后的文件前，组成一个新的文件，前m字节为加密后的文件密钥，m字节后为加密后的文件内容；

第四步，用户a将新组成的加密文件上传至服务端进行存储；

在步骤三中所述文件共享具体包括：

第一步，用户a首先在自己的存储空间内选择需要共享的文件，设置文件属性为共享，提供用户查询的窗口，当用户a在窗口内输入用户b的用户名后用户界面自动发送查询请求到服务端查询用户b是否存在，如果用户b存在则将返回一个确认信息以及用户b的公钥；

第二步，用户a通过发送请求获取当前所要共享文件的加密后的文件密钥，第三方平台机构接收到请求后则会将第三方平台机构中存储的当前文件密态的文件密钥发送给用户a；

第三步，用户a接收到文件的文件密钥后，通过存储在本地的主密钥解密获取文件的明文状态的文件密钥；

第四步，通过使用在第一步中获取到的用户b的公钥对明文的文件密钥进行加密处理，形成新密态的文件密钥；

第五步，用户a的用户界面自动将新加密得到的密钥通过可视化编码为字符串，然后将编码后的密钥上传到第三方平台机构，并在共享文件信息列表中插入一条记录用来存储密钥以及相关信息；

第六步，第三方平台机构根据共享文件信息列表对用户b进行文件标记，使得用户b能够在自己的存储空间中看到并识别出共享文件；

在步骤四中所述文件下载具体包括：

共享文件的下载解密：

第一步，用户b在自己的文件列表内选择接受到的共享文件，发送下载请求；

第二步，第三方平台机构根据下载请求判断该文件是否为共享文件，如果是共享文件则将存储于共享文件信息列表中的文件密钥发送给用户b，同时将请求的共享文件发送到用户b进行缓存；

第三步，用户界面将使用获取到的用户私钥对第二步中获取到的文件密钥进行解密，从而获取到文件密钥，通过使用文件密钥对文件进行解密获取到明文的原始文件；

非共享文件的下载解密：

第一步，用户a或者b选择需下载的非共享文件，发送下载请求；

第二步，第三方平台机构根据下载请求判断该文件是否为共享文件，如果不是共享文件，则将请求的文件发送到用户a或者b进行缓存；

第三步，用户界面获取缓存的文件头部信息，并通过用户的主密钥解密头部信息，获取得到明文的文件密钥，通过明文的文件密钥解密获取明文的原始文件，从而完成下载。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。