1.一种聋哑人与正常人的辅助对话系统,其特征在于,该辅助对话系统基于智能手机且包括对话交互模块、场景感知模块、数据采集及预处理模块、语音识别模块、语音合成模块,其中:
场景感知模块,用于感知并确定聋哑人与正常人的对话场景;
数据采集及预处理模块,用于采集正常人话音,生成声音数据,对该声音数据进行预处理,生成语音数据;
语音识别模块,用于接收识别该语音数据,并加载对应该对话场景的语音识别模型,根据该语音识别模型将该语音数据识别并转换成文字信息;
语音合成模块,用于将聋哑人输入对话的文本内容转换成语音信息,并发给正常人;
对话交互模块,用于控制整个交互流程以及聋哑人与系统之间的交互。
2.如权利要求1所述的聋哑人与正常人的辅助对话系统,其特征在于,该对话交互模块,包括:
流程控制模块,用于控制整个系统按照交互流程运行;
对话文本输入模块,用于聋哑人在触摸屏上输入对话的文本内容;
对话信息显示模块,用于将该文字信息发送到智能终端触摸屏,显示给聋哑人看。
3.如权利要求1所述的聋哑人与正常人的辅助对话系统,其特征在于,该数据采集及预处理模块,包括根据该对话场景进行对该声音数据的起始点和结束点检测、去除噪音。
4.如权利要求1所述的聋哑人与正常人的辅助对话系统,其特征在于,该场景感知模块,包括:
位置分析模块,根据GPS,获取聋哑人所处的位置数据,并根据该位置数据,通过调用地图软件确定聋哑人位置属性;
运动分析模块,根据调用运动传感器,获取聋哑人的运动属性;
语义分析模块,根据分析聋哑人首次输入的该文本内容,获取该文本内容的语义属性;
场景确定模块,根据该位置属性、该运动属性以及该语义属性,通过加权融合的算法确定对话场景。
5.如权利要求1所述的聋哑人与正常人的辅助对话系统,其特征在于,该数据采集及预处理模块,包括:
数据采集子模块,用于持续实时采集该声音数据并存入缓冲池;
数据预处理子模块,用于从该缓冲池中取出该声音数据,并从该声音数据中提取语音数据,对该语音数据进行语音增强处理后发送给该语音识别模块。
6.一种聋哑人与正常人的辅助对话方法,其特征在于,包括以下步骤:
场景感知步骤,感知并确定聋哑人与正常人的对话场景;
数据采集及预处理步骤,采集正常人话音,生成声音数据,对该声音数据进行预处理,生成语音数据;
语音识别步骤,接收识别该语音数据,并加载对应该对话场景的语音识别模型,根据该语音识别模型将该语音数据识别并转换成文字信息;
语音合成步骤,将聋哑人输入对话的文本内容,转换成语音信息,并发给正常人听;
对话交互步骤,控制整个交互流程。
7.如权利要求6所述的聋哑人与正常人的辅助对话方法,其特征在于,该对话交互步骤,包括:
流程控制步骤,控制整个交互流程;
对话文本输入步骤,通过触摸屏,输入聋哑人对话的文本内容;
对话信息显示步骤,发送该文字信息到智能终端触摸屏,显示给聋哑人看。
8.如权利要求6所述的聋哑人与正常人的辅助对话方法,其特征在于,该数据采集及预处理步骤,包括:
数据采集步骤,持续实时采集该声音数据并存入缓冲池;
数据预处理步骤,从该缓冲池中取出该声音数据,并从该声音数据中提取语音数据,对该语音数据进行语音增强处理后发送给该语音识别步骤。
9.如权利要求8所述的聋哑人与正常人的辅助对话方法,其特征在于,该数据预处理步骤,
每次从缓冲池中取一段固定时长的该声音数据;
判断该声音数据中是否包含有语音,采用的判断方法为基于预先训练的分类器的方法:预先为每种场景训练一个语音分类器,该分类器为混合高斯模型、支持向量机、人工神经网络模型中的一种;
若判断包含有语音,则进行记录后,继续取后续该声音数据进行处理;
若判断未包含有语音,则查询是否有语音记录,若没有,则继续取后续声音处理,若有,则计算累计间隔时间,若该累计间隔时间小于预先规定的阈值,则继续取后续该声音数据进行处理,若该累计间隔时间大于预先规定的该阈值,则根据语音记录,截取从第一次记录到最后一次记录时间内所包含的全部该声音数据作为该语音数据,对该语音数据进行语音增强处理后发送给该语音识别步骤。
10.一种如权利要求1所述的智能手机,其特征在于,包括外置远讲拾音器,采用直接插入或者无线方式与智能手机连接。