专利名称：语谱图互相关的驾驶员汉语语音控制系统及方法
技术领域：
本发明涉及一种应用于机动车辆上的驾驶员专用汉语语音识别控制装置和方法， 更具体地说，本发明涉及一种语谱图互相关的车内驾驶员专用汉语语音识别控制系统及方法。
背景技术：
随着汽车在我国的普及和汽车技术的不断进步，人们对于车辆的认识和要求不再局限于简单的交通工具，而是更多着眼于其舒适性、安全性和其多种多样的便捷的智能功能。车内语音识别与控制技术是智能汽车的重要核心技术之一，可被应用在汽车上实现智能操作，通过识别驾驶者的发音，由语音命令代替手动对一些汽车车载电子设备进行语音控制，将驾驶员的手部操作尽量降低，减少驾驶员注意力的分散，有利于提高行车的安全性和便捷性。目前已有一些应用于车内环境下的语音识别控制系统可见报导，但分析可查询的汽车车载语音识别控制问题研究报道特别是国内可见文献存在以下问题1.所涉及的多为非汉语语音识别领域新方法、新技术向汽车环境的简单移植和使用，对于与英语等语言有着显著差异的汉语指令特点未给予足够的重视和应用；2.多是非特定人识别控制系统，对指令发出人没有限制，实际工作中极易干扰驾驶员驾驶，不利于行车安全。3.成员间语言交流中与语音识别控制系统指令库中指令重合发生概率较大，易引起系统误操作。4.语音识别算法以单音素或单音节为单位，取10-20ms长的语音帧，逐帧处理，较大的运算量使处理速度的提高变得较为困难，且识别系统的泛化程度较难控制。5.前人虽有唇语识别技术使用，但多是用唇语识别辅助语音识别，主要目的在于提高识别率，且由此引起运算量大、运算时间长等问题。
发明内容
本发明所要解决的技术问题是克服现有车内语音识别控制方法存在的未本土化、 指令发出者无限制和指令误读误操的作问题，提供了一种语谱图互相关的车内驾驶员专用汉语语音识别控制系统和方法。为解决上述技术问题，本发明是采用如下技术方案实现的所述的语谱图互相关的驾驶员汉语语音控制系统由硬件和计算机程序的功能模块构架两部分所组成。所述的硬件部分是由专用汉语语音识别控制装置、硅麦克风、红外线CCD摄像头和汽车车载电子设备组成。所述的专用汉语语音识别控制装置由型号为TMS320C6410的DSP芯片、型号为 SAA7111H的视频AD模块芯片、型号为AL422B的同步FIFO芯片、型号为TLV320AIC23的语音编解码芯片、型号为XC9536XLVQ44的CPLD芯片、1号继电器及2号继电器组成。
硅麦克风的输出端与型号为TLV320AIC23的语音编解码芯片的DIN引脚电连接， 型号为TLV320AIC23的语音编解码芯片的DOUT引脚与型号为TMS320C6410的DSP芯片的多通道缓冲串口及I2C总线电连接，红外线CXD摄像头的输出端与型号为SAA7111H的视频AD模块芯片的CVBS引脚电连接，型号为SAA7111H的视频AD模块芯片的VP00-7输出引脚与型号为AL422B的同步FIFO芯片的DI0-7输入引脚电连接，型号为AL422B的同步 FIFO芯片的D00-7输出引脚与型号为TMS320C6410的DSP芯片的FIFO接口电连接，型号为 的 DSP芯片的GPO
引脚与1号继电器的输入端电连接，型号为TMS320C6410的DSP芯片的 GPO[3]引脚与2号继电器的输入端电连接，1号继电器与2号继电器的输出端分别和汽车车载电子设备电线连接。技术方案中所述的汽车车载电子设备包括空调和后备箱锁，空调的接线端与2号继电器的输出端电线连接，后备箱锁的接线端与1号继电器的输出端电线连接；所述的计算机程序的功能模块构架由专用汉语语音识别控制单元和驾驶员唇语开关单元组成。所述的专用汉语语音识别控制单元包括存储前一时间段的车内声音信号的音频缓存区、减少噪声影响的背景噪声抑制模块、生成语谱图的短时傅里叶模块、判别有无“打开”或“关闭”语音指令关键词发出的关键词判别模块、判别指令控制对象的汽车车载电子设备判别模块。 各模块设置在型号为TMS320C6410的DSP芯片上，采用片上数据线连接。所述的驾驶员唇语开关单元包括实现视频AD转换的视频编解码模块、缓冲一帧视频数据的FIFO模块、描述唇部内外轮廓的唇动检测与跟踪模块和确定有无唇部动作的唇动定位模块。视频编解码模块设置在型号为SAA7111H的视频AD模块芯片上，FIFO模块设置在型号为AL422B的同步 FIFO芯片上，唇动检测与跟踪模块和唇动定位模块均设置在型号为TMS320C6410的DSP芯片上。视频编解码模块通过所在的型号为SAA7111H的视频AD模块芯片的VP00-7输出引脚与FIFO模块所在的型号为AL422B的同步FIFO芯片的DI0-7输入引脚电连接，FIFO模块通过所在的型号为AL422B的同步FIFO芯片的输出引脚和唇动检测与跟踪模块及唇动定位模块所在的型号为TMS320C6410的DSP芯片内的FIFO接口电连接。唇动检测与跟踪模块和唇动定位模块间采用片上数据线连接。一种采用语谱图互相关的驾驶员汉语语音控制系统控制汽车车载电子设备的方法，该方法的步骤如下1.建立语谱图互相关的驾驶员汉语语音控制系统的语音指令库，规定“打开”和 “关闭”为语音指令关键词，“空调”与“后备箱”为具体的汽车车载电子设备名称；2.以驾驶员面前的硅麦克风采集若干帧车内声音信号，送入专用汉语语音识别控制装置中的音频缓存区；3.以驾驶员面前的红外线CXD摄像头采集驾驶员唇部图像送入驾驶员唇语开关单元，经视频编解码、FIFO缓冲、唇动检测与跟踪及唇动定位环节，确定驾驶员口唇部是否有动作；4.确定驾驶员口唇部有动作时，发出信号激活专用汉语语音识别控制单元，提取音频缓存区中存储的前一时间段的车内声音信号，送入背景噪声抑制模块；5.对提取的车内声音信号，以数字带通滤波器和谱相减法为核心，抑制背景噪声的同时增 强语音；6.对经过背景噪声抑制处理后的声信号进行短时傅里叶分析，得到语谱图后，送入关键词判别环节，用驾驶员语音“打开”、“关闭”语谱图模板作为动词识别模板，利用图像互相关方法对照动词关键词语谱图模板，快速监测车内有无预设规定的“打开”或“关闭”语音指令关键词发出；7.若有关键词发出则将声音信号作为疑似语音指令，送入汽车车载电子设备(4)
判别环节，用驾驶员语音“后备箱锁”、“空调”、------语谱图模板作为名词识别模板，利用
图像互相关方法对照汽车车载电子设备名称语谱图模板，快速监测疑似指令中有无指令库中预设规定的汽车车载电子设备名称及发出汽车车载电子设备名称内容的确定，识别指令中需要控制的汽车车载电子设备，鉴别指令控制对象以决定控制指向；8.确定疑似语音指令中含有语音指令库中存储的汽车车载电子设备名称后，由专用汉语语音识别控制装置按照指令中的动词通过1号继电器及2号继电器的开合，实现对汽车车载电子设备中的空调或/和后备箱锁的操作。技术方案中所述的语谱图互相关方法包括如下步骤设疑似语音语谱图为MX N灰度图像矩阵A，矩阵的行对应语谱图中的频率轴，矩阵的列对应语谱图中的时间轴，第i行、第j列元素值就是时刻j时第i个频率成分的幅频强度；1.语谱图预处理将语谱图零均值化，即将图像矩阵各元素值与图像灰度均值做差；2.设驾驶员“打开”语音语谱图为MXN1灰度图像矩阵A1，且已经零均值化，其中 N1 < N。做A与A1的二维圆周互相关
权利要求
1.一种语谱图互相关的驾驶员汉语语音控制系统，由硬件和计算机程序的功能模块构架两部分所组成，其特征在于，所述的硬件部分是由专用汉语语音识别控制装置(1)、硅麦克风(2)、红外线CCD摄像头(3)和汽车车载电子设备⑷组成；所述的专用汉语语音识别控制装置(1)由型号为TMS320C6410的DSP芯片(11)、型号为SAA7111H的视频AD模块芯片(12)、型号为AL422B的同步FIFO芯片(13)、型号为 TLV320AIC23的语音编解码芯片(14)、型号为XC9536XLVQ44的CPLD芯片(15)、1号继电器 (16)及2号继电器(17)组成；硅麦克风(2)的输出端与型号为TLV320AIC23的语音编解码芯片(14)的DIN引脚电连接，型号为TLV320AIC23的语音编解码芯片(14)的DOUT引脚与型号为TMS320C6410的DSP 芯片(U)的多通道缓冲串口及I2C总线电连接，红外线CCD摄像头⑶的输出端与型号为 SAA711IH的视频AD模块芯片(12)的CVBS引脚电连接，型号为SAA711IH的视频AD模块芯片(12)的VP00-7输出引脚与型号为AL422B的同步FIFO芯片(13)的DI0-7输入引脚电连接，型号为AL422B的同步FIFO芯片(13)的D00-7输出引脚与型号为TMS320C6410的DSP 芯片(11)的FIFO接口电连接，型号为XC9536XLVQ44的CPLD芯片(15)和型号为SAA7111H 的视频AD模块芯片(12)、型号为AL422B的同步FIFO芯片(13)与型号为TMS320C6410的 DSP芯片(11)的通用IO引脚电连接，型号为TMS320C6410的DSP芯片(11)的GP0
引脚与1号继电器(16)的输入端电连接，型号为TMS320C6410的DSP芯片(11)的GP0[3]弓丨脚与2号继电器(17)的输入端电连接，1号继电器(16)与2号继电器(17)的输出端分别和汽车车载电子设备(4)电线连接。
2.按照权利要求1所述的语谱图互相关的驾驶员汉语语音控制系统，其特征在于，所述的汽车车载电子设备(4)包括空调(4a)和后备箱锁(4b)，空调(4a)的接线端与2号继电器(17)的输出端电线连接，后备箱锁(4b)的接线端与1号继电器(16)的输出端电线连接。
3.按照权利要求1所述的图像处理用于语谱图的驾驶员汉语语音控制系统，其特征在于，所述的计算机程序的功能模块构架由专用汉语语音识别控制单元(Ia)和驾驶员唇语开关单元(Ib)组成；所述的专用汉语语音识别控制单元(Ia)包括存储前一时间段的车内声音信号的音频缓存区、减少噪声影响的背景噪声抑制模块、生成语谱图的短时傅里叶模块、判别有无“打开”或“关闭，，语音指令关键词发出的关键词判别模块、判别指令控制对象的汽车车载电子设备判别模块；各模块设置在型号为TMS320C6410的DSP芯片(11)上，采用片上数据线连接；所述的驾驶员唇语开关单元(Ib)包括实现视频AD转换的视频编解码模块、缓冲一帧视频数据的FIFO模块、描述唇部内外轮廓的唇动检测与跟踪模块和确定有无唇部动作的唇动定位模块；视频编解码模块设置在型号为SAA7111H的视频AD模块芯片(12)上，FIFO模块设置在型号为AL422B的同步FIFO芯片(13)上，唇动检测与跟踪模块和唇动定位模块均设置在型号为TMS320C6410的DSP芯片(11)上，视频编解码模块通过所在的型号为SAA7111H的视频AD模块芯片(12)的VP00-7输出引脚与FIFO模块所在的型号为AL422B的同步FIFO 芯片(13)的DI0-7输入引脚电连接，FIFO模块通过所在的型号为AL422B的同步FIFO芯片(13)的输出引脚和唇动检测与跟踪模块及唇动定位模块所在的型号为TMS320C6410的 DSP芯片(11)内的FIFO接口电连接，唇动检测与跟踪模块和唇动定位模块间采用片上数据线连接。
4.一种采用权利要求1所述的语谱图互相关的驾驶员汉语语音控制系统控制汽车车载电子设备的方法，其特征是该方法包括如下步骤1)建立语谱图互相关的驾驶员汉语语音控制系统的语音指令库，规定“打开”和“关闭” 为语音指令关键词，“空调”与“后备箱”为具体的汽车车载电子设备(4)名称；2)以驾驶员面前的硅麦克风(2)采集若干帧车内声音信号，送入专用汉语语音识别控制装置(Ia)中的音频缓存区；3)以驾驶员面前的红外线CCD摄像头(3)采集驾驶员唇部图像送入驾驶员唇语开关单元(Ib)，经视频编解码、FIFO缓冲、唇动检测与跟踪及唇动定位环节，确定驾驶员口唇部是否有动作；4)确定驾驶员口唇部有动作时，发出信号激活专用汉语语音识别控制单元(Ia)，提取音频缓存区中存储的前一时间段的车内声音信号，送入背景噪声抑制模块；5)对提取的车内声音信号，以数字带通滤波器和谱相减法为核心，抑制背景噪声的同时增强语音；6)对经过背景噪声抑制处理后的声信号进行短时傅里叶分析，得到语谱图后，送入关键词判别环节，用驾驶员语音“打开”、“关闭”语谱图模板作为动词识别模板，利用图像互相关方法对照动词关键词语谱图模板，快速监测车内有无预设规定的“打开”或“关闭，，语音指令关键词发出；7)若有关键词发出则将声音信号作为疑似语音指令，送入汽车车载电子设备(4)判别环节，用驾驶员语音“后备箱锁”、“空调”、------语谱图模板作为名词识别模板，利用图像互相关方法对照汽车车载电子设备(4)名称语谱图模板，快速监测疑似指令中有无指令库中预设规定的汽车车载电子设备(4)名称及发出汽车车载电子设备(4)名称内容的确定， 识别指令中需要控制的汽车车载电子设备(4)，鉴别指令控制对象以决定控制指向；8)确定疑似语音指令中含有语音指令库中存储的汽车车载电子设备(4)名称后，由专用汉语语音识别控制装置(1)按照指令中的动词通过1号继电器(16)及2号继电器(17) 的开合，实现对汽车车载电子设备(4)中的空调(4a)或/和后备箱锁(4b)的操作。
5.按照权利要求4所述的采用语谱图互相关的驾驶员汉语语音控制系统控制汽车车载电子设备的方法，其特征在于，所述的语谱图互相关方法包括如下步骤设疑似语音语谱图为MXN灰度图像矩阵A，矩阵的行对应语谱图中的频率轴，矩阵的列对应语谱图中的时间轴，第i行、第j列元素值就是时刻j时第i个频率成分的幅频强度；1)语谱图预处理将语谱图零均值化，即将图像矩阵各元素值与图像灰度均值做差；2)设驾驶员“打开”语音语谱图为MXN1灰度图像矩阵A1，且已经零均值化，其中N1 < N，做A与A1的二维圆周互相关
全文摘要
本发明公开了一种语谱图互相关的驾驶员汉语语音控制系统及方法，该控制系统由专用汉语语音识别控制装置(1)、硅麦克风(2)、红外线CCD摄像头(3)和汽车车载电子设备(4)组成。专用汉语语音识别控制装置(1)和硅麦克风(2)、红外线CCD摄像头(3)与汽车车载电子设备(4)为电连接。所述专用汉语语音识别控制装置(1)由DSP芯片(11)、视频AD模块芯片(12)、同步FIFO芯片(13)、语音编解码芯片(14)、CPLD芯片(15)、1号继电器(16)及2号继电器(17)组成。所述汽车车载电子设备(4)包括空调(4a)和后备箱锁(4b)。本发明还提供了采用这种系统控制汽车车载电子设备(4)的方法。
文档编号G05B19/042GK102360187SQ20111013634
公开日2012年2月22日 申请日期2011年5月25日 优先权日2011年5月25日
发明者伏娟, 曹晓琳, 王双维, 王杰, 王登峰 申请人:吉林大学