基于超声与磁共振成像的语音合成系统和方法与流程

本发明涉及计算机视觉领域、特征匹配，并将计算机视觉技术以及特征匹配算法与语音信息进行结合从而达到舌体运动可视化目的。具体讲,涉及基于超声与mri(磁共振成像)图像的语音合成系统。

背景技术：

本发明是基于超声及mri(磁共振成像)图像的语音合成系统。在实际生活中，由于超声波具有方向性好、穿透性强、较容易获得较为集中的声能以及可以获得实时图像的特点，超声声束经常用于人体器官的扫描。研究人员通过对超声声束反射信号的接收以及处理获得人体体内器官的位置、大小以及形状从而形成解剖图。但是，超声图像也具有对比度低、像素点干扰性强等缺点。与之相比，mri(磁共振成像)图像具有清晰度高、成像完整以及流动液体不产生干扰等优点。但同时，由于其测试设备庞大，使得其具有难于获得实时性的mri图像的缺点。

技术实现要素：

为克服现有技术的不足，本发明旨在通过计算机视觉技术将语音信息、图像信息以及视频信息相结合从而达到“可视化”的目的。为此，本发明采取的技术方案是，基于超声与磁共振成像的语音合成方法，首先以具有实时采集性的超声图像作为语音合成的数据来源；其次，以磁共振成像mri图像作为语音合成的参照集合；然后，通过将设计算法与约束条件相结合的方式将两种不同类型的断层图像进行匹配并显示，从而将语音信息、图像信息以及视频信息相结合达到被测物体运动可视化目的。

具体地：

步骤一，超声图像信息处理操作过程包括：

第一，对整张超声图像进行线性增强，输入图像为i，宽为w、高为h，输出图像记为o，如下公式：

o(r,c)＝a·i(r,c)+b,0≤r<h,0≤c<w(1)

根据公式(1)，设置对比度a变化，保持亮度值b不变；

第二，通过六角锥模型hsv色彩空间转化获取非成像区域：将超声图像进行hsv色彩空间转换，提取出图像中的蓝色非成像区，以非成像区为基础经过逻辑取反操作获得成像区域的坐标值；

第三，对成像区域进行限制对比度的自适应调节：通过修改限制对比度均衡化clahe方法的参数，设置提前阈值限制级别和算子的容量，对每块区域的直方图进行重构；

第四，对成像区域的图像进行双边滤波：采用高斯双边滤波的方法进行图像平滑操作；

第五，通过“开/闭符合操作”依据被测物体形态进行“形态学”纠正，i表示图像，s表示结构元，其操作公式如下：

根据公式(2)，开操作能够保证保持原面积的基础上，消除并且分离出具细小噪点对象；

根据公式(3)，闭操作能够保证不改变对象面积的基础上，填充黑色空洞区域和连接处；

当用户操作时，操作指令经过调用接口进行处理并将调用信息传递给图像开操作模块，在此模块中，图像去除多余的白色毛刺干扰；其次，图像开操作模块将结果图像传递给成像区外层替换模块，将被测物体的相关大致轮廓进行初步描绘；然后，将结果图像传递给图像闭操作模块，此模块对被测物体图像中的局部黑点区域进行填充；而后，结果图像进行图像阈值分割，并返回；

第六，进行获得被测物体质心，将其作为种子点，并进行区域增长绘制被测物体；

第七，绘制被测物体轮廓，通过遍历被测物体的上轮廓线获得；

步骤二，mri图像信息处理，对被测物体mri图像的轮廓线进行提取，并且在此基础上建立mri图像数据库，其操作过程包括：

第一，程序进行图像被测体区域限定，采用兴趣区域roi方法对图像进行区域选定；

第二，对测物体检测获得被测物体质心，将其作为种子点进行区域增长绘制被测物体；

此过程在获得“大概率亮度值”的基础上进行被测物体阈值分割，使用质心选择法获得亮点密集区域即被测物体质心坐标(x0,y0)，并且，在此基础上以质心作为区域生长算法的种子点进行被测物体区域检测；

第三，绘制被测物体轮廓，通过遍历被测物体的上轮廓线获得；

第四，收集轮廓图像形成mri图像库；

步骤三，超声与mri图像的自动映射，将超声图像轮廓线与mri图像轮廓线进行映射，从而形成相应的结果集合。

基于超声与磁共振成像的语音合成系统，包括4个模块，分别为：轮廓超声图像处理模块、磁共振成像mri图像处理模块、超声图像与mri图像的匹配映射模块以及图像视频转换模块；其中，轮廓超声图像处理模块是用来提取出超声图像的轮廓线；mri图像处理模块是用来提取出mri图像的轮廓线；超声图像与mri图像匹配映射模块是用来将两种不同类型图像中的轮廓线进行映射、匹配；图像视频转化模块是将匹配结果集进行视频转化的功能模块。

本发明的特点及有益效果是：

本发明通过超声提取、磁共振图像处理、超声和磁共振图像结合以及显示步骤，实现了将语音信息、图像信息以及视频信息相结合达到舌体运动“可视化”目的。

附图说明：

图1线性增强的超声图像。

图2hsv色彩空间图。

图3超声图像提取背景图。

图4限制对比度的自适应均衡化结果。

图5使用双边滤波的超声图像结果。

图6形态学纠正时序图。

图7形态学纠正结果图1。

图8形态学结果图2。

图9阈值分割区域结果。

图10舌体检测结果图。

图11超声图像舌轮廓提取结果图。

图12超声图像舌轮廓提取效果对比图。

图13mri舌体图。

图14mri舌体区域检测结果图。

图15mri舌体轮廓线结果。

图16mri_db数据库结构。

图17超声图像与mri图像匹配结果图。

具体实施方式

本发明依据设计好的算法将在超声图像中的舌体轮廓线，与mri图像库中的图像进行映射、匹配，最终形成动态视频展示出来。本发明是为了通过计算机视觉技术将语音信息、图像信息以及视频信息相结合从而达到舌体运动“可视化”的目的。

本发明的发明内容在于此语音合成系统首先以具有“实时采集”性的超声图像作为语音合成的数据来源。其次，本系统以具有抗干扰性、图像完整性、流动空白效应的mri图像作为语音合成的参照集合。然后，本系统通过将设计算法与约束条件相结合的方式将两种不同类型的断层图像进行匹配并显示从而达到将语音信息、图像信息以及视频信息相结合从而达到“可视化”的目的。

从整体上而言，本发明包括4个功能模块，分别为：舌体轮廓超声图像处理模块、舌部位mri图像处理模块、超声图像与mri图像的匹配映射模块以及图像视频转换模块。其中，舌轮廓超声图像处理模块是用来提取出舌部位的超声图像的轮廓线；舌部位mri图像处理模块是用来提取出舌部位的mri图像的轮廓线；超声图像与mri图像匹配映射模块是用来将两种不同类型图像中的轮廓线进行映射、匹配；图像视频转化模块是将匹配结果集进行视频转化的功能模块。

下面结合附图和具体实施例进一步详细说明本发明。

基于超声与mri图像的语音合成系统的具体实现方法如下：

步骤一，舌部位超声图像信息处理。此功能模块主要用来对舌部位超声图像的轮廓线进行提取，其操作过程包括：

第一，对整张超声图像进行线性增强。假设输入图像为i，宽为w、高为h，输出图像记为o，如下公式：

o(r,c)＝a·i(r,c)+b,0≤r<h,0≤c<w(1)

根据公式(1)，本发明设置a(对比度)为100，b(亮度)不变。结果如图1所示，扇形区域为成像区，“蓝色区域”为非成像区。

第二，通过hsv(六角锥模型)色彩空间转化技术获取非成像区域。

表1hsv色彩空间对照表

本发明将超声图像进行hsv色彩空间转换，并结合图2和表1提取图像中的“蓝色区域”。结果如图3所示，本发明通过“蓝色区域”可以获得成像区域的坐标值。

第三，对成像区域进行“限制对比度的自适应调节”。本发明设置clahe(限制对比度均衡化方法)方法，将“提前阈值”限制级别设置为2，算子设置为8*8，对直方图进行重构。结果如图4所示，图像在保留边缘的同时，增强对比度。

第四，对成像区域的图像进行“双边滤波”。本发明以bilateralfilter(双边滤波过滤器)来重新设定高斯双边滤波。在处理过程中，本人根据试验情况将“滤波直径”设置为59，以此保证图像的滤波直径适中。其结果如图5所示。

第六，通过“开/闭符合操作”依据舌体形态进行“形态学”纠正。，设i表示图像，s表示结构元，其操作公式如下：

根据公式(2)，开操作能够保证保持原面积的基础上，消除并且分离出具细小噪点对象。

根据公式(3)，闭操作能够保证不改变对象面积的基础上，填充黑色空洞区域和连接处。

如图6所示，当用户操作时，操作指令经过调用接口进行处理并将调用信息传递给图像开操作模块。在此模块中，图像去除多余的白色毛刺干扰。其次，图像开操作模块将结果图像传递给成像区外层替换模块，将舌体的相关大致轮廓进行初步描绘。然后，将结果图像传递给图像闭操作模块，此模块对舌体图像中的局部黑点区域进行填充。而后，结果图像进行图像阈值分割，并返回。

如图7所示，此图为形态学纠正结果图1。其中，黄色区域表示高亮度区域，深色区域表示低亮度区域。图中(a)表示使用开运算的结果。使用开运算的目的是为了在不改变黑色区域面积大小的前提下,去除黑色背景中的亮点。其中，为了适当保存图像细节，设定将图像元设置为9*9的矩阵。如图(b)所示，程序需要提取出“舌体成像区”。

如图8所示，此图为形态学纠正结果图2。其中(c)图表示当进行成像区域获取之后，需要进行闭运算。闭运算能够帮助去除细小粗糙边缘的连接点，从而进行“熔断操作”，使得稀疏部分进行分离，只有高密度的“黑色区域”可以聚集成“像素团”。为了适当保留图像细节，本人将算子设置为5*5的矩阵。由图(d)所示，此方法为通过阈值分割获得舌体的阴影面积区域。

第七，进行“舌体检测”获得“舌体质心”，将其作为种子点，并进行区域增长绘制舌体。

如图9所示，此图为经过“熔断”处理的舌体区域图。图中，阴影区域主要包括：a区、b区和c区。显然，b区域更加符合舌体形态，本发明通过“质心自动检测”的方法获得舌体质心，并在此基础上根据“区域生长”的方法获得舌体形态，如图10所示。

第七，绘制舌体轮廓。通过遍历舌体的上轮廓线即有所得。如图11所示，此图为超声舌轮廓提取结果图。与图12相比，图像较好的保留了舌体的边缘并且整体平滑连续。

步骤二，舌部位mri图像信息处理。此功能模块主要用来对舌部位mri图像的轮廓线进行提取，并且在此基础上建立mri图像数据库，其操作过程包括：

第三，程序进行图像舌体区域限定。由于本发明的mri图像区域只占整体图片的为了不造成资源浪费，本发明采用roi方法对图像进行区域选定。

如图13所示，此图为mri舌体图。与超声成像的图像不同，由于mri成像的特点，图片质量较高，并且由于图像进行了roi操作，舌体成像位置清晰。由于舌根部位置固定。因此，根据本人的测量，将roi图像的初始坐标(x0,y0)设置为(55,75)，并将dx(x轴上变化值)设置为80，dy(y轴上变化值)设置为80，二者单位都是像素。

第四，成像区域“舌体检测”获得“舌体质心”，将其作为种子点进行区域增长绘制舌体。

此过程在获得“大概率亮度值”的基础上进行舌体阈值分割，如图14所示，图(a)为以计算平均亮度值为参数的图像阈值分割的结果图。在图中，图像的亮点集中区域为舌体区域。除此之外，图像中还具有口腔中其他的区域作为mri图像的干扰。在图(a)的基础上，本发明使用类似超声成像的“质心选择法”获得亮点密集区域即舌体质心坐标(x0,y0)。并且，在此基础上以质心作为区域生长算法的种子点进行舌体区域检测。如图(b)所示，结果已对舌体外的图像过滤。

第三，绘制舌体轮廓。通过遍历舌体的上轮廓线即有所得。如图15所示，此图为舌体mri舌轮廓线的结果，与人工比较，局部出现边缘漏掉的现象，本发明可以在此基础上进行进一步的完善。

第四，收集轮廓图像形成mri图像库。

如图16所示，此图为mri_db的数据库文件结构图。根据应用目的不同，mri_db文件夹包括5个子文件夹，分别为：

(1)finish文件。用来存放已经经过校验的正确的mri图像。

(2)nofinish文件。用来存放尚不能完全提取准确的mri图像。

(3)note文件。用来存放每次进行数据库方法优化后的算法改进笔记。

(4)other文件。用来存放其他类型的文件。

(5)test文件。尚未进行轮廓提取的mri图像文件。

在如上所述的5种文件中，只有finish文件夹是真正意义上的mri图像数据库的图像数据。待检测的文件放置在test文件夹下，正在进行检测的文件放置在mri_db根目录下，待进行程序调用，即可以进行数据提取。

步骤三，超声与mri图像的自动映射。此功能模块主要用来将超声图像轮廓线与mri图像轮廓线进行映射，从而形成相应的结果集合。如图17所示，在图像匹配过程中，本发明首先提取特征值点，并对其进行描述，从而得到结果。

步骤四，视频/动画合成。此功能模块将相应的结果集合形成视频/动画，并进行显示。