一种基于PAD的智能语音内窥镜手术设备控制方法与流程

一种基于pad的智能语音内窥镜手术设备控制方法
技术领域
1.本发明涉及智能语音内窥镜手术设备控制方法领域，具体而言，涉及一种基于pad的智能语音内窥镜手术设备控制方法。


背景技术：

2.目前国内外的主流内窥镜手术设备，包括storz、奥林巴斯、史塞克等都采用机械按键或液晶触屏进行设备功能的控制以及参数的调整。机械按键，包括机械按键、旋钮以及薄膜按键。当需要功能控制，或者对某项参数进行设置调整时，选择对应的按键或旋钮进行操作控制。这种方式操作比较繁琐，而且往往没有显示屏，互动性差，若手术室内放置操作设备多、可动空间狭小时设备的操作会使更加的困难，且在手术过程中纯在绝对洁净区，如果因为设备摆放位置因为手术需求摆放位产生不合理，操作医师和护士产生污染区触碰将导致手术无法正常进行。液晶触控，这个设计的出现，增强了互操作性，能直观看到当前参数设置的情况，但是因为屏幕背光存在一定的可视范围，使得医生和护士只能在一定视角范围内观察所选择的模式和参数，且触摸屏幕若有物理硬件损坏时会出现屏幕失控、无反应、无法显示等问题的风险，同样也会因为设备摆放位置因为手术需求摆放位产生不合理，操作医师和护士产生污染区触碰。


技术实现要素：

3.本发明提供一种基于pad的智能语音内窥镜手术设备控制方法，属于智慧医疗技术领域，可以通过装载的语音控制系统的控制装置，简便快捷的进行医用内窥镜摄像系统、医用内窥镜冷光源、医用二氧化碳气腹机、医用彭宫泵、医用刻录机的功能控制和参数调节以及医用内窥镜手术台车的环境灯光等内窥镜手术设备。
4.为实现上述目的，本发明提供如下技术方案：
5.将智能语音控制系统装载在pad上，智能蓝牙音箱通过无线通讯模块与pad进行无线连接，串口控制主板通过typec转rs232与pad进行有线连接，当pad接收到触控指令信号或语音指令信号进行调制，再将信号传递给串口控制主板进行内窥镜手术设备的功能控制和参数设置。
6.作为本发明一种优选的方案，智能蓝牙的音箱其特征在于：控制模块连接用于进行语音样本收集的样本采集模块和用于进行语音设置的语音设置模块，以及用于用户控制语音读取识别的语音识别模块；且控制模块还依次连接定时模块、语音输入模块、语音输出模块，定时模块用于在控制模块开启后额定时间内未接收到语音指令的定时关闭计时；语音输入模块用于对于用户语音命令进行录入；而语音输出模块用于播报执行的语音命令，且语音输入模块和语音输出模块分别连接麦克风和喇叭。
7.作为本发明一种优选的方案，控制模块包括控制运行的mcu模块和 mcu连接的数据收发模块以及数据处理模块，数据收发模块用于进行数据的接收和发送处理；数据处理模块用于对收发的数据进行信号的转化；mcu 还连接无线通信模块、dsp指令模块、fpu运算
模块及fft加速模块，无线通讯模块用于通过无线信号与pad进行连接；dsp指令模块用于辅助识别语音指令；fpu运算模块用于对语音指令信号处理进行浮点运算；而fft 加速模块用于加快信号处理的运算。
8.作为本发明一种优选的方案，样本采集模块包括用于建立语音样本的新建样本模块和用于对语音样本进行声音特征提取的样本特征提取模块，样本采集模块内还设置有情绪样本模块和样本编辑模块，情绪样本模块用于保存用户不同情绪下的语音样本；而样本编辑模块用于对语音样本进行名称优化编辑。
9.作为本发明一种优选的方案，语音设置模块用自定义设置语音的开机播报语，自定义设置语音控制模块待机休眠时的语音唤醒词，自定义设置控制模块对内窥镜手术设备控制的命令词，以及自动设置tts语音播报。
10.作为本发明一种优选的方案，语音识别模块包括对于用户情绪判断的语音判定模块和进行语音音色确认的音色识别模块，以及进行语音音域判定的音域识别模块，且语音识别模块内还设置有用于将接收的语音命令特征与预先留存的语音样本进行对比，确定命令是否出自本人的分析对比模块；用于对语音命令和预先设置的命令词进行对比，快速确定执行指令的语音命令的命令词对比模块；以及将语音命令进行文本转化处理的指令转化处理模块。
11.本发明取得的有益效果：
12.相比于传统的设计，本发明采用pad作为控制系统平台对内窥镜手术设备进行控制，其上运行自主设计的gui控制软件和ui操作界面，友好直观的界面能够减少术中使用医师和护士的操作难度，提高操作的效率。
13.通过使用有线控制，可以避免操作医生和护士在空间有限的手术室内因为使用设备按键面板或者触控屏幕时发生的意外情况，也可以通过运行自主设计的智能语音控制系统可以与系统进行语音交互完成设备功能的控制和参数的调整，无需再直接对设备操作面板或者pad控制界面进行操作。可以完全解放操作医生和护士的双手。完全避免对绝对无菌区带来的感染风险，采用pad作为控制系统平台，其优秀的通用性和可拓展性，为软件的升级和后续功能的开发带来了极大的空间。
附图说明
14.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
15.图1为本发明实施例提供的系统模框图；
16.图2为本发明实施例提供的智能蓝牙音箱模块框图；
17.图3为本发明实施例提供的语音控制模块框图；
18.图4为本发明实施例提供的样本采集模块框图；
19.图5为本发明实施例提供的语音识别模块框图；
20.图6为本发明实施例提供的语音设置模块框图。
具体实施方式
21.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
22.一种基于pad的智能语音内窥镜手术设备控制方法，其系统内容包括 pad、智能语音控制系统、智能蓝牙音箱、控制主板。将智能语音控制系统装载在pad上，智能蓝牙音箱通过无线通讯模块与pad进行无线连接，串口控制主板通过typec转rs232与pad进行有线连接，当pad接收到触控指令信号或语音指令信号进行调制，再将信号传递给串口控制主板进行内窥镜手术设备的功能控制和参数设置。
23.其中语音控制流程如下：
24.1.语音控制系统通过智能蓝牙音箱为载体，通过样本采集模块采集用户不同情绪下的语音样本，提取用户语音特征；
25.2.用户通过说出唤醒词控制系统启动，再通过语音识别模块对音色和音域进行识别后，与预先设置的语音样本特征进行分析；
26.3.语音特征对比正确后对命令词进行确认，确认后将指令信号进行调制处理，再通过串行通讯将指令传递给内窥镜手术设备进行控制；
27.4.指令下达完成后一段时间内未接收新的指令时，计时完成后语音控制系统自动进行关闭。
28.为解决内窥镜手术设备操作繁琐、互动性差的问题，实现对内窥镜手术设备的简便快捷控制、提高互动性。以及解决设备摆放位置因为手术需求摆放产生不合理导致污染区的触碰，保证手术的正常进行，本技术实施例提供以下示例。
29.智能蓝牙音箱的控制模块7连接用于进行语音样本收集的样本采集模块4和用于进行语音设置的语音设置模块5，以及用于用户控制语音读取识别的语音识别模块6；且控制模块还依次连接定时模块8、语音输入模块9、语音输出模块10，定时模块8用于在控制模块开启后额定时间内未接收到语音指令的定时关闭计时；语音输入模块9用于对于用户语音命令进行录入；而语音输出模块10用于播报执行的语音命令，且语音输入模块9和语音输出模块10分别连接麦克风11和喇叭12。
30.智能蓝牙音箱的控制模块7包括控制运行的mcu模块16和mcu连接的数据收发模块13以及数据处理模块14，数据收发模块13用于进行数据的接收和发送处理；数据处理模块14用于对收发的数据进行信号的转化； mcu还连接无线通信模块15、dsp指令模块17、fpu运算模块18及fft 加速模块19，无线通讯模块15用于通过无线信号与pad 1进行连接；dsp 指令模块17用于辅助识别语音指令；fpu运算模块18用于对语音指令信号处理进行浮点运算；fft加速模块19用于加快信号处理的运算。
31.语音设置模块25用自定义设置语音的开机播报语，自定义设置控制模块7待机休眠时的语音唤醒词，自定义设置控制模块7对内窥镜手术设备控制的命令词，以及自动设置tts语音播报。
32.具体的，智能蓝牙音箱基于无线通讯模块15连接pad 1，通过样本采集模块20分别采集不同用户的语音样本，提取用户语音特征；利用智能语音控制系统配合语音设置模块
25为系统自定义设置不同的唤醒词和命令词，并自定义选择特色音质的语音播报模式，完成对系统的设置；用户通过说出唤醒词控制系统启动，通过dsp指令集模块17和fpu运算模块18的浮点运算对所需要识别的语音进行信号处理，使用fft加速器模块19辅助加速，利用分析对比模块34将其与预先设置的语音样本特征进行对比分析，提高对语音信号的识别能力；语音特征对比正确后对命令词进行确认，命令进行信号处理后传递给数据发收模块13，数据收发模块13通过无线连接将命令数据传递给pad 1进行调制；将调制好的命令信号通过串口控制主板3对内窥镜手术设备进行控制；指令下达一定时间内未接收到新的指令时，定时模块8完成后控制模块7控制系统自动进行关闭。
33.为了进一步加强语音信号识别的精准度，提供以下的优选技术方案：
34.样本采集模块20包括用于建立语音样本的新建样本模块21和用于对语音样本进行声音特征提取的样本特征提取模块22，样本采集模块内还设置有情绪样本模块23和样本编辑模块24，情绪样本模块23用于保存用户不同情绪下的语音样本；而样本编辑模24块用于对语音样本进行名称优化编辑。
35.语音识别模块30包括对于用户情绪判断的情绪判定模块31和进行语音音色确认的音色识别模块32，以及进行语音音域判定的音域识别模块33，且语音识别模块内还设置有用于将接收的语音命令特征与预先留存的语音样本进行对比，确定命令是否出自本人的分析对比模块34；用于对语音命令和预先设置的命令词进行对比，快速确定执行指令的语音命令的命令词对比模块35；以及将语音命令进行文本转化处理的指令转化处理模块36。
36.具体的，通过样本采集模块20分别采集用户不同情绪下的样本，提取用户语音特征；用户通过说出唤醒词控制系统启动，说出命令词后基于情绪判定模块31分析用户心情，再通过语音的音色和音域进行识别后，利用分析对比模块34将其与预先设置的语音样本特征进行对比，通过预先设置情绪样本，结合音色和音域的对比分析，控制模块7能够更加精准快速的识别用户情绪爆发下的语音信号，避免用户对语音信号的识别产生干扰，提高语音信号识别的准确性。
37.出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。