一种手语识别系统

本发明属于医疗系统，尤其涉及一种手语识别系统。

背景技术：

1、聋哑人士就医难是一种目前客观存在的现实状况。作为残障人群中较为特殊的一类群体，聋哑人因其在语言信息接收和表达能力方面的感官障碍，难以进行正常的人际交往。同时，由于手语翻译人力资源的匮乏，目前我国大部分医院并未配有手语翻译工作者，聋哑患者的正常就医困难重重。

2、同时，在当今病毒在全球范围内大流行的时代背景下，医院内的智能设备在保证实用性的同时，还需要考虑到防疫的需求。

技术实现思路

1、本发明的目的在于提供一种手语识别系统，其特征在于，包括以下步骤：

2、s1：系统初始化；

3、s2：基于智能唤醒模块，判断是否有人问诊，若判断结果为是，则进入s3；

4、s3：进入手语识别，通过图像采集模块和显示模块的相互配合，显示病患的诉求，并通过智能语音模块告知医生；

5、s4：医生基于智能语音模块、图像采集模块和显示模块对患者进行交流和诊断；

6、s5：完成诊断。

7、进一步地，s2具体包括如下步骤：

8、s21：手语识别系统默认运行低功耗模式；

9、s22：通过微波雷达检测人体活动情况；

10、s23：根据检测结果判断是否有人问诊；

11、s24：若判断结果为是，则持续步骤s22-s23，并将检测的信息发送至微处理器，系统进入高功耗模式，唤醒图像采集模块的摄像头并加载显示模块的显示屏，进入s3；若判断结果为否，则回到s2，并重复s21-s24。

12、进一步地，s3中，图像采集模块工作原理如下：通过标准摄像机采集患者手部视频，并对视频信息进行图像预处理，最后将图像进行检测与分割、特征提取和目标检测，系统得到患者手语的检测结果并完成手语至语音的转化，通过智能语音模块播报给医生。

13、进一步地，对视频信息的预处理具体为降噪和抽帧处理。

14、进一步地，s4中，智能语音模块接收医生的语音并实时地检测关键词，关键词对应有数据库中相应的手语视频或字幕，手语视频或字幕通过显示模块的显示屏进行播放，实现医生与患者的交流。

15、进一步地，s4中，智能语音模块对关键词的检测具体包括如下步骤：

16、s41：获取医生的音频；

17、s42：将医生的音频导入声学模型，得到词网格；

18、s43：判断词网格是否为关键词；若否，则回到s1；若是，则前往s44；

19、s44：播放关键词的相关手语视频或字幕。

20、进一步地，手语识别系统的系统界面包括待机界面和手语识别界面，当微波雷达感应检测到无人体活动时，微波雷达的感应模块输出低电平，手语识别系统处于待机状态，并于显示屏界面显示待机界面；

21、当微波雷达检测到人体活动时，微波雷达的感应模块输出高电频，手语识别系统处于正常状态，显示屏显示手语识别界面，同时手语识别系统检测各画面中的手语，并自动语音播报手语内容。

22、与现有技术相比，本发明的有益效果主要体现在：

23、1、医生仅需将手语识别系统对准就诊的聋哑人患者，系统自动捕获手语动作并翻译手语语义进行播报。当医生下达诊断结果或询问患者时，系统会展示对应的手语视频和字幕，满足医患间双向交流的需要。

24、2、本发明在医生诊断患者的过程中，无需摘下口罩，且本发明无接触地使用模式符合防疫需求。

技术特征：

1.一种用手语识别系统，其特征在于，包括以下步骤：

2.根据权利要求1所述的手语识别系统，其特征在于，所述s2具体包括如下步骤：

3.根据权利要求1所述的手语识别系统，其特征在于，所述s3中，所述图像采集模块工作原理如下：通过标准摄像机采集患者手部视频，并对视频信息进行图像预处理，最后将图像进行检测与分割、特征提取和目标检测，系统得到患者手语的检测结果并完成手语至语音的转化，通过智能语音模块播报给医生。

4.根据权利要求3所述的手语识别系统，其特征在于，对视频信息的预处理具体为降噪和抽帧处理。

5.根据权利要求1所述的手语识别系统，其特征在于，所述s4中，智能语音模块接收医生的语音并实时地检测关键词，所述关键词对应有数据库中相应的手语视频或字幕，所述手语视频或字幕通过显示模块的显示屏进行播放，实现医生与患者的交流。

6.根据权利要求5所述的手语识别系统，其特征在于，所述s4中，所述智能语音模块对所述关键词的检测具体包括如下步骤：

7.根据权利要求2所述的手语识别系统，其特征在于，手语识别系统的系统界面包括待机界面和手语识别界面，当微波雷达感应检测到无人体活动时，微波雷达的感应模块输出低电平，手语识别系统处于待机状态，并于显示屏界面显示待机界面；

技术总结
本发明提供一种手语识别系统，属于医疗系统技术领域，包括以下步骤：1)：系统初始化；2)：基于智能唤醒模块，判断是否有人问诊，若判断结果为是，则进入下一步骤；3)：进入手语识别，通过图像采集模块和显示模块的相互配合，显示病患的诉求，并通过智能语音模块告知医生；4)：医生基于智能语音模块、图像采集模块和显示模块对患者进行交流和诊断；5)：完成诊断。通过本发明，医生仅需将手语识别系统对准就诊的聋哑人患者，系统自动捕获手语动作并翻译手语语义进行播报。当医生下达诊断结果或询问患者时，系统会展示对应的手语视频和字幕，满足医患间双向交流的需要。

技术研发人员：王欣捷,董占彬,夏嘉璟,裴兢奕,岳霖杰,夏鲲
受保护的技术使用者：上海理工大学
技术研发日：
技术公布日：2024/1/13