手势控制方法与流程

本发明涉及一种手势控制方法。

背景技术：

1、目前自助机仅通过触屏技术进行人机交互。医院患者在自助机操作会增加交叉感染的风险。而目前还未见到医院自助机上有无接触使用自助机。

技术实现思路

1、针对背景技术提及的触屏技术进行人机交互使用自助机增加交叉感染的风险，本发明提出一种手势控制方法；随着人工智能技术的发展，深度学习在手势控制领域越来越成熟，本发明将手势控制技术应用到自助机，实现患者之间在自助机上的零接触。

2、采用的技术方案如下：

3、本发明提出一种手势控制方法，包括如下步骤：

4、s1、自助机上的1#摄像头常开，实时检测是否有人脸；

5、s2、自助机上安装用来识别手势的2#摄像头，2#摄像头接收来自1#摄像头的人脸信号并启动；

6、s3、2#摄像头检测有效的手势来操作自助机。

7、对本发明技术方案的进一步优选，在自助机原系统内置入mediapipe中的solutions方法进行手势识别，所述solutions方法中的手模型，计算得到手部的21个关键点，分别为0点、1点……20点。

8、对本发明技术方案的进一步优选，s3中，有效手势判断通过设定手部的21个关键

9、点的之间距离来确定，具体如下：

10、0点与4点之间距离大于0点与3点的距离，表示拇指张开，反之闭合；

11、0点与8点之间距离大于0点与7点的距离，表示食指张开，反之闭合；

12、0点与12点之间距离大于0点与11点的距离，表示中指张开，反之闭合；

13、0点与16点之间距离大于0点与15点的距离，表示无名指张开，反之闭合；

14、0点与20点之间距离大于0点与19点的距离，表示小指张开，反之闭合。

15、本发明技术方案，采用坐标点计算欧式距离的算法，效率高。

16、对本发明技术方案的进一步优选，手势图标的定义如下：

17、仅食指张开：手势图标表示1；

18、食指和中指张开：手势图标表示2；

19、食指、中指和无名指张开：手势图标表示3；

20、食指、中指、无名指和小指张开：手势图标表示4；

21、拇指、食指、中指、无名指和小指张开：手势图标表示5；

22、拇指张开：手势图标表示6；

23、小指张开：手势图标表示7；

24、手指全部合上：手势图标表示8；

25、拇指、食指张开：手势图标表示“返回或者上一页”功能；

26、中指、无名指、小指张开：手势图标表示“确定或者下一页”功能。

27、对本发明技术方案的进一步优选，有效手势操作自助机的具体方法如下：

28、s31、2#摄像头打开，自助机系统自动弹出“确定采用手势控制功能？”，截面显示“确定”和“返回”按钮以及在下方对应显示相应的手势图标；

29、s32、当检测到“确定”手势，进入下一个界面；当检测到“返回”手势，则退出系统；

30、s33、下一个界面上显示“挂号”、“缴费”、“预约”、“取号”和“查询”，对应的手势为“1”、“2”、“3”、“4”、“5”；

31、s34、选择“挂号”、“缴费”、“预约”、“取号”后，弹出“请使用医保电子凭证”界面；

32、s35、根据医保电子凭证解析出结果后，界面上显示分类内容以及对应的手势图标；根据对应手势图标作出指定手势即可操作自助机进行“挂号”、“缴费”、“预约”或“取号”；

33、s36、选择“查询”，界面显示“药品”、“耗材”和“诊疗”以及对应的手势图标；选择对应的分类后，界面显示按页查询和按汉语拼音查询以及对应的手势图标；按页查询，显示“上一页”和“下一页”以及对应的手势图标，按汉语首拼查询，显示“首拼”、“上一页”和“下一页”对应的手势图标；根据对应手势图标作出指定手势即可操作自助机进行“查询”。

34、对本发明技术方案的进一步优选，自助机系统，在2#摄像头打开后，自助机界面上设置一块虚线区域，虚线区域内对应自助机实时截面，显示对应手势图标所对应的手势。

35、对本发明技术方案的进一步优选，s35中，根据医保电子凭证解析出结果后，界面出现“大内科”、“大外科”、“妇儿科”和“其他科”，对应的手势为“1”、“2”、“3”和“4”；选择对应的科室后，每页显示6个具体的科室、上一页、下一页以及对应的手势图标。首页没有“上一页”，末页没有“下一页”。

36、对本发明技术方案的进一步优选，每页显示6个具体的科室和下一页所采用的手势图标与前述步骤中的手势图标不同。

37、对本发明技术方案的进一步优选，所述手势控制方法中，所述手势控制方法中，停留在某个界面超过1分钟没有任何手势反应，则系统退出，界面返回至首页。

38、本发明与现有技术相比，其有益效果是：

39、1.本发明，具有手势控制功能的自助机能够减少患者在自助机上操作交叉感染的风险。

40、2.本发明，结合自助机及人的高度，1#摄像头设置在自助机顶端进行人脸检测，2#摄像头设置在自助机的中部位置处，更贴近使用者手势的使用高度，提高手势识别的成功率。

技术特征：

1.一种手势控制方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的手势控制方法，其特征在于，在自助机原系统内置入mediapipe中的solutions方法进行手势识别，所述solutions方法中的手模型，计算得到手部的21个关键点，分别为0点、1点……20点。

3.根据权利要求2所述的手势控制方法，其特征在于，s3中，有效手势判断通过设定手部的21个关键点的之间距离来确定，具体如下：

4.根据权利要求3所述的手势控制方法，其特征在于，手势图标的定义如下：

5.根据权利要求4所述的手势控制方法，其特征在于，有效手势操作自助机的具体方法如下：

6.根据权利要求4所述的手势控制方法，其特征在于，自助机系统，在2#摄像头打开后，自助机界面上设置一块虚线区域，虚线区域内对应自助机实时截面，显示对应手势图标所对应的手势。

7.根据权利要求4所述的手势控制方法，其特征在于，s35中，根据医保电子凭证解析出结果后，界面出现“大内科”、“大外科”、“妇儿科”和“其他科”，对应的手势为“1”、“2”、“3”和“4”；选择对应的科室后，每页显示6个具体的科室、上一页、下一页以及对应的手势图标。

8.根据权利要求7所述的手势控制方法，其特征在于，每页显示6个具体的科室和下一页所采用的手势图标与前述步骤中的手势图标不同。

9.根据权利要求1所述的手势控制方法，其特征在于，所述手势控制方法中，所述手势控制方法中，停留在某个界面超过1分钟没有任何手势反应，则系统退出，界面返回至首页。

技术总结
本发明公开一种手势控制方法，包括如下步骤：S1、自助机上的1#摄像头常开，实时检测是否有人脸；S2、自助机上安装用来识别手势的2#摄像头，2#摄像头接收来自1#摄像头的人脸信号并启动；S3、2#摄像头检测有效的手势来操作自助机。优点：本发明，具有手势控制功能的自助机能够减少患者在自助机上操作交叉感染的风险。

技术研发人员：李成亮,姚伟
受保护的技术使用者：扬中市人民医院
技术研发日：
技术公布日：2024/1/13