一种基于实时交互和场景识别的导盲方法和系统

本发明涉及计算机应用领域，一种基于实时交互和场景识别的导盲方法和系统。

背景技术：

1、传统的盲杖是视障人士出行的主要认知手段，通过使用盲杖与地面和周围物体进行碰撞探测，实现了对前方障碍物的感知，从而建立对当前环境和前方路径的认知。但是在人多、场景复杂的场所，很容易因为场景开阔、道路相似等问题，丧失方向感。

2、目前基于信息化技术实现的智能化导盲系统，使用了包括gps定位、导航、图像识别、声音辅助等技术，可以初步实现传统盲杖的功能替代，为视障人士的出行提供了更为广泛的选择。

3、目前大多数的智能导盲系统，可以实现障碍物检测、斑马线检测、路径规划、路线指示等功能，但是其频繁的提示可能干扰视障人士对当前场景的判断；并且在面对复杂场景丧失方向感的时候，也无法针对性地为视障人士提供当前的场景，无法使其重建方向感。

4、针对上述问题，本发明通过按键和语音交互的方式，实现与设备的实时交互，将当前位置、未来路线、周边态势等信息，在需要的时候提供给视障人士，从而为其重建方向感和寻找路径提供帮助。

技术实现思路

1、本发明提供一种基于实时交互和场景识别的导盲方法，包括：

2、（1）使用电子地图实现到目的地的步行路径规划，获得详细路线，并将路线区分为路径点和路径线两种类型；

3、（2）在路径规划完成后，将详细路线信息通过语音播报的方式传递给使用者；

4、（3）使用者使用卫星导航定位功能进行实时定位，并按照规划的详细路线前进，使用带有按键和震动功能的盲杖与本方法软件进行交互；

5、（4）当行走在路线中类型为路径线的路线上时，自动检测前方场景、前方障碍物、人行横道、盲道、前方转弯、当前偏航、当前方向，并根据设置的提示级别和当前危险程度进行提示；

6、（5）当行走在路线中类型为路径点的路线上时，自动检测与前方路径入口点、周围场景、周围人流、周围障碍物、当前方向进行检测，根据指示当前态势、到达前方路径入口点的前进方向和距离；并根据设置的提示级别和当前危险程度进行提示；

7、（6）通过上述检测和提示，可增加视障人士在行进中的方向感，以及对周边态势的感知；更加方便地在规划路径上行走；

8、（7）当使用者需要交互时，通过已设定不同功能的按键向本方法软件询问，查询本方法软件检测到的所有信息，本方法软件通过语音、震动等方式回答用户的提问；从而完成在规划路径上的步行导航。

9、所述使用电子地图实现到目的地的步行路径规划，获得详细路线，并将路线区分为路径点和路径线两种类型，包括：

10、路径点是一个有边界的封闭区域，可以用多边形或圆形近似；

11、路径线是一个有宽度的封闭区域，可以用有宽度的线段表示；

12、所有路径点和路径线相连，构成全路径；

13、路径点或路径线连入下一路径线的连接部分，称为路径入口点。

14、所述盲杖，包括：

15、盲杖顶部布置实体按键，包括多个按键，已设置不同功能，并带有震动反馈装置；盲杖顶部还装有震动装置，可以发出震动来提示使用者；

16、盲杖还可以设置一键报警功能。

17、所述在路径规划完成后，将详细路线信息通过语音播报的方式传递给使用者，包括：

18、使用者使用耳机接受语音播报信息，以及交互提示信息；

19、所述交互提示信息，为使用者通过按键询问本方法软件时，本方法软件给与的回应信息；

20、行走前或行走过程中，使用者也可以随时通过按键，获得路径规划信息，以及当前所处的位置、已走过路径、后续路径信息。

21、所述当行走在路线中类型为路径线的路线上时，自动检测前方场景、前方障碍物、人行横道、盲道、前方转弯、当前偏航、当前方向，包括：

22、自动对前方场景进行检测，存储前方场景检测结果；

23、自动对前方人流情况进行检测，存储前方人流结果；

24、自动对前方障碍物进行检测，存储前方障碍物检测结果；

25、自动对人行横道进行检测，存储人行横道检测结果；

26、自动对盲道进行检测，存储盲道检测结果；

27、自动检测规划路线中前方需要转弯的情形，存储前方转弯结果；

28、自动对当前位置是否偏航进行检测，存储当前偏航结果；

29、行进中自动对当前前进方向进行检测，存储当前方向结果；

30、停止时自动对当前所朝的方向进行检测，存储当前方向结果。

31、所述当行走在路线中类型为路径点的路线上时，自动检测与前方路径入口点、周围场景、周围人流、周围障碍物、当前方向进行检测，在用户需要时，指示当前态势、到达前方路径入口点的前进方向和距离，包括：

32、自动对前方的路径入口点进行检测，存储前方入口点信息；

33、自动对当前场景进行检测；存储当前场景检测结果；

34、自动对当前人流进行检测，存储当前人流检测结果；

35、自动对当前障碍物进行检测，存储当前障碍物检测结果；

36、自动对当前所处方向进行检测，存储当前方向检测结果；

37、如在当前位置转动一圈，可以完成当前周围场景、周围人流、周围障碍物的检测；

38、上述检测可以让使用者实现对周边态势的感知；

39、在用户需要时，指示当前态势、到达前方路径入口点的前进方向和距离。

40、所述根据设置的提示级别和当前危险程度进行提示，包括：

41、自动模式：当前检测到的情形属于危险状态时，给与语音和震动提示；

42、手动模式：将存储的检测结果，在按动按钮时，通过语音进行播报；

43、不同的检测内容，可以设置不同的提示模式。

44、本发明还提供一种基于实时交互和场景识别的导盲系统，包括：

45、装在眼镜上的摄像头：带电池和无线网络，可以将当前图像传到后端的智能手机；

46、无线耳机：带电池和蓝牙，可以将智能手机发出的声音信息传递到使用者耳朵；

47、带按键和震动装置的盲杖：带电池和无线网络，可以根据智能手机的震动指令使可以使用手杖上的按键实现与部署在智能手机本方法软件的互动；

48、智能手机：带卫星导航定位功能，带无线热点连接摄像头、无线耳机和盲杖，其上部署实现本发明所述方法的本方法软件；

49、本方法软件：实现本发明方法的软件，部署在智能手机上。

50、本发明通过卫星定位导航系统实现定位，通过电子地图实现路径规划和导航，通过在行进过程中的实时场景检测，在需要时通过按键与本地系统进行实时交互，从而让使用者获得对前方或周围场景的感知，实现了对盲杖功能的增强的功能；本发明在使用过程中无需后端计算支持，使用离线地图导航时也无需互联网的支持，具有结构简单、使用方便的优点。

技术特征：

1.一种基于实时交互和场景识别的导盲方法，其特征在于，包括：

2.基于权利要求1所述的方法，其特征在于，根据设置的提示级别和当前危险程度进行提示，包括：

3.一种基于实时交互和场景识别的导盲系统，其特征在于，包括：

技术总结
本发明提供一种基于实时交互和场景识别的导盲方法和系统，将路线划分为路径点和路径线，将寻找到路径线的入口点作为导航的重点，通过布置在眼镜上的摄像头获取场景信息，通过软件对当前场景进行检测，通过布置在盲杖上的按键，在需要时与本地软件进行交互，而在大多数时候仅仅是静默的进行检测，不干扰使用者自己对道路的检测和判断，具有结构简单、使用方便、成本低廉的优点。

技术研发人员：冯子亮,冉旭松,张炬,陈礼浩,林青峰,李硕涵
受保护的技术使用者：四川大学
技术研发日：
技术公布日：2024/2/1