一种室内导航和避障的智能盲人眼镜以及使用方法

1.本发明属于盲人智能辅助装置技术领域，尤其涉及一种用于室内导航和避障的智能盲人眼镜以及使用方法。


背景技术：

2.盲人作为弱势群体，由于缺少视觉这个重要感官，故其出行异常不便。盲人在出行中会遇到各种问题，如：不认识去目的地的路，不知道前方道路是否有障碍物；日常生活中，由于大多数城市的盲道建设不是很便利，多数盲人出门时会携带手杖或导盲犬，手杖探索范围小，反应速度不及时，而使用导盲犬，前期投入时间多，成本高。
3.随着技术的发展，目前针对盲人的穿戴设备，有可以让盲人重新看见世界的眼镜，该设备针对的群体主要是视弱人士；配有超声波传感器的盲人眼镜，通过对前方发射超声波，并接受反馈，让盲人使用者知道前方是否有障碍，但是该障碍的具体情况无法感知；真人导盲眼镜，通过摄像头传输实时数据，让真人通过实时视频来了解盲人所处环境，并通过语音指挥来实现导盲，但是该模式耗费社会资源巨大，需要配备大量的导盲人士。


技术实现要素：

4.本发明目的是为了克服现有技术的不足而提供一种导航精准度高，避障能力强，同时能及时提醒智能盲人眼镜进行充电，使用范围广，不占用社会资源的室内导航和避障的智能盲人眼镜以及使用方法。
5.为达到上述目的，本发明采用的技术方案是：一种室内导航和避障的智能盲人眼镜，包括：
6.眼镜本体，所述眼镜本体上具有通讯部件；
7.图像获取装置，所述图像获取装置设置在所述眼镜本体上，用于采集当前室内环境的信息；
8.处理模块，所述处理模块设于所述眼镜本体内，所述处理模块包括gps单元、图像处理单元、数据处理平台、导航单元和语音库单元；
9.其中，所述gps单元用于对眼镜本体的位置进行定位后将位置信息传输至数据处理平台；
10.所述图像处理单元用于接受并处理图像获取装置采集到的相关室内环境信息后构建地图并传输至数据处理平台；
11.所述数据处理平台用于接收图像处理单元发送的地图信息后共享，以及，与外界互通进行地图的完善；
12.所述导航单元用于结合gps单元对眼镜本体到地图中的目的地进行最优路径规划化后传输至数据处理平台；
13.所述语音库单元与数据处理平台相通，用于将导航单元导航出的最优路径规划通过所述通讯部件对智能盲人眼镜佩戴者进行室内导航以及避障。
14.进一步的，所述眼镜本体包括镜框，所述镜框的两侧分别设有活动连接的第一镜腿和第二镜腿；其中，所述第一镜腿和所述第二镜腿均通过桩头和铰链活动连接在所述镜框的两侧。
15.进一步的，所述图像获取装置为双目摄像头。
16.进一步的，所述通讯部件为一对带有麦克风的耳机，并分别设置在所述第一镜腿和第二镜腿上，所述耳机通过数据线接收语音库单元发送的语音信息并通过麦克风播音，以及，通过麦克风接收到的目的地语音信息，传输到数据处理平台中的地图信息进行查询。
17.进一步的，所述眼镜本体上设有供电组件，所述供电组件上具有一充电口，所述充电口上具有充电口开合组件，所述充电口开合组件包括：
18.连接齿轮，所述连接齿轮通过限位块设置在所述第二镜腿的内腔内；
19.螺纹挤压块，所述螺纹挤压块一端与所述连接齿轮螺纹连接，另一端设于内腔内；
20.第一限位板和第二限位板，所述第一限位板和所述第二限位板设于所述充电口处，且所述第一限位板和所述第二限位板上的齿条分别与所述连接齿轮的上下两侧啮合；
21.其中，当所述螺纹挤压块在所述内腔内前移时，所述连接齿轮带动第一限位板和第二限位板分离，将所述充电口打开。
22.进一步的，还包括充电播音组件，所述充电播音组件包括：
23.输入块，所述输入块设于与所述螺纹挤压块上相对空腔的内壁一侧；
24.输出块，所述输出块设于所述输入块的一侧；
25.其中，当所述螺纹挤压块在内腔内前移时，输出块与所述输入块相接触，所述输出块将会发射指令到语音库单元中，语音库单元通过通讯部件发出“充电口已打开”的语音。
26.一种室内导航和避障的智能盲人眼镜的使用方法,包括如下步骤：
27.s1，当智能盲人眼镜佩戴者进入新环境后，先通过通讯部件咨询智能盲人眼镜，判断在当前gps单元的定位下是否已经构建了相关的地图；如果没有构建地图，智能盲人眼镜进入建图模式，如果已经构建地图，智能盲人眼镜直接进入工作模式；
28.s2a，若进入建图模式，当智能盲人眼镜佩戴者进入未知区域时，通过双目摄像头采集当前环境的数据；
29.s3a，通过双目视觉里程计的方法来确定出智能盲人眼镜佩戴者的运动轨迹；
30.s4a，图像处理单元接收不同时刻的双目视觉里程计测量的相机姿态和回环检测的数据，对它们进行非线性优化，得到全局一致的轨迹和地图；
31.s5a，根据运动轨迹，构建所在室内环境的地图，并上传至数据处理平台；
32.s6a，智能盲人眼镜佩戴者的家属通过app登录数据处理平台，对构建地图中的地点命名以及禁行区域的设置完善后上传至数据处理平台；在建图模式中，智能盲人眼镜佩戴者通过双目摄像头识别障碍，并由通讯部件通过语音库单元指挥智能盲人眼镜佩戴者躲避障碍物；
33.s2b，若进入工作模式，智能盲人眼镜佩戴者通对着讯部件说出想要前往的目的地，智能盲人眼镜识别出对应的目的地在构建地图上的位置；
34.s3b，通过导航单元结合gps单元得出到达地图中目的的最优路径规划，包括避开之前设置好的禁行区域；
35.s4b，智能盲人眼镜佩戴者按照由通讯部件语音的最优路径规划导航前往目的地
时，智能盲人眼镜将距离转化为步数播出，通知盲人行走的距离；同时双目摄像头对前方的环境进行目标检测，并由通讯部件通过语音库单元提醒智能盲人眼镜佩戴者进行相应的避障。
36.进一步的，在步骤s3b中，最优路径规划的获取方法如下：
37.将室内环境地图的地面进行网格化，将墙面、禁止走的道路和危险区域设置成障碍物；
38.确定智能盲人眼镜佩戴者的位置和目的地的位置；
39.从智能盲人眼镜佩戴者的位置开始向四周进行探索，探索后的网格都有一个属于该网格的移动代价f，优先对移动代价f最低的网格进行搜寻，直到搜寻到目的地位置，移动代价f＝g+h；
40.其中，g指的是从佩戴者的位置到当前探索位置的当前代价，h指的是从当前探索位置到目的地位置的预估代价。
41.进一步的，利用双目摄像头和通讯部件进行避让时，双目摄像头记录的整个画面分成三个部分，分别是左侧、中间和右侧，在室内环境下，当前方障碍物出现在整个画面相应的位置，盲人眼镜就会通过通讯部件做出相应左侧、中间和右侧障碍的避让提醒。
42.进一步的，智能盲人眼镜佩戴者的家属可以在智能盲人眼镜配套的app上通过摄像头了解到智能盲人眼镜佩戴者实时的画面，智能盲人眼镜可以记录智能盲人眼镜佩戴者行走的路线，以便于智能盲人眼镜佩戴者的家属可在app上查询到盲人的位置。
43.由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
44.1、当智能盲人眼镜佩戴者在室内的时候，通过双目摄像头对周围环境采集数据来构建出周围环境的地图，然后在室内进行导航，导航准确度高，并且通过双目摄像头对前方的环境进行目标检测，能准确描述前方障碍物的情况。
45.2、当在同一个地址上，第一位智能盲人眼镜佩戴者扫描完室内地图数据之后，会同时将数据上传到数据处理平台上，其他的智能盲人眼镜佩戴者就可以在数据处理平台上实现该地址的室内地图数据的共享，这样智能盲人眼镜的使用更加灵活。
46.3、本室内导航和避障的智能盲人眼镜通过双目摄像头将前方出现的障碍分在三个方位，而不是直接检测前方是否有障碍，这样使得避障功能更加智能且精确。
47.4、本室内导航和避障的智能盲人眼镜，通过按压螺纹挤压块，进而使得螺纹挤压块将会带动连接齿轮通过限位块进行稳定的旋转，从而使得连接齿轮将会带动第一限位板与第二限位板进行反向移动后使充电口打开，并且螺纹挤压块将会通过复位弹簧带动输入块与输出块相接触，使输出端将会发射信号传递至语音库单元，并且播放“充电口已打开！”，进而方便盲人对该眼镜进行充电。
附图说明
48.下面结合附图对本发明技术方案作进一步说明：
49.图1为本发明实施例中室内导航和避让的智能盲人眼镜的结构示意图；
50.图2为本发明实施例中第二腿脚和镜框活动连接的结构示意图；
51.图3为本发明实施例中处理模块的组成框架图；
52.图4为本发明实施例中充电口左视图的剖面结构示意图；
53.图5为本发明实施例中主视图的剖面结构示意图；
54.图6为本发明实施例中室内导航和避让的智能盲人眼镜的使用方法系统流程图；
55.图7为本发明实施例中建图模式流程图；
56.图8为本发明实施例中最优路径规划导航的建立流程图；
57.图9为本发明实施例中避障功能处理示意图；
58.其中：眼镜本体1、通讯部件2、图像获取装置3、充电口4、处理模块5、镜框10、第一镜腿11、第二镜腿12、桩头13、铰链14、耳机20、数据线21、gps单元50、图像处理单元51、数据处理平台52、导航单元53、语音库单元54、连接齿轮60、限位块61、螺纹挤压块62、开合板63、齿条64、第二限位板65、内腔120、输入块70、输出块71、复位弹簧72。
具体实施方式
59.下面结合附图及具体实施例对本发明作进一步的详细说明。
60.参阅图1-2，本发明实施例所述的一种室内导航和避障的智能盲人眼镜，包括眼镜本体1、通讯部件2、图像获取装置3和处理模块5；眼镜本体1包括镜框10，镜框10的左右两侧分别设有第一镜腿11和第二镜腿12，并且第一镜腿11和第二镜腿12通过铰链14活动连接在桩头13上，桩头13固定在镜框10上，从而使得第一镜腿11和第二镜腿12可分别在镜框10的左右两端转动。
61.通讯部件2包括一对耳机20，耳机20上自带有麦克风，一对耳机20分别设置在第一镜腿11和第二镜腿12的末端，并分别通过数据线21与处理模块5相通。
62.图像获取装置3安装在镜框10的前端，本实施例中的图像获取装置3为一双目摄像头，智能盲人眼镜佩戴者通过图像获取装置3采集当前室内环境的相关数据。
63.参阅图3，处理模块5内嵌在镜框10内，处理模块5包括gps单元50、图像处理单元51、数据处理平台52、导航单元53和语音库单元54；gps单元50用于对眼镜本体1的位置进行定位后将数据输出至数据处理平台52；图像处理单元51用于接受并处理图像获取装置3采集到的相关图像信息后构建地图并传输至数据处理平台52内；数据处理平台52用于接收图像处理单元51发送的地图信息并共享，以及，与外界通过设备或相关的app互通进行地图的完善；导航单元53用于结合gps单元50对眼镜本体1到地图中的目的地进行最优路径规划化后传输至数据处理平台52；语音库单元54与数据处理平台52相通，用于将导航单元53导航出的最优路径规划通过通讯部件2对智能盲人眼镜佩戴者进行室内导航以及避障。
64.参阅图4-5，镜框10上内嵌有供电组件，本实施例中的供电组件为一电池元件，在供电组件上设有一充电口4，用于实现对供电组件的充电，而为了对充电口4进行保护，在充电口4上设置了一个充电口开合组件，这样在不进行充电时，充电口4不会直接暴露在外界。
65.具体的，充电口开合组件包括连接齿轮60、螺纹挤压块62、第一限位板63、齿条64和第二限位板65；在第二腿脚12的内部开有一空腔120，空腔120的截面呈十字型；连接齿轮60通过上下设置的两个限位块61被限位设置在内腔120内；螺纹挤压块62一端穿过连接齿轮60后设置在内腔120内，并且螺纹挤压块62与连接齿轮60螺纹连接，这样当螺纹挤压块62在连接齿轮60内进行旋转时，螺纹挤压块62前移的同时带动连接齿轮60转动。
66.其中，螺纹挤压块62通过复位弹簧72与第二镜腿12的内腔120壁之间构成弹性滑动结构。
67.第一限位板63和第二限位板65相对平行设置在充电口4处，并将充电口4覆盖，在第一限位板63和第二限位板65的底部设有两个横向平行设置的齿条65，两个齿条65分别与连接齿轮60的上下两侧啮合；当螺纹挤压块62往空腔120内部前移时，连接齿轮60顺势针旋转时，带动第一限位板63和第二限位板65相互分离，将充电口4暴露出来，然后通过充电口4对本智能盲人眼镜进行充电即可。
68.同时，为了能及时通知使用者进行充电，本智能盲人眼镜还包括一充电播音组件，充电播音组件包括输入块70和输出块71；输入块70安装在螺纹挤压块61上相对空腔120的一端；输出块71则被安装在内腔120的内壁上，并且输出块71与输入块70相对横向水平设置；当螺纹挤压块62在内腔120内前移到一定位置时，输出块70与输入块71相接触，输出块71将会发射指令到数据处理平台52内，数据处理平台52控制语音库单元54工作，语音库单元54通过通讯部件2发出“充电口已打开”的语音，提醒使用者快速过来进行充电操作。
69.另外，在本实施例中的各种数据传输均通wi-fi模块进行相应的传输。
70.参阅图6，本发明还公开了一种室内导航和避障的智能盲人眼镜的使用方法，包括如下步骤：
71.s1，当智能盲人眼镜佩戴者来到一个新环境后，先通过通讯部件2咨询智能盲人眼镜，判断在当前gps单元50的定位下是否已经构建了相关的地图；如果没有构建地图，智能盲人眼镜进入建图模式，建图模式包括对未知区域的构建地图和指挥智能盲人眼镜佩戴者躲避障碍物；如果已经构建地图，智能盲人眼镜直接进入工作模式，工作模式包括路径规划、识别障碍物和指挥智能盲人眼镜佩戴者躲避障碍物的功能；
72.参阅图7，s2a，若进入建图模式，当智能盲人眼镜佩戴者进入未知区域时，通过双目摄像头采集当前室内环境的数据，并由通讯部件2通过语音库单元54指挥智能盲人眼镜佩戴者躲避障碍物；
73.s3a，通过双目视觉里程计的方法来确定出智能盲人眼镜佩戴者的运动轨迹；
74.s4a，图像处理单元51接收不同时刻的双目视觉里程计测量的相机姿态和回环检测的数据，对它们进行非线性优化，得到全局一致的轨迹和地图；
75.s5a，根据运动轨迹，构建所在室内环境的地图，并上传至数据处理平台52；
76.s6a，智能盲人眼镜佩戴者的家属通过app登录数据处理平台52，根据实际情况来对构建的室内地图做出一些完善，比如在地图上标上实际环境中地点的名称，设置室内环境地图的主干道，禁止行走的道路与危险区域，从而确保地图的可实施性。
77.在本实施例中，当智能盲人眼镜佩戴者的家属已经完善好地图之后，家属可以将这局部室内地区的地图数据和地图区域的gps数据一同上传到数据处理平台52上；当另外一位盲人眼镜佩戴者通过gps模块定位到这个地址，可以直接共享这个室内环境的地图数据，这样就不用重复地采集数据，实现数据的共享。
78.s2b，若进入工作模式，智能盲人眼镜佩戴者对着通讯部件2说出想要前往的目的地，智能盲人眼镜识别出对应的目的地在构建地图上的位置；
79.s3b，通过导航单元53和gps单元50结合得出到达构建地图中目的的最优路径规划，包括避开之前设置好的禁行区域；
80.参阅图8，通过导航单元53结合gps单元50得出最优路径规划导航的方法如下：
81.将室内环境地图的地面进行网格化，并且一个网格的尺寸是20cm*20cm，将墙面、
禁止走的道路和危险区域设置成障碍物；然后确定智能盲人眼镜佩戴者的位置和目的地的位置；从智能盲人眼镜佩戴者的位置开始向四周进行探索，探索后的网格都有一个属于该网格的移动代价f，优先对移动代价f最低的网格进行搜寻，直到搜寻到目的地位置，移动代价f＝g+h；其中，g指的是从佩戴者的位置到当前探索位置的当前代价，h指的是从当前探索位置到目的地位置的预估代价。
82.这里描述代价的距离方式是曼哈顿距离，是盲人眼镜佩戴者的位置和目的地位置在竖直方向和水平方向上的距离总和；
83.s4b,智能盲人眼镜佩戴者按照智能盲人眼镜的最优路径规划导航前往目的地时，智能盲人眼镜将距离转化为步数播出，通知盲人行走的距离。
84.具体来说，当智能盲人眼镜佩戴者按照智能盲人眼镜的导航往目的地走时，为了考虑到佩戴者是盲人这特殊群体，我们将距离转化为步数播出，假设当导航的路径前面还有2米就向左转时(考虑到盲人的特殊性，假设盲人一步20厘米)，盲人眼镜就会通过耳机播放出：“往前方走十步路之后，向左转！”并且在这时不停地检测盲人眼镜的姿态，如果监测到智能盲人眼镜佩戴者已经转过头并且前方是正确的道路，没有偏移，盲人通过耳机将听到：“道路正确，继续往前走！”。
85.参阅图9，当智能盲人眼镜佩戴者遵循着盲人眼镜的导航往目的地走时，双目摄像头对前方的环境进行目标检测，并且将双目摄像头记录的整个画面分成三个部分，分别是左侧、中间和右侧，在室内环境下，当前方障碍物出现在整个画面相应的位置，盲人眼镜就会通过耳机20做出相应的回应，为此我们还增加了避障这个功能，当前方碍物出现在智能盲人眼镜佩戴者的左侧，盲人眼镜将通过耳机20播放：“前方左侧有障碍物，小心！”，当前方碍物出现在智能盲人眼镜佩戴者的右侧，盲人眼镜将通过耳机20播放：“前方右侧有障碍物，小心！”，当前方障碍物出现在智能盲人眼镜佩戴者的正前方，盲人眼镜将通过耳机20播放：“正前方有障碍物，小心！”。
86.另外，智能盲人眼镜佩戴者的家属可以在智能盲人眼镜配套的app上通过摄像头了解到智能盲人眼镜佩戴者实时的画面，智能盲人眼镜也可以记录智能盲人眼镜佩戴者佩戴之后所走的路线，以防止盲人走丢之后不知道盲人去向，盲人家属可在app上查询到该路线，以方便找回盲人。
87.本发明的室内导航和避障的智能盲人眼镜以及使用方法，通过双目摄像头对周围环境采集数据来构建出周围环境的地图，然后在室内进行导航，提高导航精准度，通过双目摄像头对前方的环境进行目标检测，提高障碍物的检测能力，并且本智能盲人眼镜是将前方出现的障碍分在三个方位，避障更加精确，同时通过按压螺纹挤压块打开充电口时会有提示音出现，从而能及时提醒充电，保护好充电口，延迟使用寿命，不占用社会资源，具有较高的使用价值。
88.以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。