一种基于手机端的智能导盲系统及其导盲方法与流程

本发明属于智能设备技术领域，具体涉及一种基于手机端的智能导盲系统及其导盲方法。

背景技术：

世界卫生组织估计全世界有4000万到4500万视力残疾人，低视力人群数量是其3倍，约1.4亿人，我国视力残疾约有1350万人。盲人作为一类特殊人群，由于自身因素，无法同正常人一样学习、工作和生活，甚至需要他人照顾。

现如今，信息技术发展迅猛，智能设备和终端日趋成熟。随着社会的发展和市场的需求，盲人手机逐渐出现在人们的视野，不仅可以使他们生活更加方便，而且在他们需要或出现状况时可以实现及时与外界沟通。但是，单单依靠盲人手机，他们无法实现独立自主的生活。他们必须借助导盲犬或他人帮助，才可以便捷、安全的出行。

现有技术中已出现具有图像识别、通信的盲人智能眼镜，同时也出现了利用超声波进行障碍物感知的导盲手杖，但是这些导盲的设备功能较为单一，设计较为复杂，不够智能化，不能帮助盲人及时准确的获取周围的环境信息，从而不能实现很好的导盲功能。

技术实现要素：

本发明的目的在于解决上述问题，提供一种基于手机端的智能导盲系统以及基于该导盲系统的智能导盲方法。

本发明的目的一是这样实现的，一种基于手机端的智能导盲系统，其特征在于，包括手机端，以及与所述手机端相连接的视觉感知单元、障碍感知单元和语音控制单元；所述手机端包括控制处理器以及分别连接于所述控制处理器的信号收发模块；

所述视觉感知单元包括摄像头、图像识别处理模块和第一通讯模块，所述摄像头获取的图像数据经图像识别处理模块处理后通过通讯模块传输至手机端；

所述障碍感知单元包括超声波模块和第二通讯模块，超声波模块包括超声波发射、接收器以及超声波信息处理器，超声波信息处理器通过所述第二通讯模块将处理后的信息发送至手机端；

所述语音控制单元包括语音输入、输出模块，以及第三通讯模块，通过所述第三通讯模块实现语音控制单元与手机端之间的信号传输。

优选的，所述图像识别处理模块用于分析获取图像中的文字信息、二维码信息或人流量信息。

优选的，所述视觉感知单元的摄像头和第一通讯模块均被设置于智能眼镜上。

优选的，所述障碍感知单元的超声波模块和第二通讯模块均被设置于手杖上。

优选的，所述语音控制单元被设置成耳机。

优选的，所述第一通讯模块、第二通讯模块、第三通讯模块与手机端的信号收发模块之间的通讯模式包括wifi、蓝牙以及红外模式。

本发明的另一目的在于，提供一种智能导盲方法，其特征在于，包括以下步骤：

(1)、通过手机端开启导盲系统，视觉感知单元和障碍感知单元分别采集周围环境的信息，并将所获取的信息发送至手机端；

(2)、手机端接收处理来自视觉感知单元和障碍感知单元的信息，并将所述信息转化为语音信息后发送至语音控制单元；

(3)、语音控制单元通过语音播报的形式播放所述语音信息，同时，通过在语音控制单元输入语音信息从而将语音控制指令反馈给手机端。

优选的，所述步骤(1)还包括手机端开启导盲系统后进入导盲模式选择，所述视觉感知单元和障碍感知单元根据所选定的导盲模式进入相应的工作模式。

优选的，所述导盲模式根据环境信息的不同包括有学习模式、生活模式以及外出模式，所述视觉感知单元在不同的导盲模式下，摄像头采集图像的时间间隔不同。

优选的，所述手机端根据优先级顺序分别接收处理来自视觉感知单元和障碍感知单元的信息，所述优先级顺序根据所选定的导盲模式不同而变化。

本发明的有益效果体现在，结合视觉感知单元和障碍感知单元所采集的信息，可获取较为准确的周围环境信息，本发明的导盲系统较为智能，盲人可根据实际使用环境选择不同的导盲模式，实现更为方便、准确的导盲。

附图说明

图1为本发明所述智能导盲系统的结构框图；

图2为本发明实施例所述智能导盲系统的执行流程图；

图3为本发明实施例所述手机端信息处理流程图。

具体实施方式

下面将结合附图和具体实施例，对本发明的思想作出进一步的说明。

如图1所示为本发明所述智能导盲系统的结构框图，一种基于手机端的智能导盲系统，包括手机端，以及与所述手机端相连接的视觉感知单元、障碍感知单元和语音控制单元；所述手机端包括控制处理器以及分别连接于所述控制处理器的信号收发模块；

所述视觉感知单元包括摄像头、图像识别处理模块和第一通讯模块，所述摄像头获取的图像数据经图像识别处理模块处理后通过通讯模块传输至手机端；进一步的，所述图像识别处理模块用于分析获取图像中的文字信息、二维码信息或人流量信息；作为另一种可替换实施的方案，所述视觉感知单元包括摄像头和第一通讯模块，图像识别处理模块连接于手机端的控制处理器上，如此，可简化视觉感知单元的设计结构；作为一个优选的实施例，所述视觉感知单元的摄像头和第一通讯模块均被设置于智能眼镜上，由于盲人难以承受阳光直射眼睛，因此他们在外出活动时常常会佩戴墨镜以保护眼睛，所以将视觉感知单元设置于智能眼镜上，不会对盲人出行增加额外的负担，使用较为方便。

所述障碍感知单元包括超声波模块和第二通讯模块，超声波模块包括超声波发射、接收器以及超声波信息处理器，超声波信息处理器通过所述第二通讯模块将处理后的信息发送至手机端；障碍感知单元通过对所发射和接收的超声波信息的分析可以较为准确的探测出一定范围内是否存在障碍物，而且超声波探测的范围可调节；作为一个优选的具体实施方案，所述障碍感知单元的超声波模块和第二通讯模块均被设置于手杖上，由于盲人在活动过程中会随身携带手杖，帮助其探测前方道路信息，所以将障碍感知单元设置于手杖上，无需单独的设备，不会对盲人的活动造成额外的负担。障碍物距离计算方法是手杖发出超声波后，记录接收到反射的超声波时所经过的时间t，由s＝vt可以计算超声波的路径s，其中v为超声波在空气中的传播速度，则障碍物的距离s_o＝s/2。作为一种优选的，所述手杖上还设有用于提醒盲人及时避开障碍物的震动报警模块，当超声波模块在其探测范围内探测到障碍物时，启动震动报警模块，从而提醒盲人注意避开障碍物；优选的，当探测到的障碍物离盲人的距离小于一定的数值时手杖开始震动报警，具体的，当障碍物的距离s_o≤1m时，手杖开启震动报警及时提醒盲人注意避开障碍物。

所述语音控制单元包括语音输入、输出模块，以及第三通讯模块，通过所述第三通讯模块实现语音控制单元与手机端之间的信号传输；作为一个具体的实施方式，所述语音控制单元被设置成耳机，手机端发送的信息通过耳机端以语音播报的形式传递给盲人，盲人接收到信息后，在耳机端输入语音信息反馈给手机端。

作为优选的，所述第一通讯模块、第二通讯模块、第三通讯模块与手机端的信号收发模块之间的通讯模式包括wifi、蓝牙以及红外模式。

应该说明的是，所述手机端接收的来自视觉感知单元和障碍感知单元的信息均以语音信息的形式发送到语音控制单元，即，手机端包含了语音转化模块。

本发明的另一目的在于，提供一种智能导盲方法，其特征在于，包括以下步骤：

(1)、通过手机端开启导盲系统，视觉感知单元和障碍感知单元分别采集周围环境的信息，并将所获取的信息发送至手机端；

(2)、手机端接收处理来自视觉感知单元和障碍感知单元的信息，并将所述信息转化为语音信息后发送至语音控制单元；

(3)、语音控制单元通过语音播报的形式播放所述语音信息，同时，通过在语音控制单元输入语音信息从而将语音控制指令反馈给手机端。

优选的，所述步骤(1)还包括手机端开启导盲系统后，首先进入导盲模式选择，所述视觉感知单元和障碍感知单元根据所选定的导盲模式进入相应的工作模式。

作为优选的实施方案，所述导盲模式根据环境信息的不同包括有学习模式、生活模式以及外出模式，所述视觉感知单元在不同的导盲模式下，摄像头采集图像的时间间隔不同，鉴于视觉感知单元需要通过图像拍摄、处理和传送来采集获取周围的环境信息，在不同的环境下，环境中所包含的信息量不一致，信息的变化速度也不同，如果图像拍摄采集的频率相同则很容易造成不能很好的满足及时、充分获取周围环境信息的同时，保证系统的处理速度及稳定性，即不同环境下对图像拍摄的时间间隔以及手机处理速度要求不同，因此设置不同的模式可以实现充分获取周围环境信息的同时保证系统性能稳定。作为具体实施例，生活中，室内物品摆放密集也不规则，为避免磕碰以及意外伤害等状况，需实时拍摄和传送图像，拍摄间隔为0.1s、1幅一组上传，从而保证信息的实时性；外出时，由于人流、车流变化快，周遭环境复杂，因此需要实时进行拍摄和图像传送，拍摄间隔为0.1s、以5幅为一组上传，从而保证信息的准确性、可靠性；学习时，由于文字、二维码等信息处于静止状态，周遭环境单一，短期内拍摄内容不会有很大变化，因此拍摄间隔周期可以适当加长为3s、5幅为一组上传。可以通过蓝牙耳机提示并语音操作进行不同导盲模式的选择，方便、高效。由于盲人所处环境不同，障碍感知单元对于障碍物的判断准则也会有所差别。生活模式时，盲人所处环境的障碍物主要为桌椅、房门、洗漱台等静态类家居，而且盲人日常生活环境基本不会发生较大改变。因此盲人日常生活中障碍物的分布情况可以每周进行一次数据更新，每次数据由盲人该周前5次选择生活模式时的所产生的数据组成并存储记录在手机端，从而可以事先记录并模拟盲人所处的生活环境。这样可以在之后盲人选择该模式时手杖可以及时判断障碍物，实现快速、准确的指导盲人日常生活。外出模式时，障碍物主要是流动的人群与上下楼的台阶。流动的人群可以与智能眼镜拍摄的图片相结合，通过计算人流量密度从而指导盲人并进行提醒；台阶处可以安装无源射频卡(范围约50cm左右)，在台阶第一层和最后一层均匀安装。当盲人靠近时，通过手杖震动并配合蓝牙耳机语音提醒，从而帮助盲人安全出行。学习模式时，障碍物判断方法与生活模式相同。但由于学习模式的不定性，障碍物状况不需要手机进行记录保存。

优选的，所述手机端根据优先级顺序分别接收处理来自视觉感知单元和障碍感知单元的信息，所述优先级顺序根据所选定的导盲模式不同而变化；手机端在处理信息过程中，会出现不同感知单元的信息同时抵达，因此优先级顺序是十分重要的。具体的，学习模式时，盲人基本处于静止状态，此时视觉感知单元较其他感知单元更为重要，因此视觉感知单元的信息处理优先级也会高于其它感知单元；当盲人基本处于运动状态时，过程中可能遇到障碍物从而造成危险，此时障碍感知单元会比较重要，手机端则会优先处理障碍感知单元发送的信息。

除此之外，盲人也可以使用手机实现远距离通信交流等，甚至在紧急情况时进行电话求助，实现更好的生活、学习、外出。

如图2所示为本发明实施例所述智能导盲系统的执行流程图，盲人首先根据个人需要在手机端进行模式选择，智能导盲系统根据模式进行初始化和准备工作。作为一般实施例，智能导盲系统分为三种自动导盲模式，分别为生活模式、学习模式和外出模式；当选定导盲模式后，智能导盲系统利用视觉感知单元和障碍感知单元开始对外界环境进行周围环境信息采集，在不同的导盲模式下，信息采集的优先级不同，当选择生活模式和外出模式时，优先通过障碍感知单元进行是否存在障碍物的检测，而后再通过视觉感知单元进行图像采集，并对图像中的文字、二维码进行识别分析；当选择学习模式时，由于周遭环境单一，一般只通过视觉感知单元对所采集的图像进行文字、二维码的识别分析，而不使用障碍感知单元进行障碍物的检测。手机端的控制处理器接收到来自视觉感知单元和障碍感知单元的信息后，对信息进行分析、处理，并将处理后的信息转化为语音信息进行输出。

如图3所示为本发明实施例所述手机端信息处理流程图，智能导盲系统开启后，先进行导盲模式的选择，而后信号收发模块开始接收来自视觉感知单元和障碍感知单元的信息，接收到信息后，系统先判断是否同时有信息传入至信号收发模块的接收端，当同时存在不同感知单元的信号输入时，则根据优先级顺序对信息进行分析、处理，信息处理完成后将信息数据经语音控制单元传送给盲人，当输出给盲人的信息包含指示信息时，询问其是否进行指令操作，若无指令操作，则盲人根据信息数据获悉周围环境指导自己行动；若需要输入指令，则盲人经语音或按键进行选择后，手机端接收到盲人的指示，根据指示操作进行系统调整或远程操作其它子系统。例如，当盲人在公共场所行动过程中，智能眼镜捕获到文字信息或二维码信息，实时将捕获的图片传送至手机端。当手机端检测到存在文字或二维码信息时，通过蓝牙耳机告知盲人前方有文字、二维码信息，询问是否识别，盲人可通过语音或按键操作选择。若选择是，手机端可进行文字识别和二维码识别，将识别的信息转换成语音传送至盲人，使其捕获公共场所中的信息。若选择否，则手机端可忽略该内容，智能眼镜也将继续监视周围环境。鉴于此，可以针对盲人在公共场所中添加指引、解读所在位置以及周边环境的文字，从而更好地为盲人服务。