导盲方法、系统、可读存储介质及移动终端与流程

文档序号:15435775发布日期:2018-09-14 22:10阅读:157来源:国知局
本发明涉及导盲
技术领域
,特别涉及一种导盲方法、系统、可读存储介质及移动终端。
背景技术
:盲道通常铺设在马路人行道上,是专门用于帮助盲人行走的道路设施。盲道一般由两类砖铺成,一类是条形引导砖,引导盲人放心前行,称为行进盲道,另一类是带有圆点的提示砖,提示盲人前面有障碍,该转弯了,称为提示盲道。盲道主要利用盲人对盲道砖的脚感作用来达到导盲作用。然而,目前铺设的盲道,只占马路人行道的一部分,当盲人刚步入人行道上时,无法寻找到铺设的盲道,而盲人必须走在盲道上才能起到导盲作用,这就导致每次都需要行人将盲人牵引到盲道上,这无疑这盲人带来极大的不便。技术实现要素:基于此,本发明的目的是提供一种导盲方法、系统、可读存储介质及移动终端,以帮助盲人找到盲道。根据本发明实施例的一种导盲方法,应用于一具有摄像功能的移动终端,所述导盲方法包括:获取所述移动终端拍摄的当前路况图像,并判断所述当前路况图像当中是否存在盲道特征;若不存在所述盲道特征,则持续发出第一旋转提示信息,以提示用户原地旋转,直到所述移动终端拍摄的路况图像当中存在所述盲道特征;若存在所述盲道特征,则获取用户的当前行进方向,并判断所述当前行进方向是否经过所述当前路况图像中的盲道;若经过,则发出行进提示信息,以提示用户沿所述当前行进方向行进;若不经过,则持续发出第二旋转提示信息,以提示用户原地旋转,直到用户的行进方向经过所述移动终端拍摄的路况图像中的盲道。另外,根据本发明上述实施例的一种导盲方法,还可以具有如下附加的技术特征:进一步地,所述判断所述当前路况图像当中是否存在盲道特征的步骤包括:依序将特征库当中的每个盲道图像作为模板对所述当前路况图像进行图像匹配;判断所述当前路况图像当中是否存在与所述盲道图像一致的图像区域;若是,则执行所述获取用户的当前行进方向的步骤;若否,则执行所述持续发出第一旋转提示信息的步骤。进一步地,所述判断所述当前路况图像当中是否存在与所述盲道图像一致的图像区域的步骤包括:计算所述盲道图像与所述当前路况图像中的每个图像区域的相似度;判断是否存在与所述盲道图像的相似度高于阈值的图像区域。进一步地,所述获取用户的当前行进方向的步骤包括:获取所述当前路况图像的竖直中心线,并向所述竖直中心线附加一预设的矢量方向,以得到所述当前行进方向,所述矢量方向与所述当前路况图像的高度方向一致。进一步地,所述移动终端上设有启动按键,所述导盲方法还包括:当接收到所述启动按键的点击信号时,执行所述获取所述移动终端拍摄的当前路况图像的步骤。进一步地,在所述发出行进提示信息的步骤之后,所述导盲方法还包括:判断所述当前路况图像当中是否存在障碍物特征;若是,则判断所述当前行进方向是否经过所述当前路况图像中的障碍物;若是,则发出前方存在障碍物的提示信息。进一步地,所述移动终端上设有一红外传感器,在所述发出前方存在障碍物的提示信息的步骤之后,所述导盲方法包括:利用所述红外传感器来获取用户到前方障碍物的距离,并发出含有障碍物距离的提示信息。根据本发明实施例的一种导盲系统,应用于一具有摄像功能的移动终端,所述导盲系统包括:盲道判断模块,用于获取所述移动终端拍摄的当前路况图像,并判断所述当前路况图像当中是否存在盲道特征;第一提示模块,用于当判断到所述当前路况图像当中不存在所述盲道特征时,持续发出第一旋转提示信息,以提示用户原地旋转,直到所述移动终端拍摄的路况图像当中存在所述盲道特征;方向判断模块,用于当判断到所述当前路况图像当中存在所述盲道特征时,获取用户的当前行进方向,并判断所述当前行进方向是否经过所述当前路况图像中的盲道;第二提示模块,用于当判断到所述当前行进方向经过所述当前路况图像中的盲道时,发出行进提示信息,以提示用户沿所述当前行进方向行进;第三提示模块,用于当判断到所述当前行进方向不经过所述当前路况图像中的盲道时,持续发出第二旋转提示信息,以提示用户原地旋转,直到用户的行进方向经过所述移动终端拍摄的路况图像中的盲道。本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述的导盲方法。本发明还提出一种移动终端,其具有摄像功能,所述移动终端包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述的导盲方法。上述导盲方法、系统、可读存储介质及移动终端,当盲人步入人行道上时,可启动该具有摄像功能的移动终端,以获取人行道上的路况图像,系统将自动判断当前路况图像当中是否存在盲道,若判断到存在,系统还将判断盲人的当前行进方向(当前朝向)是否经过该盲道,若经过,则提醒盲人按当前方向往前走即可走到盲道上,若不经过盲道或当前路况图像当中根本不存在盲道,系统将提示盲人原地旋转,直到当前行进方向经过该盲道。因此,所述导盲方法、系统、可读存储介质及移动终端,通过路况图像来定位盲道方位,并进行一系列的判断、分析及提示,来指引盲人找到盲道,极大的方便了盲人的出行。附图说明图1为本发明第一实施例中的导盲方法的流程图;图2为本发明第二实施例中的导盲方法的流程图;图3为图2当中步骤s13的具体实施流程图;图4为本发明第三实施例中的导盲系统的结构图;图5为本发明第四实施例中的移动终端的外部结构图;图6为本发明第四实施例中的移动终端的结构框图。主要元件符号说明:盲道判断模块11第一提示模块12方向判断模块13第二提示模块14第三提示模块15图像匹配单元111图像判断单元112计算子单元1121判断子单元1122处理单元131信号接收模块16第一判断模块17第二判断模块18第四提示模块19第五提示模块20存储器200处理器100计算机程序300摄像头400红外传感器500启动按键600以下具体实施方式将结合上述附图进一步说明本发明。具体实施方式为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的
技术领域
的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。请参阅图1,所示为本发明第一实施例中的导盲方法,应用于一具有摄像功能的移动终端,包括步骤s01至步骤s05。步骤s01,获取所述移动终端拍摄的当前路况图像。在具体实施时,用户可以手持该移动终端并放置于胸前,以使该移动终端的摄像头朝前或略微向下,以实时拍摄用户正前方的路况图像。步骤s02,判断所述当前路况图像当中是否存在盲道特征。需要指出的是,所述盲道特征为盲道独有的特征,例如可以为盲道颜色、盲道砖的纹路等。在具体实施时,可以预先利用移动终端拍摄多组盲道的图像,并将这些盲道图像处理成标准模板,以便在进行盲道特征判断时,利用该模板来进行特征比对,以确定当前路况图像当中是否存在盲道。除此之外,还可以对预先拍摄的盲道图像中的盲道进行标注,然后设计带有视频序列信息的深度网络结构,并对标注好的盲道图片进行训练,最后利用最优损失函数准则,使得深度网络模型收敛,以得到盲道特征模型,以便在进行盲道特征判断时,利用该模型来进行特征比对,以确定当前路况图像当中是否存在盲道。其中,当判断到当前路况图像当中不存在盲道特征时,代表用户的当前朝向中不存在盲道,例如用户当前背对盲道,此时执行步骤s03,当判断到当前路况图像当中存在盲道特征时,则代表用户的当前朝向中存在盲道,则执行步骤s04。步骤s03,持续发出第一旋转提示信息,以提示用户原地旋转,直到所述移动终端拍摄的路况图像当中存在所述盲道特征。可以理解的,例如当用户背对着盲道时,当前拍摄的路况图像当中必然不存在盲道特征,此时系统将发出旋转提示信息,以提示用户原地旋转,在旋转的过程当中,当用户的正前方存在盲道时,该移动终端当前拍摄的路况图像必然也存在盲道特征,此时系统停止该旋转提示,并执行步骤s04。步骤s04,获取用户的当前行进方向,并判断所述当前行进方向是否经过所述当前路况图像中的盲道。需要指出的是,当用户手持该移动终端并放置于胸前时,该用户的朝向即可认作为该用户的当前行进方向,以致于拍摄的路况图像的竖直中心线即可代表当前行进方向,因此通过判断路况图像的竖直中心线是否经过路况图像中的盲道区域,即可判断出当前行进方向是否经过当前路况图像中的盲道。此外,获取当前行进方向的方法还可以为:结合前后两张路况图像并利用图像处理技术,即可在当前路况图像当中寻找出当前行进方向;或采用该移动终端的定位功能,即结合前后定位的两个地理位置坐标,两点坐标即可计算出空间行进方向,然后利用全局坐标与局部坐标的转化公式,即可将空间行进方向投影到当前路况图像当中,以在当前路况图像当中寻找出当前行进方向。其中,当判断到当前行进方向经过当前路况图像中的盲道时,代表用户按当前朝向一直往前走即可走到盲道上,例如,用户正对着盲道,此时执行步骤s05,当判断到当前行进方向不经过当前路况图像中的盲道时,代表用户按当前朝向一直往前走不能走到盲道上,例如,用户朝向与盲道平行,此时执行步骤s06。步骤s05,发出行进提示信息,以提示用户沿所述当前行进方向行进。可以理解的,由于当前行进方向经过当前路况图像中的盲道,用户按当前朝向一直往前走即可走到盲道上,且一旦用户走上盲道,用户凭借脚感即可得知自身已走在盲道上。步骤s06,持续发出第二旋转提示信息,以提示用户原地旋转,直到用户的行进方向经过所述移动终端拍摄的路况图像中的盲道。可以理解的,例如当用户朝向与盲道平行时,当前行进方向必然不经过当前路况图像中的盲道,此时系统将发出旋转提示信息,以提示用户原地旋转,在旋转的过程当中,当用户的朝向经过盲道时,当前行进方向也必然经过当前路况图像中的盲道,此时系统停止该旋转提示,并执行步骤s05。此外,还需要指出的时,发出提示信息的方式可以为语言播报、振动、响铃等当中的至少一种。综上,本发明上述实施例当中的导盲方法,当盲人步入人行道上时,可启动该具有摄像功能的移动终端,以获取人行道上的路况图像,系统将自动判断当前路况图像当中是否存在盲道,若判断到存在,系统还将判断盲人的当前行进方向(当前朝向)是否经过该盲道,若经过,则提醒盲人按当前方向往前走即可走到盲道上,若不经过盲道或当前路况图像当中根本不存在盲道,系统将提示盲人原地旋转,直到当前行进方向经过该盲道。因此,所述导盲方法、系统、可读存储介质及移动终端,通过路况图像来定位盲道方位,并进行一系列的判断、分析及提示,来指引盲人找到盲道,极大的方便了盲人的出行。请参阅图2,所示为本发明第二实施例中的导盲方法,应用于一具有摄像功能的移动终端,所述移动终端上设有一启动按键及一红外传感器,所述启动按键位于所述移动终端的侧部,所述移动终端的红外传感器及摄像头均处于该所述移动终端的背面,且均位于所述移动终端的竖向中心线上,所述导盲方法包括步骤s11至步骤s20。步骤s11,当接收到所述启动按键的点击信号时,获取所述移动终端拍摄的当前路况图像。在具体实施时,当用户需要寻找盲道时,可按下该移动终端的该启动按键,系统即可执行本实施例当中的导盲方法。步骤s12,依序将特征库当中的每个盲道图像作为模板对所述当前路况图像进行图像匹配。在具体实施时,可以预先利用移动终端拍摄多组盲道的图像,并将这些盲道图像处理成标准模板存入特征库当中,以便在进行盲道特征判断时,利用该模板来进行特征比对,以确定当前路况图像当中是否存在盲道。步骤s13,判断所述当前路况图像当中是否存在与所述盲道图像一致的图像区域。其中,当判断到当前路况图像当中存在与盲道图像一致的图像区域时,则代表当前路况图像当中存在盲道,此时执行步骤s15至步骤s16,否则代表当前路况图像当中不存在盲道,此时执行步骤s14。具体实施时,请查阅图3,所示为步骤s13的具体实施流程图,包括步骤s131至s132。步骤s131,计算所述盲道图像与所述当前路况图像中的每个图像区域的相似度;步骤s132,判断是否存在与所述盲道图像的相似度高于阈值的图像区域。其中,当判断到存在与盲道图像的相似度高于阈值的图像区域时,则代表当前路况图像当中存在与盲道图像一致的图像区域,否则代表当前路况图像当中不存在与盲道图像一致的图像区域。步骤s14,持续发出第一旋转提示信息,以提示用户原地旋转,直到所述移动终端拍摄的路况图像当中存在所述盲道特征。步骤s15,获取所述当前路况图像的竖直中心线,并向所述竖直中心线附加一预设的矢量方向,以得到用户的当前行进方向。其中,所述矢量方向与所述当前路况图像的高度方向一致。在具体实施时,当接收到所述启动按键的点击信号时,该移动终端可发出一段语音播报,该语音播报用于提示用户将该移动终端放置于指定位置上,例如该语音播报可以为“请将手机放置于正胸前,并保持手机竖向放置,且使摄像头朝外”,这样就可以确保当前路况图像的竖直中心线在附加该矢量方向后即为用户的当前行进方向。步骤s16,判断所述当前行进方向是否经过所述当前路况图像中的盲道。其中,当判断到当前行进方向经过当前路况图像中的盲道时,则执行步骤s17至步骤s21,当判断到当前行进方向不经过当前路况图像中的盲道时,则执行步骤22。步骤s17,发出行进提示信息,以提示用户沿所述当前行进方向行进。步骤s18,判断所述当前路况图像当中是否存在障碍物特征。其中,在具体实施时,可以预先利用移动终端拍摄各类障碍物的大量图像,并将这些障碍物图像处理成标准模板存入特征库当中,以便在进行障碍物特征判断时,利用该模板来进行特征比对,以确定当前路况图像当中是否存在盲道。其中,当判断到当前路况图像当中存在障碍物特征时,执行步骤步骤s19,当判断到当前路况图像当中不存在障碍物特征时,则不动作继续监测。步骤s19,判断所述当前行进方向是否经过所述当前路况图像中的障碍物。其中,当判断到当前行进方向经过当前路况图像中的障碍物时,执行步骤步骤s20至步骤s21,当判断到当前行进方向不经过当前路况图像中的障碍物时,则不动作继续监测。步骤s20,发出前方存在障碍物的提示信息。步骤s21,利用所述红外传感器来获取用户到前方障碍物的距离,并发出含有障碍物距离的提示信息。需要指出的是,当检测到当前行进方向上存在障碍物时,系统将自动发出障碍物提示,并启动该红外传感器来对障碍物进行测距,用户在接收到障碍物提示时,即可得知前方存在障碍物,同时,当该红外传感器测量出有障碍物距离时,系统还会进行障碍物距离的提示,以通知在前方多远处存在障碍物,此外,当发出障碍物提示后,依然未收到障碍物距离提示时,代表该红外传感器的方位不对,用户可摆动该移动终端,以使该红外传感器完成对障碍物的测距。步骤s22,持续发出第一旋转提示信息,以提示用户原地旋转,直到所述移动终端拍摄的路况图像当中存在所述盲道特征。本发明另一方面还提供一种导盲系统,所述请查阅图4,所示为本发明第三实施例中的导盲系统,应用于一具有摄像功能的移动终端,所述导盲系统包括:盲道判断模块11,用于获取所述移动终端拍摄的当前路况图像,并判断所述当前路况图像当中是否存在盲道特征;第一提示模块12,用于当判断到所述当前路况图像当中不存在所述盲道特征时,持续发出第一旋转提示信息,以提示用户原地旋转,直到所述移动终端拍摄的路况图像当中存在所述盲道特征;方向判断模块13,用于当判断到所述当前路况图像当中存在所述盲道特征时,获取用户的当前行进方向,并判断所述当前行进方向是否经过所述当前路况图像中的盲道;第二提示模块14,用于当判断到所述当前行进方向经过所述当前路况图像中的盲道时,发出行进提示信息,以提示用户沿所述当前行进方向行进;第三提示模块15,用于当判断到所述当前行进方向不经过所述当前路况图像中的盲道时,持续发出第二旋转提示信息,以提示用户原地旋转,直到用户的行进方向经过所述移动终端拍摄的路况图像中的盲道。进一步地,所述盲道判断模块11包括:图像匹配单元111,用于依序将特征库当中的每个盲道图像作为模板对所述当前路况图像进行图像匹配;图像判断单元112,用于判断所述当前路况图像当中是否存在与所述盲道图像一致的图像区域;当判断到所述当前路况图像当中存在与所述盲道图像一致的图像区域时,所述方向判断模块13获取用户的当前行进方向;当判断到所述当前路况图像当中不存在与所述盲道图像一致的图像区域时,所述第一提示模块12持续发出所述第一旋转提示信息。进一步地,所述图像判断单元112包括:计算子单元1121,用于计算所述盲道图像与所述当前路况图像中的每个图像区域的相似度;判断子单元1122,用于判断是否存在与所述盲道图像的相似度高于阈值的图像区域。进一步地,所述方向判断模块13包括:处理单元131,用于获取所述当前路况图像的竖直中心线,并向所述竖直中心线附加一预设的矢量方向,以得到所述当前行进方向,所述矢量方向与所述当前路况图像的高度方向一致。进一步地,所述移动终端上设有启动按键,所述导盲系统还包括:信号接收模块16,用于接收所述启动按键的点击信号;当接收到所述启动按键的点击信号时,执行所述获取所述移动终端拍摄的当前路况图像的步骤。进一步地,所述导盲系统还包括:第一判断模块17,用于判断所述当前路况图像当中是否存在障碍物特征;第二判断模块18,用于当判断到当前路况图像当中存在障碍物特征时,判断所述当前行进方向是否经过所述当前路况图像中的障碍物;第四提示模块19,用于当判断到当前行进方向经过当前路况图像中的障碍物时,发出前方存在障碍物的提示信息。进一步地,所述移动终端上设有一红外传感器,所述导盲系统还包括:第五提示模块20,用于利用所述红外传感器来获取用户到前方障碍物的距离,并发出含有障碍物距离的提示信息。本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述的导盲方法。本发明另一方面还提出一种移动终端,请查阅图5至图6,所示为本发明第五实施例当中的移动终端,包括存储器200、处理器100以及存储在存储器200上并可在处理器100上运行的计算机程序300,此外所述移动终端还包括设于摄像头400、红外传感器500及启动按键600,所述处理器100执行所述程序30时实现如上述的导盲方法。此外,所述启动按键600位于所述移动终端的侧部,所述红外传感器500及所述摄像头400均处于该所述移动终端的背面,且均位于所述移动终端的竖向中心线上,同时所述红外传感器500位于所述摄像头400的上方(如图5所示)。在本实施例当中,所述移动终端为一手机,在其它实施例当中,所述移动终端还可以为平板、mp4、智能穿戴设备等。本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑接口电路的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行移动终端、装置或设备(如基于计算机的移动终端、包括处理器的移动终端或其他可以从指令执行移动终端、装置或设备取指令并执行指令的移动终端)使用,或结合这些指令执行移动终端、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行移动终端、装置或设备或结合这些指令执行移动终端、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行移动终端执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑接口电路的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1