一种辅助视障患者安全出行的智能感知系统和方法与流程

本发明涉及可穿戴设备
技术领域：
，尤其涉及一种辅助视障患者安全出行的智能感知系统和方法。
背景技术：
：传统的视障患者出行主要依靠探路杖和导盲犬等，随着信息化技术的发展，市场上也出现了基于gps和电子地图导航的视障患者辅助出行系统。但是，基于gps或类似技术的方法无法准确判别实时路况，也无法适应所有道路环境，特别是在地图信息不完善或不准确的地区。这样将对出行的视障患者造成较大的安全隐患。技术实现要素：针对现有技术的不足，本发明提供一种辅助视障患者安全出行的智能感知系统和方法。一方面，本发明提供一种辅助视障患者安全出行的智能感知系统，该系统包括视觉图像传感器、雷达测距传感器、提示装置和处理装置，所述处理装置分别与所述视觉图像传感器、所述雷达测距传感器和所述提示装置电连接。所述处理装置用于：将由所述视觉图像传感器采集的当前目视图像划分为多个图像块。将划分为多个图像块的所述当前目视图像作为svm分类器的测试数据，获得指示所述当前目视图像中每个所述图像块所属类别的分类结果。根据所述分类结果确定道路信息，并将所述道路信息通过所述提示装置发送至视障患者。当所述分类结果指示至少一个所述图像块的类别为障碍物时，确定所述障碍物的方位信息。通过所述雷达测距传感器，结合所述方位信息获取所述障碍物的距离信息。通过所述提示装置将所述方位信息和所述距离信息发送至视障患者。另一方面，本发明还提供一种应用于上述系统的辅助视障患者安全出行的智能感知方法，该方法包括：步骤1，将由视觉图像传感器采集的当前目视图像划分为多个图像块。步骤2，将划分为多个图像块的所述当前目视图像作为svm分类器的测试数据，获得指示所述当前目视图像中每个所述图像块所属类别的分类结果。步骤3，根据所述分类结果确定道路信息，并将所述道路信息通过提示装置发送至视障患者。步骤4，当所述分类结果指示至少一个所述图像块的类别为障碍物时，确定所述障碍物的方位信息。步骤5，通过雷达测距传感器，结合所述方位信息获取所述障碍物的距离信息。步骤6，通过提示装置将所述方位信息和所述距离信息发送至视障患者。本发明提供的辅助视障患者安全出行的智能感知系统和方法的有益效果是，智能感知系统可作为一种由视障患者穿戴的设备，用于辅助视障患者安全出行。视觉图像传感器可采集视障患者前行方向的目视图像，处理装置在对目视图像进行分块处理后，输入事先确定的svm分类器，可获得指示目视图像中不同图像块所属类别的分类结果，其中，根据常规目视图像的情况，分割的图像块类别可为道路、障碍物或环境背景等。可通过例如填充所有属于道路类别的图像块而获得目视图像中的道路区域，并通过提示装置以音频或其他视障患者可直接感知的方式传输给视障患者，辅助其在可行走的道路区域行走，保证其安全性。与此同时，如果道路中间具有障碍物，也可通过分类结果确定障碍物的相关信息，并由雷达测距传感器获取视障患者当前与障碍物的实际距离，避免其直接撞上障碍物，进一步保证视障患者出行的安全性。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例的辅助视障患者安全出行的智能感知系统的电路连接框图；图2为本发明实施例的辅助视障患者安全出行的智能感知方法的流程示意图。具体实施方式以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。如图1所示，本发明实施例提供的一种辅助视障患者安全出行的智能感知系统包括视觉图像传感器、雷达测距传感器、提示装置和处理装置，所述处理装置分别与所述视觉图像传感器、所述雷达测距传感器和所述提示装置电连接。所述处理装置用于：将由所述视觉图像传感器采集的当前目视图像划分为多个图像块。将划分为多个图像块的所述当前目视图像作为svm分类器的测试数据，获得指示所述当前目视图像中每个所述图像块所属类别的分类结果。根据所述分类结果确定道路信息，并将所述道路信息通过所述提示装置发送至视障患者。当所述分类结果指示至少一个所述图像块的类别为障碍物时，确定所述障碍物的方位信息。通过所述雷达测距传感器，结合所述方位信息获取所述障碍物的距离信息。通过所述提示装置将所述方位信息和所述距离信息发送至视障患者。在本实施例中，智能感知系统可作为一种由视障患者穿戴的设备，用于辅助视障患者安全出行。视觉图像传感器可采集视障患者前行方向的目视图像，处理装置在对目视图像进行分块处理后，输入事先确定的svm分类器，可获得指示目视图像中不同图像块所属类别的分类结果，其中，根据常规目视图像的情况，分割的图像块类别可为道路、障碍物或环境背景等。可通过例如填充所有属于道路类别的图像块而获得目视图像中的道路区域，并通过提示装置以音频或其他视障患者可直接感知的方式传输给视障患者，辅助其在可行走的道路区域行走，保证其安全性。与此同时，如果道路中间具有障碍物，也可通过分类结果确定障碍物的相关信息，并由雷达测距传感器获取视障患者当前与障碍物的实际距离，避免其直接撞上障碍物，进一步保证视障患者出行的安全性。需要注意的是，由于不同地区的道路环境有所差别，可以将道路分为具有明显结构化特征，例如道路标志、行车线和斑马线等的城区道路，以及不具备上述明显结构化特征的乡村道路。但是，通过本实施例的智能感知系统，可以保证视障患者在上述道路环境中均能安全行走。优选地，所述处理装置还用于：将多幅样本图像分别划分为多个图像块，并根据所述图像块中像素点的特征信息对每个所述图像块赋予类别标签，其中，所述类别标签指示所述图像块的所属类别为道路或障碍物，以所述多幅样本图像的多个图像块作为svm分类模型的训练数据，经训练获得所述svm分类器。svm(supportvectormachine，支持向量机)是一种有监督的学习模型。为了更准确判别当前目视图像中各个图像块的所属类别，可事先选取例如100张相关道路环境的图像，并将每张图像分别划分成例如16*16个图像块，根据各图像块的例如颜色特征信息和纹理特征信息对每个图像块赋予类别标签，也就是事先认定其属于道路或障碍物的一种，另外，需要注意的是，由于目视图像中环境背景有时也占很大一部分，为了更准确进行区分，可以通过类别标签将图像块认定为属于道路、障碍物或背景中的一种。将具有类别标签的图像块作为svm分类模型的训练数据，可以训练获得用于对当前目视图像的图像块进行实时分类的svm分类器。颜色特征信息具有良好的尺度和旋转不变性，可采用等间隔量化的策略，将颜色空间分为例如16份，然后对图像块每个通道构建颜色直方图，直方图维数为16，每个图像块的颜色特征信息可被表示为一行特征数据。纹理特征信息，特别是lbp(局部纹理特征)信息可以很好地表示图像块的局部纹理信息，可通过计算每个图像块中各像素的lbp值，并进行直方图统计，用来描述图像的纹理特征信息。在svm分类器的训练过程中，可将图像块的颜色特征信息和纹理特征信息进行加权融合，从而可以更准确地表示图像块所属类别，有助于提高svm分类器在测试过程中的分类准确性及速率，从而保证视障患者出行的安全性和行走效率。优选地，所述处理装置具体用于：根据所述分类结果，对所述当前目视图像中类别为道路的所述图像块进行填充，并获得由类别为道路的所有所述图像块组成的区域的边界信息，将所述边界信息作为所述道路信息。获取当前目视图像中属于道路类别的图像块，并对其进行填充，从而可获得当前目视图像中的道路轮廓，也就是道路区域的边界信息，便于视障患者在可行走的道路区域安全前行。优选地，所述处理装置具体还用于：根据图像扫描规则，在所述当前目视图像中确定类别为道路的第一个所述图像块作为基准块；将所述边界信息指示的道路边界范围内的所有图像块依次与所述基准块进行对比；根据对比结果，确定与所述基准块所属类别不同的图像块为类别为障碍物的图像块，将类别为障碍物的图像块在所述当前目视图像中的坐标信息作为所述障碍物的方位信息。由于道路上可能会出现障碍物，在确定了当前目视图像中的道路区域后，也就是在边界信息指示的范围内，可以首先按例如从上到下、从左到右的图像扫描规则确定第一个道路类别的图像块，将其作为基准块，然后将边界范围内的所有图像块与之进行对比，如果二者属性相同，则同属于道路类别的图像块，如果二者属性不同，则不同者应属于障碍物类别的图像块。由于各图像块在当前目视图像上的位置是确定的，也就是具有确定的坐标，可以获取认定为障碍物类别的图像块的坐标，将其作为障碍物的方位信息。视障患者可基于此方位信息避免直接撞上障碍物。需要注意的是，由于对当前目视图像分块阶数不同，可能会导致对图像块所属类别的判断不够准确。如果道路边界范围内仅出现一个相对于整幅目视图像非常小的障碍物类别图像块，可根据实际情况不将其认定为真实障碍物，或者只有在具有标定数量的障碍物类别图像块连在一起时，才将其共同认定为真实障碍物。优选地，当出行道路上具有盲道和信号灯时，所述处理装置具体还用于：获取由所述视觉图像传感器采集的当前目视图像，从所述当前目视图像中确定盲道区域，并将所述盲道区域的指示信息通过所述提示装置发送至视障患者。当确定所述当前目视图像中出现信号灯图像时，对所述当前目视图像进行处理，获得信号灯状态，并将所述信号灯状态的指示信息通过所述提示装置发送至视障患者。如果出行道路上具有盲道和信号灯，则说明当前道路环境为城区道路，行走于此道路环境中的视障患者需要注意更多事项。视障患者通常需要沿盲道行走，处理装置可从当前目视图像中获得盲道区域，以辅助视障患者在此区域内行走。另外，在例如过马路中，需要遵照信号灯的实时状态，处理装置可从当前目视图像中获得信号灯状态，以辅助视障患者更安全出行。与此同时，由于城区道路人流可能更大，可通过雷达测距传感器实时检测在行进方向上的障碍物与视障患者间的距离，将此信息反馈至视障患者，可避免其发生不必要的碰撞。优选地，所述处理装置具体用于：将所述当前目视图像进行分块处理，采用自适应阈值分割方法对标定颜色的盲道进行区域分割，获得所述盲道区域。采用基于局部纹理特征的分割方法对所述盲道区域进行分割，确定所述盲道区域的直行部分与转弯部分，将指示所述直行部分和所述转弯部分的信息合并作为所述盲道区域的指示信息。盲道通常是深黄色的，可以基于颜色信息，采用自适应阈值分割方法从当前目视图像识别出盲道区域。同时，盲道也会随着道路的转弯而转弯，而直行盲道一般是条状，转弯处的盲道通常是圆点状或者不规则的凹凸状，也就是说直行部分和转弯部分的纹理特征是不同的，可采用基于局部纹理特征的分割方法对盲道区域进行分割，获得盲道的直行部分区域和转弯部分区域，使视障患者在盲道上行走时，可以准确判别当前是否应直行还是转弯。优选地，所述处理装置具体用于：对所述当前目视图像进行二值化处理，根据亮度值从二值化处理后的当前目视图像中确定信号灯区域。交通信号灯点亮时，其光照强度往往会大于周边环境的光照强度，在对图像进行二值化处理后，可以根据亮度信息，例如一个亮度阈值，快速确定信号灯在图像中的准确位置。可采用自适应阈值分割的二值化方法对原始的当前目视图像进行处理。具体地，对于m*n像素的图像，首先计算平均灰度值，统计整个图像中灰度值为l的像素的个数n(l)，平均灰度值为：假设前景中灰度大于阈值的像素个数为n1，所占比例为w1，前景像素的平均灰度值为u1，则:同样的方法可得到背景中灰度大于阈值的像素比例和平均灰度值为w2和u2，则可设：g＝w1*(u1-u)2+w2*(u2-u)2。当g取最大值时为最佳阈值。截取所述当前目视图像中的所述信号灯区域，获得信号灯图像。由于二值化处理后的当前目视图像与原始的当前目视图像尺寸相同，在确定了信号灯区域后，可截取获得彩色的信号灯图像。将所述信号灯图像从rgb颜色模型转换到hsi颜色模型。hsi颜色模型反映了人的视觉系统感知彩色的方式，具有更好的识别性。具体可通过如下方法将rgb颜色模型转换至hsi颜色模型。其中，r表示红色，g表示绿色，b表示蓝色，h表示色调，s表示饱和度，i表示亮度。对hsi颜色模型下的信号灯图像进行颜色分割，确定信号灯的当前点亮颜色，将所述当前点亮颜色作为所述信号灯状态的指示信息。具体地，当前目视图像可表示为：g＝g(x,y)＝[gh(x,y),gs(x,y),gi(x,y)]t。其中，g是图像函数，(x,y)是像素点坐标，gh(x,y)、gs(x,y)、gi(x,y)是hsi颜色模型空间三分量的值。在hsi颜色模型空间中，红色为0°，绿色为120°。在自然环境中，颜色存在一定变化，但是红、绿两种颜色的分布范围相对固定，可将h值和s值做扩大处理。其中红和绿两种颜色的模型可表示为：r＝{g(x,y)∈g||gh(x,y)|＜thh,gs(x,y)＞ths},其中，thh和ths分别为h和s分量所设定的阈值。局部颜色分割时，对于图像中能满足上面条件之一的像素值，则认为是红、绿颜色中的一种，否则被过滤掉。在固定的色调和饱和度区间内，可依据阈值对信号灯颜色进行分割。根据直方图统计信息，thh取值可为25°，通过调整阈值，能够实现较为理想的分割效果。表1所示为红绿两种颜色的分割阈值对应关系。表1分量红色绿色h[-20,20][100,140]s[0.3,1][0.2,1]通过hsi颜色模型可获得较好的颜色分割效果，不但可以有效保留感兴趣目标区域，同时排除了大部分背景的干扰。因此，利用hsi颜色模型中的色调信息和饱和度信息可以较准确识别信号灯的当前点亮颜色。优选地，当确定视障患者距离障碍物小于预设值时，例如城区道路小于1m及乡村道路小于2m时，或者确定当前为红灯时，均可通过提示装置发送相应的警告信息，避免对视障患者造成不必要的人身伤害。如图2所示，本发明实施例提供一种应用于上述系统的辅助视障患者安全出行的智能感知方法，该方法包括：步骤1，将由视觉图像传感器采集的当前目视图像划分为多个图像块。步骤2，将划分为多个图像块的所述当前目视图像作为svm分类器的测试数据，获得指示所述当前目视图像中每个所述图像块所属类别的分类结果。步骤3，根据所述分类结果确定道路信息，并将所述道路信息通过提示装置发送至视障患者。步骤4，当所述分类结果指示至少一个所述图像块的类别为障碍物时，确定所述障碍物的方位信息。步骤5，通过雷达测距传感器，结合所述方位信息获取所述障碍物的距离信息。步骤6，通过提示装置将所述方位信息和所述距离信息发送至视障患者。优选地，在所述步骤1之前，所述方法还包括如下步骤：将多幅样本图像分别划分为多个图像块，并根据所述图像块中像素点的特征信息对每个所述图像块赋予类别标签，其中，所述类别标签指示所述图像块的所属类别为道路或障碍物，以所述多幅样本图像的多个图像块作为svm分类模型的训练数据，经训练获得所述svm分类器。优选地，当出行道路上具有盲道和信号灯时，所述方法还包括：步骤7，获取由视觉图像传感器采集的当前目视图像，从所述当前目视图像中确定盲道区域，并将所述盲道区域的指示信息通过提示装置发送至视障患者。步骤8，当确定所述当前目视图像中出现信号灯图像时，对所述当前目视图像进行处理，获得信号灯状态，并将所述信号灯状态的指示信息通过提示装置发送至视障患者。读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12