一种基于计算机视觉的盲人导航方法、装置及系统与流程

本发明涉及计算机视觉技术领域，尤其涉及一种基于计算机视觉的盲人导航方法、基于计算机视觉的盲人导航装置及包括该基于计算机视觉的盲人导航装置的基于计算机视觉的盲人导航系统。

背景技术：

近年来，随着硬件计算速度的提高，深度学习算法迅速发展，在计算机视觉领域得到了广泛的运用，比如人脸识别、物体检测、物体追踪等任务。在这些任务中，无论是精度还是速度都超过了传统机器学习方法，科技人员不断寻找应用场景，试图将这些算法应用到实际产品中。即时定位与地图构建(Simultaneous Localization and Mapping--SLAM)技术，可以同时解决精确定位和地图重建问题。定位是一种精确的定位，包含机器位置、朝向、高度，地图重建可以恢复出检测到的特征点在世界三维坐标中的位置。

当前，已经有大量的研究工作致力于针对盲人视力障碍导致的出行不便的问题，如何设计一个可方便使用的导航设备，能够为盲人提供避障的提示，并可监视盲人出行，使盲人能够安全、方便的出行。现有的方法都是使用多传感器来满足这样的需求，使用GPS来对盲人进行定位，使用激光测距仪、超声波测距仪等传感器来对障碍物进行测距，使用摄像头来识别传感器的类别。这样一种多传感器的设计增加了制造成本，多个设备的融合不方便用户携带，给用户的使用造成了困难，不利于这种导航技术的普及。

因此，如何提供一种便于盲人使用且成本低的盲人导航方法成为本领域技术人员亟待解决的技术问题。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种基于计算机视觉的盲人导航方法、基于计算机视觉的盲人导航装置及包括该基于计算机视觉的盲人导航装置的基于计算机视觉的盲人导航系统，以解决现有技术中的问题。

作为本发明的第一个方面，提供一种基于计算机视觉的盲人导航方法，其中，所述基于计算机视觉的盲人导航方法包括：

通过摄像头实时获取周围环境的图像数据，所述图像数据包括连续的多帧图像；

将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息；

将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹；

根据所述用户行走的轨迹以及结合用户的目的地判断用户是否偏离行走路线，以及根据所述物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。

优选地，所述将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息包括：

将所述图像数据通过定位与地图构建算法进行处理得到所述摄像头位姿；

将所述图像数据通过深度学习Focal Loss算法进行处理得到所述图像数据中的物体的类别和物体在所述图像数据中的位置；

将所述图像数据通过深度学习FCRN算法对所述图像数据的深度进行处理，得到所述图像数据中每一个像素的深度信息。

优选地，所述定位与地图构建算法包括基于ORB特征提取的同时定位与地图构建算法。

优选地，所述将所述图像数据通过定位与地图构建算法进行处理得到所述摄像头位姿包括：

对每一帧图像提取ORB特征点；

将前后连续的两帧图像进行ORB特征点匹配；

判断前后连续的两帧图像的ORB特征点的匹配数量是否超过预设匹配阈值；

若超过预设匹配阈值，则通过匹配的所述ORB特征点分别计算基础矩阵F和单应矩阵H；

根据所述基础矩阵F和单应矩阵H以及选取准则选取计算矩阵；

根据所述计算矩阵计算所述摄像头的位姿，其中，所述摄像头的位姿包括旋转矩阵R和平移向量t。

优选地，所述ORB特征点包括FAST角点和BRIEF描述子，所述对每一帧图像提取ORB特征点包括：

FAST角点提取，找出每一帧图像中的“角点”；

BRIEF描述子，对每个所述“角点”计算描述子。

优选地，所述将所述图像数据通过深度学习Focal Loss算法进行处理得到所述图像数据中的物体的类别和物体在所述图像数据中的位置包括：

检测每一帧图像中的行人和物体；

使用长方形方框将所述物体框出；

输出检测到的每个所述物体的类别和与该物体对应的长方形方框的四个顶点在图像中的坐标。

优选地，所述深度学习FCRN算法包括基于深度学习的全卷积残差网络算法，根据所述基于深度学习的全卷积残差网络算法对图像中的像素深度进行预先训练，并标注所述图片中的像素深度信息。

优选地，所述将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹包括：

根据所述摄像头位姿计算用户经过的每个点在三维坐标系中的位置；

将三维坐标系中的所有位置点连接得到用户行走的轨迹；

根据所述摄像头位姿以及所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息计算得到每个物体在所述三维坐标系中的位置。

作为本发明的第二个方面，提供一种基于计算机视觉的盲人导航装置，其中，所述基于计算机视觉的盲人导航装置包括：

获取模块，所述获取模块用于通过摄像头实时获取周围环境的图像数据，所述图像数据包括连续的多帧图像；

算法处理模块，所述算法处理模块用于将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息；

信息整合模块，所述信息整合模块用于将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹；

导航与提示模块，所述导航与提示模块用于根据所述用户行走的轨迹以及结合用户的目的地判断用户是否偏离行走路线，以及根据所述物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。

作为本发明的第三个方面，提供一种基于计算机视觉的盲人导航系统，其中，所述基于计算机视觉的盲人导航系统包括：设置有摄像头的移动设备和前文所述的基于计算机视觉的盲人导航装置，所述基于计算机视觉的盲人导航装置设置在所述移动设备上，所述基于计算机视觉的盲人导航装置能够通过所述摄像头获取周围环境的图像数据，并对所述图像数据进行处理后得到导航信息以及障碍物提示信息。

本发明提供的基于计算机视觉的盲人导航方法，通过只使用人们在日常生活中经常使用的手机摄像头来实现盲人导航的功能，该方法与传统方法不同，只使用摄像头提供的视觉信息，不需要使用多个传感器来获取信息，通过充分挖掘图像信息，依据这些信息可以对用户当前的位置进行确定，并判断环境周围有哪些物体对用户的行走造成了障碍，解决了“我在哪”，“我看到了什么”以及“它离我多远”的问题，从而可以对盲人进行有效导航，记录其行走路线，检测前行路上的障碍并及时提醒进行躲避，因此，本发明提供的基于计算机视觉的盲人导航方法能够便于盲人使用且成本低。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明提供的基于计算机视觉的盲人导航方法的流程图。

图2为本发明提供的FAST特征点示意图。

图3为本发明提供的Focal Loss的深度学习网络结构。

图4为本发明提供的FCRN的深度学习网络结构。

图5为本发明提供的盲人导航方法的具体实施方式框架示意图。

图6为本发明提供的基于计算机视觉的盲人导航装置的结构示意图。

图7为本发明提供的基于计算机视觉的盲人导航系统的结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

作为本发明的第一个方面，提供一种基于计算机视觉的盲人导航方法，其中，如图1所示，所述基于计算机视觉的盲人导航方法包括：

S110、通过摄像头实时获取周围环境的图像数据，所述图像数据包括连续的多帧图像；

S120、将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息；

S130、将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹；

S140、根据所述用户行走的轨迹以及结合用户的目的地判断用户是否偏离行走路线，以及根据所述物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。

本发明提供的基于计算机视觉的盲人导航方法，通过只使用人们在日常生活中经常使用的手机摄像头来实现盲人导航的功能，该方法与传统方法不同，只使用摄像头提供的视觉信息，不需要使用多个传感器来获取信息，通过充分挖掘图像信息，依据这些信息可以对用户当前的位置进行确定，并判断环境周围有哪些物体对用户的行走造成了障碍，解决了“我在哪”，“我看到了什么”以及“它离我多远”的问题，从而可以对盲人进行有效导航，记录其行走路线，检测前行路上的障碍并及时提醒进行躲避，因此，本发明提供的基于计算机视觉的盲人导航方法能够便于盲人使用且成本低。

作为具体地实施方式，所述将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息包括：

将所述图像数据通过定位与地图构建算法进行处理得到所述摄像头位姿；

将所述图像数据通过深度学习Focal Loss算法进行处理得到所述图像数据中的物体的类别和物体在所述图像数据中的位置；

将所述图像数据通过深度学习FCRN算法对所述图像数据的深度进行处理，得到所述图像数据中每一个像素的深度信息。

优选地，所述定位与地图构建算法包括基于ORB特征提取的同时定位与地图构建算法。

进一步具体地，所述将所述图像数据通过定位与地图构建算法进行处理得到所述摄像头位姿包括：

对每一帧图像提取ORB特征点；

将前后连续的两帧图像进行ORB特征点匹配；

判断前后连续的两帧图像的ORB特征点的匹配数量是否超过预设匹配阈值；

若超过预设匹配阈值，则通过匹配的所述ORB特征点分别计算基础矩阵F和单应矩阵H；

根据所述基础矩阵F和单应矩阵H以及选取准则选取计算矩阵；

根据所述计算矩阵计算所述摄像头的位姿，其中，所述摄像头的位姿包括旋转矩阵R和平移向量t。

需要说明的是，所述基于ORB特征提取的同时定位与地图构建算法通过输入摄像头拍摄的图像序列，在每一帧图像中提取ORB特征点，对前后两帧图像进行特征点匹配，当匹配的数量超过设定的阈值时，使用特征点对分别计算基础矩阵F和单应矩阵H。根据一定的准则选取合适的矩阵，并由此矩阵计算相机的位姿，得到旋转矩阵R(3*3的矩阵)和平移向量t(3维的向量)。

进一步具体地，所述ORB特征点包括FAST角点和BRIEF描述子，所述对每一帧图像提取ORB特征点包括：

FAST角点提取，找出每一帧图像中的“角点”；

BRIEF描述子，对每个所述“角点”计算描述子。

需要说明的是，ORB特征点由关键点和描述子两部分组成，它的关键点称为“Oriented FAST”，是一种改进的FAST(Features From Accelerated Segment Test)角点，它的描述子称为BRIEF(Binary Robust Independent Elementary Feature)。因此，提取ORB特征分为如下两个步骤：

1)FAST角点提取：找出图像中的“角点”。

2)BRIEF描述子：对前一步提取出特征点的周围图像区域进行描述。

FAST是一种角点，主要检测局部像素灰度变化明显的地方，以速度快据称。FAST角点指的是如果一个像素与邻域的像素差别较大(过亮或过暗)，那么它更可能是角点，结合图2所示，它的检测过程如下：

1)在图像中选取像素p，假设它的亮度为Ip。

2)设置一个亮度阈值T(比如，Ip的20％)。

3)以像素p为中心，选取半径为3的圆上的16个像素点。

4)假如选取的圆上有连续的N个点的亮度大于Ip+T或小于Ip-T，那么像素p可以被认为是特征点(N通常取12，即为FAST-12)。

5)循环以上四步，对每一个像素执行相同的操作。

在FAST-12算法中，为了更高效，增加一项预测试操作，以快速地排除绝大多数不是角点的像素。具体地，对于每个像素直接检测邻域圆上的第1，5，9，13个像素的亮度。只有当这4个像素中有3个同时大于Ip+T或小于Ip-T时，当前像素才可能是一个角点，否则应该直接删除。通过这种预测试操作大大加速了角点的检测。

为了实现对图像提取固定数量的特征，以指定最终要提取的角点数量N，对原始FAST角点分别计算Harris响应值，然后选取前N个具有最大响应值的角点作为最终的角点集合。

在提取Oriented FAST关键点后，对每个点计算其描述子。ORB使用改进的BRIEF特征描述。BRIEF是一种二进制的描述子，其描述向量由许多个0和1组成，这里的0和1编码了关键点附近的两个像素(比如m和n)的大小关系；如果m比n大，则取1，反之就取0。如果我们取了128个这样的m、n，最后就得到128维由0、1组成的向量。BRIEF使用了随机选点的比较，速度非常快。而且由于使用了二进制表达，存储起来也十分方便，适用于实时的图像匹配。原始的BRIEF描述子不具有旋转不变性，因此在图像发生旋转时容易丢失。而ORB在FAST特征点提取阶段计算了关键点的方向，所以可以利用方向信息，计算了旋转之后的“Steer BRIEF”特征使ORB的描述子具有较好的旋转不变性。由于考虑到了旋转和缩放，使得ORB在平移、旋转和缩放的变换下仍有良好的表现。同时，FAST和BRIEF的组合也非常高效，使得ORB_SLAM能够达到实时的效果。

具体地，所述将所述图像数据通过深度学习Focal Loss算法进行处理得到所述图像数据中的物体的类别和物体在所述图像数据中的位置包括：

检测每一帧图像中的行人和物体；

使用长方形方框将所述物体框出；

输出检测到的每个所述物体的类别和与该物体对应的长方形方框的四个顶点在图像中的坐标。

当障碍物距离用户过近时，需要提醒用户注意安全，躲避障碍物，所以需要判断物体距离用户多远。通过本发明提供的基于计算机视觉的盲人导航方法，使用现有的深度学习方法，来检测摄像头拍摄到的物体，并对该物体的距离进行估计。

为了解决检测物体的问题，在本发明中使用现有的基于深度学习的焦点损失(Focal Loss)方法，输入摄像头拍摄的每一帧图像，该算法可以检测出该图片中出现的行人、汽车等物体，同时用一个长方形方框将该物体框出，输出检测到的每个物体的类别和对应的长方形方框的四个顶点在图像中的坐标。

关于Focal Loss的深度学习网络结构如图3所示，该网络结构需要预先训练，训练时需要标注的信息包括图片中每个物体的类别和框住物体的长方形方框表示物体在图片中的位置。

具体地，所述深度学习FCRN算法包括基于深度学习的全卷积残差网络算法，根据所述基于深度学习的全卷积残差网络算法对图像中的像素深度进行预先训练，并标注所述图片中的像素深度信息。

为了解决估计图像中物体深度的问题，在本发明中使用现有的基于深度学习的全卷积残差网络(Fully Convolutional Residual Networks--FCRN)方法。输入摄像头拍摄的每一帧图像，该算法可以对图像中每一个像素的深度进行求解，最后输出图像中每个像素的深度信息。

FCRN的深度学习网络结构如图4所示。该网络结构需要预先训练，训练时需要标注的信息是图片中每个像素的深度，像素的颜色越红表示该像素的深度越深。

具体地，所述将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹包括：

根据所述摄像头位姿计算用户经过的每个点在三维坐标系中的位置；

将三维坐标系中的所有位置点连接得到用户行走的轨迹；

根据所述摄像头位姿以及所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息计算得到每个物体在所述三维坐标系中的位置。

将用户行走轨迹、检测到的物体映射到世界三维坐标系。为了记录用户的轨迹，需要将用户到达的点都映射到世界三维坐标系，为了得到物体对于用户的方向、距离，同样的也需要将检测到的物体映射世界三维坐标系。

具体地，需要输入摄像头位姿3*3的矩阵R、3维向量t和得到的每一帧图像中检测到的物体的类别和其位置信息以及图像中每个像素的深度信息，最终输出用户的行走轨迹和过程中检测到的每个物体的坐标。

为了描述用户的行走轨迹，定义用户初始位置为(0，0，0)，用户行走过程中，针对相机每一帧的图像可以通过ORB_SLAM2得到相机的位姿R和t，通过用负的R的转置矩阵乘以t，即-R.transpose*t，就能得到当前用户在三维坐标系中的位置，将所有用户经过的位置连成线即可得到用户的行走轨迹。

在带有检测物体信息的图像中，可以得到检测到的物体类别和一个表示物体在图像中位置的长方形方框。方框中的每个像素在图像中的坐标为[u，v]，在二维向量[u，v]末尾添加一个数字1，变为三位向量，从而将像素坐标转换为齐次坐标[u，v，1]，记为Puv，并记该点在世界坐标系下的坐标为Pw。在带有深度信息的图像中，可以得到每个像素对应的深度值为Z。在针孔相机模型中，有公式Z*Puv＝K*(R*Pw+t)，其中K为已知的、固定的手机摄像头内参(摄像头内参是摄像头自身特性相关的参数，比如摄像头的焦距、像素大小等，摄像头的内参在出厂之后是固定的)。通过该公式，就可以通过计算得到Pw，从而可将该像素点映射到三位坐标系。将同一个框中所有像素点映射到世界三维坐标系，然后取平均值则可得到该物体在三维坐标系中的坐标位置。将所有检测到的物体都映射到三维坐标系下，则可得到用户周围的环境信息，从而可以给用户实时的避障提醒。

因此，结合图5所示，本发明提供的基于计算机视觉的盲人导航方法的具体工作过程可以概括如下：

第一步：获取数据，例如可以通过手机摄像头，得到拍摄到的图像序列，并将该图像序列分别输入给三个独立的算法。

第二步：执行算法，得到图像数据之后，三个算法分别进行计算。同时定位与地图构建方法-ORB_SLAM2从图像序列中实时估计相机位姿，得到相机旋转矩阵R(3*3的矩阵)和平移向量t(3维的向量)。使用现有的深度学习Focal Loss算法检测每一帧中出现的物体，输出物体的类别和物体在图像中的位置。使用现有的深度学习FCRN算法对图像深度进行估计，输出图像中每一个像素估计的深度信息。

第三步：整合信息，首先，根据第二步中得到的相机位姿R和t，可以根据公式-R.transpose*t计算出用户经过的每个点在世界三维坐标系中的位置，将所有的位置点连接，即可得到用户行走的轨迹。然后，根据第二步中得到的相机位姿R、t，图像中检测到的物体及其位置和每个像素估计的深度信息，结合公式Z*Puv＝K*(R*Pw+t)，即可得到每个物体在三维坐标系中的位置。

第四步：利用信息，得到用户行走的轨迹，根据用户想要到达的目的，我们可以判断用户有没有偏离行走路线，根据当前的位置和目的地，对其进行导航。得到用户周围的环境信息，可以及时提醒他躲避障碍物。比如，如果用户周围3米范围内有行人、20米范围内有汽车，则告诉他该行人、汽车的方向和距离，提醒他注意躲避。在这一步，可以根据盲人使用过程中切实的需求，增加功能，比如可以使用语音提醒功能，可以给用户推荐躲避障碍物时行走的路线等等。

因此，本发明提供的基于计算机视觉的盲人导航方法，首先利用同时定位与地图构建技术估计摄像头位姿，然后利用深度学习算法对行人、汽车等物体进行检测以及估计图像深度信息，最后结合相机姿态和深度信息将各个检测的物体映射到三维坐标，因此，只需使用摄像头就可以完整实现导航功能，从而可以做成应用软件装在手机上方便用户使用。不依赖于其他传感器，使用成本低，便于推广。

作为本发明的第二个方面，提供一种基于计算机视觉的盲人导航装置，其中，如图6所示，所述基于计算机视觉的盲人导航装置10包括：

获取模块110，所述获取模块110用于通过摄像头实时获取周围环境的图像数据，所述图像数据包括连续的多帧图像；

算法处理模块120，所述算法处理模块120用于将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息；

信息整合模块130，所述信息整合模块130用于将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹；

导航与提示模块140，所述导航与提示模块140用于根据所述用户行走的轨迹以及结合用户的目的地判断用户是否偏离行走路线，以及根据所述物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。

本发明提供的基于计算机视觉的盲人导航装置，通过只使用人们在日常生活中经常使用的手机摄像头来实现盲人导航的功能，该方法与传统方法不同，只使用摄像头提供的视觉信息，不需要使用多个传感器来获取信息，通过充分挖掘图像信息，依据这些信息可以对用户当前的位置进行确定，并判断环境周围有哪些物体对用户的行走造成了障碍，解决了“我在哪”，“我看到了什么”以及“它离我多远”的问题，从而可以对盲人进行有效导航，记录其行走路线，检测前行路上的障碍并及时提醒进行躲避，因此，本发明提供的基于计算机视觉的盲人导航装置能够便于盲人使用且成本低。

关于本发明提供的基于计算机视觉的盲人导航装置的工作原理及其工作过程可以参照前文的基于计算机视觉的盲人导航方法的描述，此处不再赘述。

作为本发明的第三个方面，提供一种基于计算机视觉的盲人导航系统，其中，如图7所示，所述基于计算机视觉的盲人导航系统1包括：设置有摄像头的移动设备20和前文所述的基于计算机视觉的盲人导航装置10，所述基于计算机视觉的盲人导航装置设置10在所述移动设备20上，所述基于计算机视觉的盲人导航装置10能够通过所述摄像头获取周围环境的图像数据，并对所述图像数据进行处理后得到导航信息以及障碍物提示信息。

本发明提供的基于计算机视觉的盲人导航系统，通过只使用人们在日常生活中经常使用的手机摄像头来实现盲人导航的功能，该方法与传统方法不同，只使用摄像头提供的视觉信息，不需要使用多个传感器来获取信息，通过充分挖掘图像信息，依据这些信息可以对用户当前的位置进行确定，并判断环境周围有哪些物体对用户的行走造成了障碍，解决了“我在哪”，“我看到了什么”以及“它离我多远”的问题，从而可以对盲人进行有效导航，记录其行走路线，检测前行路上的障碍并及时提醒进行躲避，因此，本发明提供的基于计算机视觉的盲人导航系统能够便于盲人使用且成本低。

关于本发明提供的基于计算机视觉的盲人导航系统的工作原理及其工作过程可以参照前文的基于计算机视觉的盲人导航方法的描述，此处不再赘述。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。