避障提醒方法、相关装置及计算机可读存储介质与流程

本申请涉及计算机视觉技术领域，特别涉及一种避障提醒方法、相关装置及计算机可读存储介质。

背景技术

在导盲、机器人和自动驾驶等领域，随着机器人及无人驾驶技术的发展，避障提醒成为一项极为重要的技术，避障提醒技术为可自主导航机器人及路径规划机器人提供重要的技术支持。

发明人在研究现有技术过程中发现，现有有技术中的避障提醒通常只针对前方区域进行通路检测，仅反馈是否可以通行，而无法获取障碍物的具体信息，导致用户不能快速安全的绕过障碍物，对于导航等应用造成不便。

技术实现要素：

本申请部分实施例所要解决的一个技术问题在于提供一种避障提醒方法、相关装置及计算机可读存储介质，以解决上述技术问题。

本申请实施例提供了一种避障提醒方法，包括：根据获取的图像数据进行地面检测获取道路的地面信息；根据获取的地面信息进行通路检测，确定道路的通行状况；若确定道路不可通行，则对道路进行路况检测获得第一检测结果，以及对道路进行障碍物检测获得第二检测结果；根据第一检测结果和第二检测结果确定避障提醒信息。

本申请实施例还提供了一种避障提醒装置，该避障提醒装置包括：第一检测模块，用于根据获取的图像数据进行地面检测获取道路的地面信息；第二检测模块，用于根据获取的地面信息进行通路检测，确定道路的通行状况；第三检测模块，用于若确定道路不可通行，则对道路进行路况检测获得第一检测结果，以及对道路进行障碍物检测获得第二检测结果：确定模块，用于根据第一检测结果和第二检测结果确定避障提醒信息。

本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意方法实施例中涉及的避障提醒方法。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机指令，计算机指令用于使计算机执行本申请任意方法实施例中涉及的避障提醒方法。

本申请实施例相对于现有技术而言，通过获取的图像数据进行地面检测，在地面检测的基础上进行通路检测，并在确定道路不可通行的情况下通过路况检测和障碍物检测，以确定避障提醒信息，从而使用户能够快速安全的通过障碍。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请第一实施例中避障提醒方法的流程图；

图2是本申请第一实施例中像素坐标系和相机坐标系的关系图；

图3是本申请第一实施例中相机坐标系和世界坐标系的关系图；

图4是本申请第一实施例中图像数据分区的示意图；

图5是本申请第二实施例中避障提醒方法的流程图；

图6是本申请第三实施例中避障提醒装置的方框示意图；

图7是本申请第四实施例中避障提醒装置的方框示意图；

图8是本申请第五实施例中电子设备的结构实例图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请的第一实施例涉及一种避障提醒方法，该避障提醒方法的执行主体是导盲头盔或智能机器人等智能设备。该避障提醒方法的具体流程如图1所示，包括以下步骤：

在步骤101中，根据获取的图像数据进行地面检测获取道路的地面信息。

具体的说，在本实施例中，根据获取的图像数据建立道路的三维点云，并在三维点云中进行地面检测获得道路的地面信息。在实际应用中可以采用多种方式建立道路的三维点云，本实施方式并不限定建立三维点云的具体实现方式。

在一个具体实现中，获取图像数据，其中图像数据包括：深度图和相机的姿态角；根据深度图和预设的归一化尺度计算尺度归一化因子；根据该深度图和尺度归一化因子计算尺度归一化后的深度图；根据尺度归一化后的深度图构建相机坐标系下的三维点云；根据相机坐标系下的三维点云和相机的姿态角，构建世界坐标系下的三维点云。

具体地,利用公式(1)计算尺度归一化因子，公式(1)表示如下：

其中，s表示尺度归一化因子，w表示深度图的宽度，h表示深度图的高度，norm表示预设的归一化尺度。norm是预先设置的已知量，在具体应用中，如需要对连续帧的深度图进行处理建立三维点云，则对每一帧深度图的处理过程中使用的归一化尺度保持不变。

利用公式(2)计算尺度归一化后的深度图，公式(2)表示如下：

其中，ws表示尺度归一化后的深度图的宽度，hs表示尺度归一化后的深度图的高度。根据ws和hs可确定出尺度归一化后的深度图。

具体地说，根据公式(3)及归一化后的深度图构建相机坐标系下的三维点云，该相机坐标系下的三维点云表示为p(xc,yc,zc)，由于深度图中每个像素都含有相机到拍摄物体的距离值，则通过公式(3)将深度图中的像素坐标转换为相机坐标系的坐标，并构成相机坐标系下的三维点云，公式(3)表示如下：

其中，u和v是任意点p在归一化后的深度图中的坐标值，xc、yc和zc是点p在相机坐标系中的坐标值，m3×4是相机的内参矩阵，zc为点p在尺度归一化后的深度图中的深度值，也就是相机到拍摄物体的距离值，为已知量。

根据相机坐标系与世界坐标系之间的坐标转换关系，将相机坐标系中的三维点云p(xc,yc,zc)转化为世界坐标系下的三维点云p(xw,yw,zw)，该转换关系用公式(4)表示：

其中，xw、yw和zw是三维点云中任意点p在世界坐标系中的坐标值，xc、yc和zc是点p在相机坐标系下的坐标值，α是相机在世界坐标系中与xw轴的夹角，β是相机在世界坐标系中与yw轴的夹角，γ是相机在世界坐标系中与zw轴的夹角。

需要说明的是，在进行坐标系方向确定时，假设图像坐标系为o1-xy，则相机坐标系oc-xcyczc和像素坐标系o-uv的关系如图2所示，相机坐标系oc-xcyczc和世界坐标ow-xwywzw的关系如图3所示。

其中，如图2中，以深度图左上角为原点建立的以像素为单位的直角坐标系o-uv作为像素坐标系，横坐标u表示像素点所在的像素列数，纵坐标v表示像素点所在的像素行数。将相机光轴与深度图平面的交点定义为图像坐标系o1-xy的原点o1，且x轴与u轴平行，y轴与v轴平行。相机坐标系oc-xcyczc以相机光心oc为坐标原点，xc轴和yc轴分别与图像坐标系中的x轴和y轴平行，zc轴为相机的光轴，和图像平面垂直并交于o1点。

其中，如图3中，世界坐标系ow-xwywzw的原点ow与相机坐标系的原点oc重合，均为相机光心，选取水平向右为xw轴正方向，垂直向下为yw轴正方向，垂直xwowyw平面并指向正前方为zw轴正方向，建立世界坐标系。

具体的说，在三维点云中进行地面检测获得道路的地面信息的具体过程如下：检测三维点云中的地面高度，并确定地面高度上的障碍物信息，将地面高度和障碍物信息作为道路的地面信息，从而确定出道路的具体状况，并且保证了避障提醒信息的准确性。

其中，确定地面高度上的障碍物信息的具体过程为：根据地面高度确定道路的地面位置；对道路的地面位置进行障碍物检测，并根据障碍物检测结果生成地面高度上的障碍物信息。

在步骤102中，根据获取的地面信息进行通路检测，判断道路是否可通行，若确定道路不可通行，则执行步骤103至步骤106，否则执行步骤106。

具体的说，在确定道路的通行状况时，根据道路的地面信息确定预警区，并通过检测预警区的通行状况确定道路的通行状况。

在步骤103中，对道路进行路况检测获得第一检测结果。

具体的说，在确定道路不可通行的情况下，需要对道路上造成不可通行的原因进行细分，从而针对不同的不可通行的原因为用户提供详细的避障提醒信息。其中,造成不可通行的原因一般包括：道路上存在障碍物，该障碍物特指的是突出于地面，并放置在地面上的物体；另一个就是道路上存在坑洼(本申请中的坑洼是一种特殊类型的道路障碍)。

其中，通过对道路上的坑洼进行检测获得第一检测结果。具体为：根据地面高度确定道路的地面位置；对道路的地面位置进行路况检测，确定道路上的坑洼信息，并将坑洼信息作为第一检测结果；其中，坑洼信息包括：是否存在坑洼以及坑洼的位置。

在步骤104中，对道路进行障碍物检测获得第二检测结果。

具体的说，对获取的图像数据进行划分得到m×n个分区；其中，m、n均是大于1的整数；确定每个分区的障碍物的信息；根据每个分区的障碍物的信息，确定每个分区各自的预警等级；根据每个分区的预警等级，确定道路的决策建议，并将每个分区各自的预警等级和道路的决策建议作为第二检测结果。

例如，在对图像数据进行分区时，如图4所示为图像数据分区的示意图，通过划分区域对每个区域进行标记，水平方向上将图像数据划分为n份，竖直方向上将图像数据划分为m份，选择水平方向和竖直方向的划分份数表示每个分区的位置，如(1,2)、(m,n)等。

其中，确定每个分区的障碍物的信息包括：检测每个分区中的障碍物并确定出包括障碍物的分区，在该分区检测到障碍物之后计算该障碍物的几何不变矩hu(m,n)，其中，(m,n)表示的是分区的位置。当然，还可通过其他的图像处理方式获取每个分区中的障碍物的信息，如通过图像识别确定分区中的障碍物的位置和障碍物的几何特征等信息，上述仅是举例说明，不做具体限制。

其中，根据每个分区的障碍物的信息，确定每个分区各自的预警等级，包括：根据每个分区中包括的障碍物的信息，确定每个分区各自的权重；根据每个分区各自的权重确定每个分区各自的预警等级，其中，权重与预警等级成正比。权重越大则预警等级越高，表示该分区的通行可能性越低。例如：权重在0-5范围内，预警等级为一级，此时障碍物比较小，不影响通行可认为不存在障碍物；权重在6-10范围内，预警等级为二级，此时存在障碍但可以通行，行人需要注意；权重在11-15范围内，预警等级为三级，此时障碍物非常大，该道路不可通行。

其中，可以通过公式(5)计算各个分区的权重，公式(5)表示如下：

其中，hu(m,n)表示分区位置为(m,n)的待检测分区的面积，∑s(m,n)表示图像数据的全部的分区的面积；w(m,n)表示分区位置为(m,n)的分区中障碍物的权重，hu(m,n)表示分区位置为(m,n)的分区中障碍物的几何不变矩。

具体的说，根据每个分区的预警等级，确定通过道路的决策建议，具体包括：分别计算每个分区的梯度值，其中，梯度值根据分区中权重和分区的相邻分区的权重计算；确定所有分区中的最大的梯度值；根据最大的梯度值确定通过道路的决策建议，其中，决策建议包括最佳通行方向，并将最大的梯度值的方向作为决策建议中的最佳通行方向。

需要说明的是，本实施方式中在步骤102中判断道路不可通行后，可以先执行步骤103，也可以先执行步骤104，也可以同时执行步骤103和步骤104，本实施方式并不限定步骤103和步骤104的先后执行顺序。

在步骤105中，根据第一检测结果和第二检测结果确定避障提醒信息。

其中，根据获得的第一检测结果和第二检测结果进行综合分析，并根据分析结果确定出避障提醒信息。

在一个具体实现中，若通过第一检测结果确定前方存在坑洼，并通过第二检测结果确定预警等级为二级，决策建议为向右拐并前进，此时获取避障提醒信息为：前方存在坑洼和障碍物，请向右拐并前进。从而用户根据避障提醒信息快速安全的通过障碍。并且，避障提醒信息可以是语音信息或图像信息中的一种或组合信息，并根据避障提醒信息发出报警信号，从而实现对用户进行提醒并使用户根据提醒信息进行避障，本实施方式中并不限定避障提醒信息的具体形式。

在步骤106中，检测下一帧。

需要说明的是，该避障提醒方法应用于连续帧图像数据的导航设备中，因此可以对下一帧图像数据继续进行检测。

与现有技术相比，本实施方式的避障提醒方法，通过获取的图像数据进行地面检测，在地面检测的基础上进行通路检测，并在确定道路不可通行的情况下通过路况检测和障碍物检测，以确定避障提醒信息，从而使用户能够快速安全的通过障碍。

本申请的第二实施例涉及一种避障提醒方法，本实施例在第一实施例的基础上做了进一步改进，具体改进之处为：对第一实施方式中的根据获取的地面信息进行通路检测，确定道路的通行状况进行了具体描述。本实施例中的避障提醒方法的流程如图2所示。

具体的说，在本实施例中，包括步骤201至步骤207，其中步骤201与第一实施方式中的步骤101大致相同，步骤204至步骤207与第一实施方式中的步骤103至步骤106大致相同，此处不再赘述，下面主要介绍不同之处，未在本实施方式中详尽描述的技术细节，可参见第一实施例所提供的物质检测方法，此处不再赘述。

在步骤201之后，执行步骤202。

在步骤202中，根据道路的地面信息确定预警区，并通过检测预警区的通行状况确定道路的通行状况。

其中，构建预警区的空间坐标；根据地面高度确定预警区在空间坐标下的高度位置；根据障碍物信息确定预警区在空间坐标下的宽度和距离；根据地面高度调整预警区的位置；通过检测调整位置后的预警区的通行状况确定道路的通行状况；其中，通行状况包括可通行和不可通行。

需要说明的是，确定预警区是基于世界坐标系下的三维点云确定的，具体为，以世界坐标系中的ywowzw平面为对称平面，以zw轴的正方向构建预警区三维的空间区域，该三维的空间区域即为预警区，预警区的空间区域表示为vbox(x,y,z)，其中x、y、z分别表示预警区的宽度、高度和距离，预警区的距离通过使用者的速度确定，预警区的宽度和高度根据根据使用者的外形确定，且该预警区不小于保证使用者可以通过的最小空间。

其中，道路并不是平坦的路面，地面信息中包括地面高度，如根据地面高度，可以将道路分为上坡路段、下坡路段和平坦路段。因此，在确定出预警区之后，还需要根据地面高度调整预警区的位置。

在一个具体实现中，根据自适应的地面检测方法确定实时的地面高度，或者根据三维点云中表明道路信息的点云数据确定出实时地面高度，根据地面高度的变化动态的调整预警区的位置，调整之后能够保证预警区正好位于地面的正上方，这样，不仅能效避免地面干扰，而且不会遗漏低矮通行障碍。具体的，调整预警区可通过公式(6)确定，具体表示如下：

vbox1＝vbox(x,h+y+σ,z)(6)

其中，h表示实时的地面高度，σ表示动态调整余量，vbox1表示调整后的预警区，x、y、z分别表示预警区的宽度、高度和距离。

具体的说，可根据道路的障碍物信息对调整位置后的预警区的通行状况进行检测，通行状况包括可通行和不可通行，同时还包括可通行区域的位置以及通行区域的宽度和高度等信息。通过预警区的通行状况可以确定出当前道路的通行状况。

在步骤203中，判断道路是否可通行，若确定不可通行，执行步骤204至步骤207，否则执行步骤207。

在步骤204中，对道路进行路况检测获得第一检测结果。

在步骤205中，对道路进行障碍物检测获得第二检测结果。

需要说明的是，本实施方式中在步骤203中判断道路不可通行后，可以先执行步骤204，也可以先执行步骤205，也可以同时执行步骤204和步骤205，本实施方式并不限定步骤204和步骤205的先后执行顺序。

在步骤206中，根据第一检测结果和第二检测结果确定避障提醒信息。

在步骤207中，检测下一帧。

本申请的第三实施方式涉及一种避障提醒装置，具体结构如图6所示。

如图6所示，避障提醒装置包括第一获取模块601，判断模块602，第二获取模块603，第三获取模块604，确定模块605和检测模块606。

其中，第一获取模块601，用于根据获取的图像数据进行地面检测获取道路的地面信息。

判断模块602，用于根据获取的地面信息进行通路检测，判断道路是否可通行，若确定道路不可通行，则执行第二获取模块603，否则执行检测模块606。

第二获取模块603，用于对道路进行路况检测获得第一检测结果。

第三获取模块604，用于对道路进行障碍物检测获得第二检测结果。

确定模块605，用于根据第一检测结果和第二检测结果确定避障提醒信息。

检测模块606，用于检测下一帧。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本申请的第四实施例涉及一种避障提醒装置，该实施方式在第三实施方式大致相同，具体结构如图7所示。其中，主要改进之处在于：第四实施方式对第三实施方式中的判断模块602的结构进行了具体描述。

其中，判断模块602包括确定子模块6021和判断子模块6022

确定子模块6021，用于根据道路的地面信息确定预警区，并通过检测所述预警区的通行状况确定所述道路的通行状况。

判断子模块6022，用于判断道路是否可通行。

不难发现，本实施方式为与第二实施方式相对应的装置实施例，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

以上所描述的装置实施例仅仅是示意性的，并不对本申请的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的，此处不做限制。

本申请的第五实施例涉及一种电子设备，具体结构如图8所示。包括至少一个处理器701；以及，与至少一个处理器701通信连接的存储器702。其中，存储器702存储有可被至少一个处理器701执行的指令，指令被至少一个处理器701执行，以使至少一个处理器701能够执行避障提醒方法。

本实施例中，处理器701以中央处理器(centralprocessingunit，cpu)为例，存储器702以可读写存储器(randomaccessmemory，ram)为例。处理器701、存储器702可以通过总线或者其他方式连接，图7中以通过总线连接为例。存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现环境信息确定方法的程序就存储于存储器702中。处理器701通过运行存储在存储器702中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述避障提醒方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个程序模块存储在存储器702中，当被一个或者多个处理器701执行时，执行上述任意方法实施例中的物质检测方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请的第八实施例涉及一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现本申请任意方法实施例中涉及的避障提醒方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。