一种自动送货方法及装置与流程

本发明涉及计算机视觉技术领域，特别是涉及一种自动送货方法及装置。

背景技术：

目前，物联网技术发展迅速，已经普遍贯穿于人们的生活中。每当过年过节抑或是平时，快递公司都有大量的货物要送到客户手中。这需要耗费大量的人力物力，同时，工作任务重对快递员来说存在着极大的工作压力和安全隐患。在无人机、机器人等产品技术飞速发展的今天，为了解决这一问题，提出利用机器人或是无人飞机代替人工送货的构思，这一构思已经有应用。但是，由于技术有限，并不能解决现实生活存在的全自动智能导航的问题，使得现有的机器人送货存在定位不精确、送货路径长、送货时间长等不足。

目前，移动机器人自助导航有多种导航方式，主要有里程计、视觉导航、陀螺仪或者捷联惯导、超声波传感器导航、激光雷达导航等。但是他们都存在着这样或那样的不足，如里程计和陀螺仪导航方式存在累积误差问题，激光测距雷达和超声波传感器需要较多的参照物且设备昂贵，视觉导航存在光线干扰导致可靠性低的问题。

技术实现要素：

本发明的目的是提供一种自动送货方法及装置，以解决现有送货技术定位不准确、路径规划差、送货出错率高、送货时间长的问题。

为解决上述技术问题，本发明提供一种自动送货方法，包括：

预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图；

接收送货请求，获取货物运送目的地信息；

利用所述送货区域地图进行路径规划，生成从运输点到目的地的路径信息；

在运送过程中，采用双目视觉实时进行障碍物检测，动态修正运输路径，以避开检测到的障碍物，直到到达所述目的地。

可选地，所述预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图包括：

利用双目视觉系统扫描送货区域环境信息，其中，左摄像机采集到的图像为左图像，右摄像机采集到的图像为右图像；

将所述左图像以及所述右图像进行立体匹配，得到两幅图像之间的像素同名点；

对前后帧图像进行像素点的光度匹配，计算前后两幅图像之间的转换关系；

构建送货区域地图，所述送货区域地图包含障碍物的三维坐标、障碍物与机器人之间的距离信息。

可选地，所述将所述左图像以及所述右图像进行立体匹配，得到两幅图像之间的像素同名点包括：

计算所述左图像以及所述右图像像素点之间的匹配代价函数；

在代价空间中选择匹配代价小对应的点作为匹配点对，进行立体匹配，得到两幅图像之间的像素同名点。

可选地，在所述对前后帧图像进行像素点的光度匹配，计算前后两幅图像之间的转换关系之前还包括：

对采集到的所述左图像以及所述右图像进行极线校正。

可选地，所述对采集到的所述左图像以及所述右图像进行极线校正包括：

通过旋转变换，以使所述左图像以及所述右图像平行；

对所述左图像以及所述右图像中的极线进行对齐操作，生成校正后的图像。

可选地，所述构建送货区域地图包括：

利用视差原理，根据所述左图像以及所述右图像生成图像的三维坐标；

采用距离变换，将局部障碍物地图映射到安全距离空间，得到距离矩阵。

可选地，所述利用所述送货区域地图进行路径规划，生成从运输点到目的地的路径信息包括：

在所述距离矩阵中定位惩罚函数，利用a*算法进行搜索，生成从运输点到目的地的安全路径。

可选地，还包括：

送达目的地后，采用人脸识别的方式判断当前接收货物的用户是否为预设的收件人；如果是，则卸载货物；如果否，则拒绝卸载货物。

可选地，还包括：

在货物运输完毕后，按照原来行驶的路径返回或者识别当前路况重新进行路线规划返回。

本发明还提供了一种自动送货装置，包括：

地图构建模块，用于预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图；

请求接收模块，用于接收送货请求，获取货物运送目的地信息；

路径规划模块，用于利用所述送货区域地图进行路径规划，生成从运输点到目的地的路径信息；

实时避障模块，用于在运送过程中，采用双目视觉实时进行障碍物检测，动态修正运输路径，以避开检测到的障碍物，直到到达所述目的地。

本发明所提供的自动送货方法及装置，通过预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图；接收送货请求，获取货物运送目的地信息；利用送货区域地图进行路径规划，生成从运输点到目的地的路径信息；在运送过程中，采用双目视觉实时进行障碍物检测，动态修正运输路径，以避开检测到的障碍物，直到到达目的地。本申请通过实时构建地图，能够获取最优路径，使得送货机器人或者无人机能够灵活应对各种场景，采取最优行动方案，缩短了送货时间；并且本申请实现了机器人的实时定位，定位准确，精度高。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的自动送货方法的一种具体实施方式的流程图；

图2为本发明实施例中构建送货区域地图的过程示意图；

图3为本发明所提供的自动送货方法的另一种具体实施方式的示意图；

图4为原始立体图像对i0、i1与平面c的位置关系图；

图5为两幅图像旋转后的平行视图；

图6为生成校正图像的过程示意图；

图7为本发明实施例提供的自动送货装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的自动送货方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤s101：预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图；

利用双目视觉和视觉slam(即时定位和地图构建)技术扫描送货区域的环境和楼宇，建立送货区域的局部地图，实现机器人实时定位。

作为一种具体实施方式，参照图2，本步骤中预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图的过程可以具体包括：

步骤s1011：利用双目视觉系统扫描送货区域环境信息，其中，左摄像机采集到的图像为左图像，右摄像机采集到的图像为右图像；

步骤s1012：将所述左图像以及所述右图像进行立体匹配，得到两幅图像之间的像素同名点；

其中，进行立体匹配的过程可以具体为：计算所述左图像以及所述右图像像素点之间的匹配代价函数；在代价空间中选择匹配代价小对应的点作为匹配点对，进行立体匹配，得到两幅图像之间的像素同名点。

步骤s1013：对前后帧图像进行像素点的光度匹配，计算前后两幅图像之间的转换关系；

步骤s1014：构建送货区域地图，所述送货区域地图包含障碍物的三维坐标、障碍物与机器人之间的距离信息。

进一步地，在所述对前后帧图像进行像素点的光度匹配，计算前后两幅图像之间的转换关系之前还包括：对采集到的所述左图像以及所述右图像进行极线校正。

进行极线校正的过程可以具体包括：通过旋转变换，以使所述左图像以及所述右图像平行；对所述左图像以及所述右图像中的极线进行对齐操作，生成校正后的图像。

步骤s102：接收送货请求，获取货物运送目的地信息；

具体地，快递员或者用户使用app下单，机器人在运输点扫码开箱，装载货物。用户指定目的地(门牌号)，启动机器人运输。机器人接收到送货请求，并从中提取出目的地信息。

步骤s103：利用所述送货区域地图进行路径规划，生成从运输点到目的地的路径信息；

移动机器人可利用送货区域地图进行路径规划，从运输点自主运送货物到目的地(业主门口)。具体为：根据机器人的运动模型(可以实现什么样的运动，不能实现什么样的运动)，在map_dist中定义惩罚函数f，即代价函数，利用a*算法进行搜索，生成从运输点到目的地的安全路径。

步骤s104：在运送过程中，采用双目视觉实时进行障碍物检测，动态修正运输路径，以避开检测到的障碍物，直到到达所述目的地。

机器人在运动过程中，利用双目视觉实时进行障碍物检测，动态修正运输路径，自主避开障碍物。

具体可以设置障碍物安全指标t，如果检测到机器人与障碍物之间的距离z≤t，那么，该障碍物将对机器人的运动造成威胁，此时，机器人需要另外找一条最佳安全路径行走。

最佳安全路径定义为：

该路径方向与机器人当前时刻的前一段时间长度内的运动方向不能相反；

该路径上检测到的障碍物与机器人之间的距离z＞t；

该路径是到终点的最短路径。

本发明所提供的自动送货方法，通过预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图；接收送货请求，获取货物运送目的地信息；利用送货区域地图进行路径规划，生成从运输点到目的地的路径信息；在运送过程中，采用双目视觉实时进行障碍物检测，动态修正运输路径，以避开检测到的障碍物，直到到达目的地。本申请通过实时构建地图，能够获取最优路径，使得机器人能够灵活应对各种场景，采取最优行动方案，缩短了送货时间；并且本申请实现了机器人的实时定位，定位准确，精度高。

在上述任一实施例的基础上，本发明所提供的自动送货方法还可以进一步包括：送达目的地后，采用人脸识别的方式判断当前接收货物的用户是否为预设的收件人；如果是，则卸载货物；如果否，则拒绝卸载货物。

本发明实施例采用人脸签收技术，能够提高了货物的安全性，进一步降低了送货的出错率。

此外，进一步地，本发明实施例还可以包括：在货物运输完毕后，按照原来行驶的路径返回或者识别当前路况重新进行路线规划返回。

以送货区域为小区为例，参照图3，下面结合实施场景对本发明所提供的自动送货方法进行进一步详细阐述。

步骤s201：构建小区局部地图。

利用双目视觉和视觉slam(即时定位和地图构建)技术扫描小区环境和楼宇，建立小区局部地图，实现机器人实时定位。

该过程可以具体包括：

步骤s2011：利用双目视觉系统扫描小区环境和楼宇。由左摄像头拍摄得到的图像称为左图像，由右摄像头拍摄得到的图像称为右图像。

步骤s2012：将左、右图像进行立体匹配：左、右图像进行立体匹配，得到两幅图像之间的像素同名点，用于计算稠密深度图。

计算像素点之间的匹配代价函数：图像中任意点(i，j)在视差估计为d的匹配代价定义为：

cost(i，j，d)＝|ileft(i，j)-iright(i，j)|

其中，ilefi(i，j)、iright(i，j)分别为左图像点(i，j)和右图像点(i，j)的像素值。

在代价空间c＝{cost(i,j,d)}中选择匹配代价小对应的点作为匹配点对。

步骤s2013：前后帧匹配：前后帧之间根据运动假设，进行像素点的光度匹配，得到匹配点对后，我们就可以计算前后两个图像间的转换关系。求图像之间的转换关系归结为求图像坐标系之间的旋转和平移关系，即求旋转矩阵r和平移矩阵t，也就是相机位姿(r，t)。根据重投影误差求相机位姿(r，t)的问题，是一个非线性最小二乘问题，进一步的描述为：优化光学残差，然后计算位姿。

利用高斯牛顿法求解光学残差最小二乘问题，具体如下：

目标函数：

计算相机位姿残差残差：

其中，xl，ij、xr，ij分别为由从左图像ileft投影到右图像iright的位置和该点在右图像iright的真实位置。

牛顿迭代估计像素投影位置：

其中，x^(k)表示第k次迭代估计出的像素的位置，h为函数f(x)的黑森矩阵，为f(x)的梯度它们的数学表达式如下：

迭代直至收敛，即可得到优化后的相机位姿(r^*，t^*)。由此，记得到优化后的左右图像坐标系的转换关系，即：ileft＝r^*×t^*×iright

步骤s2014：极线教正：为了使标定参数结果更加方便应用，对拍摄到的左、右图像进行极线校正。极线校正就是利用旋转、平移的方法对图像进行变换，使得两幅图像的所有极线在一个平面上且行对准。

极线校正就是寻找对合适的投影变换矩阵h0、h1(单应矩阵)分别对图像i0、i1进行变换得到h0i0、h1i1，并满足：其中f是其对应的基本矩阵，对每一对匹配点u0∈i0，u1∈i1，有u0^tfu1＝0，校正后的基本矩阵。

通过旋转变换，使左、右图像i0、i1平行。具体为：有一个平面e平行于直线c0c1，e与i0、i1分别相交于直线d0、d1，e与i0、i1的夹角分别为θ0、θ1，如图4所示。那么，将i0、i1分别绕直线d0、d1旋转θ0、θ1，得到这时，e与分别平行，从而之间也互相平行。

左、右图像平行以后，的各自极线是平行的，但是这些极线通常与x轴存在夹角，如图5所示，因此对图像进行极线对齐操作。简单地说，就是以其中一幅图像为基准，另一幅图像通过一定的旋转平移变换即可得到两幅图像平行且对应的极线在一条水平线上。

由于上述得出h0、h1是假设基本矩阵f已知，但是事实上f为未知。为此，通过利用levenberg_marquardt算法来计算h0、h1的最优解。

生成校正后的图像。如图6所示。详细说明为：得到hi之后，对ii实施变换hi便可得到校正后的图像hiii。但是这样做会使得新图像hiii中的某些点不能在ii中找到对应的点，从而产生“空洞(holes)”现象。为此，采用下述方法对图像进行逆向映射，从而消除空洞，实现精准匹配。

(1)计算图像hiii；

(2)求解hiii的最小边界矩形recti；

(3)对recri进行平移，使recti在左上角的点平移到坐标系的原点。对于recri在垂直方向的平移量δyi(i＝0，1)：

(4)以从左到右、从上到下的顺序，计算recti中的每一个点u′i在图像ii中的对应点ui。

(5)检查ui是否落在原始图像ii范围内，若在，则将ui对应的像素拷贝到点u′i的位置；否则将点u′i的颜色变为黑色，从而生成校正后的图像。

步骤s2015：构建局部地图：所构建的地图即是双目视觉深度图，其中包含了障碍物的具体三维坐标和障碍物与机器人之间的距离。为了实现机器人对安全环境的实时感知，需要将深度图转换到安全距离空间map_dist中。

获取深度图：利用是视差原理结合双目摄像系统相机之间的转换参数得到图像的三维坐标。左图像像素坐标(xl，yl)、右图像像素坐标(xr，yr)与三维空间坐标(xw，yw，zw)的关系如下式所示：

其中，xl和xr表示左右图像匹配点对在像素坐标系下的横坐标，yl表示左图像中匹配点在像素坐标系下的纵坐标。b表示左右相机间的基线距离，f表示左相机焦距。b和f根据相机标定得到。由此就得到了物体的三维坐标，其中的z就是深度点云数据，也是物体与机器人之间的距离。

距离变换：采用距离变换，将局部障碍物地图(深度图)映射到安全距离空间，得到map_dist。在map_dist中，例边界点越远的点越亮，处在该点的无人机越安全。距离变换描述为：首先将图像二值化，然后给每个像素赋值为离它最近的背景像素到它的距离，即可得到距离矩阵，即map_dist。

步骤s2016：实时定位：机器人在运动过程中，由起点到当前位置，会产生多组同一相机时间连续的图像的对应关系，可以通过计算这些图像的转换关系，最终算出机器人当前的位置和朝向。

具体包括：

计算像素点之间的匹配代价函数：图像中任意点(i，j)在视差估计为d的匹配代价定义为：

cosr(i，j，d)＝||ik(i，j)-ik+1(i，j)|

其中，ik(i，j)、ik+1(i，j)分别为在时间点k由相机a拍摄的图像点(i，j)的像素值和在时间点(k+1)由相机a拍摄的图像点(i，j)的像素值。

匹配：在代价空间c＝{cost(i，j，d)}中选择匹配代价小对应的点作为匹配点对。

得到匹配点对后，如同步骤s2013所述方法，可以求得同一相机a拍摄的时间相邻的图像之间的对应关系：

ik+1(i，j)＝ra，k^*×ta，k^*×ik(i，j)

最后，根据时间相邻图像之间的转换关系，由传递性，可以得到当前位置相对与之前每一个位置的相姿关系。

其中，ra^*×ta^*＝(ra,k^*×ta,k^*)×(ra,k-1^*×ta,k-1^*)

步骤s202：快递员或者用户使用app下单，机器人在运输点扫码开箱，装载货物。

步骤s203：用户指定目的地(门牌号)，启动机器人运输。

步骤s204：轮式移动机器人可利用小区地图进行路径规划，从运输点自主运送货物到目的地(业主门口)。具体为：根据机器人的规律模型(可以实现什么样的运动，不能实现什么样的运动)，在map_dist中定义惩罚函数f，即代价函数，利用a*算法搜索产生局部安全路径path。算法是一种静态路网中求解最短路最有效的直接搜索方法，a*算法解决路径规划问题过程如下所述：

定义从起点得到终点的估价函数：f(n)＝g(n)+h(n)。

其中，g(n)是状态空间(距离空间map_dist)中从起点到第n个节点的实际代价，h(n)是从第n个节点到终点的最佳路径估计代价。保证找到最短路径关键在于估价函数h(n)的选取。

估价值h(n)≤n到目标节点的距离实际值，在这种情况下，搜索的点最多，搜索范围最大，效率低。但是能够得到最优解，并且如果估计距离h(n)等于最短距离，那么搜索将严格沿着最短路径进行，此时的搜索效率是最高的。

步骤s205：机器人在运动过程中，利用双目视觉实时进行障碍物检测，动态修正运输路径，自主避开障碍物。

进一步描述为：设置障碍物安全指标t，如果检测到机器人与障碍物之间的距离z≤t，那么，该障碍物将对机器人的运动造成威胁，此时，机器人需要另外找一条最佳安全路径行走。

最佳安全路径定义为：

1.该路径方向与机器人当前时刻的前一段时间长度内的运动方向不能相反。

2.该路径上检测到的障碍物与机器人之间的距离z＞t。

3.该路径是到终点的最短路径。

步骤s206：机器人在运动过程中，重复步骤s201-步骤s205，直到到达目的地。

步骤s207：机器人到达业主门口中，进行人脸签收，卸载货物。所述人脸签收，即时利用人脸识别技术，识别签收的人是否是货物收件人，如果不是，则机器人拒绝卸载货物；如果是，则机器人才将货物交给主人，这能够保证了货物的安全性。

步骤s208：机器人返回运输点。

机器人返回运输点的过程中，对于路径规划，有两种方案，一种是沿原路返回，一种是利用来的时候的方法，实时识别当前路况，然后做出选择，这均不影响本发明的实现。

本发明实施例通过实时构建地图，获取最优路径，使得机器人能够灵活应对场景，采取最优行动方案，缩短送货时间。本申请还能够实现机器人实时定位，定位准确，精度高。此外，本发明实施例采用人脸签收，提高了货物的安全性，降低了送货出错率。

下面对本发明实施例提供的自动送货装置进行介绍，下文描述的自动送货装置与上文描述的自动送货方法可相互对应参照。

图7为本发明实施例提供的自动送货装置的结构框图，参照图7自动送货装置可以包括：

地图构建模块100，用于预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图；

请求接收模块200，用于接收送货请求，获取货物运送目的地信息；

路径规划模块300，用于利用所述送货区域地图进行路径规划，生成从运输点到目的地的路径信息；

实时避障模块400，用于在运送过程中，采用双目视觉实时进行障碍物检测，动态修正运输路径，以避开检测到的障碍物，直到到达所述目的地。

本实施例的自动送货装置用于实现前述的自动送货方法，因此自动送货装置中的具体实施方式可见前文中的自动送货方法的实施例部分，例如，地图构建模块100，请求接收模块200，路径规划模块300，实时避障模块400，分别用于实现上述自动送货方法中步骤s101，s102，s103和s104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明所提供的自动送货装置，通过预先采用双目视觉以及视觉即时定位地图构建方法，构建送货区域地图；接收送货请求，获取货物运送目的地信息；利用送货区域地图进行路径规划，生成从运输点到目的地的路径信息；在运送过程中，采用双目视觉实时进行障碍物检测，动态修正运输路径，以避开检测到的障碍物，直到到达目的地。本申请通过实时构建地图，能够获取最优路径，使得送货机器人或者无人机能够灵活应对各种场景，采取最优行动方案，缩短了送货时间；并且本申请实现了机器人的实时定位，定位准确，精度高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的自动送货方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。