多无人机协同配送中基于人脸融合的目标识别方法及系统

1.本发明涉及智慧物流技术领域，特别是涉及一种多无人机协同配送中基于人脸融合的目标识别方法、一种多无人机协同配送中基于人脸融合的目标识别系统。


背景技术：

2.随着新一代互联网技术的创新应用，一些旨在解决物流配送“最后一公里”的智能“配送员”轮番上阵。在物资运输压力剧增、无接触配送需求爆发的背景下，无人机展现出的便捷、安全、高效等配送价值令人瞩目。
3.用户通过配送网站、应用程序或电话、网络通信等方式下订单。无人机根据订单信息取货后将货物运输至收货地点，通过人脸识别确认收货人并完成货物交付。在此过程中，人脸识别成为影响配送效率的首要问题。
4.在无人机配送过程中，无人机对行人进行拍摄时，因其拍摄角度是随机而非一直不变的，导致无人机拍摄到的行人的面部照片并不全是正面人脸。在后续的人脸识别中，非正面人脸会存在着一定程度上的面部姿态干扰，而面部姿态的干扰则会降低目前人脸识别算法在实际应用中的识别精度。现有的解决方法如采用姿势识别与人脸识别结合的方法，虽然能够在一定程度上提高人脸识别的精度，却又会导致识别效率的降低或者配送成本的增加。


技术实现要素：

5.基于此，有必要针对现有无人机配送中收货人识别效率低的问题，提供一种多无人机协同配送中基于人脸融合的目标识别方法及系统。一种多无人机协同配送中基于人脸融合的目标识别方法，其包括如下步骤：
6.s1：获取实时生成的订单信息。每个无人机配送一个订单。无人机装配相应的货物后飞行至收货地址上空。其中，订单信息由用户提供，包括收货地址和收货人照片。
7.s2：无人机以行人为取景对象实时采集视频。对全部的视频进行分帧处理，根据预设的采样频率抽取多个视频帧图像。记录每个视频帧图像对应的无人机位置信息。
8.s3：通过人脸检测模型在每个视频帧图像中输出包含人脸特征的预测框。截取预测框范围内的图片作为人脸图片。
9.s4：每个无人机根据相应的收货人照片创建相应的照片集。对人脸照片进行初步匹配。初步匹配的方法如下：
10.s41：计算人脸照片与每个收货人照片的欧氏距离一。
11.s42：判断欧氏距离一是否处于一个预设的阈值范围内。并作出如下决策：若欧氏距离一低于预设的阈值范围，则获取该人脸照片所对应的无人机位置信息，随后进行s7。若欧氏距离一处于阈值范围内，则该人脸照片具有不确定性，将该人脸照片存储在相应的照片集中作为待融合照片，随后进行s5。若欧氏距离一高于阈值单位，则将该照片删除，并返回s2。
12.s5：在每个照片集中选取两张待融合照片融合为一张融合照片。
13.其中，选取待融合照片的方法如下：
14.判断待融合照片存储在照片集中的时间是否超出一个预设的时间。并作出如下决策：若超出预设的时间，则将该待融合照片删除，并返回s2。若未超出预设的时间，则进而判断每个照片集中的待融合照片的数量是否少于两个，若不少于两个，则在每个照片集中按欧氏距离一从小到大的顺序选取两张待融合照片进行融合，得到与收货人照片一一对应的多个融合图片，进行s6。若少于两个则返回s2。
15.融合照片的融合方法如下：
16.s51：在同一照片集中按欧氏距离一从小到大的顺序选取两张待融合照片。分别获取两张待融合照片的多个特征点。
17.s52：根据多个特征点对每张待融合照片的人脸分别进行delaunay三角剖分，得到多个三角形图片作为剖分图片集。
18.s53：分别对两个剖分图片集遍历，每次遍历从两个剖分图片集中各获取一个三角形图片。对两个三角形图片取平均值获取融合三角形图片。将用于融合的两个三角形图片仿射变换调整到融合三角形图片上。
19.s54：调整每个三角形图片的透明度，根据融合公式将两张待融合照片融合成一张融合图像。
20.s6：对融合照片进行精确匹配。精确匹配的方法如下：
21.s61：计算融合图片与收货人照片的欧氏距离二，
22.s62：判断欧氏距离二是否高于一个预设的阈值。并作出如下决策：若欧氏距离二高于阈值，则将相应的待融合照片中欧氏距离一较高的一个待融合照片删除，返回s2。否则判断该融合照片所对应的两张待融合照片的存储时间，获取其中时间最近的待融合照片所对应的无人机位置信息。
23.s7：根据无人机位置信息、待融合照片在视频帧图像的坐标和待融合照片相对于视频帧图像的面积比例计算收货人位置。已获取目标位置的无人机移动到收货人位置。对目标收货人进行最终识别，确认目标识别是否成功，若识别不成功则返回s2。若识别成功则进行货物交付。
24.上述识别方法引入基于多无人机协同的人脸融合技术，利用人脸融合模型将无人机传输过来的符合条件的人脸图片进行融合，通过人脸识别模型将融合后的人脸图片与收货人的注册照片进行匹配，从而达到提升人脸识别精度的目的，进而提高寻找收货人的效率，缩短整体配送时间。
25.在其中一个实施例中，若无人机未获取相应的收货人位置，则无人机自动生成移动路径，在收货地址的上空飞行，并实时探测周围环境，采集行人视频。若无人机已获取相应的收货人位置，则无人机直接飞行至收货人位置处。在无人机处于收货地址上空时，持续采集行人视频。
26.在其中一个实施例中，通过基于lffd算法的人脸检测模型检测每个视频帧中的人脸特征并输出包含人脸特征的预测框。其中，lffd算法的网络具有8个分支，用于检测不同规模大小的人脸。每个分支分为两个子分支，分别用于人脸二分类和预测框回归。人脸二分类采用具有交叉熵损失的softmax函数，预测框回归采用l2损失函数。
27.在其中一个实施例中，预测框的定义如下：
[0028][0029]
其中rf
x
和rfy为感受野的中心坐标，rfs为感受野的大小，rfs/2则作为标准化常数来使用，和是标签边框的左上角坐标，和是标签边框的右下角坐标。
[0030]
在其中一个实施例中，人脸识别模型采用face_recognition算法。face_recognition算法用于：将具有人脸特征的图像转化为多个特征向量。根据每张图像的特征向量计算两张图像之间的欧氏距离。
[0031]
在其中一个实施例中，融合公式为：
[0032]
m(x,y)＝ε
×
j(x,y)+(1-ε)
×
i(x,y)
[0033]
其中，m(x,y)为融合图像在平面坐标系中坐标为(x,y)的像素值，ε为融合度参数，j为第一待融合照片，j(x,y)表示第一待融合照片中坐标为(x,y)的像素值，i为第二待融合照片，i(x,y)表示第二待融合照片中坐标为(x,y)的像素值。
[0034]
在其中一个实施例中，对于任意一个照片集，在删除用于融合的两张待融合照片中欧氏距离一较高的一个待融合照片后，将另一张待融合照片与其他待融合照片中欧氏距离一最小的一个待融合照片进行融合，直至该待融合照片超出预设的时间或融合照片与收货人照片的欧氏距离二小于阈值。若该待融合照片超出预设的时间，则返回s2。若融合照片与收货人照片的欧氏距离二小于阈值，则进行s7。
[0035]
在其中一个实施例中，目标识别的确认方法包括以下步骤：
[0036]
s71：无人机正对收货人位置获取收货人的正面视频。
[0037]
s72：对正面视频进行分帧处理，任意选取至少一个视频帧作为正面图像。
[0038]
s73：计算正面图像与相应的收货人照片的欧氏距离三，判断欧氏距离三是否高于阈值，是则返回s2。否则确认完成目标识别。
[0039]
在其中一个实施例中，同一时间内，当由用户提供的订单信息仅有一个时，订单仅通过一个无人机进行配送，无人机获取的多个人脸图片与一个收货人照片进行匹配。当由用户提供的订单信息为多个时，每个订单采用一个无人机进行配送。多个无人机获取的人脸图片依次与每个收货人照片进行匹配。
[0040]
本发明还提供一种多无人机协同配送中基于人脸融合的目标识别系统，识别系统包括云服务器、边缘服务器和多个无人机组。
[0041]
云服务器，其用于：a、存储全部用户的注册信息。注册信息包括收货地址和收货人照片。其中，收货人照片为满足照片预设标准的正面照片。b、根据用户请求实时生成订单信息。订单信息包括收货人的注册信息、发货地址和货物信息。c、根据注册人的收货地址将订单信息分为多个订单组。
[0042]
多个无人机组，无人机组与订单组一一对应。每个无人机组包括多个无人机。无人机用于根据订单信息从发货地址装配货物，并在收货地址完成货物交付。无人机包括视频监控装置、图像处理装置、定位装置和数据传输装置。视频监控装置用于在收货地址以行人为取景对象，实时采集具有行人特征的视频。图像处理装置用于对视频分帧，并根据预设的采样频率获取多个视频帧图像。图像处理装置还用于在视频帧图像中提取出具有人脸特征
的人脸图像。定位装置用于实时获取相应的无人机的定位信息。数据传输装置用于传输无人机的定位信息以及人脸图像。
[0043]
与无人机组一一对应的多个边缘服务器，边缘服务器用于暂存实时生成的订单信息，将每个订单信息发送到一个无人机上。边缘服务器包括人脸识别模块、人脸融合模块和位置计算模块。人脸识别模块用于判断实时采集的人脸照片是否与收货人照片匹配。人脸融合模块用于将与同一收货人照片初步匹配成功的两张人脸图片融合成一张融合图片。位置计算模块用于根据无人机位置信息、待融合照片在视频帧图像的坐标和待融合照片相对于视频帧图像的面积比例计算收货人的位置坐标。
[0044]
相较于现有技术，本发明具有如下有益效果：
[0045]
1.本发明引入基于多无人机协同的人脸融合技术，利用人脸融合模型将无人机传输过来的符合条件的人脸图片进行融合，通过人脸识别模型将融合后的人脸图片与收货人的注册照片进行匹配，从而达到提升人脸识别精度的目的，进而提高寻找收货人的效率，缩短整体配送时间。
[0046]
2.人脸融合模型以及人脸识别模型部署在边缘服务器而非云服务器中，可以避免由于网络问题、数据量问题以及云服务器响应问题而造成的人脸识别效率下降，甚至人脸识别任务失败的情况。
[0047]
3.本发明在多无人机协同配送过程中，无需与收获人进行交互，凭借由人脸融合与人脸识别技术结合可以独自完成对目标收货人的识别任务，具有较高的智能性。
[0048]
4.即使无人机未拍摄到行人的正面人脸，本发明仍然能够通过人脸融合生成判别性较好的人脸图片，从而保证具有较高的识别精度，提高人脸识别的鲁棒性。
[0049]
5.本发明在配送过程中采用了人脸识别技术来代替智能柜，可以显著减少硬件成本。
附图说明
[0050]
图1为本发明实施例1的多无人机协同配送中基于人脸融合的目标识别方法的流程图；
[0051]
图2为图1中待融合照片的剖分示意图；
[0052]
图3为本发明实施例1的多无人机协同配送中基于人脸融合的目标识别系统的架构图。
具体实施方式
[0053]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
需要说明的是，当组件被称为“安装于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。当一个组件被认为是“固定于”另一个组件，它可以是直接固定在另一个组件上或者可能同时存在居中组件。
[0055]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。
[0056]
请参阅图1，其为本实施例的多无人机协同配送中基于人脸融合的目标识别方法的流程图。多无人机协同配送中基于人脸融合的目标识别方法包括如下步骤：
[0057]
s1：获取实时生成的订单信息。每个无人机配送一个订单。无人机装配相应的货物后飞行至收货地址上空。订单信息由用户提供，包括收货地址和收货人照片。用户在物流网站或物流应用程序中下订单，或通过电话、网络通信等方式进行下单。在下单时，用户提供相应的订单信息，包括取货地址、货物信息、收货地址和收货人照片等。以用户在应用程序中下单为例，用户首先在应用程序中创建账号，同时提供用户的个人信息，包括姓名、常用收货地址以及高清晰度的正面照片等。其中，收货地址可以根据用户需求在订单中进行修改。正面照片需满足应用程序的预设条件，预设条件包括照片大小、清晰度、人脸方向、人脸在照片中的占比等，正面照片作为在货物交付时识别收货人的对比照片。
[0058]
无人机完成取货后，根据当前所处的位置与用户提供的收货地址生成寻人路径，无人机在寻人路径上飞行，若其他无人机已获取当前无人机的目标收货人的人脸照片，并确认收货人所处的目标位置，则将目标位置发送至当前无人机，无人机根据目标位置自动更新路径并飞行至目标位置，对目标人物进行识别确认。若未确认收货人所处的目标位置，则按照原寻人路径飞行。无人机在收货地址上空的飞行过程中，实时探测周围环境，采集行人视频，自动生成移动路径。由于在同一收货地址处可能存在多个无人机同时配送，多个无人机的寻人路径可能会交叉，同时，空中可能会存在飞行物或如广告牌、树木、楼房等高处物体对无人机造成干扰，因此实时探测周围环境，避免无人机发生碰撞是十分必要的。
[0059]
s2：无人机以行人为取景对象实时采集视频。对全部的视频进行分帧处理，根据预设的采样频率抽取多个视频帧图像。记录每个视频帧图像的时间信息及对应的无人机位置信息。
[0060]
无人机到达收货地址上空后，正式开始协同寻找收货人。由于收货地址为区域性地址，无人机自动生成在收货地址上空曲折行进的寻人路径，以将取景范围覆盖收货地址的全部区域。无人机在寻人过程中实时拍摄视频，对视频进行分帧处理。由于视频中的数量过于庞大，本实施例采取每15帧中取1帧的策略获取视频帧图像，用以做人脸检测，以减少无人机处理的数据量，提高人脸识别的效率。在无人机输出视频帧图像的同时，在该图像上绑定拍摄该视频帧图像的无人机的位置信息。无人机的位置信息用于在人脸识别成功后获取目标人物的位置信息。
[0061]
s3：通过人脸检测模型在每个视频帧图像中输出包含人脸特征的预测框。采用opencv工具截取预测框范围内的图片作为人脸图片。
[0062]
通过基于lffd算法的人脸检测模型检测每个视频帧中的人脸特征并输出包含人脸特征的预测框。其中，lffd算法的网络由25个卷积层、若干残差模块以及relu激活函数构成，卷积核大小为3x3或1x1。lffd算法的网络具有8个分支，用于检测不同规模大小的人脸。每个分支分为两个子分支，分别用于人脸二分类和预测框回归。人脸二分类采用具有交叉熵损失的softmax函数，预测框回归采用l2损失函数。
[0063]
预测框的定义如下：
[0064][0065]
其中rf
x
和rfy为感受野的中心坐标，rfs为感受野的大小，rfs/2则作为标准化常数来使用，和是标签边框的左上角坐标，和是标签边框的右下角坐标。
[0066]
每一个视频帧图像中的不同规模大小的人脸，总会被某个卷积层的感受野所捕捉到，从而被检测出来。而如果视频帧中不存在人脸，则该视频帧图像被丢弃，无人机继续进行拍摄。
[0067]
s4：每个无人机根据相应的收货人照片创建相应的照片集。对人脸照片进行初步匹配；初步匹配的方法如下：
[0068]
s41：计算人脸照片与每个收货人照片的欧氏距离一。
[0069]
s42：判断欧氏距离一是否处于一个预设的阈值范围内，并作出如下决策：若欧氏距离一低于预设的阈值范围，则获取该人脸照片所对应的无人机位置信息，随后进行s7。若欧氏距离一处于阈值范围内，则将该人脸照片存储在相应的照片集中作为待融合照片，随后进行s5。若欧氏距离一高于阈值单位，则将该照片删除，并返回s2。
[0070]
人脸识别模型采用face_recognition算法。face_recognition算法用于：将具有人脸特征的图像转化为多个特征向量，并根据每张图像的特征向量计算两张图像之间的欧氏距离。欧氏距离用于表征两张图片的相似度。欧氏距离越小，则表示两张图片之间的差异越小，即越相似。欧氏距离越大，则表示两张图片之间的差异越大，即越不相似。本实施例中，人脸识别模型将人脸照片和收货人照片分别转化为128维特征向量，特征向量用于表征人脸的特征指标。将人脸照片的特征向量与收货人照片的特征向量分别映射到同一个坐标系中，计算人脸照片与收货人照片之间的欧氏距离一。将阈值范围设为0.31-0.38。若欧式距离一不高于0.31，则认为该人脸照片与收货人照片相匹配，即该人脸照片的人脸与收货人照片中的人脸为同一收货人的人脸。若欧氏距离一高于0.38，则认为该人脸照片与收货人照片不匹配，直接将该人脸照片删除。若欧式距离一处于0.31-0.38之间，则认为该人脸照片可能与收货人照片匹配，保留该人脸照片作为待融合照片，用于进一步匹配识别收货人。
[0071]
s5：在每个照片集中选取两张待融合照片融合为一张融合照片；
[0072]
其中，选取待融合照片的方法如下：
[0073]
判断待融合照片存储在照片集中的时间是否超出一个预设的时间。由于无人机采集的人脸照片具有时效性，若超出预设的时间，则收货人可能已经离开采集照片时所处的位置，因此本实施例中，预设时间为30秒。若超出预设的时间，则将该待融合照片删除，并返回s2。若未超出预设的时间，则进而判断每个照片集中的待融合照片的数量是否少于两个，若不少于两个，则在每个照片集中按欧氏距离一从小到大的顺序选取两张待融合照片进行融合，得到与收货人照片一一对应的多个融合图片，进行s6。若少于两个则返回s2。
[0074]
请结合图2，其为图1中待融合照片的剖分示意图。照片融合的方法包括以下过程：
[0075]
s51：在同一照片集中按欧氏距离一从小到大的顺序选取两张待融合照片。利用机器学习开源库dlib分别获取两张待融合照片的多个特征点。
[0076]
s52：根据多个特征点对每张待融合照片的人脸分别进行delaunay三角剖分得到多个三角形图片作为剖分图片集。
[0077]
s53：分别对两个剖分图片集遍历，每次遍历从两个剖分图片集中各获取一个三角形图片。对两个三角形图片取平均值获取融合三角形图片。将用于融合的两个三角形图片仿射变换调整到融合三角形图片上。
[0078]
s54：调整每个三角形图片的透明度，根据融合公式将两张待融合照片融合成一张融合图像。
[0079]
融合公式为：
[0080]
m(x,y)＝ε
×
j(x,y)+(1-ε)
×
i(x,y)
[0081]
其中，m(x,y)为融合图像在平面坐标系中坐标为(x,y)的像素值，ε为融合度参数，
[0082]
j为第一待融合照片，j(x,y)表示第一待融合照片中坐标为(x,y)的像素值，i为第二待融合照片，i(x,y)表示第二待融合照片中坐标为(x,y)的像素值。
[0083]
在本实施例中，每次从一个照片集中选取两张待融合照片，记为图片a和图片b。利用机器学习开源库dlib分别获取图片a与图片b的68个人脸特征点集合，记为points_a与points_b，并将points_a与points_b保存起来。根据人脸特征点集合points_a与points_b，对图片a的人脸与图片b的人脸分别进行delaunay三角剖分，将人脸剖分成若干个三角形的集合，分别记为triangle_a与triangle_b。遍历triangle_a与triangle_b，每遍历一次便得到triangle_a与triangle_b中的一个三角形，记为a与b，三角形a与三角形b取平均值便得到三角形c。对a与b进行仿射变换，变换包括旋转、缩放、平移和错切等操作，以将a与b调整到c的位置上。将人脸图像中的若干三角形通过仿射变换到既定位置后，通过对人脸图像进行透明度的设置，将两张人脸图像融合成一张人脸图像，即融合图片。
[0084]
s6：对融合照片进行精确匹配；精确匹配的方法如下：
[0085]
s61：计算融合图片与收货人照片的欧氏距离二。
[0086]
s62：判断欧氏距离二是否高于一个预设的阈值，并作出如下决策：若欧氏距离二高于预设的阈值，则将相应的待融合照片中欧氏距离一较高的一个待融合照片删除，对于任意一个照片集，在删除用于融合的两张待融合照片中欧氏距离一较高的一个待融合照片后，将另一张待融合照片与其他待融合照片中欧氏距离一最小的一个待融合照片进行融合，直至该待融合照片超出预设的时间或融合照片与收货人照片的欧氏距离二不高于阈值。若该待融合照片超出预设的时间，则返回s2。若融合照片与收货人照片的欧氏距离二不高于阈值，则进行s7。若欧氏距离二不高于预设的阈值，则判断该融合照片所对应的两张待融合照片的存储时间，获取其中时间最近的待融合照片所对应的无人机位置信息。
[0087]
其中，欧氏距离二采用人脸识别模型进行计算。人脸识别模型采用face_recognition算法。
[0088]
本实施例中，阈值设定为0.31。若欧氏距离二不高于0.31，则认为该融合图片为相应的收货人的人脸照片。相应的，用于融合的两张待融合照片也均为收货人的人脸照片，选择其中时间最近的待融合照片，其对应的无人机位置可以用于计算收货人实际位置。若欧氏距离二高于0.31，则认为该融合图片并非相应的收货人的人脸图片，则相应的两张待融合照片中至少有一张也非收货人的人脸图片，为了尽可能保证人脸融合能成功进行，我们需要从二者中选出更可能是收货人的人脸图片，即比较二者的欧氏距离一，将其中欧氏距
离一更小的待融合照片保存，用于继续与其他待融合照片进行融合，另一张待融合照片直接移除。假设对任一收货人，其相应的照片集中存在n个待融合照片，根据欧氏距离一进行由小到大的排序，记为img1、img2、
……
、imgn，则先将img1与img2融合，若融合后的图片与相应的收货人照片匹配，则认为已获取收货人的实际位置。若融合后的图片匹配失败，则将img2删除，保留img1用于继续融合，选择对应的照片集中欧式距离最小的一个待融合照片，继续与img3融合，再将融合后的照片与收货人照片进行匹配，直至匹配成功。
[0089]
s7：根据无人机位置信息、待融合照片在视频帧图像的坐标和待融合照片相对于视频帧图像的面积比例计算收货人位置。已获取目标位置的无人机移动到收货人位置确认目标识别是否成功，若识别成功则进行货物交付。若识别不成功则继续获取待融合照片并进行融合以及识别，若人脸集中所有人脸照片融合完毕仍然未识别成功，则边缘服务器通知无人机继续寻找收货人。目标识别的确认方法包括以下步骤：
[0090]
s71：无人机正对收货人位置获取收货人的正面视频。
[0091]
s72：对正面视频进行分帧处理，任意选取至少一个视频帧作为正面图像。
[0092]
s73：计算正面图像与相应的收货人照片的欧氏距离三，判断欧氏距离三是否高于阈值，是则返回s2。否则确认完成目标识别。
[0093]
无人机位置信息中，除了实际的空间坐标外，还包括无人机姿态信息，无人机姿态信息用于计算无人机拍摄角度。根据无人机的位置、拍摄角度以及由相应的待融合照片相对于原视频帧图像的坐标和比例，可以计算出收货人的位置。为了防止无人机碰撞收货人，无人机实际移动至一个与收货人具有固定距离的空间位置。为了避免因收货人走动导致收货人实际位置失效，在无人机到达收货人位置时，对收货人进行最终确认，避免货物交付失败。此外，为了提高识别效率，可以在无人机获得相应收货人位置时，向收货人发送已定位的信息，告知收货人在原地等待。还可以对无人机与收货人位置的路径距离进行计算，推测出无人机到达收货人位置的时间，同步发送给收货人，提醒收货人做好货物交付的准备，提高收货人识别与货物交付的效率。对最终目标识别的确认与初步匹配和精确匹配的方法基本一致，区别在于，最终选取的视频帧图像中，应包含由收货人配合拍摄的正面人脸图像。而在识别中，若正面图像与收货人照片之间的欧氏距离不高于阈值范围，则确认目标识别完成。否则继续寻找收货人直至确认目标识别完成。
[0094]
当由用户提供的订单信息仅有一个时，订单仅通过一个无人机进行配送，无人机获取的多个人脸图片与一个收货人照片进行匹配。当由用户提供的订单信息为多个时，每个订单采用一个无人机进行配送。多个无人机获取的人脸图片依次与每个收货人照片进行匹配。
[0095]
由于用户下单具有不确定性，同一时间内下单数量是不固定的。当至少存在一个用户下单时，对每个订单信息指配一个无人机进行配送。
[0096]
若订单信息只有一个，用于配送的无人机也只有一个。由无人机采集的视频中分帧获取的视频帧图像中提取的人脸图片只需要与一个收货人照片进行初步匹配。初步匹配的过程为：将要匹配的人脸照片和收货人照片均转换成128维特征向量，计算二者之间的欧氏距离，若欧氏距离小于预先设定的阈值范围，则匹配成功，获取该人脸照片对应的无人机位置信息。若欧氏距离处于阈值范围内，则将人脸照片将作为该收货人的待融合照片存储在照片集中，同时对该人脸照片进行计时。若超出30秒，则将该人脸照片删除。若在30秒内，
照片集中存在至少两张待融合照片，则从照片集中按照欧氏距离从小到大的顺序选取两张待融合照片进行融合作为融合照片。继续对融合照片进行匹配，直至匹配成功。若欧氏距离高于阈值范围，则将人脸照片删除。
[0097]
若订单信息不少于两个，则用于配送的无人机也不少于两个。假设有多位收货人，分别记为receiver1，receiver2，
…
，receiverm，无人机每接收并处理一张人脸照片后，都将该人脸图片依次与receiver1，receiver2，
…
，receiverm的收货人照片进行初步匹配。初步匹配的过程为：将要匹配的人脸图片和每一个收货人照片均转换成128维特征向量进行一一比对，计算人脸照片与其中一个收货人照片之间的欧氏距离，若欧氏距离小于预先设定的阈值范围，则匹配成功，获取该人脸照片对应的无人机位置信息。若欧式距离处于阈值范围内，则将该人脸照片存储在相应的照片集中作为待融合照片。再对该待融合照片进行计时。若超出规定的30秒，则将该待融合照片删除。若在30秒内，该照片集中的待融合照片不少于两个，则从该照片集中吧欧式距离从小到大的顺序选取两张待融合照片进行融合。继续对融合照片进行匹配，直至匹配成功。若欧氏距离高于阈值范围，则将人脸照片删除。
[0098]
当任一收货人初步识别成功后，则将对应的融合图片所绑定的无人机位置信息发送到相应的无人机上，根据无人机位置信息和融合照片中收货人人脸图片相对于所处的视频帧图像中的坐标信息，计算出目标收货人的实际位置，根据预先设定的人机间距，确认无人机的目标位置。无人机根据目标位置自动生成寻人路径，飞行至目标收货人面前，对目标收货人发起正面人脸识别的提示，进而获取目标收货人的正面图片，将正面图片与相应的收货人照片进行匹配，若匹配成功，则确认收货人识别正确，进行货物交付。若匹配失败，则继续对待融合照片进行融合识别，重复识别过程，直至确认收货人识别正确。
[0099]
请结合图3，其为本实施例的多无人机协同配送中基于人脸融合的目标识别系统的架构图。本实施例还提供一种多无人机协同配送中基于人脸融合的目标识别系统，其包括云服务器、多个无人机组和多个边缘服务器。
[0100]
云服务器，其用于：a、存储全部用户的注册信息。注册信息包括收货地址和收货人照片。其中，收货人照片为满足照片预设标准的正面照片。用户根据云服务器提供的网站或应用程序，在云服务器中注册账号，进而在云服务器中生成相应的注册信息。b、根据用户请求实时生成订单信息。订单信息包括收货人的注册信息、发货地址和货物信息。c、根据注册人的收货地址将订单信息分为多个订单组。由于云服务器覆盖的范围较广，其在同一时间段中生成的订单可能来自不同的区域。因此对于订单的最后一段距离的配送需要通过不同区域的无人机完成。进而根据收货地址，在不同区域内设置边缘服务器，而每个边缘服务器均配置相应的无人机组。
[0101]
多个无人机组，无人机组与订单组一一对应。每个无人机组包括多个无人机。无人机用于根据订单信息从发货地址装配货物，并在收货地址完成货物交付。无人机配送大多是用于配送过程中的最后一段距离。如快递配送，货物由发货人交付给物流公司，在相应的物流配送点发送到位于收货地址附近的另一物流配送点。再将货物装配在相应的无人机上，完成从物流配送点到收货人地址的配送。无人机包括视频监控装置、图像处理装置、定位装置和数据传输装置。视频监控装置用于在收货地址以行人为取景对象，实时采集具有行人特征的视频。图像处理装置用于对视频分帧，并根据预设的采样频率获取多个视频帧图像。图像处理装置还用于在视频帧图像中提取出具有人脸特征的人脸图像。定位装置用
于实时获取相应的无人机的定位信息。数据传输装置用于传输无人机的定位信息以及人脸图像。无人机在收货地址上空寻找收货人，在刚到达收货地及完成交付后刚离开收货地的过程中，持续对收货地进行拍摄，用于采集行人视频，并从中获取人脸图片，找出与收货人照片匹配的人脸图片。在此过程中，无人机定位装置实时工作，将无人机的实际位置与初步匹配成功的人脸照片绑定，用于计算该人脸照片对应的目标收货人的实际位置。在配送过程中，人脸图像、待融合照片、收货人照片、无人机位置信息等均需要通过数据传输装置在无人机与边缘服务器之间传输。
[0102]
与无人机组一一对应的多个边缘服务器，边缘服务器用于暂存实时生成的订单信息，将每个订单信息发送到一个无人机上。客户下单的订单信息在云服务器中生成后，与订单信息中收货地址相应的边缘服务器请求下载订单信息，订单信息在配送过程中暂存在边缘服务器中。边缘服务器识别订单信息后，为每个订单指配一个无人机进行配送。边缘服务器包括人脸识别模块、人脸融合模块和位置计算模块。人脸识别模块用于判断实时采集的人脸照片是否与收货人照片匹配。人脸识别在配送过程中至少包括三个阶段，初步匹配、精确匹配和最终识别。其中，初步匹配由从视频中提取的人脸图片与收货人照片进行匹配。精确匹配由初步匹配成功的人脸图片相互融合的融合图片与收货人照片进行匹配。最终识别由无人机在收货人实际位置处拍摄的正面图像与收货人照片进行匹配。人脸融合模块用于将与同一收货人照片初步匹配成功的两张人脸图片融合成一张融合图片。在对人脸照片初步匹配成功后，将与同一收货人照片匹配成功的人脸图片作为待融合照片存储在相应的照片集中。在同一照片集中按照欧氏距离从小到大的顺序选取两张待融合照片融合成一张融合图片，用于人脸图片的精确匹配。位置计算模块用于根据无人机位置信息、待融合照片在视频帧图像的坐标和待融合照片相对于视频帧图像的面积比例计算收货人的位置坐标。
[0103]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0104]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。