停车场智能引导机器人及智能引导方法与流程

本发明涉及机器人技术领域，具体涉及一种停车场智能引导机器人及智能引导方法。

背景技术：

近些年来，随着汽车工业的快速发展，我国停车场行业进入蓬勃发展时期，由原先仅有一二十个车位、一个出入口的小型停车场，到数百个乃至上千个车位、多个出入口的大型停车场转变，标志着停车场势必往多空间、多功能方向发展。停车场规模越建越大、越建越复杂，停车隐患进一步加剧，行车与停车显现出来的矛盾日益突出，停车场找车难已成为车主头痛的难题。同时大型的停车场空间大固然使得车主更容易停车，然而由于大型停车场环境及标志物类似、方向不易辨别等原因，使得车主返回停车场时更加难以找到自己车辆停放的位置。停车、找车难的问题是近年来日益凸现出来的社会经济问题，不但严重制约了停车产业化的发展，也严重影响到经济的均衡发展。如何才能“停车容易，找车不愁”成了众多车主迫切期盼之事。

现在市面上已经有相关智能化停车场的出现，当车开进停车场就可以进行车牌识别并进行定时收费，但是仍然有一个问题困扰着大众。诺大的停车场分各种区、各楼层，让人不得不强行记忆车停放的位置，对找车造成了一定的困难。

国内外目前并无专门公司对此类停车场智能引导的机器人展开大规模的研制，暂无成熟的产业化成果，更多的是基于人工智能和无人驾驶技术的多功能机器人和的研究和生产。目前国内只有少数停车场用了自动驮车滑板车，但是因为成本较高，综合管理体系不完善难以大规模应用。

因此，现有停车场停车及寻车中存在停车寻车困难、现有滑板车成本高、难以大规模应用的问题。

技术实现要素：

本发明提供了一种停车场智能寻车机器人及智能引导方法，为车主提供引导服务，使寻车更方便的同时，降低了系统所需成本，适合大规模应用。

一种停车场智能寻车机器人包括图像采集单元、语音输入单元、中央控制单元，中央控制单元包括：

平衡控制模块，基于pid算法，结合组合传感器对机器人位姿进行精准调节修正，保证工作轨迹的稳定性；

人脸识别模块，用于对图像采集单元获取的人脸图像进行人脸识别，并从车位信息数据库中得到匹配的车位位置传输至路径规划模块；

语音识别模块，用于对语音输入单元输入的语音进行识别，将识别到的车位位置传输至路径规划模块；

路径规划模块，用于基于回传的车位位置以及当前位置，规划引导路线；

引导控制模块，用于基于深度神经网络对机器人周边环境进行分析，输出行驶控制结果；

网络通信单元包括：车位状态接收模块，用于接收车位检测传感网络检测到的停车场内车位状态数据，并发送至云端。

进一步地，引导控制模块的深度神经网络包括：

第一编码器，用于对机器人视野图像进行初始特征提取；

第二残差网络，用于对第一编码器输出的初始特征进一步进行特征提取；

池化层，用于对第二残差网络的输出张量进行空洞空间金字塔池化处理；

第一上采样模块，用于对池化层的输出进行上采样；

特征融合模块，用于将第一上采样的输出与第一残差块的输出进行接合操作；

第一解码器，用于对特征融合模块的输出进行上采样表征，得到机器人视野的包含各类目标语义的语义分割图像；

第二编码器，用于对机器人视野的语义分割图像进行特征提取；

第一全连接网络，用于对语义分割图像的特征进行加权分类，得到行驶控制结果。

进一步地，行驶控制结果包括行驶速度、行驶方向。

进一步地，智能引导机器人利用人体红外热释电传感器检测是否有人靠近，当有人靠近时，启动语音识别或人脸识别。

进一步地，车位检测传感网络采用对射式红外光电传感器。

进一步地，机器人包括车位信息数据库，用于存储车主人脸数据、车型数据、车牌数据、车位数据。

一种停车场智能引导方法，使用智能引导机器人进行引导，该方法包括：

步骤一，待启用模式的智能引导机器人检测是否有人靠近，若是则进入等待模式，转至步骤二，否则继续检测；

步骤二，根据车主的反应触发语音识别或人脸识别；

步骤三，根据回传的车位位置以及当前位置，规划引导路线；

步骤四，智能引导机器人按照引导路线开始引导任务，行驶过程中基于深度神经网络，输出实时的行驶控制结果；

步骤五，引导结束，机器人向等待位置返回，并进入待启用模式。

本发明的有益效果在于：

本发明提供一款功能特定、稳定且较低成本的全自动智能化引导车位机器人，通过红外传感检测停车场空位，由pid算法机器人运行引导，经由air202gprs及阿里云平台传感网络数据通信，采用语音及人脸识别辨识车主，使智能化机器人能够迅速且精准地在大规模停车场中，带领车主找到空车位及所停车的位置，大幅提升停车、找车效率。只要有简单对应的数字编码就可以实现引导性找车，方便快捷的实现智能化找车，不用再费尽心思寻找不知去向的停车位。停车场辅助引导找车机器人，解决停车场找车难问题，使停车管理走向科学化、智能化，提升停车管理、推动城市动静态交通发展的重要措施。不但提升了停车场的配套管理水平，而且也大大提高了停车场的周转率，综合解决了停车找车难的问题和车主对停车找车效率的满意度，有望成为未来停车场智能化管理必不可少的关键子系统。

本发明基于深度学习技术，设计了用于引导控制的深度神经网络，相比于传统的利用超声传感器进行避障，提高了机器人避障的智能性以及引导控制精度，可以应对各种复杂的行驶场景。本发明的深度神经网络结构采用空洞空间金字塔池化以及特征融合模块，能够感知不同尺度的目标特征，防止梯度弥散，具有更高的目标语义分割精度，从而进一步提高机器人实时行驶控制结果的精度。

附图说明

图1为停车场智能引导机器人的组成模块图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种停车场智能引导机器人及智能引导方法，能够迅速且精准地在大规模停车场中带领车主找到相应车位，大幅提升停车、找车效率。图1为本发明机器人的组成模块图。下面通过具体实施例来进行说明。

实施例一：

一种停车场智能引导机器人包括图像采集单元、语音输入单元、网络通信单元、中央控制单元。

网络通信单元包括车位状态接收模块。车位状态接收模块，用于接收车位检测传感网络检测到的停车场内车位状态数据，并发送至云端。

具体地，铺设车位检测传感网络。例如在每个车位两侧设置传感器，组成车位检测传感网络，从而获得每个车位的状态信息。通过stm32平台上的无线数传模块将车位状态信息发送至机器人。一种实施方式是基于stm32f1系列的高性价比mcu，利用对射式红外光电传感器，获取当前停车位是否有车的信息，并用无线数传通信模块nrf24l01(或者是wifi模块、蓝牙模块)，将车位数据发送到智能引导机器人。停车场车位较多时，由于nrf24l01只能实现一对六的通信，考虑组建无线通信网络，将每六个停车位的信息数据发送到另外的一个通信模块，再将这些二次数据发送至小车，具体的通信方式根据停车场车位数确定。在机器人上接入air202gprs模块，将停车场车位状态以及空车位信息发送至云平台，实时显示至用户端。

中央控制单元包括平衡控制模块、人脸识别模块、语音识别模块、路径规划模块、引导控制模块。

平衡控制模块，基于pid算法，结合陀螺仪、加速度计等组合传感器对机器人位姿进行精准调节和修正，保证机器人工作轨迹的稳定性。

语音识别模块，用于对语音输入单元输入的语音进行识别，将识别到的车位位置传输至路径规划模块。采用语音识别技术，基于ld3320语音识别芯片，车主可通过说出固定的语句及车位代号，机器人小车自动识别并开始引导工作。在引导完车主返回途中，利用人体红外热释电传感器，如果检测到附近有人机器人小车进入等待模式，在一段时间内如果这个人说出固定的语句，小车进行识别该车主，并开始进行下一次引导。当开始进行引导以及引导结束时，控制语音播放模块播放设置好的语句。

例如，当人开车进入停车场，停靠到相应的位置，只需记住车位附近的一个号码(比如30号)，待车主再次返回停车场取车，机器人将与车主交互并引导。车主向机器人说出“30”这个数字，机器人进行语音识别，进行处理，然后反馈给车主“开始引导，请随我来”，机器人以接近步速的行驶速度闪光或发声沿轨道前行，车主随机器人前行，到达指定车位，机器人停靠在指定停靠位，(此处空位识别)等车开走之后返航至起始端，等待下次召唤。

人脸识别模块，用于对图像采集单元获取的人脸图像进行人脸识别。采用人脸识别技术，基于zynq7020这款集成了fpga和cortex-a9处理器的芯片，运行linux系统或者采用openmv完成图像处理。给停车场车道上间隔一定距离铺设光电传感器。当有车主进入停车场时，存储了车主的人脸信息，在车主将车辆停放的过程中，车道上的传感器信号会随着车辆的位置发生改变，最后一次信号改变的传感器可以说明该车停放在该传感器周围，记录该车主所停车位信息。当车主进入停车场找车时，小车检测到有人靠近，唤醒人脸识别模式，识别该车主，并开始引导。引导结束，关闭人脸识别模式。在引导完车主返回途中，利用人体红外热释电传感器，如果检测到附近有人，机器人小车进入等待模式，在一段时间内如果这个人说出固定的语句，小车对该车主进行人脸识别，并开始进行下一次引导。

需要说明的是，当存车车主进入停车场时，采集车主的人脸图像以及车辆图像，并发送至云端。在云端对车主人脸图像进行人脸识别并分配id，对车辆图像进行车型识别、车牌识别，并将车主id、人脸数据、车型数据、车牌数据、车位数据对应存储，组成车位信息数据库。该车位信息数据库在云端与机器人端是同步更新的。识别车型的目的是为车辆匹配合适的车位。机器人还包括云端指令接收模块，可以用于接收来自云端的引导指令，该引导指令包括车位位置，引导车主驶向匹配的车位。

路径规划模块，用于基于回传的车位位置以及当前位置，规划引导路线。确定好目的车位后，根据该停车位的初始给定坐标以及机器人当前位置，基于停车场地图以及路径规划算法，规划引导路线，控制机器人循迹行驶。

在根据路径规划模块获得引导路线后，引导机器人开始根据引导路线进行引导。在引导过程中，可能会随机出现各种障碍物妨碍机器人平稳行驶，例如行人、墙壁等。因此，需要引导机器人根据周边环境做出实时的行驶决策，例如控制行驶速度、行驶方向防止碰撞。

引导控制模块，用于基于深度神经网络对机器人周边环境进行分析，输出行驶控制结果。本发明基于深度神经网络实现引导机器人在引导过程中的实时引导控制。

本发明用于引导控制的深度神经网络包括：第一编码器、第二残差网络、池化层、第一上采样模块、特征融合模块、特征融合模块、第一解码器、第二编码器、第一全连接网络。第一编码器、第二残差网络、池化层、第一上采样模块、特征融合模块、特征融合模块、第一解码器构成目标语义分割子网络。第一编码器，用于对机器人视野图像进行初始特征提取。在神经网络中，编码器的意义在于对图像进行通道扩增，以提取出有效特征。编码器的实现方式是多样的，包括卷积神经网络块(即cnnblock)，resblock。优选地，本实施采用cnnblock进行初始特征提取。第二残差网络，用于对第一编码器输出的初始特征进一步进行特征提取。与卷积神经网络模块相比，残差块会将上层的梯度传入中间的神经元，防止梯度弥散即张量难以被前面的网络层识别，因此能够加深网络的深度，从而提取出更加有效的特征。因此，本发明采用残差网络进一步进行特征提取。第二残差网络包括多个残差块。池化层，用于对第二残差网络的输出张量进行空洞空间金字塔池化处理。使用空洞空间金字塔池化能够提取多尺度特征，从而提高网络精度。第一上采样模块，用于对池化层的输出进行上采样；特征融合模块，用于将第一上采样的输出与第一残差块的输出进行接合操作。特征融合模块的接合操作使网络能够感知图像中细节，为后续模块提供丰富的结构信息，从而提高网络精度。第一解码器，用于对特征融合模块的输出进行上采样表征，得到机器人视野的包含各类目标语义的语义分割图像。

第二编码器、第一全连接网络构成引导控制子网络。第二编码器，用于对机器人视野的语义分割图像进行特征提取；第一全连接网络，用于对语义分割图像的特征进行加权分类，得到行驶控制结果。行驶控制结果包括行驶速度、行驶方向。例如，当遇到障碍物时，降低行驶速度到某一值，并控制其偏转行驶方向以避开障碍物，防止发生碰撞。

下面对本发明的神经网络训练过程进行说明。根据以上阐述，本发明的深度神经网络可以分为两个子网络：目标语义分割子网络、引导控制子网络。由于两个子网络的工况是隔离的，可以分别对两个子网络进行训练。在目标语义分割子网络训练时，输入数据为停车场车道上的各种场景图像，标注数据为各种场景图像对应的目标语义分割遮罩。实施者可以对车道、车辆以及车道上的障碍物分别进行标注，得到目标语义分割遮罩。利用交叉熵损失函数计算所有像素点类概率与其标注数据之间的损失。类概率可以使用softmax函数来进行计算。引导控制子网络的输入数据为目标语义分割子网络输出的目标语义分割遮罩。在训练时，需准备大量目标语义分割遮罩作为样本数据集，标注数据即为行驶控制结果。训练时，使用均方误差函数来控制网络更新权重等参数。

传统的机器人避障技术是利用超声波传感器对周围环境进行探测及时避障，防止造成停车场内交通混乱和安全事故。这里，可以将超声波传感器得到的距离数据与第二编码器输出的特征进行接合，共同输入第一全连接网络，以进一步提高本发明引导控制模块输出行驶控制结果的精度。

此外，还可以给停车场车道两侧设置机器人运动轨道，集中设立铺设黑色绝缘胶布，利用光电传感器辅助机器人更好地循迹行驶。

实施例二：

一种停车场智能引导方法：

步骤一，待启用模式的智能引导机器人检测是否有人靠近，若是则进入等待模式，转至步骤二，否则继续检测；

步骤二，根据车主的反应触发语音识别或人脸识别；

步骤三，根据回传的车位位置以及当前位置，规划引导路线；

步骤四，智能引导机器人按照引导路线开始引导任务，行驶过程中基于深度神经网络，输出实时的行驶控制结果；

步骤五，引导结束，机器人向等待位置返回，并进入待启用模式。

停车场智能引导方法是基于停车场智能引导机器人实现的。待启用模式是指当前机器人没有引导任务，可以随时为车主提供引导服务。根据实施例二的方法，在机器人完成引导任务返回途中，若遇到有引导需要的车主，可以重新规划引导路线，为车主提供引导服务。相比于使用自动滑板车进行寻车，不仅成本更低，而且使用更加灵活。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。