基于体感感应器的温室省力化自动跟随作业平台的制作方法
【技术领域】
[0001] 本发明创造涉及一种基于体感设备的温室省力化自动跟随作业平台，尤其是用于 设施农业采摘、收割和植保技术领域中。
【背景技术】
[0002] 现有设施农业蔬菜生产中的搬运作业多采用人力或非专用设备搬运为主，需要大 量的劳动力和高强度的劳动，费时费力。国外一些发达国家，由于现代温室结构规范化和统 一化，采用了轨道运输车式作业平台，大大节省了劳动力和提高了作业效率。然而，我们国 家受限于现阶段设施农业发展特点，即小型温室空间狭窄、温室内部铺设轨道改造成本较 高、设备购置和维修投入经费有限，国外广泛应用的轨道式运输车结构不能充分满足我国 设施农业的实际使用要求；同时，轨道式运输平台作业不够灵活，功能单一，不能满足采摘、 收割和植保等作业对不同平台的需求，耗费了人力物力，影响了作业效率。
【发明内容】
[0003] 本发明的目的在于提供一种基于体感感应器的温室省力化自动跟随作业平台。温 室省力化自动跟随平台的建立，并以满足温室采摘、收割、植保作业等多种作业为目标，基 于深度图像感应器和图像处理技术实现温室省力化自动跟随高效作业；该系统能够实时获 取人体骨骼数据和温室场景深度数据，通过人体骨骼数据获取省力化平台与人之间的距 离，并用图像特征提取方法来辨识障碍物，从而进一步对自动跟随平台的路径进行规划。省 力化自动跟随平台采用可编程逻辑控制器和电子指南针、位移传感器对平台的行进方向和 距离进行精准控制，实现省力化平台的实时跟随作业。
[0004] 本系统主要解决的四大问题：（1)轨道式运输平台的局限性：轨道式运输不够灵 活，且不适合我国现阶段温室的结构特点。（2)智能化的跟随作业：能够通过骨骼追踪实时 检测最近作业者的距离，并通过图像特征提取的方法对温室场景数据进行特征提取，辨别 作物行和障碍物，从而在不破坏作物的前提下避开障碍物。（3)得到障碍物分布后，根据障 碍物的高度和长度等信息来决策具体行进方式，为省力化平台提供最佳避障路径。（4)省力 化平台上载有可升降平台，满足不同的作业需求。
[0005] 为了解决以上技术问题，本发明采用的技术方案是：基于体感感应器的温室省力 化自动跟随作业平台，其特征在于，包括六个部分：图像采集装置、图像处理和数据处理模 块、省力化运输平台控制器、省力化运输平台执行装置、遥控控制装置和辅助设备；其中，图 像采集装置、图像处理和数据处理模块、省力化运输平台控制器全部安装于省力化运输平 台执行装置的运输小车上；
[0006] (1)图像采集装置采用体感感应器，体感感应器通过RS232接口与主机连接，将图 像数据传送给主机；
[0007] (2)图像处理和数据处理模块由主机及其配套软件和蓝牙收发模块组成；
[0008] 主机从体感感应器获取图像数据进行图像处理后，再把相应的执行命令通过 RS232传送给下位机PLC，并通过蓝牙通信将实时信息发送到手机遥控端；
[0009] (3)省力化自动跟随平台控制器由PLC控制器及其配套软件组成，PLC控制器从模 拟量输入端口获取各传感器的数据，通过RS232串口传送数据给主机，并主机获取相应的 执行命令并执行；
[0010] (4)省力化自动跟随平台执行装置包括运输小车、可升降平台、直流步进电机、继 电器，通过PLC控制器驱动运输小车的前进、后退、转弯、报警以及可升降平台的升高和降 低功能；
[0011] (5)遥控控制装置由蓝牙收发功能的可触屏手机和其配套的软件组成，可触屏手 机通过蓝牙与主机通信，可以实现手机端遥控控制运输小车的前进、后退、转弯和可升降平 台的升高与降低等功能；
[0012] (6)辅助设备包括电子指南针、位移传感器、重力传感器、压力开关，它们均与PLC 控制器电连接；
[0013] 其中，首先由体感感应器获得人体骨骼数据和深度数据，从人体骨骼数据中提取 被跟随人的坐标；主机采集骨骼数据和深度数据并进行存储和换算，当体感感应器与人体 距离超过0. 4m时，计算纵向深度斜率，当斜率值大于1. 4时，认为是作物行，斜率值在1. 05 到1. 2之间的为可疑障碍物；根据坐标换算，求得障碍物的高度，若障碍物高度小于0. 05m， 不需要转弯，可直接前行；若障碍物在〇. 〇5m到0. 12m之间，根据障碍物具体长度和小车车 体宽度判断是否能够通过；若障碍物长度小于小车双轮间的距离，由差动转向方式小幅度 调整车轮方向，使障碍物不触碰车胎通过；若障碍物长度大于小车双轮之间的宽度或者障 碍物高度大于〇. 12m，计算作物行边界与障碍物边界之间的间隙距离，从间隙超过车体宽度 的一侧通过；若两侧距离都不超过车体宽度，则报警。
[0014] 与现有的技术方案相比，本发明创造的有益效果是：（1)骨骼追踪和深度图像结 合：得到省力化平台与最近操作者之间的距离和周围场景的障碍物信息，根据障碍物高度 和长度选择避障方式。其特点是障碍物的长度和宽度不同，避障路径也不相同。（2)运输 平台采用差速转向方式，用电子指南针检测其转角，位移传感器检测其位移，并进行闭环调 整，使运输平台能够原地转过需要的角度。（3)多种工作模式：该省力化运输平台共设置了 三种工作模式，分别为自动跟随模式、手机遥控模式和手动模式。自动跟随模式：根据体感 设备获取骨骼数据和深度图像，进行纵向斜率比较和横向斜率比较的图像处理之后获得最 佳跟随路径，使运输平台与最近的操作者之间始终保持0. 2m-0. 4m的距离。手机遥控模式： 用户可设置省力化平台的行进方式，以满足一些工作需求。手动模式：可以通过手动按钮 的方式对运输平台的行进和升降机构等进行操作。（4)可升降式的机械结构：为满足不同 作业需求，该平台可以升高或者降低三个高度，可以手动按钮设置，也可以在手机端遥控设 置。本发明特别适用于大型多栋温室的采摘、收割和植保作业等场合。本发明将体感感应 器的深度图像感应器的深度数据和人体骨骼数据结合在一起，获取实时的场景图像，先根 据骨骼数据判断视野中最近被跟随人的位置，然后通过纵向斜率比较和横向斜率比较的 特征提取方法获得温室作物边界和路面障碍信息，并选择避障方式，使得作业平台能够避 开障碍物跟随作业者行走，并始终与被跟随人保持0. 2m-0. 4m的距离。同时运输平台上配 有可升降的机械结构，以满足不同的作业需求。
【附图说明】：
[0015] 图1温室省力化自动跟随平台硬件结构原理图；
[0016] 图2温室省力化自动跟随平台电路结构示意图；
[0017] 图3温室省力化自动跟随平台工作流程示意图；
[0018] 图4手机遥控界面示意图。
[0019] 图5是对列的所有像素点的深度值求和的示意图；
[0020] 图6是二角坐标关系不意图。
【具体实施方式】
[0021] 下面结合附图，对本发明进一步的描述，但其不代表为本发明的唯一实施方式。
[0022] 请阅图1，温室省力化自动跟随平台主要包括六个部分：图像采集装置、图像处理 和数据处理模块、省力化运输平台控制器、省力化运输平台执行装置、遥控控制装置和辅助 设备。其中，图像采集装置、图像处理和数据处理模块、省力化运输平台控制器全部安装于 运输平台上。
[0023] (1)图像采集装置主要是体感感应器，它通过RS232接口与主机连接，将图像数 据传送给主机。
[0024] (2)图像处理和数据处理模块主要是主机及其配套软件和蓝牙收发模块组成。
[0025] 主机从体感感应器获取图像数据进行图像处理后，再把相应的执行命令通过 RS232传送给下位机PLC，并通过蓝牙通信将实时信息发送到手机遥控端。
[0026] (3)省力化自动跟随平台控制器主要由PLC控制器及其配套软件组成，控制器PLC 从模拟量输入端口获取各传感器的数据，通过RS232串口传送数据给主机，并主机获取相 应的执行命令并执行。
[0027] (4)省力化自动跟随平台执行装置包括运输小车、可升降平台、直流步进电机、继 电器等，主要通过PLC驱动小车的前进、后退、转弯、报警以及升降平台的升高和降低等功 能。
[0028] (5)遥控控制装置带有蓝牙收发功能的可触屏手机和其配套的软件组成，可触屏 手机通过蓝牙与主机通信，可以实现手机端遥控控制省力化运输平台的前进、后退、转弯和 可升降平台的升高与降低等功能。
[0029] (6)辅助设备包括电子指南针、位移传感器、重力传感器、压力开关、继电器等辅助 省力化运输平台的实现。
[0030] 下面对一些现有的公知知识再进一步详细描述。
[0031] 本发明采用骨骼数据获取操作者的位置，并用深度图像经过纵向斜率比较和横向 斜率比较的特征提取方法获取作物行的位置和障碍物信息，从而为运输平台提供最佳避障 跟踪路径。具体步骤如下：
[0032] 步骤（1):摄像头标定：由于针孔模型与深度摄像头成像极为相似，因此可以利用 针孔成像模型得到：
[0036] 其中，dx、七分别表示像素点（u，v)相对中心位置（u。，V。）在X轴和Y轴方向偏移 的距离。fx、fy为摄像机内部参数。
[0037] 步骤（2):以获取到的深度图像中的一列为一个像素组，如图5所示，对该列的所 有像素点的深度值求和：第一组深度值求和为：
[0040] 其中k取3,即每4列选取一组像素点组。
[0041] 步骤（