一种基于视觉跟随的多机协调控制方法与流程
本发明涉及一种基于视觉跟随的多机协调控制系统及其设计方法，属于计算机视觉和控制工程领域，可应用在大规模农业agv喷药、收割等的集群与编队。
背景技术：
由于对机器人更强的需求和各种技术的革新，视觉机器人的出现成为了必然。目前视觉机器人的研究与模式识别、目标追踪、室内定位、避障、队形变换、信息交互等很多领域有关。视觉机器人的出现使得传统工业发生了翻天覆地的变化，在军事、国防、安全、工业、运输等领域，机器人代替人来进行工作，也减少了危险发生的可能性，安全得以保证。视觉机器人的发展与应用前景广泛，必将带来极大的经济与社会效益。
而随着单机器人的发展，人们渐渐发现，对于复杂、需要并行配合处理的任务，其局限性则体现了出来。为了完成类似的任务，人们对多机器人的研究越来越重视，通过多机器人的协调运动控制来完成单机器人完成不了的任务，便是多机器人研究的重点方向。多机器人的研究始于70年代，多机器人系统由多个独立的单机器人组成，每个机器人都可以独立的感知自身与环境，也可以进行相互通信，拥有自己独立的控制与驱动系统，也能对其他机器人的运动产生间接或直接的影响。总之，多机器人的出现弥补了许多单机器人的不足，其能够完成单机器人完成不了的任务，或改善某些单机器人系统的综合性能。近十多年来，多机器人已经成为了机器人研究的重要领域。
多机器人的分系统如何设计，采用什么样的平台，运用什么样的传感器，采用什么样的控制算法，多机器人间如何组网，怎么实现多机器人系统的协调控制，这些问题每一个都能成为多机器人热门的研究方向。本发明中提出了一种新的基于视觉跟随的多机组网控制方法。
技术实现要素：
发明目的：在一些大规模的农场和物流量较大的仓储车间由于人工成本越来越昂贵，并且出错率会相对较高，便出现了轮式agv集群作业，但是市面上的agv集群控制方案依赖于昂贵的传感器和昂贵的通信方案。本发明提供了一种廉价且适合中小规模的多机协调控制系统设计方案，多机之间的跟随采用摄像头并结合一定的算法，多机之间的通信采用nrf24l01无线通信模块快速切换不同的频道实现一对多的通信。这样的多机协调控制系统适用于大规模的农业agv喷药、收割等的集群与编队，与单独的agv相比能够大大地提高作业效率和作业精度，从而达到“多核并行”的效果。
本发明采用的技术方案是：通过摄像头采集目标物体的中心点位置和目标物体的像素点数量，通过串口通信回传给主控，主控运用并联pid控制算法计算出相应的输出pwm占空比作用于电机从而实现移动平台对目标物体的跟随，本发明的全部步骤具体如下：
步骤1：对摄像头的感光元件进行设置，使得摄像头对光线的干扰不是很敏感；
步骤2：采集图像信息；
步骤3：图像信息处理，提取目标物体中心点位置坐标，计算目标物体感兴趣区像素点数量；
步骤4：摄像头模块将目标物体中心点位置坐标和感兴趣区像素点数量数据通过串口回传给主控；
步骤5：主控对接收到的位置和像素数据进行并联pid处理；
步骤6：将并联pid的输出作用于电机，实现视觉跟随闭环控制；
步骤7：当领航移动平台的视野里突然出现了有色障碍物，主控通过位置pid控制，以右优先原则使得障碍物移出视野，达到避障效果；
步骤8：领航移动平台通过nrf24l01快速切换频段发出队形指令，后面的移动平台调节位置pid的期望，保持跟随，变换队形。
进一步，对于上述步骤1，由于追踪目标物体需要划定阈值，摄像头初始化时周围的光线对阈值的影响较大，所以本发明在感光元件初始化时需要做一些设置，使得每次初始化后周围的背景色调基本不变。具体步骤主要包括：
(1)初始化感光元件；
(2)设置画面为rgb565彩色模式；
(3)设置画面分辨率为qqvga即为160*120像素；
(4)关闭自动增益，设置自动增益系数为当前的0.8；
(5)关闭白平衡，设置背景色调的rgb值为(-8.886325,-6.02073,-4.886325)；
(6)关闭自动曝光时间，设置自动曝光时间系数为当前的0.8；
(7)延迟200ms，跳过起始画面，获取稳定图像。
进一步，对于上述步骤2，用摄像头截取一帧彩色图片。
进一步，对于上述步骤3，在每个移动平台上加上有色物块作为目标物体。在此系统中，本发明使用“杆式算法”来解决视觉跟随的难题。摄像头模块处理完返回两种信息，一种是目标物体的中心点坐标信息，另一种是目标物体的像素数量信息。目标物体的坐标可以限定当前移动平台的朝向，从而使移动平台对准目标物体，而目标物体的像素大小又可以限制移动平台与目标物体的距离，两项相加，就使得移动平台与目标物体仿佛栓了一根细杆一样，目标物体如何移动，移动平台就跟随目标物体如何移动，本发明将这种算法命名为“杆式算法”。具体步骤主要包括：
(1)根据阈值找到目标物体所在区域并建立为感兴趣区；
(2)计算出感兴趣区半长坐标即为目标物体中心点位置坐标；
(3)计算出感兴趣区的像素点数量即为目标物体当前的像素数量。
而实现这种算法的方式就是使用并联pid。这种并联pid将目标物体坐标pid与目标物体大小pid进行并联。在程序中，运算目标物体坐标pid时，因为移动平台是二维的，所以只要使用目标物体的中心点x坐标，将中心点x坐标的目标值设定为摄像头窗口宽度值的一半，从而保证目标物体在摄像头的视野中心，即移动平台对准目标物体。运算目标物体像素大小pid中，将像素大小的目标值设为2400，从而保证移动平台与目标物体的距离适中。在进行“杆式算法”时，首先判断pid算法是否被使能，如果没有被使能则停转电机并返回，否则先进行目标物体大小pid算法得到一个输出量o1，再进行目标坐标pid算法得到一个输出量o2，电机1输出值为基础速度-o2+o1，电机2输出值为基础速度+o2+o1。再对两个电机输出值进行限幅即可。
进一步，对于上述步骤4，摄像头模块将目标物体中心点位置坐标和感兴趣区像素点数量数据通过串口回传给主控，波特率都使用115200bps；
进一步，对于上述步骤5，本发明采用了双闭环并联pid控制算法，一个环是目标物体的位置闭环，另一个环是目标物体的像素闭环，最后将这两个闭环的控制输出并联作用到被控对象上。对于目标物体的位置闭环，假设实时位置为x，位置期望为x*，速度基值为vbase，位置环输出为vout1，则经过pid控制器后满足：
进一步，对于上述步骤6，将并联pid的输出作用于电机，实现视觉跟随闭环控制；
进一步，对于上述步骤7，要实现联合避障，领航的移动平台需要辨别目标障碍物并执行避障算法，其他分移动平台跟随领航移动平台进行避障。本发明避障算法的原理是将障碍物周围分成3个区域分别为安全区、障碍区和危险区，移动平台从安全区向障碍驶去，刚进入避障区时便执行避障算法，以右优先原则，向右旋转一定角度使得障碍物不在视野中，然后直线行驶，在此过程中如果障碍物重新出现就继续向右转，在旋转时利用移动平台的姿态传感器计算出移动平台旋转的角度，在一定时间以后，移动平台避障完成，再根据姿态传感器转回之前的方向。
进一步，对于上述步骤8，本发明只进行了简单的队形变换，即让纵行队在“(”形和“)”形之间变换，该算法通过调整被识别物体的坐标pid目标值，即可实现。当领航移动平台的运动状态不断发生改变，后面移动平台的被识别物体的坐标pid目标值便不断变换，然后再通过杆式算法即可实现整个系统队形变换的效果。
本发明的有益效果是：
(1)本发明相对于单agv来说，在大规模农业喷药、收割等方面工作效率大大提升，能够达到“多核并行”的效果。
(2)本发明与传统的红外、激光探测避障的agv相比，视觉避障是二维的，所采集到的是一个平面而传统的红外避障是一维的，所采集到的是一个点，所以传统的红外、激光避障盲区较大，避障进度比较低，且需要安装数量较多的传感器；本发明只需要一个摄像头配合广角镜头即可，且盲区较小，避障精度比较高。
(3)本发明与现有的有轨agv相比，行走路径是自由的，且无需花大量的资金铺设磁带轨道。本发明可加入一些定位、导航系统，实现一些多机协调路径规划算法。
(4)本发明与现有的一些带定位基站的agv集群系统相比，无需担心通信信号被屏蔽，也无需耗费资金建立基站。本发明的领航移动平台能够实时地将前方的障碍情况、队形指令告知后方的移动平台。
附图说明
附图1为本发明机械移动平台一层示意图；
附图2为本发明机械移动平台二层示意图；
附图3为本发明“杆式算法”流程图；
附图4为本发明并联pid控制控制器控制框图；
附图5为本发明避障算法示意图。
其中：1-移动平台一层主板；2-移动平台一层二层之间铜柱连接孔；3-电源驱动板固定孔；4-万向轮固定孔；5-电池定位槽；6-电源驱动板放置区；7-主控板放置区；8-移动平台左轮；9-移动平台右轮；10-主控板定位孔；11-电机连接轴；12-电机1；13-电机2；14-电机支架定位孔；15-电机支架；16-移动平台二层主板；17-移动平台一层二层之间铜柱连接孔；18-接线槽；19-摄像头放置处；20-接线槽。
具体实施方式
下面结合附图和实例对本发明作更进一步的说明：
下面结合示意图具体说明所发明的采用激光传感器的风送式变量喷雾喷杆自动跟踪系统的工作过程。
如图1所示，本发明机械移动平台一层示意图。1为移动平台一层主板；2为移动平台一层二层之间铜柱连接孔(同标记17相连)；3为电源驱动板固定孔，用于固定电源驱动板；4为万向轮固定孔，用于固定万向轮，该万向轮为从动轮；5为电池定位槽，用于放置电池；6为电源驱动板放置区；7为主控板放置区，用于放置主控；8为移动平台左轮；9为移动平台右轮；10为主控板定位孔，用于固定主控板；11为电机连接轴，用于连接电机和移动平台左右轮；12为电机1；13为电机2；14为电机支架定位孔，用于固定电机支架；15为电机支架，用于固定电机。
如图2所示，本发明机械移动平台二层示意图。16为移动平台二层主板；17为移动平台一层二层之间铜柱连接孔；18为接线槽；19为摄像头放置处；20为接线槽，用于连接摄像头和主控(为stm32f4单片机)。
本发明的移动平台系统机械硬件部分包括移动平台一层、二层主板；铜柱连接孔；万向轮固定孔；电源驱动板固定孔；主控板定位孔；电池定位槽；电机支架定位孔。一层主板与二层主板通过铜柱连接孔相连；万向轮通过四个万向轮定位孔安置在移动平台的一层底部前方；一层主板上方放置驱动板和主控板，通过四个电源驱动板固定孔和四个主控板定位孔与一层主板进行连接；电池通用连接带通过电池定位槽与一层主板进行连接；电机和一层主板则用电机支架作为中间件从而和电机支架定位孔固定在一起；二层主板上方放置摄像头保证其广阔的视野。
如图3所示，本发明的“杆式算法”程序框图。在每个移动平台上加上有色物块作为目标物体。摄像头模块处理完返回两种信息，一种是目标对象的坐标信息，另一种是目标对象的像素大小。目标物体的坐标可以限定当前移动平台的朝向，从而使移动平台对准目标物体，而目标物体的像素大小又可以限制移动平台与目标物体的距离，两项相加，就使得移动平台与目标物体仿佛栓了一根细杆一样，目标物体如何移动，移动平台就跟随目标物体如何移动。本发明将这种算法命名为“杆式算法
如图4所示，本发明并联pid控制控制器控制框图。本发明采用了双闭环并联pid控制算法，一个环是目标物体的位置闭环，另一个环是目标物体的像素闭环，最后将这两个闭环的控制输出并联作用到被控对象上。对于目标物体的位置闭环，假设实时位置为x，位置期望为x*，速度基值为vbase，位置环输出为vout1，则经过pid控制器后满足：
如图5所示，本发明避障算法示意图。要实现联合避障，领航的移动平台需要辨别目标障碍物并执行避障算法，其他分移动平台跟随领航移动平台进行避障。本发明避障算法的原理是将障碍物周围分成3个区域分别为安全区、障碍区和危险区，移动平台从安全区向障碍驶去，刚进入避障区时便执行避障算法，以右优先原则，向右旋转一定角度使得障碍物不在视野中，然后直线行驶，在此过程中如果障碍物重新出现就继续向右转，在旋转时利用移动平台的姿态传感器计算出移动平台旋转的角度，在一定时间以后，移动平台避障完成，再根据姿态传感器转回之前的方向。
本发明采用的技术方案是：通过摄像头采集目标物体的中心点位置和目标物体的像素点数量，通过串口通信回传给主控，主控运用并联pid控制算法计算出相应的输出pwm占空比作用于电机从而实现移动平台对目标物体的跟随，本发明的全部步骤具体如下：
步骤1：对摄像头的感光元件进行设置，使得摄像头对光线的干扰不是很敏感；
步骤2：采集图像信息；
步骤3：图像信息处理，提取目标物体中心点位置坐标，计算目标物体感兴趣区像素点数量；
步骤4：摄像头模块将目标物体中心点位置坐标和感兴趣区像素点数量数据通过串口回传给主控；
步骤5：主控对接收到的位置和像素数据进行并联pid处理；
步骤6：将并联pid的输出作用于电机，实现视觉跟随闭环控制；
步骤7：当领航移动平台的视野里突然出现了有色障碍物，主控通过位置pid控制，以右优先原则使得障碍物移出视野，达到避障效果；
步骤8：领航移动平台通过nrf24l01快速切换频段发出队形指令，后面的移动平台调节位置pid的期望，保持跟随，变换队形。
进一步，对于上述步骤1，由于追踪目标物体需要划定阈值，摄像头初始化时周围的光线对阈值的影响较大，所以本发明在感光元件初始化时需要做一些设置，使得每次初始化后周围的背景色调基本不变。具体步骤主要包括：
(1)初始化感光元件；
(2)设置画面为rgb565彩色模式；
(3)设置画面分辨率为qqvga即为160*120像素；
(4)关闭自动增益，设置自动增益系数为当前的0.8；
(5)关闭白平衡，设置背景色调的rgb值为(-8.886325,-6.02073,-4.886325)；
(6)关闭自动曝光时间，设置自动曝光时间系数为当前的0.8；
(7)延迟200ms，跳过起始画面，获取稳定图像。
进一步，对于上述步骤2，用摄像头截取一帧彩色图片。
进一步，对于上述步骤3，在每个移动平台上加上有色物块作为目标物体。在此系统中，本发明使用“杆式算法”来解决视觉跟随的难题。摄像头模块处理完返回两种信息，一种是目标物体的中心点坐标信息，另一种是目标物体的像素数量信息。目标物体的坐标可以限定当前移动平台的朝向，从而使移动平台对准目标物体，而目标物体的像素大小又可以限制移动平台与目标物体的距离，两项相加，就使得移动平台与目标物体仿佛栓了一根细杆一样，目标物体如何移动，移动平台就跟随目标物体如何移动，本发明将这种算法命名为“杆式算法”。具体步骤主要包括：
(1)根据阈值找到目标物体所在区域并建立为感兴趣区；
(2)计算出感兴趣区半长坐标即为目标物体中心点位置坐标；
(3)计算出感兴趣区的像素点数量即为目标物体当前的像素数量。
而实现这种算法的方式就是使用并联pid。这种并联pid将目标物体坐标pid与目标物体大小pid进行并联。在程序中，运算目标物体坐标pid时，因为移动平台是二维的，所以只要使用目标物体的中心点x坐标，将中心点x坐标的目标值设定为摄像头窗口宽度值的一半，从而保证目标物体在摄像头的视野中心，即移动平台对准目标物体。运算目标物体像素大小pid中，将像素大小的目标值设为2400，从而保证移动平台与目标物体的距离适中。在进行“杆式算法”时，首先判断pid算法是否被使能，如果没有被使能则停转电机并返回，否则先进行目标物体大小pid算法得到一个输出量o1，再进行目标坐标pid算法得到一个输出量o2，电机1输出值为基础速度-o2+o1，电机2输出值为基础速度+o2+o1。再对两个电机输出值进行限幅即可。
进一步，对于上述步骤4，摄像头模块将目标物体中心点位置坐标和感兴趣区像素点数量数据通过串口回传给主控，波特率都使用115200bps；
进一步，对于上述步骤5，本发明采用了双闭环并联pid控制算法，一个环是目标物体的位置闭环，另一个环是目标物体的像素闭环，最后将这两个闭环的控制输出并联作用到被控对象上。对于目标物体的位置闭环，假设实时位置为x，位置期望为x*，速度基值为vbase，位置环输出为vout1，则经过pid控制器后满足：
进一步，对于上述步骤6，将并联pid的输出作用于电机，实现视觉跟随闭环控制；
进一步，对于上述步骤7，要实现联合避障，领航的移动平台需要辨别目标障碍物并执行避障算法，其他分移动平台跟随领航移动平台进行避障。本发明避障算法的原理是将障碍物周围分成3个区域分别为安全区、障碍区和危险区，移动平台从安全区向障碍驶去，刚进入避障区时便执行避障算法，以右优先原则，向右旋转一定角度使得障碍物不在视野中，然后直线行驶，在此过程中如果障碍物重新出现就继续向右转，在旋转时利用移动平台的姿态传感器计算出移动平台旋转的角度，在一定时间以后，移动平台避障完成，再根据姿态传感器转回之前的方向。
进一步，对于上述步骤8，本发明只进行了简单的队形变换，即让纵行队在“(”形和“)”形之间变换，该算法通过调整被识别物体的坐标pid目标值，即可实现。当领航移动平台的运动状态不断发生改变，后面移动平台的被识别物体的坐标pid目标值便不断变换，然后再通过杆式算法即可实现整个系统队形变换的效果。
综上所述，本发明公开了一种基于视觉跟随的多机协调系统及其设计方法，属于计算机视觉和控制工程领域。本发明在移动平台的二层放置了不同形状、颜色的物块，通过摄像头采集图像信息，实时地将目标物体的坐标和像素大小通过串口回传给主控，主控将坐标与像素分别送入pid控制器，将这两个pid控制器进行并联，将输出作用于两个电机，从而使移动平台与目标物体仿佛栓了一根细杆一样，目标物体如何移动，移动平台就跟随目标物体如何移动，从而实现跟随。当前方出现障碍物时，领航移动平台通过位置pid调节使得障碍物不在视野范围内，从而实现避障功能。领航移动平台通过nrf24l01模块的不同频道给跟随的移动平台发送队形指令，从而实现队形变换的功能。相对于传统的红外、激光避障、带定位基站集群方案，本发明使用摄像头和广角镜头，使得成本大大降低，集群更加容易，避障盲区更小。本发明可应用在大规模农业agv喷药、收割等的集群与编队。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
- 还没有人留言评论。精彩留言会获得点赞！