一种基于运动算法的自动跟随载物车的控制系统及方法与流程

本发明涉及一种基于运动算法的自动跟随载物车的控制系统及方法。

背景技术：

目前，我国对智能移动小车的研究逐渐走向成熟，每年我国举办的全国智能车竞赛如“飞思卡尔智能车大赛”、“robotcup大赛”等都会吸引几十所高校的上百个代表队参加比赛。移动机器人正在朝着智能化、自动化、多样化的方向发展，通过查阅文献得知，近些年，我国智能移动小车市场的增长速度一直处于世界第一的位置，2014年我国已经成为智能移动小车市场销量最大的国家，然而与美、日、韩等国相比，我国的智能移动小车密度相对较低，并且大部分智能移动小车公司主要考虑自主寻迹、探测救援和高空作业等方面，在载物和自动跟随方面的研究比较少，发展空间巨大，所以研究一个低成本、操作简单、安装简易、实时性强、跟踪准确性高的自动跟随载物小车有很大的现实意义。现有的自动跟踪方法还存在着易受干扰、跟踪准确性差等缺陷，被跟随者还需携带信号接收器。

技术实现要素：

本发明的目的是为了解决现有的自动跟踪方法还存在着易受干扰、跟踪准确性差等缺陷，被跟随者还需携带信号接收器的问题，而提出一种基于运动算法的自动跟随载物车的控制系统及方法。

一种基于运动算法的自动跟随载物车的控制系统，其组成包括：cortex-a9处理器、视频采集电路、报警电路、电机调速驱动电路、供电电路、蓄电池、蓄电池电量检测电路、tf卡接口电路、sdram、nandflash、norflash，cortex-a9处理器分别连接视频采集电路、报警电路、电机调速驱动电路、供电电路、蓄电池电量检测电路、tf卡接口电路、sdram、nandflash和norflash，视频采集电路连接摄像头，供电电路连接蓄电池，蓄电池连接蓄电池电量检测电路，电机调速驱动电路连接一组电机。

一种基于运动算法的自动跟随载物车的控制方法，所述方法通过以下步骤实现：

步骤一、选用六自由度的仿射变换模型建立摄像头全局运动模型，根据两帧之间特征区域的位置关系求解运动模型矩阵中的未知参数，即求得运动模型；

步骤二、利用求得的仿射变换模型对当前帧图像进行运动补偿，使背景静态化；

步骤三、使用静态背景下的四帧差分结合背景减除求出差分图像，以提取运动目标；

步骤四、经过腐蚀膨胀等形态学图像处理手段，得到完整的运动目标区域；

步骤五、对运动目标和背景进行阈值分割，根据运动目标像素信息来求取质心，进而确定出运动目标矩形框的四角坐标，以此为依据对下一帧进行截图；

步骤六、利用运动目标跟踪算法结合卡尔曼滤波算法的方法，载物车随着运动目标的运动进行合适的调节，以准确跟随运动目标。

本发明的有益效果为：

本发明是一种基于运动算法的自动跟随载物车的控制方法，通过建立全局运动模型并求解运动模型矩阵中的未知参数；利用求得的模型对当前帧图像进行运动补偿，使背景静态化；求出差分图像提取运动目标；经过图像处理手段，得到完整的运动目标区域；对运动目标和背景进行阈值分割；利用运动目标跟踪算法结合卡尔曼滤波算法的方法，载物车随着运动目标的运动进行调节，以准确跟随运动目标。本发明根据运动目标质心的运动情况来跟踪运动目标，且既能实现复杂环境下对目标的自动跟踪，又能彻底解放人们的双手，提高工作效率。

附图说明

图1为本发明方法流程图；

图2为本发明涉及的帧间差分法图示；

图3为本发明涉及的运动目标质心坐标变动情况的图示；

图4为本发明涉及的运动目标运动平面图；

图5为本发明涉及的一种基于运动算法的自动跟随载物车的控制系统原理图；

图6为本发明涉及的供电电路；

图7为本发明涉及的电机调速驱动电路；

图8为本发明涉及的蓄电池电量检测电路；

图9为视频采集电路。

具体实施方式

具体实施方式一：

本实施方式的一种基于运动算法的自动跟随载物车的控制系统，如图5-9所示，其组成包括：cortex-a9处理器1、视频采集电路2、报警电路3、电机调速驱动电路4、供电电路5、蓄电池6、蓄电池电量检测电路7、tf卡接口电路8、sdram(图中标号为9)、nandflash(图中标号为10)、norflash(图中标号为11)，cortex-a9处理器1分别连接视频采集电路2、报警电路3、电机调速驱动电路4、供电电路5、蓄电池电量检测电路7、tf卡接口电路8、sdram(图中标号为9)、nandflash(图中标号为10)和norflash(图中标号为11)，视频采集电路2连接摄像头12，供电电路5连接蓄电池6，蓄电池6连接蓄电池电量检测电路7，电机调速驱动电路4连接一组电机13。

具体实施方式二：

本实施方式的一种基于运动算法的自动跟随载物车的控制方法，如图1所示，所述方法通过以下步骤实现：

步骤一、选用六自由度的仿射变换模型建立摄像头全局运动模型，根据两帧之间特征区域的位置关系求解运动模型矩阵中的未知参数，即求得运动模型；

步骤二、利用求得的仿射变换模型对当前帧图像进行运动补偿，使背景静态化；

步骤三、使用静态背景下的四帧差分结合背景减除求出差分图像，以提取运动目标；

步骤四、经过腐蚀膨胀等形态学图像处理手段，得到完整的运动目标区域；

步骤五、在此基础上，对运动目标和背景进行有效的阈值分割，根据运动目标像素信息来求取质心，进而确定出运动目标矩形框的四角坐标，以此为依据对下一帧进行截图，避免了除运动目标以外的其他运动目标的干扰；

步骤六、利用运动目标跟踪算法结合卡尔曼滤波算法的方法，载物车随着运动目标的运动进行合适的调节，以达到准确跟随运动目标的目的。

具体实施方式三：

与具体实施方式二不同的是，本实施方式的一种基于运动算法的自动跟随载物车的控制方法，所述的步骤一中，选用六自由度的仿射变换模型建立摄像头全局运动模型，根据两帧之间特征区域的位置关系求解运动模型矩阵中的未知参数，即求得运动模型的过程是指，使用freak特征点及其特征描述子对相邻图像之间的关键点进行配对，将匹配到的关键点通过随机采样一致法筛选后，代入六自由度的仿射变换模型中，进而得到精确的全局运动模型中的未知参数；

具体为：

步骤一一、假设h为某一特征点的freak描述子，则:

式中:pα表示一个采样点对；n为特征向量数；为采样点经高斯平滑后的强度值；

步骤一二、为了保证该算法具有方向不变性，需要为每个特征点增加方向信息。特征点的方向是由上述步骤得到对比集合中差异性较大的部分集合进行局部梯度求和来确定的，一般只将长的、对称的点对提取。通常选取45个长度以及对称的采样点对来提取特征点的方向；

步骤一三、通过式(3)进行角度计算：

式中：o是局部梯度信息，g是特征点对的集合，m为集合g中点的采样点对数，是po的前一位图像像素点的区域灰度均值，对应分析得到是po的后一位像素点的区域灰度均值；

和分别是po的前一位和后一位的采样特征点空间坐标的二维向量，由此得到特征点的方向信息；

步骤一四、生成由0和1组成的512位二进制描述子h；

步骤一五、通过异或运算计算两个二进制描述子的汉明距离；

当两者的汉明距离小于设定的阈值时，则认为匹配成功，进行下一步；否则，为匹配失败；

步骤一六、将目标视为在平面上进行运动，目标在相邻帧间的运动视为平移、旋转和缩放变换的叠加，基于效率与准确度的考虑，这里使用六参数仿射变换模型对全局运动进行建模，公式为：

式(4)中,(x,y)为参考帧中像素坐标；(x,y)为当前帧中像素坐标；定义参数矢量p＝(a,b,c,d,e,f)^t，其中分量a，b，c，d与缩放、旋转运动有关，分量e，f与平移运动有关；将式(4)矩阵改写，得到仿射变换模型矩阵：

从得到的匹配成功的特征点对中选取不共线的三个，代入式(4)中，即可求得上述全局运动参数。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种基于运动算法的自动跟随载物车的控制方法，

所述的步骤一中还包括由于特征点误匹配的存在，需要对求得的匹配点进行提纯的步骤，去除较大误差的点，一般来说，我们将这些误匹配的点称为外点，使用这些外点求得的仿射模型会出现较大的误差，匹配点的提纯方法分为比较提纯法和一致性提纯法，考虑到系统的实时性和稳定性，故采用一致性提纯法中的随机采样一致法来进一步提纯匹配点。

具体方法如下：

(1)筛选特征点对。根据汉明距离对特征点对进行排序，选择前m个特征点对。

(2)从m个特征点对中，选择3个特征点对建立方程组，求解仿射模型的6个参数。

(3)利用步骤(2)中求得的参数对剩余的(m-3)个特征点对进行判断，若点(x,y)经过仿射变换模型矩阵后的点与(x,y)的欧氏距离小于设定的阈值，则该匹配视为内点，反之为外点。

(4)重新随机选择3个特征点对，执行步骤(2)和步骤(3)k(k一般取10)次后，进入步骤(5)，并统每次内点数目s。

(5)选择内点数最多的变换矩阵参数作为最终的变换参数，与此对应内点集合为最终的匹配点集。

具体实施方式五：

与具体实施方式四不同的是，本实施方式的一种基于运动算法的自动跟随载物车的控制方法，所述的步骤二中，利用求得的仿射变换模型对当前帧图像进行运动补偿，使背景静态化的过程，具体为：

运用向后映射的方法抵消相邻图像之间由于摄像机姿态的变化造成的背景运动，使两帧图像之间的背景静态化。

具体实施方式六：

与具体实施方式五不同的是，本实施方式的一种基于运动算法的自动跟随载物车的控制方法，

所述的步骤三中，使用静态背景下的四帧差分结合背景减除求出差分图像，以提取运动目标的过程，具体为：在实际环境下，采集图像由于受到外界各种条件的限制，加上噪声的影响，造成获取到的图像质量较差，对此图像直接应用检测算法往往不能得到很好的效果，因此，在采集到图像之后，必须首先对图像进行预处理，减少噪声及各种外在因素的干扰，有利于提高后续算法处理的准确性。空间域中常用的滤波方式有中值滤波和均值滤波，能很好地消除图像中的椒盐噪声和高斯噪声。

利用帧间差分法，将图像序列中相邻两帧图像作差分运算：

首先，设t为分隔阈值，根据实际应用设置为固定值，经常使用自适应阈值方法；

然后，选择合适的阈值t对差分图像二值化，在相邻两帧之间近似认为光照恒定，背景变化不明显，这样差分图像中像素值较大的位置为由于前景目标移动造成的灰度值变化，利用这些变化的信息表示物体在相邻图像之间运动造成的相应区域中像素值的变化，则可将运动目标从图像序列中检测出来，即为目标区域；帧间差分法如图2所示。

最后，由下式可得到差分图像d(m,n):

其中，t1为二值化阈值，可通过实验或者自适应阈值策略得到；所得图像中像素值为255的点对应两帧之间发生运动的点，为0的点可认为是背景上的点；帧差法对噪声较为敏感，且目标在帧间运动不明显时难以获得目标整体的轮廓。

具体实施方式七：

与具体实施方式六不同的是，本实施方式的一种基于运动算法的自动跟随载物车的控制方法，

所述的步骤四中，经过腐蚀膨胀等形态学图像处理手段，得到完整的运动目标区域的过程，具体为：采用背景减除和四帧差分相结合的运动目标检测算法，将动态阈值t分别融入背景减除法和四帧差分法中，有效地克服了光照突变产生影响的同时解决了双影等问题，能更好的将运动目标和背景进行有效地阈值分割，使用连通性检测的方法，降低或消除噪声斑点，进而得到更为完整的前景图i(m,n)。

具体实施方式八：

与具体实施方式七不同的是，本实施方式的一种基于运动算法的自动跟随载物车的控制方法，所述的步骤五中，对运动目标和背景进行有效的阈值分割，根据运动目标像素信息来求取质心，进而确定出运动目标矩形框的四角坐标，以此为依据对下一帧进行截图，避免了除运动目标以外的其他运动目标的干扰的过程具体为：

对运动目标和背景进行有效的阈值分割后，根据运动目标像素信息来求取质心把前景图进行二值化，则运动目标质心z(p,q)的计算为：

式中，n、m为运动目标轮廓的长、宽方向的像素点数，p、q为目标质心的横、纵坐标；以此坐标为中心向四周进行像素遍历，由于是二值化图像，当检测到像素值为0的点停止遍历，并记下此刻的像素坐标。

具体实施方式九：

与具体实施方式八不同的是，本实施方式的一种基于运动算法的自动跟随载物车的控制方法，所述的步骤六中，利用运动目标跟踪算法结合卡尔曼滤波算法的方法，载物车随着运动目标的运动进行合适的调节，以达到准确跟随运动目标的过程是指，通过运动目标跟踪算法计算并比较目标区域图和候选区域图的质心坐标差别来判断运动目标的运动情况，如果候选区域的质心在正常的行走的质心波动范围外，表示运动目标已经在目标区域的基础上发生了运动，根据坐标的位置关系，可以判断运动目标的运动状态，进而调节载物车的运动。如果候选区域的质心在正常的行走的质心波动范围内，表示运动目标在目标区域的基础上基本没发生前进、后退，左右转等运动，具体为：

步骤六一、如图3所示的运动目标质心坐标变动情况的图示，设：图中a0(x0,y0)为当前帧中运动目标质心的坐标，a1(x1,y1)、a2(x2,y2)、a3(x3,y3)、a4(x4,y4)为运动目标质心可能变动到的位置坐标，a5(x5,y5)为运动目标在固定距离处质心的坐标，a6(x6,y6)为运动目标在安全距离处质心的坐标，a6(x6,y6)位于a5(x5,y5)与a0(x0,y0)之间，a0(x0,y0)为中心、a6(x6,y6)为小虚线框的边经过的点，小虚线框为在固定距离内人体正常行走过程中质心的正常波动范围，在正常的波动范围内，将运动目标视为在跟踪范围内且没有发生巨大形态变化，进而不需要调节载物车的运动状态；

步骤六二、当以质心由a0(x0,y0)变动到a1(x1,y1)，分析运动目标的运动状态和载物车的运动控制方式。运动目标运动平面图如图4所示。

设图4中，a点是摄像头的位置，c点是下一帧中运动目标的实际位置，d点是当前帧中运动目标质心在图像坐标系中的横坐标x0，e点是下一帧中运动目标质心的横坐标x1，e′点是以d点为轴的e点的对称点，f点是运动目标在固定距离处的位置，g点是运动目标在安全距离处的位置，bc的长度h可通过摄像头标定得到，ed＝e′d＝e为图3-8中a0点与a1点的横坐标之差，也即为|x0-x1|，摄像头的焦距ad＝f，f的值由摄像头参数决定。θ是下一帧中运动目标偏离当前帧中运动目标的角度，下一帧中运动目标与摄像头的实际垂直距离ab＝g，载物车与运动目标之间的安全距离af＝i，由式(7)计算g：

由式(7)可得角θ：

若距离g大于距离i，则表示运动目标超过了固定距离，载物车应该向前追赶，若距离g小于距离i，则表示运动目标在向后运动，载物车应该后退避让，值x0-x1的正负表示运动目标前进、后退时的左右转向，决定了载物车转弯的方向，角θ表示载物车转弯时应转的具体角度；综上，载物车可随着运动目标的运动进行合适的调节，达到自动跟随运动目标的目的；

步骤六三、通过计算卡尔曼滤波器估计的目标中心坐标和运动算法测得的当前帧的运动目标质心坐标之间的残差来判定是否存在目标丢失的情况；如果丢失，系统则利用预测的坐标作为下一帧中运动目标的质心；反之，用预测的坐标与运动算法测得的下一帧中的运动目标质心坐标的中点坐标为最终质心坐标。统采用卡尔曼滤波算法准确预测运动轨迹，卡尔曼滤算法波能够根据当前帧中目标质心位置来预测下一帧中目标质心可能出现的位置，以最小均方误差为最佳递推估计准则，能较准确地预测出目标的速度和位置。