专利名称：基于立体视觉的吊车避障系统的制作方法
技术领域：
本发明属于非线性欠驱动系统自动控制的技术领域，特别涉及一种基于立体视觉的吊车避障系统。
背景技术：
吊车系统运行过程中，监控人员发现(潜在)碰撞危险的情况，通过紧急制动按钮来实现吊车的紧急制动。但是，这种紧急制动策略取决于监控人员的判断时机，实时性达不到，极易发生碰撞，危险性高，极大的降低了吊车系统的效率。随着计算机视觉技术的不断发展，视觉传感器在各类机电系统中得到了越来越广泛的应用。双目视觉传感器以其结构简单、非接触测量、准确度高等诸多优点被广泛地用于视场内环境的监控和测量。在吊车系统运行过程中，通过立体视觉系统完成运动物体检测、 吊车空间的三维重建，在线计算出负载与障碍物的运动信息(位置信息、速度信息)和尺寸信息，来进行碰撞预测，决定是否采用紧急制动，实现吊车系统的安全运行。
发明内容
本发明目的是解决现有吊车系统的控制达不到实时性要求、极易发生碰撞，使危险性高等问题，提供一种基于立体视觉的吊车避障系统。该系统的主要功能是标定双目立体视觉系统，得到左右相机的内参数，以及左右相机之间的外参数；使用立体视觉系统拍摄吊车工作场景的图像，重建吊车工作空间中的静态障碍物；在吊车系统运送负载的工程中，实时检测突然进入吊车工作空间的运动物体 (人、车辆、或者其它障碍物等)，同时预测出负载与工作空间中的静态障碍物和运动障碍物是否发生碰撞。如果发生碰撞，则采取紧急制动策略，避免负载与障碍物发生碰撞。本发明提供的基于立体视觉的吊车避障系统共由四部分组成，包括第1、双目立体视觉系统的标定第1. 1、模型分析相机模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换，双目立体视觉系统一般由左右两个相机组成，其成像模型均采用所述的针孔模型；在双目立体视觉系统中，需要标定的参数包括左相机和右相机的内参数ApAp A1为左相机的内参数矩阵，4为右相机的内参数矩阵，以及左相机和右相机之间的外参数R和t，R和t分别表示左相机和右相机之间外参数的旋转矩阵和平移向量；第1. 2、基于全局代价函数优化的立体标定立体标定包括左相机和右相机的内参数标定、左相机和右相机分别与标定板之间的外参数标定、镜头畸变系数的标定、以及左右相机之间外参数标定；引入左右相机之间外参数保持不变这一约束条件，并选取全局代价函数作为优化目标进行非线性优化，所述基于全局代价函数优化的立体标定方法包括角点提取、2维单应矩阵的估计、相机内外参数的估计、径向畸变的估计，以及基于全局代价函数的非线性优化五个步骤第1.2. 1、左右相机同时各拍摄3幅以上的标定图像，利用Harris角点检测算法提取出角点坐标，精确至亚像素精度；第1. 2. 2、对于每幅图像，计算左右相机图像平面与标定板之间的2维单应矩阵；第1. 2. 3、估计得到左右相机的内参数，以及它们与标定板之间的外参数；第1. 2. 4、采用最小二乘方法估计径向畸变系数；第1. 2. 5、引入左右相机之间外参数不变这一约束条件，基于全局代价函数进行非线性优化；第2、吊车工作空间中静态障碍物的重建首先提取图像的边缘特征；然后利用极线约束和邻域灰度信息，沿特征点的主方向建立描述符；同时通过“冗余角阈值”策略来选择合适的候选匹配点；最后通过计算特征点与候选匹配点之间的相关度，得到正确的匹配点。第2. 1、具有旋转不变性的边缘点匹配算法针对传统边缘匹配算法对图像旋转敏感，易发生误匹配的缺点，提出了一种具有旋转不变性的边缘点匹配算法，通过将SIFT算子的旋转不变性引入匹配中来提高对图像旋转的鲁棒性，具体包括五个步骤第2. 1. 1、图像预处理，包括灰度化处理，直方图均衡化，图像平滑滤波操作；第2. 1. 2、特征点提取，特征点提取在图像空间中进行，利用Carmy边缘检测算子得到样本图和搜索图的轮廓点信息，并保存搜索图的轮廓图像；第2. 1. 3、特征点描述符的建立对任意特征点，首先计算特征点主方向；在以该特征点为中心的邻域窗口内采样， 使用梯度方向直方图统计邻域像素的梯度方向和幅值；直方图的峰值代表该特征点邻域内梯度的主方向，即特征点的主方向；获得特征点主方向后，利用邻域灰度信息，沿特征点主方向来建立描述符，从而保证特征点描述符具备旋转不变性；第2. 1. 4、候选匹配点的选取为了消除旋转对匹配结果的影响，采用SIFT算子的旋转不变性来建立特征点描述符，但匹配结果出现二义性，即一个样本点可能对应多个搜索点，为此，采用一种“冗余角阈值”策略对二义性问题进行处理，在匹配时，仅仅将搜索图中对应主方向附近的特征点作为候选，以剔除错误的匹配点；第2. 1. 5、特征点描述符相关度的计算特征点的匹配，实质是计算特征点描述符之间的相关度；对两个点Pl、p2，设其描述符分别为Vl、V2 ;Vl和V2的相关度越高，则两个点的匹配度越高；反之，则匹配度越低；使用如下向量夹角余弦值来计算两个描述符之间的相关度，当余弦值等于1时，两特征点具有最佳匹配；当余弦值等于0时，则匹配度最低；使用该方法对吊车工作场景进行重建，最终得到吊车工作空间中静态障碍物的位置信息和尺寸大小；第3、吊车工作空间中动态障碍物的检测与跟踪使用背景差分法，实时检测出突然进入吊车工作空间的运动物体。再使用 camshift算法，实时跟踪负载和运动障碍物，估计它们各自的位置信息和尺寸信息。最后对这些信息进行kalman滤波，得到准确的估计值；
第3. 1、基于背景差分法的运动检测第3. 1. 1、一般情况下，前景的运动目标的灰度值与背景的灰度值之间有很大的差异，而运动物体本身的灰度值一般不会有很大差异，因此通过图像差分就能很好地反映出两帧图像之间的变化，如能检测出这种变化，就可以将运动目标提取出来并分析其运动特征；第3. 1. 2、由于噪声及背景提取存在的误差，需要对得到的差分图像进行二值化处理，即将属于背景的静止像素和属于目标的运动像素分开，得到二值化图像；第3. 1. 3、得到二值化图像后，对图像进行腐蚀和膨胀操作，消除孤立点或较小的孤立区域，连通碎化的区域，然后统计连通区域个数，判断是否有运动障碍物进入，对运动物体进行编号；同时统计连通区域的外接矩形，可以估计运动物体的尺寸信息，还可以用于 camshift跟踪算法的初始化；第3. 2、尺寸信息估计根据第3. 1. 3步得到的图像上连通区域的外接矩形，估计运动物体的实际尺寸信息；第3. 2. 1、匹配左图像和右图像中的连通区域，根据图像上连通区域的中心位置， 来计算物体中心的实际坐标，得到物体的深度值4 ；第3. 2. 2、已知连通区域的外接矩形的长轴a，短轴b，以及外接矩形与水平方向的偏转角度为θ，可以得到长边在u，ν方向上的长度Au，Δν;根据投影原理，可以得到物体在X。，Ye方向上的长度八^和Δ Ye，进一步得到物体的包围球半径r;第3. 3、camshift 跟踪算法Camshift算法可以分为两大部分，第一部分meanshift查找目标，第二部分自适应调整搜索窗口的长、宽、方向；对于每一幅图像，先采用meanshift算法计算出目标包围窗口，在通过公式自适应的计算出下一幅图像的初始搜索框的长和宽，这样就完成了对搜索框的自适应更新；第3. 4、kalman 滤波以上第3. 3步跟踪算法得到的只是物体每时刻位置的估计，这个估计是不准确， 可以将这些不准确简单地看作跟踪过程中的噪声；为了最大限度地估计物体的运动，使用多个测量的累积可以检测出不受噪声影响的部分观测轨迹；应用在吊车系统中，我们将物体的状态用三个位置变量x、y和z，以及三个速度变量vx，vy和Vz表示，这六个变量组成状态向量&的元素；我们用立体视觉来测量物体的位置，作为观测值来进行更新，就可以得到最优的估计值；第4、碰撞预测使用包围球来表示负载和障碍物的碰撞模型，以静止包围球的碰撞相交算法为基础，得到运动的包围球碰撞算法；负载在场景中运动，根据运动包围球碰撞算法，实时预测负载与静态或者动态障碍物是否发生碰撞，以启动紧急制动控制；第4.1、碰撞模型包围球碰撞模型，是指包含物体的最小球体，包括球体中心坐标C和半径R ；第4. 1. 1、静态障碍物的包围球创建根据立体匹配重建得到的物体轮廓的点集Xj (0 ( j ( n)，首先，累积所有点的坐标向量获取平均向量C，即为包围球的中心点；然后再根据所有点到中心点的最大距离确定包围球的半径R ；第4. 1. 2、动态障碍物的包围球创建根据第3步实时跟踪并经过kalman滤波后得到的中心点位置作为包围球的中心点，实时估计的最大半径作为包围球的半径，并可以在线更新；第4. 2、运动碰撞预测算法第4. 2. 1、计算负载包围球中心O1与障碍物包围球中心O0之间的距离Cl1,判断障碍物是否在安全半径范围之内，如果在，进行下一步；其中，安全半径Rs.由吊车负载的最大安全制动距离ds.、负载包围球半径Ii1和障碍物包围球半径I 。组成；第4. 2. 2、计算负载与障碍物的相对速度是否为零，如果相对速度为零，则两个物体不会发生碰撞；若不为零，则进行下一步；其中，相对速度Vrel由负载速度V1和障碍物速度V。生成；第4. 2. 3、计算直线与平面的交点Pintre ；其中，直线过负载中心点且方向向量为相对速度方向，平面过障碍物中心点且法向量为相对速度方向；第4. 2. 4、然后计算交点Pinto与障碍物中心点之间距离d2 ；如果d2小于R1和R。之和，则负载与障碍物发生碰撞，反之，则不发生碰撞；第4. 2. 5、当预测负载与障碍物将发生碰撞时，及时采取制动措施。本发明的优点和积极效果本发明基于工程实际需要，将立体视觉应用于吊车系统的运行过程中。使用立体视觉系统重建吊车工作空间中静态障碍物。同时在负载运送过程中，实时检测突然进入吊车工作空间的运动物体(人、车辆、或者其它障碍物等)，同时预测出负载与工作空间中的静态障碍物和运动障碍物是否发生碰撞。如果预测出碰撞，则采取紧急制动策略，避免负载与障碍物发生碰撞。考虑到各国现有吊车的控制基本均由人工进行操纵，由监控人员发现潜在的碰撞危险，通过紧急制动按钮来实现吊车的紧急制动。但是，这种紧急制动策略取决于监控人员的判断时机，实时性达不到，极易发生碰撞，危险性高，极大的降低了吊车系统的效率。研究该方向的自动控制方法无疑对安全、效率、精确性的提升有较大帮助具有明显的优点与积极效果。
图1是系统硬件逻辑示意图。图2是三维桥式吊车实验平台机械部分。图3是相机固定支架示意图。图4是系统软件逻辑示意图。图5是基于全局代价函数优化的立体标定方法流程图。图6是标定实验平台。图7是重投影残差。图8是左摄像机的内参数和畸变系数。图9是右摄像机的内参数和畸变系数。
图10是左右摄像机之间的外参数。图11是具有旋转不变性的边缘点匹配算法流程图。图12是冗余角阈值策略示意图。图13是左相机拍摄的图像。图14是右相机拍摄的图像。图15是重建场景中的静态障碍物。图16是动态障碍物检测与跟踪流程图。图17是背景差分法检测运动物体流程图。图18是物体投影图。图19是尺寸信息估计示意图。图20是运动碰撞检测算法流程图。图21是碰撞包围球模型。图22是运动碰撞检测示意图。图23是负载与运动障碍物的尺寸估计。图M是负载与障碍物之间的距离。图25是负载的速度估计。图沈是运动障碍物的速度估计。图中，1相机固定支架，2相机，3固定板，4旋转支架，5导轨，6标定板。
具体实施例方式实施例1 本发明所涉及系统的硬件结构如图1所示。在吊车(如图2)的工作空间中，通过相机固定支架1(如图幻将左右相机固定在吊车上，调整相机角度使其观测范围尽可能最大。根据同步信号，左右相机同时拍摄吊车工作场景，将图像通过图像采集卡和1394总线与主机相连。主机进行立体视觉系统标定，图像处理，吊车工作空间中静态障碍物的重建、 动态障碍物的检测与跟踪，负载的跟踪，估计运动物体的速度信息、位置信息和尺寸信息， 生成碰撞模型，进行碰撞预测。检测出发生碰撞，则通过设备USB4711A发出触发信号，再接入光电开关电路，切换到紧急制动控制。表1硬件配置
权利要求
1. 一种基于立体视觉的吊车避障系统，其特征在于该系统由四部分组成，包括 第1、双目立体视觉系统的标定第1.1、模型分析相机模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换，双目立体视觉系统一般由左右两个相机组成，其成像模型均采用所述的针孔模型；在双目立体视觉系统中，需要标定的参数包括左相机和右相机的内参数 Af、式，4为左相机的内参数矩阵，4为右相机的内参数矩阵，以及左相机和右相机之间的外参数 和ι, 和#分别表示左相机和右相机之间外参数的旋转矩阵和平移向量； 第1. 2、基于全局代价函数优化的立体标定立体标定包括左相机和右相机的内参数标定、左相机和右相机分别与标定板之间的外参数标定、镜头畸变系数的标定、以及左右相机之间外参数标定；引入左右相机之间外参数保持不变这一约束条件，并选取全局代价函数作为优化目标进行非线性优化，所述基于全局代价函数优化的立体标定方法包括角点提取、2维单应矩阵的估计、相机内外参数的估计、径向畸变的估计，以及基于全局代价函数的非线性优化五个步骤第1.2. 1、左右相机同时各拍摄3幅以上的标定图像，利用Harris角点检测算法提取出角点坐标，精确至亚像素精度；第1. 2. 2、对于每幅图像，计算左右相机图像平面与标定板之间的2维单应矩阵； 第1. 2. 3、估计得到左右相机的内参数，以及它们与标定板之间的外参数； 第1. 2. 4、采用最小二乘方法估计径向畸变系数；第1. 2. 5、引入左右相机之间外参数不变这一约束条件，基于全局代价函数进行非线性优化；第2、吊车工作空间中静态障碍物的重建首先提取图像的边缘特征；然后利用极线约束和邻域灰度信息，沿特征点的主方向建立描述符；同时通过“冗余角阈值”策略来选择合适的候选匹配点；最后通过计算特征点与候选匹配点之间的相关度，得到正确的匹配点； 第2. 1、具有旋转不变性的边缘点匹配算法针对传统边缘匹配算法对图像旋转敏感，易发生误匹配的缺点，提出了一种具有旋转不变性的边缘点匹配算法，通过将SIFT算子的旋转不变性引入匹配中来提高对图像旋转的鲁棒性，具体包括五个步骤第2. 1. 1、图像预处理，包括灰度化处理，直方图均衡化，图像平滑滤波操作； 第2. 1. 2、特征点提取，特征点提取在图像空间中进行，利用Carmy边缘检测算子得到样本图和搜索图的轮廓点信息，并保存搜索图的轮廓图像； 第2. 1. 3、特征点描述符的建立对任意特征点，首先计算特征点主方向；在以该特征点为中心的邻域窗口内采样，使用梯度方向直方图统计邻域像素的梯度方向和幅值；直方图的峰值代表该特征点邻域内梯度的主方向，即特征点的主方向；获得特征点主方向后，利用邻域灰度信息，沿特征点主方向来建立描述符，从而保证特征点描述符具备旋转不变性；第2. 1.4、候选匹配点的选取为了消除旋转对匹配结果的影响，采用SIFT算子的旋转不变性来建立特征点描述符， 但匹配结果出现二义性，即一个样本点可能对应多个搜索点，为此，采用一种“冗余角阈值” 策略对二义性问题进行处理，在匹配时，仅仅将搜索图中对应主方向附近的特征点作为候选，以剔除错误的匹配点；第2. 1. 5、特征点描述符相关度的计算特征点的匹配，实质是计算特征点描述符之间的相关度；对两个点A、Λ，设其描述符分别为V1 ,V3 和％的相关度越高，则两个点的匹配度越高；反之，则匹配度越低；使用如下向量夹角余弦值来计算两个描述符之间的相关度，当余弦值等于1时，两特征点具有最佳匹配；当余弦值等于0时，则匹配度最低；使用该方法对吊车工作场景进行重建，最终得到吊车工作空间中静态障碍物的位置信息和尺寸大小； 第3、吊车工作空间中动态障碍物的检测与跟踪使用背景差分法，实时检测出突然进入吊车工作空间的运动物体； 再使用camshift算法，实时跟踪负载和运动障碍物，估计它们各自的位置信息和尺寸 fn息；最后对这些信息进行kalman滤波，得到准确的估计值； 第3. 1、基于背景差分法的运动检测第3. 1. 1、一般情况下，前景的运动目标的灰度值与背景的灰度值之间有很大的差异， 而运动物体本身的灰度值一般不会有很大差异，因此通过图像差分就能很好地反映出两帧图像之间的变化，如能检测出这种变化，就可以将运动目标提取出来并分析其运动特征；第3. 1. 2、由于噪声及背景提取存在的误差，需要对得到的差分图像进行二值化处理， 即将属于背景的静止像素和属于目标的运动像素分开，得到二值化图像；第3. 1.3、得到二值化图像后，对图像进行腐蚀和膨胀操作，消除孤立点或较小的孤立区域，连通碎化的区域，然后统计连通区域个数，判断是否有运动障碍物进入，对运动物体进行编号；同时统计连通区域的外接矩形，可以估计运动物体的尺寸信息，还可以用于 camshift跟踪算法的初始化； 第3. 2、尺寸信息估计根据第3. 1. 3步得到的图像上连通区域的外接矩形，估计运动物体的实际尺寸信息； 第3. 2. 1、匹配左图像和右图像中的连通区域，根据图像上连通区域的中心位置，来计算物体中心的实际坐标，得到物体的深度值Zc ；第3. 2. 2、已知连通区域的外接矩形的长轴,短轴 ,以及外接矩形与水平方向的偏转角度为5，可以得到长边在方向上的长度AlAv ；根据投影原理，可以得到物体在Zc,!^方向上的长度AZc^nAfe,进一步得到物体的包围球半径广；第3. 3、camshift跟踪算法Camshift算法可以分为两大部分，第一部分meanshift查找目标，第二部分自适应调整搜索窗口的长、宽、方向；对于每一幅图像，先采用meanshift算法计算出目标包围窗口， 在通过公式自适应的计算出下一幅图像的初始搜索框的长和宽，这样就完成了对搜索框的自适应更新；第 3. 4、kalman 滤波以上第3. 3步跟踪算法得到的只是物体每时刻位置的估计，这个估计是不准确，可以将这些不准确简单地看作跟踪过程中的噪声；为了最大限度地估计物体的运动，使用多个测量的累积可以检测出不受噪声影响的部分观测轨迹；应用在吊车系统中，我们将物体的状态用三个位置变量χ、y和z，以及三个速度变量K ,、和&表示，这六个变量组成状态向量A的元素；我们用立体视觉来测量物体的位置，作为观测值来进行更新，就可以得到最优的估计值；第4、碰撞预测使用包围球来表示负载和障碍物的碰撞模型，以静止包围球的碰撞相交算法为基础， 得到运动的包围球碰撞算法；负载在场景中运动，根据运动包围球碰撞算法，实时预测负载与静态或者动态障碍物是否发生碰撞，以启动紧急制动控制； 第4. 1、碰撞模型包围球碰撞模型，是指包含物体的最小球体，包括球体中心坐标t和半径/ ； 第4. 1. 1、静态障碍物的包围球创建根据立体匹配重建得到的物体轮廓的点集式,(0 Sj < )，首先，累积所有点的坐标向量获取平均向量e，即为包围球的中心点；然后再根据所有点到中心点的最大距离确定包围球的半径 ；第4. 1. 2、动态障碍物的包围球创建根据第3步实时跟踪并经过kalman滤波后得到的中心点位置作为包围球的中心点，实时估计的最大半径作为包围球的半径，并可以在线更新； 第4. 2、运动碰撞预测算法第4. 2. 1、计算负载包围球中心"-Λ与障碍物包围球中心A之间的距离、判断障碍物是否在安全半径范围之内，如果在，进行下一步；其中，安全半径代_由吊车负载的最大安全制动距离式_、负载包围球半径巧和障碍物包围球半径式组成；第4. 2. 2、计算负载与障碍物的相对速度是否为零，如果相对速度为零，则两个物体不会发生碰撞；若不为零，则进行下一步；其中，相对速度Gd由负载速度巧和障碍物速度生成；第4. 2. 3、计算直线与平面的交点‘；其中，直线过负载中心点且方向向量为相对速度方向，平面过障碍物中心点且法向量为相对速度方向；第4. 2. 4、然后计算交点P4^与障碍物中心点之间距离式；如果式小于爲和氏之和，则负载与障碍物发生碰撞，反之，则不发生碰撞；第4. 2. 5、当预测负载与障碍物将发生碰撞时，及时采取制动措施。
全文摘要
一种基于立体视觉的吊车避障系统。包括标定双目立体视觉系统，得到左右相机的内参数，以及左右相机之间的外参数；使用立体视觉系统拍摄吊车工作场景的图像，重建吊车工作空间中的静态障碍物；在负载运送的过程中，实时跟踪负载，同时检测突然进入吊车工作空间的运动物体(人、车辆、或者其它障碍物等)，并估计负载和运动物体的运动信息、位置信息和尺寸信息；根据碰撞预测策略，预测负载与障碍物(静态障碍物和运动物体)是否发生碰撞，以决定是否采取紧急制动，避免负载与障碍物发生碰撞。
文档编号G01C11/00GK102175222SQ20111005207
公开日2011年9月7日 申请日期2011年3月4日 优先权日2011年3月4日
发明者刘笑含, 孙宁, 方勇纯, 王鹏程, 苑英海 申请人:南开大学