专利名称：大型堆场三维形貌的投影辅助摄像测量方法
技术领域：
本发明涉及矿石粉、煤炭、粮食等物料大型堆场形貌摄像测量方法，进一步是指在 激光投影等投影设备对复杂形貌堆场的辅助下，通过非接触序列立体成像构建堆场表面数 字模型，测定三维形貌参数的方法；还属于输送装卸工程机械智能化、现代物流管理信息化 等工程技术，以及数字摄影测量、数字图像处理、计算机视觉等领域。
背景技术：
矿石粉、煤炭和粮食等物料大型堆场的三维形貌参数快速准确测定，对于提高港 口及大型仓库等物流管理调度能力、降低损耗、合理安排物资进出等，具有重要的指导和监 测作用，并能产生良好的经济效益。在堆场物料的装卸输送中，通常要求将物料堆放成一定几何形状截面(如三角形) 的长条形，装卸工程机械在堆场两侧滑轨上进行取货或者堆放操作。日常堆场管理和装卸 操作中，需要准确掌握堆场三维形貌参数，用于堆场已被填挖、或者可被填挖的物料三维参 数计算。在堆场物料挖取或回填的操作中，堆场形貌随时可能发生滑动等局部变化，并非简 单的几何增减。长期以来，堆场通过整形填挖操作对堆场物资的进出进行经验管理，这需要 操作中对堆场进行严格的几何形态维护，效率低、误差大。随着激光测距扫描技术的发展， 在堆场物料三维形貌参数测量中也得到使用，但该技术目前很难满足实际应用需求，主要 原因是激光主动发射后需沿原路反射返回，方可形成一次有效扫描测距，而堆场物资颗粒 小，激光发射后在表面易形成漫反射；对气候、光照等条件的变化比较敏感，恶劣天气条件 下难以正常工作；堆场材质对光波的吸收比较明显，进一步降低了激光有效扫描能力；此 外，堆场一般为三角形截面，扫描设备架设于截面最高点以上的移动平台悬臂，此时的俯视 扫描，对堆场表面的入射角很小，有效激光扫描不到平时的十分之一甚至更低。近年来，为解决堆场表面纹理特征贫乏、特征提取匹配困难的问题，在传统摄影测 量的基础上加入了光切法的思想，此时CCD成像虽也能解算堆场表面三维轮廓，但光刀面 与CCD相对关系的标定精度、光刀运动范围、实际操作的技术要求和复杂度、与投影中心线 提取都是影响精度的重要因素。以上激光扫描、光切法的三维测量整体精度和可靠性在实际工作中并不高，因为 虽然单点激光测距具有毫米级精度，但当扫描设备被架设在十多米长的移动悬臂上时，设 备随着物料装卸负荷的变化使得移动悬臂的抖动十分明显，可达数十毫米，而且这种不规 则运动很难被补偿消除，使得不同扫描位置之间的数据拼接对整体的堆场表面三维重建精 度影响相当大。此外，能满足数百米堆场扫描的激光设备属于室外大功率的工程级设备，目 前还需要依赖国外进口，价格昂贵、无法自行维护，初期和运行成本均相当大。因此，从以上 分析来看，现有技术手段很难全面适应大型堆场三维形貌测量在精度、速度、可靠性与自动 化水平和运行成本等方面的要求。近年来，以计算机技术、数字图像处理技术和空间分析技术为核心的信息技术得 到飞速发展，数字摄像机制造工艺水平大幅度提高，这些科技进步使得利用摄像测量方法实施堆场的非接触式、高精度、自动快速测量成为可能。
发明内容
本发明要解决的技术问题是，针对现有技术存在的不足，提出一种大型堆场三维 形貌的投影辅助摄像测量方法，它将光投影辅助下的摄像测量运用于堆场三维测量，系统 数字化程度高、操作简便、速度快，可以满足堆场三维形貌高精度、高可靠度、高自动化程度 测量的需要，适应大型堆场物流管理调度现代化、数字化，以及物料输送和装卸工程机械智 能化作业等要求。本发明的技术方案是，所述大型堆场三维形貌的投影辅助摄像测量方法包括a.堆场摄像测量系统与辅助投影设备的安装在堆场不同位置安装至少2台固定的或可移动的摄像机，标定摄像机参数，组成摄像 测量网络系统；在堆场安装辅助投影设备，该辅助投影设备通过绕固定点转动或平动或由转动与平动 的组合运动对堆场表面投影，形成堆场表面全覆盖的(光线)投影特征； 所述辅助投影设备可以是结构光投影设备、或者线投影如激光光刀等；b.堆场表面投影特征的三维解算所述辅助投影设备对堆场表面投影的同时，所述各摄像机同步采集堆场表面投影特 征，通过影像内投影特征、梯度矢量、核线等相互约束实现自动可靠匹配与立体或多目视觉 影像交会平差计算，实时获取堆场表面投影特征三维解；c.序列投影特征的三维拼接辅助投影对堆场表面的全覆盖结束后，对摄像系统生成的时间序列三维投影特征进行 拼接，统一到堆场整体的三维坐标系中，得到堆场表面投影特征的点云与边缘线等提取于 序列影像的三维数据集；d.堆场三维数字表面模型构建以堆场表面的三维数据集为基础，以堆场基准平面的位置为自变量，根据双线性插值 等算法计算每个平面点位的堆场表面相对于基准平面的高度，形成堆场三维表面数字模 型；e.堆场三维形貌测量以堆场三维表面数字模型为基础，按照空间分析等方式计算该数字模型的堆场三维形 貌参数，如堆场任意局部区域的体积、堆场表面积等参数。以下对本发明做出进一步说明。如图1所示，本发明的技术原理和工作过程为，以光线投影增强堆场表面可被摄 像记录的特征，通过非接触摄像测量方式对堆场进行序列成像，按照摄像系统已标定的立 体或多目视觉实时解算影像中堆场表面的瞬间三维投影特征，以平台运动参数和影像相对 定向实现不同时刻的三维投影特征拼接，从而建立堆场三维数字模型并全面测量堆场三维 形貌参数；基本工作过程可表述为架设以堆场为成像观测视场的摄像系统，为弥补物料 (如矿石粉、煤炭、粮食)所形成堆场三维表面纹理贫乏、特征点提取与匹配困难的问题，引 入与摄像基线具有较大交角的投影辅助设备在堆场表面形成点阵或轮廓线特征；通过投影 设备自主运动(旋转、平移等)对堆场表面进行连续投影，摄像系统对投影特征同步成像采集影像数据；影像投影特征提取得到附着于堆场表面的一组投影特征点阵或轮廓线，以立 体像对核线、投影特征交点与投影边缘特征梯度等获得同步影像中的同名特征，以交会平 差的方式结合摄像系统的标定参数，解算三维投影特征；为实现移动平台条件下的三维投 影特征拼接，以移动平台运动参数为初值，精确解算相邻序列影像的相对定向参数，该影像 处理工作可以在同名影像得到后实时完成；投影设备对堆场表面全覆盖投影和摄像系统同 步成像结束后，即可根据投影特征三维数据集、和不同成像时刻摄像系统在统一的堆场三 维参考坐标系的相对姿态位置参数进行拼接；以参考坐标系中平面位置为二维变量，以每 个平面位置局部区域的点云数据高度为基础，按照双线性插值等方法得到堆场的三维表面 数字模型，然后按照空间分析计算该数字模型全面的堆场三维形貌参数。本发明可有效适应物料输送与装卸工程机械智能化、现代物流管理信息化的要 求，满足高精度、高可靠度、高自动化程度大宗物料堆场三维测量的需要，在工程机械先进 制造与现代物流领域、港口厂矿仓库等散装物料输送装卸管理与监测方面具有良好的应用 前景。本发明是一种非接触式、辅助投影下的大型堆场三维测量方法。应用本发明方法 时，只需标定多像机组成的摄像系统，并布置好辅助投影设备，使堆场处于摄像网络装置所 确定的视场和投影扫描范围内即可，在实际使用中，简单易用，测量装置的可操作性好；实 施本发明，可采用以摄像装置、激光光刀和个人计算机(或DSP处理器)为核心的硬件设备， 对硬件依赖程度低，数字化、自动化程度高，测量结果可靠，维护简便，处理速度快，可以方 便地采用计算机对摄像装置所获得的图像数据进行存储、复制、传输和自动化处理。
图1是投影辅助下的堆场三维摄像测量原理及过程图示；图2是摄像机与辅助投影设备均安装在移动平台上的一种实施例堆场三维测量系统 示意图；图中的直线箭头和圆形线箭头分别表示相应设备的可直线或旋转运行的方向；图3是摄像机固定、辅助投影设备安装在移动平台上的另一种实施例的堆场三维测量 系统示意图；图中的直线箭头和圆形线箭头分别表示相应设备的可直线或旋转运行的方 向。在图中1、2、3、4一摄像机， 5—辅助投影设备，6—移动平台。
具体实施例方式一种大型堆场三维形貌的投影辅助摄像测量方法，包括 大型堆场中架设摄像系统可采用两种方式(1)如图2所示，在移动平台固定安装两台及两台以上摄像机和可自 主转动和平移运动的光线投影设备；(2 )在堆场合适位置固定架设两台或或两台以上摄像 机(如图3所示，在堆场四角各架设一台摄像机)组成摄像网络系统，在移动平台或其它位置 安装可自主转动与平移运动的光投影设备；摄像网络系统标定对相对姿态位置固定的摄像机(如图2、图3所示情形)之间相对关 系，以高精度标定框放入摄像系统视场，按两步法等方法计算像机自身内参数、以及各像机 之间的角度与方位等姿态参数，建立解算同步影像中所记录堆场表面投影特征的局部三维 坐标系；堆场表面投影与摄像数据采集通过移动平台或投影设备自主运动，辅助投影设备对 堆场进行投影，形成准确表现堆场表面结构的投影特征，摄像机网络系统对投影特征进行 跟踪和同步成像，直至完成堆场表面的全覆盖投影成像；堆场表面投影特征三维解算图像数据在标定参数辅助下，通过计算机软件系统处理， 实时获取堆场表面投影特征三维解、相邻序列影像相对定向参数(即相邻成像时刻摄像系 统之间的角度与位置相对关系)；三维投影特征拼接与三维测量根据固定摄像参数、或者移动摄像网络动态解算的相 对关系参数，拼接三维投影特征，空间插值解算堆场三维表面数字模型，计算堆场三维形貌 参数。本发明方法所测量计算的参数可以是堆场三维形貌参数以及堆场体积、表面积等 参数。在获得堆场三维表面数字模型后，堆场局部或者整体的体积表面积或其它形貌参数 计算，按照先做基准平面的格网插值、再计算每个格网区间的体积或表面积微元、然后积分 获得选定区域或者堆场整体的体积表面积等参数值。进一步地，本发明获得待测堆场三维形貌参数的方法为a.从摄像机摄得的影像提取投影特征，计算立体像对核线约束和投影特征(点阵或轮 廓线)交点，在立体像对内外参数已知条件下，以成像时刻为单位，计算摄像机同步影像所 记录的三维投影特征(如堆场表面投影线)；b.所有三维投影特征在摄像网络标定的三维坐标系中进行空间拼接，可以采用以下两 种方式之一(1)当多个摄像机所组成的摄像网络系统被安装在移动平台上，则在已知移动平台运 动参数、和序列影像相对定向参数用于三维投影特征的精确拼接，以形成堆场统一坐标系 下表面的三维点云与轮廓线数据集；(2)如果摄像机固定架设在堆场四周，则由立体或多目视觉交会的投影特征均在同一 个确定的三维坐标系内，得到序列影像综合的三维数据集；c.获得堆场整体三维表面数字模型得到具有三维坐标的堆场表面点云与轮廓线集 合后，以堆场平面位置为二维变量，根据双线性插值等算法计算每个平面点位的堆场表面 相对于基准平面的高度，构成堆场三维表面数字模型；d.以堆场三维表面数字模型为基础，以空间分析土方计算等方式获得堆场三维形貌参数。所述辅助投影设备为能在不规则起伏堆场表面形成清晰投影线的光学投影设备， 如光刀轮廓线投影设备、点阵投影设备等。为保证辅助投影可准确全面表面堆场表面特征、并实现整个处理过程中投影特征 的实时自动提取与精确解算，本发明所述光投影设备(辅助投影设备)可以自主转动或者平 动，其要求是在堆场表面的投影特征与摄像机之间基线形成较大交角，从而保证影像内核 线与投影特征(如投影点排列组成的堆场表面轮廓线)相交的唯一性与交点位置的准确性。本发明中，辅助投影设备自主转动和平移对堆场表面投影，投影参数(投影点与摄 像机的基线、投影面在参考三维坐标系角度)不需求解，堆场表面投影点阵或轮廓线的三维 解由同步影像特征提取匹配后结合核线、边缘梯度、前方交会等方法自动解算。本方法中有关模型算法的分析说明1基于核线与梯度约束的同步影像内投影线边缘提取与同名点确定 由于堆场自身材料特点，非投影线部分的影像亮度非常黯淡，一般可以将投影线灰度 阈值设为99%甚至更高，据此可以得到不同影像区分投影线主体和极少数噪声与其它堆场 背景部分的灰度阈值，再根据Carmy算子提取投影线边缘信息，得到同步立体影像中具有 对称性的投影线两个连续边缘以及极少量噪点，然后计算边缘点梯度矢量、根据核线约束 匹配投影线边缘同名点。有关影像梯度、核线约束的投影线边缘同名点解算的数学分析如 下a设影像/的灰度矩阵为Gij,其中ΟΑ ^ΛΑ,则影像任意点的梯度矢量为梯度值
权利要求
1.一种大型堆场三维形貌的投影辅助摄像测量方法，其特征是，该方法包括a.堆场摄像测量系统与辅助投影设备的安装在堆场不同位置安装至少2台固定的或可移动的摄像机，标定摄像机参数，组成摄像 测量网络系统；在堆场安装辅助投影设备，该辅助投影设备通过绕固定点转动或平动或所述转动与平 动的复合运动对堆场表面投影，形成堆场表面全覆盖的投影特征；b.堆场表面投影特征的三维解算所述辅助投影设备对堆场表面投影的同时，所述各摄像机同步采集堆场表面投影特 征，通过影像内投影特征、梯度矢量、核线相互约束实现自动可靠匹配与立体或多目视觉影 像交会平差计算，实时获取堆场表面投影特征三维解；c.序列投影特征的三维拼接辅助投影对堆场表面的全覆盖结束后，对摄像系统生成的时间序列三维投影特征进行 拼接，统一到堆场三维坐标系中，得到统一坐标系下堆场表面的三维点云与轮廓线数据集 或序列影像综合的三维数据集；d.对于三维点云与轮廓线数据集或序列影像综合的三维数据集，以堆场平面位置为二 维变量，根据双线性插值等算法计算每个平面点位的堆场表面相对于基准平面的高度，构 成堆场三维表面数字模型；e.以堆场三维表面数字模型为基础，按照空间分析计算该数字模型全面的堆场三维形 貌参数、堆场体积、堆场表面积中的至少一个参数。
2.根据权利要求1所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是从摄像机摄得的影像提取投影特征，计算立体像对核线约束和投影特征交点，在立体 像对内外参数已知条件下，以成像时刻为单位，计算摄像机同步影像所记录的三维投影特 征；所述投影特征为点阵或轮廓线，三维投影特征为堆场表面投影线；所有三维投影特征在摄像网络标定的三维坐标系中进行空间拼接，采用以下两种方式 之一(1)当多个摄像机所组成的摄像网络系统被安装在移动平台上，则在已知移动平台运 动参数、和序列影像相对定向参数用于三维投影特征的精确拼接，以形成堆场统一坐标系 下表面的三维点云与轮廓线数据集；(2)当摄像机固定架设在堆场四周，则由立体或多目视觉交会的投影特征均在同一个 确定的三维坐标系内，得到序列影像综合的三维数据集；以堆场三维表面数字模型为基础，以空间分析土方计算等方式获得堆场三维形貌参数。
3.根据权利要求1所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是，所述 辅助投影设备为能在不规则起伏堆场表面形成清晰投影线的光学投影设备。
4.根据权利要求1或3所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是，所 述辅助投影设备为光刀轮廓线投影设备或点阵投影设备。
5.根据权利要求1所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是，所述 辅助投影设备为可自主转动或者平动的，它在堆场表面的投影特征与摄像机之间基线形成 较大交角。
6.根据权利要求1所述大型堆场三维形貌的投影辅助摄像测量方法，其特征是，堆场 表面投影点阵或轮廓线的三维解由同步影像特征提取匹配后结合核线、边缘梯度、前方交 会等方法自动解算。
全文摘要
一种大型堆场三维形貌的投影辅助摄像测量方法，包括架设以堆场为观测视场的摄像网络系统，引入投影辅助增强堆场表面特征，多个摄像机对堆场投影特征同步成像形成序列影像；提取影像投影特征后，以核线、梯度等多个约束确定堆场表面投影线同名点集，结合摄像系统已标定参数和前方交会实时解算三维投影线；解算各成像时刻摄像网络系统在参考坐标系运动状态及序列影像相对姿态的物理参数后，拼接三维投影线形成堆场的表面数字模型，并由此计算堆场三维形貌参数。本方法可解决港口码头、厂矿仓库调度管理中大型物料堆场三维形貌参数的高精度、实时自动测量问题，可应用于提高装卸工程机械智能化、现代物流管理信息化水平等方面。
文档编号G01B11/25GK102042814SQ20101020832
公开日2011年5月4日 申请日期2010年6月24日 优先权日2010年6月24日
发明者于起峰, 张小虎, 朱肇昆, 欧建良, 苑云 申请人:中国人民解放军国防科学技术大学