专利名称：单副图像测量前景高度的方法
技术领域：
本发明方法涉及一种通过单摄像头传回的图片，自动测量前景物体高度的新方 法，广泛适用于单摄像头估测前景高度的问题，如草的高度估测，牛羊高度的估测等 等；同时，本方法考虑到现实中前景不一定都垂直的情况，对于倾斜前景也给出了比较 好的估测精度。
背景技术：
随着计算软硬件的发展，利用计算机视觉方法对场景进行测量已发展成为计算 机视觉中的一个重要课题，计算机视觉测量已弓I起越来越多的学者兴趣和关注。目前计 算机视觉测量方法主要有下面几种一是通过同一场景的两幅或多幅图像，重建场景 的三维结构，得到前景物体的三维数据从而达到测量目的。这种方法的估测精度对图像 间匹配点的定位精度要求很高，这样参数误差都会对测量的结果的影响就比较大，但是 图像匹配点的精确定位又是计算机视觉领域的经典难题；二是采用单幅图像测量方法， 通过图像平面和世界坐标系间的投影矩阵计算出物体的三维结构，这种方法避开了图像 间匹配点的定位问题，从而有比较高的测量精度。
发明内容
本发明的目的是为了通过单幅图像测量前景物体的高度，实现了对倾斜物体高 度的较高精度测量。扩展了单幅图像测量的应用范围。本发明公开了一种利用单摄像头传回的图片，自动测量前景物体高度的新方 法。此方法采用数字图像处理技术，在计算前景高度的过程中，首先通过标定，取得图 像平面和世界坐标系之间像素点的映射关系，即计算出单应矩阵HgMatix，竖直方向 的消影点mv，横向的消影点mx，纵向的消影点my，进而计算出世界坐标系和图像平面 坐标系之间的投影矩阵ProMatix;然后，取得前景区域的高点highnod和低点lownod，再 计算绝对高点truehigh和highnod点对应的投影点truelow ；最后计算出绝对高点truehigh 的Z值和lownod与truelow所对应的时间坐标点之间的距离值，通过勾股定理，就可取得 前景物体高度的较精确的估计值。此方法解决了倾斜前景物体的高度测量问题，提高前 景物体高度估计测量的精确度；又由于本方法采用的是单摄像头的测量方法，降低了实 际应用时的成本。本发明方法的条件和步骤如下1.所需设备待校正的成像系统，的普通PC机，标定模版；其中成像系统可以 是相机或摄像机等(本文采用的是摄像头)；标定模版为自制的黑白起棋盘板。2.实现步骤本发明方法(010)部分，得到世界坐标系的地平面与图像平面之间的单应矩阵 Hg，以及垂直方向的消影点mvPoint，横向消影点mxPoint，纵向消影点myPoint，具体
步骤如下
步骤C011:开始，利用摄像头拍摄标定模板包含的棋盘纸，这里要拍摄的包含 两个方向的标定模板图像，水平放置即放置在地平面上的标定模板图像plane—Img，和垂 直地平面放置的垂直模板图像vertical—Img。通过普通PC机读取包含这两个方向的标定 模板的图片——之后摄像头固定不动。步骤C012:对于水平放置的标定模板图像plane—Img，找到模板图像plane— Img上的角点及其在图像平面上的坐标COmer[i*j]，并显示出来；对于垂直放置的标定 模板图像vertical—Img，找到模板图像vertical—Img上的角点及其在图像平面上的坐标 corner—l[i*j]，并显示出来；其中i = 1，2，…，m，这里m表示网格上横向角点个数，
j = 1, 2，…，n,这里n表示网格上纵向角点个数；步骤C013 接着上步C012得出的COmer[i*j]，假定找到的第一个角点坐标对应 的地平面齐次坐标为(0，0，0，1)，第二个角点坐标对应的地平面齐次坐标为(0，1， 0，1)，依次类推，找出每个图像平面上角点对应的地平面坐标。根据这些相对应的点， 计算出图像平面与地平面之间的单应矩阵HgMatix。步骤C014:接着C012得出的COrner[i*j]，分别拟合横向直线和纵向直线，由拟 合出的一系列横向直线，应用最小二乘，算出它们的交点即横向消影点mxPoint;由拟合 出的一系列纵向直线，应用最小二乘，算出它们的交点即纵向消影点myPoint;步骤C015 接着C012得出的corner—l[i*j]，拟合出纵向直线，由拟合出的一系 列纵向直线，应用最小二乘，算出它们的交点即垂直方向的消影点mvPoint;本发明方法(020)部分，计算摄像头的内部参数Intri和世界坐标系与图像平面坐 标系之间的投影矩阵ProMatix，具体步骤如下步骤C021:根据步骤C013得到的单应矩阵Hg和步骤C015得到的mvPoint，由 单应矩阵与摄像头内参数之间的关系、旋转矩阵的特性，列出三组线性方程，计算出内 部参数Intri。步骤C022 根据步骤CO 13得到的单应矩阵HgMatix和步骤CO 15得到的 mvPoint,以及步骤C021得出的Intri，由单应矩阵HgMatix与投影矩阵ProMatix、垂直 方向消影点mvPoint之间的关系，计算出世界坐标系与图像平面坐标系之间的投影矩阵 ProMatix o本发明方法(030)部分，计算前景的高度high具体步骤如下步骤C031 对于前景的提取，不同的应用环境有不同的方法。本文采用的是高 斯混合模型的前景提取法，提取前景区域front—Img。步骤C032 计算垂直消影点mvPoint和前景区域front—Img所有点之间的距离，
取最大值hH和最小值1H对应的图像点。如果消影点的纵向值大于零，则取最大值对 应的点为最高点highnod，最小值对应的图像点为最低点lownod ；如消影点的纵向值小于 零，则相反。步骤C033:计算C032中最大值hH和最小值1H的差值length，在最低点lownod
和垂直消影点mvPoint连线上，从最低点lownod向最高点所在方向取长度为length的线 段，交点为绝对高点truehigh ； 步骤C034 垂直消影点mvPoint与最高点highnod的连线L1，横向消影点 mxPoint与最低点lownod的连线L2，纵向消影点myPoint与最低点lownod的连线L3 ；分别计算L1与L2的交点P1和L1与L3的交点P2 ；再计算lownod与P1的距离和lownod 与P2的距离，取其距离值小者对应的交点(P1或P2)作为绝对低点truelow ；步骤C035 根据单应矩阵HgMatix计算最低点lownod和绝对低点truelow在 地平面上的坐标，并计算出在地平面上的距离lengthL ；由算出的最低点lownod对应在 地平面上的坐标和绝对高点truehigh，计算出绝对高点truehigh在世界坐标系上的Z值 truehighZ ；步骤C036:上步的lengthL和truehighZ，根据勾股定理，计算出图像上最高点
highnod和最低点lownod对应的世界坐标系中的距离，即前景的高度high。有益效果本发明的目的是提供一种能够计算任意放置(包括倾斜放置)物体的高度。其 优点在于采用数字图像处理技术，方法灵活，易于实现，成本较低；同时使用该方法简 单通用，对于任意相机或摄像机，任意分辨率的图像都可使用。
图1为水平标定模板图像plane—Img，和垂直模板图像vertical—Img ；图2为地平面上的横向消影点mxPoint和纵向消影点myPoint与各个角点的连 线，垂直消影点mvPoint与各个角点的连线；图3为系统处理计算时的流程4为前景所在测量区域图像和计算的结果显示图。
具体实施例方式由图3所示的前景物体高度计算的流程分为三部分。一、(010)部分，得到世界坐标系的地平面与图像平面之间的单应矩阵Hg，以 及垂直方向的消影点mvPoint，横向消影点mxPoint，纵向消影点myPoint 首先，利用摄像头拍摄包含两个方向的标定模板图像——水平放置即放置 在地平面上的标定模板图像plane—Img，和垂直地平面放置的垂直模板图像vertical— Img (C011)；然后，分别找到模板图像的角点及其在图像平面上的坐标COmer[i*j]、 corner—l[i*j]，并显示出来(C012)；接着，找出每个图像平面上角点对应的地平面坐标。根据这些相对应的点，计 算出图像平面与地平面之间的单应矩阵HgMatiX(C013)；由comer[i*j]分别拟合横向直线 和纵向直线，由拟合出的一系列横向直线，应用最小二乘，算出它们的交点即横向消影 点mxPoint;由拟合出的一系列纵向直线，应用最小二乘，算出它们的交点即纵向消影点 myPoint(C014)；由corner—l[i*j]，拟合出纵向直线，由拟合出的一系列纵向直线，应用 最小二乘，算出它们的交点即垂直方向的消影点mVPOint(C015)；图1所示为原始标定图像plane—Img和vertical—Img，图2所示为各向消影点与各 个角点的连线。二、(020)部分，由单应矩阵与摄像头内参数之间的关系、旋转矩阵的特性， 列出三组线性方程，计算出内部参数Intri(C021)；由单应矩阵HgMatix与投影矩阵ProMatix,垂直方向消影点mvPoint之间的关系，计算出世界坐标系与图像平面坐标系之 间的投影矩阵ProMatix(C022)。三、(030)部分，计算前景的高度high。首先取得前景的最高点highnod和最低 点lownod (C032)，然后求得绝对高点truehigh (C033)和绝对低点truelow (C034)，接着计
算出绝对高点truehigh在世界坐标系上的Z值truehighZ(C035)；最后由勾股定理计算出 最高点与最低点在世界坐标系中的距离即前景高度值high(C036).图4为使用本发明方法对某个前景的计算结果。
权利要求
1.单副图像测量前景高度的方法，设备由待校正的成像系统，普通PC机，标定模版 组成；其中成像系统可以是相机或摄像机等(本文采用的是摄像头)；标定模版为自制的 黑白起棋盘板。其步骤如下 1.实现步骤本发明方法(OlO)部分，得到世界坐标系的地平面与图像平面之间的单应矩阵Hg， 以及垂直方向的消影点mvPoint，横向消影点mxPoint，纵向消影点myPoint，具体步骤如 下步骤COll 开始，利用摄像头拍摄标定模板包含的棋盘纸，这里要拍摄的包含两个 方向的标定模板图像，水平放置即放置在地平面上的标定模板图像plane—Img，和垂直地 平面放置的垂直模板图像vertical—Img。通过普通PC机读取包含这两个方向的标定模板 的图片——之后摄像头固定不动。步骤C012 对于水平放置的标定模板图像plane—Img，找到模板图像plane—Img 上的角点及其在图像平面上的坐标comer[i*j]，并显示出来；对于垂直放置的标定模 板图像vertical—Img，找到模板图像vertical—Img上的角点及其在图像平面上的坐标 corner—l[i*j]，并显示出来；其中i = 1，2，…，m，这里m表示网格上横向角点个数， j = 1, 2，…，η,这里η表示网格上纵向角点个数；步骤C013:接着上步C012得出的COrner[i*j]，假定找到的第一个角点坐标对应的 地平面齐次坐标为(0，0，0，1)，第二个角点坐标对应的地平面齐次坐标为(0，1，0， 1)，依次类推，找出每个图像平面上角点对应的地平面坐标。根据这些相对应的点，计 算出图像平面与地平面之间的单应矩阵HgMatix。步骤C014:接着C012得出的COmer[i*j]，分别拟合横向直线和纵向直线，由拟合出 的一系列横向直线，应用最小二乘，算出它们的交点即横向消影点mxPoint;由拟合出的 一系列纵向直线，应用最小二乘，算出它们的交点即纵向消影点myPoint;步骤C015:接着C012得出的comer—l[i*j]，拟合出纵向直线，由拟合出的一系列纵 向直线，应用最小二乘，算出它们的交点即垂直方向的消影点mvPoint;本发明方法(020)部分，计算摄像头的内部参数Intri和世界坐标系与图像平面坐标系 之间的投影矩阵ProMatix，具体步骤如下步骤C021:根据步骤C013得到的单应矩阵Hg和步骤C015得到的mvPoint，由单应 矩阵与摄像头内参数之间的关系、旋转矩阵的特性，列出三组线性方程，计算出内部参 数 Intri。步骤C022 根据步骤C013得到的单应矩阵HgMatix和步骤C015得到的mvPoint， 以及步骤C021得出的Intri，由单应矩阵HgMatix与投影矩阵ProMatix、垂直方向消影点mvPoint之间的关系，计算出世界坐标系与图像平面坐标系之间的投影矩阵ProMatix。 本发明方法(030)部分，计算前景的高度high具体步骤如下 步骤C031:对于前景的提取，不同的应用环境有不同的方法。本文采用的是高斯混 合模型的前景提取法，提取前景区域front—Img。步骤C032:计算垂直消影点mvPoint和前景区域front—Img所有点之间的距离，取最 大值hH和最小值IH对应的图像点。如果消影点的纵向值大于零，则取最大值对应的点 为最高点highnod，最小值对应的图像点为最低点Iownod ；如消影点的纵向值小于零，贝Ij相反。步骤C033 计算C032中最大值hH和最小值IH的差值length，在最低点Iownod和 垂直消影点mvPoint连线上，从最低点Iownod向最高点所在方向取长度为length的线段， 交点为绝对高点truehigh ；步骤C034 垂直消影点mvPoint与最高点highnod的连线Ll，横向消影点mxPoint与 最低点Iownod的连线L2，纵向消影点myPoint与最低点Iownod的连线L3 ；分别计算Ll 与L2的交点Pl和Ll与L3的交点P2 ；再计算Iownod与Pl的距离和Iownod与P2的距 离，取其距离值小者对应的交点(Pl或P2)作为绝对低点truelow;步骤C035 根据单应矩阵HgMatix计算最低点Iownod和绝对低点truelow在地平面 上的坐标，并计算出在地平面上的距离IengthL;由算出的最低点Iownod对应在地平面上 的坐标和绝对高点truehigh，计算出绝对高点truehigh在世界坐标系上的Z值truehighZ ； 步骤C036:上步的IengthL和truehighZ，根据勾股定理，计算出图像上最高点 highnod和最低点Iownod对应的世界坐标系中的距离，即前景的高度high。
全文摘要
本发明公开了一种利用单摄像头传回的图片，自动测量前景物体高度的新方法。此方法采用数字图像处理技术，在计算前景高度的过程中，首先通过标定，取得图像平面和世界坐标系之间像素点的映射关系，即计算出单应矩阵HgMatix，竖直方向的消影点mv，横向的消影点mx，纵向的消影点my，进而计算出世界坐标系和图像平面坐标系之间的投影矩阵ProMatix；然后，取得前景区域的高点highnod和低点lownod，再计算绝对高点truehigh及高点highnod在地平面上的投影点即绝对低点truelow；最后计算出绝对高点truehigh的Z值和lownod与truelow所对应的时间坐标点之间的距离值，通过勾股定理，就可取得前景物体高度的较精确的估计值。此方法解决了倾斜前景物体的高度测量问题，提高前景物体高度估计测量的精确度；又由于本方法采用的是单摄像头的测量方法，降低了实际应用时的成本。
文档编号G01B11/03GK102012213SQ201010267518
公开日2011年4月13日 申请日期2010年8月31日 优先权日2010年8月31日
发明者傅博, 李文辉, 齐刚 申请人:吉林大学