专利名称：由单幅图像测量场景及场景内物体几何信息的方法
技术领域：
本发明涉及计算机辅助自动测量。
近年来，随着计算机视觉的发展和应用，人们开始探索借助计算机视觉方法，通过图像进行测量。在这类方法中，较为典型的是通过两幅或多幅图像利用立体视觉的方法重建出被测场景的三维结构，但该方法涉及到计算机视觉领域的经典难题，即多幅图像间的匹配，因而很难投入实际应用。另一种方法是事先在场景平面中人工测量4个以上控制点的信息并以此来计算空间平面与像平面间的投影矩阵，然后通过单幅图像进行测量，这种方法的测量精度与控制点的选取精度、位置和数量直接相关，但在实际应用中，有时控制点很难选取，而且也无法保证控制点的测量精度。
为实现上述目的，由单幅图像测量场景及场景内物体几何信息的方法，包括步骤1).拍摄一幅或多幅被测场景的图像并输入计算机；
2).从图像中提取出场景中参考平面内的点或直线的信息，与参考平面垂直的平行线信息以及参考距离的两个端点；3).利用步骤2提取出的参考平面内点或直线的信息及其与场景的对应关系，求出参考平面到图像平面的映射关系矩阵H；4).利用步骤2提取出的点或线的信息，在图像上计算出垂直于参考平面方向上的消隐点及参考平面的消隐线。
5).从图像中提取出需测量的物体的边界信息并将其分段拟合成直线或二次曲线，对于物体的上下表面，利用图像上的对极关系或物体表面自身的性质求出该表面中心点的坐标；6).利用上述步骤求出的参数测量场景及场景内物体的几何信息。这些信息包括空间点的坐标、距离、直线夹角、点到直线的距离、平面图形面积及物体体积等。
本发明可以进行以下测量参考平面内任意一点在场景坐标系中的坐标及任意两点之间的距离；空间中任意一点相对于参考平面的高度、在场景坐标系中的坐标及任意两点之间的距离；点到参考平面内某一直线的距离；场景中参考平面及与参考平面相平行的平面内任意两直线间的夹角、平面图形的面积以及一些相对规则和对称的物体的体积，如方体、圆柱体、圆锥体、圆台等。同时，可以根据对各步骤的不确定性分析给出每个测量结果的误差范围。本发明提供的测量方法不需要对摄像机参数进行标定，具有较为简便、实用、测量精度高、鲁棒性好等特点，使基于视觉的测量方法走向实用。
发明的
具体实施例方式
本发明方法要求场景中含有一张参考平面及与该参考平面垂直的两条或多条平行线及一个参考距离，在参考平面内应包含一些已知的几何信息，如一些点或直线的信息，这些信息可以通过场景中的窗框、门框、地板的纹理、规则物体的轮廓等获得，也可以通过在场景中放置一个已知几何信息的模板获得，同时，场景中应具有一个参考距离。用普通照相机或数码相机拍摄一幅图像即可进行测量，而且不需要对摄像机参数进行标定，若能从不同角度拍摄多幅图像，则可从中选取一幅较好的进行测量或综合利用同一被测量在多幅图像中的测量值以便提高测量精度。
对于一幅图像，该方法主要包括图像获取、关键特征提取、变换矩阵计算、消隐线及消隐点计算、物体特征的提取和计算、测量等步骤组成，如
图1所示，各步的具体说明如下1.获取图像用普通照相机或数码相机拍摄一幅或多幅被测场景的图像，并借助扫描仪或某些专用接口将图像输入计算机。2.关键特征提取通过自动或人机交互方式从图像中提取出场景中参考平面内的点或直线的信息，与参考平面垂直的平行线信息，参考距离的两个端点。如果在场景中放置有模板，则从图像中提取模板中所包含的已知点或直线的几何信息。其中，可以用Canny或Robert、Sobel等边缘检测算子提取边缘信息，然后用Hough变换或最小二乘、极大似然估计等方法求取直线参数。3.变换矩阵计算利用第2步提取出的参考平面内点或直线的信息及其与场景的对应关系，求出参考平面到图像平面的映射关系矩阵H，其中，H为一3×3的矩阵。以点的对应为例，设场景中点的齐次坐标为Xi，图像中的对应点为mi，则由mi＝sHXi即可求出映射关系矩阵H。4.消隐线及消隐点计算利用第2步提取出的与参考平面垂直的平行线信息，计算出图像在该方向上的消隐点Vr；利用第3步所得到的变换矩阵计算出图像中参考平面的消隐线Lv，或直接利用第2步提取出的参考平面内的信息计算消隐线。5.物体特征的提取和计算采用与第2步相类似的方法，通过自动或人机交互方法从图像中提取出需测量的物体的边界信息并将其分段拟合成直线或二次曲线。对于物体的上下表面，利用图像上的对极关系或物体表面自身的性质求出该表面中心点的坐标。6.测量本发明可以进行以下测量参考平面内任意一点在场景坐标系中的坐标及任意两点之间的距离；空间中任意一点相对于参考平面的高度、在场景坐标系中的坐标及任意两点之间的距离，测量的前提是该点在参考平面内的垂点是已知的；场景中参考平面及与参考平面相平行的平面内任意两直线间的夹角；点到参考平面内直线距离；平面图形的面积以及一些相对规则和对称的物体的体积等。同时，可以根据对各步骤的不确定性分析给出每个测量结果的误差范围。具体测量方法如下(1).参考平面内点的坐标及距离的测量对于参考平面图像上的任意一点m，利用第3步求出的映射关系矩阵的逆变换就可以求出场景中对应点的坐标值X＝H-1m，进而可以算出参考平面内任意两点间的距离。
(2).参考平面外点的坐标及高度的测量如图2所示，Lv和Vr分别为第4步求出的消隐线和消隐点；S0和E0为参考距离的两个端点，则S0、E0和Vr三点共线Lr；S1和E1为待测高度的两个端点，则借助消隐线Lv可将点S1映射到直线Lr上与其具有等高度的点H1上。这样，根据射影变换保持交比不变的性质即可求出S1和E1对应的空间距离。另一方面，由于点E1在参考平面内，其坐标可由(1)得到，由此可以得到点S1对应的空间点的坐标。
(3).场景中任意两点之间距离的测量由(1)和(2)可以得到参考平面内任意两点间的距离以及空间点的高度，通过简单的几何代数运算即可求得场景中任意两点之间的距离。
(4).参考平面内任意两条直线间夹角的测量设两条直线与消隐线Lv的两个交点为P1、P2，由第3步求出的映射关系矩阵H可以得到两个圆环点的图像I、J，则P1、P2和I、J四点共线，根据这四点的交比及射影变换保持交比不变的性质即可求出两条直线间的夹角。例如设此交比为Cr，则夹角θ＝1n(Cr)/(2*i)。也可以通过变换矩阵将此直线映射到空间平面上，根据两条直线的方程直接计算其夹角。
(5).参考平面及与参考平面相平行的平面内任意平面图形面积的测量对于一般的平面图形，在图像上检测出其边缘信息并通过映射关系矩阵H将其映射到空间平面上，然后通过积分法求出其面积的近似值；对于矩形和三角形，可由(1)直接求出其边长并利用矩形和三角形面积公式计算面积；对于圆，在图像上提取其边缘并用二次曲线拟合出其方程，利用二次曲线与消隐线间的对极关系求出其中心坐标，由(1)计算该中心与任一边缘点之间的距离即为半径，从而可以利用圆的面积公式得到其面积。
(6).物体体积的测量由(5)可以测出物体的底面积及截面积，由(2)可以测出物体的高度，这样，通过简单的代数或几何运算即可以由体积计算公式求出物体的体积。例如对于圆锥体，由第5步提取出底部的边界信息并拟合成二次曲线并求出其中心点的坐标，这样就可以计算出底面积和高度从而求出体积；对于圆台，分别提取出上下表面的边界信息并拟合成二次曲线，计算出上下表面的面积，求出其中心点的坐标中心，则两中心点之间的距离即为高度，从而可以利用体积计算公式求出体积。
(7).点到参考平面内直线距离的测量测量方法如图3所示，求参考平面内的点A到直线BC的距离。设BC与消隐线Lv的交点为D，Lv上的两个圆环点为I、J，在Lv上计算与D、I、J交比为-1的点E，连接A、E与BC交于点H，由(1)计算A、H间的距离即为所求的点A到直线BC的距离。若要计算空间一点S到直线BC的距离，可先由(2)测出S点的高度，再计算S点在参考平面内的垂点到直线BC的距离，则通过简单的代数或几何运算即可求出S点到直线BC的距离。也可以通过变换矩阵将此直线映射到空间平面上，由(2)计算出点在场景坐标系中的坐标，然后根据直线的方程和空间点的坐标直接计算点到直线的距离。
如图4所示为一被测场景的图像，我们利用边缘检测和直线拟合算法提取出图中已知的地板信息和垂直于地板的平行线的信息，通过最小二乘法计算出映射关系矩阵、消隐线及消隐点，参考距离为铁柜的高度H0。按照本发明所述的方法，在图像中用鼠标任选两点，就可以直接从图像求出场景中这两点间的距离，测量结果如图4所示。其中，V为圆铁桶的体积，可以看出，距离D1和D2在现实空间中是很难测量的。通过本发明方法所得到的测量值如图4所示。图中各测量值的真实值如下人的高度H1＝171.5cm；控制柜高度H2＝170.4cm；距离D1＝302.7cm；D2＝389.2cm；圆铁桶的直径为24cm，高为59.3cm，体积为V＝26826.7cm3。本发明的测量相对误差一般在4％以内，这是完全可以达到测量精度要求的。
权利要求
1.一种由单幅图像测量场景及场景内物体几何信息的方法，包括步骤1)拍摄一幅或多幅被测场景的图像并输入计算机；2)从图像中提取出场景中参考平面内的点或直线的信息，与参考平面垂直的平行线信息以及参考距离的两个端点；3)利用步骤2提取出的参考平面内点或直线的信息及其与场景的对应关系，求出参考平面到图像平面的映射关系矩阵H。4)利用步骤2提取出的点或线的信息，在图像上计算出垂直于参考平面方向上的消隐点及参考平面的消隐线。5)从图像中提取出需测量的物体的边界信息并将其分段拟合成直线或二次曲线，对于物体的上下表面，利用图像上的对极关系或物体表面自身的性质求出该表面中心点的坐标；6)利用上述步骤求出的参数测量场景及场景内物体的几何信息，这些信息包括空间点的坐标、距离、直线夹角、点到直线的距离、平面图形面积及物体体积等。
2.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于在场景中放置模板，以计算映射关系矩阵、消隐点及消隐线。
3.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于利用待测场景中参考平面及垂直于参考直线的信息进行测量。
4.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于将待测高度的点映射到参考距离所在的直线上，根据射影变换保持交比不变的性质即可求出其对应的空间高度，并结合其垂点在参考平面内的测量得到其对应的空间坐标。
5.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于利用参考平面内任意两点间的距离以及空间点的高度，求得场景中任意两点之间的距离。
6.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于根据两条直线与消隐线的两个交点及两个圆环点所构成的交比，结合射影变换保持交比不变的性质计算两条直线间的夹角。
7.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于通过变换矩阵将直线映射到空间平面上，根据两条直线的方程直接计算其夹角。
8.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于对于位于参考平面或平行于参考平面的平面内的平面图形，在图像上检测出其边缘信息并通过映射关系矩阵将其映射到空间平面上，然后通过积分法求出其面积的近似值。
9.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于利用与两个圆环点交比为-1的方法求取点到参考平面内直线的垂足从而计算点到直线的距离。
10.按权利要求1或4所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于通过变换矩阵将直线映射到空间平面上，根据直线的方程和空间点的坐标直接计算点到直线的距离。
11.按权利要求1所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于利用二次曲线与消隐线间的对极关系求出圆的中心坐标。
12.按权利要求1或11所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于利用圆所对应的图像二次曲线的中心坐标计算圆柱、圆锥、圆台等物体的高度。
13.按权利要求4或12所述的由单幅图像测量场景及场景内物体几何信息的方法，其特征在于计算物体的底面积、截面积及高度，从而计算物体的体积。
全文摘要
一种由单幅图像测量场景及场景内物体几何信息的方法，包括步骤1)拍摄一幅或多幅被测场景的图像并输入计算机；2)从图像中提取出场景中参考平面内的点或直线的信息，与参考平面垂直的平行线信息以及参考距离的两个端点；3)利用步骤2提取出的参考平面内点或直线的信息及其与场景的对应关系，求出参考平面到图像平面的映射关系矩阵H；4)利用步骤2提取出的点或线的信息，在图像上计算出垂直于参考平面方向上的消隐点及参考平面的消隐线。5)从图像中提取出需测量的物体的边界信息并将其分段拟合成直线或二次曲线，对于物体的上下表面，利用图像上的对极关系或物体表面自身的性质求出该表面中心点的坐标；6)利用上述步骤求出的参数测量场景及场景内物体的几何信息。这些信息包括空间点的坐标、距离、直线夹角、点到直线的距离、平面图形面积及物体体积等。
文档编号G06K9/36GK1453740SQ0211816
公开日2003年11月5日 申请日期2002年4月23日 优先权日2002年4月23日
发明者王光辉, 吴福朝, 胡占义 申请人:中国科学院自动化研究所