一种基于相机自标定技术的河工模型地形测量方法
【专利摘要】本发明涉及一种基于相机自标定技术的河工模型地形测量方法，属于河工模型测量【技术领域】，该方法包括：制作和安装标定板，制作和撒布辅助标定片，对河工模型进行拍照，提取图片的特征点，将所有图片进行两两配对，对图片对中的特征点以特征距离进行匹配；剔除不合理的匹配同名点对，选择匹配同名点对最多的一对图片解算相机参数和匹配同名点对的世界坐标：使用最优化解法微调所有已解图片的相机参数，标定河工模型稀疏点云，生成河工模型稠密点云，根据得到的河工模型稠密点云的三维坐标数据生成河工模型地形。本发明具有精度较高、使用方便、成本低的优点。
【专利说明】一种基于相机自标定技术的河工模型地形测量方法
【技术领域】
[0001]本发明属于河工模型测量【技术领域】，特别涉及一种基于相机自标定技术的河工模型地形测量方法。
【背景技术】
[0002]在重要的水利水电工程规划、设计和建设过程中，均需要进行河工模型试验(研究河床演变与河道整治)。对试验前后的模型地形进行测量，就可得到不同水流条件下河床的冲淤变化以及泥沙的冲淤量。早期的测量方法主要以使用水平仪人工测量为主，这类方法费时费力，而且测量点相对较少，得到的模型地形分辨率较低。随着自动测控技术的发展，以声光电原理为基础的河工模型地形测量方法大量出现，例如使用超声传感器或者激光测距仪测量地形。这类方法每次测量只能得到一个数据点，并且需要在各类测距仪上附加许多精密机械设备以控制其姿态及位置，测量精度依赖于这些机械结构的加工与安装调试精度，整个系统的成本较大，实际使用时的测量时间很长。最近二十年来，机器视觉技术发展迅速，出现了使用多相机同时拍摄河工模型图片，通过相机标定及图形图像技术从图像中重构河工模型地形的方法。这类方法需要多个相机，并且事先标定每个相机的参数，在测量过程中相机的位置、焦距等所有参数均不能变化，实际使用中设备架设好后便不能移动，而单套设备的测量范围较小，当需要测量规模较大的河工模型时，需要布置多套设备。因此，急需发明一种使用方便、精度较高且成本较低的河工模型地形测量方法。
[0003]近年来，不事先标定相机参数，而是直接根据所拍摄的景物根据一定原理来标定相机参数并得到物体空间坐标的自标定方法成为热点。自标定方法的理论基础是对极几何和摄像机投影模型，关键技术是特征点提取和匹配。对极几何和摄像机投影模型是机器视觉技术的理论基础，已经非常成熟。对于特征点提取和匹配，Lowe于2004年提出了 SIFT算法(Lowe D.2004.Distinctive image features from scale-1nvariant key-points.1nternational Journal of Computer Vision, 60 (2), 91 - 110), SIFT 算法的实质是将计算分布在不同的尺度空间上，从而能在不同尺度上查找特征点。SIFT能在目标旋转、缩放、平移时保持不变，并能克服光照、遮挡以及图像噪声的影响。SIFT算法对其找到的每个特征点都附有一个描述符，描述其图像特征，便于在不同图像中对特征点进行匹配。当两张图片从不同位置和角度拍摄空间中的同一点时，不同图片中此点图像的SIFT描述符应该十分接近，因此可根据SIFT描述符对不同图片中的特征点进行匹配，匹配好的点对称为匹配同名点对，匹配同名点对是空间中同一点在不同图片中的图像。由于SIFT算法能够得到数量众多的特征点，所以需要快速高效的同名点匹配算法，最近邻结点kd树法(AryaS，et al.1998.An optimal algorithm for approximate nearest neighbor searchingfixed dimensions.Journal of the ACM, 45 (6)，891 - 923)对特征点进行有效组织和排列，极大加快了匹配速度。根据对极几何，匹配同名点对的坐标满足极线约束，即匹配同名点对在各自图像中的坐标与基础矩阵F相乘之积为O。Fischler等提出了 RANSAC算法，根据两张图片的匹配同名点对序列的图像坐标快速准确计算出基础矩阵F (FischlerMAj Bolles RC.1981.Random sample consensus:A paradigm for model fitting withapplications to image analysis and automated cartography.Communications of theACM, 24(6)，381 - 395)。得到基础矩阵后，即可根据摄像机投影模型和相机参数计算出匹配同名点对代表的空间一点的坐标。自标定方法由于不需要精确设置相机位置、不需要事先标定相机参数等优势，在机器人视觉、导弹制导、水下地形测量、灾害现场重构、工程施工控制以及文物保护与研究等领域得到了广泛应用。
【发明内容】
[0004]本发明的目的是为克服已有河工模型地形测量方法的不足之处，提供一种基于相机自标定技术的河工模型地形测量方法。本发明利用相机自标定技术，操作者只需在河工模型上摆放标定板，之后手持普通照相机对准河工模型从不同角度拍照，将图片进行处理和坐标标定，即可获得准确的河工模型地形。具有精度较高、使用方便、成本低的优点。
[0005]为实现上述目的，本发明提出一种基于相机自标定技术的河工模型地形测量方法，其特征在于，该方法包括以下步骤:
[0006]步骤A:制作和安装标定板:制作由标定平板和固定支架组成的标定板，标定平板的表面设置有四个黑白相间的矩形格图案，固定支架与标定平板的底面固定，并能调节标定平板的高度及水平位置；记录矩形格图案的矩形格长、短边的数值；将标定板放置在待测河工模型中任意一不过水的位置上，将标定板的平板调整水平；调整好后标定板在整个测量过程中固定不动；
[0007]步骤B:制作和撒布辅助标定片:制作大量表面设置有黑白格的辅助标定片；将大量辅助标定片随机撒布在待测河工模型河床表面；
[0008]步骤C:对河工模型进行拍照:采用普通数码相机对河工模型进行拍照，使相机的镜头对准河工模型的中心，相机高度需使图片拍摄到河工模型整个范围；按照河工模型四周边及两对角线组成6条拍摄路径，依次移动相机进行拍摄，每条路径上拍摄至少10张图片/每米，每张图片中均包含至少3个辅助标定片；
[0009]步骤D:提取图片的特征点:将所得图片全部输入计算机，使用SIFT算法提取每张图片中的特征点，得到每个特征点在图片中的位置，并对每个特征点给出一个128个数的描述符；
[0010]步骤E:将所有图片进行两两配对，排列出所有图片对并记录每个图片对的序号；
[0011]步骤F:按顺序提取步骤E所得图片对的序号，对该图片对中的特征点以特征距离进行匹配；
[0012]步骤G:剔除不合理的匹配同名点对:根据步骤F中得到图片对的匹配同名点对，使用RANSAC算法计算图片对的基础矩阵；得到基础矩阵后，使用极线约束将与极线约束的误差大于设定值b的匹配同名点对剔除，当最终匹配同名点对的数目为设定值c以上时，接受此图片对中的所有匹配同名点对，将图片序号、匹配同名点对在各自图片中的位置以及各自的描述符记录下来。当匹配同名点对的数目少于c对时，认为该图片对无合理匹配同名点对；
[0013]步骤H:判断是否有未计算的图片对，若有，提取图片对重复步骤F到G，若无，继续进行步骤I ;[0014]步骤1:选择匹配同名点对最多的一对图片(I，J)解算相机参数和匹配同名点对的世界坐标:
[0015]步骤J:在未解图片中找到含有最多已解点的图片L ；
[0016]步骤K:从已解点的世界坐标和已解点在图片L中的投影图像坐标(?, yj，根据投影方程(5)使用最优化解法计算出图片L的相机参数，再采用已解图片的相机参数根据方程组(6)解算图片L中未解匹配同名点对的世界坐标，得到新的已解点；
[0017]步骤L:使用最优化解法微调所有已解图片的相机参数，使得已解点的总体投影
误差最小；
[0018]步骤M:判断是否含有未解图片，若有，则转回步骤J，如没有，则进行步骤N ；
[0019]步骤N:标定河工模型稀疏点云:所有图片均已解算出相机参数，所有匹配同名点对均已确定世界坐标，所有已解点组成未标定的河工模型稀疏点云；选取包含完整标定板图像的任意三张图片，将标定板中四个黑白相间的矩形格的9个角点的世界坐标代入未标定的河工模型稀疏点云，将该河工模型稀疏点云中的相机参数和已解点坐标均标定为真实世界坐标，得到已标定河工模型稀疏点云；
[0020]步骤0:生成河工模型稠密点云:以已解点为基础，在已解点附近寻找其它匹配同名点并确定世界坐标， 最后得到河工模型稠密点云；
[0021]步骤P:根据河工模型稠密点云生成河工模型地形:利用河工模型稠密点云的三维坐标数据生成河工模型地形。
[0022]本发明具有如下优点:不需要购买价格昂贵的传感器，不需要对仪器进行精确位置固定和标定，手持普通相机拍摄图片即可得到精确的河工模型地形。相较于传统方法，本发明成本低廉、使用极其方便。增加图片数量时，能够得到毫米级精度的河工模型地形。
【专利附图】
【附图说明】
[0023]图1为本发明方法流程框图；
[0024]图2为本发明中的标定板；
[0025]图3为本发明中的辅助标定片；
[0026]图4为本发明中相机拍摄路径；
[0027]图5为本发明的实施例河工模型地形；
[0028]图6为本发明与已有技术的测量精度对比。
【具体实施方式】
[0029]下面结合附图及实施例详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
[0030]本发明的一种基于相机自标定技术的河工模型地形测量方法，如图1步骤如下:
[0031]步骤A:制作和安装标定板:制作由标定平板和固定支架组成的标定板，标定平板的表面设置有四个黑白相间的矩形格图案，固定支架与标定平板的底面固定，并能调节标定平板的高度及水平位置；记录矩形格图案的矩形格长、短边的数值(作为步骤N中设置矩形格角点坐标的依据)；将标定板放置在待测河工模型中任意一不过水的位置上，将标定板的平板调整水平；调整好后标定板在整个测量过程中固定不动；[0032]步骤B:制作和撒布辅助标定片:制作大量表面设置有黑白格的辅助标定片(辅助标定片边长在2~5厘米为宜，具体大小以在步骤C拍摄的每张图片中能清晰分辨出每个辅助标定片的黑白格为准，辅助标定片的作用为使后续SIFT算法能准确定位辅助标定片的中心点，增加测量精度)；将大量辅助标定片随机撒布在待测河工模型河床表面(撒布尽量均匀，各辅助标定片之间密度需保证所拍摄的每张图片中都包含至少3个辅助标定片)；
[0033]步骤C:对河工模型进行拍照:采用普通数码相机对河工模型进行拍照，使相机的镜头对准河工模型的中心，相机高度需使图片拍摄到河工模型整个范围(当河工模型规模很大时，可对河工模型进行分段拍摄，每段大小宜控制在5X5米以下)；按照河工模型四周边及两对角线组成6条拍摄路径，依次移动相机进行拍摄，每条路径上拍摄至少10张图片/每米，每张图片中均包含至少3个辅助标定片(当辅助标定片密度不满足要求时，可增加撒布辅助标定片)；
[0034]步骤D:提取图片的特征点:将所得图片全部输入计算机，使用SIFT算法提取每张图片中的特征点(提取出的特征点包含了辅助标定片的中心点)，得到每个特征点在图片中的位置，并对每个特征点给出一个128个数的描述符Hii (i为I到128之间的整数，如果同一物体被拍进不同图片中，由于物体自身结构的一致性，不同图片中反映物体上同一点的那些特征点应具有相近的描述符Hli)；
[0035]步骤E:将所有图片进行两两配对，排列出所有图片对并记录每个图片对的序号；
[0036]步骤F:按顺序提取步骤E所得图片对的序号，对该图片对中的特征点以特征距离进行匹配；具体过程为:设匹配图片对序号为(I，J)，定义图片I中特征点P和图片J中的特征点q之间的特征距离dM为:
[0037]
<img/
[0038]其中Hii,Ip和Iiii,Jtl分别为图片I中特征点p和图片J中的特征点q的描述符。对图片I中特征点P，遍历图片J中的所有特征点计算(I)式，得到最小和次小的特征距离值，若最小和次小特征距离值之比小于一设定值a (a取值在0.3到0.8之间，取值越小所得匹配点越少，匹配精度越高，相反则所得点越多精度越低)，则认为该最小特征距离值对应的特征点和图片I中特征点P匹配，称为匹配同名点对(认为匹配的特征点是河工模型上的同一个点在不同图片中的反映)，若大于a，则认为图片J中无特征点与图片I中特征点P匹配；
[0039]步骤G:剔除不合理的匹配同名点对:根据步骤F中得到图片对的匹配同名点对，使用RANSAC算法计算图片对的基础矩阵；得到基础矩阵后，使用极线约束将与极线约束的误差大于设定值b的匹配同名点对剔除(容许误差b的范围在0.06到0.005之间，值设置得越大，最终得到点越多，但误差越大，相反则点越少精度越高)，当最终匹配同名点对的数目为设定值c以上时(c至少大于8，设置数值越大精度越高)，接受此图片对中的所有匹配同名点对，将图片序号、匹配同名点对在各自图片中的位置以及各自的描述符mi记录下来。当匹配同名点对的数目少于c对时，认为该图片对无合理匹配同名点对；
[0040]步骤H:判断是否有未计算的图片对，若有，提取图片对重复步骤F到G，若无，继续进行步骤I ;
[0041]步骤1:选择匹配同名点对最多的一对图片(I，J)解算相机参数和匹配同名点对的世界坐标:一对匹配同名点对中，在图片I中的图像坐标为(Xpy1),在图片J中的图像坐标为(Xp yT)，该匹配同名点对对应的河工模型上同一点的世界坐标为(X，Y，Z)，图像坐标与世界坐标之间满足投影关系，以图片I为例:
【权利要求】
1.一种基于相机自标定技术的河工模型地形测量方法，其特征在于，该方法包括以下步骤: 步骤A:制作和安装标定板:制作由标定平板和固定支架组成的标定板，标定平板的表面设置有四个黑白相间的矩形格图案，固定支架与标定平板的底面固定，并能调节标定平板的高度及水平位置；记录矩形格图案的矩形格长、短边的数值；将标定板放置在待测河工模型中任意一不过水的位置上，将标定板的平板调整水平；调整好后标定板在整个测量过程中固定不动； 步骤B:制作和撒布辅助标定片:制作大量表面设置有黑白格的辅助标定片；将大量辅助标定片随机撒布在待测河工模型河床表面； 步骤C:对河工模型进行拍照:采用普通数码相机对河工模型进行拍照，使相机的镜头对准河工模型的中心，相机高度需使图片拍摄到河工模型整个范围；按照河工模型四周边及两对角线组成6条拍摄路径，依次移动相机进行拍摄，每条路径上拍摄至少10张图片/每米，每张图片中均包含至少3个辅助标定片； 步骤D:提取图片的特征点:将所得图片全部输入计算机，使用SIFT算法提取每张图片中的特征点，得到每个特征点在图片中的位置，并对每个特征点给出一个128个数的描述符; 步骤E:将所有图片进行两两配对，排列出所有图片对并记录每个图片对的序号； 步骤F:按顺序提取步骤E所得图片对的序号，对该图片对中的特征点以特征距离进行匹配； 步骤G:剔除不合理的匹配同名点对:根据步骤F中得到图片对的匹配同名点对，使用RANSAC算法计算图片对的基础矩阵；得到基础矩阵后，使用极线约束将与极线约束的误差大于设定值b的匹配同名点对剔除，当最终匹配同名点对的数目为设定值c以上时，接受此图片对中的所有匹配同名点对，将图片序号、匹配同名点对在各自图片中的位置以及各自的描述符记录下来。当匹配同名点对的数目少于c对时，认为该图片对无合理匹配同名点对； 步骤H:判断是否有未计算的图片对，若有，提取图片对重复步骤F到G，若无，继续进行步骤I ; 步骤1:选择匹配同名点对最多的一对图片(I，J)解算相机参数和匹配同名点对的世界坐标: 步骤J:在未解图片中找到含有最多已解点的图片L ； 步骤K:从已解点的世界坐标和已解点在图片L中的投影图像坐标(?, yj，根据投影方程(5)使用最优化解法计算出图片L的相机参数，再采用已解图片的相机参数根据方程组(6)解算图片L中未解匹配同名点对的世界坐标，得到新的已解点； 步骤L:使用最优化解法微调所有已解图片的相机参数，使得已解点的总体投影误差最小； 步骤M:判断是否含有未解图片，若有，则转回步骤J，如没有，则进行步骤N ； 步骤N:标定河工模型稀疏点云:所有图片均已解算出相机参数，所有匹配同名点对均已确定世界坐标，所有已解点组成未标定的河工模型稀疏点云；选取包含完整标定板图像的任意三张图片，将标定板中四个黑白相间的矩形格的9个角点的世界坐标代入未标定的河工模型稀疏点云，将该河工模型稀疏点云中的相机参数和已解点坐标均标定为真实世界坐标，得到已标定河工模型稀疏点云； 步骤O:生成河工模型稠密点云:以已解点为基础，在已解点附近寻找其它匹配同名点并确定世界坐标，最后得到河工模型稠密点云； 步骤P:根据河工模型稠密点云生成河工模型地形:利用河工模型稠密点云的三维坐标数据生成河工模型地形。
2.如权利要求1所述方法，其特征在于，所述步骤F:按顺序提取步骤E所得图片对的序号，对该图片对中的特征点以特征距离进行匹配；具体过程为:设匹配图片对序号为(I，J)，定义图片I中特征点P和图片J中的特征点q之间的特征距离dM为:
3.如权利要求1所述方法，其特征在于，所述步骤1:选择匹配同名点对最多的一对图片(I，J)解算相机参数和匹配同名点对的世界坐标:具体包括:一对匹配同名点对中，在图片I中的图像坐标为(X1, Y1),在图片J中的图像坐标为(xT, yT)，该匹配冋名点对对应的河工模型上同一点的世界坐 标为(X，Y，Z)，图像坐标与世界坐标之间满足投影关系，以图片I为例:
【文档编号】G06T17/05GK103617649SQ201310540873
【公开日】2014年3月5日 申请日期:2013年11月5日 优先权日:2013年11月5日
【发明者】钟强, 陈启刚 申请人:北京江宜科技有限公司