基于同步子区搜索的立体视觉三维位移测量方法与流程
本发明涉及一种结构测量方法，特别是涉及一种三维位移测量方法。
背景技术：
在土木工程领域，数字图像相关方法(dic)是一种区域匹配算法，于上世纪八十年代由日本学者yamaguchi与美国教授peters、sutton等人同时提出，近年来，随着dic方法的不断发展，dic方法在立体匹配中的优势越来越明显。
1983年，sutton利用dic对简单刚体运动进行了研究。1989年，h.a.bruck利用newton-raphson方法解决亚像素搜索问题，为变形体的位移测量问题提供了解决方法。1998年，vendroux，smith对散斑相关精度影响的因素进行总结，随后提出了通过近似求解hessian矩阵降低计算量。2009年，齐良育对几种亚像素搜索方法进行比较，为亚像素搜索策略的选择提供依据。同年，landervasseur，stijnmatthys等采用3d-dic方法对cfrp加固的混凝土梁进行试验，为cfrp加固引起的裂缝发展情况分析提供了参考。2013年，mohammadkashfuddoja，m.ramji使用3d-dic方法对带孔洞的cfrp板进行试验，试验包括一侧加固，两侧加固两种情况。同年，梁晋，胡浩等针对板料大变形情况下难以测量的问题，提出了大变形分步匹配算法。2014年，刘聪应用3d-dic方法测量了frp包裹混凝土柱抗压试验，立体匹配选择二阶形函数。
通过比较分析可以发现，上述dic方法进行时序匹配过程中大多选用单点全区搜索算法或单点子区搜索算法，没有采用同步子区搜索算法，测量过程计算效率低下。本发明为解决此问题，提出基于同步子区搜索的立体视觉三维位移测量方法。对左右图像序列上各测点同步进行dic子区搜索，提高三维位移测量方法的计算效率。
技术实现要素：
本发明的目的是为了解决时序匹配过程中没有同步进行子区搜索，导致测量过程计算效率低下的问题，而提出的一种同步子区搜索的立体视觉三维位移测量方法。
同步子区搜索的立体视觉三维位移测量方法具体过程为：
步骤一、采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列；所述内参数矩阵为左相机的内参数矩阵al和右相机的内参数矩阵ar；所述左相机为立体视觉系统左侧相机，右相机为立体视觉系统右侧相机；所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵r和平移向量t；所述测点为粘贴在被测对象表面的圆形靶标圆心；
步骤二、提取初始时刻左图像上各测点的图像坐标，自动生成各测点的dic匹配模板，并计算各测点的dic搜索子区尺寸；所述左图像为左相机采集的图像；所述dic方法为数字图像相关方法；
步骤三、使用dic方法对初始时刻左图像上各测点进行立体匹配，得到右图像上各对应测点的图像坐标；所述右图像为右相机采集的图像；
步骤四、判断初始时刻右图像上各测点的dic立体匹配结果是否满足极线约束关系，如果立体匹配满足极线约束关系，执行步骤五；如果立体匹配不满足极线约束关系，对不满足极线约束关系的立体匹配结果进行修正，得到右极线上距离dic立体匹配结果最近的点，将该点作为极线修正后匹配点；
步骤五、对左右图像序列上各测点同步进行dic子区搜索，得到左右图像序列的各测点的对应匹配结果；所述同步指的是依次完成一张图像上各测点的dic子区搜索后，依次进行另一张图像上对应各测点的dic子区搜索；
步骤六、根据立体视觉原理，对步骤五得到的左右图像序列的匹配结果进行计算，得到各测点在各时刻的三维坐标和三维位移。
本发明的有益效果为：
在土木工程领域，广泛使用的数字图像相关方法(dic)是一种区域匹配算法。现有dic在时序匹配过程中没有同步进行子区搜索，导致测量过程计算效率低下。本发明为解决此问题，提出基于同步子区搜索的立体视觉三维位移测量方法。该方法将对左右图像序列上各测点同步进行dic子区搜索，提高三维位移测量方法的计算效率。
通过五层框架地震振动台三维位测量试验数据对基于同步子区搜索的立体视觉三维位移测量方法进行验算。试验结果表明位移计和基于同步子区搜索的立体视觉三维位移测量方法测得的三条曲线具有相同的趋势，证明基于同步子区搜索的立体视觉三维位移测量方法的有效性和可靠性；使用本发明测量方法的同步子区搜索算法的运算所需时间是单点全区搜索算法的9.3％，是单点子区搜索算法的87.3％，计算效率得到提高。证明基于同步子区搜索的立体视觉三维位移测量方法的计算效率更高。
附图说明
图1为双目立体视觉系统；
图2为确定初始图像上各测点的图像坐标、匹配模板、搜索子区尺寸示意图；
图3为右初始图像上极线约束修正dic立体匹配示意图；
图4为初始时刻多测点同步进行dic子区搜索匹配及修正示意图；
图5为初始时刻左右图像同步进行dic子区搜索示意图；
图6为双目立体视觉模型；
图7为基于同步子区搜索的立体视觉三维位移测量方法的流程图；
图8为实施例一所用五层框架模型示意图；
图9为实施例一工况1测点1的x方向位移图；
图10为实施例一工况1测点1的y方向位移图；
图11为实施例一工况1测点1的z方向位移图；
具体实施方式
具体实施方式一：基于同步子区搜索的立体视觉三维位移测量方法具体过程为：
步骤一、采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列；所述内参数矩阵为左相机的内参数矩阵al和右相机的内参数矩阵ar；所述左相机为立体视觉系统左侧相机，右相机为立体视觉系统右侧相机；所述外参数矩阵为由左相机坐标系到右相机坐标系的旋转矩阵r和平移向量t；所述测点为粘贴在被测对象表面的圆形靶标圆心；
步骤二、提取初始时刻左图像上各测点的图像坐标，自动生成各测点的dic匹配模板，并计算各测点的dic搜索子区尺寸；所述左图像为左相机采集的图像；所述dic方法为数字图像相关方法；
步骤三、使用dic方法对初始时刻左图像上各测点进行立体匹配，得到右图像上各对应测点的图像坐标；所述右图像为右相机采集的图像；
步骤四、判断初始时刻右图像上各测点的dic立体匹配结果是否满足极线约束关系，如果立体匹配满足极线约束关系，执行步骤五；如果立体匹配不满足极线约束关系，对不满足极线约束关系的立体匹配结果进行修正，得到右极线上距离dic立体匹配结果最近的点，将该点作为极线修正后匹配点；
步骤五、对左右图像序列上各测点同步进行dic子区搜索，得到左右图像序列的各测点的对应匹配结果；所述同步指的是依次完成一张图像上各测点的dic子区搜索后，依次进行另一张图像上对应各测点的dic子区搜索；
步骤六、根据立体视觉原理，对步骤五得到的左右图像序列的匹配结果进行计算，得到各测点在各时刻的三维坐标和三维位移。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中采用相机标定方法对立体视觉系统进行标定，得到立体视觉系统的内参数矩阵和外参数矩阵，对各测点采集图像，得到各测点左右图像序列；所述内参数矩阵为左相机的内参数矩阵al和右相机的内参数矩阵ar；所述左相机为三维位移测量系统左侧相机，右相机为三维位移测量系统右侧相机；所述外参数矩阵为由左相机到右相机坐标系的旋转矩阵r和平移向量t；所述测点为圆形靶标圆心的具体过程为：
在整个基于同步子区搜索的立体视觉三维位移测量方法过程中，需要对立体视觉系统用到的相机标定结果进行分析，所以对立体视觉系统的标定是整个方法的第一步。采用张正友标定方法对立体视觉系统进行标定，以不同的姿态在空间测点所在平面摆放棋盘格标定板，采集大于等于5张标定图片进行分析，得到标定结果和立体视觉系统的内参数矩阵和外参数矩阵，然后对各测点采集图像，得到各测点左右图像序列；
所述不同的姿态为标定板取不同的角度和不同的位置；
所述双目立体视觉系统，如图1所示。
其他步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中提取初始时刻左图像上各测点的图像坐标，自动生成各测点的dic匹配模板，并计算各测点的dic搜索子区尺寸；所述左图像为左相机采集的图像；所述dic方法为数字图像相关方法的具体过程为：
步骤二一、粗定位左图像上各测点的dic匹配模板区域：
在初始时刻的左相机图像上，先采取susan滤波的方法对图像进行滤波去噪，其有益效果为较好的保持了图像原有结构和特点，同时锐化图像的边界和角点，提高图像质量；再使用matlab自带函数，在左图像上待测靶标周围选择矩形区域，使矩形区域内只包含待测的圆形靶标；
步骤二二、提取左图像上各测点的图像坐标，并自动生成各测点的dic匹配模板：
对步骤二一得到的图像进行二值化处理，通过对各矩形区域的形状参数进行计算，设定形状阈值，过滤掉非目标区域；采用canny算法粗略的提取靶标边界，将提取出来的目标边界连接在一起，并剔除一些不符合要求的非目标边界；然后采用矩和曲率保持(mcp)定位方法确定椭圆亚像素边缘；采用椭圆拟合方法确定椭圆圆心坐标，即左图像上各测点的图像坐标；求取椭圆各点的拟合误差，去掉误差大于5％的点，可以确定椭圆的长短轴；定位出圆形靶标的圆心坐标和长短轴，就可以确定出匹配模板的大小和位置，椭圆中心坐标即为矩形模板中心的位置，椭圆的长短轴即为矩形模板的两个边长；所述椭圆指的是由于相机镜头的畸变效应，圆形靶标呈现在图像上的已经不是圆，而是一个椭圆；
步骤二三、确定各测点在初始时刻的dic方法的搜索子区尺寸：
测点在空间中的真实运动范围通常可由数值模拟或者预估给出，据此可指定所有测点在左相机图像中的最大运动范围，然后在右图像中相应地匹配出各测点的搜索范围，由此，获得所有测点在左右图像中的搜索子区，搜索子区尺寸的具体计算方法见公式(1)。
其中f为标定所用的棋盘格标定板上方格的实际尺寸，单位为mm；o-xwywzw为左相机坐标系，与世界坐标系重合，or-xryrzr为右相机坐标系；ol-xlyl为左图像坐标系，or-xryr为右图像坐标系；s为测点在左相机坐标系x方向或y方向模拟出的实际运动最大值，单位为mm；i为棋盘格标定板上方格在图像坐标系中x方向或y方向的像素尺寸，单位为pixel；h为测点在图像坐标系中x方向或y方向的最大运动范围，单位为pixel。采取自动生成匹配模板方法的有益效果为可以减小匹配误差，提高测量精度和计算效率。所述搜索子区为各测点在各时刻左(或右)图像上进行dic匹配的范围为各测点的搜索子区；确定初始图像上各测点的图像坐标、匹配模板、搜索子区尺寸示意图如图2所示。
其他步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三不同的是：所述步骤三使用dic方法对初始时刻左图像上各测点进行立体匹配，得到右图像上各对应测点的图像坐标；所述右图像为右相机采集的图像的具体过程如下：
步骤三一：选择dic方法的相关函数：
dic方法立体匹配过程的匹配模板和搜索子区由步骤二得到，本实施方式选择的dic方法的相关函数为零均值归一化差值平方和相关函数(zero-meannormalizedsumofsquareddifference，znssd)，其表达式如式(2)所示，其有益效果为考虑了光照不均匀分布，具有较好的抗噪性和鲁棒性。
式中，f(u,v)是匹配模板的灰度矩阵，来自于参考图像；g(x+u,y+v)表示匹配子区的灰度，
步骤三二：得到右图像上对应点的亚像素坐标：
本实施方式选用二次曲面拟合的方式进行亚像素搜索，其有益效果为保证搜索精度的前提下，提高了搜索效率。由相关函数计算得到相关系数矩阵cznssd中绝对值最大元素的位置为q(xq,yq)，由q以及周围的8个整像素点共9个点可以形成局部二次相关曲面，该曲面方程如式(3)所示。
φ(x,y)＝a1x2+b1y2+c1xy+d1x+e1y+f1(3)
通过这9个点的位置以及对应位置处的相关系数值，拟合出系数a1～f1的数值，计算出曲面的极值点坐标
步骤三三：优化右图像上对应点的亚像素坐标得到图像坐标：
将步骤三二得到的亚像素坐标作为反向组合型高斯牛顿(inversecompositionalgauss-newton，ic-gn)算法的初始值，得到优化后的亚像素坐标值。该亚像素坐标值即为通过dic方法获得的右图像上对应点的立体匹配初值pr。
其他步骤及参数与具体实施方式一至三相同。
具体实施方式五：本实施方式与具体实施方式一至四不同的是：所述步骤四中判断初始时刻右图像上各测点的dic立体匹配结果是否满足极线约束关系，如果立体匹配满足极线约束关系，执行步骤五；如果立体匹配不满足极线约束关系，对不满足极线约束关系的立体匹配结果进行修正，得到右极线上距离dic立体匹配结果最近的点，将该点作为极线修正后匹配点的具体过程为：
步骤四一：计算右极线方程：
使用步骤一所得到的立体视觉系统的内外参数矩阵和外参数矩阵进行计算，得到基本矩阵f，使用基本矩阵f和步骤二得到的左图像上各测点图像坐标进行计算，得到右极线方程，右极线的齐次方程lr用式(4)计算：
lr＝fpl(4)
空间测点p在左右图像的投影点图像坐标用矩阵pl和pr来表示。pl和pr满足极线约束关系，即满足式(5)：
步骤四二：判断初始时刻右图像上各测点的dic立体匹配结果是否满足极线约束关系，若pl和pr满足式(5)，则匹配正确，执行步骤五；若pl和pr不满足式(5)，执行步骤四三；
步骤四三：对不满足极线约束关系的立体匹配结果进行修正，得到右极线上距离dic立体匹配结果最近的点，将该点作为极线修正后匹配点：
设(x0,y0)是左图像上pl点相对应的右图像上的dic匹配点的图像坐标，设(x1,y1)和(x2,y2)是右极线lr上两个不同的点，将其代入齐次方程，得到式(6)所示的方程组；
其中a，b，c为直线方程系数，对式(6)进一步整理，可以得到：
a(x1-x2)+b(y1-y2)
有向量垂直的关系：
(a,b)⊥(x1-x2,y1-y2)
因为(x-x0，y-y0)⊥(x1-x2，y1-y2)，所以(x-x0,y-y0)与(a,b)平行；因为pr′(x,y)在直线lr上，所以得到式(7)所示的方程组；
将式(7)写成矩阵的形式为：
进行极线约束修正过程的有益效果为可以减小匹配误差，提高测量精度。由式(8)计算出经过极线约束修正后与左图像上pl点相对应的右图像上匹配点pr′的坐标(xr,yr)，如图3所示；图4为初始时刻多测点同步进行dic子区搜索匹配及修正示意图，其中，il和ir分别为左、右图像平面，el和er分别表示左、右图像极点。
其他步骤及参数与具体实施方式一至四相同。
具体实施方式六：本实施方式与具体实施方式一至五不同的是：所述步骤五中对左右图像序列上各测点同步进行dic子区搜索，得到左右图像序列的各测点的对应匹配结果的具体过程为：
初始时刻左图像中所有测点匹配模板依次与后续每一张左图像进行dic匹配，各测点在各时刻左图像上进行dic匹配的范围为各自的搜索子区，搜索子区尺寸由步骤二得到。同理，初始时刻右图像上所有测点匹配模板依次与后续每一张右图像进行dic匹配，各测点在各时刻右图像上进行dic匹配的范围为各自的搜索子区；所述同步指的是依次完成一张图像上各测点的dic子区搜索后，依次进行另一张图像上对应各测点的dic子区搜索，同步进行dic子区搜索的有益效果为可以提高计算效率；对左右图像序列上各测点同步进行dic子区搜索，需要说明的是初始时刻右图像上各测点的中心图像坐标为经极线约束修正后的匹配点图像坐标；最终，获得左右图像序列上各测点的对应匹配结果。采取同步子区搜索的方法的有益效果为可以提高计算效率，初始时刻左右图像同步进行dic子区搜索过程如图5所示。
其他步骤及参数与具体实施方式一至五相同。
具体实施方式七：本实施方式与具体实施方式一至六不同的是：所述步骤六中根据立体视觉原理，对步骤五得到的左右图像序列的匹配结果进行计算，得到各测点在各时刻的三维坐标和三维位移的具体过程为：
双目立体视觉模型如图6所示，其中p为空间测点，o-xwywzw为左相机坐标系，与世界坐标系重合，or-xryrzr为右相机坐标系；ol-xlyl为左图像坐标系，or-xryr为右图像坐标系；测点p(x,y,z)的三维坐标可以通过式(9)进行求解。
式中fl,fr分别为左右像机有效焦距，r和t为表征两像机相互位置关系的旋转矩阵和平移矩阵，
每一时刻空间点的三维坐标可以由式(9)进行计算，任一时刻三维坐标与初始时刻三维坐标的差值即为该时刻空间点的三维位移，基于同步子区搜索的立体视觉三维位移测量方法的流程图如图7所示。
其他步骤及参数与具体实施方式一至六相同。
实施例一：
本实施例为五层框架模型地震振动台三维位移测量试验，具体按以下步骤制备：
实施例所用五层框架模型如图8所示，模型结构长宽尺寸为3.68m×2.04m，高度为3.98m。在进行三维位移测量试验时，采用高强双面胶在试件表面测点位置粘贴由亚克力板制成的圆形靶标，本次实施例进行了多个工况试验，选取五个工况试验参数如表1。
表1
本实施例所用的立体视觉系统计算机为windows7系统，硬盘存储容量为3tb，运行内存为8gb，cpu的频率为3.7ghz。试验过程中，采用德国avt公司的pike-f-100c系列ccd摄像机进行图像采集，镜头焦距5mm，利用外部触发设备控制两相机同步采集数据，采样频率最高为60hz，本试验根据需要确定采样频率为20hz，采集到的每张图片大小为1000像素×1000像素。
图9-图11为工况1测点1的三维位移图，工况1下其他测点以及其他工况下各测点的三维位移图与其相似。试验结果表明位移计和基于同步子区搜索的立体视觉三维位移测量方法测得的水平方向位移曲线吻合较好，证明三维位移测量方法有效性和可靠性。
对每个工况的所有测点进行同步子区搜索，每个工况的子区大小不同、采集的图片数量不同，需要的像素搜索时间也不相同。将各工况采用同步子区搜索算法和单点全区搜索算法所需运算时间进行对比，比较结果列于表2中。将各工况采用同步子区搜索算法和单点子区搜索算法所需运算时间进行对比，比较结果列于表3中。
表2
表3
由表2和表3可知，同一工况下，同步子区搜索算法运算所需时间少于单点全区搜索算法和单点子区搜索算法。使用同步子区搜索算法运算所需时间是单点全区搜索算法的9.3％到12.9％，是单点子区搜索算法的87.3％到90.9％。两种子区搜索算法的运算时间与子区大小有关，子区越大所用时间越长。经过比较，可以证明基于同步子区搜索的立体视觉三维位移测量方法缩短了计算时间，提高了计算效率。
此外，由于单点搜索算法每次只能计算一个测点，两次计算之间需要进行人为操作，无法紧密衔接。相比之下，同步搜索算法操作更为方便，省去了大量的人为操作时间，当测点数目更多、采集时间更长的情况下，基于同步子区搜索的立体视觉三维位移测量方法的优势会更加明显。
五层框架模型地震振动台三维位移测量试验结果表明：本发明方法可用于结构三维位移测量试验，采用同步子区搜索的立体视觉三维位移测量方法，可以提高三维位移测量方法的计算效率，减少计算时间。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！