运动模糊效应下的视觉特征三维重建方法与流程

技术领域：

本发明涉及一种运动模糊效应下的视觉特征三维重建方法，属于机器视觉测量领域。

背景技术：
：

编码标记点被广泛用于基于机器视觉的工业测量和逆向工程中。测量之前，编码标记点被布设于被测物体表面。根据标定过的一对或者更多个相机拍摄的被测物体的一组图像，可以重建出编码标记点在空间的位置信息，从而获得被测物体的三维参数。

当被测物体处于高速运动状态时，获取的图像是模糊的。此时传统的识别编码标记点身份的方法失效。现有的针对清晰图像的编码标记点中心定位方法，完全不适用于识别模糊图像中编码标记点的身份，也更完全不适用于对模糊图像中的编码标记点中心进行定位。

技术实现要素：
：

本发明是为了解决上述现有技术存在的问题而提供一种运动模糊效应下的视觉特征三维重建方法，能够在运动模糊造成编码标记点图像模糊的情况下，仍然能恢复出编码标记点中心在曝光期间任意时刻的精确位置。

本发明所采用的技术方案有：一种运动模糊效应下的视觉特征三维重建方法，包括如下步骤：

步骤一：对要使用的相机进行标定；

步骤二：在被测物体表面布置编码标记点；

步骤三：获取运动模糊图像；

步骤四：识别图像中的编码标记点的身份；

步骤五：针对同一个编码标记点，借助于在不同时刻拍摄的时间序列图像，对其在不同时刻的空间位置进行粗定位并且拟合成样条曲线，作为空间运动轨迹的初始值；

步骤六：构造编码标记点运动的模糊成像模型；

步骤七：在每次曝光时间内，根据模糊成像模型，优化求解运动路径和姿态。

本发明具有如下有益效果：本发明可以在有运动模糊的情况下，还原出曝光时间内编码标记点的中心位置和姿态，从而获得被测物体表面的三维信息和在曝光时间内的运动信息。本发明使得基于视觉的测量方法扩展到动态场合。对高速运动部件的分析、设计、逆向工程将起到重要作用。

附图说明：

图1为曝光时序示意图。

图2为清晰编码点示意图。

图3为运动模糊编码点示意图。

具体实施方式：

下面结合附图对本发明作进一步的说明。

本发明运动模糊效应下的视觉特征三维重建方法，包括如下步骤：

1.标定一对相机，分别记为左相机c0和右相机c1，它们的成像矩阵分别表示为p0和p1。两个相机镜头的畸变系数向量分别表示为d^(c),c＝0,1。

2.选择阈值tp用于极线约束检测。

3.选择需要使用的编码标记点的身份编号。该身份编号为一个自然数，取值在1到n0之间，n0为全套编码标记点的总数目。记选定的编码标记点的集合为n为选定的编码标记点的总数目。

4.对中每一个idn,n＝1,2,...,n。准备编码点的图像mn，所有的图像具有相同的像素尺寸，并且宽高像素数目相同，记为z。

5.根据mn制作实际的编码标记点贴纸，边长为l。

6.粘贴实际的编码标记点到被测物体表面。在一次测量中同一个编号的编码标记点最多出现一次。

7.获取运动模糊图像组，即由一对相机在多个时刻获取的成对图像。由于运动模糊效应，每幅图片中的编码标记点成像有不同程度的模糊。用分别表示左(c＝0)右(c＝1)相机拍摄的第k幅图像。k为总的拍摄次数。每次拍摄持续时间为δt，每次拍摄的起始时间为tk,k＝1,2,...k，相邻两次拍摄的曝光时间没有重叠。相邻两次拍摄中，前一次曝光结束时刻，到后一次曝光开始时刻，间隔时间均相同，记为δt。

8.根据相机镜头的畸变系数向量d^(c)，修正的镜头畸变效应，结果记为

9.对每幅图像进行分割，使得分割以后得到的每个小块恰好包含一个编码标记点的完整的模糊图像。中包含的图像小块的个数记为分割出的图像小块记为其中c＝0,1分别对应左右相机，k＝1,2,...k对应拍摄次序，对应中的第s个小块。的中心在中的像素坐标为

10.为了使用备注中的方法(备注：1.用计算机模拟生成不同的编码点的各种运动模糊图像；2.构造深度卷积神经网络；3.用模拟生成的图像来训练深度卷积神经网络；4.用训练以后的网络来识别实际拍摄的编码标记点的运动模糊图像，得到其身份id)识别图像中的模糊编码标记点的身份，需要对图像小块进行预处理。该方法用一个深度卷积网络mbcnet来识别运动模糊的编码标记点的身份，构建该网络必须为输入层指定宽高尺寸，用w代表输入层需要的图像的宽度和高度，单位为像素。

11.对每一个图像小块进行尺寸预处理，设每个小块的宽度为wh像素，高度为wv像素。(1)如果wh＝wv＝w则不需要处理。(2)如果max{wh,wv}≠w则缩放图像小块倍，然后在图像小块上下或者左右分别对称地添加与背景相同灰度的空白区域，使得图像宽度高度都为w像素。预处理以后的图像小块记作

12.对每一个使用上述备注中的方法识别其中包含的模糊编码标记点的身份,记为置

13.对识别出的编码标记点进行筛选，步骤为：

a)对所有id∈id进行筛选，如果存在某个k∈{1,2,...,k}，

则将这个id标记为无效。

b)对所有目前未被标记为无效的id∈id进行筛选，如果存在某个k∈{1,2,...,k}，它不在阈值tp水平以下关于左右图像满足极线约束条件，则标记为无效。

c)

14.对每一个编码标记点身份计算拟合起始和终止端点初值步骤为：

a)对每一个k∈{1,2,...,k}，对每一个c∈{0,1}，存在某个使得根据以及两个相机矩阵p1，p2重建出第k个时刻编码标记点id的空间位置初值mid,k，其三维坐标为(xid,k,yid,k,zid,k)^t。

b)根据mid,k,k＝1,2,...,k插值生成次k次b样条曲线spid。spid通过了每个mid,k。spid的参数方程表示为

c)计算spid的弧长，记为σid，并且将spid进行近似弧长参数化。重新参数化以后曲线的方程记为vid(t),t∈[0,σid]。此时有vid(0)＝mid,1,vid(σid)＝mid,k。

d)在spid上每个mid,k对应的参数为tid,k，即mid,k＝vid(tid,k),k＝1,2,...,k。

e)计算半窗口尺寸

f)对k＝1，计算

g)对k＝2,3,...,k-1,计算

h)对k＝k，计算

15.构造编码点在空间运动的静态虚拟成像模型，其步骤为：

a)设置相机c和编码点e位于同一个三维空间坐标系下。

b)设置相机c的成像矩阵为p，无畸变。

c)编码点id的图像记为m，二值图像，灰度取值为0或者1，长宽都是l像素。在其自身的平面内，按照逆时针方向，四个顶点的齐次坐标分别为

d)待成像的编码点e为一个边长为l的正方形平面，一面贴有图案m，无畸变地填充满正方形。

e)m(u)为用函数形式表示的编码点的图像m。其中参数u为齐次坐标(u,v,s)^t，其对应的非齐次坐标为m(u)表示图像上位置处的像素的灰度值。如果这个坐标为非整数值，灰度值由插值产生。如果该坐标落在图像之外，函数返回的灰度值为0。

f)e在空间的位置完全由四个顶点的坐标决定。当编码点的图像朝向观察者时，按照逆时针方向，四个顶点依次为q1(v,x),q2(v,x),q3(v,x),q4(v,x)，其中参数向量v＝(α,β,γ)^t,x＝(x,,y,z)^t，分别决定姿态和位置。

g)每个q1(v,x),q2(v,x),q3(v,x),q4(v,x)分别由经过坐标变换得到。

α,β,γ决定旋转矩阵

x,y,z决定平移矩阵对于i-1,2,3,4，

h)e的四个顶点在相机c的像平面的像点的齐次坐标分别为zi＝pqi(v,x)。

i)构造单应矩阵h，使得在齐次坐标的意义下

j)则编码点在此位置姿态下，在相机c中成像为im,v,x,p，其函数形式为im,v,p(u)＝m(hu)，其中u＝(u,v,1)^t为像素位置(u,v)^t的齐次坐标。

16.利用上一步构造的im,v,x,p，构造编码点运动的模糊成像模型，步骤为：

a)选择离散粒度n为自然数，一般在100以上，1000以下。n取值大，则模糊效果更接近真实效果。

b)在短时间曝光的前提下，限定运动过程中，编码点姿态角v＝(α,β,γ)^t保持不变。

c)在短时间曝光的前提下，限定运动为匀速的直线段运动，起点为x1＝(x1,y1,z1)^t,终点为x2＝(x2,y2,z2)^t。

d)模糊成像结果为

17.对每个编码标记点身份对每个曝光编号k＝1,2,...,k，拟合运动路径。步骤为:

a)记该编码点id对应的图像为m。记c＝0,1为第k次拍摄的左右图像,记为包含该编码点运动模糊编码标记点的图像小块，其中c＝0,1分别对应左右相机，s为该次拍摄得到的图像中分割出的图像小块的编号。

b)选择优化变量为θ1,θ2,θ3,λ1,λ2,λ3,μ1,μ2,μ3,ω1,ω2。

c)θ1,θ2,θ3,的初值在0到2π内随机选取。

d)(λ1,λ2,λ3)的初值为

e)(μ1,μ2,μ3)的初值为

f)ω1为图像增益，初始值为1。

g)ω2为图像偏置，初始值为0。

h)置v＝(λ1,λ2,λ3)^t，x1＝(λ1,λ2,λ3)^t，x2＝(μ1,μ2,μ3)^t。

i)置掩码函数其中c,k,s含义与中的对应符号的含义相同。参数u＝(u,v,s)^t,为像素坐标，当该坐标落在图像小块在其母图像中占据的像素坐标范围内时，返回1，否则返回0。

j)计算优化目标函数

其中||||²表示范数的平方。当w为一个图像时，||w||²为图像中所有像素灰度值的平方之和。

k)通过优化参数θ1,θ2,θ3,λ1,λ2,λ3,μ1,μ2,μ3,ω1,ω2使f取得最小优化值。

l)每次给θ1,θ2,θ3,赋以不同的随机值，重复上述步骤b)至k)，选择f的优化值最小的一次作为最终的优化结果。重复次数不少于16次。

m)运算完成，在该次曝光时间内，编码点的运动轨迹为从(λ1,λ2,λ3)到(μ1,μ2,μ3)的直线段。在此次曝光时间内，编码点的姿态参数为(θ1,θ2,θ3,)。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。