编码曝光成像的快速相对运动场景拍摄装置及复原方法与流程

本发明涉及编码曝光成像与图像处理技术，尤其涉及一种基于编码曝光成像的快速相对运动场景拍摄装置及复原方法。

背景技术：

在运动过程中对目标拍摄过程中，经常会遇到在相机曝光时间内成像目标和相机传感器发生相对运动的情况，容易造成成像场景图像的运动模糊，降低了图像的分辨率。因此对于运动模糊图像的复原有着十分重要的作用。

传统的相机曝光模式，相机在拍摄过程中快门一直处于开启状态，导致其在卷积滤波器上一定会存在着许多频域零点，导致滤波器不可逆，导致运动模糊成为了一个病态性的问题。

raskar等在2006年提出了编码曝光的方法，使得该问题专为了良态。编码曝光主要思想是利用一个控制器来控制相机的快门，使得他在拍摄曝光过程中处于不断的开启和闭合状态，其在时间域上就相当于一个宽带滤波器，能够有效的保留图像上的高频信息，同时其在频域上不存在零点，使得其能够快速反卷积得到清晰图像。2009年agrawal等人比较了不同的图像获取方式，并证明在运动量级和运动方向未知的情况下，编码曝光模式是最佳的选择，并研究了ce方法的最优码字搜索问题。2016年，tendero等人研究了考虑被拍摄目标运动速度条件下最优码字搜索问题，给出了一个最优码字与被拍摄运动目标期望速度概率密度函数的解析表达式。目前为止的对于编码曝光序列的搜索已经到了一个瓶颈，对于码制选取的准则也越来越多的被大家挖掘出来，这导致了在码制搜索过程中需要更多的时间，同时目前的码制搜索存在着局限性，对于找到最优的码制存在着一定的偶然性。此外，针对快速相对运动场景图像拍摄，传统的成像方式对于图像细节损失较大，点扩散函数(pointspreadfunction，psf)的估计精度较差，图像复原的质量不高。

技术实现要素：

本发明提供了一种基于编码曝光成像的快速相对运动场景拍摄装置及复原方法，能高效的解决由于相机和景物之间的相对运动所造成的运动模糊问题。

为解决上述问题，本发明采用编码曝光方法采集场景图像，利用单片机产生二进制码字序列控制相机的快门开关，同时分别通过速度传感器和距离传感器来获取小车的运动速度参数和小车与景物之间的成像距离参数，近而计算出在曝光时间内景物的像移尺度，结合编码曝光序列，初步估计出psf。再结合光纤陀螺来修正由于拍摄过程中由于抖动所造成的误差，从而得到精确的psf函数。最后通过逆滤波方法和邻域平均法处理，获得一张高分辨率的清晰图像。

具体技术方案如下：

1.通过文化基因算法(memeticalgorithm)获得最优的编码序列。memetic算法是一种在全局进化搜索策略的基础上加入局部搜索策略的混合搜索策略。在全局搜索过程中，利用遗传算法进行序列种群的交叉和变异；在随后的局部搜索过程中，利用禁忌搜索算法来加速最优解的搜索获取。memetic算法充分吸收了遗传算法和禁忌搜索算法的优点，进而减少迭代次数。memetic算法用于编码曝光最优码字序列搜索，根据编码曝光的图像采集模式和特点，引入编码序列点扩散函数幅值的最小值、自相关程度以及采集图像的信噪比评价值、低频成分评价值，建立了最优码字确定的适应度函数综合评价准则，指导搜索算法开展最优码字搜索。

最优二进制编码序列搜索准则：

(a)点扩展函数的幅值没有“0”点。

(b)点扩展函数的幅值曲线尽量要平稳，因为其尖锐变化会导致结果的剧烈变化造成结果的不稳定。

(c)为了降低噪声对复原结果的影响，应使点扩展函数的幅值尽量大。

具体操作如下：

(1)对于所获得的二进制序列进行离散傅里叶变化操作，计算其绝对值，并且对得到的幅值进行对数变换，得到代表码字序列点扩散函数幅值的最小值评价准则因子，表示如下：

c1＝min[log(|f(s)|)]

其中，f(·)表示离散傅里叶变换操作，min(·)表示计算最小值操作。

(2)为了能够表示其点扩展函数的幅值的平坦程度，同时综合考虑码字长度因素，得到代表码字序列自相关程度的评价准则因子，具体定义如下：

其中var(·)表示计算方差操作，n表示二进制码制长度。

(3)结合(1)，(2)所计算得到的评价因子，得到最优码制的最佳适应度评价准则：

c＝c2+λc1

其中，λ为一个权重值，保证对进行对数变换后得到一个合适的值。

(4)开展禁忌搜索算法搜索

禁忌搜索算法就是将之前的搜索过程禁止掉，同时用一个禁忌表记录下之前已经达到过的局部最优点，然后在下一次的搜索过程中，利用禁忌表中的这些信息不再或者有选择的搜索这些地区。

主要处理步骤为：

1)设定算法的参数，设定特赦准则，终止条件：满足迭代步数或者达到目标函数值，禁忌长度：

t＝n-l

其中，l表示禁忌表中子集个数。初始解x为遗传算法初始解，开始置禁忌表为空。

2)判断目标函数是否满足终止条件，若是，则结束算法并输出最优结果；否则，继续以下步骤。

3)利用当前解的的邻域函数产生其若干邻域解，并从中确定若干候选解。邻域函数设置表示为：在当前码制中随机选取一个数，若码制为1，则改为0；若为0，则改为1。为了防止选取邻域解过多，设置y＝30，当邻域解达到30后，停止求取邻域解。

4)对候选解判断特赦准则是否满足？若成立，则用满足特赦准则的最优解y替代x成为新的当前解，即x＝y，并用与y对应的码制替换最早进入禁忌表的码制，同时用y替换“bestsofar”状态，然后转步骤6；否则，继续以下步骤。

5)判断候选解对应的各码制的禁忌属性，选择候选解集中非禁忌码制对应的最优解为新的当前解，同时用与之对应的码制替换最早进入禁忌表的禁忌对象元素。

6)转步骤2)，进行下一轮迭代搜索。

2.成像拍摄装置设计。首先由stm32单片机的i/o口来控制相机快门的开关；在镜头上同时安装一个速度传感器来实时获取小车运动速度，一个距离传感器来进行和目标景物距离的探测。两个光纤陀螺分别与相机之间进行刚性连接，且使其敏感轴相互垂直以实现对x轴和y轴旋转角速度的探测。

3.景物的拍摄过程。将所组装的成像系统放置在以一定速度行驶的小车上对着一个单一景物进行拍摄，存下所有的数据。小车运动速度范围为[10,20](单位m/s)

4.psf的初步估计。通过绑定在小车上的速度传感器来实时获取小车的速度vi，通过距离传感器获取目标与镜头的距离l,同时获取到相机的全部曝光时间ti，通过这个数据得到小车在曝光时间内的运动距离，通过物像关系来计算得到小车在像面上所位移的距离：

s表示在曝光过程中镜头移动的距离，i1,i2表示镜头与目标之间的距离，根据相机的成像理论，如图4所示，相机通过s，i1,i2等参数计算目标在相机上的成像。目标的在相机起始位存在着一帧图像，在相机终止位时存下另一帧图像，设目标在起始位的位置在点a(x1,y1)，在终止位的位置在点a(x2,y2)通过计算两帧图像之间目标的的相对位置来计算像移尺度。即：

psf_n＝(a(x1,y1)-a(x2,y2))

psf_n为粗估计像移尺度。

最后通过除以像原尺寸来获取最后的像移尺度，之后再利用码制结合像移尺度来进行初略的psf估计，同时采用光纤陀螺来进一步估计psf，对上一步的psf进行细化处理

5.利用光纤陀螺轨迹探测细化psf估计：

从点扩散函数的物理意义出发，可以这样理解其形成过程：假设被拍摄物体是一个点光源，由于它与相机镜头之间存在相对运动，在曝光时间内，它的像将在ccd平面上形成一条轨迹，如果能确定该运动轨迹上每一点所探测到的能量值(即能量密度)，然后再进行归一化处理所得的结果就是psf。

根据上述理论，考虑ccd到阵列是离散化的，若不断提高光纤陀螺的采样频率，使其采样间隔δt趋向于0，那么在每一个δt内测量得到的运动轨迹跨越两个相邻像素的概率很小，那么对每个像素而言，只需统计落入该像素内的采样点数np即可。最终经过归一化处理所得的psf中，该像素处的值为

式中n表示所有运动轨迹的总段数，hp表示所得psf中像素p对应的强度值，e为ccd探测到的储量值。在光纤陀螺采样频率足够高的情况下，将复杂的几何计算问题转化为了一个简单的统计问题，只需根据坐标数据确定每个采样点所落入的像素，就可根据上式计算出的psf，降低了运算复杂度。

6.逆滤波图像复原。

根据获得的psf进行图像的复原，复原方法采用逆滤波方法。在逆滤波处理过程中，目标物的成像过程在时域可以近似为：

g(x,y)＝h(x,y)*f(x,y)+η(x,y)

将其进行频域变化，表示为：

g(x,y)＝h(x,y)f(x,y)+n(x,y)

其中g(x,y)表示最终所获得的图像，f(x,y)为点扩散函数，n(x,y)为噪声函数，h(x,y)为原始图像，将此公式进行转换，则可以得到：

7.图像振铃抑制优化处理。

因为对图像进行直接的逆滤波操作过程中，由于图像边沿的像素没有足够的相邻像素得以利用，会导致复原图像的边沿较差，同时整幅图像会有一些明亮相间的条纹。采用领域平均法来抑制振铃效应，减少图像噪声。

邻域平均法描述为：设定一个3×3大小的模板在原图上进行遍历，在遍历过程中将模板范围内的像素灰度进行相加求和并求出平均值。模板操作实现了一种邻域运算，即某个像素点的结果不仅与本像素灰度有关，而且与其邻域点的像素值有关。用数学公式表达：

设m(x,y)为原含有噪声振铃的图像，j(x,y)为处理后的图像，则：

j(x,y)＝∑m(x,y)/η，(x,y)∈ε

ε是所取邻域中各邻近像素的坐标，η是邻域中包含的邻近像素的个数。此外，采用设定阈值的方法对于邻域平均法进行优化，设定阀值h,若

m(x,y)-∑m(x,y)/η＞h,(x,y)∈ε

则采用∑m(x,y)/η替换点(x,y)处的像素值，否则保持原来的像素值不变，使得图像能够尽可能的保持真实场景。

与现有技术相比，本技术方案具有以下优点：

现在的编码曝光获得最优码字算法所得到的码字不够完美，同时效率不高，本发明提出的采用memetic算法不仅仅能够根据适应度准则找到最优的码制，同时采用了局部搜索算法，极大的加快了算法的效率。同时本发明针对了在行驶过程中对于景物的拍摄，采用多种传感器来进行运动模糊图像的psf估计，同时用光纤陀螺仪来更加的细化psf，能够很好的解决由于拍摄过程中抖动所造成的颤振效应，在复原的同时采用了优化的邻域平均法来抑制由于逆滤波所造成的一些振铃效应。

附图说明

图1为本发明方法的具体操作流程图；

图2为该拍摄装置的示意图；

图3为内部数据传输流程图；

图4为采集的运动模糊图像及复原结果图，(a)为采集模糊图像，(b)为复原结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

以下结合附图实施例对本发明的实施作进一步说明。

如图1所示，它包括以下步骤：

1.最优编码序列的获取。采用memetic算法来获取最优编码序列，目标函数如上所示,这里λ值设定为-50，大约选取50次实验，从最小值和方差两个方面选取最优的序列，同时也可以避免实验误差。

2.对于成像相机系统的组装。根据图2所示安装相机成像，将步骤一所得到的最优编码输入单片机中，1表示按下快门，0表示快门闭合，并将成像系统固定在一辆以一定速度行驶的小车上，将镜头对着景物。

3.对于景物的拍摄。将小车以10cm/s的速度行驶，控制单片机对于景物进行拍摄，保存所获得实验数据，并且估计出psf。具体实施如下：

(1)单片机控制相机快门：从相机的快门引出两条线，模拟相机快门开关，相机快门按下为高电平，放开为低电平，将引出的两条线接入stm32单片机的i/o口和地，预先将所获得的二进制对其进行设置，当开启单片机时，i/o口不断输出高低电平来模拟相机快门。数据传输流程图如图3所示。

(2)通过速度传感器实时获取小车速度，距离传感器获取小车离目标物之间的距离，从而计算出在相机曝光时间内目标在像面上的相移尺度，再结合所采用的二进制编码序列，来进行初略的psf估计。

(3)采用光纤陀螺来精确的计算得到目标在像面上的运动轨迹，原理如上所述，将(2)中所获得psf进行更加细化的处理，减少由于拍摄过程中由于抖动所造成的颤振效应，从而得到更加精确的psf。

4.采用逆滤波图像复原。在步骤(3)中得出最终的psf函数后，结合上述的逆滤波方案，进行图像的复原。

5.采用优化后的邻域平均法进行图像平滑处理。由于直接逆滤波操作后图像会存在着一定的振铃效应，采用邻域平均法来抑制这个效应，原理如上所示，h设置为45，最后的到一张高分辨率的清晰图像。采集的运动模糊图像及复原结果如图4所示。