一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置及复原方法与流程

本发明涉及成像与图像处理技术，尤其涉及一种能够解决单幅图像复原中信息丢失以及图像不可逆，提高最终复原图像清晰性的基于旋转双棱镜获取互补序列图像的运动场景拍摄装置及复原方法。

背景技术：

在运动过程中对目标拍摄过程中，经常会遇到在相机曝光时间内成像目标和相机传感器发生相对运动的情况，容易造成成像场景图像的运动模糊，降低了图像的分辨率。成像模糊是相机、显微镜、望远镜等光学成像系统面临的共性问题，因此对于运动模糊图像的复原有着十分重要的作用。基于单幅模糊图像的去模糊问题存在高度欠定，且在图像模糊的过程中，清晰图像和模糊核发生卷积，相当于对场景信息进行一次低通滤波，对应于模糊核高频零点的图像信息在成像过程中会发生缺失，卷积不可逆，导致运动模糊成为了一个病态性的问题。

例如，一种在中国专利文献上公开的“采用梯度融合技术的运动模糊图像序列的复原方法”，其公告号cn501504765b，其先计算出局部图像中的物体透明度，然后估计模糊退化函数，最后反卷积复原的过程中加入了梯度融合技术消除伪迹的影响。其使用了梯度融合技术来消除反卷积过程中引入的傅立叶振铃伪迹，较以往的复原方法的效果有所提高。但其迭代次数较多，成像过程中会发生缺失，卷积不可逆，复原图像清晰性差，对于单幅模糊图像复原，模糊图像中对应于模糊核频域零点的图像信息丢失，同时模糊核的频域零点也使图像去模糊过程不可逆。

技术实现要素：

本发明是为了克服现有技术的复原过程不可逆及复原图像不清晰的问题，提供一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置及复原方法，能够解决单幅图像复原中信息丢失以及图像不可逆的问题，提高最终复原图像的清晰性。

为了实现上述目的，本发明采用以下技术方案：

一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，包括速度传感器和距离传感器，其特征是，还包括若干相机装置、若干分光镜和控制器，相机装置分别设置在分光镜的透射路径和反射路径上，所述相机装置包括相机和调节入射光线角度的旋转双棱镜装置，所述相机包括镜头和快门，控制器与相机快门连接控制每个相机快门的开关，每个旋转双棱镜装置置于对应的相机的镜头前。光束平行旋转双棱镜装置的转轴共轴入射，旋转双棱镜装置通过折射改变光束传播方向，然后通过旋转双棱镜装置的转角θ1、θ2使出射光束在一定偏转角范围内实现任意指向调整，通过调整每个旋转双棱镜装置中θ1、θ2确定我们需要的三个角度，控制器同时控制三个相机快门的开关，目标物体的入射光通过两个分光镜分成三束出射光被三个相机接收，获得完全对齐的三幅图像，旋转双棱镜装置的作用获得的三幅图像互补性最大，所以最终可以获得三幅对齐互补的序列图像。

作为优选，所述旋转双棱镜装置包括相邻设置的第一折射棱镜门和第二折射棱镜门，第一折射棱镜门和第二折射棱镜门上均设有第一收发面和第二收发面，第一收发面和第二收发面之间呈夹角设置，第一折射棱镜门和第二折射棱镜门的第一收发面(203)均垂直光轴且位于同一光轴上，第一折射棱镜门和第二折射棱镜门的第二收发面互补相对设置，且第一折射棱镜门和第二折射棱镜门绕共同轴独立旋转。第一折射棱镜门的转角为θ1、第二折射棱镜门的转角为θ2，通过改变两棱镜装置的转角θ1、θ2出射光束在一定偏转角范围内实现任意指向调整，调整旋转三个旋转双棱镜装置中θ1、θ2确定我们需要的三个角度。

作为优选，目标物体光束穿过分光镜经一面分光镜反射后通过一个旋转双棱镜装置后经旋转双棱镜装置的共轴进入对应的相机的镜头，光束经第一面分光镜透射后经第二面分光镜反射后经旋转双棱镜装置的共轴进入对应的相机的镜头，光束经两面分光镜透射后经旋转双棱镜装置的共轴进入对应的相机的镜头，计算得到三个互补性最大的图像及旋转角度，调整旋转双棱镜装置确定角度，所述控制器控制相机的快门获得三幅序列图像，得到的图像进行psf估计后再总变分tv正则化。

一种基于旋转双棱镜获取互补序列图像的复原方法，包括以下步骤：

s1：通过计算得到三个互补性最大的图像及旋转角度；

s2：用旋转双棱镜装置确定图像旋转角度；

s3：相机装置获取序列图像；

s4：结合物像关系以及旋转角度估计psf模型；

s5：采用总变分正则化模型将三幅对齐互补的序列图像和估计的psf作为输入解出最小值；

其中互补性的定义如下：

其中t(a)、t(b)、t(c)分别表示提取abc集合有效元素，t(u)表示全集，“|”表示并集，“&”表示交集，“||.||0”表示计算集合中非零元素的个数。

作为优选，所述s1具体过程包括以下步骤：

s101：将原始图像和高斯滤波器进行卷积运算，再用模糊图像直接减去卷积结果即可得到图像高频分量h：hi＝yi-gσ*yi；

式中yi是模糊图像，gσ是卷积核；

s102：计算图像的高频部分在梯度方向上灰度值的变化情况，进一步提取图像的高频特征其中hix＝hi*gx，hiy＝hi*gy，gx和gy分别为x和y方向上的梯度，提取模糊图像的二值化信息，作为互补性表征的有效信息；进行二值化操作时，阈值thresh的选取可以根据原始图像的灰度值进行调整，对梯度图像进行归一化操作，设置阈值范围thresh∈[0.2，0.5]，

s103：将一张原始图像进行旋转，每旋转一度作为一张输入图像，一共可以得到360张图像，设定需要选择的帧数为3，用迭代的方式选取最大互补信息的3幅模糊图像把360张图片三三组合，一共有360³种情况，分别求出每种组合情况对应的互补性，计算三幅图片的互补性，定义为：其中m和n分别为图像的长和宽，用matlab计算选取出互补性最大的三幅模糊图片以及它们的旋转角度。作为优选，所述s2具体过程包括以下步骤：

s201：光束平行旋转双棱镜装置的第一折射棱镜门和第二折射棱镜门共轴入射；

s202：先保持一个棱镜不动，旋转另一个棱镜，使出射光束的偏转角达到目标值，在保持两棱镜的方位夹角不变的条件下同时旋转两个棱镜，使出射光束的方位角达到目标值，把三个旋转双棱镜装置都调整到与s1中算出的旋转角度相应的位置并使其固定。

作为优选，所述s3具体过程包括以下步骤：

s301：两个分光镜放置在旋转双棱镜装置的前方；

s302：调整三个旋转双棱镜装置的位置，使第一个旋转双棱镜装置的轴与第一个分光镜的镜面呈45度，第二个镜面在另外两个旋转双棱镜装置的中间，且与另外两个旋转双棱镜装置的轴都呈45度；

s303：分别在每个旋转双棱镜装置的后面放置一个与轴垂直的相机，用控制器同时控制三个相机的快门获取三幅对其互补的图像。

作为优选，所述s4具体过程包括以下步骤：

s401：速度传感器测量目标移动的速度；

s402：距离传感器测量目标与相机之间的距离以及获取相机全部曝光时间算出移动距离；

s403：根据物像关系算出目标物像的移动距离，粗略地计算出每幅图像的点扩散函数psf；作为优选，所述s402过程中计算移动距离l′的公式为：

式中f为相机焦距，m为传感器尺寸，d为获取的目标与相机距离，l为目标移动距离。

作为优选，所述s5具体过程包括以下步骤：

s501：将s3获得的3张对齐互补的图像和s4中所获得的三个相对应的psf以及d1、d2作为输入建立多帧盲复原数学模型；

s502：进行最小化求解求出最终复原图像；

所述数学模型为：

式中i表示像素索引，d1和d2分别表示水平方向和垂直方向梯度算子对应的循环矩阵，f代表最终复原图像，||||²2代表范数的平方，表示平滑参数,k表示帧数，上述式子的最小值即最终复原图形。

因此，本发明具有如下有益效果：

1.通过仿真得到了三个互补性最大的图像的旋转角度，设定好旋转双棱镜装置的角度同时控制三个相机的快门得到所需的三张互补信息最大的序列图像；

2.通过速度传感器来获取运动速度和距离传感器来获取相机与物体之前的距离，从而探测出在曝光时间内景物的像移尺度，结合编码曝光序列，初步估计出psf，最后采用总变分tv正则化的方法进行图像的联合复原；

3.可以实现图像信息方面的互补，保留更多的场景信息，从而可以得到更加清晰的图像，让模糊图像的所有图像信息复原。

附图说明

图1是本发明实施例的结构示意图。

图2是本发明旋转双棱镜装置的结构示意面图。

图3是本发明旋转双棱镜装置的的平面示意图。

图4是本发明具体实施的操作流程图。

图中：1、相机装置2、旋转双棱镜装置201、第一折射棱镜门202、第一折射棱镜门203、第一收发面204、第二收发面3、控制器4、分光镜5、相机501、镜头502、快门。

具体实施方式

下面结合附图与具体实施方式对本发明做进一步的描述。

实施例：

本实施例一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，如图1-4所示，包括三个相机1，三个旋转双棱镜装置2、一个控制器3、两个分光镜4、速度传感器和距离传感器，每个相机1上均设有镜头501和快门502，旋转双棱镜装置2包括第一折射棱镜门201、第二折射棱镜门202，第一折射棱镜门201和第二折射棱镜门202的两对称侧面为直角梯形，其余面为矩形，第一折射棱镜门201和第二折射棱镜门202相邻排列且共轴设置，以垂直于一面且穿过中心点的线为共同轴，第一折射棱镜门201和第二折射棱镜门202上均设有第一收发面203和第二收发面204，第一收发面203垂直光轴且位于同一光轴上，第二收发面204互补相对设置，斜面组成的第二收发面204相对均向内设置，第一折射棱镜门201和第二折射棱镜门202可以绕共同轴独立旋转，三个相机1的镜头501均垂直于三个旋转双棱镜装置2的折射光束设置，控制器3与相机快门502连接控制三个相机快门502的开关，控制器3为stm32单片机，二进制编码序列控制stm32单片机i/o口可同时控制三个相机1快门本实施例工作过程如下：光束平行旋转双棱镜装置2转轴入射，旋转双棱镜装置2通过折射改变光束传播方向，第一折射棱镜门201的转角为θ1、第二折射棱镜门202的转角为θ2，，然后通过旋转双棱镜装置2的转角θ1、θ2使出射光束在一定偏转角范围内实现任意指向调整，通过调整旋转三个旋转双棱镜装置2中θ1、θ2确定我们需要的三个角度，将两个分光镜4放置在旋转双棱镜装置2的前方，调整分光镜4的角度与旋转双棱镜装置2的轴成45度，控制器3同时控制三个相机快门502的开关，目标物体的入射光通过两个分光镜4分成三束出射光被三个相机1接收，获得完全对齐的三幅图像，旋转双棱镜装置2的作用获得的三幅图像互补性最大，所以最终可以获得三幅对齐互补的序列图像；速度传感器测量目标移动的速度，距离传感器测量目标与相机之间的距离以及获取相机全部曝光时间算出移动距离，用以根据物像关系算出目标物像的移动距离，从而粗略地估算出每幅图像的点扩散函数psf。

本发明实施例相应的提供了一种基于旋转双棱镜获取互补序列图像的复原方法，应用于如上述所述的基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，所述方法包括：

s1：通过计算得到三个互补性最大的图像及旋转角度；

s2：用旋转双棱镜装置确定图像旋转角度；

s3：相机装置1获取序列图像；

s4：结合物像关系以及旋转角度估计psf模型；

s5：采用总变分正则化模型将三幅对齐互补的序列图像和估计的psf作为输入解出最小值；

其中互补性的定义如下：

其中t(a)、t(b)、t(c)分别表示提取abc集合有效元素，t(u)表示全集，“|”表示并集，“&”表示交集，“||.||0”表示计算集合中非零元素的个数。

本方案中将原始图像和高斯滤波器进行卷积运算，再用模糊图像直接减去卷积结果即可得到图像高频分量h，其次计算图像的高频部分在梯度方向上灰度值的变化情况，进一步提取图像的高频特征将一张原始图像进行旋转，每旋转一度作为一张输入图像，一共可以得到360张图像，把360张图片三三组合，一共有360³种情况，分别求出每种组合情况对应的互补性，用matlab计算选取出互补性最大的三张图片，并确定三张图片的旋转角度；旋转双棱镜装置2通过折射改变光束传播方向，第一折射棱镜门201的转角为θ1、第二折射棱镜门202的转角为θ2，，然后通过旋转双棱镜装置2的转角θ1、θ2使出射光束在一定偏转角范围内实现任意指向调整，通过调整旋转三个旋转双棱镜装置2中θ1、θ2确定我们需要的三个角度；用一个控制器1同时控制三个相机快门502的开关最终可以获得三幅对齐互补的序列图像，粗略地估算出每幅图像的点扩散函数psf，最后采用总变分tv正则化的方法进行图像的联合复原。

作为优选，所述s1具体过程包括以下步骤：

s101：将原始图像和高斯滤波器进行卷积运算，再用模糊图像直接减去卷积结果即可得到图像高频分量h：hi＝yi-gσ*yi；

式中yi是模糊图像，gσ是卷积核；

s102：计算图像的高频部分在梯度方向上灰度值的变化情况，进一步提取图像的高频特征其中hix＝hi*gx，hiy＝hi*gy，gx和gy分别为x和y方向上的梯度，提取模糊图像的二值化信息，作为互补性表征的有效信息。进行二值化操作时，阈值thresh的选取可以根据原始图像的灰度值进行调整，对梯度图像进行归一化操作，设置阈值范围thresh∈[0.2，0.5]，

s103：将一张原始图像进行旋转，每旋转一度作为一张输入图像，一共可以得到360张图像，设定需要选择的帧数为3，用迭代的方式选取最大互补信息的3幅模糊图像把360张图片三三组合,一共有360³种情况，分别求出每种组合情况对应的互补性，计算三幅图片的互补性，定义为：其中m和n分别为图像的长和宽，用matlab计算选取出互补性最大的三幅模糊图片以及它们的旋转角度。作为优选，所述s2具体过程包括以下步骤：

s201：光束平行旋转双棱镜装置2的第一折射棱镜门201和第二折射棱镜门202共轴入射；

s202：先保持一个棱镜不动，旋转另一个棱镜，使出射光束的偏转角达到目标值，在保持两棱镜的方位夹角不变的条件下同时旋转两个棱镜，使出射光束的方位角达到目标值，把三个旋转双棱镜装置都调整到与s1中算出的旋转角度相应的位置并使其固定。

作为优选，所述s3具体过程包括以下步骤：

s301：两个分光镜4放置在旋转双棱镜装置2的前方；

s302：调整三个旋转双棱镜装置2的位置，使第一个旋转双棱镜装置2的轴与第一个分光镜4的镜面呈45度，第二个镜面在另外两个旋转双棱镜装置2的中间，且与另外两个旋转双棱镜装置2的轴都呈45度；

s303：分别在每个旋转双棱镜装置2的后面放置一个与轴垂直的相机1，用控制器3同时控制三个相机5的快门502获取三幅对其互补的图像。

作为优选，所述s4具体过程包括以下步骤：

s401：速度传感器测量目标移动的速度；

s402：距离传感器测量目标与相机之间的距离以及获取相机全部曝光时间算出移动距离；

s403：根据物像关系算出目标物像的移动距离，粗略地计算出每幅图像的点扩散函数psf。

作为优选，所述s402过程中计算移动距离l′的公式为：

式中f为相机焦距，m为传感器尺寸，d为获取的目标与相机距离，l为目标移动距离。

作为优选，所述s5具体过程包括以下步骤：

s501：将s3获得的3张对齐互补的图像和s4中所获得的三个相对应的psf以及d1、d2作为输入建立多帧盲复原数学模型；

s502：进行最小化求解求出最终复原图像。

所述数学模型为：

式中i表示像素索引，d1和d2分别表示水平方向和垂直方向梯度算子对应的循环矩阵，f代表最终复原图像，||||²2代表范数的平方，表示平滑参数,k表示帧数，上述式子的最小值即最终复原图形。

本实施例提出特殊的拍摄装置让三幅图像在空间上高度对齐，再利用旋转双棱镜装置2得到互补性最大的三张图像，由于三幅图像的模糊核零点不同，丢失的信息不同，从而实现图像信息之间的互补，解决复原过程中图像不可逆的问题，大大提高了模糊图像复原后的质量。