一种基于逐像素编码曝光的高速高分辨率成像方法与流程

本发明属于计算摄影学领域，涉及一种高速高分辨率成像方法，尤其涉及一种基于DMD(Digital Micromirror Device，数字微镜器件)的逐像素编码曝光方法。

背景技术：

高速成像技术在工农业及国防领域发挥着越来越重要的作用。以CCD(Charge-coupled Device，电荷耦合元件)和CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)为代表的固态图像传感器，因其在体积、重量、动态范围和成本等方面的优势，使得不同种类的固态图像传感器在超快光电信息测量领域逐渐受到重视和发展。然而，传统的CCD或CMOS相机受帧率的限制，其不能有效地获取快速运动物体的清晰图像，究其原因是传统相机的时间分辨率较小。目前，提高传统CCD或CMOS相机的时间分辨率的方法主要采用多端口读出方式和就地存储(In situ Storage Image Sensor，ISIS)技术以增加相机的带宽，从而实现对高速运动物体的光学成像。

近年来，随着新兴的计算型相机的出现，为解决全固态图像传感器的高速成像问题提供了一种新的方案。计算型相机结合了计算机与相机的优点，通过计算机控制不同类型的空间光调制器以实现对入射光线的精确调制，从而获得更加理想的视觉图像。

技术实现要素：

为突破传统相机带宽不足的固有限制，本发明设计了一种新型的计算型相机——DMD相机，并利用该相机具有能灵活地对光线时间信息和空间信息调制的成像优势，提出了一种逐像素编码曝光方法，实现了对运动物体的高速高分辨率成像。

为了解决上述技术问题，本发明提出的一种基于逐像素编码曝光的高速高分辨率成像方法，其中，所用成像系统为由数字微镜器件DMD、电荷耦合元件CCD、第一透镜组、第二透镜组和处理器构成的线性空间不变的DMD相机；所述数字微镜器件DMD形成一DMD平面，所述电荷耦合元件CCD形成一CCD像平面，所述DMD平面与所述CCD像平面平行；所述第一透镜组是变焦透镜组，所述第一透镜组处于由所述数字微镜器件DMD和电荷耦合元件CCD之间所形成的主光轴上，所述第一透镜组用以将DMD面所成的像完整投影到CCD像平面，所述数字微镜器件DMD中的每一个微镜与电荷耦合元件CCD中的每一个像元一一对应；所述第二透镜组是一个定倍成像物镜，用以将被测物完整成像在所述DMD平面上，从而确定DMD相机的视场范围和工作距离；所述数字微镜器件DMD、第二透镜组和被测物三者之间的位置关系满足斜置场面成像条件，被测物平面与DMD平面相对于第二透镜组互为共轭；所述主光轴与所述第二透镜组所在光轴之间的夹角为24°，上述数字微镜器件DMD、电荷耦合元件CCD、第一透镜组和处理器组成一光电反馈系统；该成像系统的成像方法包括以下步骤：

步骤一、在所述DMD平面上，每个DMD编码图案看作是一个DMD掩膜，每个DMD掩膜划分为m个互不重叠的曝光组，每个曝光组中包含n个曝光元素；设定每个曝光元素在同一曝光组中具有不同的编号，而相同位置的曝光元素在不同的曝光组中具有相同的编号；

步骤二、在DMD相机的一个曝光周期T内，通过控制数字微镜器件DMD中微镜的偏转，分别实现对N个不同的DMD掩膜中具有相同编号的曝光元素同时曝光，而不同编号的曝光元素依次曝光，从而实现逐像素编码曝光，逐像素编码曝光调制函数表示如下：

式(6)中，Mi(x,y,t)表示DMD掩膜函数，DMD掩膜曝光时间为tims；

入射光线经数字微镜器件DMD逐像素编码曝光后，将曝光时间信息嵌入到一编码曝光图像中，所述编码曝光图像保存有DMD相机的分辨率，所述编码曝光图像的光强函数V’(x,y)表示如下：

式(7)中，(s,t)和(x,y)分别表示被测物的物平面和CCD像平面上二维空间坐标；f(s,t)表示被测物的图像；h(x,y；s,t)表示该DMD相机的光学传递函数；

步骤三、在编码曝光图像中，根据上述m个曝光组中的各像素灰度分布特征，对其编码曝光后的曝光组中的曝光元素作升序排列，并对所排曝光元素依次标上1，2，3，……，n-1，n；将上述所有曝光组中排序编号为1的像素组合成子帧1，将所有曝光组中排序编号为2的像素组合成子帧2，依次类推，直到组合完成子帧n，获得了提高n倍时间分辨率的n幅子帧。

进一步讲，步骤二中：为实现N个不同的DMD掩膜在一个DMD相机曝光周期T内依次完成曝光，则DMD相机曝光周期T与单个DMD掩膜的曝光时间ti有如下关系：

T＝ti·N+Δt (8)

式(8)中，Δt表示电荷耦合元件CCD帧读取时间。

与现有技术相比，本发明的有益效果是：

传统的CCD或CMOS相机时间分辨率小，不能有效地探测快速变化的物理现象，提高其时间分辨率一般需改变原有相机的内部芯片电路结构，因而设计和制造工艺复杂，成本高。在不改变原有相机固有属性的条件下，本发明设计了一种新型的DMD相机，利用DMD的空间光调制特性，提出了一种逐像素编码曝光方法。该技术突破了传统相机带宽有限的固有限制，实现了将普通低帧率相机转变为高速相机以达到高速高分辨率成像的目的。理论上，这种方法能够迅速地提高该DMD相机的时间分辨率数倍、甚至数百倍。同时，本发明所设计的DMD掩膜能够被二进制编码表示，且这种编码掩膜可以具有不同的形状，包括菱形、矩形、正方形或者其他非规则几何形状。因此，相较于其他高速成像技术，本发明方法具有设计成本低、更高的灵活性和更强的适应性。

附图说明

图1为DMD相机的光路原理图。

图2(a)、图2(b)和图2(c)是DMD与CCD匹配与校准实验结果；其中：图2(a)是DMD相机使用的条纹图案；图2(b)未匹配；图2(c)匹配。

图3(a)、图3(b)和图3(c)是逐像素编码曝光方法的工作原理；其中：图3(a)是DMD掩膜；图3(b)是不同曝光元素的曝光序列；图3(c)是子帧提取。

图4是DMD相机的采样时钟控制时序图。

图5是子帧提取流程图。

图6是三元素中值快速排序法的算法流程图。

图7是在不同曝光组中DMD微镜的调制过程。

图8(a)和图8(b)是记录蜡烛亮度变化的逐像素编码曝光结果；其中：图8(a)是编码曝光图像I；图8(b)是子帧：I1、I2、I3、I4。

图9(a)和图9(b)是记录蜡烛被吹灭瞬间的逐像素编码曝光结果；其中：图9(a)是编码曝光图像I；图9(b)是子帧：I1、I2、I3、I4。

图10(a)、图10(b)和图10(c)是记录液体混合微小变化的逐像素编码曝光结果；其中：图10(a)是编码曝光图像I；图10(b)是子帧：I1、I2、I3、I4；图10(c)是各图像的熵值。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

本发明一种基于逐像素编码曝光的高速高分辨率成像方法，其中，所用成像系统是由数字微镜器件DMD、电荷耦合元件CCD、第一透镜组1、第二透镜组2和处理器构成的DMD相机，其结构如图1所示：所述数字微镜器件DMD形成一DMD平面，所述电荷耦合元件CCD形成一CCD像平面，所述DMD平面与所述CCD像平面平行；所述第一透镜组1是变焦透镜组，所述第一透镜组1处于由所述数字微镜器件DMD和电荷耦合元件CCD之间所形成的主光轴上，所述第一透镜组1用以将DMD面所成的像完整投影到CCD像平面，所述数字微镜器件DMD中的每一个微镜与电荷耦合元件CCD中的每一个像元一一对应；所述第二透镜组2是一个定倍成像物镜，用以将被测物完整成像在所述DMD平面上，从而确定DMD相机的视场范围和工作距离；所述数字微镜器件DMD、第二透镜组2和被测物三者之间的位置关系满足斜置场面成像条件，会聚于参考线，被测物平面与DMD平面相对于第二透镜组2互为共轭；所述主光轴与所述第二透镜组2所在光轴之间的夹角为24°，上述数字微镜器件DMD、电荷耦合元件CCD、第一透镜组1和处理器组成一光电反馈系统。

在由数字微镜器件DMD与电荷耦合元件CCD组成的线性空间不变的成像系统中，CCD像平面的一个像点实际是由被测物的物平面上的多个物点叠加而成，这种混合叠加的成像过程可以用数学积分来表达。

式(1)中，(s,t)和(x,y)分别表示物平面和像平面上二维空间坐标；f(s,t)表示被测物的图像；g(x,y)表示相机采集到的图像，又称为降质图像；h(x,y；s,t)表示该DMD相机的光学传递函数(PSF)。

光强函数I(x,y)可以表示为像函数g(x,y)与其共轭像函数g*(x,y)的点积的时间平均值：

I(x,y)＝<g(x,y)·g*(x,y)> (2)

将式(1)代入式(2)中，光强函数I(x,y)又可表示为：

由于从物体表面反射的光线可以看作是非相干平面波，因此，式(3)可以进一步表示为：

设I(x,y,t)对应于M×N像素邻域内的时空卷积和相机积分时间；M(x,y,t)表示DMD与CCD之间的调制函数；T表示相机的曝光周期；(x,y)表示DMD平面上的任意一点，其与CCD像平面上的某一点相对应。因此，DMD相机的实际光强函数V(x,y)可以表示为：

式(5)中，M(x,y,t)∈[0,1]。当M(x,y,t)＝0时，所有的DMD微镜关闭，没有光线可以进入CCD像平面成像；当M(x,y,t)＝1时，所有的DMD微镜打开。对于传统相机，

所述数字微镜器件DMD中的每一个微镜与电荷耦合元件CCD中的每一个像元一一对应，本发明利用莫尔条纹的产生原理来完成DMD微镜与CCD像元的匹配与校准。其详细步骤如下：

(1)依据数字微镜器件DMD自身的翻转特性，将DMD掩膜设置成周期性条纹光栅图案。该光栅条纹图案的每个周期方向上由4个微镜组成，且前两个微镜为“ON”(打开)状态，后两个为“OFF”(关闭)状态。图2(a)为DMD掩膜所设置成的周期性条纹光栅图案，图中分为横向条纹和纵向条纹两个部分，分别用于调整纵向空间匹配和横向空间匹配实验。

(2)当CCD对DMD掩膜(即上述的周期性条纹光栅图案)进行图像采样时，同样以4个像元为一个周期进行抽采样。选取每个周期的第一个CCD像元采样值，并复制这个采样值到其它三个像元处。

(3)当DMD微镜与CCD像元一一对应，因为每个周期CCD的采样值相同，相机所采集的图像中将无条纹图案出现；当DMD微镜与CCD像元没有完全一一对应时，由于相邻周期的CCD采样值不同，在复制插值之后就会出现灰度渐进的条纹图案，这个条纹图案也是周期性的，这个现象就是测量学中的移相莫尔条纹现象。图2(b)是DMD相机初始匹配与校准结果，图中出现了明暗相间的莫尔条纹。

实验中，通过调整第一透镜组1的放大倍率和CCD在z轴上的位置来实现CCD像元与DMD微镜的匹配，而后调整CCD在x轴y轴的位置及绕x、y、z轴的旋转来实现CCD像元与DMD微镜的校准，实验结果如图2(c)所示。

假设提高该DMD相机的时间分辨率N倍，则其成像步骤如下：

在所述DMD平面上，每个DMD编码图案看作是一个DMD掩膜，每个DMD掩膜划分为m个互不重叠的曝光组，每个曝光组中包含n个曝光元素；设定每个曝光元素在同一曝光组中具有不同的编号，而相同位置的曝光元素在不同的曝光组中具有相同的编号；如图3(a)所示。

在DMD相机的一个曝光周期T内，通过控制数字微镜器件DMD中微镜的偏转，分别实现对N个不同的DMD掩膜中具有相同编号的曝光元素同时曝光，而不同编号的曝光元素依次曝光，从而实现逐像素编码曝光，如图3(b)所示。

如上所述，设Mi(x,y,t)表示DMD掩膜函数，其曝光时间为tims。M’(x,y,t)表示逐像素编码曝光调制函数，该逐像素编码曝光调制函数可表示为：

式(6)中，Mi(x,y,t)表示DMD掩膜函数，DMD掩膜曝光时间为tims。

入射光线经数字微镜器件DMD逐像素编码曝光后，由于DMD相机中每个像素所对应的曝光时间不同，从而将曝光时间信息嵌入到一编码曝光图像中，所述编码曝光图像保存有DMD相机的高空间分辨率，结合DMD相机的实际光强函数V(x,y)，所述编码曝光图像的光强函数V’(x,y)可表示如下：

为实现N个不同的DMD掩膜在一个DMD相机曝光周期T内依次完成曝光，则DMD相机的曝光周期T与单个DMD掩膜的曝光时间ti有如下关系(如图4所示)：

T＝ti·N+Δt (8)

式(8)中，Δt表示电荷耦合元件CCD帧读取时间，一般情况下，该值很小。由式(8)可以计算出每个DMD掩膜的曝光时间ti。

通常情况下，相邻像素的像素值比较接近且趋于平滑，但是由于DMD实现逐像素编码曝光调制后，相邻像素值将会出现一个较大的差异。同时，不同的曝光元素在采用逐像素曝光编码前后其在各个曝光组中都具有相同的排序。

因此，在编码曝光图像中，根据上述m个曝光组中的各像素灰度分布特征，对其编码曝光后的曝光组中的曝光元素作升序排列，并对所排曝光元素依次标上1，2，3，……，n-1，n；将上述所有曝光组中排序编号为1的像素组合成子帧1，将所有曝光组中排序编号为2的像素组合成子帧2，依次类推，直到组合完成子帧n，获得了提高n倍时间分辨率的n幅子帧。如图3(c)所示和图5所示。

为实现对编码曝光后的曝光组中的各曝光元素作快速升序排列，本发明中采用三元素中值快速排序法，其流程如图6所示。

假设，包含有n个无序数据的数列用{di}＝(d1,...,dn)表示，则算法步骤如下：

Step1：从数列{di}中任选三个元素dj，dk，dm，比较这三个元素，并取其中间值di为枢轴元素。然后将其他所有元素与该枢轴元素di相比，把所有不大于di的数据放在左子区间Ld＝(d1,...,di-1)中，所有小于di的数据放在右子区间Rd＝(di+1,...,dn)中。枢轴元素di的位置保持不变。

Step2：所有在子区间Ld和Rd的数据分别递归调用Step1，然后采用快速排序法实现对各子区间的每个元素的排序；直到各自区间数据的长度小于k，此时Step2停止执行；

Step3：剩余的左子区间和右子区间将分别执行插入法排序：所有剩余的数据将会与之前有序的数据比较以将其插入到数组中合适的位置，直到所有数据插入排序完成。

依次执行此算法步骤，即可快速实现对曝光元素的升序排序，获得有序数据。为了得到合适大小的k值，需要计算新算法的平均时间复杂度。

传统的快速排序的平均时间复杂度可以表示为：

其中：To(i-1)和To(n-i)分别表示左子区间Ld和右子区间Rd的平均时间复杂度。当变量i从1执行到n时，式(9)中将会出现两个相同的To(0)，To(1)，...，To(n-1)，因此式(9)又可以表示为：

对式(10)做移项和减法处理，可以得：

令则式(11)可以表示为：

将递归法应用于式(12)，可以得到：

因此，传统的快速排序的平均时间复杂度又可以表示为：

类似地，当变量i从k执行到n时，快速排序法的平均时间复杂度可以表示为：

中值比较的平均时间复杂度可以表示为：

T2(n)＝n(n＞1) (16)

插入法的平均时间复杂度可以表示为：

综上所述，三元素中值快速排序法的平均时间复杂度可以表示为：

定义函数f(n，k)表示上述两种方法的平均时间复杂度的差值，也即：

又因为上式可以进一步表示为：

当导函数f’(n，k)＝0时，函数f(n，k)取得极值。因此，令则式(20)可以表示为：

解不等式(21)，可得k≥7。此时，函数f(n，k)取得最大值，也即当上述两种方法的平均时间复杂度差距最大时，三元素中值快速排序法的平均时间复杂度最小。因此，当各子区间数据长度小于7时，则将插入排序法应用于余下的数据排序中，此时该三元素中值快速排序算法的效果最佳。

实施例

一般情况下，可以使用不同形状或者不同大小的DMD掩膜(例如3×3，9×9，16×16等其他类型的网格图案)以快速地提高DMD相机的时间分辨率数倍、甚至数百倍。由于本实施例所用的DMD物理分辨率的限制，实现了提高帧率为25fps的相机时间分辨率4(n＝4)倍，最终得到时间分辨率为100fps的低空间分辨率子帧序列。

如图1所示，所用CCD相机的空间分辨率为768×576，单个CCD像元尺寸为8.3μm×8.3μm，曝光周期T＝40ms(25fps)，帧读取时间tr＝0.2ms；所用DMD的分辨率为684×608，单个DMD微镜尺寸为7.6μm×7.6μm；调整透镜组1的近轴放大率为1.12，通过纵向和横向调整CCD与DMD的相对位置实现像元精准一对一匹配，其匹配结果如图2(c)所示。

图7表示了每个曝光组中各DMD微镜的调制过程。在DMD编码掩膜中，每个曝光组中包含4(2×2网格图案)个曝光元素，且分别编号为m1，m2，m3，m4。在0到T/4周期内，所有的微镜处于打开状态；在T/4到2T/4周期内，m1关闭，m2，m3，m4打开；在2T/4到3T/4周期内，m1，m2关闭，m3，m4打开；在3T/4到T周期内，m1，m2，m3关闭，m4打开。DMD编码掩膜每隔ti＝9.8ms曝光一次，共循环4次在一个相机曝光周期T内。为突显本实验现象及效果，所有的实验都是在暗室中进行。

利用本发明方法实现了对多个不同运动场景的高速高分辨率成像。已嵌入时间信息的编码曝光图像I具有高空间分辨率(768×576pixels，25fps)，高速的子帧I1、I2、I3、I4(384×288pixels，100fps)将会记录和分解高速图像的运动过程。

为了论证DMD相机对光线时间信息的调制效果，第一个例子表示蜡烛火焰的亮度变化，如图8(a)和图8(b)所示。图8(a)是被DMD相机逐像素编码曝光后的编码曝光图像I，图8(b)是从图8(a)中提取的4个不同的子帧I1、I2、I3、I4，可以观察出子帧依次越来越亮。因此，它表明随着曝光时间的增长，蜡烛会越来越亮。

在某种意义上，提高相机的时间分辨率，是将原本快速运动变化的过程放慢。第二个例子记录了吹灭蜡烛的瞬间变化现象，如图9(a)和图9(b)所示。图9(a)是记录了蜡烛被吹灭瞬间时间信息的编码曝光图像I，图9(b)是从图9(a)中提取的4个子帧I1、I2、I3、I4。可以看出子帧的亮度逐渐熄灭，至此蜡烛熄灭的全过程通过多幅子帧被完全的呈现出来了。

第三个例子记录的是液体混合微小变化的过程。图10(a)是浑浊的编码曝光图像I；图10(b)是4个子帧I1、I2、I3、I4，它们分别记录了牛奶倒入水中的全过程。图像的熵值可以表示图像灰度分布的聚集特征，熵值越大，说明图像中包含的信息量越大，图像越有价值。图10(c)表示编码曝光图像与各子帧的熵值。从中可以看出，第3幅子帧I3与编码曝光图像I的熵值就十分接近，第4幅子帧I4就基本超过了I的熵值，说明子帧逐渐取得了比较清晰的视觉效果。

上述所有实验结果均表明，本发明提出的逐像素编码曝光方法对各类高速运动场景均取得了良好的视觉效果。

尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。