基于扩展小波树的彩色成像系统及方法
【专利摘要】本发明公开了一种基于扩展小波树的彩色成像系统及其方法，包括PC、DLP、彩色目标图像、单像素光子探测器、数据采集与控制模块，其中PC、DLP、单像素光子探测器均与数据采集与控制模块连接。本发明利用扩展的小波树对R、G、B三分量的重要系数进行判断，有效的减少了采样次数同时保证没有丢失重要信息；避免了CS算法所需的计算开销，减少了重构所需的时间；利用单个单像素光子探测器和DLP组合的单光子相机结构，减小了系统尺寸，简化了系统结构。
【专利说明】
基于扩展小波树的彩色成像系统及方法
技术领域
[0001]本发明属于彩色自适应压缩计算鬼成像技术，特别是一种基于扩展小波树的彩色成像系统及方法。
【背景技术】
[0002]传统鬼成像(GI)([I ]A.Gatti ,E.Brambilla,Μ.Bache ,and L.A.Lugiato, “Ghostimaging with thermal light:comparing entanglement and classical correlat1n，，，Phys.Rev.Lett.93,093602?2004.[2]D.V.Strekalov,A.V.Sergienko,D.N.Klyshko,andY.H.Shih , “Observat1n of two-photon “ghost” interference and diffract1n，，，Phys.Rev.Lett.74，3600-3603，1995.)利用两个相关联的光场和两个光子探测器来成像，光路中使用的两个光子探测器，一个是无空间分辨能力的桶探测器，用于采集作用于目标物体的光束的光强信息作为目标光束；另一个是具有高空间分辨能力的面阵探测器，用来记录光源的光场信息作为参考光束。单独使用其中一种探测器均不能成像，只有通过对两束光进行光强关联才可以对未知物体实现成像。Shapiro([3]J.H.Shapiro,“Computat1nal ghost imaging,”Phys.Rev.A 78，061802，2008.)指出参考光束的唯一目的在于确定每一时刻目标物体上的照明投影，而目标光束给出目标物体在这种传输模式下的返回数据。如果在目标物体上的照明投影可以事先给出，那么就可以把参考光束省略。计算鬼成像(CGI)仅利用单光束和一个桶探测器，利用空间光调制器产生确定的散斑照明投影实现成像。这种空间光调制器和桶探测器配合使用的结构也显示了利用压缩感知([4]D.L.Donoho, aCompressed sensing,” IEEE Trans.1nf.Theory 52，1289_1306，2006.)的可能性。由于自然物体一般是稀疏的，为了实现一幅像素为N*N的目标图像的成像，可以用远小于N*N的采样次数进行重构。
[0003]压缩感知算法(CS)首先由Cand'es, Tao和Donoho提出。为了获得更好的成像质量，很多学者将CS和GI结合进行实验。但是CS有很多技术缺点，在重构过程中它需要的时间远高于二阶关联运算所需的时间，而且花费的时间随着成像尺寸的增加呈现指数增长，还有可能无法在特定情况下工作。
[0004]这些缺点可以由压缩自适应计算鬼成像(CCGI)([5]M.Aftnann and M.Bayer,“Compressive adaptive computat1nal ghost imaging，，，Sci.Rep.3，1545，2013.)克月艮，该方法由Aftnann和Bayer发表，直接利用构成小波基的投影取代经典随机散斑投影。在实验过程中，首先采样获取一幅低分辨率粗糙图像，对其进行一阶小波分解。自适应的确定系数值大的区域，并对这些区域进行高分辨率扫描。在所有采样结束后，一幅新的高分辨率图像可以通过小波逆变换重构得到。这与CS相比，需要更少的采样测量，而且不需要过大的计算开销。但在这种情况下，采样测量次数还是有冗余。
[0005]传统的自适应压缩采样算法认为，若父系数大于某一阈值，则其对应的四个子系数均为重要系数，由此来进行自适应采样。然而，由于子系数对应空间区域是父系数空间区域的子集，重要父系数的四个子系数中，也可能存在非重要系数。如果只依靠这种父子关系来判断子系数的重要性，则会导致误判，将一些不重要的系数也加以采集，从而造成采样浪费。
【发明内容】
[0006]本发明的目的在于提供一种快速、结构简单以及在减少采样率的情况下能够保证重构出的彩色图像视觉效果更佳的基于扩展小波树的彩色成像系统及方法。
[0007]实现本发明目的的技术解决方案为:一种基于扩展小波树的彩色成像系统及其方法，包括PC、DLP、彩色目标图像、单像素光子探测器、数据采集与控制模块，其中PC、DLP、单像素光子探测器均与数据采集与控制模块连接；
[0008]所述数据采集与控制模块由采集单元、控制单元、模数处理单元组成，控制单元控制DLP在红光、绿光、蓝光下依次对彩色目标图像的重要系数所在的位置进行投影;控制单元将PC中生成的二进制图像显示在屏幕上，然后同步地将该二进制图像传送给DLP中的DMD，该DLP中DMD的各个微镜的状态根据二进制图像而进行变换，即如果二进制图像中是亮斑，那么对应位置的微镜显示状态为“开”；相反地，如果二进制图像中是暗斑，对应位置的微镜状态为“关”；当DLP将二进制图案投影在彩色目标图像上时，控制单元产生一个同步信号，触发单像素光子探测器对投影的图像进行采样，接收彩色目标图像的反射光强信号，采集单元采集到反射光强信号后，单像素光子探测器生成一个返回触发信号，返回触发信号传入控制单元，反射光强信号传入模数处理单元进行模数转换，最终分别将投影红、绿、蓝光时得到的数字信号传入PC，从而即可得到R、G、B三分量各自的小波重要系数，然后对R、G、B三分量分别进行小波逆变换，最终重构出彩色图像。
[0009]本发明与现有技术相比，其显著优点:(I)利用扩展的小波树对R、G、B三分量的重要系数进行判断，与传统自适应压缩采样(ACS)相比，有效的减少了采样次数同时保证没有丢失重要信息。(2)与现有的彩色成像方法比，避免了CS算法所需的计算开销，减少了重构所需的时间。(3)利用单个单像素光子探测器和DLP组合的单光子相机结构，减小了系统尺寸，简化了系统结构。
[0010]下面结合附图对本发明作进一步详细描述。
【附图说明】
[0011]图1是本发明采用的基于扩展小波树的彩色成像装置原理示意图。
[0012]图2是扩展小波树的结构示意图。
[0013]图3是验证本发明所用的仿真图案以及部分细节放大图。
[0014]图4是使用本发明所述的方法在不同采样率下对仿真图案进行重构时的峰值性噪比(PSNR)0
[0015]图5是使用本发明所述的方法在采样率为15%时重构得到的彩色图像以及部分细节放大图。
[0016]图6是使用本发明所述的方法在采样率为35%时重构得到的彩色图像以及部分细节放大图。
【具体实施方式】
[0017]结合图1和图2，本发明基于扩展小波树的彩色成像系统，包括PCl、DLP(digitallight projector^、彩色目标图像3、单像素光子探测器4、数据采集与控制模块5，其中PC1、DLP2、单像素光子探测器4均与数据采集与控制模块5连接；
[0018]所述数据采集与控制模块5由采集单元、控制单元、模数处理单元组成，控制单元控制DLP2在红光、绿光、蓝光下依次对彩色目标图像3的重要系数所在的位置进行投影;控制单元将PCl中生成的二进制图像显示在屏幕上，然后同步地将该二进制图像传送给DLP2中的DMD，该DLP2中DMD的各个微镜的状态根据二进制图像而进行变换，即如果二进制图像中是亮斑，那么对应位置的微镜显示状态为“开”；相反地，如果二进制图像中是暗斑，对应位置的微镜状态为“关”；当DLP2将二进制图案投影在彩色目标图像3上时，控制单元产生一个同步信号，触发单像素光子探测器4对投影的图像进行采样，接收彩色目标图像3的反射光强信号，采集单元采集到反射光强信号后，单像素光子探测器4生成一个返回触发信号，返回触发信号传入控制单元，反射光强信号传入模数处理单元进行模数转换，最终分别将投影红、绿、蓝光时得到的数字信号传入PC1，从而即可得到R(红)、G(绿)、B(蓝)三分量各自的小波重要系数，然后对R、G、B三分量分别进行小波逆变换，最终重构出彩色图像。
[0019]本发明基于扩展小波树的彩色成像方法，包括以下步骤:
[°02°]第一步，选择投影光的颜色，由PCl的Iabview生成Haar小波基的二进制图像，通过数据采集与控制模块5中的控制单元控制DLP2中的DMD上每个微镜的开关，DLP2中的LED发出的光通过透镜照射在DMD上，由DMD反射Haar小波基的二进制图像对目标彩色图像3进行投影。
[0021 ]第二步，当单像素光子探测器4对彩色目标图像3的反射光强信号进行采样时，使DLP2在彩色目标图像3上投影的图像和PC端I产生的投影图像一致，并且每幅投影图像只投影一次。本发明对数据采样期间通过同步过程来克服计算机图形管线的各种延迟，使DLP2在彩色目标图像3上投影的图像和PC端I产生的投影图像一致，同步过程如下:?0022] 步骤I，由PCl端的Labview产生Haar小波基的二进制图像，通过DLP2进行投影得到投影图像；
[0023]步骤2，投影图像完全投影且在维持期间，由数据采集与控制模块5中的控制单元产生一个触发信号输送给单像素光子探测器4，使其对彩色目标图像3的反射光强信号进行米样；
[0024]步骤3，单像素光子探测器4采样结束后，生成一个返回触发信号，该返回触发信号传入控制单元，反射光强信号传入模数处理单元进行模数转换；
[0025]步骤4，采样得到的反射光强信号通过模数转换后得到的信号存储在PCl中，返回触发信号使PC端生成新的投影图像并进行下一轮的投影。
[0026]第三步，数据采集与控制模块5中的控制单元控制DLP2在红光、绿光、蓝光下对彩色目标图像3的重要系数所在的位置进行投影，具体如下。单像素光子探测器4采样得到的反射光强信号通过数据采集与控制模块5中的模数处理单元模数转换变为数字信号传入PCl，得到R、G、B三分量的所有重要系数，然后对R、G、B三分量分别进行小波逆变换，最终将三分量融合重构出彩色图像(得到重要系数、小波逆变换、融合重构等均为现有的常规技术)。
[0027]数据采集与控制模块5中的控制单元控制DLP2在红光下对彩色目标图像3进行投影扫描(即进行采样)，单像素光子探测器4采集反射光强信号，从而得到R分量的低分辨率的粗糙图像;对R分量进行一级分解得到高一层的小波系数，然后利用其自身扩展小波树的父子系数与兄弟系数之间的关系确定高分辨率层的重要系数的位置，然后数据采集与控制模块5中的控制单元控制DLP2在红光下投影Haar小波基的二进制图像对R分量子系数中重要小波系数的位置进行扫描，直至R分量的所有重要小波系数扫描完毕；
[0028]所述数据采集与控制模块5中的控制单元控制DLP2在绿光下对彩色目标图像3进行投影扫描，单像素光子探测器4采集反射光强信号，从而得到G分量的低分辨率的粗糙图像;对G分量进行一级分解得到高一层的小波系数，然后利用其自身扩展小波树的父子系数与兄弟系数之间的关系确定高分辨率层的重要系数的位置，然后数据采集与控制模块5中的控制单元控制DLP2在绿光下投影Haar小波基的二进制图像对G分量子系数中重要小波系数的位置进行扫描，直至G分量的所有重要小波系数扫描完毕；
[0029]所述数据采集与控制模块5中的控制单元控制DLP2在蓝光下对彩色目标图像3进行投影扫描，单像素光子探测器4采集反射光强信号，从而得到B分量的低分辨率的粗糙图像;对B分量进行一级分解得到高一层的小波系数，然后利用其自身扩展小波树的父子系数与兄弟系数之间的关系确定高分辨率层的重要系数的位置，然后数据采集与控制模块5中的控制单元控制DLP2在蓝光下投影Haar小波基的二进制图像对B分量子系数中重要小波系数的位置进行扫描，直至B分量的所有重要小波系数扫描完毕。
[0030]实施例
[0031]本发明可以使用DLPLightCrafter 4500进行工作。DLP LightCrafter 4500是TI推出的光控制评估模块，它主要由两个子系统组成，一个是光引擎部分，主要包含光学镜头，白、红、绿、蓝LED光源和像素为912*1140的DMD等；另一个是驱动板，主要包含LED驱动电路、DLPC350 DMD控制器、电源管理电路、DVI转RGB装置等。PC端通过板卡PX1-6552连接单像素光子探测器的触发和返回信号端，单像素光子探测器的数据输出端连接PC，并将数据存储在PC中ALP LightCrafter 4500的DVI接口连接PC的显示屏。通过PC上的控制软件选择DLP LightCrafter 4500的数据传输方式，由于DLP LightCrafter 4500的闪存内存仅为32MB，可存储的投影pattern数目不能满足小波重构需要。因此可选择pattern sequence下的video port。首先选择投影结构光的颜色，由PC端的Iabview生成Haar小波基的二进制图像，通过驱动板控制DMD上每个微镜的开关，LED发出的光通过透镜照射在DMD上。由DMD反射Haar小波基的二进制图像对目标彩色图像进行投影。
[0032]本发明的实施例选择目标像素为256*256，小波分解层数为3层，即第三层小波数的分辨率为64*64LL，LH，HH的分辨率均为32*32，第二层小波数的分辨率为128*128，第一层小波数的分辨率为256*256 ο具体有以下步骤:
[0033]1.通过PC端I的Labview产生Haar小波基的二进制图像的投影图像，投影图像中，只有需要采集的像素处是亮斑，其余像素处均为暗斑。
[0034]2.当单像素光子探测器4对目标图像3的反射光强信号进行采样时，DLP2在目标图像3上投影的图像和PC端I产生的投影图像是一致的，并且每幅投影图像只投影一次，这就需要在数据采样期间增加一些同步过程来克服涉及计算机图形管线的各种延迟。数据采样期间的同步过程如下:
[0035]2.1首先由PC端I通过Labview程序随机产生Haar小波基的二进制图像的投影图像。投影图像在PC端I完全显示后，NI的板卡产生一个触发信号使DLP2将二进制图像投影在目标图像3上。
[0036]2.2完全投影后由数据采集与控制模块5产生一个触发信号输送给单像素光子探测器4，使其对目标图像3的反射光强信号进行采样。
[0037]2.3单像素光子探测器4采样结束后，生成一个返回触发信号，随同采样得到的反射光强信号一起传输回数据采集与控制模块5。
[0038]2.4采样数据通过模数转换后得到的信号存储在PCl中。返回触发信号使PC端I生成新的投影图像并进行下一轮的投影。
[0039]3.R、G、B三个分量各自的父系数的采集以及子系数中重要的小波数的判断以及采集过程如下:
[°04°] 3.1在红色照明光下对目标图像3投影由PCl的Iabview生成Haar小波基的二进制图像，单像素光子探测器4对目标图像3的反射光强信号进行采样，采样得到的反射光强信号通过数据采集与控制模块5中的模数转换变为数字信号传入PCl，扫描采样结束后可得到R分量的分辨率为64*64的粗糙图像。对其进行一级分解得到高一层的小波系数，然后利用R分量扩展小波树的父子系数与兄弟系数之间的关系确定下一层子系数中的重要系数的位置，然后数据采集与控制模块5控制DLP2仍然投红色照明光，对R分量子系数中的重要系数的位置进行投影扫描采样，直至所有子系数中的重要系数全部采集完。
[0041 ] 3.2在绿色照明光下对目标图像3投影由PCl的Iabview生成Haar小波基的二进制图像，单像素光子探测器4对目标图像3的反射光强信号进行采样，采样得到的反射光强信号通过数据采集与控制模块5中的模数转换变为数字信号传入PCl，扫描采样结束后可得到G分量的分辨率为64*64的粗糙图像。对其进行一级分解得到高一层的小波系数，然后利用G分量扩展小波树的父子系数与兄弟系数之间的关系确定下一层子系数中的重要系数的位置，然后数据采集与控制模块5控制DLP2仍然投绿色照明光，对G分量子系数中的重要系数的位置进行投影扫描采样，直至所有子系数中的重要系数全部采集完。
[0042 ] 3.3在蓝色照明光下对目标图像3投影由PCI的IabVi ew生成Haar小波基的二进制图像，单像素光子探测器4对目标图像3的反射光强信号进行采样，采样得到的反射光强信号通过数据采集与控制模块5中的模数转换变为数字信号传入PCl，扫描采样结束后可得到B分量的分辨率为64*64的粗糙图像。对其进行一级分解得到高一层的小波系数，然后利用B分量扩展小波树的父子系数与兄弟系数之间的关系确定下一层子系数中的重要系数的位置，然后数据采集与控制模块5控制DLP2仍然投影蓝色照明光，对B分量子系数中的重要系数的位置进行投影扫描采样，直至所有子系数中的重要系数全部采集完。
[0043]4.单像素光子探测器4采样得到的反射光强信号通过数据采集与控制模块5中的模数转换变为数字信号传入PC。在PC中，由matlab对得到的分辨率为256*256的R、G、B分量的小波系数分别进行小波逆变换，最后将三分量进行彩色融合得到彩色图像。
[0044]本发明通过数据仿真验证了该发明所述算法的性能。如图3所示是验证本发明所用的原始图案以及部分细节放大图。图4是使用本发明所述的方法在不同采样率下对仿真图案进行重构时的峰值性噪比PSNR。图5是使用本发明所述的方法在采样率为15%时重构得到的彩色图像以及部分细节放大图。图6是使用本发明所述的方法在采样率为35%时重构得到的彩色图像以及部分细节放大图。可以看出重构出的彩色图像均没有彩色失真，且在采样率较低时已经能较为清楚的重构出部分细节，比如胡子、面部毛发等部位的丰富细节。同时，本发明避免了现有彩色成像技术中使用压缩感知方法而造成的巨大计算开销。另夕卜，本发明有效地降低了重构所需的时间，在采样率为15%时，若使用CS算法对红、绿、蓝三分量进行重构，仿真运行时间为9.77s，本发明所述算法运行时间为0.14s。
【主权项】
1.一种基于扩展小波树的彩色成像系统，包括PC(I)、DLP(2)、彩色目标图像(3)、单像素光子探测器(4)、数据采集与控制模块(5)，其中PC(I)、DLP(2)、单像素光子探测器(4)均与数据采集与控制模块(5)连接； 所述数据采集与控制模块(5)由采集单元、控制单元、模数处理单元组成，控制单元控制DLP(2)在红光、绿光、蓝光下依次对彩色目标图像(3)的重要系数所在的位置进行投影；控制单元将PC(I)中生成的二进制图像显示在屏幕上，然后同步地将该二进制图像传送给DLP(2)中的DMD，该DLP(2)中DMD的各个微镜的状态根据二进制图像而进行变换，即如果二进制图像中是亮斑，那么对应位置的微镜显示状态为“开”；相反地，如果二进制图像中是暗斑，对应位置的微镜状态为“关”；当DLP(2)将二进制图案投影在彩色目标图像(3)上时，控制单元产生一个同步信号，触发单像素光子探测器(4)对投影的图像进行采样，接收彩色目标图像(3)的反射光强信号，采集单元采集到反射光强信号后，单像素光子探测器(4)生成一个返回触发信号，返回触发信号传入控制单元，反射光强信号传入模数处理单元进行模数转换，最终分别将投影红、绿、蓝光时得到的数字信号传入PC(I)，从而即可得到R、G、B三分量各自的小波重要系数，然后对R、G、B三分量分别进行小波逆变换，最终重构出彩色图像。2.—种基于扩展小波树的彩色成像方法，其特征在于包括以下步骤: 第一步，选择投影光的颜色，由PC (I)的labvi ew生成Haar小波基的二进制图像，通过数据采集与控制模块(5)中的控制单元控制DLP(2)中的DMD上每个微镜的开关，DLP(2)中的LED发出的光通过透镜照射在DMD上，由DMD反射Haar小波基的二进制图像对目标彩色图像(3)进行投影； 第二步，当单像素光子探测器(4)对彩色目标图像(3)的反射光强信号进行采样时，使DLP(2)在彩色目标图像(3)上投影的图像和PC端(I)产生的投影图像一致，并且每幅投影图像只投影一次； 第三步，数据采集与控制模块(5)中的控制单元控制DLP(2)在红光、绿光、蓝光下依次对彩色目标图像(3)的重要系数所在的位置进行投影;单像素光子探测器(4)采样得到的反射光强信号通过数据采集与控制模块(5)中的模数处理单元模数转换变为数字信号传入PC(1)，得到1?、6、8三分量的所有重要系数，然后对1?、6、8三分量分别进行小波逆变换，最终将三分量融合重构出彩色图像。3.根据权利要求2所述的基于扩展小波树的彩色成像方法，其特征在于在第二步中，对数据采样期间通过同步过程来克服计算机图形管线的各种延迟，使DLP(2)在彩色目标图像(3)上投影的图像和PC端(I)产生的投影图像一致，同步过程如下: 步骤I，由PC(I)端的Labvi ew产生Haar小波基的二进制图像，通过DLP (2)进行投影得到投影图像； 步骤2，投影图像完全投影且在维持期间，由数据采集与控制模块(5)中的控制单元产生一个触发信号输送给单像素光子探测器(4)，使其对彩色目标图像(3)的反射光强信号进行米样； 步骤3，单像素光子探测器(4)采样结束后，生成一个返回触发信号，该返回触发信号传入控制单元，反射光强信号传入模数处理单元进行模数转换； 步骤4，采样得到的反射光强信号通过模数转换后得到的信号存储在PC(I)中，返回触发信号使PC端生成新的投影图像并进行下一轮的投影。4.根据权利要求2所述的基于扩展小波树的彩色成像方法，其特征在于在第三步中，数据采集与控制模块(5)中的控制单元控制DLP(2)在红光下对彩色目标图像(3)的重要系数所在的位置进行投影，即在红光下对彩色目标图像(3)进行投影扫描，单像素光子探测器(4)采集反射光强信号，从而得到R分量的低分辨率的粗糙图像;对R分量进行一级分解得到高一层的小波系数，然后利用其自身扩展小波树的父子系数与兄弟系数之间的关系确定高分辨率层的重要系数的位置，然后控制单元控制DLP(2)在红光下投影Haar小波基的二进制图像对R分量子系数中重要小波系数的位置进行扫描，直至R分量的所有重要小波系数扫描完毕。5.根据权利要求2所述的基于扩展小波树的彩色成像方法，其特征在于在第三步中，数据采集与控制模块(5)中的控制单元控制DLP(2)在绿光下对彩色目标图像(3)的重要系数所在的位置进行投影，即在绿光下对彩色目标图像(3)进行投影扫描，单像素光子探测器(4)采集反射光强信号，从而得到G分量的低分辨率的粗糙图像;对G分量进行一级分解得到高一层的小波系数，然后利用其自身扩展小波树的父子系数与兄弟系数之间的关系确定高分辨率层的重要系数的位置，然后数据采集与控制模块(5)中的控制单元控制DLP(2)在绿光下投影Haar小波基的二进制图像对G分量子系数中重要小波系数的位置进行扫描，直至G分量的所有重要小波系数扫描完毕。6.根据权利要求2所述的基于扩展小波树的彩色成像方法，其特征在于在第三步中，数据采集与控制模块(5)中的控制单元控制DLP(2)在蓝光下对彩色目标图像(3)的重要系数所在的位置进行投影，即在蓝光下对彩色目标图像(3)进行投影扫描，单像素光子探测器(4)采集反射光强信号，从而得到B分量的低分辨率的粗糙图像;对B分量进行一级分解得到高一层的小波系数，然后利用其自身扩展小波树的父子系数与兄弟系数之间的关系确定高分辨率层的重要系数的位置，然后数据采集与控制模块(5)中的控制单元控制DLP(2)在蓝光下投影Haar小波基的二进制图像对B分量子系数中重要小波系数的位置进行扫描，直至B分量的所有重要小波系数扫描完毕。
【文档编号】H04N5/232GK105915868SQ201610256208
【公开日】2016年8月31日
【申请日】2016年4月22日
【发明人】何伟基, 闫奕芸, 邹云浩, 戴慧东, 陈钱, 顾国华, 张闻文, 钱惟贤, 隋修宝, 任侃, 路东明, 于雪莲
【申请人】南京理工大学