通过立体摄像系统同时曝光合成hdr图像的方法
【技术领域】
[0001]本发明涉及图像处理技术领域，具体讲，涉及通过立体摄像系统同时曝光合成HDR图像的方法。
技术背景
[0002]高动态范围(HDR:High Dynamic Range)图像以其丰富的层次、画面真实感强、图像动态范围大、可更真实地还原出逼近真实场景的光影效果等优点已成为国内外热点研究领域。目前，获取HDR图像的方法主要是先通过调节曝光参数得到一系列曝光度不同的LDR (Low Dynamic Range)图像，然后采用图像融合技术将LDR图像序列合成一幅HDR图像。目前，已有很多研究人员对此技术进行了研究，而现有的LDR图像获取方式分为两种，即同时曝光与分时曝光。
[0003]针对使用同时曝光获取LDR图像的方法，Nayar等[1]提出了一种依据空间位置不同改变感光单元特性的方法，这种方法在图像感光阵列前覆盖一层光学掩膜，根据掩膜的透光度不同，相邻像素对入射光具有不同的透射率，因此通过一次拍摄可以得到曝光度不同的多个图像。但是，用这种方法得到的LDR图像分辨率会降低。
[0004]另一种获取具有不同曝光度的LDR图像序列的方法是使用多个成像系统，如采用多个摄像机和一个分光镜来产生同一场景的多个影像。采用这种方法每幅图像都有单独的图像传感器，通过使用光学衰减器或者改变感光元件的曝光时间预先单独设置每幅图像的曝光参数，可得多幅曝光量不同的LDR图像。这类方法的优点是可以通过一次拍摄得到多张曝光量不同的图像，大大减少了系统整体的图像捕获时间。但是，与只用一个摄像机相比，使用多个图像传感器在相机设置和校准时更为困难，并且曝光图像的数量以及曝光参数的选择都受到限制。由于需要使用多个图像传感器以及精密的光学部件，造价昂贵。此夕卜，场景中的入射光被分光镜分为多束投射到多个图像传感器上，每个图像传感器接收到的光强只是入射光强的一部分，需使用更昂贵的透镜、更大的放大率或者降低快门速度来补偿光强损失。
[0005]到目前为止，同时曝光HDR成像方法被称为HDR摄像方法，是真正的HDR成像方法。
[0006]另外一种更为普遍的获取不同曝光度图像序列的方法是分时曝光，即使用一个普通摄像机对同一场景进行快速多次曝光。这种方式的优点是图像捕获过程和后续对图像进行的处理过程可以异步进行。基于该思想，Debevec[2]和Mitsunaga等[3]提出通过计算相机的响应函数(反映光照强度和数字图像像素亮度值之间关系的函数)，结合色调映射算法还原出HDR图像。但是，准确估计出相机的响应曲线有一定的难度，算法的稳定性不高。Guthier[4]提出了一种新的图像序列曝光方式。首先根据视频序列前一帧的平均光照值确定曝光时间对场景进行拍摄，这种方法可以在拍摄新的LDR图像的同时对前一幅图像进行分析处理，降低了整个图像序列捕获所需时间，并且减少了进行图像融合时的数据冗余。但是这种通过顺序曝光拍摄多幅LDR图像来合成单幅HDR图像的方法有一个明显的缺点是增加了系统整体的图像捕获时间。另一方面，在拍摄时场景中的物体或者相机很可能会发生运动。这时针对同一场景的图像序列就不再显示相同的内容，其中运动的物体会在图像序列中发生错位，在合成后的图像中造成伪像。
[0007]虽然运动估计和运动补偿从原理上说，可以避免图像序列中发生错位的问题，但是运动估计是一种病态过程(ill-posed)。例如，不仅运动速度不可知，运动方向也不能确定，使得运动估计不仅运算量大，而且运动矢量的估计结果可靠性也差。
[0008]通过多次曝光的HDR成像方法被称为HDR图像合成方法，是非真正的HDR成像方法。
[0009]综上所述，在获取LDR图像以合成HDR图像方面，同时曝光和分时曝光均存在一定的问题。
[0010]参考文献
[0011][1]Nayar S K, Mitsunaga T.High dynamic range imaging:Spatially varyingpixel exposures[C]//Computer Vis1n and Pattern Recognit1n, 2000.Proceedings.1EEE Conference on.1EEE, 2000, 1:472-479.
[0012][2]Debevec P E, Malik J.Recovering high dynamic range radiance maps fromphotographs[C]//ACM SIGGRAPH 2008classes.ACM, 2008:31.
[0013][3]Mitsunaga T,Nayar S K.Rad1metric self calibrat1n[C]//ComputerVis1n and Pattern Recognit1n, 1999.1EEE Computer Society Conferenceon.1EEE, 1999, 1.
[0014][4]Guthier B, Kopf S,Effelsberg ff.Algorithms for a real-time HDR videosystem[J].Pattern Recognit1n Letters, 2013, 34(1):25-33.
【发明内容】
[0015]为克服现有技术的不足，实现同时曝光合成HDR图像，同时大大简化算法运算量。为此，本发明采取的技术方案是，通过立体摄像系统同时曝光合成HDR图像的方法，包括如下步骤:使用多个同一性能的照相机或多个同一性能的摄像机对同一场景进行拍照获取LDR图像；拍照前，进行一维视差估计，通过电子补偿的方法对其进行较准，以同时曝光的方式进行拍照；最后，用各个照相机拍摄的图像进行融合合成HDR图像。
[0016]使得每个照相机的透光量不同，得到的LDR图像采用反映光照强度和数字图像像素亮度值之间关系的计算机响应函数进行融合，结合色调映射合成HDR图像。
[0017]通过调节光圈或曝光时间使得每个照相机的透光量不同。
[0018]本发明的特点及有益效果是:
[0019]本发明采用立体摄像系统的多个照相机同时曝光摄取多幅LDR图像，该系统的照相机性能均匀。由于视差可以只在水平方向发生，使得视差的估计限制在水平方向，不仅使运算量大大降低，而且视差的估计结果也比二维的运动矢量估计结果可靠。
[0020]立体摄像系统较成熟，无需特殊制造。特别是立体摄像系统可以发挥一物两用的目的，及可以摄取立体图像，又可以合成HDR图像。
【附图说明】
:
[0021]图1采用立体摄像系统的多个照相机合成HDR图像框图。
【具体实施方式】
[0022]目前，同时曝光的HDR摄像方法成本高，真正的HDR摄像设备很少。多次曝光的HDR图像合成方法又受到运动估计问题的限制，尤其是拍摄视频时，不可避免地会发生相机移动或者场景中物体运动的情况，后期处理时，算法运算量大，运动补偿较困难，合成的HDR图像中极易产生伪像。
[0023]本发明提出了一种使用立体成像系统，对同一场景通过单次同时曝光的方式获取LDR图像，从而合成HDR的方法。
[0024]本发明旨在发明一种利用立体摄像系统产生多幅LDR图像，从而合成HDR图像的方法。该方法通过立体摄像系统的多个照相机针对同一场景进行同时曝光摄取LDR图像，避免了场景中物体运动带来的问题。由于立体摄像系统的多个照相机(从简单的双目立体摄像机，到复杂的多视角立体摄像机，任何性能相似的照相机或摄像机都可以。它们的性能应尽可一致。)，只有图像位移的问题，也就是说视差(disparity)问题。由于视差可以只在水平方向发生，使得视差的估计限制在水平方向，从而大大简化算法运算量。
[0025]本发明基于同时曝光的方法，使用多个照相机对同一场景进行拍照获取LDR图像。首先，需要多个同一性能的照相机，性能上的同一可以保证拍摄的图像有相同的参数，便于后期图像的融合。然后，进行较容易实现的一维视差估计，通过电子补偿的方法对其进行较准，以同时曝光的方式进行拍照，最后，用各个照相机拍摄的图像进行融合合成HDR图像。
[0026]本发明申请使用立体摄像系统的多个摄像机，倾向于具有两个摄像机以上的立体摄像系统(例如六个)，以便产生尽可能高的动态范围。立体成像系统的特性保证了物体的几何位置几乎在同一方向。立体成像系统本身要求相机有固定的几何位置。
[0027]每个照相机的透光量不同，例如通过调节光圈(Aperture)或曝光时间，使得每个照相机的透光量不同，以拍摄具有不同曝光度的照片。得到的LDR图像最好通过相机响应函数(反映光照强度和数字图像像素亮度值之间关系的函数)进行融合，结合色调映射合成HDR图像。
【主权项】
1.一种通过立体摄像系统同时曝光合成HDR图像的方法，其特征是，包括如下步骤:使用多个同一性能的照相机或多个同一性能的摄像机对同一场景进行拍照获取LDR图像；拍照前，进行一维视差估计，通过电子补偿的方法对其进行较准，以同时曝光的方式进行拍照；最后，用各个照相机拍摄的图像进行融合合成HDR图像。2.如权利要求1所述的通过立体摄像系统同时曝光合成HDR图像的方法，其特征是，使得每个照相机的透光量不同，得到的LDR图像采用反映光照强度和数字图像像素亮度值之间关系的计算机响应函数进行融合，结合色调映射合成HDR图像。3.如权利要求2所述的通过立体摄像系统同时曝光合成HDR图像的方法，其特征是，通过调节光圈或曝光时间使得每个照相机的透光量不同。
【专利摘要】本发明涉及图像处理技术领域，为实现同时曝光合成HDR图像,同时大大简化算法运算量。为此，本发明采取的技术方案是，通过立体摄像系统同时曝光合成HDR图像的方法,包括如下步骤:使用多个同一性能的照相机或多个同一性能的摄像机对同一场景进行拍照获取LDR图像；拍照前，进行一维视差估计，通过电子补偿的方法对其进行较准，以同时曝光的方式进行拍照；最后，用各个照相机拍摄的图像进行融合合成HDR图像。本发明主要应用于图像处理场合。
【IPC分类】H04N5/265, H04N5/235
【公开号】CN105430298
【申请号】CN201510897490
【发明人】段绿茵, 杜明月, 张淑芳, 李昌禄, 雷志春
【申请人】天津大学
【公开日】2016年3月23日
【申请日】2015年12月8日