专利名称：面向视觉计算的光场成像装置和方法
技术领域：
本发明涉及计算机视觉、光学工程、计算机图形学、模式识别、人工智能等技术领域，尤其是一种面向视觉计算的光场成像装置和方法，能够实现大景深、宽动态、真三维、高分辨、会米编的光场成像。
背景技术：
视觉是人类感知世界的最重要的信息来源，视觉计算试图赋予机器从图像和视频数据中自动获取物理场景高层语义知识的能力，在智能信息科学领域具有战略性学术意义，同时对国家公共安全和经济社会发展具有重要的实用价值。解决现实场景中复杂环境下的行为和事件分析，是当前视觉计算领域面临的重要挑战。传统成像装置遵循成像镜头加感光胶片直接获取二维图像信息的成像原理，现有视觉计算研究大多建立在该二维平面 视觉信号基础之上，在成像景深等方面存在信息盲区。计算成像采用非成像光学器件取代部分传统成像光学器件，在光学系统和计算单元的共同作用下生成结果图像，提供了传统图像传感单元所无法提供的新信息，为视觉计算领域的发展注入新的活力。计算成像在光学领域也被称为集成计算成像系统，衍生自机器视觉、图像处理、计算机图形学和应用光学。计算成像与数字成像相异之处在于成像装置的某些部分成像任务转移到计算单元，从而能够显著拓宽图像捕获的数据种类。近20年间，计算成像不断得到扩展和定义，目前的计算成像主要基于2005年MIT计算和人工智能实验室Fredo Durand和微软实验室Richard Szeliski提出的相关技术,应用于立体建模、遥感、动画、计算机视觉和应用光学等领域。计算成像从编码方式上大致可分为六大类物面编码、光瞳编码、传感器编码、光照编码、相机阵列、非传统编码，主要应用于光场成像、高动态成像、高分辨率成像、大景深成像、深度估计、宽视场、图像增强等。物面编码(object side coding)通过相机外接光学器件进行空间调制，是目前最直接方便的计算成像实施方式。光瞳编码(pupil planecoding)通过在主透镜光瞳面增设光学器件来调制系统点扩散函数，分为光圈编码和波前编码两类，其中光圈编码主要针对光强调制，波前编码主要针对相位调制。传感器编码(sensor plane coding)与物面编码效果相似,但具有结构紧凑、不引入相差的优点，具有传感器前(front of the sensor plane)、传感器上(on the sensor plane)和传感器移动三种方式。光照编码(illumination coding)主要应用在3D重建领域,具有代表性的即是利用结构光进行空间光照编码，结构光技术利用光条纹间的不同特征(强度、颜色、模式等)简化立体视觉匹配算法。相机阵列(camera clusters or arrays)方式利用多个相机可实现立体视觉和全景成像。非传统编码(unconventional coding)方式的显著特点就是光学成像结构相对简单，在扩大景深、高分辨率成像和处理运动模糊领域均有应用。光场是空间中同时包含位置和方向信息的光辐射场，相比只记录二维数据的传统成像方式，光场成像能够获得更加丰富的图像信息。因此，光场数据的获取为计算成像提供了许多新的发展方向。1939年Gershun首次提出光场的概念，将其定义为光辐射在空间各个位置各个方向的传播。1992年Adelson将光场理论应用于计算机视觉，并提出全光场相机的概念，随后，Levoy在1996年提出光场渲染理论，首次对四维光场进行参数化表示并设计获取4D光场的装置，对光场理论完善具有重要意义。光场相机尚处于新型研究领域，近年来国内外代表性专利有近30项，相关的发明人和研究机构包括美国的Levoy、Yi-Ren Ng、麻省理工大学、斯坦福大学、哥伦比亚大学、Adobe公司、美国三菱电机实验室、韩国三星公司等。美国在光场相机专利领域基本处于垄断地位，我国和韩国在相关领域的研究起步较晚。目前获取光场数据的光场成像装置主要有三种形式微透镜阵列、相机阵列、掩膜及其他。其中微透镜阵列是最常用的光场获取方式，具有代表性的有两种一种是Adelson(US5076687)提出的全光场相机和在此基础上Ng(US201002685)提出的便携式光场相机；另一种是Georgeiv提出的基于集成成像的光场相机。Ng的设计理念来源于Adelson,但比Adelson的设计缩短了光程，提高了便携性，此外，二者在应用方面也有所不同，Ng侧重重聚焦，Adelson则侧重深度信息提取。Georgiev提出的光场相机采用透镜-棱镜组合排列的形式，可外接在普通相机镜头上，可移植性更强，不过Georgiev的相机模型由于镜头外接，会带来新的像差问题。此外，专利US20080266655, US7872796、US20090102956、US2009018580U US7949252、US2010027146 7等都是基于微透镜阵列形式展开，可应用于深度估计、增大景深和显微成像等领域。相机阵列方式是通过多个相机在空间的一定分布来同时抓取一系列视角略有差别的图像，从而重建出光场数据。该方式在空间分辨率、动态范围等方面具有优势，主要应用在3D重建领域，相关专利有 US8027531、US20080309754、US7609906、US8044994、US20080043095 等。掩膜形式对相机的光圈做相应处理来重构光场数据，如专利US7965936、US20110069324 ;此外以Levoy为代表，专利US6097394、US6342917和US20080297593利用相机移动方式获取光场数据实现图像物体的立体视觉；专利US20110174998提出一种新型角度敏感传感器的设计制作方法，无需额外光学器件即可感知光场信息；专利US20110249341和US20110273609利用相互匹配的透镜阵列获取光场数据。与此同时，专利US8055101、US20110026910、US7949252、US20100091133、CN201010215416等从提高光场图像空间分辨率、光度失真校准、增大景深、感兴趣区域深度增强等角度提出相应的解决方案。光场成像技术在增大图像景深方面具有较大优势，在图像前景与后景重对焦方面的效果令人满意，但直接应用于视觉感知场景还存在一些问题，首先由于空间分辨率与角度分辨率的矛盾关系，现有光场成像装置普遍存在图像空间分辨率低的问题；其次，仅依赖现有光场获取形式的成像装置在深度估计和三维成像方面还存在一定的局限；同时，目前光场成像技术也尚未考虑先进视觉感知环境下的图像宽动态需求；此外，对感兴趣区域的采编目前尚基于相机几何位置建模，准确度和灵活性尚存在不足，而且在提高景深的过程中重对焦点需人工指定，不能满足先进视觉认知任务的实际需求。综合以上考虑，为自动以感兴趣区域为重对焦点进行光场数据处理，还需结合图像宽动态处理、深度估计、高分辨率成像、视觉选择性注意机制等计算成像技术以实现光场成像装置在先进视觉计算领域的应用。
发明内容
本发明的目的在于提供一种大景深、宽动态、真三维、高分辨、会采编的光场成像装置和方法，采取“计算+成像”的双向互动机制，提高视觉感知场景的成像质量和自动化感知性能。为了实现上述目的，本发明提供了一种光场成像装置，其特征在于，该装置包括一光学成像系统101，一集成一体化近红外光源102，一数据传输模块103，一大容量高速缓存单元104，一逻辑控制单元106和一处理单元107，其中所述逻辑控制单元106通过数据传输模块103驱动集成一体化近红外光源102发射近红外面光源，并在处理单元107判断视觉图像数据满足结构光发射条件时，通过数据传输模块103控制集成一体化近红外光源102发射近红外编码结构光；所述光学成像系统101用于进行光场成像、视觉/深度成像和高动态范围成像，并将采集到的视觉图像数据通过数据传输模块103由逻辑控制单元106传输至处理单元107进行视觉场景先验分析；将采集到的有近红外编码结构光的深度图像数据通过数据传 输模块103在大容量高速缓存单元104中进行缓存；将在近红外编码结构光发射光源切换为发射近红外面光源时，采集到的光场图像数据经数据传输模块103在大容量高速缓存单元104中进行缓冲；将采集到的曝光不同图像数据通过数据传输模块103在大容量高速缓存单元104中进行缓冲；所述逻辑控制单元106还用于对所述光学成像系统101采集到的光场图像数据进行图像拼接处理，对所述光学成像系统101采集到的曝光不同图像数据进行图像校准处理；并将拼接后的光场图像数据和校准后的曝光不同图像数据发送给所述处理单元107 ；所述处理单元107用于根据所述深度图像数据、校准后的曝光不同图像数据和拼接后的光场图像数据进行深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法处理。根据本发明的另一方面，还提供了一种大景深、宽动态、真三维、高分辨、会采编光场成像方法，其特征在于，该方法包括以下步骤步骤1，光场成像装置上电启动后，集成一体化近红外光源102发射近红外面光源，逻辑控制单元106控制光学成像系统101中的视觉/深度成像传感器203采集场景的视觉图像；步骤2，视觉图像数据经数据传输模块103和逻辑控制单元106传输到处理单元107进行视觉场景先验分析，当分析确定所述视觉图像具有丰富纹理信息时，逻辑控制单元
106驱动集成一体化近红外光源102发射近红外编码结构光，当分析确定所述视觉图像不具有丰富纹理信息时，重复步骤I直至采集到的视觉图像具有丰富纹理信息；步骤3，逻辑控制单元106控制视觉/深度成像传感器203采集所述场景的有近红外编码结构光深度图像，所述有近红外编码结构光深度图像数据经数据传输模块103和逻辑控制单元106传输到大容量高速缓存单元104进行缓存，同时将近红外编码结构光源切换为近红外面光源；步骤4，逻辑控制单元106对光学成像系统101中的光场成像传感器阵列208中的各个传感器进行同步控制，将光场成像传感器阵列208同步采集到的多个光场图像数据输入到大容量高速缓存单元104进行缓存；步骤5，逻辑控制单元106控制光学成像系统101中的高动态成像传感器组的2个具有不同曝光系数的传感器210和211采集所述场景的曝光不同的图像，并将采集到的图像数据传输到大容量高速缓存单元104进行缓存；步骤6，逻辑控制单元106根据预先标定的光场成像传感器阵列208中传感器之间的相对机械位置关系，对所述步骤4采集得到的多个光场图像进行水平方向或者垂直方向上的实时重叠区域加权拼接，以获取高分辨率的光场图像数据，并将拼接结果存储在大容量高速缓存缓存单元104中； 步骤7，逻辑控制单元106对所述步骤5采集得到的曝光不同图像进行高动态成像传感器210和211的像素数据匹配，生成相应的校准图像，并将该校准图像存储在大容量高速缓存单元104中；步骤8，大容量高速缓存单元104将其存储的有近红外编码结构光深度图像数据和曝光不同的校准图像数据传输至处理单元107，进行深度计算成像和高动态范围计算成像处理；
步骤9，处理单元107对处理后的深度图像和高动态范围图像分别不断进行感兴趣目标检测并对目标进行定位；步骤10，根据目标定位结果和深度图像中的深度信息，处理单元107对拼接后的光场图像中的对应感兴趣目标所处的区域进行重对焦算法处理；步骤11，处理单元107利用经过重对焦处理的光场图像，结合深度图像、高动态范围图像通过图像采编算法处理，输出具有三维深度信息的高动态大景深多视角图像。本发明为先进视觉计算提供丰富生动、便于解析的视觉感知数据，能够有效消除视觉感知盲区，避免视觉认知过程的歧义，提高视觉计算任务的精确性和鲁棒性，推动计算机视觉、模式识别等学科的跨越式发展，在物联网、视频监控、生物识别、智能交通、航空遥感、数字医疗、动画传媒等领域具有广阔的应用前景。I)多功能协同光场成像本发明在基于微透镜阵列光场成像的基础上，利用半反半透棱镜等光学器件组成高度统一光学系统，在实现光场成像的同时，兼顾深度成像和高动态成像的应用需求，是现有光场成像装置的扩展创新。同时，三种成像方式在图像信息上具有很大的耦合度，属于同一场景不同感知源输入，本发明将这三种成像任务由统一的并行处理单元进行集中分析，协同处理，去除冗余数据，从而获得高度耦合度的视觉感知信息，推动视觉感知源头的数据创新。2)高性能光场成像本发明提出的光场成像装置及方法突破相关光场成像技术在分辨率、动态范围、主动感知等方面的瓶颈，实现“大景深、宽动态、真三维、高分辨、会采编”的高性能光场成像，在自适应成像环境和提升成像质量方面具有突出的创造性和实用性。其中，利用光场成像图像传感器阵列对视场光束的不同区域进行成像，通过图像拼接实现高分辨率成像，为现有光场成像在空间分辨率表现不足问题上提供一种直接有效的解决方案；集成深度成像的光场成像系统较传统仅依赖微透镜阵列的光场成像系统在深度估计、增大景深和三维成像方面具有更显著的优势；融合高动态范围计算成像的光场成像系统相对于相机阵列的高动态特性具有集成度高、校准简单、易操作的优点，同时降低了成像效果对视场环境光照的依赖性，扩大了成像装置的适用范围；结合目标检测算法、图像采编算法的光场成像方法在对感兴趣区域的定位与跟踪方面具有准确度高、友好性强和更灵活可控的特点。
3)智能化光场成像本发明将视觉场景先验分析、深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法嵌入成像装置，在全自动获取感兴趣目标图像数据基础上，实现重对焦点自动定位，提高重对焦技术的智能化程度，并实现多目标同时重对焦成像的重大研究突破，提高成像系统的效率，由于仅对感兴趣区域进行重对焦处理，从而可降低光场成像计算量，提高系统反应速度。本发明提出的智能化光场成像方式可极大改善用户体验度，提高系统的鲁棒性和实用性，对光场成像应用产业发展具有重要推动作用。
图I为本发明提供的光场成像装置部件结构图；图2为本发明提供的光学成像系统的结构图；图3为本发明提供的光场成像方法的流程图； 图4为本发明采用的深度成像流程图；图5为本发明采用的高动态范围成像流程图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。本发明面向先进视觉计算学科发展前沿和物联网、视频监控、生物识别、智能交通等国家经济社会和公共安全领域的重大战略需求，突破传统光面成像方式在成像景深、动态范围、深度感知等方面的技术瓶颈，提出基于“计算+成像”互动双赢模式的智能型光场成像装置，以光场成像为主导，以深度感知、高动态范围成像为辅，实现视觉感知智能化和视觉认知精准化，获取具有“大景深、宽动态、真三维、高分辨、会采编”特点的新型视觉信息，通过视觉感知源头的数据创新推动计算机视觉、模式识别等学科的跨越式发展，具有重要现实指导意义。图I为本发明提供的光场成像装置部件结构图。如图I所示，本发明提供的光场成像装置包括—光学成像系统101 ；一集成一体化近红外光源102 ；一数据传输模块103 ；一大容量高速缓存单元104 ；一人机交互设备105 ；一逻辑控制单元106 ；一处理单元107。其中，光学成像系统101包含光场成像、视觉/深度成像和高动态范围成像三种成像形式。所述集成一体化近红外光源102包括主透镜、液晶面板及其驱动器、匀光透镜、大功率近红外LED阵列及其驱动器，其中大功率近红外LED阵列为背光源；匀光透镜用于将背光源发射的非均匀光束均匀化；液晶面板用于在进行视觉成像、光场成像和高动态范围成像时发射面光源，在进行深度成像时发射编码结构光；主透镜用于会聚出射光束。所述光场成像装置上电后，逻辑控制单元106通过数据传输模块103驱动集成一体化近红外光源102发射近红外面光源，光学成像系统101将采集到的视觉图像数据通过数据传输模块103由逻辑控制单元106传输至处理单元107进行视觉场景先验分析，当处理单元107判断视觉图像数据满足结构光发射条件时，逻辑控制单元106通过数据传输模块103控制集成一体化近红外光源102发射近红外编码结构光，光学成像系统101采集有近红外编码结构光的深度图像数据并通过数据传输模块103将该有近红外编码结构光的深度图像数据在大容量高速缓存单元104中进行缓存，然后，近红外编码结构光发射光源关闭，近红外面光源开启，光学成像系统101将采集到的光场图像数据经数据传输模块103在大容量高速缓存单元104中进行缓冲，同时在逻辑控制单元106中进行图像拼接处理，处理后的数据依然通过大容量高速缓存单元104进行数据缓冲，然后，光学成像系统101采集曝光不同图像数据并通过数据传输模块103将原始曝光不同图像数据在大容量高速缓存单元104中进行缓冲，同时在逻辑控制单元106中进行图像校准处理，处理后的数据仍通 过大容量高速缓存单元104进行数据缓冲，大容量高速缓存单元104中缓存的深度图像数据、校准后的曝光不同图像数据和拼接后的光场图像数据经逻辑控制单元106送入处理单元107中完成深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法处理，期间，逻辑控制单元106根据所述处理单元107的反馈结果控制人机交互设备105利用显示屏、语音、文字提示信息与场景观测对象进行互动操作以配合光学成像系统101进行下一步的图像采集。图2为本发明提供的光学成像系统101的结构图。如图2所示，所述光学成像系统101包括3个半反半透棱镜201、视觉/深度成像镜头202、视觉/深度成像传感器203、光场成像镜头204、像方远心光路205、平板阵列206、微透镜阵列组207、光场成像传感器阵列208、2个高动态成像镜头209、高动态成像传感器210和211。其中，视觉/深度成像传感器203可对无结构光发射的场景和有结构光发射的场景进行成像；微透镜阵列组207由多个平凸微透镜阵列单元构成，用于提取光场信息；光场成像传感器阵列208由多个高分辨率CMOS传感器单元组成，逻辑控制单元106对光场成像传感器阵列208中的所有传感器单元进行精确控制，同步图像采集，实现高分辨率光场成像；平板阵列206、微透镜阵列组207和光场成像传感器阵列208中的平板玻璃单元、微透镜阵列单元和传感器单元数量、位置分别对应。入射光束经半反半透棱镜201分为透射光束和反射光束，第一个半反半透棱镜201将透射光束投射给光场成像镜头204，经过光场成像镜头204的会聚后光束经像方远心光路205来减小微透镜阵列成像的渐晕影响，随后光束经平板阵列206完成光束的平移和视场分割，使每块平板玻璃单元出射光束入射到对应的微透镜阵列单元，微透镜阵列单元组成微透镜阵列组207紧置于光场成像传感器阵列208前，光束经微透镜阵列组207投射到光场成像传感器阵列208生成光场图像，完成光场成像初始过程，即光场图像的采集；第一个半反半透棱镜201将反射光束投射给第二个半反半透棱镜201，第二个半反半透棱镜201的透射光束投射到视觉/深度成像镜头202，经成像镜头的会聚后光束投射到视觉/深度成像传感器203生成视觉图像或深度图像，完成视觉成像或深度成像初始过程，即视觉图像或深度图像的采集；第二个半反半透棱镜201的反射光束投射给第三个半反半透棱镜201，第三个半反半透棱镜201的透射光束和反射光束分别投射到2个高动态成像镜头209，经成像镜头的会聚后分别投射到具有不同曝光系数的高动态成像传感器210和211生成曝光不同图像，完成高动态范围成像初始过程，即高动态范围图像的采集。所述逻辑控制单元106采用FPGA或ARM逻辑控制芯片，用以控制光学成像系统中的光场成像传感器阵列208、视觉/深度成像传感器203、高动态范围成像传感器组；控制集成一体化近红外光源102的大功率近红外LED阵列驱动和液晶面板驱动；控制数据传输模块103，保证数据传输的速度和准确性；实现光场成像传感器阵列208采集到的光场图像的拼接和高动态范围传感器组图像的校准；并对人机交互设备进行功能控制。所述处理单元107负责嵌入式算法的执行，包括视觉场景先验分析、深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编。图3为本发明提供的光场成像方法的流程图。如图3所示，本发明提供的光场成像方法包括以下步骤
步骤1，光场成像装置上电启动后，集成一体化近红外光源102发射近红外面光源，逻辑控制单元106控制光学成像系统101中的视觉/深度成像传感器203采集场景的视觉图像；步骤2，视觉图像数据经数据传输模块103和逻辑控制单元106传输到处理单元
107进行视觉场景先验分析，当分析确定所述视觉图像具有丰富纹理信息时，逻辑控制单元106驱动集成一体化近红外光源102发射近红外编码结构光；当分析确定所述视觉图像不具有丰富纹理信息时，重复步骤I直至采集到的视觉图像具有丰富纹理信息；步骤3，逻辑控制单元106控制视觉/深度成像传感器203采集所述场景的有近红外编码结构光深度图像，所述有近红外编码结构光深度图像数据经数据传输模块103和逻辑控制单元106传输到大容量高速缓存单元104进行缓存，同时将近红外编码结构光源切换为近红外面光源；步骤4，逻辑控制单元106对光学成像系统101中的光场成像传感器阵列208中的各个传感器进行同步控制，将光场成像传感器阵列208同步采集到的多个光场图像数据输入到大容量高速缓存单元104进行缓存；步骤5，逻辑控制单元106控制光学成像系统101中的高动态成像传感器组的2个具有不同曝光系数的传感器210和211采集所述场景的曝光不同的图像，并将采集到的图像数据传输到大容量高速缓存单元104进行缓存；步骤6，逻辑控制单元106根据预先标定的光场成像传感器阵列208中传感器之间的相对机械位置关系，对所述步骤4采集得到的多个光场图像进行水平方向或者垂直方向上的实时重叠区域加权拼接，以获取高分辨率的光场图像数据，并将拼接结果存储在大容量高速缓存缓存单元104中；光场成像在解决图像景深问题上具有较大优势，但目前的光场成像装置普遍存在空间分辨率低的问题。一般情况下，成像的景深精度由角度分辨率决定，角度分辨率与微透镜的个数有关，而在光学系统结构确定的条件下，空间分辨率与角度分辨率成反比关系，为此，本发明通过高分辨率传感器阵列的形式对光束的不同区域进行成像，在保证角度分辨率基本不变的情况下，通过后期的图像拼接技术提高光场成像的空间分辨率，以满足高分辨率成像的认知任务需求。在光场成像过程中，逻辑控制单元对光场成像传感器阵列中的所有传感器进行同步控制，保证采集到的所有图像帧具有精确同步的光电积分起始时间、结束时间、数字增益系数和模拟增益系数，为下一步的图像拼接做准备。所述图像拼接方法可以采用现有技术中的任一方法实现，比如可以这样实现首先，标定光场成像传感器阵列208各个传感器的相对位置，获得初步重叠视场区域；随后，提取重叠视场区域图像的Harris特征，在相邻重叠区域范围内进行小范围特征匹配 ’然后，计算出图像拼接所需的变换矩阵，最后通过图像变换来实现图像的拼接。步骤7，逻辑控制单元106对所述步骤5采集得到的曝光不同图像进行高动态成像传感器210和211的像素数据匹配，生成相应的校准图像，并将该校准图像存储在大容量高速缓存单元104中；所述像素数据匹配是指根据预先标定的高动态成像传感器210和211的相对位置关系，利用所述场景特征，对二者分别采集到的图像进行像素间的相似性匹配，生成对应的校准图像，保证曝光不同的校准图像对所述场景具有相同视场。
步骤8，大容量高速缓存单元104将其存储的有近红外编码结构光深度图像数据和曝光不同的校准图像数据传输至处理单元107，进行深度计算成像和高动态范围计算成像处理；深度信息对于目标与背景分离、三维成像具有重要意义。尽管光场成像能够获取深度信息，但主动的深度成像方法与其相比具有工作范围更大、处理速度更快的优点，同时主动的深度成像方法还可辅助用于光场成像确定对焦点，提高光场成像在扩大成像景深方面的自动化性能。本发明集成一体化近红外光源发射近红外编码结构光，结构光在观测场景中的物体表面发生形变，深度成像传感器感应包含形变的光线后经处理单元进行深度计算成像算法进而获得深度成像，图4为本发明采用的深度成像流程图，所述深度成像包括以下几个步骤，采用的是基于编码结构光的深度成像技术，详细内容请参考文献J. Salvi，J. Pages, and J. Batlle. Pattern codification strategies in structured lightsystems. Pattern Recognit，Vol. 37，No.4，PP.827-849，2004 步骤811，对场景中的光平面进行标定；步骤812，逻辑控制单元控制集成一体化近红外光源的液晶面板驱动器生成不同编码结构光，其中不同编码结构光对应不同光平面；步骤813，将编码结构光投射到场景中，结构光在物体表面发生形变，采集结构光形变图像；步骤814，处理单元提取结构光形变图像中的编码信息；步骤815，将编码信息与编码结构光进行编码匹配，实现深度成像，获得场景深度信息，输出深度图像。高动态范围成像用来实现比普通图像更大的曝光动态范围，进而可以获取更多的图像信息。本发明采用具有不同曝光系数的高动态成像传感器获得曝光不同的图像，通过处理单元完成高动态范围计算成像算法进而获得高动态范围图像，图5为本发明采用的高动态范围成像流程图，其包括以下几个步骤，该高动态范围计算成像算法详细内容请参考文献 Katrien Jacobs, Celine Loscos,Greg Ward. Automatic High-Dynamic Range ImageGeneration for Dynamic Scenes. IEEE Computer Graphics and Applications，Vol. 28，No. 2，PP :84-93,2008
步骤821，采集曝光不同图像；步骤822，逻辑控制单元进行图像像素数据匹配，生成校准图像；步骤823，处理单元根据校准图像计算高动态范围成像装置响应曲线；所述高动态范围成像装置是指光学成像系统101中高动态范围成像部分的装置，包括2个高动态成像镜头209、高动态成像传感器210和211。步骤824，将所述校准图像的像素值所表示的光强转换为光辐照度；步骤825，生成相应的单精度浮点图像；步骤826，结合视觉表达模型生成高动态范围图像。步骤9，处理单元107对处理后的深度图像和高动态范围图像分别不断进行感兴 趣目标检测并对目标进行定位；所述感兴趣目标可以是人、人脸或者车辆等物体。所述目标检测算法是为了进行目标定位并确定重对焦感兴趣区域，从而减小重对焦算法的计算量，提高装置响应速度。所述目标检测算法根据场景中的要检测的目标属性，选择相应的本领域通用的目标检测和定位方法。步骤10，根据目标定位结果和深度图像中的深度信息，处理单元107对拼接后的光场图像中的对应感兴趣目标所处的区域进行重对焦算法处理；所述重对焦算法首先通过目标定位结果和深度图像确定重对焦点所处的焦距，得到对应的切片算子，随后利用傅立叶切片定理重建感兴趣区域的清晰图像，从而完成重对焦成像，该重对焦算法详细内容请参考文献Ren Ng. Fourier slice photography. ACMTransactions on Graphics,24(3) :735-744, 2005。步骤11，处理单元107利用经过重对焦处理的光场图像，结合深度图像、高动态范围图像通过图像采编算法处理，输出具有三维深度信息的高动态大景深多视角图像。所述图像采编算法将局部区域视觉感知的场景、目标、行为、事件识别信息映射到“时空切片”模型的对应坐标，采用“时空”多尺度分析的方法展现不同层次的语义内容单元，然后按照视觉感知任务需求进行采编，合成新的图像。所述图像采编算法亦为本领域通用的图像处理技术，在此不作赘述。本发明针对先进视觉计算学科发展前沿和物联网、视频监控、生物识别、智能交通等国家经济社会和公共安全领域的重大战略需求，突破传统成像方式在成像景深、动态范围、深度感知等方面的技术瓶颈，提出一种面向视觉计算的光场成像装置和方法光场成像装置，实现视觉感知智能化和视觉认知精准化，获取具有“大景深、宽动态、真三维、高分辨、会采编”等特点的新型视觉信息，通过视觉感知源头的数据创新推动计算机视觉、模式识别等学科的跨越式发展。场景I :应用于机场、车站等大规模人群监控场景下的身份识别。本发明可应用于机场、车站等大规模人群监控场景下的身份设别某机场当多名犯罪嫌疑人出现在成像装置监控范围内时，传统成像装置由于景深所限，同一时刻只能采集距离较近的某个目标的人脸或者虹膜图像，而使用了面向视觉计算的光场成像装置可同时采集位于不同景深处的多个目标的人脸或者虹膜图像；当该犯罪嫌疑人移动时，传统成像装置存在目标易跟踪丢失、成像模糊的不足，而使用了面向视觉计算的光场成像装置能够根据监测目标自动调整视野及景深，并通过快速重对焦和高速传输通道将采集到的清晰图像进入人脸或虹膜图像数据库，进行人脸或者虹膜识别，识别结果发送到机场安保部门，如果犯罪嫌疑人身份得到确认则立刻对其组织抓捕。场景2 :应用于小区、街道等人群居住或公共设施处的安全监控。本发明可应用于小区、街道等人群居住或公共设施处的安全监控，推动智慧平安城市建设某小区内当有犯罪嫌疑人出现在成像装置监控范围内，并欲从事入室偷窃行为，如翻窗时，当该犯罪行为发生于夜晚环境光线较弱时或者犯罪嫌疑人与成像装置前有建筑物或者树木遮挡时，传统成像装置可能无法及时检测到该犯罪行为，而使用了面向视觉计算的光场成像装置不受光线明暗或部分遮挡物所限，能够及时采集犯罪行为图像并实时调整视野及景深保证图像质量，采集到的犯罪行为图像在小区监控室内显示并发出报警提示保安人员，保安人员随后即时制止嫌疑人的犯罪活动，保障小区内的人身财产安全。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保 护范围之内。
权利要求
1.一种光场成像装置，其特征在于，该装置包括一光学成像系统(101)，一集成一体化近红外光源(102)，一数据传输模块(103)，一大容量高速缓存单元(104)，一逻辑控制单元(106)和一处理单元(107)，其中 所述逻辑控制单元(106)通过数据传输模块(103)驱动集成一体化近红外光源(102)发射近红外面光源，并在处理单元(107)判断视觉图像数据满足结构光发射条件时，通过数据传输模块(103)控制集成一体化近红外光源(102)发射近红外编码结构光； 所述光学成像系统(101)用于进行光场成像、视觉/深度成像和高动态范围成像，并将采集到的视觉图像数据通过数据传输模块(103)由逻辑控制单元(106)传输至处理单元(107)进行视觉场景先验分析；将采集到的有近红外编码结构光的深度图像数据通过数据传输模块(103)在大容量高速缓存单元(104)中进行缓存；将在近红外编码结构光发射光源切换为发射近红外面光源时，采集到的光场图像数据经数据传输模块(103)在大容量高速缓存单元(104)中进行缓冲；将采集到的曝光不同图像数据通过数据传输模块(103)在大容量高速缓存单元(104)中进行缓冲； 所述逻辑控制单元(106)还用于对所述光学成像系统(101)采集到的光场图像数据进行图像拼接处理，对所述光学成像系统(101)采集到的曝光不同图像数据进行图像校准处理；并将拼接后的光场图像数据和校准后的曝光不同图像数据发送给所述处理单元(107)； 所述处理单元(107)用于根据所述深度图像数据、校准后的曝光不同图像数据和拼接后的光场图像数据进行深度计算成像、高动态范围计算成像、目标检测、重对焦、图像采编算法处理。
2.根据权利要求I所述的装置，其特征在于，所述大容量高速缓存单元(104)还用于对经过所述图像拼接处理后的数据和经过所述校准后的曝光不同图像数据进行数据缓冲。
3.根据权利要求I所述的装置，其特征在于，所述装置还包括一人机交互设备(105)，用于支持人机交互。
4.根据权利要求I所述的装置，其特征在于，所述集成一体化近红外光源(102)包括主透镜、液晶面板及其驱动器、匀光透镜、大功率近红外LED阵列及其驱动器，其中 大功率近红外LED阵列为背光源； 匀光透镜用于将背光源发射的非均匀光束均匀化； 液晶面板用于在进行视觉成像、光场成像和高动态范围成像时发射面光源，在进行深度成像时发射编码结构光； 主透镜用于会聚出射光束。
5.根据权利要求I所述的装置，其特征在于，所述光学成像系统(101)包括3个半反半透棱镜(201)、视觉/深度成像镜头(202)、视觉/深度成像传感器(203)、光场成像镜头(204)、像方远心光路(205)、平板阵列(206)、微透镜阵列组(207)、光场成像传感器阵列(208)、2个高动态成像镜头(209)、高动态成像传感器(210)和(211)，其中 视觉/深度成像传感器(203)可对无结构光发射的场景和有结构光发射的场景进行成像； 微透镜阵列组(207)由多个平凸微透镜阵列单元构成，用于提取光场信息； 光场成像传感器阵列(208)由多个高分辨率CMOS传感器单元组成；平板阵列(206)、微透镜阵列组(207)和光场成像传感器阵列(208)中的平板玻璃单元、微透镜阵列单元和传感器单元数量、位置分别一一对应。
6.根据权利要求5所述的装置，其特征在于，所述逻辑控制单元(106)还对所述光场成像传感器阵列(208)中的所有传感器单元进行精确控制，同步图像采集，实现高分辨率光场成像。
7.根据权利要求6所述的装置，其特征在于，所述光学成像系统(101)中，入射光束经半反半透棱镜(201)分为透射光束和反射光束，第一个半反半透棱镜(201)将透射光束投射给光场成像镜头(204)，经过光场成像镜头(204)的会聚后光束经像方远心光路(205)来减小微透镜阵列成像的渐晕影响，随后光束经平板阵列(206)完成光束的平移和视场分害I]，使每块平板玻璃单元出射光束入射到对应的微透镜阵列单元，微透镜阵列单元组成微透镜阵列组(207)紧置于光场成像传感器阵列(208)前，光束经微透镜阵列组(207)投射到光场成像传感器阵列(208)生成光场图像，完成光场图像的采集； 第一个半反半透棱镜(201)将反射光束投射给第二个半反半透棱镜(201)，第二个半反半透棱镜(201)的透射光束投射到视觉/深度成像镜头(202)，经成像镜头的会聚后光束投射到视觉/深度成像传感器(203)生成视觉图像或深度图像，完成视觉图像或深度图像的米集； 第二个半反半透棱镜(201)的反射光束投射给第三个半反半透棱镜(201)； 第三个半反半透棱镜(201)的透射光束和反射光束分别投射到2个高动态成像镜头(209)，经成像镜头的会聚后分别投射到具有不同曝光系数的高动态成像传感器(210)和(211)生成曝光不同图像，完成高动态范围图像的采集。
8.根据权利要求I所述的装置，其特征在于，所述逻辑控制单元(106)采用FPGA或ARM逻辑控制芯片。
9.一种利用权利要求I所述的光场成像装置进行光场成像的方法，其特征在于，该方法包括以下步骤 步骤1，光场成像装置上电启动后，集成一体化近红外光源(102)发射近红外面光源，逻辑控制单元(106)控制光学成像系统(101)中的视觉/深度成像传感器(203)采集场景的视觉图像； 步骤2，视觉图像数据经数据传输模块(103)和逻辑控制单元(106)传输到处理单元(107)进行视觉场景先验分析，当分析确定所述视觉图像具有丰富纹理信息时，逻辑控制单元(106)驱动集成一体化近红外光源(102)发射近红外编码结构光，当分析确定所述视觉图像不具有丰富纹理信息时，重复步骤I直至采集到的视觉图像具有丰富纹理信息； 步骤3，逻辑控制单元(106)控制视觉/深度成像传感器(203)采集所述场景的有近红外编码结构光深度图像，所述有近红外编码结构光深度图像数据经数据传输模块(103)和逻辑控制单元(106)传输到大容量高速缓存单元(104)进行缓存，同时将近红外编码结构光源切换为近红外面光源； 步骤4，逻辑控制单元(106)对光学成像系统(101)中的光场成像传感器阵列(208)中的各个传感器进行同步控制，将光场成像传感器阵列(208)同步采集到的多个光场图像数据输入到大容量高速缓存单元(104)进行缓存； 步骤5，逻辑控制单元(106)控制光学成像系统(101)中的高动态成像传感器组的2个具有不同曝光系数的传感器(210)和(211)采集所述场景的曝光不同的图像，并将采集到的图像数据传输到大容量高速缓存单元(104)进行缓存； 步骤6，逻辑控制单元(106)根据预先标定的光场成像传感器阵列(208)中传感器之间的相对机械位置关系，对所述步骤4采集得到的多个光场图像进行水平方向或者垂直方向上的实时重叠区域加权拼接，以获取高分辨率的光场图像数据，并将拼接结果存储在大容量高速缓存缓存单元(104)中； 步骤7，逻辑控制单元(106)对所述步骤5采集得到的曝光不同图像进行高动态成像传感器(210)和(211)的像素数据匹配，生成相应的校准图像，并将该校准图像存储在大容量高速缓存单元(104)中； 步骤8，大容量高速缓存单元(104)将其存储的有近红外编码结构光深度图像数据和曝光不同的校准图像数据传输至处理单元(107)，进行深度计算成像和高动态范围计算成像处理； 步骤9，处理单元(107)对处理后的深度图像和高动态范围图像分别不断进行感兴趣目标检测并对目标进行定位； 步骤10，根据目标定位结果和深度图像中的深度信息，处理单元(107)对拼接后的光场图像中的对应感兴趣目标所处的区域进行重对焦算法处理； 步骤11，处理单元(107)利用经过重对焦处理的光场图像，结合深度图像、高动态范围图像通过图像采编算法处理，输出具有三维深度信息的高动态大景深多视角图像。
10.根据权利要求9所述的方法，其特征在于，所述步骤7中的所述像素数据匹配是指根据预先标定的高动态成像传感器(210)和(211)的相对位置关系，利用所述场景特征，对二者分别采集到的图像进行像素间的相似性匹配，生成对应的校准图像，保证曝光不同的校准图像对所述场景具有相同视场。
11.根据权利要求9所述的方法，其特征在于，图像拼接进一步包括首先，标定光场成像传感器阵列(208)各个传感器的相对位置，获得初步重叠视场区域；随后，提取重叠视场区域图像的Harris特征，在相邻重叠区域范围内进行小范围特征匹配；然后，计算出图像拼接所需的变换矩阵，通过图像变换进行图像的拼接。
12.根据权利要求9所述的方法，其特征在于，所述深度计算成像进一步包括首先，对场景中的光平面进行标定；然后，逻辑控制单元(108)控制集成一体化近红外光源的液晶面板驱动器生成不同编码结构光，其中不同编码结构光对应不同光平面；随后，将编码结构光投射到场景中，结构光在物体表面发生形变，得到结构光形变图像；最后，将采集到的结构光形变图像中的编码信息与编码结构光进行编码匹配，获得场景深度信息。
13.根据权利要求9所述的方法，其特征在于，所述高动态范围计算成像进一步包括首先，通过所述校准图像计算高动态范围成像装置的响应曲线；随后，将所述校准图像的像素值表示的光强转换为光辐射度，并生成相应的单精度浮点图像；最后，结合视觉表达模型生成高动态范围图像，其中，所述高动态范围成像装置是指光学成像系统(101)中高动态范围成像部分的装置，包括2个高动态成像镜头(209)、高动态成像传感器(210)和(211)。
14.根据权利要求9所述的方法，其特征在于，所述重对焦算法进一步包括首先，通过 目标定位结果和深度图像确定重对焦点所处的焦距，得到对应的切片算子；随后，利用傅立叶切片定理重建感兴趣区域的清晰图像，完成重对焦成像。
15.根据权利要求9所述的方法，其特征在于，所述图像采编算法将局部区域视觉感知的场景、目标、行为、事件识别信息映射到“时空切片”模型的对应坐标，采用“时空”多尺度分析的方法展现不同层次的语义内容单元，然后按照视觉感知任务需求进行采编，合成新的图像。
全文摘要
本发明公开了一种面向视觉计算的光场成像装置及方法，该装置包括一光学成像系统、一集成一体化近红外光源、一数据传输模块、一大容量高速缓存单元、一人机交互设备、一逻辑控制单元和一处理单元。本发明提出基于“计算+成像”互动双赢模式的光场成像装置，以光场成像为主导，以深度感知、高动态范围成像为辅，实现视觉感知智能化和视觉认知精准化，获取具有“大景深、宽动态、真三维、高分辨、会采编”特点的新型视觉信息，通过视觉感知源头的数据创新提高视觉计算任务的精确性和鲁棒性，在物联网、安全监控、生物识别、智能交通、航空遥感、数字医疗、动画传媒等领域有广泛应用。
文档编号G02B27/22GK102833487SQ201210280680
公开日2012年12月19日 申请日期2012年8月8日 优先权日2012年8月8日
发明者谭铁牛, 孙哲南, 侯广琦, 秦娅楠 申请人:中国科学院自动化研究所