基于微透镜阵列合成孔径的光场相机去遮挡系统和方法与流程

本发明属于计算成像技术领域，具体涉及基于微透镜阵列合成孔径的光场相机去遮挡系统和方法。

背景技术：

当前对光场相机成像中的遮挡物的去除要求越来越高。一种典型的解决方法是：光场相机通过单次拍摄可获取立体空间中的四维光场数据，由于光场的多维度性(方向维度和位置维度)，利用光场的多视角特性从四维光场数据中提取全光场图像的深度信息，并基于多线索融合的光场图像深度提取方法以获取深度信息。分别利用自适应散焦算法和自适应匹配算法提取遮挡物体和目标场景的深度信息；然后用峰值比作为置信以加权融合两种算法获取的遮挡物和目标场景的深度；最后，用具有结构一致性的交互结构联合滤波器对融合深度图进行滤波,得到深度图。然而此方法的缺陷是计算量较大且散焦后的遮挡物信息仍然残留于目标物体图像中。

另一类典型的解决方法是：采用影视制作中的蓝幕技术(bluescreening)，在对被遮拦目标进行成像之前，先在遮挡物后面放置一幅全蓝色(或其他与遮挡物不同颜色)的背景屏幕，对其进行拍摄，获取的图像中与背景屏幕颜色不同的部分即看作遮挡物。拍摄目标时，移去背景屏幕，保持相机的位置和姿态不变，获取的图像中与遮挡物对应的像素因此可被识别。此方法的缺陷是仅适用于静态目标物体信息已知的情况，目标物体图像易成马赛克状。

技术实现要素：

本发明要解决的技术问题是：提供基于微透镜阵列合成孔径的光场相机去遮挡系统和方法，用于在保证遮挡物识别高准确度的前提下，提高目标图像的图像质量和系统的可靠性。

本发明为解决上述技术问题所采取的技术方案为：基于微透镜阵列合成孔径的光场相机去遮挡系统，包括依次设置在光路上的主物镜、微透镜阵列和图像传感器，还包括控制器和同步响应终端；主物镜用于分别采集静态空白场景图像和采集原始场景图像并将成像光线变为平行光束；微透镜阵列用于接收平行光束，将每一个微透镜所成的子图像投射到图像传感器上；图像传感器用于接收从微透镜阵列出射的多幅聚焦光线，转换成空白场景图像的中心点坐标，和具有方向维度和位置维度的四维光场图像数据，并发送到控制器；控制器的信号接收端与图像传感器的信号发送端连接，用于对收到的四维光场图像数据进行提高角度分辨率的处理，并将得到的目标场景图像数据发送到同步响应终端；同步响应终端的信号接收端与控制器的信号发送端连接，用于存储、管理、重建收到的目标场景图像数据并转换成图像显示给用户。

按上述方案，控制器包括按信号流向依次连接的遮挡物处理模块、阈值区间模块、判断模块、分区模块和数字重聚焦模块；遮挡物处理模块用于获取遮挡物图像数据；阈值区间模块用于判定遮挡物的光场信息区间，匹配遮挡物的阈值；判断模块用于对聚焦在遮挡物的图像进行二值化处理，得到二值化图像；分区模块用于删除遮挡物的区间光场信息，得到目标场景的位置维度和方向维度信息，并输出空白场景图像数据；数字重聚焦模块用于将主镜头的孔径进行1/n²倍细分采样，将原光圈数为fn的相机等效成为n²个光圈数为fn/n的虚拟相机的组合，由多个单个小光圈孔径景深等效成的一个大光圈数的大孔径光场相机。

按上述方案，同步响应终端包括存储器和显示器。

基于微透镜阵列合成孔径的光场相机去遮挡方法，包括以下步骤：

s1：通过主物镜采集白图像；

s2：计算白图像的中心点坐标；

s3：通过主物镜采集原始场景图像，通过微透镜阵列得到四维光场图像数据并发送给控制器；

s4：控制器通过合成孔径数字对焦技术采集收到的四维光场图像数据，识别并去除四维光场图像数据中遮挡物的光场区间信息，将得到的目标场景图像数据发送给同步响应终端；

s5：同步响应终端存储、管理、重建收到的目标物体光场数据，对目标物体光场数据进行数据分析和阈值设置，显示最终的目标场景图像。

进一步的，所述的步骤s1中，具体步骤为：

s11：对静态空白场景进行初次捕捉，获取原始的白图像；

s12：当前遮挡物去除完成之后，判断是否继续运行；若是，则返回步骤s11，从原始场景图像中提取下一个需要去除遮挡物的初始图像；若否，则执行下一步骤。

进一步的，所述的步骤s1中，具体步骤为：

s21：计算白图像中光线与主物镜平面的夹角；

s22：计算白图像的中心点坐标；

s23：重复步骤s21直至白图像的中心点坐标的误差趋近于无。

进一步的，所述的步骤s3中，具体步骤为：

s31：主物镜采集原始场景图像；

s32：从主物镜出射的平行光束通过微透镜阵列分幅聚焦得到若干个子图像；

s33：若干个子图像进入图像传感器转换为具有方向维度和位置维度的四维光场图像数据；

s34：图像传感器将四维光场图像数据发送给控制器。

进一步的，所述的步骤s4中，具体步骤为：

s41：控制器的遮挡物处理模块从四维光场图像数据中获取遮挡物的图像数据；

s42：控制器的阈值区间模块配准识别遮挡物的参数；

s43：控制器的判断模块将遮挡物的图像数据二值化；

s44：控制器的分区模块根据识别遮挡物的参数提取并去除遮挡物的区间光场信息；

s45：控制器的数字重聚焦模块对经过去遮挡的光场数据进行二次聚焦，并将目标光场数据发送至同步响应终端。

进一步的，所述的步骤s42中，具体步骤为：

s421：以步骤s2得到的白图像的中心点坐标为参数，计算微透镜阵列的子孔径形成的子图像的灰度值；

s422：根据子图像的灰度值计算每个子孔径的合成孔径图像的遮挡物在主物镜平面和图像传感器平面的光辐射量；

s423：通过入瞳光线数值积分近似计算比例因子，判断是否采用该比例因子识别遮挡物：若是则执行下一步骤；若否则返回步骤s1；

s424：通过采用比例因子的光瞳函数对遮挡物进行区域划分，判断遮挡物与目标场景的灰度值是否可区分，若区分度很低则返回步骤s2；若对遮挡物和场景的灰度值可以顺利区分，则执行下一步骤。

进一步的，采用如下步骤替代步骤s424：通过对图像的灰度设定阈值识别遮挡物信息，若识别结果出现大片模糊区域，则返回步骤s1；若识别结果符合要求则进行下一步处理。

本发明的有益效果为：

1.本发明的基于微透镜阵列合成孔径的光场相机去遮挡系统和方法采用微透镜阵列和合成孔径技术，通过目标场景内遮挡物进行数字对焦，对遮挡物的数据进行了高精度的识别和去除，在保证遮挡物识别高准确度的前提下，实现了提高目标图像的图像质量和系统的可靠性的功能。

2.本发明实现了对目标场景中被遮挡物体的还原显现，从而提高了图像的信噪比和图像清晰度；微透镜阵列系统提高了图像的角分辨率，降低了图像的噪声；合成孔径技术提升了图像的光通量，便于识别目标物体的细节信息。

3.本发明可以提供高对比度和高信噪比的去除遮挡物信息的三维场景信息光场图像，并可根据需要将该系统视频化进一步处理。

4.本发明基于光场图像进行去遮挡处理得到了更加完整清晰的目标物体图像，通过三维测量进行数字化改造，在医疗检测信息化、展现形式场景化、娱乐体验代入感、虚拟化的等领域具有广泛的应用前景。

附图说明

图1是本发明实施例的功能框图。

图2是本发明实施例的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明搭建了一种含微透镜阵列的光场成像系统，用于采集四维空间信息，成像所含信息量极大。利用微透镜阵列的特性，采用傅立叶切片定理将四维空间数据转换为二维频域信号，通过多孔径采集遮挡物网格原始图像信息，合成大孔径空间分辨率以达到望远镜效应；通过识别提取遮挡物网格信息，还原目标物体的完整信息。基于光场图像进行去遮挡处理得到更加完整清晰的目标物体图像。该系统在三维测量、医疗检测、娱乐体验等领域具有较高的理论和实践的前景。

参见图1，本发明的实施例提供了一种基于微透镜阵列合成孔径的光场相机去遮挡系统，包括主物镜、微透镜阵列、图像传感器、控制器和同步响应终端；

光路上依次设置有主物镜、微透镜阵列和图像传感器；

主物镜用于分别采集空白场景图像和原始场景图像并将成像光线变为平行光束；

微透镜阵列用于接收平行光束，将每一个微透镜所成的子图像投射到图像传感器上；

图像传感器用于接收从微透镜阵列出射的多幅聚焦光线，转换成空白场景图像的中心点坐标，和具有方向维度和位置维度的四维光场图像数据，并通过usb数据线发送到控制器；

控制器的信号接收端与图像传感器的信号发送端连接，用于对收到的四维光场图像数据进行提高角度分辨率的处理，并将得到的目标场景图像数据发送到同步响应终端；

同步响应终端的信号接收端与控制器的信号发送端连接，用于存储、管理、重建收到的目标场景图像数据，并转换成图像显示给用户。

图像传感器输出到控制器的四维光场图像数据为合成孔径数字对焦图像数据。控制器识别、提取数字对焦遮挡物的方式为：在满足镜头矫正畸变的情况下对遮挡物即目标物体进行初次采样，提取一帧原始图片；对原始图像进行二值化处理得到的图像进行阈值分析，选取临界值，找出遮挡物的灰度范围；分割提取遮挡物。

其中，控制器包括按信号流向依次连接的遮挡物处理模块、阈值区间模块、判断模块、分区模块和数字重聚焦模块；

遮挡物处理模块用于获取遮挡物图像数据；

阈值区间模块用于判定遮挡物的光场信息区间，匹配遮挡物的阈值；

判断模块用于对聚焦在遮挡物的图像进行二值化处理，得到二值化图像；

分区模块用于删除遮挡物的区间光场信息，得到合理的目标场景的位置维度和方向维度信息，并输出空白场景图像即白图像；通过获取白图像保证本发明在正常运行的前提下采用光场相机和微透镜阵列对镜头进行必要的数据采集、畸变检查和数字化矫正处理。

数字重聚焦模块用于将主镜头的孔径进行1/n²倍细分采样，将原光圈数为fn的相机等效成为n²个光圈数为fn/n的虚拟相机的组合，即由多个单个小光圈孔径景深等效成的一个具有更大光圈数的大孔径光场相机。对此虚拟的大孔径相机进行数字对焦处理，合成出的图像具有极浅的景深；当成像目标被部分遮挡物掩盖时，合成大孔径相机使离焦的遮挡物大量弥散，实现去遮挡的功能。

参见图2，本发明的控制器的各模块在win10环境下基于matlab运行。通过主物镜不断地获取原始场景图像，同时监听响应变量的值，从而做出“聚焦遮挡物”、“提取遮挡”、“聚焦目标”和“保存处理后的图片”的判断。

基于微透镜阵列合成孔径的光场相机去遮挡方法，包括以下步骤：

s1：通过主物镜采集静态空白场景图像，从主物镜出射的平行光束通过微透镜阵列分幅聚焦，对原始场景图像去遮挡获取白图像，设置在整个光场成像系统启动前，用于充当本光场成像系统的物理通检：

s11：基于微透镜阵列的光场相机对静态空白场景进行初次捕捉，获取原始的白图像；

s12：当前遮挡物去除完成之后，判断是否继续运行；若是，则返回步骤s11，从原始场景图像中提取下一个需要去除遮挡物的初始图像；若否，则执行下一步骤。

s2：计算白图像的中心点坐标：

s21：计算白图像中光线与主物镜平面的夹角；

s22：计算白图像的中心点坐标；

s23：重复步骤s21直至白图像的中心点坐标的误差趋近于无。

s3：通过主物镜采集原始场景图像，从主物镜出射的平行光束通过微透镜阵列分幅聚焦得到若干个子图像，进入图像传感器转换为具有方向维度和位置维度的四维光场图像数据；图像传感器将四维光场图像数据发送给控制器。

s4：控制器在计算白图像中心点坐标的同时，通过合成孔径数字对焦技术采集收到的四维光场图像数据，在保证光通量的前提下，提高图像的空间分辨率，识别图像的遮挡物，得到遮挡物的光场信息，进行去遮挡处理，并将得到的目标场景图像数据发送给同步响应终端；

s41：遮挡物处理模块从四维光场图像数据中获取遮挡物的图像数据；

s42：阈值区间模块配准识别遮挡物的参数；

s421：以步骤s2得到的白图像的中心点坐标为参数，计算微透镜阵列的子孔径形成的子图像的灰度值；

s422：根据子图像的灰度值计算遮挡物在每个子孔径的合成孔径图像在主物镜平面和图像传感器平面的光辐射量；

s423：通过入瞳光线数值积分近似计算比例因子；

s424：判断能否识别遮挡物，若能，则进行下一步处理；若不能，则返回步骤s1：通过采用比例因子的光瞳函数对遮挡物进行区域划分，判断遮挡物与目标场景的灰度值是否可区分，若区分度很低则返回步骤s2；若对遮挡物和场景的灰度值可以顺利区分，则执行下一步骤。

针对步骤s424更进一步的方案是，通过对图像的灰度设定合适的阈值识别遮挡物信息，若识别结果出现大片模糊区域，则返回步骤s1；若识别结果符合要求则进行下一步处理。

s43：判断模块将遮挡物的图像数据二值化；

s44：分区模块根据识别遮挡物的参数提取并去除遮挡物的区间光场信息；

s45：数字重聚焦模块对经过提取遮挡物光场信息后的光场数据进行二次聚焦到目标物体上，并将最终的目标物体光场数据发送至同步响应终端。

s5：同步响应终端存储、管理、重建收到的目标物体光场数据，对目标物体光场数据进行数据分析和阈值设置，显示最终的目标场景图像。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。