微透镜阵列的成像方法与成像装置与流程

文档序号:12600901阅读:633来源:国知局
微透镜阵列的成像方法与成像装置与流程

本发明涉及成像技术领域,尤其涉及一种微透镜阵列的成像方法与成像装置。



背景技术:

微透镜阵列广泛应用于光场相机,复眼相机以及大视野的显微相机。然而,由于光的波动性,每个微透镜成像都会出现中间亮四周暗的现象。这对于微透镜阵列成像的后续处理(无论是对两个微透镜成像做匹配,还是将多个微透镜成像做拼接)都会造成严重的干扰。



技术实现要素:

鉴于上述技术问题,本发明提供一种微透镜阵列的成像方法与成像装置,解决微透镜阵所成的原始图像中亮度分布不均的问题,提高原始图像的质量,降低对微透镜所成图像做匹配和拼接的难度。

依据本发明的一个方面,提供了一种微透镜阵列的成像方法,所述成像方法包括:通过微透镜阵列对实际场景进行拍摄,得到原始场景图像;将所述原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配,得到对应所述实际场景的场景光照图像,其中,所述至少两个光照标定图像为具有不同的亮度的灰度图像;利用所述场景光照图像对所述原始场景图像进行亮度均一化处理,得到亮度均一的场景图像。

本发明的亮度匹配是指将原始场景图像和至少两个光照标定图像做逐像素比对、计算,得到对应于该实际场景的场景光照图像,该场景光照图像用于后续的亮度均一处理。

可选地,所述在通过微透镜阵列对实际场景进行拍摄,得到原始场景图像之前,所述成像方法还包括:通过所述微透镜阵列,在相同的曝光时间和相同 的图像传感器配置下,对渐次改变光照强度的均匀发光光源获取至少两个光照标定图像;将所述至少两个光照标定图像存储至存储设备中。

可选地,将所述原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配之前,所述方法还包括对所述至少两个光照标定图像进行灰度线性变换。

可选地,将所述原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配,得到对应所述实际场景的场景光照图像,具体包括:

逐个获取所述原始场景图像中第一像素的第一灰度值;

逐个获取每个光照标定图像中与所述第一像素坐标相同的第二像素的第二灰度值;

根据所述第一灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一像素坐标相同的所述第二像素的第一权值;

逐个获取所述经过灰度线性变换后的每个光照标定图像中与所述第一像素坐标相同的第二像素的第二浮点灰度值;

根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一权值,逐像素计算出所述场景光照图像中与所述第一像素坐标相同的第三像素的第三浮点灰度值。

可选地,所述利用所述场景光照图像对所述原始场景图像进行亮度均一化处理,具体包括:

利用所述原始场景图像中所述第一像素的所述第一灰度值和所述场景光照图像中与所述第一像素坐标相同的所述第三像素的所述第三浮点灰度值,逐像素计算得到亮度均一的场景图像。

可选地,当所述原始场景图像的类型为RGB图像时,在获取所述原始场景图像中第一像素的第一灰度值之前,还包括:

将所述原始场景图像转为灰度图像。

可选地,当所述原始场景图像的类型为RGB图像时,所述利用所述场景光照图像对所述原始场景图像进行亮度均一化处理,具体包括:

分别提取所述原始场景图像中的R图像、G图像和B图像;

逐个获取所述R图像的第一R像素的第一R灰度值,所述G图像的第一G 像素的第一G灰度值和所述B图像的第一B像素的第一B灰度值;

利用所述R图像中所述第一R像素的所述第一R灰度值和所述场景光照图像中与所述第一R像素坐标相同的所述第三像素的所述第三浮点灰度值,计算得到亮度均一的场景R图像;

利用所述G图像中所述第一G像素的所述第一G灰度值和所述场景光照图像中与所述第一G像素坐标相同的所述第三像素的所述第三浮点灰度值,计算得到亮度均一的场景G图像;

利用所述B图像中所述第一B像素的所述第一B灰度值和所述场景光照图像中与所述第一B像素坐标相同的所述第三像素的所述第三浮点灰度值,计算得到亮度均一的场景B图像;

合成所述亮度均一的场景R图像,所述亮度均一的场景G图像和所述亮度均一的场景B图像,得到亮度均一的场景图像。

可选地,当所述原始场景图像的类型为RGB图像时,逐个获取所述原始场景图像中第一像素的第一灰度值,具体包括:

分别提取所述原始场景图像中的R图像、G图像和B图像;

逐个获取所述R图像中第一R像素的第一R灰度值、所述G图像中第一G像素的第一G灰度值和所述B图像中第一B像素的第一B灰度值;

相应地,根据所述第一灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一像素坐标相同的所述第二像素的第一权值,具体包括:

根据所述第一R灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一R像素坐标相同的所述第二像素的第一R权值;

根据所述第一G灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一G像素坐标相同的所述第二像素的第一G权值;

根据所述第一B灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一B像素坐标相同的所述第二像素的第一B权值;

相应地,根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一权值,逐像素计算出所述场景光照图像中与所述第一像素坐标相同的第三像素的第三浮点灰度值,具体包括:

根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一R权 值,逐像素计算出场景光照R图像中与所述第一像素坐标相同的第三R像素的第三R浮点灰度值;

根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一G权值,逐像素计算出场景光照G图像中与所述第一像素坐标相同的第三G像素的第三G浮点灰度值;

根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一B权值,逐像素计算出场景光照B图像中与所述第一像素坐标相同的第三B像素的第三B浮点灰度值。

可选地,当所述原始场景图像的类型为RGB图像时,所述利用所述场景光照图像对所述原始场景图像进行亮度均一化处理,具体包括:

分别提取所述原始场景图像中的R图像、G图像和B图像;

逐个获取所述R图像的第一R像素的第一R灰度值,所述G图像的第一G像素的第一G灰度值和所述B图像的第一B像素的第一B灰度值;

利用所述R图像中所述第一R像素的所述第一R灰度值和所述场景光照R图像中与所述第一R像素坐标相同的所述第三像素的所述第三R浮点灰度值,计算得到亮度均一的场景R图像;

利用所述G图像中所述第一G像素的所述第一G灰度值和所述场景光照G图像中与所述第一G像素坐标相同的所述第三像素的所述第三G浮点灰度值,计算得到亮度均一的场景G图像;

利用所述B图像中所述第一B像素的所述第一B灰度值和所述场景光照B图像中与所述第一B像素坐标相同的所述第三像素的所述第三B浮点灰度值,计算得到亮度均一的场景B图像;

合成所述亮度均一的场景R图像,所述亮度均一的场景G图像和所述亮度均一的场景B图像,得到亮度均一的场景图像。

依据本发明的另一个方面,还提供了一种微透镜阵列的成像装置,所述成像装置包括:第一模块,用于通过微透镜阵列对实际场景进行拍摄,得到原始场景图像;第二模块,用于将所述原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配,得到对应所述实际场景的场景光照图像,其中,所述至少两个光照标定图像为具有不同的亮度的灰度图像;第三模块, 用于利用所述场景光照图像对所述原始场景图像进行亮度均一化处理,得到亮度均一的场景图像。

可选地,所述成像装置还包括:第四模块,用于通过所述微透镜阵列,在相同的曝光时间和相同的图像传感器配置下,对渐次改变光照强度的均匀发光光源获取至少两个光照标定图像;存储模块,用于将所述至少两个光照标定图像存储至存储设备中。

可选地,所述第二模块用于对所述至少两个光照标定图像进行灰度线性变换。

可选地,所述第二模块具体用于逐个获取所述原始场景图像中第一像素的第一灰度值;逐个获取每个光照标定图像中与所述第一像素坐标相同的第二像素的第二灰度值;根据所述第一灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一像素坐标相同的所述第二像素的第一权值;逐个获取所述经过灰度线性变换后的每个光照标定图像中与所述第一像素坐标相同的所述第二像素的第二浮点灰度值;根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一权值,逐像素计算出所述场景光照图像中与所述第一像素坐标相同的第三像素的像第三浮点灰度值。

可选地,所述第三模块具体用于利用所述原始场景图像中所述第一像素的所述第一灰度值和所述场景光照图像中与所述第一像素坐标相同的所述第三像素的所述第三浮点灰度值,逐像素计算得到亮度均一的场景图像。

可选地,当所述原始场景图像的类型为RGB图像时,所述第二模块还用于:

将所述原始场景图像转为灰度图像。

可选地,当所述原始场景图像的类型为RGB图像时,所述第三模块用于:

分别提取所述原始场景图像中的R图像、G图像和B图像;

逐个获取所述R图像的第一R像素的第一R灰度值,所述G图像的第一G像素的第一G灰度值和所述B图像的第一B像素的第一B灰度值;

利用所述R图像中所述第一R像素的所述第一R灰度值和所述场景光照图像中与所述第一R像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景R图像;

利用所述G图像中所述第一G像素的所述第一G灰度值和所述场景光照图 像中与所述第一G像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景G图像;

利用所述B图像中所述第一B像素的所述第一B灰度值和所述场景光照图像中与所述第一B像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景B图像;

合成所述亮度均一的场景R图像,所述亮度均一的场景G图像和所述亮度均一的场景B图像,得到亮度均一的场景图像。

可选地,当所述原始场景图像的类型为RGB图像时,所述第二模块具体用于:

分别提取所述原始场景图像中的R图像、G图像和B图像;

逐个获取所述R图像中第一R像素的第一R灰度值、所述G图像中第一G像素的第一G灰度值和所述B图像中第一B像素的第一B灰度值;

根据所述第一R灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一R像素坐标相同的第二像素的第一R权值;

根据所述第一G灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一G像素坐标相同的第二像素的第一G权值;

根据所述第一B灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一B像素坐标相同的第二像素的第一B权值;

根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一R权值,逐像素计算出场景光照R图像中与所述第一像素坐标相同的第三R像素的第三R浮点灰度值;

根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一G权值,逐像素计算出场景光照G图像中与所述第一像素坐标相同的第三G像素的第三G浮点灰度值;

根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一B权值,逐像素计算出场景光照B图像中与所述第一像素坐标相同的第三B像素的第三B浮点灰度值。

可选地,当所述原始场景图像的类型为RGB图像时,所述第三模块具体用于:

分别提取所述原始场景图像中的R图像、G图像和B图像;

逐个获取所述R图像的第一R像素的第一R灰度值,所述G图像的第一G像素的第一G灰度值和所述B图像的第一B像素的第一B灰度值

利用所述R图像中所述第一R像素的所述第一R灰度值和所述场景光照R图像中与所述第一R像素坐标相同的所述第三像素的所述第三R浮点灰度值,计算得到亮度均一的场景R图像;

利用所述G图像中所述第一G像素的所述第一G灰度值和所述场景光照G图像中与所述第一G像素坐标相同的所述第三像素的所述第三G浮点灰度值,计算得到亮度均一的场景G图像;

利用所述B图像中所述第一B像素的所述第一B灰度值和所述场景光照B图像中与所述第一B像素坐标相同的所述第三像素的所述第三B浮点灰度值,计算得到亮度均一的场景B图像;

合成所述亮度均一的场景R图像,所述亮度均一的场景G图像和所述亮度均一的场景B图像,得到亮度均一的场景图像。

本发明的有益效果是:本发明的微透镜阵列的成像方法与成像装置对环境光有较强适应性,即使在复杂的光照条件下也能有效地解决微透镜所成的原始图像中亮度分布不均的问题,提高原始图像的质量,降低对微透镜所成图像做匹配和拼接的难度。该成像方法与成像装置适用范围广泛,在透明物体的透射成像模式、不透明物体的表面反射成像模式及这两者的混合模式下均可工作,且对图像的处理是实时的,无须在拍摄场景图像前获取用于校正的光照底图。

附图说明

图1为本发明的第一实施例中微透镜阵列的成像方法的流程图;

图2为本发明的第二实施例中微透镜阵列的成像方法的流程图;

图3为本发明的第三实施例中微透镜阵列的成像方法的流程图;

图4A~图4D为一组光照标定图,所展示的图像已经过缩放,其原始分辨率与原始场景图像分辨率相同;

图5为一张原始场景图像,该图像为灰度图像,所展示的图像已经过缩放,其原始分辨率与光照标定图分辨率相同;

图6为图5中的原始场景图像直接拼接得到的图像,图中环形阴影即为微透镜阵列成像中的亮度不均现象所导致;

图7为图5中的原始场景图像的场景光照图,亮度匹配所使用的光照标定图为图4A~图4D所示;

图8为图5中的原始场景图像经过亮度均一化处理后,拼接得到的图像,微透镜阵列成像中的亮度不均现象已被消除;

图9为一张原始场景图像,该图像为彩色图像,所展示的图像已经过缩放,其原始分辨率与光照标定图分辨率相同;

图10为图9中的原始场景图像直接拼接得到的图像,图中环形阴影即为微透镜阵列成像中的亮度不均现象所导致;

图11为图9中的原始场景图像的场景光照图,亮度匹配按照灰度值进行亮度匹配,所使用的光照标定图为图4A~图4D所示;

图12为图9中的原始场景图像经过亮度均一化处理后,拼接得到的图像,微透镜阵列成像中的亮度不均现象已被消除;

图13为本发明的第四实施例中微透镜阵列的成像装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

第一实施例

参见图1,图中示出了第一实施例中微透镜阵列的成像方法的流程图,该方法可以应用于光场相机、复眼相机以及大视野的显微成像系统,该方法包括的具体步骤如下:

步骤S101、通过微透镜阵列对实际场景进行拍摄,得到原始场景图像。

具体地,使用微透镜阵列对实际场景进行拍摄,得到原始场景图像。原始场景图像是指:在实际场景拍摄中获取的图像。若采用现有的方式通过微透镜阵列对实际场景进行拍摄在每个微透镜所成的图像中均存在中间亮四周暗的现 象。

步骤S103、将原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配,得到对应实际场景的场景光照图像,其中,至少两个光照标定图像为具有不同的亮度的灰度图像。

具体地,将原始场景图像和预先存储的至少两个光照标定图像分别做逐像素的亮度匹配,本发明的亮度匹配是指将原始场景图像和至少两个光照标定图像做逐像素比对、计算,亮度匹配得到对应于该实际场景的场景光照图像,该场景光照图像用于后续的亮度均一处理,可选地,将原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配,包括对至少两个光照标定图像进行灰度线性变换。

步骤S105、利用场景光照图像对原始场景图像进行亮度均一化处理。

具体地,使用场景光照图像对原始场景图像做亮度变换,达到亮度均一的目的。也就是,通过亮度均一处理得到的场景图像,在每个微透镜所成的图像中,中间亮四周暗的亮度不均现象被消除。

本发明的微透镜阵列的成像方法对环境光有较强适应性,即使在复杂的光照条件下也能有效地解决微透镜所成的原始图像中亮度分布不均的问题,提高原始图像的质量,降低对微透镜所成图像做匹配和拼接的难度。该成像方法适用范围广泛,在透明物体的透射成像模式、不透明物体的表面反射成像模式及这两者的混合模式下均可工作,且对图像的处理是实时的,无须在拍摄场景图像前获取用于校正的光照底图。

第二实施例

参见图2,图中示出了第二实施例中微透镜阵列的成像方法的流程图,该方法可以应用于光场相机、复眼相机以及大视野的显微成像系统,该方法包括的具体步骤如下:

步骤S201、获取至少两个光照标定图像。

具体地,通过微透镜阵列,在相同的曝光时间和相同的图像传感器配置下,对渐次改变光照强度的均匀发光光源获取至少两个光照标定图像;将至少两个光照标定图像存储至存储设备中,进入步骤S205。

步骤S203、通过微透镜阵列对实际场景进行拍摄,得到原始场景图像,进 入步骤S205。

具体地,使用微透镜阵列对实际场景进行拍摄,得到原始场景图像。原始场景图像是指:在实际场景拍摄中获取的图像。若采用现有的方式通过微透镜阵列对实际场景进行拍摄在每个微透镜所成的图像中均存在中间亮四周暗的现象。

步骤S205、将原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配,得到对应实际场景的场景光照图像,其中,至少两个光照标定图像为具有不同的亮度的灰度图像,进入步骤S207。

具体地,将原始场景图像和预先存储的至少两个光照标定图像分别做逐像素的亮度匹配,利用亮度匹配后的图像得到对应于该实际场景的场景光照图像,该场景光照图像用于后续的亮度均一处理,可选地,将原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配,包括对至少两个光照标定图像进行灰度线性变换。

当原始场景图像的类型为灰度图像时,具体地,逐个获取原始场景图像中第一像素的第一灰度值;逐个获取每个光照标定图像中与第一像素坐标相同的第二像素的第二灰度值;根据第一灰度值和第二灰度值,确定每个光照标定图像中与第一像素坐标相同的第二像素的第一权值;逐个获取所述经过灰度线性变换后的每个光照标定图像中与所述第一像素坐标相同的第二像素的第二浮点灰度值;根据第二像素的第二浮点灰度值和第二像素的第一权值,逐像素计算出场景光照图像中与第一像素坐标相同的第三像素的第三浮点灰度值。

当原始场景图像的类型为RGB图像时,上述逐个获取所述原始场景图像中第一像素的第一灰度值,具体包括:分别提取所述原始场景图像中的R图像、G图像和B图像;逐个获取R图像中第一R像素的第一灰度值、G图像中第一G像素的第一G灰度值和B图像中第一B像素的第一B灰度值。

相应地,上述根据第一灰度值和第二灰度值,确定每个光照标定图像中与第一像素坐标相同的第二像素的第一权值,具体包括:根据第一R灰度值和第二灰度值,确定每个光照标定图像中与第一R像素坐标相同的第二像素的第一R权值;根据第一G灰度值和第二灰度值,确定每个光照标定图像中与第一G像素坐标相同的第二像素的第一G权值;根据第一B灰度值和第二灰度值,确 定每个光照标定图像中与第一B像素坐标相同的第二像素的第一B权值。

相应地,上述根据第二像素的第二浮点灰度值和第二像素的第一权值,逐像素计算出场景光照图像中与所述第一像素坐标相同的第三像素的第三浮点灰度值,具体包括:根据第二像素的第二浮点灰度值和第二像素的第一R权值,逐像素计算出场景光照R图像中与第一像素坐标相同的第三R像素的第三R浮点灰度值;根据第二像素的第二浮点灰度值和第二像素的第一G权值,逐像素计算出场景光照G图像中与第一像素坐标相同的第三G像素的第三G浮点灰度值;根据第二像素的第二浮点灰度值和第二像素的第一B权值,逐像素计算出场景光照B图像中与第一像素坐标相同的第三B像素的第三B浮点灰度值。

步骤S207、利用场景光照图像对原始场景图像进行亮度均一化处理。

具体地,使用场景光照图像对原始场景图像做亮度变换,达到亮度均一的目的。也就是,通过亮度均一处理得到的场景图像,在每个微透镜所成的图像中,中间亮四周暗的亮度不均现象被消除。

在本实施例中步骤S207可以利用原始场景图像中第一像素的第一灰度值和场景光照图像中与第一像素坐标相同的第三像素的所述第三浮点灰度值,逐像素计算得到亮度均一的场景图像。当然可以理解的是,当原始场景图像的类型为RGB图像时,在获取原始场景图像中第一像素的第一灰度值之前,可以将原始场景图像转为灰度图像。

当所述原始场景图像的类型为RGB图像时,步骤S207具体包括:分别提取所述原始场景图像中的R图像、G图像和B图像;逐个获取所述R图像的第一R像素的第一R灰度值,所述G图像的第一G像素的第一G灰度值和所述B图像的第一B像素的第一B灰度值;利用所述R图像中所述第一R像素的第一R灰度值和所述场景光照图像中与所述第一R像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景R图像;利用所述G图像中所述第一G像素的第一G灰度值和所述场景光照图像中与所述第一G像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景G图像;利用所述B图像中所述第一B像素的第一B灰度值和所述场景光照图像中与所述第一B像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景B图像;合成所述亮度均一的场景R图像,所述亮度均一的场景G图像和所述亮 度均一的场景B图像,得到亮度均一的场景图像。

当所述原始场景图像的类型为RGB图像时,步骤S207具体包括:分别提取所述原始场景图像中的R图像、G图像和B图像;逐个获取R图像的第一R像素的第一R灰度值,G图像的第一G像素的第一G灰度值和B图像的第一B像素的第一B灰度值;利用R图像中所述第一R像素的第一R灰度值和场景光照R图像中与第一R像素坐标相同的第三像素的第三R浮点灰度值,计算得到亮度均一的场景R图像;利用G图像中所述第一R像素的第一G灰度值和场景光照G图像中与第一G像素坐标相同的第三像素的第三G浮点灰度值,计算得到亮度均一的场景G图像;利用B图像中所述第一B像素的第一B灰度值和场景光照B图像中与第一B像素坐标相同的第三像素的第三B浮点灰度值,计算得到亮度均一的场景B图像;合成亮度均一的场景R图像,亮度均一的场景G图像和亮度均一的场景B图像,得到亮度均一的场景图像。

本发明的微透镜阵列的成像方法对环境光有较强适应性,即使在复杂的光照条件下也能有效地解决微透镜所成的原始图像中亮度分布不均的问题,提高原始图像的质量,降低对微透镜所成图像做匹配和拼接的难度。该成像方法适用范围广泛,在透明物体的透射成像模式、不透明物体的表面反射成像模式及这两者的混合模式下均可工作,且对图像的处理是实时的,无须在拍摄场景图像前获取用于校正的光照底图。

第三实施例

参见图3,图中示出了第三实施例中微透镜阵列的成像方法的流程图,具体步骤如下:

步骤S301、光照亮度标定,然后进入步骤S305。

具体地,使用微透镜阵列,在相同的曝光时间、相同的图像传感器配置下,对渐次改变光照强度的均匀发光光源获取一系列光照图像,用于校正实际拍摄时的亮度不均;此步骤可以在微透镜阵列定型时进行,所获取的一系列光照标定图像(例如第一光照标定图像、第二光照标定图像、第三光照标定图像和第四光照标定图像)储存在存储设备中,在对原始场景图像做亮度匹配时被使用,在实际拍摄场景光照图像时无须再次进行此步骤。

一般的,光照标定图像为灰度图像。需要说明的是,至少需要两个不同亮 度的光照标定图,但光照标定图的数量并不严格限制,通常亮度级越多、亮度变化范围越广,亮度均一的效果越好。在本实施例中该光照标定图像的数量为四个为例进行说明。

需要说明的是,光照标定图像中存在的噪声会对后续的亮度均一处理造成干扰,为了达到降噪的目的,在拍摄光照标定图的过程中,应当在相同的拍摄条件下,对同一亮度的光源重复拍摄若干张图像,一般的,需要5张或以上数量,用多张图像的平均值作为该亮度下的光照标定图像。

步骤S303、实际场景拍摄,然后进入步骤S305。

具体地,使用微透镜阵列对实际场景进行拍摄,得到原始场景图像。原始场景图像是指:在实际场景拍摄中获取的图像。若采用现有的方式通过微透镜阵列对实际场景进行拍摄在每个微透镜所成的图像中均存在中间亮四周暗的现象。

步骤S305、亮度匹配,然后进入步骤S307。

具体地,将原始场景图像和第一光照标定图像、第二光照标定图像、第三光照标定图像和第四光照标定图像分别做逐像素的亮度匹配,利用亮度匹配后的图像合成得到对应于该实际场景的场景光照图像,该场景光照图像用于后续的亮度均一处理。

步骤S307、亮度均一处理。

具体地,使用场景光照图像对原始场景图像做亮度变换,达到亮度均一的目的。也就是,通过亮度均一处理得到的场景图像,在每个微透镜所成的图像中,中间亮四周暗的亮度不均现象被消除。

需要说明的是,亮度匹配由于场景中光照条件往往是复杂多变的,为了还原复杂的场景光照,需要利用不同亮度的光照标定图对原始场景图像进行亮度匹配,合成该实际场景的场景光照图。

针对上述步骤S305,需要解释的是:在获取实际拍摄的原始场景图像后,对原始场景图像及存储设备中一系列光照标定图像进行逐像素的扫描,进行亮度匹配。下面将分别说明灰度图像及彩色图像的亮度匹配操作。

情况一、原始场景图像为灰度图像

步骤11、若光照标定图不是灰度图像,先将其转为灰度图像;

步骤12、对光照标定图做灰度线形变换,得到最大值均为1的I1、I2、I3、I4,也就是利用灰度值除以灰度值,由0~255转换成0~1,具体方式如下:

I1=第一光照标定图像的灰度值/第一光照标定图像中的最大灰度值;

I2=第二光照标定图像的灰度值/第二光照标定图像中的最大灰度值;

I3=第三光照标定图像的灰度值/第三光照标定图像中的最大灰度值;

I4=第四光照标定图像的灰度值/第四光照标定图像中的最大灰度值;

步骤13、生成一张与原始场景图像及光照标定图相同大小的图像,用于缓存场景光照图;

步骤14、逐像素扫描原始场景图像,对于每一个像素,比较该像素在原始场景图像中的灰度值Goriginal与该像素在第一、第二、第三和第四光照标定图像中的灰度值G1、G2、G3、G4的大小,按下面方法计算四元素的向量k及场景光照图I中该像素的数值(向量k的元素个数等于光照标定图的数量)(因标定过程中的光源光照强度从最弱到最强变化,故此处有G1<=G2<=G3<=G4):

步骤141、判断Goriginal与G1的大小:若Goriginal<=G1,k=[1,0,0,0],跳到步骤16;若Goriginal>G1,跳到步骤142;

步骤142、判断Goriginal与G2的大小:若Goriginal<=G2,跳到步骤16;若Goriginal>G2,跳到步骤143;

步骤143、判断Goriginal与G3的大小:若Goriginal<=G3,跳到步骤16;若Goriginal>G3,跳到步骤144;

步骤144、判断Goriginal与G4的大小:若Goriginal<=G4,跳到步骤16;若Goriginal>G4,跳到步骤15;

步骤15、k=[0,0,0,1],跳到步骤16;

步骤16、计算场景光照图I中该像素的数值(k(1)表示向量k的第1个元素,依此类推):

场景光照图I中该像素的数值

=I1中该像素的数值*k(1)+I2中该像素的数值*k(2)

+I3中该像素的数值*k(3)+I4中该像素的数值*k(4)

情况二、原始场景图像为彩色图像

有两种方法,得到的场景光照图像不同,对应的亮度均一计算方法亦有差别,以下分别说明:

方式一、按照灰度值进行亮度匹配

首先,将原始场景图像转为灰度图像;然后采用上述步骤11~步骤16得到场景光照图像,在此不再敷述。

方式二、按照RGB分量进行亮度匹配

步骤21、若原始场景图像不是RGB图像,先将其转为RGB图像;

步骤22、提取原始场景图像的R分量,按照类似上述步骤11~步骤16的方式,得到R分量的场景光照图IR

步骤23、提取原始场景图像的G分量,按照类似上述步骤11~步骤16的方式,得到G分量的场景光照图IG

步骤24、提取原始场景图像的B分量,按照类似上述步骤11~步骤16的方式,得到B分量的场景光照图IB

步骤25、将R分量的场景光照图IR、G分量的场景光照图IG和B分量的场景光照图IB合成得到对应实际场景的场景光照图像。

针对上述步骤S307,需要解释的是:使用步骤S305中得到的场景光照图对原始场景图像做亮度变换,达到亮度均一的目的。下面将分别说明灰度图像及彩色图像的亮度均一操作。

情况一、原始场景图像为灰度图像

按下述方法逐像素地计算亮度均一的场景图像:

亮度均一的场景图像=原始场景图像/场景光照图I

情况二、原始场景图像为彩色图像

因彩色图像亮度匹配中的两种方法所得到的场景光照图不同,故对应的步骤S307亮度均一处理的计算方法亦有差别,以下分别说明:

(1)当步骤S305中的亮度匹配按照“灰度值”进行时:

步骤31、按下述方法逐像素地计算亮度均一的场景图像R分量:

亮度均一的场景图像R分量=原始场景图像的R分量/场景光照图I;

步骤32、按下述方法逐像素地计算亮度均一的场景图像G分量:

亮度均一的场景图像G分量=原始场景图像的G分量/场景光照图I;

步骤33、按下述方法逐像素地计算亮度均一的场景图像B分量:

亮度均一的场景图像B分量=原始场景图像的B分量/场景光照图I;

步骤34、将亮度均一的场景图像R、G、B分量合成,得到亮度均一的场景图像。

(2)当步骤S305中的亮度匹配按照“RGB分量”进行时:

步骤41、按下述方法逐像素地计算亮度均一的场景图像R分量:

亮度均一的场景图像R分量=原始场景图像的R分量/场景光照图IR

步骤42、按下述方法逐像素地计算亮度均一的场景图像G分量:

亮度均一的场景图像G分量=原始场景图像的G分量/场景光照图I3

步骤43、按下述方法逐像素地计算亮度均一的场景图像B分量:

亮度均一的场景图像B分量=原始场景图像的B分量/场景光照图IB

步骤44、将亮度均一的场景图像R、G、B分量合成,得到亮度均一的场景图像。

下面结合图4~图12,以灰度图像和彩色图像为例分别介绍成像的过程。

<场景一>

参见图4A~图4D,图中示出了一组光照标定图,所展示的图像已经过缩放,其原始分辨率与原始场景图像分辨率相同。

参见图5,图中示出了一张原始场景图像,该图像为灰度图像,所展示的图像已经过缩放,其原始分辨率与光照标定图分辨率相同。

参见图6,图中示出了图5中的原始场景图像直接拼接得到的图像,图中环形阴影即为微透镜阵列成像中的亮度不均现象所导致。

参见图7,图中示出了图5中的原始场景图像的场景光照图像,亮度匹配所使用的光照标定图为图4A~图4D所示。

参见图8,图中示出了图5中的原始场景图像经过亮度均一化处理后,拼接得到的图像,微透镜阵列成像中的亮度不均现象已被消除。

<场景二>

参见图9,图中示出了一张原始场景图像,该图像为彩色图像,所展示的图像已经过缩放,其原始分辨率与光照标定图分辨率相同。

参见图10,图中示出了图9中的原始场景图像直接拼接得到的图像,图中环形阴影即为微透镜阵列成像中的亮度不均现象所导致。

参见图11,图中示出了图9中的原始场景图像的场景光照图,亮度匹配按照灰度值进行亮度匹配,所使用的光照标定图为图4A~图4D所示。

参见图12,图中示出了图9中的原始场景图像经过亮度均一化处理后,拼接得到的图像,微透镜阵列成像中的亮度不均现象已被消除。

第四实施例

参加图13,图中示出了第四实施例的微透镜阵列的成像装置,该成像装置140包括:第一模块131、第二模块133和第三模块135,其中

第一模块131用于通过微透镜阵列对实际场景进行拍摄,得到原始场景图像。

第二模块133用于将所述原始场景图像与预先存储的至少两个光照标定图像分别进行逐像素的亮度匹配,得到对应所述实际场景的场景光照图像,其中,所述至少两个光照标定图像为具有不同的亮度的灰度图像。

第三模块135用于利用所述场景光照图像对所述原始场景图像进行亮度均一化处理,得到亮度均一的场景图像。

继续参见图13,该成像装置还包括:第四模块137和存储模块139,其中,第四模块137用于通过所述微透镜阵列,在相同的曝光时间和相同的图像传感器配置下,对渐次改变光照强度的均匀发光光源获取至少两个光照标定图像;存储模块139用于将至少两个光照标定图像存储至存储设备中。

在本实施例中,第二模块133还用于对至少两个光照标定图像进行灰度线性变换。具体地,第二模块133具体用于逐个获取所述原始场景图像中第一像素的第一灰度值;逐个获取每个光照标定图像中与所述第一像素坐标相同的第二像素的第二灰度值;根据所述第一灰度值和第二灰度值,确定每个光照标定图像中与所述第一像素坐标相同的第二像素的第一权值;逐个获取所述经过灰度线性变换后的每个光照标定图像中与所述第一像素坐标相同的所述第二像素 的第二浮点灰度值;根据所述第二像素的第二浮点灰度值和所述第二像素的第一权值,逐像素计算出所述场景光照图像中与所述第一像素坐标相同的第三像素的第三浮点灰度值。

相应地,在本实施例中,第三模块135具体用于利用所述原始场景图像中所述第一像素的所述第一灰度值和所述场景光照图像中与所述第一像素坐标相同的所述第三像素的所述第三浮点灰度值,逐像素计算得到亮度均一的场景图像。

在本实施例中,当原始场景图像的类型为RGB图像时,第二模块133还用于:将原始场景图像转为灰度图像。

相应地,在本实施例中,当原始场景图像的类型为RGB图像时,第三模块135具体用于分别提取所述原始场景图像中的R图像、G图像和B图像;逐个获取所述R图像的第一R像素的第一R灰度值,所述G图像的第一G像素的第一G灰度值和所述B图像的第一B像素的第一B灰度值;利用所述R图像中所述第一R像素的所述第一R灰度值和所述场景光照图像中与所述第一R像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景R图像;利用所述G图像中所述第一G像素的所述第一G灰度值和所述场景光照图像中与所述第一G像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景G图像;利用所述B图像中所述第一B像素的所述第一B灰度值和所述场景光照图像中与所述第一B像素坐标相同的所述第三像素的第三浮点灰度值,计算得到亮度均一的场景B图像;合成所述亮度均一的场景R图像,所述亮度均一的场景G图像和所述亮度均一的场景B图像,得到亮度均一的场景图像。

在本实施例中,当原始场景图像的类型为RGB图像时,第二模块133具体用于分别提取所述原始场景图像中的R图像、G图像和B图像;逐个获取所述R图像中第一R像素的第一R灰度值、所述G图像中第一G像素的第一G灰度值和所述B图像中第一B像素的第一B灰度值;根据所述第一R灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一R像素坐标相同的第二像素的第一R权值;根据所述第一G灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一像素坐标相同的第二G像素的第一G权值;根据所述第一B 灰度值和所述第二灰度值,确定每个光照标定图像中与所述第一B像素坐标相同的第二像素的第一B权值;根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一R权值,逐像素计算出场景光照R图像中与所述第一像素坐标相同的第三R像素的第三R浮点灰度值;根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一G权值,逐像素计算出场景光照G图像中与所述第一像素坐标相同的第三像素的第三G浮点灰度值;根据所述第二像素的所述第二浮点灰度值和所述第二像素的所述第一B权值,逐像素计算出场景光照B图像中与所述第一像素坐标相同的第三像素的第三B浮点灰度值。

相应地,在本实施例中,当原始场景图像的类型为RGB图像时,第三模块135具体用于分别提取所述原始场景图像中的R图像、G图像和B图像;逐个获取所述R图像的第一R像素的第一R灰度值,所述G图像的第一G像素的第一G灰度值和所述B图像的第一B像素的第一B灰度值;利用所述R图像中所述第一R像素的所述第一R灰度值和所述场景光照R图像中与所述第一R像素坐标相同的所述第三像素的所述第三R浮点灰度值,计算得到亮度均一的场景R图像;利用所述G图像中所述第一G像素的所述第一G灰度值和所述场景光照G图像中与所述第一G像素坐标相同的所述第三像素的所述第三G浮点灰度值,计算得到亮度均一的场景G图像;利用所述B图像中所述第一B像素的所述第一B灰度值和所述场景光照B图像中与所述第一B像素坐标相同的所述第三像素的所述第三B浮点灰度值,计算得到亮度均一的场景B图像;合成所述亮度均一的场景R图像,所述亮度均一的场景G图像和所述亮度均一的场景B图像,得到亮度均一的场景图像。

在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中, 也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括如果干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出如果干改进和润饰,这些改进和润饰也在本发明的保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1