一种基于多芯片的超景深成像方法及系统与流程

1.本发明涉及机器视觉检测领域，尤其涉及一种基于多芯片的超景深成像方法及系统。


背景技术：

2.相机是一种把景物光像转变为电信号的装置。景深(dof)是指在相机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围，也就是在保证得到清晰图像时物体能够在其空间前后移动的最大距离。图像在景深外模糊，景深内清晰。光圈、镜头及拍摄物的距离是影响景深的重要因素，传统相机只能拍摄单点景深的图像。但在医疗、生物、工业生产等应用领域，常常需要同时拍入前景、中景、后景形成超景深三维可视化立体图像，这可以使用景深合成技术实现。
3.传统相机只能进行平面拍照，无法3d微观成像，只能定性无法定量。具有确定相对孔径的光学系统只能对有限景深范围内的物体进行清晰成像。而超出景深范围的物体经过两个光学元件的两次反射之后，聚焦于探测器靶面，形成超景深鬼像光斑，大大降低了对比度。
4.目前3d超景深合成图像是通过相机从最低处向最高处或从最高处到最低处按照设置的间隔距离依次对焦，并自动将不同距离拍摄的多张图像进行合成，以获得整体显示清晰的超景深图像。这种拍照方式具有对焦缓慢、操作困难、图像位置偏移等问题。


技术实现要素：

5.本发明所要解决的技术问题是：提供一种基于多芯片的超景深成像方法。
6.为了解决上述技术问题，本发明采用的第一技术方案为：
7.一种基于多芯片的超景深成像方法，包括以下步骤：
8.s1、接收一路待采集物所对应的入射光；
9.s2、将所述入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；
10.s3、将步骤s2得到的多路图像信息进行景深合成处理，得到超景深图像。
11.本发明采用的第二技术方案为：
12.一种基于多芯片的超景深成像系统，包括一个或多个处理器及存储器，所述存储器存储有程序，该程序被处理器执行时实现以下步骤：
13.s1、接收一路待采集物所对应的入射光；
14.s2、将所述入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；
15.s3、将步骤s2得到的多路图像信息进行景深合成处理，得到超景深图像。
16.本发明的有益效果在于：
17.本发明提供的一种基于多芯片的超景深成像方法及系统，通过将接收到的一路待
采集物所对应的入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；再将多路图像信息进行景深合成处理，得到超景深图像。采用本技术方案，能够一次性同时采集多个不同物距位置的景深图像，无需反复对焦采集图像，然后通过图像融合算法对采集的图像进行处理，即可得到高清晰度的超景深图像。
附图说明
18.图1为本发明的一种基于多芯片的超景深成像方法的步骤流程图；
19.图2为本发明的超景深多芯片集成相机的成像原理图；
20.图3为本发明的一种基于多芯片的超景深成像系统的结构框图；
21.标号说明：
22.1、远景物体；
23.2、中景物体；
24.3、近景物体；
25.4、光学镜头；
26.5、分光棱镜a；
27.6、scmos图像传感器a；
28.7、scmos图像传感器b；
29.8、分光棱镜b；
30.9、scmos图像传感器c；
31.10、分光棱镜c；
32.11、计算机；
33.12、处理器；
34.13、存储器。
具体实施方式
35.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
36.请参照图1，本发明提供的一种基于多芯片的超景深成像方法，包括以下步骤：
37.s1、接收一路待采集物所对应的入射光；
38.s2、将所述入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；
39.s3、将步骤s2得到的多路图像信息进行景深合成处理，得到超景深图像。
40.从上述描述可知，本发明的有益效果在于：
41.本发明提供的一种基于多芯片的超景深成像方法，通过将接收到的一路待采集物所对应的入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；再将多路图像信息进行景深合成处理，得到超景深图像。采用本技术方案，能够一次性同时采集多个不同物距位置的景深图像，无需反复对焦采集图像，然后通过图像融合算法对采集的图像进行处理，即可得到高清晰度的超景深图
像。
42.进一步的，步骤s2中分别对多路分散光按照各自对应的景深范围进行图像采集，具体为：
43.设置两个以上的景深范围，且每个景深范围均不重合；
44.根据多路分散光采集到多幅图像数据，根据每幅图像数据所对应的景深范围遍历各自图像数据中的每一个像素点，提取出位于所述景深范围内的像素点，生成对应的子图像数据；
45.步骤s3具体为：
46.将步骤s2得到的多幅子图像数据进行景深合成处理，得到一幅超景深图像。
47.由上述描述可知，通过上述方式，能够得到多幅不同景深范围的子图像数据，并通过景深合成处理得到高清晰度的超景深图像。
48.进一步的，步骤s2中的分散光的路数为三路。
49.由上述描述可知，三路的分散光分别对应远景、中景和近景，以适用于超景深场景。
50.进一步的，还包括：
51.设置步骤s2中的多路分散光对应的景深范围中相邻两个景深范围具有重叠部分，且所述重叠部分不超过预设阈值。
52.由上述描述可知，通过上述方式，可进一步优化合成效果。由于景深范围存在重叠部分，因而针对多幅子图像数据中重叠的部分采用均值法进行优化。
53.参阅图3，本发明还提供的一种基于多芯片的超景深成像系统，包括一个或多个处理器12及存储器13，所述存储器13存储有程序，该程序被处理器12执行时实现以下步骤：
54.s1、接收一路待采集物所对应的入射光；
55.s2、将所述入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；
56.s3、将步骤s2得到的多路图像信息进行景深合成处理，得到超景深图像。
57.从上述描述可知，本发明的有益效果在于：
58.本发明提供的一种基于多芯片的超景深成像系统，通过将接收到的一路待采集物所对应的入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；再将多路图像信息进行景深合成处理，得到超景深图像。采用本技术方案，能够一次性同时采集多个不同物距位置的景深图像，无需反复对焦采集图像，然后通过图像融合算法对采集的图像进行处理，即可得到高清晰度的超景深图像。
59.进一步的，该程序被处理器执行时具体实现以下步骤：
60.设置两个以上的景深范围，且每个景深范围均不重合；
61.根据多路分散光采集到多幅图像数据，根据每幅图像数据所对应的景深范围遍历各自图像数据中的每一个像素点，提取出位于所述景深范围内的像素点，生成对应的子图像数据；
62.将步骤s2得到的多幅子图像数据进行景深合成处理，得到一幅超景深图像。
63.由上述描述可知，通过上述方式，能够得到多幅不同景深范围的子图像数据，并通
过景深合成处理得到高清晰度的超景深图像。
64.进一步的，该程序被处理器执行时实现以下步骤：
65.步骤s2中的分散光的路数为三路。
66.由上述描述可知，三路的分散光分别对应远景、中景和近景，以适用于超景深场景。
67.进一步的，该程序被处理器执行时实现以下步骤：
68.设置步骤s2中的多路分散光对应的景深范围中相邻两个景深范围具有重叠部分，且所述重叠部分不超过预设阈值。
69.由上述描述可知，通过上述方式，可进一步优化合成效果。由于景深范围存在重叠部分，因而针对多幅子图像数据中重叠的部分采用均值法进行优化。
70.请参照图1和图2，本发明的实施例一为：
71.本发明提供的一种基于多芯片的超景深成像方法，包括以下步骤：
72.s1、接收一路待采集物所对应的入射光；
73.s2、将所述入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；步骤s2中的分散光的路数为三路，三路的分散光分别对应远景、中景和近景。
74.其中，步骤s2中分别对多路分散光按照各自对应的景深范围进行图像采集，具体为：
75.设置两个以上的景深范围，且每个景深范围均不重合；
76.根据多路分散光采集到多幅图像数据，根据每幅图像数据所对应的景深范围遍历各自图像数据中的每一个像素点，提取出位于所述景深范围内的像素点，生成对应的子图像数据；
77.s3、将步骤s2得到的多路图像信息进行景深合成处理，得到超景深图像。
78.步骤s3具体为：
79.将步骤s2得到的多幅子图像数据进行景深合成处理，得到一幅超景深图像。
80.如图2，在本实施例中，提供一超景深多芯片集成相机，包括光学镜头4、光学棱镜分光系统和3个图像传感器；
81.所述光学镜头4与相机前端接口连接；具体的，光学镜头的光圈、焦距可调，光学镜头的接口为c型接口，与相机前端c型接口进行匹配连接。本实施例选择镜头的光圈数值f为5.6，焦距f为200mm。
82.所述光学棱镜分光系统由三个分光棱镜组合构成，其作用是将一束入射光分成三束不同方向的分散光，分散光的出射方向垂直于分光棱镜的出射面。具体的，三个分光棱镜分别为分光棱镜a 5、分光棱镜b 8和分光棱镜c 10；分光棱镜a对应的下顶角取值范围为20
°
～40
°
，分光棱镜b对应的下顶角取值范围为60
°
～80
°
，分光棱镜c对应的上顶角取值范围为10
°
～30
°
。
83.所述光学棱镜分光系统的中心与光学镜头的中心对齐设置，三束分散光的方向分别为：一束光与入射光共线水平射出，另外两束光分别从上下两个方向射出。根据光的反射和折射原理，入射光线首先由分光棱镜c分出一束水平光和一束向下的分散光；由分光棱镜c射出的水平光再入射至分光棱镜a分出一束水平光和一束向上的分散光；分光棱镜a射出
的水平光最终入射至分光棱镜b后水平射出。
84.所述3个图像传感器分别正对3束分散光进行远景物体1、中景物体2、近景物体3的图像采集，采集的图像传输至计算机11(pc机)经图像算法处理合成高清晰度的超景深图像。
85.3个图像传感器的类型为高灵敏度、低噪声、宽动态范围、高帧速率的科学级cmos(scmos)图像传感器，其规格参数完全相同。3个scmos图像传感器感光面分别正对三束分散光设置。3个图像传感器同时拍摄3个不同出射方向光的图像。
86.具体的，scmos图像传感器的入射方式为背照式，可制冷，芯片尺寸为1.2inch，像素尺寸为6.5μm，分辨率为2048
×
2048，位深为16bit，支持2
×
2或4
×
4的binning模式。
87.具体的，scmos图像传感器a 6的光敏面与水平方向的夹角取值范围为20
°
～40
°
，scmos图像传感器b 7的光敏面与水平方向垂直，scmos图像传感器c 9的光敏面与水平方向的夹角10
°
～30
°
。
88.3个图像传感器的位置与光学镜头对应等效像距大小不同，在给定焦距的情况下，可使3个图像传感器对应拍摄物体的3个不同位置的景深，从而达到扩大景深的目的。
89.scmos图像传感器a的等效像距v1短，对应的物距u1为远景物体，其景深为dof1；scmos图像传感器b的像距v2适中，对应的物距u2为中景物体，其景深为dof2；scmos图像传感器c的等效像距v2长，对应的物距u3为近景物体，其景深为dof3。
90.具体的，取物距u1、u2、u3的值分别为3024mm、3000mm、2976.5mm。根据成像公式可计算：
[0091][0092]
得出等效像距v1、v2、v3的值分别为214.16mm、214.28mm、214.41mm。
[0093]
根据蔡斯公司制定的标准，由scmos芯片对角线长度d为18.8mm，计算容许弥散圆直径为：
[0094][0095]
计算得到δ的值为0.01mm。
[0096]
根据以下公式可计算得到相机的景深：
[0097][0098]
最终计算得到景深dof1、dof2、dof3的数值分别为23.9mm、23.5mm、23.2mm。
[0099]
上述的超景深多芯片集成相机的性能参数，如下表1所示：
[0100]
物距(mm)像距(mm)景深数值(mm)2976.5214.4123.23000.0214.2823.53024.0214.1623.9
[0101]
表1
[0102]
相机的总景深小于或等于3个图像传感器分别对应的景深范围之和，两个相邻景
深之间可出现重叠部分。本实施例中，相机的总景深为70.6mm，相较于相同条件下只采用单个scmos芯片的景深23～24mm得到了有效扩展。
[0103]
进一步的，还包括：
[0104]
设置步骤s2中的多路分散光对应的景深范围中相邻两个景深范围具有重叠部分，且所述重叠部分不超过预设阈值。可进一步优化合成效果。由于景深范围存在重叠部分，因而针对多幅子图像数据中重叠的部分采用均值法进行优化。
[0105]
在本方案的步骤s3中的图像处理算法是采用景深合成算法，其中心思想是通过提取由3个scmos图像传感器采集的3幅图像中聚焦相对清晰的区域，然后对这些区域按其位置进行聚焦清晰度比较、图像融合处理，最终形成一幅新的各区域都清晰的全景深的图像。景深合成算法通过清晰度比较算法，去除每层图像中的景深外模糊部分，保留每层图像中景深内清晰部分，最终通过保留下的具有高度数据的清晰部分，实现3d重构成像。
[0106]
其中，所述图像处理算法采用的景深合成算法是基于空间域的图像融合算法，通过直接分析原始图像像素的空间特征息对图像像素进行融合，简化了计算过程，明显提高了计算的速度。
[0107]
请参照图3，本发明的实施例二为：
[0108]
本发明还提供的一种基于多芯片的超景深成像系统，包括一个或多个处理器12及存储器13，所述存储器13存储有程序，该程序被处理器12执行时实现以下步骤：
[0109]
s1、接收一路待采集物所对应的入射光；
[0110]
s2、将所述入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；
[0111]
s3、将步骤s2得到的多路图像信息进行景深合成处理，得到超景深图像。
[0112]
进一步的，该程序被处理器执行时具体实现以下步骤：
[0113]
设置两个以上的景深范围，且每个景深范围均不重合；
[0114]
根据多路分散光采集到多幅图像数据，根据每幅图像数据所对应的景深范围遍历各自图像数据中的每一个像素点，提取出位于所述景深范围内的像素点，生成对应的子图像数据；
[0115]
将步骤s2得到的多幅子图像数据进行景深合成处理，得到一幅超景深图像。
[0116]
进一步的，该程序被处理器执行时实现以下步骤：
[0117]
步骤s2中的分散光的路数为三路。
[0118]
进一步的，该程序被处理器执行时实现以下步骤：
[0119]
设置步骤s2中的多路分散光对应的景深范围中相邻两个景深范围具有重叠部分，且所述重叠部分不超过预设阈值。
[0120]
综上所述，本发明提供的一种基于多芯片的超景深成像方法及系统，通过将接收到的一路待采集物所对应的入射光划分为多路不同方向的分散光并分别对多路分散光按照各自对应的景深范围进行图像采集，得到多路图像信息；再将多路图像信息进行景深合成处理，得到超景深图像。采用本技术方案，能够一次性同时采集多个不同物距位置的景深图像，无需反复对焦采集图像，然后通过图像融合算法对采集的图像进行处理，即可得到高清晰度的超景深图像。
[0121]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发
明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。