立体图像获取方法、装置、检测系统及介质与流程

本公开涉及图像识别，特别是涉及一种立体图像获取方法、装置、检测系统及介质。

背景技术：

1、随着集成电路制造工艺的快速发展，市场对半导体产品的性能及质量的要求越来越高。在芯片制程的重要工艺步骤中，需要利用专门的摄像装置获取芯片的扫描图像，经由分析扫描图像来判断芯片是否存在缺陷，进而反馈到改进对应的工艺步骤来改善芯片缺陷。

2、然而，由于芯片内部结构十分复杂，且有一定纵深结构，如果摄像装置拍摄图像的质量或精度不够，导致获取的图像在微观尺度下遗漏多维细节特征，对半导体工艺问题分析判断不准确，严重影响半导体产品的性能及可靠性。

技术实现思路

1、基于此，有必要提供一种立体图像获取方法、装置、检测系统及介质，能够有效获取包括拍摄目标对象的全视场角多维细节信息的高质量图像，提高对拍摄目标对象深度三维结构信息的获取感知能力。

2、根据本公开的各种实施例，第一方面提供一种立体图像获取方法，包括：在拍摄光场满足预设视场亮度检测规则要求的情况下，获取第一摄像模组拍摄目标对象的第一初始图像，及第二摄像模组以预设焦距在不同拍摄条件下拍摄目标对象的第二初始图像，第二摄像模组的光轴与第一摄像模组的光轴成第一预设锐角；根据预设侧面图像合成规则对第二初始图像进行像素级融合处理，得到侧面融合图像；根据第一初始图像、侧面融合图像获取目标立体图像。

3、上述实施例中的立体图像获取方法，在拍摄光场满足预设视场亮度检测规则要求的情况下，获取第一摄像模组拍摄目标对象正面的第一初始图像，并获取第二摄像模组以预设焦距在不同拍摄条件下拍摄目标对象侧面的第二初始图像；避免产生因拍摄光场的环境参数不符合拍摄需求导致获取图像质量差的问题；由于第二摄像模组的光轴与第一摄像模组的光轴成第一预设锐角，第二摄像模组再以第一摄像模组的光轴为中心轴旋转一定的角度后，再次拍摄目标对象侧面，以获取覆盖目标对象全视场特征信息的高质量图像；再根据预设侧面图像合成规则对第二初始图像进行像素级融合处理，得到包括目标对象多角度、多维深度细节信息的侧面融合图像，然后根据第一初始图像、侧面融合图像获取目标立体图像，从而有效获取包括拍摄目标对象的全视场角多维细节信息的高质量图像，提高对拍摄目标对象深度三维结构信息的获取感知能力。

4、根据一些实施例，立体图像获取方法还包括如下执行预设视场亮度检测规则的步骤：若拍摄光场的实时光强位于预设光强范围内，则判定拍摄光场亮度满足要求，控制第一摄像模组拍摄目标对象的第一初始图像及第二摄像模组以预设焦距拍摄目标对象的第二初始图像；若拍摄光场的实时光强位于预设光强范围外或拍摄进程延迟，则触发预设亮暗自适应调节规则至拍摄光场亮度满足要求。

5、根据一些实施例，立体图像获取方法还包括如下执行预设亮暗自适应调节规则的步骤：控制自适应调节装置执行调整光圈动作、调整光强动作及调整曝光时间动作中的至少一种；控制第二摄像模组以预设焦距拍摄目标对象的实时图像；若实时图像的清晰度满足预设要求，则输出第二初始图像；反之，则继续执行预设亮暗自适应调节规则。

6、根据一些实施例，立体图像获取方法还包括如下控制第二摄像模组拍摄目标对象的实时图像的步骤：控制自动调焦装置自动调焦到第一焦距后，再控制第二摄像模组拍摄目标对象的实时图像；控制自动调焦装置自动调焦到第二焦距后，再控制第二摄像模组拍摄目标对象的实时图像；控制自动调焦装置自动调焦到第三焦距后，再控制第二摄像模组拍摄目标对象的实时图像；第二焦距为最佳焦距f，第一焦距为负焦距-1/3f～-1/4f，第三焦距为正焦距1/4f～1/3f。

7、根据一些实施例，第二初始图像包括第一子初始图像、第二子初始图像及第三子初始图像；立体图像获取方法还包括如下控制第二摄像模组拍摄目标对象的实时图像的步骤：在控制自动调焦装置自动调焦到第一焦距后，控制第二摄像模组以第一曝光时间拍摄目标对象的多张第一子初始图像；在控制自动调焦装置自动调焦到第二焦距后，控制第二摄像模组以第二曝光时间拍摄目标对象的一张第二子初始图像；在控制自动调焦装置自动调焦到第三焦距后，控制第二摄像模组以第三曝光时间拍摄目标对象的多张第三子初始图像；第一曝光时间>第二曝光时间>第三曝光时间。

8、根据一些实施例，立体图像获取方法还包括如下执行预设侧面图像合成规则的步骤：获取包括目标对象的图像特征最多的第三子初始图像作为短时曝光图像；采用预设画质提升算法或预设图像深度融合算法对第一子初始图像、第二子初始图像进行像素级选择对比融合，得到长时曝光图像，及对短时曝光图像及长时曝光图像进行像素级选择对比融合，得到侧面融合图像。

9、根据一些实施例，立体图像获取方法还包括如下执行预设图像深度融合算法的步骤：采用预设图像降噪算法对长时曝光图像、短时曝光图像进行预处理，得到降噪后图像；以第一摄像模组拍摄第一初始图像的坐标系为基坐标系，获取第二摄像模组拍摄第二初始图像的坐标系与基坐标系之间的转换矩阵；根据转换矩阵获取降噪后图像对第一初始图像的配准图像；对配准图像分别进行均值滤波处理，并根据预设权重设定规则对分解得到的像素点分配权重；根据权重对配准图像的低频轮廓、中频层次及高频细节进行加权融合，得到侧面融合图像。

10、根据一些实施例，立体图像获取方法还包括如下执行预设权重设定规则的步骤：

11、根据如下公式获取像素点(i，j)的权重wk：

12、dk＝αgk+(1-α)gavg；

13、ik＝β1gl，(i，j)+β2gs，(i，j)；

14、wk＝dk*ik*sk；

15、上式中，dk为第k幅图像的局部清晰度参数，α为增强因子，gk为第k幅图像的灰度图对比度值，gavg为通过均值滤波处理后的灰度图对比度值，ik为第k幅图像的曝光时长，sk为第k幅图像的图像饱和度参数，gl，(i，j)为所述长时曝光图像中的细节像素点，gs，(i，j)为所述短时曝光图像中的细节像素点，β1、β2为比例系数，β1+β2＝1。

16、根据一些实施例，第一预设锐角为15°-30°。

17、根据一些实施例，第二摄像模组包括深度相机；第一摄像模组包括投影模块；立体图像获取方法还包括：控制投影模块将格雷码或相移条纹投影到目标对象上；获取目标对象的深度图像；根据深度图像获取目标对象的深度结构信息。

18、根据本公开的各种实施例，本公开的第二方面提供一种立体图像获取装置，包括第一摄像模组、第二摄像模组及控制器，第二摄像模组的光轴与第一摄像模组的光轴成第一预设锐角；控制器与第一摄像模组、第二摄像模组均连接，被配置为执行本公开的第一方面的各实施例的立体图像获取方法，例如被配置为：在拍摄光场满足预设视场亮度检测规则要求的情况下，获取第一摄像模组拍摄目标对象的第一初始图像，及第二摄像模组以预设焦距在不同拍摄条件下拍摄目标对象的第二初始图像；根据预设侧面图像合成规则对第二初始图像进行像素级融合处理，得到侧面融合图像；根据第一初始图像、侧面融合图像获取目标立体图像。

19、根据一些实施例，立体图像获取装置还包括旋转组件，旋转组件用于在垂直于第一摄像模组的光轴的平面内旋转；其中，第二摄像模组经由旋转组件与第一摄像模组连接，用于跟随旋转组件旋转。

20、根据一些实施例，旋转组件包括可旋转轮盘及悬臂梁，可旋转轮盘的旋转轴与第一摄像模组的光轴平行或共线；悬臂梁的一端与可旋转轮盘连接且另一端与第二摄像模组连接。

21、根据一些实施例，第二摄像模组包括第一子摄像模组及第二子摄像模组；悬臂梁包括第一子悬臂梁及第二子悬臂梁，第一子悬臂梁的一端与可旋转轮盘连接且另一端与第一子摄像模组连接；第二子悬臂梁的一端与可旋转轮盘连接且另一端与第二子摄像模组连接；其中，第一子悬臂梁、第二子悬臂梁位于第一摄像模组的光轴的相对两侧。

22、根据一些实施例，控制器被配置为：获取拍摄命令，响应于拍摄命令执行预设视场亮度检测规则；其中，执行预设视场亮度检测规则包括：若拍摄光场的实时光强位于预设光强范围内，则判定拍摄光场亮度满足要求，控制第一摄像模组拍摄目标对象的第一初始图像及第二摄像模组以预设焦距拍摄目标对象的第二初始图像；若拍摄光场的实时光强位于预设光强范围外或拍摄进程延迟，则触发预设亮暗自适应调节规则至拍摄光场亮度满足要求。

23、根据一些实施例，第二摄像模组还包括自适应调节装置，自适应调节装置与控制器连接；控制器还被配置为：在执行预设亮暗自适应调节规则期间，控制自适应调节装置执行调整光圈动作、调整光强动作及调整曝光时间动作中的至少一种；控制第二摄像模组以预设焦距拍摄目标对象的实时图像；若实时图像的清晰度满足预设要求，则输出第二初始图像；反之，则继续执行预设亮暗自适应调节规则。

24、根据一些实施例，第二摄像模组包括自动调焦装置，自动调焦装置与控制器连接；控制器还被配置为：控制自动调焦装置自动调焦到第一焦距后，再控制第二摄像模组拍摄目标对象的实时图像；控制自动调焦装置自动调焦到第二焦距后，再控制第二摄像模组拍摄目标对象的实时图像；控制自动调焦装置自动调焦到第三焦距后，再控制第二摄像模组拍摄目标对象的实时图像；所述第二焦距为最佳焦距f，所述第一焦距为负焦距-1/3f～-1/4f，所述第三焦距为正焦距1/4f～1/3f。

25、根据一些实施例，第二摄像模组包括与控制器连接的深度相机；第一摄像模组包括投影模块，用于将格雷码或相移条纹投影到目标对象上；所述控制器还被配置为：获取所述目标对象的深度图像；根据所述深度图像获取所述目标对象的深度结构信息。

26、根据一些实施例，第二摄像模组包括广角摄像模组及/或长焦摄像模组，广角摄像模组与控制器连接，且焦距为8mm-10mm；长焦摄像模组与控制器连接，且焦距为15mm-20mm。

27、根据一些实施例，本公开的第三方面提供一种检测系统，包括支撑件、处理器及本公开任一个实施例中立体图像获取装置，支撑件用于承载目标对象，所述目标对象包括半导体结构；立体图像获取装置用于获取半导体结构的目标立体图像；处理器用于根据目标立体图像判断半导体结构是否存在缺陷或者对应的工艺步骤是否存在缺陷来源。

28、根据一些实施例，本公开的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本公开中任一个实施例中立体图像获取方法的步骤。