生成物品的三维线图的方法及三维线图生成装置及三维形状检查装置与流程

本公开涉及一种生成物品的三维线图的方法及三维线图生成装置以及三维形状检查装置的结构。

背景技术：

1、已公开有如下方法：经由显微镜利用电荷耦合(charge-coupled-device，ccd)照相机从左右两个方向拍摄固定于xy平台上的接合线，基于左右的图像数据算出接合线的三维坐标(例如参照专利文献1)。在专利文献1所记载的方法中，公开有如下内容：预先登录衬垫与引线的位置，在衬垫至引线之间设定包括导线的中心线的小区域，从所述小区域中检测导线的轮廓，重复进行上述操作，由此检测导线的中心线的位置，并基于此生成导线的三维线图。

2、而且，专利文献2中记载有如下内容：利用照相机从左右两个方向拍摄导线，通过使用导线与基板的连接信息、及导线的粗细程度信息的图案匹配，由各照相机所拍摄的二维图像生成导线的三维线图。

3、现有技术文献

4、专利文献

5、专利文献1：日本专利特开平10-54709号公报

6、专利文献2：国际公开2020/217970号

技术实现思路

1、发明所要解决的问题

2、另外，近年来，要求对将半导体芯片的电极与基板的电极连接的全部导线的形状进行测定。然而，在专利文献1、专利文献2所记载的导线的形状测定方法中，对于多条导线，需要逐条进行图像分析而生成导线的三维线图，难以在短时间内进行多条导线的形状测定。

3、而且，要求以高精度检测导线的形状。然而，导线的接合位置的信息包括基板的应变、半导体裸片的接合误差、打线接合的接合位置的误差等各种误差。因此，如专利文献1、专利文献2所记载那样，在基于预先登录的衬垫与引线的位置或连接点信息生成三维线图的情况下，误差大，难以高精度地生成导线的三维线图。

4、因此，本公开的目的在于高精度地生成包括导线的多数物品的三维线图，并且高精度地在短时间内进行物品的形状检查。

5、解决问题的技术手段

6、本公开的方法是基于从垂直上方拍摄三维物品所获得的垂直视图图像与从多个斜上方拍摄物品所获得的多个立体图像生成物品的三维线图的方法，其特征在于包括：垂直视图线图生成步骤，提取垂直视图图像中的轮廓线，生成物品的垂直视图线图；线图转换步骤，基于包括物品的高度信息的形状参数，将垂直视图线图分别转换为多个立体线图，重复执行形状参数的调整与垂直视图线图向各立体线图的转换直至转换后的各立体线图与各立体图像重叠；及线图合成步骤，将所生成的垂直视图线图与经转换的各立体线图合成，而生成物品的三维线图。

7、如上所述，通过重复执行形状参数的调整与垂直视图线图向各立体线图的转换直至各立体线图与各立体图像重叠，而能够生成与各立体图像准确地拟合的各立体线图。由此，能够高精度且高效地生成物品的三维线图。

8、在本公开的方法中，可为物品是包括多个组件及将各组件之间连接的多条导线的装置，垂直视图线图生成步骤提取垂直视图图像中的各组件与各导线的各轮廓线，生成装置的垂直视图线图，形状参数为各组件距基准面的高度、各组件的表面的斜率、及各导线的弯折参数。

9、由此，能够高精度且高效地生成包括多个组件及将各组件之间连接的多条导线的装置的三维线图。

10、在本公开的方法中，可为垂直视图线图生成步骤将使用者所描绘的垂直视图图像中的轮廓线生成为垂直视图线图，线图转换步骤基于使用者所输入的调整后的形状参数，进行垂直视图线图向各立体线图的转换。

11、如上所述，由于将使用者所描绘的垂直视图图像的轮廓线生成为垂直视图线图，故而即便为图像处理困难的垂直视图图像，也能够确实地生成垂直视图线图。而且，由于通过使用者的输入来调整形状参数，故而可生成使用者所期待的立体线图。由此，能够高精度且高效地生成使用者所期待的物品的三维线图。

12、而且，在本公开的方法中，可为物品是包括多个组件及将各组件之间连接的多条导线的装置，垂直视图线图生成步骤将使用者所描绘的垂直视图图像中的各组件与各导线的各轮廓线生成为装置的垂直视图线图，形状参数为各组件距基准面的高度、各组件的表面的斜率、及各导线的弯折参数。

13、由此，通过使用者输入少量参数，能够高精度且高效地生成包括多个组件及将各组件之间连接的多条导线的装置的三维线图。

14、在本公开的方法中，可为各导线在起点与终点之间分别具有多个弯折点，弯折参数为各导线所具有的各弯折点的各三维坐标位置，各弯折点的各三维坐标位置分别为由基准面的面内从导线的起点向终点延伸的长度方向轴、基准面的面内从导线的起点起沿着与长度方向轴正交的方向延伸的横向轴、及穿过起点而沿着与基准面垂直的方向延伸的高度方向轴所构成的坐标系中的长度方向坐标位置、横向坐标位置及高度方向坐标位置的组。

15、在利用多条导线将一组件与另一组件连接的情况下，由于各导线从起点起的上升与弯曲形状相同，故而多条导线中能够使用一个弯折参数将导线的垂直视图线图高效地转换为立体线图。由此，能够在短时间内高效地生成导线的三维线图。

16、在本公开的方法中，各弯折点的各三维坐标位置可包括三维比例坐标位置，所述三维比例坐标位置为和起点与终点之间的导线全长成比例的比例长度方向坐标位置、与导线全长成比例的比例横向坐标位置、及与导线全长成比例的比例高度方向坐标位置的组。

17、在利用多条导线将一组件与另一组件连接的情况下，各导线的终点侧的弯折点的位置设定为与导线的全长成比例的位置。因此，通过规定相对于导线全长的比率作为弯折参数，而能够规定多条导线的终点侧的弯折点的位置。并且，能够利用少量形状参数规定多条导线的形状，可简便地对形状参数进行调整，能够在短时间内高效地生成与各导线的各立体图像准确地拟合的各导线的各立体线图。

18、在本公开的方法中，可为垂直视图线图生成步骤将多条导线分组为包括起点所位于的组件、终点所位于的组件、及粗细程度共通的导线的多个组，并且提取垂直视图图像中的各组件与各导线的各轮廓线，生成装置的垂直视图线图，弯折参数包括各组分别规定的多个组别弯折参数，线图转换步骤基于各组别弯折参数，将各组所包括的各导线的各垂直视图线图分别转换为多个立体线图，重复执行各组的各组别弯折参数的调整与各组所包含的导线的各垂直视图线图向各立体线图的转换直至各组所包括的各导线的转换后的各立体线图与各组所包括的各导线的各立体图像重叠。

19、在本公开的方法中，可为垂直视图线图生成步骤将多条导线分组为包括起点所位于的组件、终点所位于的组件、及粗细程度共通的导线的多个组，并且提取垂直视图图像中的各组件与各导线的各轮廓线，生成装置的垂直视图线图，弯折参数包括各组分别规定的多个组别弯折参数，线图转换步骤基于各组别弯折参数，将各组所包括的各导线的各垂直视图线图分别转换为多个立体线图，其后，基于使用者所输入的调整后的各组别弯折参数，进行各组所包括的各导线的各垂直视图线图向各立体线图的转换。

20、在起点所位于的组件、终点所位于的组件、及粗细程度共通的导线中，导线的形状类似。因此，通过将导线分组，而能够利用少量弯折参数生成与各导线的各立体图像拟合的各导线的各立体线图。

21、在本公开的方法中，可为分为一组的多条导线在起点与终点之间分别具有多个弯折点，组别弯折参数为分为一组的各导线所共通具有的各弯折点的各三维坐标位置，各弯折点的各三维坐标位置分别为由基准面的面内从导线的起点向终点延伸的长度方向轴、基准面的面内从导线的起点起沿着与长度方向轴正交的方向延伸的横向轴、及穿过起点而沿着与基准面垂直的方向延伸的高度方向轴所构成的坐标系中的长度方向坐标位置、横向坐标位置及高度方向坐标位置的组。

22、在起点所位于的组件、终点所位于的组件、及粗细程度共通的导线中，各导线从起点起的上升与弯曲形状相同。因此，在包含于一组中的导线中，可使用一个组别弯折参数生成与各导线的各立体图像拟合的各导线的各立体线图。

23、在本公开的方法中，各弯折点的各三维坐标位置可包括三维比例坐标位置，所述三维比例坐标位置为和起点与终点之间的导线全长成比例的比例长度方向坐标位置、与导线全长成比例的比例横向坐标位置、及与导线全长成比例的比例高度方向坐标位置的组。

24、在起点所位于的组件、终点所位于的组件、及粗细程度共通的导线中，各导线的终点侧的弯折点的位置设定为与导线的全长成比例的位置。因此，通过规定相对于导线全长的比率作为弯折参数，而能够规定多条导线的终点侧的弯折点的位置。因此，能够利用少量形状参数规定包含于一组中的多条导线的形状，而可简便地对形状参数进行调整，能够在短时间内生成与各导线的各立体图像准确地拟合的各导线的各立体线图。

25、本公开的三维线图生成装置为生成三维物品的三维线图的三维线图生成装置，其特征在于：包括控制部，所述控制部基于拍摄物品所获得的图像生成物品的三维线图，控制部获得从垂直上方拍摄物品所获得的垂直视图图像、及从多个斜上方拍摄物品所获得的多个立体图像，提取物品的垂直视图图像中的轮廓线，生成物品的垂直视图线图，基于包括储存于存储部中的物品的高度信息的形状参数，将垂直视图线图分别转换为多个立体线图，重复执行形状参数的调整与垂直视图线图向各立体线图的转换直至转换后的各立体线图与各立体图像重叠，将所生成的垂直视图线图及与各立体图像重叠的各立体线图合成，而生成三维线图。

26、如上所述，通过重复执行形状参数的调整与垂直视图线图向各立体线图的转换直至各立体线图与各立体图像重叠，而能够生成与各立体图像准确地拟合的各立体线图。由此，能够高精度且高效地生成物品的三维线图。

27、在本公开的三维线图生成装置中，可为物品是包括多个组件及将各组件之间连接的多条导线的装置，控制部提取垂直视图图像中的各组件与各导线的各轮廓线，生成装置的垂直视图线图，形状参数为各组件距基准面的高度、各组件的表面的斜率、及各导线的弯折参数。

28、由此，能够高精度且高效地生成包括多个组件及将各组件之间连接的多条导线的装置的三维线图。

29、在本公开的三维线图生成装置中，可为包括：显示部，显示图像与线图；及输入部，由使用者输入数据，控制部将物品的垂直视图图像显示于显示部，将使用者操作输入部所描绘的垂直视图图像中的轮廓线生成为垂直视图线图，基于使用者从输入部输入的调整后的形状参数，进行垂直视图线图向各立体线图的转换，将转换后的各立体线图与各立体图像重合显示于显示部，重复执行上述步骤。

30、如上所述，由于将使用者描绘于显示部的垂直视图图像的轮廓线生成为垂直视图线图，故而即便为图像处理困难的垂直视图图像，也能够确实地生成垂直视图线图。而且，由于通过使用者的输入来调整形状参数，将转换后的各立体线图与各立体图像重合显示于显示部，故而使用者能够一边将转换后的各立体线图与各立体图像加以比较，一边调整形状参数直至两者重叠，而可生成使用者所期待的立体线图。由此，能够高精度且高效地生成使用者所期待的物品的三维线图。

31、在本公开的三维线图生成装置中，可为物品是包括多个组件及将各组件之间连接的多条导线的装置，控制部将使用者操作输入部所描绘的垂直视图图像中的各组件与各导线的各轮廓线生成为装置的垂直视图线图，形状参数为各组件距基准面的高度、各组件的表面的斜率、及各导线的弯折参数。

32、由此，通过使用者输入少量参数，能够高精度且高效地生成包括多个组件及将各组件之间连接的多条导线的装置的三维线图。

33、在本公开的三维线图生成装置中，可为各导线在起点与终点之间分别具有多个弯折点，弯折参数为各导线所具有的各弯折点的各三维坐标位置，各弯折点的各三维坐标位置分别为由基准面的面内从导线的起点向终点延伸的长度方向轴、基准面的面内从导线的起点起沿着与长度方向轴正交的方向延伸的横向轴、及穿过起点而沿着与基准面垂直的方向延伸的高度方向轴所构成的坐标系中的长度方向坐标位置、横向坐标位置及高度方向坐标位置的组。

34、在利用多条导线将一组件与另一组件连接的情况下，由于各导线从起点起的上升与弯曲形状相同，故而多条导线中能够使用一个弯折参数将导线的垂直视图线图转换为立体线图。由此，能够通过使用者输入少量参数而高效地生成导线的三维线图。

35、在本公开的三维线图生成装置中，各弯折点的各三维坐标位置可包括三维比例坐标位置，所述三维比例坐标位置为和起点与终点之间的导线全长成比例的比例长度方向坐标位置、与导线全长成比例的比例横向坐标位置、及与导线全长成比例的比例高度方向坐标位置的组。

36、在起点所位于的组件、终点所位于的组件、及粗细程度共通的导线中，各导线的终点侧的弯折点的位置设定为与导线的全长成比例的位置。因此，通过规定相对于导线全长的比率作为弯折参数，能够规定全长不同的多条导线的终点侧的弯折点的位置。因此，能够通过使用者输入少量形状参数而规定包含于一组中的多条导线的形状。

37、在本公开的三维线图生成装置中，可为控制部将多条导线分组为包括起点所位于的组件、终点所位于的组件、及粗细程度共通的导线的多个组，并且提取垂直视图图像中的轮廓线，生成物品的垂直视图线图，储存于存储部中的弯折参数包括各组分别规定的多个组别弯折参数，控制部基于储存于存储部中的各组别弯折参数，将各组所包括的各导线的各垂直视图线图分别转换为多个立体线图，重复执行各组的各组别弯折参数的调整与各组所包含的导线的各垂直视图线图向各立体线图的转换直至各组所包括的各导线的转换后的各立体线图与各组所包括的各导线的各立体图像重叠。

38、在本公开的三维线图生成装置中，可为控制部将多条导线分组为包括起点所位于的组件、终点所位于的组件、及粗细程度共通的导线的多个组，并且将使用者操作输入部所描绘的垂直视图图像中的各组件与各导线的各轮廓线生成为装置的垂直视图线图，储存于存储部中的弯折参数包括各组分别规定的多个组别弯折参数，控制部基于各组别弯折参数，将各组所包括的各导线的各垂直视图线图分别转换为多个立体线图，其后，基于使用者从输入部输入的调整后的各组别弯折参数，进行各组所包括的各导线的各垂直视图线图向各立体线图的转换，将转换后的各立体线图与各立体图像重合显示于显示部，重复执行上述步骤。

39、在起点所位于的组件、终点所位于的组件、及粗细程度共通的导线中，导线的形状类似。因此，通过将导线分组，而可通过使用者输入少量弯折参数生成与各导线的各立体图像拟合的各导线的各立体线图。

40、在本公开的三维线图生成装置中，可为分为一组的多条导线在起点与终点之间分别具有多个弯折点，组别弯折参数为分为一组的各导线所共通具有的各弯折点的各三维坐标位置，各弯折点的各三维坐标位置分别为由基准面的面内从导线的起点向终点延伸的长度方向轴、基准面的面内从导线的起点起沿着与长度方向轴正交的方向延伸的横向轴、及穿过起点而沿着与基准面垂直的方向延伸的高度方向轴所构成的坐标系中的长度方向坐标位置、横向坐标位置及高度方向坐标位置的组。

41、在起点所位于的组件、终点所位于的组件、及粗细程度共通的导线中，各导线从起点起的上升与弯曲形状相同。因此，在包含于一组中的导线中，可通过使用者调整一个组别弯折参数，而生成与各导线的各立体图像拟合的各导线的各立体线图。

42、在本公开的三维线图生成装置中，各弯折点的各三维坐标位置可包括三维比例坐标位置，所述三维比例坐标位置为和起点与终点之间的导线全长成比例的比例长度方向坐标位置、与导线全长成比例的比例横向坐标位置、及与导线全长成比例的比例高度方向坐标位置的组。

43、由此，能够通过使用者输入少量参数，而生成与各导线的各立体图像拟合的各导线的各立体线图。

44、本公开的三维形状检查装置为进行三维物品的形状检查的三维形状检查装置，其特征在于包括：主三维线图生成部，生成物品的标准品的主三维线图；及检查部，将物品的三维线图与主三维线图加以比较，而对物品进行检查，主三维线图生成部获得从垂直上方拍摄标准品所获得的标准垂直视图图像、及从多个斜上方拍摄标准品所获得的多个标准立体图像，提取标准品的标准垂直视图图像中的轮廓线，生成标准品的标准垂直视图线图，基于包括储存于存储部中的标准品的高度信息的形状参数，将标准垂直视图线图分别转换为多个标准立体线图，重复执行形状参数的调整及标准垂直视图线图向各标准立体线图的转换直至转换后的各标准立体线图与各标准立体图像重叠，将所生成的标准垂直视图线图及与各标准立体图像重叠的各标准立体线图合成，生成主三维线图，检查部获得从垂直上方拍摄物品所获得的垂直视图图像、及从多个斜上方拍摄物品所获得的多个立体图像，一边参照主三维线图一边从垂直视图图像提取轮廓线，而生成物品的垂直视图线图，一边参照主三维线图一边从各立体图像分别提取轮廓线，生成物品的多个立体线图，将垂直视图线图与各立体线图合成，生成物品的三维线图，将所生成的物品的三维线图与主三维线图加以比较，对物品的三维形状进行检查。

45、如上所述，通过重复执行形状参数的调整及标准垂直视图线图向各标准立体线图的转换直至各标准立体线图与各标准立体图像重叠，而能够生成与各标准立体图像准确地拟合的各标准立体线图。由此，能够高精度地生成物品的主三维线图。并且，由于通过参照高精度的主三维线图生成物品的三维线图，并与主三维线图加以比较，而对物品的形状进行检查，故而能够在短时间内高精度地对包括导线的多数物品的形状进行检查。

46、在本公开的三维形状检查装置中，可为物品及标准品是包括多个组件及将各组件之间连接的多条导线的装置，主三维线图生成部提取标准垂直视图图像中的各组件与各导线的各轮廓线，生成装置的标准垂直视图线图，形状参数为各组件距基准面的高度、各组件的表面的斜率、及各导线的弯折参数。

47、由此，能够高精度地生成包括多个组件及将各组件之间连接的多条导线的装置的三维线图，而在短时间内高精度地对包括导线的多数物品的形状进行检查。

48、在本公开的三维形状检查装置中，可为包括：显示部，显示图像与线图；及输入部，由使用者输入数据，主三维线图生成部将标准品的标准垂直视图图像显示于显示部，将使用者操作输入部所描绘的标准垂直视图图像中的轮廓线生成为标准垂直视图线图，基于使用者从输入部输入的调整后的形状参数，进行标准垂直视图线图向各标准立体线图的转换，将转换后的各标准立体线图与各标准立体图像重合显示于显示部，重复执行上述步骤。

49、在本公开的三维形状检查装置中，可为物品及标准品是包括多个组件及将各组件之间连接的多条导线的装置，主三维线图生成部将使用者操作输入部所描绘的标准垂直视图图像中的各组件与各导线的各轮廓线生成为装置的标准垂直视图线图，形状参数为各组件距基准面的高度、各组件的表面的斜率、及各导线的弯折参数。

50、在本公开的三维形状检查装置中，可为各导线在起点与终点之间分别具有多个弯折点，弯折参数为各导线所具有的各弯折点的各三维坐标位置，各弯折点的各三维坐标位置分别为由基准面的面内从导线的起点向终点延伸的长度方向轴、基准面的面内从导线的起点起沿着与长度方向轴正交的方向延伸的横向轴、及穿过起点而沿着与基准面垂直的方向延伸的高度方向轴所构成的坐标系中的长度方向坐标位置、横向坐标位置及高度方向坐标位置的组。

51、在本公开的三维形状检查装置中，各弯折点的各三维坐标位置可包括三维比例坐标位置，所述三维比例坐标位置为和起点与终点之间的导线全长成比例的比例长度方向坐标位置、与导线全长成比例的比例横向坐标位置、及与导线全长成比例的比例高度方向坐标位置的组。

52、在本公开的三维形状检查装置中，可为主三维线图生成部将多条导线分组为包括起点所位于的组件、终点所位于的组件、及粗细程度共通的导线的多个组，并且提取标准品的标准垂直视图图像中的轮廓线，生成标准品的标准垂直视图线图，储存于存储部中的弯折参数包括各组分别规定的多个组别弯折参数，主三维线图生成部基于各组别弯折参数，将各组所包括的各导线的各标准垂直视图线图分别转换为多个标准立体线图，重复执行各组的各组别弯折参数的调整与各组所包含的导线的各标准垂直视图线图向各标准立体线图的转换直至各组所包括的各导线的转换后的各标准立体线图与各组所包括的各导线的各标准立体图像重叠。

53、在本公开的三维形状检查装置中，可为主三维线图生成部将多条导线分组为包括起点所位于的组件、终点所位于的组件、及粗细程度共通的导线的多个组，并且将使用者操作输入部所描绘的标准垂直视图图像中的各组件与各导线的各轮廓线生成为标准品的垂直视图线图，储存于存储部中的弯折参数包括各组分别规定的多个组别弯折参数，主三维线图生成部基于各组别弯折参数，将各组所包括的各导线的各标准垂直视图线图分别转换为多个标准立体线图，其后，基于使用者从输入部输入的调整后的各组别弯折参数，各组所包括的各导线的各进行标准垂直视图线图向各标准立体线图的转换，将转换后的各标准立体线图与各标准立体图像重合显示于显示部，重复执行上述步骤。

54、在本公开的三维形状检查装置中，可为分为一组的多条导线在起点与终点之间分别具有多个弯折点，组别弯折参数为分为一组的各导线所共通具有的各弯折点的各三维坐标位置，各弯折点的各三维坐标位置分别为由基准面的面内从导线的起点向终点延伸的长度方向轴、基准面的面内从导线的起点起沿着与长度方向轴正交的方向延伸的横向轴、及穿过起点而沿着与基准面垂直的方向延伸的高度方向轴所构成的坐标系中的长度方向坐标位置、横向坐标位置及高度方向坐标位置的组。

55、在本公开的三维形状检查装置中，各弯折点的各三维坐标位置可包括三维比例坐标位置，所述三维比例坐标位置为和起点与终点之间的导线全长成比例的比例长度方向坐标位置、与导线全长成比例的比例横向坐标位置、及与导线全长成比例的比例高度方向坐标位置的组。

56、发明的效果

57、本公开能够高精度地生成包括导线的多数物品的三维线图，并且高精度地在短时间内进行物品的形状检查。