拍摄并拼接物件影像的方法
【专利摘要】一种拍摄并拼接物件影像的方法，包含下列步骤。放置一物件于工作平台上。根据一真实空间坐标系，决定物件的真实坐标。分别拍摄物件的不同区域，以取得多个影像。分别对每一个影像设定一影像坐标系。决定每一个影像坐标系与真实空间坐标系之间的坐标对应关系。透过坐标对应关系决定多个影像彼此间的位置相对关系。根据位置相对关系，拼接组合多个影像。相较于已知技术中，透过分析各个影像中重复的部份再加以拼接的方式，本发明的方法可以更准确的拼接影像。
【专利说明】拍摄并拼接物件影像的方法
【技术领域】
[0001]本发明是关于一种拍摄并拼接物件影像的方法，特别是一种透过辨别物件真实坐标与摄影机所拍摄影像的影像坐标之间的坐标对应关系，来进行影像拼接的方法。
【背景技术】
[0002]在当今的工业生产过程中，影像检测系统被大量的应用于自动化生产线上，进行诸如物件辨识、自动定位、尺寸量测等用途，以引导机械手臂，对生产平台上的元件，进行加工或制造程序，或是检测所生产的物件，是否符合尺寸、外观的高精度要求。
[0003]已知技术中，影像检测系统在配置上，除了会在生产线上或工具机台上，架设一台摄影机，对准所欲检测的物件，进行拍摄外，也会在摄影机的旁边，另外架设一组灯源，提供拍摄所需的光线。此外，还需组装相关的附属配件，例如搭配灯源使用的亮度控制器，或是连接相关的电源线路与调控线路。
[0004]一般而言，为了能更精确的检测产线上的待测物件，影像检测系统会以高解析度来拍摄物件影像。但是，当待测物件面积较大时，如果只用单一摄影机的镜头来拍摄整个物件的全部影像，因为所要撷取的画面区域扩大，镜头所需涵括的画面角度也随之增加，除了容易产生解析度下降的问题外，也容易造成影像边缘发生扭曲，导致整体影像画面失真。
[0005]为了解决上述问题，已知技术中会同时架设2-4台摄影机，对物件进行拍摄影像的动作。亦即，透过不同的摄影机，分别撷取待测物件不同区域的影像。再透过拼接技术，将所拍摄的多个影像重组起来，而得到完整的物件影像。
[0006]以目前常见的拼接技术为例，大多是透过软件运算的方式，分析各个影像的画面，并找出这些影像中重复的区域，接着再透过影像重叠，将重复的部份裁剪掉，以拼接出完整的物件影像。但是，此种以软件分析影像重叠的方式，其准确度往往差强人意。主要原因在于，当两个准备拼接的影像其重叠区域较小，并且缺乏比较显著的图案特征时，即便是透过软件计算画面重叠的区域，也变得相对困难，并导致拼接时可能发生的误差。
[0007]请参照图1A与图1B。图1A显示拍摄一测试片时，所得到发生球状扭曲的影像。其中，测试片上印刷了以矩阵排列的黑色圆形图案。由图1A的影像，可看到校正板边缘的黑色圆形图案严重扭曲。图1B则显示对图1A中发生扭曲的影像进行校正后，所得到的校正影像。由图1B来看，尽管已大幅修正影像周边扭曲的问题，但是整体而言，靠近影像周边区域的黑色圆形图案，仍然呈现形变的状况。
[0008]此外，在架设多台摄影机对物件进行拍摄时，由于物件上方的空间有限，因此这些摄影机的镜头方向，相对于物件所放置的平台，可能会呈现倾斜的拍摄角度，而非垂直朝下的拍摄物件。此倾斜的角度，也会使所拍摄的影像，发生扩张变形。请参照图2A与图2B。图2A显示当摄影机镜头以一倾斜角度拍摄平台上扑克牌时，所得到发生形变的影像。至于，图2B则显示对图2A中变形的影像进行校正后所得到的校正影像。
[0009]因为有上述可能导致影像扭曲变形的原因，使得拼接多个影像的工作，变得更加困难。需要先对影像画面进行校正，才能进行后续分析、裁剪影像重叠区域与拼接等步骤。请参照图3A至图3C。其中，图3A显示了一封装晶片的完整影像。图3B则显示了使用四台摄影机分别拍摄封装晶片不同区域所得到的四个影像。图3C则显示利用已知软件拼接的方式，对所撷取的四个影像，进行拼接后所得到的整体影像。由图3C可明显看出，拼接后所得到的封装晶片影像，有严重失真的问题。
【发明内容】
[0010]针对上述缺陷，本发明提供了一种拍摄并拼接出物件影像的方法，以有效的解决上述问题。
[0011]一种拍摄并拼接物件影像的方法，包含下列步骤。放置一物件于工作平台上。根据一真实空间坐标系，决定物件的真实坐标。分别拍摄物件的不同区域，以取得多个影像。分别对每一个影像设定一影像坐标系。决定每一个影像坐标系与真实空间坐标系之间的坐标对应关系。透过坐标对应关系决定多个影像彼此间的位置相对关系。根据位置相对关系，拼接组合多个影像。
[0012]在一较佳实施例中，本发明并提供了一种拍摄并拼接出物件影像的方法，包含下列步骤。放置一校正板于工作平台上，其中校正板上表面具有多个圆形图案，且每一个圆形图案皆包括一辨识图案，用以显示圆形图案其圆心在校正板上表面的真实坐标。分别拍摄校正板上表面的不同区域，以取得多个校正板影像，其中所述不同区域彼此间有所重叠。根据每一个校正板影像中所述多个圆形图案所具有的辨识图案，决定多个校正板影像彼此间的相对关系。移除校正板。放置一物件于工作平台上。分别拍摄物件以取得多个物件影像。根据多个校正板影像彼此间的相对关系，拼接多个物件影像。
[0013]本发明分别对所拍摄不同区域的物件影像，给予各别的影像坐标系，再透过找寻每一个影像坐标系与真实空间坐标系之间的坐标对应关系，决定多个影像彼此间的位置相对关系。如此，便可透过所得到的位置相对关系，拼接组合多个影像，得到所拍摄物件的完整影像。相较于已知技术中，透过分析各个影像中重复的部份再加以拼接的方式，本发明的方法可以更准确的拼接影像。
[0014]关于本发明所述的拍摄并拼接出物件影像的方法，可以通过以下发明详述及所附图示，得到进一步的了解。
【专利附图】
【附图说明】
[0015]图1A显示拍摄一测试片时，所得到发生球状扭曲的影像；
[0016]图1B显示对发生扭曲的影像进行校正后，所得到的校正影像；
[0017]图2A显示当摄影机镜头以一倾斜角度拍摄平台上扑克牌时，所得到发生形变的影像；
[0018]图2B显示对变形的影像进行校正后所得到的校正影像；
[0019]图3A显示一封装晶片的完整影像；
[0020]图3B显示使用四台摄影机分别拍摄封装晶片不同区域所得到的四个影像；
[0021]图3C则显示利用已知技术中以软件拼接的方式，对所撷取的四个影像，进行拼接后所得到的整体影像；
[0022]图4显示本发明所提供一种使用多台摄影机拍摄并拼接物件影像的方法流程；
[0023]图5显示在本发明一较佳实施例中所提供一种使用多台摄影机拍摄并拼接物件影像的方法流程；
[0024]图6显示本发明中实际架设多台摄影机于工作平台上方的情形；
[0025]图7显示本发明一实施例中所使用的校正板；
[0026]图8显示本发明中决定多个校正板影像彼此间的相对关系的详细步骤；
[0027]图9显示本发明中决定多个校正板影像彼此间的相对关系后的选择性步骤；
[0028]图1OA显示本发明中使用六台摄影机拍摄校正片不同区域的影像后，将所撷取的影像个别显示在荧幕上；且
[0029]图1OB显示本发明中将拼接后的完整校正片影像显示于荧幕上的情形。
[0030]附图标号:
[0031]步骤SOl ?S08
[0032]步骤SlO ?S70
[0033]工作平台 I
[0034]摄影机21、22、23、24
[0035]校正板 3
[0036]圆形图案30
[0037]辨识图案300
[0038]步骤S401 ?S405
[0039]步骤S41 ?S42。
【具体实施方式】
[0040]本发明提供一种拍摄并拼接出物件影像的方法。此方法是根据一真实空间坐标系，决定所拍摄物件的真实坐标，并且分别对所拍摄物件不同区域的影像，设定各别的影像坐标系。接着，透过找寻每一个影像坐标系与真实空间坐标系之间的坐标对应关系，决定多个影像彼此间的位置相对关系。如此，便可有效的拼接组合多个影像，而得到所拍摄物件的完整影像。
[0041]请参照图4，此图显示了本发明所提供一种拍摄并拼接物件影像的方法流程。
[0042]首先，执行步骤S01，架设多台摄影机于一工作平台上方。多台摄影机可以分别架设在不同的高度，并且摄影机的镜头可分别调整而具有不同的焦距。另外，由工作平台上方俯瞰时，多台摄影机的配置，约略呈现一矩阵排列，使各台摄影机分别对准不同的位置，拍摄不同的区域。
[0043]执行步骤S02，放置一物件于工作平台上。
[0044]接着，执行步骤S03，根据一真实空间坐标系，决定物件的真实坐标。其中，真实空间坐标系可以是空间中的任何坐标系。例如，可以是工作平台上表面所预设的坐标系。此夕卜，当所述物件为一校正板时，真实空间坐标系也可以是校正板上表面所预设的坐标系。换言之，真实空间坐标系，可以由操作者任意的选择或定义，以设定物件的真实坐标。
[0045]随后，执行步骤S04，使用多台摄影机分别拍摄物件的不同区域，以取得多个影像。在一实施例中，多台摄影机所拍摄的不同区域，彼此间会有所重叠，藉此可防止所拼接组合的物件影像产生断离或空白的邻接区域。不过，如果操作者原本就只要检测物件的某些特定区域，那么当然也可经过设定，使多台摄影机分别拍摄的不同区域间，完全没有重叠的区域，或是只有部份影像会有所重叠。
[0046]要特别说明的是，尽管在此实施例中，是透过架设多台摄影机于工作平台上方，分别拍摄物件的不同区域，得到多个影像，不过，随着产线环境的差异，也可以使用单一台摄影机来拍摄物件的不同区域。透过机械手臂来移动摄影机，可逐一拍摄物件的不同区域，而取得到多个影像。
[0047]接着，执行步骤S05，分别对每一个影像设定一影像坐标系。基本上，由于多台摄影机，可能分别架设在不同的高度，并且镜头的规格或调整的焦距也可能互不相同，因此，所撷取的多个影像，可能会具有不同的比例大小。考虑此种情形，可针对所撷取的每一个影像，透过设定分别给予一影像坐标系。一旦确认影像坐标系，影像画面中的任何位置，都可以用影像坐标来标示。
[0048]执行步骤S06，决定每一个影像坐标系与真实空间坐标系之间的坐标对应关系。基本上，只要透过逐一比对影像中物件特定位置的影像坐标与真实坐标，便可计算出影像坐标系与真实空间坐标系之间的坐标对应关系。
[0049]执行步骤S07，透过坐标对应关系，决定多个影像彼此间的位置相对关系。由于在前面步骤中，已取得多个影像各别的影像坐标系与真实空间坐标系之间的坐标对应关系，因此可取得多个影像各自的真实坐标，并确认这些影像彼此间的位置相对关系。
[0050]最后，执行步骤S08，根据位置相对关系，拼接组合多个影像。
[0051]在一较佳实施例中，本发明则提供一具有坐标辨识图案的校正板，并使用多台摄影机，拍摄校正板的影像，再透过辨识影像中图案所具有的坐标资讯，决定各台摄影机所拍摄影像间的位置相对关系。最后，可通过所得到的位置相对关系，来拼接组合影像。
[0052]请参照图5，此图显示了在一较佳实施例中，本发明所提供一种拍摄并拼接物件影像的方法流程。
[0053]首先，执行步骤S10，架设多台摄影机于一工作平台上方。执行步骤S20，放置一校正板于工作平台上。其中，校正板上表面具有多个圆形图案，且每一个圆形图案皆包括一辨识图案，用以显示圆形图案其圆心在校正板上表面的真实坐标。接着，执行步骤S30，操作多台摄影机，分别拍摄校正板上表面的不同区域，以取得多个校正板影像，其中不同区域彼此间有所重叠。随后，执行步骤S40，根据每一个校正板影像中，圆形图案所具有的辨识图案，决定多个校正板影像彼此间的相对关系。然后，执行步骤S50，移除校正板，并且放置一物件于工作平台上。执行步骤S60，操作多台摄影机，分别拍摄物件以取得多个物件影像。最后，执行步骤S70，根据多个校正板影像彼此间的相对关系，拼接多个物件影像。
[0054]要特别说明的是，在进行上述步骤S10，架设多台摄影机于工作平台上方时，这些摄影机可以分别架设在不同的高度，并且摄影机的镜头也能分别调整使其具有不同的焦距。由工作平台上方俯瞰时，多台摄影机的配置，概略会呈现一矩阵排列。
[0055]请同时参照图6，此图显示实际架设多台摄影机于工作平台上方的情形。如图所示，在工作平台I的上方，可同时架设四台摄影机21、22、23、24，来进行物件影像的拍摄。如同前述，此四台摄影机21、22、23、24，相较于工作平台1，各自具有不同的高度。当然，随着其高度的不同，这些摄影机21、22、23、24，也需要各自调整其镜头的焦距，以便能清晰的拍摄位于工作平台I上的物件影像。如果由工作平台I与摄影机21、22、23、24的上方俯瞰，四台摄影机21、22、23、24的位置，概略呈现一 2x2的矩阵排列，以分别用来撷取物件不同区域的影像。
[0056]此外，如同前述，此实施例中虽然也是透过架设多台摄影机于工作平台上方，分别拍摄物件的不同区域，得到多个影像。不过，随着产线环境的差异，也可以选择使用单一台摄影机来拍摄物件的不同区域，并透过机械手臂移动摄影机，逐一拍摄物件的不同区域，而得到多个影像。
[0057]换言之，在此实施例中，可能是使用四台摄影机21、22、23、24，分别撷取物件四个不同区域的影像。然而，也可以使用单一台摄影机，通过机械手臂的移动，分别拍摄物件的四个不同区域影像。甚至，在环境条件的需求下，也可能只架设两台摄影机，来撷取物件四个不同区域的影像。
[0058]请参照图7，此图显示了在一实施例中，放置于工作平台I上的校正板3。基本上，此校正板3可由纸张、纸板或塑胶片构成。在校正板3上表面印制了多个圆形图案30，并且多个圆形图案30是以矩阵方式排列分布于校正板3上表面。每一个圆形图案30皆包括一辨识图案300，用以显示圆形图案30其圆心在校正板3上表面的真实坐标。
[0059]在一较佳实施例中，上述圆形图案30中所具有的辨识图案300是由一维条码或二维条码所构成。其中，一维条码可包括Code-128与Code-39, 二维条码则可包括QR Code、PDF417与DataMatrix。当然，其它任何合适的条码，皆可应用作为此处的辨识图案使用。
[0060]在完成步骤S30，取得校正板3上表面不同区域的校正板影像之后，接着进行步骤S40，根据每一个校正板影像中，圆形图案30所具有的辨识图案300，决定多个校正板影像彼此间的相对关系。
[0061]请参照图8，此图显示了步骤S40所包括的细部分解步骤。在一较佳实施例中，步骤S40更可细分为下列步骤:
[0062]首先，执行步骤S401，辨识每一个校正板影像中该些圆形图案30所具有的辨识图案300，以得到该些圆形图案30其圆心的真实坐标。基本上，只要透过影像分析，即可辨识圆形图案30中的辨识图案300，并得到圆形图案30其圆心的真实坐标。并且，可通过计算出圆心的真实坐标，得知影像中的每一个圆形图案30，实际上应该对应到校正板3上表面的那一个位置。
[0063]其次，可执行步骤S402，根据每一个校正板影像中各个圆形图案30其圆心的真实坐标，对校正板影像中发生扩张或扭曲变形的部份进行修正。
[0064]要特别指出的是，受制于摄影机21、22、23、24其镜头相对于校正板3的拍摄角度、以及镜头所涵括影像画面的角度范围，所拍摄的影像可能会有前述变形或扭曲的情形。但是，因为校正板3上分布着以矩阵排列的圆形图案30，所以只要透过分析影像中的辨识图案300，便可确认校正板影像中各个圆形图案30其圆心的坐标。如此，可轻易的藉由所得到校正板影像中各个圆形图案30的圆心坐标，调整或修正影像中发生扩张或扭曲的部份，而达成校正影像变形的效果。另外，要特别说明的是，此步骤S042基本上为一选择性步骤，可视所撷取的校正板影像，是否发生严重的扩张或扭曲变形，来决定是否执行。
[0065]接着，执行步骤S403，决定多个校正板影像彼此间的相对关系。由于每一个校正板影像中，各个圆形图案30其圆心的真实坐标已得知，因此可确知此校正板影像对应于校正板3上表面的真实位置，而得以进一步确认数个校正板影像彼此间的相对关系。
[0066]随后，执行步骤S404，决定该多个校正板影像彼此间的比例关系。值得注意的是，由于多个校正板影像是分别由数台摄影机21、22、23、24所拍摄，随着摄影机的高度、镜头规格或所调整焦距的差异，皆可能使所撷取的校正板影像具有不同的比例与大小。然而，由于得知每一个校正板影像中各个圆形图案30其圆心坐标，因此可以进一步确认数个校正板影像彼此间的比例关系。
[0067]最后，执行步骤S405，决定多个校正板影像彼此间重叠的区域范围。换言之，在步骤S40中所决定的相对关系，至少包括了多个校正板影像彼此间的位置关系、比例关系以及彼此重叠的区域范围。
[0068]基本上，在完成上述步骤S40后，即可直接执行步骤S50，移除校正板3并放置待测物件于工作平台I上，然后开始操作多台摄影机21、22、23、24，对待测物件进行拍摄与拼接影像的程序。但是，为了让操作者能确认并检视前述步骤S40的结果，请参照图9所显示的流程，在步骤S40完成后，选择性的执行步骤S41与步骤S42。其中步骤S41为拼接多个校正板影像，以得到一完整影像。至于，步骤S42则是将拼接后的完整影像显示于一荧幕上，供操作者检视。
[0069]换言之，在完成上述步骤SlO至步骤S40，为了方便操作者检视多台摄影机21、22、23、24其所拍摄影像彼此间的位置、比例、重叠范围等相对关系，并且检视拼接后的完整影像，可对所拍摄的校正板影像进行拼接，并直接显示于荧幕上。操作者在检视确认无误后，便可针对欲检测的物件进行影像拍摄与拼接组合的程序。
[0070]请参照图1OA与图10B。图1OA显示了使用六台摄影机拍摄校正片不同区域的影像后，将所撷取的影像个别显示在荧幕上。至于，图1OB则显示了将拼接后的完整校正片影像显示于荧幕上的情形。
[0071]本发明所提供拍摄并拼接出物件影像的方法，相较于已知技术中影像拼接的方法，具有相当的优点。本发明分别对所拍摄不同区域的物件影像，给予各别的影像坐标系，再透过找寻每一个影像坐标系与真实空间坐标系之间的坐标对应关系，决定多个影像彼此间的位置相对关系。如此，便可透过所得到的位置相对关系，拼接组合多个影像，得到所拍摄物件的完整影像。相较于已知技术中，透过分析各个影像中重复的部份再加以拼接的方式，本发明的方法可以更准确的拼接影像。
[0072]本发明虽以较佳实例阐明如上，然其并非用以限定本发明的精神与发明实体仅止于上述实施例尔。是以，在不脱离本发明的精神与范围内所作的修改，均应包括在申请专利范围内。
【权利要求】
1.一种拍摄并拼接物件影像的方法，其特征是，所述拍摄并拼接物件影像的方法包含下列步骤: 放置一物件于一工作平台上； 根据一真实空间坐标系，决定所述物件的真实坐标； 分别拍摄所述物件的不同区域，以取得多个影像； 分别对每一个所述影像设定一影像坐标系； 决定每一个所述影像坐标系与所述真实空间坐标系之间的坐标对应关系； 透过所述坐标对应关系决定所述多个影像彼此间的位置相对关系；且 根据所述位置相对关系，拼接组合所述多个影像。
2.如权利要求1所述拍摄并拼接物件影像的方法，其特征是，所述真实空间坐标系为所述工作平台上表面所预设的坐标系。
3.如权利要求1所述拍摄并拼接物件影像的方法，其特征是，所述物件为一校正板，且所述真实空间坐标系为所述校正板上表面所预设的坐标系，所述校正板上表面具有多个圆形图案，每一个所述圆形图案皆包括一辨识图案，用以显示所述圆形图案其圆心在所述校正板上表面的真实坐标。
4.如权利要求1所述拍摄并拼接物件影像的方法，其特征是，所述拍摄并拼接物件影像的方法更包括架设多台摄影机于所述工作平台上方的步骤，以操作所述多台摄影机分别拍摄所述物件的不同区域。
5.如权利要求1所述拍摄并拼接物件影像的方法，其特征是，上述所拍摄所述物件的不同区域彼此间有所重叠。
6.一种拍摄并拼接物件影像的方法，其特征是，所述拍摄并拼接物件影像的方法包含下列步骤: 放置一校正板于一工作平台上，其中所述校正板上表面具有多个圆形图案，且每一个所述圆形图案皆包括一辨识图案，用以显示所述圆形图案其圆心在所述校正板上表面的真实坐标； 分别拍摄所述校正板上表面的不同区域，以取得多个校正板影像，其中所述不同区域彼此间有所重置； 根据每一个所述校正板影像中所述多个圆形图案所具有的所述辨识图案，决定所述多个校正板影像彼此间的相对关系； 移除所述校正板； 放置一物件于所述工作平台上； 分别拍摄所述物件以取得多个物件影像；且 根据所述多个校正板影像彼此间的相对关系，拼接所述多个物件影像。
7.如权利要求6所述拍摄并拼接物件影像的方法，其特征是，所述拍摄并拼接物件影像的方法更包括架设多台摄影机于所述工作平台上方的步骤，以操作所述多台摄影机分别拍摄所述校正板或分别拍摄所述物件。
8.如权利要求6所述拍摄并拼接物件影像的方法，其特征是，所述根据每一个所述校正板影像中所述多个圆形图案所具有的所述辨识图案，决定所述多个校正板影像彼此间相对关系的步骤，更包括: 辨识每一个所述校正板影像中所述多个圆形图案所具有的所述辨识图案，以得到所述多个圆形图案其圆心的真实坐标； 根据所述多个圆形图案其圆心的真实坐标，对所述校正板影像中发生变形的部份进行修正； 决定所述多个校正板影像彼此间的位置相对关系； 决定所述多校正板影像彼此间的比例关系；且 决定所述多个校正板影像彼此重叠的区域范围。
9.如权利要求6所述拍摄并拼接物件影像的方法，其特征是，所述相对关系包括所述多个校正板影像彼此间的位置关系、比例关系以及重叠的区域范围。
10.如权利要求6所述拍摄并拼接物件影像的方法，其特征是，在决定所述多个校正板影像彼此间的相对关系后，所述拍摄并拼接物件影像的方法更包括: 拼接所述多个校正板影像，以得到一完整影像；且 将所述完整影像显示于一荧幕上，供操作者检视。
【文档编号】H04N5/232GK104168414SQ201310183277
【公开日】2014年11月26日 申请日期:2013年5月17日 优先权日:2013年5月17日
【发明者】李正道 申请人:光道视觉科技股份有限公司