部件贴装状态的检查方法、印刷电路板检查装置及计算机可读记录介质与流程

本公开涉及用于检查部件的贴装状态的方法、印刷电路板检查装置及计算机可读记录介质。

背景技术：

一般而言，在印刷电路板上利用表面贴装技术(smt：surfacemountertechnology)的制造工序中，丝网印刷机将焊膏印刷于印刷电路板，贴装机将部件贴装于印刷有焊膏的印刷电路板。

另外，为了检查在印刷电路板贴装的部件的贴装状态，利用了自动光学外观检查装置(aoi:automatedopticalinspection)。aoi装置利用关于印刷电路板的拍摄图像，检查部件是否在印刷电路板上无位置脱离、翘起、倾斜等地正常贴装。

另一方面，在aoi装置生成印刷电路板相关图像的过程中，会发生照射于印刷电路板的光的多重反射，或在图像传感器对接收的光进行处理的过程等中发生噪声。即，会多样地发生光学噪声及信号性噪声，如此发生的噪声如果不减少，则aoi装置生成的印刷电路板拍摄图像的品质将会低下。如果印刷电路板拍摄图像的品质低下，则无法准确执行利用印刷电路板拍摄图像检查印刷电路板贴装的部件的贴装状态。

技术实现要素：

要解决的技术问题

本公开可以提供一种利用基于部件相关深度信息(depthinformation)而获得的减小了噪声的部件相关深度信息来检查部件的贴装状态的印刷电路板检查装置。

本公开可以提供一种计算机可读记录介质，所述计算机可读记录介质记录了包括可执行命令的程序，所述可执行命令使得利用基于部件相关深度信息而获得的减小了噪声的部件相关深度信息来检查部件的贴装状态。

本公开可以提供一种利用基于部件相关深度信息而获得的减小了噪声的部件相关深度信息来检查部件的贴装状态的方法。

解决问题的手段

根据本公开的一个实施例，检查印刷电路板上贴装的部件的贴装状态的印刷电路板检查装置可以包括：多个第一光源，所述多个第一光源向所述部件照射图案光；图像传感器，所述图像传感器接收从所述部件反射的图案光；存储器，所述存储器存储有基于机器学习的模型，当从多个第二光源照射的图案光中利用从第一客体反射的图案光而生成的与所述第一客体相关的第一深度信息被输入至所述基于机器学习的模型时，所述基于机器学习的模型输出减小了噪声的所述第一深度信息；及处理器；所述处理器可以利用借助于所述图像传感器而接收的从所述部件反射的所述图案光，生成与所述部件相关的第二深度信息，将所述第二深度信息输入至所述基于机器学习的模型中，从所述基于机器学习的模型获得减小了噪声的所述第二深度信息；利用减小了所述噪声的所述第二深度信息，检查所述部件的贴装状态。

在一个实施例中，所述基于机器学习的模型可以利用与所述第二客体相关的第三深度信息及与所述第二客体相关的第四深度信息进行学习，以便输出减小了噪声的第三深度信息，基于所述学习结果，当被输入所述第一深度信息时，则输出减小了所述噪声的所述第一深度信息，其中，所述与第二客体相关的第三深度信息，是利用从所述多个第二光源照射的图案光中的从第二客体反射的图案光而生成，所述与第二客体相关第四深度信息，是利用从多个第三光源照射的图案光中的从所述第二客体反射的图案光而生成。

在一个实施例中，所述多个第二光源的数量可以与所述多个第一光源的数量相同，所述多个第三光源的数量可以大于所述多个第一光源的数量。

在一个实施例中，所述基于机器学习的模型可以包括cnn(convolutionneuralnetwork：卷积神经网络)或gan(generativeadversarialnetwork：生成性对抗网络)。

在一个实施例中，所述处理器可以利用减小了所述噪声的所述第二深度信息，生成与所述第二部件相关的三维图像，并利用所述与第二部件相关的三维图像，检查所述部件的贴装状态。

在一个实施例中，当对所述基于机器学习的模型还输入与所述第一客体相关的可见性(visibility)信息，所述机器学习的模型还可以利用所述可见性信息，输出减小了所述噪声的第一深度信息。

在一个实施例中，所述基于机器学习的模型可以利用与所述第二客体相关的第三深度信息、与所述第二客体相关的可见性信息及与所述第二客体相关的第四深度信息进行学习，以便输出减小了噪声的所述第三深度信息，基于所述学习结果，当所述第一深度信息及与部件相关的可见性信息被输入至所述基于机器学习的模型时，输出减小了所述噪声的所述第一深度信息，其中，与所述第二客体相关的第三深度信息，是利用从所述多个第二光源照射的图案光中的从第二客体反射的图案光而生成，所述与第二客体相关的可见性信息，是利用从所述多个第二光源照射的所述图案光中的从所述第二客体反射的图案光而生成，所述与第二客体相关的第四深度信息，是利用从多个第三光源照射的图案光中的从所述第二客体反射的图案光而生成。

在一个实施例中，所述处理器可以利用借助于所述图像传感器而接收的从所述部件反射的所述图案光，生成与所述部件相关的可见性信息，还将所述与部件相关的可见性信息输入至所述基于机器学习的模型。

根据本公开一个实施例，检查印刷电路板上贴装的部件的贴装状态的印刷电路板检查装置可以包括：多个第一光源，所述多个第一光源向所述部件照射图案光；图像传感器，所述图像传感器接收从所述部件反射的图案光；存储器，所述存储器存储有基于机器学习的模型当从多个第二光源照射的图案光中利用从第一客体反射的图案光而生成的与所述第一客体相关的多个深度信息被输入至所述基于机器学习的模型时，基于与所述第一客体相关的多个深度信息而生成与所述第一客体相关的第一深度信息，所述基于机器学习的模型输出减小了噪声的所述第一深度信息；及处理器；所述处理器可以利用借助于所述图像传感器而接收的从所述部件反射的所述图案光，生成与所述部件相关的多个深度信息，将所述与部件相关的多个深度信息输入至所述基于机器学习的模型中，从所述基于机器学习的模型获得减小了噪声的第二深度信息；利用减小了所述噪声的所述第二深度信息，检查所述部件的贴装状态，其中，所述第二深度信息基于所述与部件相关的多个深度信息并借助于所述基于机器学习的模型而生成。

根据一个实施例，所述基于机器学习的模型可以利用与所述第二客体相关的多个第三深度信息及与所述第二客体相关第四深度信息进行学习，以便输出减小了噪声的所述第三深度信息，基于所述学习结果，当被输入与所述第一客体相关的多个深度信息时，生成所述第一深度信息，并输出减小了所述噪声的所述第一深度信息，其中，所述与第二客体相关的第三深度信息，是利用从所述多个第二光源照射的图案光中，从第二客体反射的图案光而生成的与所述第二客体相关的多个深度信息而生成，与所述第二客体相关的第四深度信息，是利用从所述第三深度信息及多个第三光源照射的图案光中，从所述第二客体反射的图案光而生成。

根据一个实施例，所述多个第二光源的数量可以与所述多个第一光源的数量相同，所述多个第三光源的数量可以大于所述多个第一光源的数量。

根据一个实施例，作为记录了用于在计算机上执行的程序的非暂时性计算机可读记录介质，其中，所述程序在借助于处理器而运行时，使得所述处理器执行：控制多个第一光源而使其向贴装在印刷电路板上的部件照射图案光的步骤；利用借助于图像传感器而接收的从所述部件反射的所述图案光来生成所述与部件相关的第一深度信息的步骤；将所述第一深度信息输入至基于机器学习的模型的步骤；从所述基于机器学习的模型获得减小了噪声的所述第一深度信息的步骤；及利用减小了所述噪声的所述第一深度信息来检查所述部件的贴装状态的步骤；对所述基于机器学习的模型输入从多个第二光源照射的图案光中利用从第一客体反射的图案光而生成的与所述第一客体相关的第一深度信息，则输出减小了噪声的所述第一深度信息。

根据一个实施例，所述基于机器学习的模型可以利用与所述第二客体相关的第三深度信息及与所述第二客体相关的第四深度信息进行学习，并输出减小了噪声的第三深度信息，基于所述学习结果，当被输入第一深度信息时，输出减小了所述噪声的所述第一深度信息，其中，所述与第二客体相关的第三深度信息，是利用从所述多个第二光源照射的图案光中，从第二客体反射的图案光而生成，所述与第二客体相关的第四深度信息，是利用从多个第三光源照射的图案光中，从所述第二客体反射的图案光而生成。

根据一个实施例，所述多个第二光源的数量可以与所述多个第一光源的数量相同，所述多个第三光源的数量可以大于所述多个第一光源的数量。

根据一个实施例，所述基于机器学习的模型可以包括cnn(convolutionneuralnetwork：卷积神经网络)或gan(generativeadversarialnetwork：生成性对抗网络)。

根据一个实施例，所述可执行命令使所述处理器还执行：利用减小了所述噪声的所述第二深度信息来生成与所述第二部件相关的三维图像的步骤；及利用与所述第二部件相关的三维图像来检查所述部件的贴装状态的步骤。

根据一个实施例，当对所述基于机器学习的模型还输入与所述第一客体相关的可见性信息时，所述机器学习的模型还利用所述可见性信息，输出减小了所述噪声的第一深度信息。

根据一个实施例，所述可执行命令使所述处理器还执行：利用借助于所述图像传感器而接收的从所述部件反射的所述图案光来生成与所述部件相关的可见性信息的步骤；及还将所述与部件相关的可见性信息输入至所述基于机器学习的模型的步骤。

根据本公开的一个实施例，一种部件贴装状态检查方法，通过印刷电路板检查装置检查部件的贴装状态，所述方法包括：控制多个第一光源而使其向贴装在印刷电路板上的部件照射图案光的步骤；利用借助于图像传感器而接收的从所述部件反射的所述图案光来生成与所述部件相关的第一深度信息的步骤；将所述第一深度信息输入至基于机器学习的模型的步骤；从所述基于机器学习的模型获得减小了噪声的所述第一深度信息的步骤；及利用减小了所述噪声的所述第一深度信息来检查所述部件的贴装状态的步骤；对所述基于机器学习的模型输入从多个第二光源照射的图案光中利用从第一客体反射的图案光而生成的与所述第一客体相关的第一深度信息，则输出减小了噪声的所述第一深度信息。

根据本公开一个实施例，所述基于机器学习的模型可以利用与所述第二客体相关的第三深度信息及与所述第二客体相关的第四深度信息进行学习，并输出减小了噪声的第三深度信息，基于所述学习结果，当被输入所述第一深度信息时，输出减小了所述噪声的所述第一深度信息，其中，所述与第二客体相关第三深度信息，是利用从所述多个第二光源照射的图案光中，从第二客体反射的图案光而生成，所述与第二客体相关的第四深度信息，是利用从多个第三光源照射的图案光中，从所述第二客体反射的图案光而生成。

发明的效果

本公开多样实施例的印刷电路板检查装置通过基于机器学习的模型来处理部件相关深度信息，从而可以在部件相关深度信息中减小噪声，利用减小了噪声的部件相关深度信息，检查印刷电路板上贴装的部件的贴装状态。印刷电路板检查装置为了生成深度信息，即使获得相对较少数量的图像数据，也可以利用基于机器学习的模型，将未接收信号或峰值信号等的噪声从部件相关深度信息中去除，即使获得相对较少数量的图像数据，用于生成深度信息的信息不足，也可以利用基于机器学习的模型生成部件相关深度信息，以使得消失的形状复原。另外，印刷电路板检查装置可以在最大限度补正部件角部等的三维鲜明度的同时，不执行部件接缝形状的错误复原，不损毁追加测量的异物形状地进行检测。

如上所述，从部件相关深度信息中减小噪声，针对印刷电路板上贴装的部件及焊膏，按照与实际部件及焊膏的形状最大限度类似的水平执行形状复原，从而可以更准确地检查部件的贴装状态。

附图说明

图1图示本公开的多样实施例的印刷电路板检查装置。

图2是本公开的多样实施例的印刷电路板检查装置的框图。

图3是借助于本公开多样实施例的印刷电路板检查装置来检查部件贴装状态的方法的流程图。

图4a乃至图4c是用于说明本公开多样实施例的基于机器学习的模型的学习方法的概念图。

图5a乃至图5c是用于说明本公开多样实施例的基于机器学习的模型的运转的概念图。

图6是用于说明本公开多样实施例的基于机器学习的模型的学习方法的概念图。

图7是用于说明本公开多样实施例的获得基于机器学习的模型的学习所利用的深度信息的方法的图。

图8图示利用借助于本公开多样实施例的印刷电路板检查装置而减小了噪声的深度信息而生成的部件相关图像。

具体实施方式

本公开的实施例是为了说明本公开技术思想的目的而示例性提出的。本公开的权利范围不限定于以下提示的实施例或对这些实施例的具体说明。

只要未不同地定义，本公开中使用的所有技术术语及科学术语具有本公开所属技术领域的普通技术人员一般理解的意义。本公开中使用的所有术语是出于更明确地说明本公开的目的而选择的，并非是为了限制本公开的权利范围而选择的。

本公开中使用的诸如“包括的”、“具备的”、“具有的”等表现，只要在包含相应表现的语句或文章中未不同地提及，应理解为具有包括其他实施例的可能性的开放型术语(open-endedterms)。

只要未不同地提及，本公开中记述的单数型的表现可以包括复数型的意义，这也同样适用于权利要求书中记载的单数型的表现。

本公开中使用的“第一”、“第二”等表现，用于相互区分多个构成要素，并非限定相应构成要素的顺序或重要度。

本公开中使用的术语“部”意味着软件或诸如fpga(field-programmablegatearray，现场可编程门阵列)、asic(applicationspecificintegratedcircuit，专用集成电路)的硬件构成要素。但是，“部”并非限定于硬件及软件。“部”既可以构成为位于可寻址的存储介质中，也可以构成为使一个或其以上的处理器运行。因此，作为一个示例，“部”包括诸如软件构成要素、客体指向软件构成要素、集群构成要素及任务构成要素的构成要素，处理器，函数，属性，程序，子程序，程序代码的片段，驱动器，固件，微码，电路，数据，数据库，数据结构，工作表，阵列及变数。构成要素和“部”内提供的功能可以由更少数量的构成要素及“部”结合，或进一步分离成追加的构成要素和“部”。

本公开中使用的“基于～”字样的表现，用于记述对包含相应表现的语句或文章中记述的决定、判断的行为或动作施加影响的一个以上因子，该表现不排除对决定、判断的行为或动作施加影响的追加因子。

在本公开中，当提及某种构成要素“连接于”或“接入于”其他构成要素时，应理解为既可以是所述某种构成要素直接连接于或接入于所述其他构成要素，也可以是以新的其他构成要素为媒介连接或接入。

下面参照附图，说明本公开的实施例。在附图中，对相同或对应的构成要素，赋予相同的附图标记。另外，在以下实施例的说明中，可以省略重复记述相同或对应的构成要素。但是，即使省略关于构成要素的记述，也并不意味着某个实施例中不包括这种构成要素。

图1图示本公开的多样实施例的印刷电路板检查装置。

根据本公开的多样实施例，印刷电路板检查装置100可以检查印刷电路板110上贴装的至少一个部件的贴装状态。移送部120可以为了检查部件的贴装状态而使印刷电路板110移动到预先设置的位置。另外，借助于印刷电路板检查装置100完成检查后，移送部120可以移动完成检查的印刷电路板110而使之从预先设置的位置脱离，可以使另一印刷电路板111移动到预先设置的印刷电路板。

根据本公开的多样实施例，印刷电路板检查装置100可以包括第一光源101、图像传感器102和框架103。第一光源101、图像传感器102可以固定于第一框架103。图1所示的第一光源101、图像传感器102及框架103各自的个数及配置状态只用于说明目的，并非限定于此。例如，既可以在图1所示的图像传感器102的位置配置一个第一光源101，也可以在图1图示的第一光源101的位置配置多个图像传感器，第一光源101、图像传感器102也可以通过多个框架103而配置成多样方向及角度。

在一个实施例中，第一光源101可以向为了检查部件的贴装状态而移动到预先设置的位置的印刷电路板110照射图案光。第一光源101在为多个的情况下，可以配置得具有互不相同的照射方向、互不相同的照射角度等。另外，第一光源101为多个时，第一光源101照射的图案光的间距等可以彼此相异。例如，图案光可以是为了测量印刷电路板110的三维形状而照射的具有既定周期的图案。第一光源101可以照射条纹亮度呈正弦波(sinewave)形态的图案光、亮部与暗部反复显示的开-关(on-off)形态的图案光或亮度变化为三角形波形的三角波图案光等。不过，这只是出于说明目的，并非限定于此，第一光源101可以照射包括亮度变化具有既定周期地反复的多样形态图案的光。

在一个实施例中，图像传感器102可以接收从印刷电路板110及印刷电路板110上贴装的部件反射的图案光。第一图像传感器102可以利用接收的图案光生成图像数据。

图2是本公开的多样实施例的印刷电路板检查装置的框图。

根据本公开的多样实施例，印刷电路板检查装置100可以包括第一光源210、图像传感器220、存储器230及处理器240。另外，印刷电路板检查装置100可以还包括通信电路250。印刷电路板检查装置100包括的各构成要素可以相互电气连接而接收发送信号、数据等。

在一个实施例中，印刷电路板检查装置100可以包括多个第一光源210。第一光源210可以向检查对象(例：印刷电路板等)照射图案光。例如，第一光源210可以向全体检查对象照射图案光，或向检查对象包括的客体(例：印刷电路板上贴装的部件等)照射图案光。下面为了说明的便利，以第一光源210向印刷电路板上贴装的部件照射图案光为中心进行说明，但并非限定于此，第一光源210可以向作为检查对象的全体印刷电路板或包括印刷电路板上贴装的至少一个部件的印刷电路板的一个区域照射图案光。

在一个实施例中，第一光源210可以包括光源(图上未示出)、光栅(图上未示出)、光栅移送装置(图上未示出)及投影透镜部(图上未示出)。光栅可以使光源照射的光变换成图案光。光栅为了产生相移的图案光，例如可以通过诸如pzt(piezoactuator：压电执行器)的光栅移送器具进行移送。投影透镜部可以使借助于光栅而生成的图案光，照射于作为检查对象包括的客体的印刷电路板上贴装的部件。另外，第一光源210可以通过诸如lcd(liquidcrystaldisplay：液晶显示)、dlp(digitallightprocessing：数字光处理)及lcos(liquidcrystalonsilicon：硅上液晶)等的多样方法形成图案光，使得照射于作为检查对象包括的客体的印刷电路板上贴装的部件。

在一个实施例中，图像传感器220可以接收从部件反射的图案光。例如，图像传感器220可以接收从部件反射的图案光而生成部件相关图像数据。图像传感器220可以将生成的部件相关图像数据传递给处理器240。

在一个实施例中，存储器230可以存储与印刷电路板检查装置100的至少一个其他构成要素相关的命令或数据。另外，存储器230可以存储软件及/或程序。例如，存储器230可以包括内置存储器或外置存储器。内置存储器可以包括易失性存储器(例：dram、sram或sdram等)、非易失性存储器(例：闪速传感器、硬盘驱动器或固态驱动器(ssd))中至少一种。外置存储器可以通过多样接口，与印刷电路板检查装置100在功能上或物理上连接。

在一个实施例中，存储器230可以存储使处理器240运转的命令。例如，存储器230可以存储使处理器240控制印刷电路板检查装置100的其他构成要素、与外部电子装置或服务器联动的命令。处理器240可以基于存储器230中存储的命令，控制印刷电路板检查装置100的其他构成要素，与外部电子装置或服务器联动。下面以印刷电路板检查装置100的各构成要素为主体，说明印刷电路板检查装置100的运转。另外，使得借助于各构成要素而执行运转的命令可以存储于存储器230。

在一个实施例中，存储器230可以存储基于机器学习的模型。基于机器学习的模型可以接受输入利用从多个第二光源照射的图案光中的从第一客体反射的图案光而生成的第一客体相关深度信息。例如，第一深度信息可以包括形态、各像素的颜色信息、亮度信息、高度值中至少一种。

例如，多个第二光源与多个第一光源210既可以相同，也可以相异。即使多个第二光源与多个第一光源210相异，多个第二光源的数量也可以与多个第一光源210的数量相同。另外，即使多个第二光源包括于不同的印刷电路板检查装置，在不同印刷电路板检查装置内的多个第二光源的配置位置也可以与印刷电路板检查装置100内的多个第一光源的配置位置对应。基于机器学习的模型如果输入第1深度信息，则可以输出减小了噪声的第一深度信息。

例如，利用从第一客体反射的图案光而生成的第一深度信息，在对照射于第一客体的图案光的多重反射或图像传感器对接收的光进行处理的过程等中可能发生噪声。例如，噪声可以是第一深度信息中判断为不与第一客体的形状对应或与第一客体无关联的部分。基于机器学习的模型为了提高第一客体相关图像，例如第一客体相关三维图像的品质，可以进行学习以便输出减小了噪声的第一深度信息。作为基于机器学习的模型，可以包括cnn(convolutionalneuralnetwork：卷积神经网络)、gan(generativeadversarialnetwork：生成对抗网络)等。对于学习而使得如果第一深度信息输入基于机器学习的模型，则基于机器学习的模型输出减小了噪声的第一深度信息的具体方法，将在后面叙述。

另外，基于机器学习的模型也可以存储于以有线或无线方式与印刷电路板检查装置100联动的外部电子装置或服务器的存储器。此时，印刷电路板检查装置100可以为了减小第一深度信息的噪声而与以有线或无线方式联动的外部电子装置或服务器发送接收信息。

在一个实施例中，处理器240可以驱动操作系统或应用程序，控制印刷电路板检查装置100的至少一个其他构成要素，可以执行各种数据处理及运算等。例如，处理器240可以包括中央处理装置等，也可以以soc(systemonchip，片上系统)体现。

在一个实施例中，通信电路250可以与外部电子装置或外部服务器执行通信。例如，通信电路250可以设置印刷电路板检查装置100与外部电子装置间的通信。通信电路250可以通过无线通信或有线通信而与网络连接，与外部电子装置或外部服务器通信。作为又一示例，通信电路250也可以与外部电子装置有线连接并执行通信。

无线通信例如可以包括蜂窝通信(例：lte(长期演进)、lte-a(高级长期演进)、cdma(codedivisionmultipleaccess：码分多址)、wcdma(widebandcdma：宽带码分多址)、umts(universalmobiletelecommunicationssystem：通用移动通信系统)、wibro(wirelessbroadband：无线宽带)等)。另外，无线通信可以包括近距离无线通信(例：wifi(wirelessfidelity：无线保真)、lifi(lightfidelity：光保真)、蓝牙、低功率蓝牙(ble)、无线个域网(zigbee)、nfc(nearfieldcommunication：近场通信)等)。

在一个实施例中，处理器240可以利用借助于图像传感器220而接收的从印刷电路板上贴装的部件反射的图案光来生成部件相关第二深度信息。例如，处理器240可以利用借助于图像传感器220而生成的部件相关图像来生成部件相关第二深度信息，所述部件相关图像利用从部件反射的图案光而生成。作为又一示例，图像传感器220也可以将接收的图案光相关信息传递给处理器240，处理器240生成部件相关图像，利用部件相关图像，生成部件相关第二深度信息。处理器240可以将光三角方式或漏桶算法(bucketalgorithm)等应用于部件相关图像而生成部件相关第二深度信息。不过，这只是出于说明目的，并非限定于此，可以通过多样方式，生成部件相关第二深度信息。

在一个实施例中，处理器240可以将第二深度信息输入于基于机器学习的模型。例如，在基于机器学习的模型存储于存储器230的情况下，处理器240可以直接向基于机器学习的模型输入第二深度信息。作为又一示例，在基于机器学习的模型存储于外部电子装置或外部服务器的情况下，处理器240可以控制通信电路250而使得将第二深度信息发送给外部电子装置或外部服务器。

在一个实施例中，处理器240可以从基于机器学习的模型获得减小了噪声的第二深度信息。例如，在基于机器学习的模型存储于存储器230的情况下，处理器240可以直接从基于机器学习的模型获得减小了噪声的第二深度信息。作为又一示例，在基于机器学习的模型存储于外部电子装置或外部服务器的情况下，处理器240可以从外部电子装置或外部服务器，通过通信电路250获得减小了噪声的第二深度信息。

在一个实施例中，处理器240可以利用减小了噪声的第二深度信息，检查印刷电路板上贴装的部件的贴装状态。例如，处理器240可以利用减小了噪声的第二深度信息，生成部件相关三维图像。另外，处理器240可以利用生成的部件相关三维图像，检查部件的贴装状态。例如，处理器240利用部件相关三维图像，检查部件是否贴装于预先设置的位置、部件是否按预先设置的方向贴装、部件的至少一部分是否倾斜贴装、部件是否有异物质(foreignobject)等，从而可以检查部件的贴装状态。

在一个实施例中，基于机器学习的模型如果还输入第一客体相关可见性(visibility)信息，则可以利用可见性信息，输出减小了噪声的第一深度信息。例如，可见性信息作为表示噪声程度的信息，基于机器学习的模型可以为了更有效地减少在第一深度信息中的噪声而利用可见性信息。对于学习而使得如果第一深度信息及可见性信息输入基于机器学习的模型，则基于机器学习的模型输出减小了噪声的第一深度信息的具体方法，将在后面叙述。

在一个实施例中，处理器240可以利用借助于图像传感器220而接收的从部品反射的图案光来生成部件相关可见性信息。例如，针对图像数据的亮度信号，可见性信息表示振幅(bi(x,y))对于平均亮度(ai(x,y))的比，大致具有随反射率的增加而增加的倾向。可见性信息(vi(x,y))可以以数学式1来表示。

数学式1

vi(x,y)＝bi(x,y)/ai(x,y)

例如，图案光分别从多个第一光源210以不同方向照射到印刷电路板，从而可以借助于图像传感器220或处理器240而生成部件相关多个图像数据。处理器240从生成的多个图像数据提取在x-y坐标系的各个位置(i(x,y))上的n个亮度程度(iⁱ1,iⁱ2,...,iⁱn)，从而可以利用振幅(bi(x,y))及n桶算法(n-bucketalgorithm)算出平均亮度(ai(x,y))。处理器240可以利用算出的振幅(bi(x,y))及平均亮度(ai(x,y))生成可见性信息(vi(x,y))。另外，处理器240可以还将生成的部件相关可见性信息输入于基于机器学习的模型。

在一个实施例中，基于机器学习的模型可以接受输入利用从多个第二光源照射的图案光中的从第一客体反射的图案光而生成的第一客体相关多个深度信息。多个第二光源分别向第一客体照射图案光，多个第二光源分别照射的图案光从第一客体反射并由图像传感器接收，从而可以生成第一客体相关多个深度信息。

另外，基于机器学习的模型如果输入多个深度信息，则可以基于多个深度信息而生成第一客体相关第一深度信息，以输出减小了噪声的第一深度信息。对于学习而使得如果多个深度信息输入基于机器学习的模型，则基于机器学习的模型生成第一深度信息，并输出减小了噪声的第一深度信息的具体方法，将在后面叙述。例如，第一深度信息作为第一客体相关代表深度信息，可以基于多个第一客体相关深度信息而生成。

在一个实施例中，处理器240可以利用借助于图像传感器220而接收的从部品反射的图案光来生成部件相关多个深度信息。多个第一光源分别向部件照射图案光，多个第一光源分别照射的图案光在部件被反射并通过图像传感器220接收，从而可以生成部件相关多个深度信息。

另外，处理器240可以还将部件相关多个深度信息输入于基于机器学习的模型。例如，多个第一光源210分别向贴装在印刷电路板的部件照射图案光，图像传感器220可以利用从部件反射的图案光而生成多个部件相关图像数据。图像传感器220可以将多个图像数据传递给处理器240。处理器240可以利用多个图像数据来生成部件相关多个深度信息。

在一个实施例中，处理器240可以从基于机器学习的模型获得减小了噪声的第二深度信息。第二深度信息可以基于部件相关多个深度信息，借助于基于机器学习的模型而生成。例如，第二深度信息作为部件相关代表深度信息，可以基于部件相关多个深度信息而生成。

在一个实施例中，基于机器学习的模型可以接受输入利用从多个第二光源照射的图案光中的从第一客体反射的图案光而生成的第一客体相关多个图像数据。基于机器学习的模型如果输入多个图像数据，则可以利用多个图像数据而生成第一客体相关第一深度信息，并可以输出减小了噪声的第一深度信息。对于学习而使得如果第一客体相关多个图像数据输入基于机器学习的模型，则基于机器学习的模型生成第一深度信息，并输出减小了噪声的第一深度信息的具体方法，将在后面叙述。

在一个实施例中，处理器240可以将利用借助于图像传感器220而接收的从部品反射的图案光而生成的部件相关多个图像数据输入于基于机器学习的模型。作为另一个例，处理器240可以利用借助于图像传感器220而接收的从部品反射的图案光相关信息而生成部品相关多个图像数据，并还可以将生成的多个图像数据输入于基于机器学习的模型。

在一个实施例中，处理器240可以从基于机器学习的模型获得减小了噪声的第一深度信息。第二深度信息可以基于多个图像数据，借助于基于机器学习的模型而生成。

图3是借助于本公开多样实施例的印刷电路板检查装置来检查部件贴装状态的方法的流程图。

在图3所示的流程图中，依次说明了流程步骤、方法步骤、算法等，但这些流程、方法及算法可以构成为按任意适合的顺序运转。换句话说，本公开的多样实施例中说明的进程、方法及算法的步骤，无需按本公开中记述的顺序执行。另外，即使说明的是一部分步骤按非同时方式执行的情形，但在其他实施例中，这种一部分步骤可以同时执行。另外，附图中描写的进程的示例并不意味着举例的进程排除对其的不同变化及修订，并不意味着举例的进程或其步骤中任意某一者是本公开的多样实施例中一者以上所必需的，并不意味着举例的进程是优选的。

在310步骤中，印刷电路板检查装置100可以向印刷电路板上贴装的部件照射图案光。例如，印刷电路板检查装置100的处理器可以控制多个第一光源，使得向作为检查对象的印刷电路板上贴装的多个部件分别照射图案光。

在320步骤中，印刷电路板检查装置100可以接收从部件反射的图案光，利用图案光生成部件相关第二深度信息。例如，第一图像传感器可以利用从部件反射的图案光来生成部件相关图像，将生成的部件相关图像传递给处理器。处理器可以利用从第一图像传感器接收的部件相关图像，生成部件相关第二深度信息。

在330步骤中，印刷电路板检查装置100可以将第二深度信息输入于基于机器学习的模型。例如，在基于机器学习的模型存储于印刷电路板检查装置100的存储器的情况下，处理器可以将第二深度信息直接输入于基于机器学习的模型。作为又一示例，在基于机器学习的模型存储于外部电子装置或外部服务器的情况下，处理器可以控制通信电路而使得将第二深度信息发送给外部电子装置或外部服务器。

在340步骤中，印刷电路板检查装置100可以从基于机器学习的模型获得减小了噪声的第二深度信息。例如，在基于机器学习的模型存储于存储器的情况下，处理器可以从基于机器学习的模型直接获得减小了噪声的第二深度信息。作为又一示例，在基于机器学习的模型存储于外部电子装置或外部服务器的情况下，处理器可以从外部电子装置或外部服务器，通过通信电路获得减小了噪声的第二深度信息。

在350步骤中，印刷电路板检查装置可以利用减小了噪声的第二深度信息，检查部件的贴装状态。例如，处理器可以利用减小了噪声的第二深度信息，生成部件相关三维图像。另外，处理器可以利用生成的部件相关三维图像，检查部件的贴装状态。

图4a乃至图4c是用于说明本公开多样实施例的基于机器学习的模型的学习方法的概念图。

如果参照图4a，基于机器学习的模型410可以利用第二客体相关第三深度信息411及第二客体相关第四深度信息412进行学习，使得输出减小了噪声的第三深度信息413，其中，所述第二客体相关第三深度信息411利用从多个第二光源照射的图案光中从第二客体反射的图案光而生成，所述第二客体相关第四深度信息412利用从多个第三光源照射的图案光中从第二客体反射的图案光而生成。

基于机器学习的模型410基于进行学习而使得输出减小了噪声的第三深度信息413的学习结果，即使输入与学习所使用的第二客体相异的第一客体相关第一深度信息，也可以输出减小了噪声的第一深度信息。

在一个实施例中，为了学习而可以向基于机器学习的模型410输入第三深度信息411及第四深度信息412。例如，照射生成第四深度信息412所使用的图案光的多个第三光源的数量可以大于多个第一光源的数量，可以大于具有与多个第一光源的数量相同的数量的多个第二光源的数量。多个第三光源的数量大于多个第二光源的数量，因而生成第四深度信息412所使用的第二客体相关多个图像的数量可以大于生成第三深度信息411所使用的第二客体相关多个图像的数量。多个第四光源各自的照射方向、照射角度、间距等彼此相异，因而生成第四深度信息412所使用的第二客体相关多个图像可以均为第二客体相关图像，或可以为彼此相异的图像。与此类似相同，多个第三光源各自的照射方向、照射角度、间距等彼此相异，因而生成第三深度信息411所使用的第二客体相关多个图像可以均为第二客体相关图像，或为彼此相异的图像。

另外，多个第四光源的数量大于多个第三光源的数量，因而多个第四光源可以具有与多个第三光源不同的至少一个照射方向、至少一个照射角度、至少一个间距等，向第二客体照射光。因此，生成第四深度信息412所使用的第二客体相关多个图像的数量大于生成第三深度信息411所使用的第二客体相关多个图像的数量，由此生成的第四深度信息412相比第三深度信息411，可以相对更少地发生噪声。因此，通过利用更多数量的光源而生成的深度信息来测量的客体形状，相比通过利用更少数量的光源而生成的深度信息来测量的客体形状，可以更接近客体的实际形状。

在一个实施例中，在第四深度信息412中，比第三深度信息411相对更少地发生噪声，因而在基于机器学习的模型410为了减小第三深度信息411中的噪声而学习使得变换第三深度信息411或在第三深度信息411中检测噪声的过程中，第四深度信息412可以用作成为基准的深度信息。

在一个实施例中，基于机器学习的模型410可以学习使得变换第三深度信息411，以便收敛于第四深度信息412。下面为了说明的便利，将变换使得收敛于第四深度信息412的第三深度信息411称为变换深度信息。例如，基于机器学习的模型410可以比较变换深度信息与第四深度信息412。基于机器学习的模型410可以基于比较结果，调整用于第三深度信息411变换的参数。基于机器学习的模型410通过反复上述过程，可以决定用于第三深度信息411变换的参数，使得第三深度信息411收敛于第四深度信息412。由此，基于机器学习的模型410可以学习使得变换第三深度信息411，使得收敛于第四深度信息412。基于机器学习的模型410可以学习使得变换深度信息输出为减小了噪声的第三深度信息414。如上所述，基于机器学习的模型410学习使得变换第三深度信息411，使得收敛于第四深度信息412，从而即使在生成深度信息方面可用的客体相关图像的数量相对不足的情况下，也可以更准确地测量客体的形状。

在一个实施例中，基于机器学习的模型410可以学习使得从第三深度信息411中检测噪声。例如，基于机器学习的模型410可以学习使得从第三深度信息411检测噪声，减小所检测的噪声，输出减小了噪声的第三深度信息414。

例如，基于机器学习的模型410可以学习使得比较变换深度信息与第三深度信息411，从而从第三深度信息411中检测判断为噪声的第一部分。例如，基于机器学习的模型410可以学习使得将变换深度信息与第三深度信息411的差异为预先设置的临界值以上的部分检测为第一部分。基于机器学习的模型410可以学习而使得在第三深度信息411中减小检测到的噪声，从而输出减小了噪声的第三深度信息413。

如果参照图4b，基于机器学习的模型420可以利用第三深度信息411、第四深度信息412及第二客体相关可见性信息421进行学习，使得输出减小了噪声的第三深度信息422，其中，所述第二客体相关可见性信息421利用从多个第二光源照射的图案光中从第二客体反射的图案光而生成。

基于机器学习的模型420基于进行学习而使得输出减小了噪声的第三深度信息413的学习结果，即使输入与学习所使用的第二客体相异的第一客体相关第一深度信息及第一客体相关可见性信息，也可以输出减小了噪声的第一深度信息。

在一个实施例中，可以向基于机器学习的模型420输入第三深度信息411、第四深度信息412及可见性信息421。基于机器学习的模型420可以利用可见性信息421进行学习而使得调整变换深度信息，以便可以更准确地表现第二客体的形状。例如，可见性信息421是表示在作为第二客体相关深度信息的第三深度信息411发生的噪音程度的信息，可以表示第三深度信息411是否为优质的测量值。例如，基于机器学习的模型420可以学习而使得决定可见性信息421中是否存在高于预先设置的临界值的第二部分。

例如，在存在第二部分的情况下，基于机器学习的模型420决定在变换深度信息中与第二部分对应的部分，基于可见性信息421进行学习而使得调整与第二部分对应的部分。基于机器学习的模型421可以学习使得被调整的变换深度信息输出为减小了噪声的第三深度信息422。

作为另一个例，在不存在第二部分的情况下，基于机器学习的模型420可以决定不调整变换深度信息，并可以学习使得变换深度信息输出为减小了噪声的第三深度信息422。

在一个实施例中，基于机器学习的模型420为了更准确地检测噪声，可以利用可见性信息421进行学习，使得在被判断为噪声的第一部分中检测实际上并非噪声却判断为噪声的第三部分。基于机器学习的模型420可以进行学习而使得在检测到第三部分时，将第三部分排除在第一部分排之外，将除第三部分之外的第一部分决定为第三深度信息411中的噪声。另外，在没有检测到第三部分的情况下，基于机器学习的模型420可以学习而使得将第一部分决定为在第三深度信息411中的噪声，并在第三深度信息411中减小决定的噪声，从而输出减小了噪声的第三深度信息422。

如果参照图4c，基于机器学习的模型430可以利用第二客体相关多个深度信息431、432、433、434进行学习，使得生成第二客体相关第三深度信息411，其中，所述第二客体相关第三深度信息411利用从多个第二光源照射的图案光中从第二客体反射的图案光而生成。基于机器学习的模型430可以利用第三深度信息411及第四深度信息412进行学习而使得输出减小了噪声的第三深度信息411。基于机器学习的模型430利用第三深度信息411及第四深度信息412进行学习而使得输出减小了噪声的第三深度信息411的具体方法与图4a的说明相同，因此省略对其单独说明。

在一个实施例，利用从多个第二光源照射的图案光中的从第二客体反射的图案光而生成的第二客体相关多个深度信息431、432、433、434可以输入于基于机器学习的模型430。基于机器学习的模型430可以利用多个深度信息431、432、433、434进行学习，使得生成作为第二客体相关代表深度信息的第三深度信息411。

另外，虽然未图示，基于机器学习的模型430可以接受输入利用从多个第二光源照射的图案光中的从第二客体反射的图案光而生成的第二客体相关多个图像数据。基于机器学习的模型430可以利用第二客体相关多个图像数据进行学习，使得生成第二客体相关第三深度信息411。

在一个实施例，利用从多个第二光源照射的图案光中的从第二客体反射的图案光而生成的第二客体相关多个图像数据可以输入于基于机器学习的模型430。基于机器学习的模型430可以利用多个图像数据进行学习，使得生成第三深度信息411。

在一个实施例中，利用从多个第四光源照射的图案光而生成的第四深度信息412，可以借助于包括数量大于多个第三光源数量的多个第四光源的印刷电路板检查装置而生成。另外，第四深度信息413也可以借助于包括数量小于多个第四光源数量的多个第三光源的印刷电路板检查装置而生成。此时，对于生成第四深度信息412的具体方法，将在图7中说明。

图5a乃至图5c是用于说明本公开多样实施例的基于机器学习的模型的运转的概念图。

如果参照图5a，利用从多个第二光源照射的图案光中的从第一客体反射的图案光而生成的第一客体相关第一深度信息511可以输入于基于机器学习的模型510。如果输入第一深度信息511，则基于机器学习的模型510可以输出减小了噪声的第一深度信息512。

下面为了说明的便利，将利用从数量大于多个第三光源数量的多个第四光源照射的光而生成的深度信息称为基准深度信息，将借助于基于机器学习的模型510而变换成收敛于基准深度信息的第一深度信息511称为变换深度信息。

在一个实施例中，基于机器学习的模型510可以将第一深度信息511变换得收敛于基准深度信息。基于机器学习的模型510可以将变换深度信息输出为减小了噪声的第一深度信息512。

在一个实施例中，基于机器学习的模型510可以在第一深度信息511中检测噪声。例如，基于机器学习的模型510可以在第一深度信息511中检测噪声，使检测的噪声减小，输出减小了噪声的第一深度信息512。

例如，基于机器学习的模型510比较变换深度信息与第一深度信息511，从而可以在第一深度信息511中检测判断为噪声的第一部分。例如，基于机器学习的模型510可以将变换深度信息与第一深度信息511的差异为预先设置的临界值以上的部分检测为第一部分。基于机器学习的模型510在第一深度信息511减小检测到的噪声，从而可以输出减小了噪声的第一深度信息512。

如果参照图5b，利用第一深度信息511及从多个第二光源照射的图案光中的从第二客体反射的图案光而生成的第二客体相关可见性信息521可以输入于基于机器学习的模型520。如果输入第二深度信息511及可见性信息521，则基于机器学习的模型520可以输出减小了噪声的第一深度信息513。

在一个实施例，基于机器学习的模型520可以决定可见性信息521中是否存在高于预先设置的临界值的第二部分。例如，在存在第二部分的情况下，基于机器学习的模型520可以决定在变换深度信息中与第二部分对应的部分，并可以基于可见性信息调整与第二部分对应的部分。基于机器学习的模型520可以将调整的变换深度信息输出为减小了噪声的第三深度信息522。

作为另一个例，在不存在第二部分的情况下，基于机器学习的模型520可以决定不调整变换深度信息，并可以将变换深度信息输出为减小了噪声的第三深度信息522。

在一个实施例中，基于机器学习的模型520可以利用可见性信息421，在被判断为噪声的第一部分中检测实际上并非噪声却判断为噪声的第三部分。基于机器学习的模型520在检测到第三部分时，可以将第三部分排除在第一部分之外，将除第三部分之外的第一部分决定为第三深度信息511中的噪声。另外，基于机器学习的模型520在未检测到第三部分时，可以将第一部分决定为第三深度信息511中的噪声。基于机器学习的模型520在第三深度信息511减小决定的噪声，从而可以输出减小了噪声的第三深度信息522。

参照图5c，利用从多个第二光源照射的图案光中的从第二客体反射的图案光而生成的第一客体相关多个深度信息531、532、533、534可以输入于基于机器学习的模型530。基于机器学习的模型530可以利用多个深度信息531、532、533、534生成作为第一客体相关代表深度信息的第一深度信息511。基于机器学习的模型511生成第一深度信息511后，如图5a说明，输出减小了噪声的第一深度信息511。

另外，虽然未图示，基于机器学习的模型530可以接受输入利用从多个第二光源照射的图案光中的从第二客体反射的图案光而生成的第一客体相关多个图像数据。基于机器学习的模型530可以利用多个图像数据生成作为第一客体相关代表深度信息的第一深度信息511。基于机器学习的模型511生成第一深度信息511后，如图5a说明，输出减小了噪声的第一深度信息511。

如上所述，印刷电路板检查装置100为了生成深度信息，即使获得相对较少数量的图像数据，也可以利用基于机器学习的模型510、520、530，将未接收信号或峰值信号等噪声从部件相关深度信息中去除。另外，印刷电路板检查装置100即使获得相对较少数量的图像数据，用于生成深度信息的信息不足，也可以利用基于机器学习的模型510、520、530来生成部件相关深度信息，使得复原消失的形状。另外，印刷电路板检查装置100可以在最大限度补正部件的角部等的三维鲜明度的同时不执行部件接缝形状的错误复原，不损毁追加测量的异物形状地进行检测。

图6是用于说明本公开多样实施例的基于机器学习的模型的学习方法的概念图。

在一个实施例中，基于机器学习的模型620可以包括cnn、gan等。下面以可以利用u-net执行图像变换的gan为中心，说明基于机器学习的模型的学习方法。基于机器学习的模型620可以包括生成部621及区分部622。

在一个实施例中，利用从多个第二光源照射的图案光中的从第二客体反射的图案光而生成的第二客体相关第三深度信息611可以输入于生成部621，利用从多个第三光源照射的图案光中的从第二客体反射的图案光而生成的第二客体相关第四深度信息612可以输入于区分部622。

在一个实施例中，生成部621可以变换第三深度信息611而使得收敛于第四深度信息612，从而可以生成被变换的第三深度信息。区分部622比较被变换的第三深度信息与第四深度信息612，从而可以区分被变换的第三深度信息与第四深度信息612。区分部622可以将区分被变换的第三深度信息与第四深度信息612的结果传递给生成部621。生成部621可以根据从区分部622接收的结果，调整用于第三深度信息611变换的参数。这种过程反复直至区分部622无法区分被变换的第三深度信息与第四深度信息612时为止，从而生成部621可以进行学习，变换第三深度信息611而使得收敛于第四深度信息612，从而生成被变换的第三深度信息。

另一方面，在生成部621中，利用某一特定部件的第三深度信息611和第四深度信息612构成一对，如果在第三深度信息611与第四深度信息612中哪怕存在品质拙劣的一种情形(按至少一个像素，诸如阴影区域、饱和区域及snr等某一通道的深度信息与其他通道比较，相比其他通道，显著低于预先设置的基准值的情形)，则生成部621可以追加执行使相应部件数据排除于学习数据的提纯操作。

图7是用于说明本公开多样实施例的获得基于机器学习的模型的学习所利用的深度信息的方法的图。

图4a及4c中说明的第四深度信息412也可以在生成第三深度信息411的印刷电路板检查装置中生成。例如如图7所示，假定多个第三光源710的数量为4，多个第四光源的数量为8。此时，印刷电路板检查装置100的处理器可以控制多个第三光源710而使得向印刷电路板上贴装的部件照射图案光，利用从部件反射的图案光生成第三深度信息411后，使多个第三光源710顺时针方向或逆时针方向移动。处理器可以控制顺时间方向或逆时针方向移动的多个第三光源710而使得向印刷电路板上贴装的部件照射图案光，利用从部件反射的图案光及第三深度信息411来生成第四深度信息412。另一方面，在图7中图示了多个第三光源710的数量为4个，但这只是出于说明的目的，并非限定于此，第三光源710也可以并非多个而是一个。如上所述，第四深度信息412也可以在包括数量小于多个第四光源数量的多个第三光源的印刷电路板检查装置中生成。

图8图示利用借助于本公开多样实施例的印刷电路板检查装置而减小了噪声的深度信息而生成的部件相关图像。

在一个实施例中，印刷电路板检查装置100可以利用从多个第一光源照射于印刷电路板上贴装的部件的图案光中的从部件反射的图案光来生成部件相关深度信息。另外，印刷电路板检查装置100可以利用生成的深度信息，生成部件相关三维图像。不过，在照射于印刷电路板的光的多重反射或在图像传感器处理所接收的光的过程等中可能发生噪声。如果发生的噪声不减小，则印刷电路板检查装置100生成的部件相关三维图像的品质会低下，会无法执行对部件贴装状态的准确的检查。

在一个实施例中，印刷电路板检查装置100可以利用基于机器学习的模型，在部件相关深度信息中减小噪声，利用减小了噪声的深度信息来生成部件相关三维图像。利用减小了噪声的深度信息而生成的三维图像可以更准确地表现部件的形状，因而可以执行对部件贴装状态的更准确检查。

如果参照图8的(a)，印刷电路板检查装置100不减小噪声而直接利用深度信息来生成部件相关三维图像时，由于噪声，部件与印刷电路板的连接部分(例：焊膏等)的形状810会在三维图像中表现为非正常形状或显示得象有孔一样。与此相反，印刷电路板检查装置100利用基于机器学习的模型，在部件相关深度信息中减小噪声，利用减小了噪声的深度信息来生成部件相关三维图像时，部件与印刷电路板的连接部分(例：焊膏等)的形状811可以在三维图像更准确地显示。

如果参照图8的(b)，印刷电路板检查装置100不减小噪声而直接利用深度信息生成部件相关三维图像时，由于噪声，部件的边界(edge)形状820在三维图像中会显示为非正常形状。与此相反，印刷电路板检查装置100利用基于机器学习的模型，在部件相关深度信息中减小噪声，利用减小了噪声的深度信息来生成部件相关三维图像时，部件的边界形状821可以在三维图像中更准确地显示。

如果参照图8的(c)，印刷电路板检查装置100直接利用生成的深度信息来生成部件相关三维图像时，由于噪声，象在部件内部有孔一样，部件的内部形状830在三维图像中会显示为非正常形状。与此相反，印刷电路板检查装置100利用基于机器学习的模型，在部件相关深度信息中减小噪声，利用减小了噪声的深度信息来生成部件相关三维图像时，部件的内部形状831可以在三维图像中更准确地显示。

如上所述，印刷电路板检查装置100通过利用减小了噪声的深度信息而生成的三维图像，更准确地显示部件的形状，从而可以执行对部件贴装状态的更准确检查。

所述方法通过特定实施例进行了说明，但所述方法也可以在计算机可读记录介质中，体现为计算机可读代码。计算机可读记录介质包括存储有可借助于计算机系统而读取的数据的所有种类的记录装置。作为计算机可读记录介质的示例，可以包括rom(只读存储器)、ram(随机存取存储器)、cd-rom(只读光盘驱动器)、磁带、软盘、光数据存储装置等。另外，计算机可读记录介质可以分散于以网络连接的计算机系统，以分散方式存储计算机可读代码并运行。另外，实现所述实施例所需的功能性(functional)程序、代码及代码片段，可以由本公开所属技术领域的程序员容易地推导。

以上根据一部分实施例和附图图示的示例，说明了本公开的技术思想，但本公开所属技术领域的技术人员可以应了解，在不超出本公开的技术思想及范围的范围内，可以实现多样的置换、变形及变更。另外，这种置换、变形及变更应视为属于附带的权利要求书。