电路板检测方法、检测系统及具有存储功能的装置与流程

1.本技术属于电路板技术领域，具体涉及一种电路板检测方法、检测系统及具有存储功能的装置。


背景技术：

2.为了实现对传输线上传送的每块电路板进行检测，需要在电路板通过特定位置时能够给出一个触发信号，进而开启相关检测过程。目前，常用的触发方式包括红外传感器触发或者光电传感器触发。其原理为：特定位置在有电路板和无电路板通过时，红外传感器或光电传感器会输出相反的信号。
3.但是，请参阅图1，图1为传输线上多个电路板一实施方式的结构示意图。当传输线上的相邻电路板20之间发生相互接触时，现有的触发方式会出现漏识别的情况。例如，图1中三块相邻且接触的电路板20，现有的触发方式只会给出一个触发信号，很明显，所给出的触发信号的个数小于通过特定位置的电路板20的个数。


技术实现要素：

4.本技术提供一种电路板检测方法、检测系统及具有存储功能的装置，以解决现有的触发方式对传输线上存在相互接触的多个电路板进行精确触发的技术问题。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种电路板检测方法，包括：获得传输线上的电路板的局部图像；对所述局部图像进行识别或匹配；响应于所述识别或匹配成功，对所述电路板进行预设操作。
6.其中，所述获得传输线上的电路板的局部图像的步骤，包括：获得第一图像采集装置从电路板的背面一侧实时采集获得的局部图像，其中，所述电路板包括相背设置的正面和背面，所述正面插接有至少一个元器件。
7.其中，所述对所述局部图像进行匹配的步骤，包括：从所述局部图像中获得与模板图像对应的比对图像，其中，所述模板图像包含标准电路板上特定区域的成像；获得所述比对图像与所述模板图像的相似度；所述响应于所述匹配成功的步骤，包括：响应于所述相似度超过阈值，则匹配成功。
8.其中，所述从所述局部图像中获得与所述模板图像对应的比对图像的步骤，包括：根据所述特定区域在标准电路板上的位置信息从所述局部图像中获得所述比对图像。
9.其中，所述响应于所述识别或匹配成功，对所述电路板进行预设操作的步骤，包括：响应于所述识别或匹配成功，发送触发指令至第二图像采集装置，以使得所述第二图像采集装置采集获得与所述触发指令对应的所述电路板背面的原始图像；根据所述原始图像确定所述电路板上的所述元器件是否插接正确。
10.其中，所述原始图像为深度图像。
11.其中，所述根据所述原始图像确定所述电路板上的所述元器件是否插接正确的步骤，包括：将所述深度图像划分为多个子深度图像；根据每个所述子深度图像中的深度信息
确定出所述元器件的引脚的实际位置；根据所述引脚的实际位置与标准电路板的标准图像确定当前电路板上的元器件是否插接正确。
12.其中，所述将所述深度图像划分为多个子深度图像的步骤，包括：根据标准电路板上各个元器件排列的位置将所述深度图像划分为多个子深度图像，且每个子深度图像的位置对应所述标准电路板上的最多一个元器件。
13.其中，还包括：响应于所述电路板上的所述引脚有插接错误，则获得插接错误的所述引脚对应的元器件，和/或，发出报警指令。
14.其中，所述对所述局部图像进行识别的步骤，包括：将所述局部图像输入至预先训练好的网络模型中，以识别出比对图像。
15.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电路板检测系统，包括：传输线，包括镂空区域，用于承载并传送多个电路板；至少一个图像采集装置，对应所述镂空区域设置，用于采集获得所述局部图像；处理器，与所述至少一个图像采集装置耦接，用于执行上述任一实施例中所述的检测方法。
16.其中，所述检测系统包括：第一图像采集装置，用于从所述电路板的背面一侧实时采集获得的所述局部图像，并将所述局部图像传递至所述处理器；其中，所述电路板包括相背设置的正面和背面，所述正面插接有至少一个元器件；第二图像采集装置，用于在接收到所述处理器发送的触发指令后，采集获得与所述触发指令对应的所述电路板背面的原始图像，并将所述原始图像传递至所述处理器。
17.其中，所述第二图像采集装置包括激光线扫相机、3d结构光相机、tof相机中任意一种。
18.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种具有存储功能的装置，存储有程序数据，所述程序数据能够被处理器执行以实现上述任一实施例中所述检测方法中的步骤。
19.区别于现有技术情况，本技术的有益效果是：本技术所提供的电路板检测方法中，会先获得传输线上电路板的局部图像，然后对局部图像进行识别或匹配，接着在识别或匹配成功时，对电路板进行预设操作。即本技术提供了一种图像触发方式，可以解决传输线上多块电路板相互接触的触发问题，不会出现漏触发的情况，触发精确度较高。且对应的结构方面，只需在传输线上引入图像采集装置，机械结构较为简单，不需要对原有的传输线进行大的改动，硬件成本较低。
附图说明
20.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
21.图1为传输线上多个电路板一实施方式的结构示意图；
22.图2为本技术电路板检测方法一实施方式的流程示意图；
23.图3为电路板的背面一实施方式的结构示意图；
24.图4为图1中步骤s103对应的一实施方式的流程示意图；
25.图5为图4中步骤s202对应的一实施方式的流程示意图；
26.图6为本技术电路板检测系统一实施方式的结构示意图；
27.图7为本技术具有存储功能的装置一实施方式的框架示意图。
具体实施方式
28.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
29.请参阅图2，图2为本技术电路板检测方法一实施方式的流程示意图，该检测方法包括：
30.s101：获得传输线上的电路板的局部图像。
31.具体地，如图1中所示，传输线上一般可以设置有多个电路板20，且多个电路板20可以在传输线的作用下沿同一行进方向x运动；当电路板20为规则的矩形板时，该行进方向x可以与电路板20的长度方向或者宽度方向平行。电路板20一般包括相背设置的正面和背面，电路板20的正面可以插接有至少一个元器件(例如，电阻、电容等)。在元器件正确插接情况下，元器件上的引脚可以从电路板20的正面延伸至背面一侧。同一电路板20上安装的多个元器件可以为同种类型的元器件、也可为不同类型的元器件，且多个元器件的安装方向可以各不相同。
32.在本实施例中，电路板20的背面具有一个特定区域，该特定区域为电路板20背面上具有特异性的唯一区域，当检测出当前局部图像中包含该特定区域时，则表明电路板20行进到预设位置，可以对该电路板20进行后续预定操作；该特定区域可以是人为通过观察与该电路板20对应的标准电路板的背面或背面原理图所确定的，该方式无需改变电路板20原本的设计。当然，在其他实施例中，该特定区域也可是人为在设计电路板20时额外加入的。
33.考虑到实时性的性能指标，该特定区域的尺寸可以较小。例如，如图3所示，图3为标准电路板的背面一实施方式的结构示意图。通过观察发现，标准电路板的背面存在一个特异性的圆，如图3中实线方框所表示的区域，在图3中标记为y的方向上，标准电路板在该位置仅存在一个该特异性的圆，此时可以将该特异性的圆作为特定区域。在上述实施例中，是通过位置的特异性来选定特定区域。在其他实施例中，也可通过形状的特异性在选定特定区域，本技术对此不作限定。
34.上述步骤s101的具体实现过程可以为：获得第一图像采集装置从电路板的背面一侧实时采集获得的局部图像，该局部图像可以为灰度图像。一般而言，如果将电路板的背面整图作为后续识别或匹配过程的输入，计算过程会有较大耗时。故此时第一图像采集装置的有效采集区域可以小于电路板背面的尺寸，第一图像采集装置仅采集电路板上的局部图像，以降低耗时，提高实时性。如图3中所示，局部图像的区域可以为图3中虚线框所示的区域，该局部图像在电路板行进方向x上具有第一尺寸，在垂直于行进方向x的第二方向y上具有第二尺寸，第二尺寸的大小可以等于电路板在第二方向y上的大小，而具体第一尺寸的大小可以根据实际情况进行设定。
35.当然，在其他实施例中，若电路板的正面也具有一个特定区域，则第一图像采集装置也可从电路板的正面一侧实时采集获得的局部图像。
36.s102：对局部图像进行识别或匹配。
37.具体地，在一个实施例中，在对局部图像进行匹配的步骤之前包括：获得标准电路板上包含特定区域的模板图像，该标准电路板可以为与当前传输线上结构类型相同的检测通过的电路板，也可以为与当前传输线上结构类型相同的原理电路板。模板图像可以为矩形，模板图像包含特定区域以及特定区域外围的部分相邻区域。例如，如图3中所示，可以将图3中实线方框所对应的区域作为模板图像。上述对局部图像进行匹配的步骤包括：从局部图像中获得与模板图像对应的比对图像；获得比对图像与模板图像的相似度，该相似度可以为结构相似性度量ssim或余弦相似度等，该相似度可以大于或等于0且小于或等于1。
38.上述采用模板匹配来判定其是否包含特定区域的方式，计算量较小，且实时性较高。此外，模板匹配算法主要有基于像素的模板匹配算法和基于特征的模板匹配算法，基于像素的模板匹配算法精度较高，在一些复杂场景能有较好的表现，但缺点是实际复杂度较高，同时对图像尺寸很敏感。由于图像中的图像特征点要比像素点要少很多，很大程度上减少了模板匹配过程的计算量，考虑到电路板的背面图像结构相对简单，同时本方案对实时性要求非常高，所以模板匹配算法优选基于特征的模板匹配算法，例如，灰度模板匹配算法、sift尺度不变特征变换算法等。
39.此外，为了进一步提高实时性，上述对局部图像进行匹配的步骤之前，还包括：获得特定区域在标准电路板上位置信息；上述从局部图像中获得与模板图像对应的比对图像的步骤包括：根据位置信息从局部图像中获得比对图像。例如，以图3中为例，可以先获得标准电路板上特异性的圆上的某些特征点(例如，圆心等)与标准电路板在第二方向y上的上边缘或下边缘之间的第一距离。然后在距离局部图像的上边缘或下边缘的第一距离位置处进行搜索以获得比对图像。
40.在又一个实施例中，也可对局部图像进行识别，例如，可以将局部图像输入至预先训练好的网络模型中，以输出比对图像；然后获得比对图像与模板图像的相似度。又例如，可以将局部图像输入至预先训练好的网络模型中，直接输出识别到特定区域或未识别到特定区域的结果。
41.s103：响应于识别或匹配成功，对电路板进行预设操作。
42.具体地，当步骤s102中采用匹配的方式时，上述响应于匹配成功的步骤包括：响应于相似度超过阈值，则匹配成功。该阈值可以人为设置，例如，阈值可以在0.7-0.8之间(例如，0.75等)。当步骤s102中采用识别的方式时，上述响应于识别成功的步骤包括：响应于识别到特定区域。
43.进一步，在本实施例中，请参阅图4，图4为图1中步骤s103对应的一实施方式的流程示意图。上述步骤s103具体包括：
44.s201：响应于识别或匹配成功，发送触发指令至第二图像采集装置，以使得第二图像采集装置采集获得与触发指令对应的电路板背面的原始图像。
45.具体地，该原始图像可以为电路板背面的完整图像，上述原始图像为深度图像，第二图像采集装置可以为深度图像采集装置，例如，激光线扫相机或3d结构光相机或tof相机等。上述利用深度图像进行后续元器件插接检测的方式计算量较低，较为方便。
processing unit，中央处理单元)。处理器14可能是一种集成电路芯片，具有信号的处理能力。处理器14还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器14可以由多个集成电路芯片共同实现。在上述设计方式中，只需在传输线10上引入图像采集装置12，机械结构较为简单，不需要对原有的传输线进行大的改动，硬件成本较低。
60.在本实施例中，本技术所提供的传输线10具体包括传送带100以及驱动机构，驱动机构可以驱动传送带100以一定的速度匀速运行。传送带100可以包括镂空区域，电路板的背面可以从该镂空区域中露出。
61.上述提及的检测系统还可包括存储器，与处理器14耦接，用于存储与当前传输线上结构类型相同的检测通过的标准电路板的正面标准图像、背面标准图像、从背面标准图像中获得的包含特定区域的模板图像、特定区域在标准电路板上的位置信息、各个元器件在标准电路板上的排列位置信息等。后续处理器14在处理过程中可以直接从存储器中调用并获得所需的信息，以降低处理时间，提高实时性。
62.上述提及的至少一个图像采集装置可以包括第一图像采集装置12a和第二图像采集装置12b。
63.其中，第一图像采集装置12a对应传送带100的镂空区域设置，用于从电路板的背面一侧实时采集获得的局部图像，并将局部图像传递至处理器14，此时处理器14具体用于从存储器中获得模板图像，并从局部图像中获得与模板图像对应的比对图像，利用相关相似度算法获得比对图像与模板图像之间的相似度，且在相似度超过阈值时给出一个触发指令。其中，上述第一图像采集装置12a采集获得的局部图像可以为灰度图像，对应的第一图像采集装置12a为实时性较高的灰度相机。一般而言，电路板的背面朝向传送带100设置，电路板的正面背离传送带100设置，对应的，第一图像采集装置12a可以位于传送带100的下方，且为了降低第一图像采集装置12a采集图像时的视角差异，第一图像采集装置12a的光轴可以垂直于传送带100所在的平面。
64.第二图像采集装置12b对应传送带100的镂空区域设置，且相对第一图像采集装置12a处于电路板运行方向的下游，用于在接收到处理器14发送的触发指令后，采集获得与触发指令对应的电路板背面的原始图像，并将原始图像传递至处理器14。该第二图像采集装置12b采集获得的原始图像为深度图像，对应的第二图像采集装置12b包括激光线扫相机、3d结构光相机、tof相机中任意一种。一般而言，电路板的背面朝向传送带100设置，电路板的正面背离传送带100设置，对应的，第二图像采集装置12b可以位于传送带100的下方，且为了降低第二图像采集装置12b采集图像时的视角差异，第二图像采集装置12b的光轴可以垂直于传送带100所在的平面。此时处理器14具体用于从存储器中获得标准电路板上各个元器件的排列位置信息，利用该排列位置信息将深度图像划分为多个子深度图像，然后针对每个子深度图像，根据其对应的深度信息确定出引脚的实际位置；最后根据引脚的实际位置与标准电路板的背面标准图像确定当前电路板上的元器件是否插接正确。
65.在上述实施例中，获得局部图像和原始图像的图像采集装置12为两个不同的装
置；在其他实施例中，若不考虑硬件成本，也可以将第一图像采集装置12a和第二图像采集装置12b合并为同一个图像采集装置12；此时图像采集装置12可以先采集获得局部图像，再在收到处理器14的触发指令后采集获得原始图像，局部图像和原始图像均为深度图像。
66.另外，为了使第一图像采集装置12a采集获得的局部图像较为清晰，本技术所提供的检测系统还可以包括光源16，与第一图像采集装置12a同侧且靠近设置。可选地，如图6所示，光源16为环形光源，第一图像采集装置12a位于环形光源的中央位置。
67.此外，本技术所提供的检测系统还可以包括报警器，与处理器14耦接，该报警器可以为声音报警器、灯光报警器、声光报警器等。响应于处理器14确定当前电路板上的元器件存在插接错误时，发送报警指令至报警器，报警器发出报警。
68.当然，在其他实施例中，报警方式也可为其他，例如，处理器14和上述提及的存储器可以集成到一个终端(例如，电脑等)内，该终端还设置有显示屏。响应于处理器14确定出当前电路板上的元器件存在插接错误时，发出弹框显示指令至显示屏，显示屏显示弹框。
69.请参阅图7，图7为本技术具有存储功能的装置一实施方式的框架示意图。该存储装置30存储有能够被处理器运行的程序指令300，程序指令300用于实现上述任一实施例中所提及的检测方法。其中，该程序指令300可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
70.总而言之，本技术所提供的电路板检测方法中，会先获得传输线上电路板的局部图像，然后对局部图像进行识别或匹配，接着在识别或匹配成功时，对电路板进行预设操作。即本技术提供了一种图像触发方式，可以解决传输线上多块电路板相互接触的触发问题，不会出现漏触发的情况，触发精确度较高。且对应的结构方面，只需在传输线上引入图像采集装置，机械结构较为简单，不需要对原有的传输线进行大的改动，硬件成本较低。
71.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本技术的专利保护范围内。