SMT位置检测方法及系统与流程

本发明涉及信息技术领域，具体涉及一种smt位置检测方法及系统。

背景技术：

smt贴片指的是在pcb基础上进行加工的系列工艺流程的简称，pcb(printedcircuitboard)为印刷电路板。smt是表面组装技术(表面贴装技术)(surfacemountedtechnology的缩写)，是电子组装行业里最流行的一种技术和工艺。

现有的smt的物料位置检测不准确，影响了smt的良品率。

技术实现要素：

本发明实施例提供了一种smt位置检测方法及相关产品，可以提高smt良品率的优点。

第一方面，本发明实施例提供一种smt位置检测方法，所述方法包括如下步骤：

终端控制摄像头以匀速拍摄n张图片，将n张图片识别得到包含物体的α张图片；

终端依据该α张图片在n张图片的序号区间确定物料在物料传送带的y轴坐标；

终端对α张图片进行分析确定该物料在传送带的x轴坐标，依据该x轴坐标和y轴坐标确定该物料在smt中的位置。

可选的，所述将n张图片识别得到包含物体的α张图片具体包括：

将n张图片分别输入到物体识别模型中进行识别确定是否包含物体，如包含该物体，将该图片确定为α张图片中的一张。

可选的，所述依据该α张图片在n张图片的序号区间确定物料在物料传送带的y轴坐标具体包括：

确定摄像头匀速的速度v，依据该速度v提供与速度v对应的序号与位置列表，从该序号与位置列表中查询该α张图片的序号区间对应的y轴位置。

可选的，所述终端对α张图片进行分析确定该物料在传送带的x轴坐标具体包括：

终端对α张图片的rgb值提取得到该物料与传送带边缘的像素点的数量，依据该数量确定该物料在x轴的位置。

可选的，所述方法还包括：

依据该α张图片中rgb值所位于的区域确定该物料在传送带的角度β，将该x轴位置、y轴位置以及角度β发送给物料抓取设备，该物料抓取设备依据该x轴位置、y轴位置以及角度β调整机械手的抓取参数。

第二方面，提供一种smt位置检测系统，所述系统包括：处理器、摄像头，其特征在于，

处理器，用于控制摄像头以匀速拍摄n张图片，将n张图片识别得到包含物体的α张图片；据该α张图片在n张图片的序号区间确定物料在物料传送带的y轴坐标；对α张图片进行分析确定该物料在传送带的x轴坐标，依据该x轴坐标和y轴坐标确定该物料在smt中的位置。

可选的，所述处理器，还用于将n张图片分别输入到物体识别模型中进行识别确定是否包含物体，如包含该物体，将该图片确定为α张图片中的一张。

可选的，所述处理器，具体用于确定摄像头匀速的速度v，依据该速度v提供与速度v对应的序号与位置列表，从该序号与位置列表中查询该α张图片的序号区间对应的y轴位置。

可选的，所述处理器，具体用于对α张图片的rgb值提取得到该物料与传送带边缘的像素点的数量，依据该数量确定该物料在x轴的位置。

可选的，所述处理器，还用于依据该α张图片中rgb值所位于的区域确定该物料在传送带的角度β，将该x轴位置、y轴位置以及角度β发送给物料抓取设备，该物料抓取设备依据该x轴位置、y轴位置以及角度β调整机械手的抓取参数。

第三方面，提供一种计算机可读存储介质，其存储用于电子数据交换的程序，其中，所述程序使得终端执行第一方面提供的方法。

实施本发明实施例，具有如下有益效果：

可以看出，本申请提供的技术方案控制摄像头以匀速拍摄n张图片，将n张图片识别得到包含物体的α张图片；据该α张图片在n张图片的序号区间确定物料在物料传送带的y轴坐标；对α张图片进行分析确定该物料在传送带的x轴坐标，依据该x轴坐标和y轴坐标确定该物料在smt中的位置。因此本申请提供的技术方案能够准确的识别该物料在smt传送带的位置，从而实现对物料的精确定位，为物料的操作提供了相应的支持，提高了smt的良品率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种电子设备的结构示意图。

图2是一种smt位置检测方法的流程示意图。

图3是本发明实施例提供的smt位置检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，ue)，移动台(mobilestation，ms)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：

电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(voiceoverinternetprotocol,voip)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括超声波指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，超声波指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该超声波指纹识别模组可以用于采集指纹图像。

传感器170可以包括红外(ir)摄像头或rgb摄像头，ir摄像头在拍摄时，瞳孔反射红外光，因此ir摄像头在拍摄瞳孔图像会比rgb相机更加准确；rgb摄像头需要进行更多的后续图像处理，计算精度和准确性比ir摄像头要高，通用性比ir摄像头更好，但是计算量大。

输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ito)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(nearfieldcommunication，nfc)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

基于上述图1所描述的电子设备，可以用于实现如下功能：

参阅图2，图2提供了一种smt位置检测方法，该方法如图2所示，由如图1所示的终端来执行，该方法包括如下步骤：

步骤s201、终端控制摄像头以匀速拍摄n张图片，将n张图片识别得到包含物体的α张图片；

步骤s202、终端依据该α张图片在n张图片的序号区间确定物料在物料传送带的y轴坐标；

步骤s203、终端对α张图片进行分析确定该物料在传送带的x轴坐标，依据该x轴坐标和y轴坐标确定该物料在smt中的位置。

本申请提供的技术方案控制摄像头以匀速拍摄n张图片，将n张图片识别得到包含物体的α张图片；据该α张图片在n张图片的序号区间确定物料在物料传送带的y轴坐标；对α张图片进行分析确定该物料在传送带的x轴坐标，依据该x轴坐标和y轴坐标确定该物料在smt中的位置。因此本申请提供的技术方案能够准确的识别该物料在smt传送带的位置，从而实现对物料的精确定位，为物料的操作提供了相应的支持。

可选的，上述将n张图片识别得到包含物体的α张图片具体可以包括：

将n张图片分别输入到物体识别模型中进行识别确定是否包含物体，如包含该物体，将该图片确定为α张图片中的一张。

可选的，上述依据该α张图片在n张图片的序号区间确定物料在物料传送带的y轴坐标具体包括：

确定摄像头匀速的速度v，依据该速度v提供与速度v对应的序号与位置列表，从该序号与位置列表中查询该α张图片的序号区间对应的y轴位置。

可选的，上述终端对α张图片进行分析确定该物料在传送带的x轴坐标具体包括：

终端对α张图片的rgb值提取得到该物料与传送带边缘的像素点的数量，依据该数量确定该物料在x轴的位置。

可选的，上述方法还可以包括：

依据该α张图片中rgb值所位于的区域确定该物料在传送带的角度β，将该x轴位置、y轴位置以及角度β发送给物料抓取设备，该物料抓取设备依据该x轴位置、y轴位置以及角度β调整机械手的抓取参数。

在一实施例中，可以为第一图片设置一系列的预设缩放比例(scale)，例如，scale＝[0.3，0.5，0.7，1]，第一预设缩放比例可以为该一系列的预设缩放比例中的最小值，例如第一预设缩放比例为0.3，原始图片(α图片中的第一图片)的分辨率为1000*1200时，预处理模块可以将原始图片按照0.3的比例进行缩放，得到的第一图片的分辨率为300*360。

将第一图片输入到第一fcn中，通过第一fcn进行卷积处理，输出第一热度图，第一热度图上每一个坐标点对应的值为第一fcn对目标物在原始图片上计算出的概率值。

在一实施例中，第一热度图的大小可以由第一fcn最后一个卷基层的输出维度确定，例如，第一fcn最后一个卷基层的输出维度为10*12，第一热度图的大小为为10*12。在一实施例中，第一热度图对应的同一颜色的不同深度或者不同的颜色可以表示对应位置是否为目标物的概率值，第一热度图上，颜色越深，表示该点对应的区域为目标物的概率值越大。在一实施例中，目标物可以为任何具有设定特征的物体，例如，led、集成电路等等。

基于第一热度图上的每一个坐标点对应的概率值，确定目标物在原始图片中的候选区域。

在一实施例中，当第一热度图上存在坐标点对应的概率值符合目标物的识别条件时，可以将该坐标点映射到原始图片上，例如，第一热度图上的【5，6】、【5，5】、【6，5】等坐标点符合目标物的识别条件，则可以将【5，6】、【5，5】、【6，5】在第一热度图上的区域映射到原始图片上，得到候选区域，该区域的大小在缩放处理后的第一图片上为30*40，对30*40除以第一预设缩放比例0.3，可得到该候选区域在原始图片的大小为100*133。

将候选区域对应的图像内容输入到已训练的第二fcn中，通过第二fcn进行卷积处理后，输出第二热度图，第二热度图上的每一个坐标点对应的值为第二fcn对目标物在原始图片上的概率值。

在一实施例中，将标号对应的大小为100*133的图像内容输入到第二fcn12，得到第二热度图。在一实施例中，第二热度图的大小可以由第二fcn最后一个卷基层的输出维度确定，例如，第二fcn最后一个卷基层的输出维度为3*4，第二热度图的大小为3*4。在一实施例中，第二热度图对应的同一颜色的不同深度或者不同的颜色可以表示对应位置是否为目标物的概率值，第二热度图上，颜色越深，表示该点对应的区域为目标物的概率值越大。

基于第二热度图上的每一个坐标点对应的值，确定目标物在原始图片中的位置区域。

将候选区域对应的图像内容输入到已训练的第二fcn中，通过第二fcn进行卷积处理后，输出第二热度图，第二热度图上的每一个坐标点对应的值为第二fcn对目标物在原始图片上的概率值。

在一实施例中，将标号对应的大小为100*133的图像内容输入到第二fcn，得到第二热度图。在一实施例中，第二热度图的大小可以由第二fcn最后一个卷基层的输出维度确定，例如，第二fcn最后一个卷基层的输出维度为3*4，第二热度图的大小为3*4。在一实施例中，第二热度图对应的同一颜色的不同深度或者不同的颜色可以表示对应位置是否为目标物的概率值，第二热度图上，颜色越深，表示该点对应的区域为目标物的概率值越大。

基于第二热度图上的每一个坐标点对应的值，确定目标物在原始图片中的位置区域。

参阅图3，图3提供一种smt位置检测系统，所述系统包括：处理器、摄像头，

处理器，用于控制摄像头以匀速拍摄n张图片，将n张图片识别得到包含物体的α张图片；据该α张图片在n张图片的序号区间确定物料在物料传送带的y轴坐标；对α张图片进行分析确定该物料在传送带的x轴坐标，依据该x轴坐标和y轴坐标确定该物料在smt中的位置。

可选的，所述处理器，还用于将n张图片分别输入到物体识别模型中进行识别确定是否包含物体，如包含该物体，将该图片确定为α张图片中的一张。

可选的，所述处理器，具体用于确定摄像头匀速的速度v，依据该速度v提供与速度v对应的序号与位置列表，从该序号与位置列表中查询该α张图片的序号区间对应的y轴位置。

可选的，所述处理器，具体用于对α张图片的rgb值提取得到该物料与传送带边缘的像素点的数量，依据该数量确定该物料在x轴的位置。

可选的，所述处理器，还用于依据该α张图片中rgb值所位于的区域确定该物料在传送带的角度β，将该x轴位置、y轴位置以及角度β发送给物料抓取设备，该物料抓取设备依据该x轴位置、y轴位置以及角度β调整机械手的抓取参数。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种smt位置检测方法的部分或全部步骤。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种smt位置检测方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-onlymemory，简称：rom)、随机存取器(英文：randomaccessmemory，简称：ram)、磁盘或光盘等。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。