基于图像特征空间变阈值度量的电子元器件自动识别方法与流程

本发明涉及电子学领域，特别涉及目标识别技术。具体涉及基于图像特征空间变阈值度量的电子元器件自动识别方法。

背景技术：

元器件作为电子学领域中的基础单元，是组成电子电路的基本组成部分。元器件依据功能、性能特点等可以分为很多种类，参数也各不相同。不同的元器件在各自的电路中发挥着其独特的功能，是组成复杂电子系统、实现多样化系统功能的基石。

处于电路中的元器件，通常都是具有较强的外观辨识度的，有经验的电子电路工作者，可以凭借经验，不依赖于测试工具，仅依据元器件外观，进行元器件种类的识别。独立的元器件在连接到电路之前，可以依赖于测试工具进行识别认知，但是连接到电路中后，或串联或并联在复杂的电路结构中，在不破坏电路结构的基础上，往往测试工具不再适用。因此，元器件在设计之初，就被赋予了不同的外观特点，如颜色、形状、大小等。这些外观特点，使得工程师和电子电路的使用者们可以凭借经验，依据元器件外观进行元器件的种类识别。

然而，人工识别元器件很大程度上依赖于使用者的先验知识和丰富的经验。在电子电路中，元器件种类不固定、分布不固定、数量不固定的情况，是实际电路中存在的普遍现象。且人工识别无法形成系统的识别结果以供其他系统使用，在元器件种类多、数量多时，识别过程也将耗时耗力。智能自动识别算法将会给使用者提供一种不用专家和有经验者参与的自动识别途径，输入接口为待识别的元器件图片，在元器件识别上，不依赖于使用者的先验知识，这为电子系统的初学者提供了友好的辅助工具；且对于图片中存在多个元器件的情况，也提供了计数识别的途径，可以避免人员重复劳动，提高识别效率，降低错误识别和遗漏识别比例。以图片为识别入口，不需要该方法使用者提供其他设备或者信息，仅需要对将要识别的环境进行照片采集，该方法即可以图像信息为基础，分析得出该环境中存在的特定的电子元器件。

通过对现有技术的检索，并未发现类似专利。特别是以图像识别技术为基础的，针对电子元器件的自动识别算法，缺乏简单有效的识别途径。该项技术可以在图像中提取电子元器件相关的视觉特征，并结合电子元器件的特点，为电子元器件的识别提供新途径，为电子系统设计者提供一个友好的易于使用的辅助环境，在电子系统教育领域、电路设计、测试、开发领域提供高效的识别工具，降低行业经验知识获取难度，推动电子系统行业发展。

技术实现要素：

为克服现有技术的不足，本发明旨在研究不同类别元器件的自动识别问题，以及多个元器件数量计数识别技术。自动识别信息源为照片图像，获取途径不限，图片背景不限。重点关注如何通过照片信息，让程序可以自动识别图片中存在的元器件，过滤无用和干扰背景信息，并定位特定种类元器件，给出识别结果，并进行计数。为此，本发明采取的技术方案是，基于图像特征空间变阈值度量的电子元器件自动识别方法，步骤如下：

①收集待识别的各类电子元器件样本图片，对每个样本图片，分析其外观特征，选择多个能够反映元器件的具有辨识度的特征，完成电子元器件特征空间构建；②在样本特征空间中，通过统计样本的均值和方差确定每一种电子元器件在特征空间的位置和分布范围；③变阈值度量，依据不同特征，设置合适的阈值，进行图像背景全像素度量，获得度量结果；④识别结果反馈叠加，以度量结果为依据，进行识别定位，将识别结果反馈叠加至原始图像，完成识别。

进一步具体地，

利用固定或移动设备中的摄像头实时采集图像信息，或者图片信息导入；采集到的电路图像，以彩色图片的形式进行存储，并读取，进而完成数字图像信息的采集工作；包含了众多元器件信息的图像展示为像素矩阵形式的彩色数字图像信息；在多维数字图像信息的基础上，分别进行特征提取、元器件定位、元器件识别等三个核心智能识别环节后，将会得到电路图中可识别的元器件种类和每种元器件的个数；在获得识别结果后，将对识别结果进行数据流反馈，送给识别信息处理叠加环节，在原始图像的基础上，进行辅助识别信息叠加，清晰有效的显示识别结果。

更进一步地：

步骤①元器件特征空间构建：

设待识别的电子元器件共有X类，收集每一类电子元器件的样本图片，组成电子元器件标准样本库，每一个样本为一个红绿蓝RGB彩色图片，其形状为方形，内容只包含一个电子元器件，计算每一张样本图片的多个特征，用这些特征构成一个特征向量，具体的每一个特征计算方法如下：

<1>考虑到照片选取的光照差异，将RGB样本图片转换到Lab彩色空间，分别计算图片中的L、a、b三个通道的平均值和方差，L分量用于表示像素的亮度；a表示从红色到绿色的范围；b表示从黄色到蓝色的范围，共得到6个特征；

<2>将RGB样本图片转换为灰度图像，计算灰度图像的均值，并以此为阈值对灰度图像进行二值化操作；即灰度图像上大于该阈值的像素点置为1，小于该阈值的像素点置为0.计算二值图像中取值为1的像素点和所有像素点的比值，作为第7个特征；

<3>在样本图片的二值图像上，提取边界点，边界点的提取方法为，对于图像中的每一个取值为1的像素点，若其8领域范围内的像素点至少有一个不为1，那么该像素点为边界点。计算二值图像中边界点的个数与所有像素点个数的比值，作为第8个特征；

<4>在样本图片的边界图像上，计算每一个边界点的曲率值，然后将边界图像中计算得到的最大曲率值作为该样本图片的第9个特征，边界点的曲率值计算方法为：对图像中的每一个像素点，计算在每个像素点周围8个领域内的相关系数矩阵，然后计算该矩阵的两个特征值，将最大的特征值与两个特征值之和的比值作为该点曲率特征值；

通过以上步骤，获得每个样本图像的9维特征向量。

步骤②关键特征信息核心参考值确定

对于一类样本图片，计算每个样本的特征向量，所有同类样本的特征向量均值构成一个样本的描述，并且此类样本的特征向量方差描述该类样本在特征空间中的分布范围，对于X类电子元器件，共得到X个特征向量均值{fi}，i＝1,2,…,X，以及X个特征向量方差{di}，i＝1,2,…,X，每个特征向量均值称为类别中心，特征向量方差称为类别分布半径；

步骤③变阈值度量

对于待检测的未知电子元器件图片进行度量识别，输入的待检测图片记为P，分别构建一个类别标志矩阵T，类别距离矩阵D，区域边长矩阵W，T，D和W的尺寸与P相同，且T，D和W中每个点的初值设为0，遍历图片P中的每一个像素点p(xj,yj)，xj为第j个像素点的x方向坐标，yj为第j个像素点y方向的坐标；

在识别过程中采用变阈值操作。找出P矩阵中以(xj,yj)点为中心，边长分别为3,5,…,2×(nr-1)的nr个可变阈值矩形区域；

依据步骤①元器件特征空间构建步骤，计算每一个矩形区域的特征向量，共得到nr个特征向量；

计算每一个特征向量到X个类别中心的距离，共得到nr×X个距离；

找出nr×X个距离中的最小值，设该最小距离值对应的类别为t，距离值为d，边长为w；

若距离值d小于类别t的分布范围半径，则修改T(xj,yj)点的值为t；修改D中(xj,yj)点的值为d；修改W中(xj,yj)点的值为w。

步骤④识别结果反馈叠加

识别结果形式为满足变阈值距离要求的像素点群，将这些像素点群进行聚合并标记，排除孤立像素点剩余像素点群聚合成的即为识别出的元器件，将识别出的像素点位置进行标记，并计数，反馈到原始图像中，将原始图像中满足要求的像素点进行特殊颜色着色并显示，即可将识别信息流进行反馈并清晰展示。

使用区域生长法，识别出标志矩阵T中所有相同类别标记构成类别联通区域；

找出矩阵D中与每一个类别联通区域对应的距离联通区域；

找出每一个距离联通区域中的最小值点，该点的坐标记为(xp,yp)；

找到矩阵T中(xj,yj)点值tp，矩阵W中(xj,yj)点值Wp，认为在原始图像P中以(xj,yj)为中心，边长为Wp的矩形区域中包含一个类别为tp的电子元器件，在原始图像P中标记输出该识别结果。

本发明的特点及有益效果是：

该方法可以针对某个图像开展电子元器件自动识别工作，针对图片识别处理结果给出一个电子元器件种类的检测结果以及位置和数量的检测结果。该方法不受照片背景、元器件大小的限制，可以对电子元器件进行智能识别。且该方法可以在照片存在文字、背景等干扰的情况下进行智能识别。

社会效益及经济效益：此项发明对电子电路的设计效率和该领域人员学习认知效率的提高具有十分重要的推动意义，可以推动专业教育教学、智能辅助电子电路硬件设计和测试。本发明可以提供有效的智能自动识别电路方法，可以为电子电路的硬件设计故障检测提供以电子元器件为基础的自动识别方法，为工程技术人员服务，对电子电路领域的硬件设计具有推动作用。为高智能化、高性能的电路设计提供解决方案。缩短电路设计研发周期，降低安全测试成本，推动高智能电路自动识别实现进程。

附图说明：

附图1元器件自动识别结构图。

附图2基于图像特征空间变阈值度量的电子元器件自动识别方法流程图。

附图3发光二极管元器件复杂背景下的自动识别效果图。图中：

(a)电路板图片 (b)定位效果图 (c)识别信息反馈效果图。

附图4元器件自动识别软件实现界面图。

具体实施方式

本发明研究不同类别元器件的自动识别问题，以及多个元器件数量计数识别技术。自动识别信息源为照片图像，获取途径不限，图片背景不限。重点关注如何通过照片信息，让程序可以自动识别图片中存在的元器件，过滤无用和干扰背景信息，并定位特定种类元器件，给出识别结果，并进行计数。考虑到识别算法应用的广泛性，不对背景信息进行要求，不对照片光照、摆放位置等进行要求。采用特征提取的方式，找到适合电子元器件识别方法。

本发明提出的基于图像信息的电子元器件自动识别方法，旨在探索基于电子元器件识别的智能电子系统设计辅助程序，支持快速电路开发试验的设计需求，所开发的算法有重要的理论意义和实际应用前景。电子元器件自动识别方法将给电子电路学习、设计、开发人员电子元器件方面的自动识别定位信息，促进设计人员开展后期的电路设计开发工作，并为电路安全性分析和智能故障排除工作提供支撑。可以推进电子学方面的发展，缩短电路设计人员的学习与开发周期，既快速高效又节省开支，具有很好的应用前景与经济价值。

本发明旨在给出一个可以依据图像信息直接进行电子元器件识别的自动处理方案，以图像特征空间变阈值度量为主要研究手段。针对电子元器件的外观特点，提出适用于辅助电路设计、测试的基于计算机视觉的电子元器件自动检测识别定位方法。结合元器件特点分析，给出图片中各个待识别元器件的定位信息和种类信息的自动识别结论。并借助人机交互系统的开发，对本专利所提方法进行了验证。

基于图像特征空间变阈值度量的电子元器件自动识别方法包括以下四个步骤：①电子元器件特征空间构建，分析电子元器件的外观特征，选择多个能够反映元器件的具有辨识度的特征，完成电子元器件特征空间构建。②关键特征信息核心参考值确定，对每个特征进行关键信息量化，作为核心参考值以供后期定量距离度量。③变阈值度量，依据不同特征，设置合适的阈值，进行图像背景全像素度量，获得度量结果。④识别结果反馈叠加，以度量结果为依据，进行识别定位，将识别结果反馈叠加至原始图像，完成识别。

结合附图对本发明作进一步详述。

参见图1，摄像头实时采集图像信息，可以利用固定或移动设备中的摄像头，实时对待识别的电路进行图像采集，受到应用环境的约束较小。另外图片信息导入也为待识别图像的一种导入形式，可以为远程或不同时间的采集图像提供识别入口。采集到的电路图像，以彩色图片的形式进行存储，并读取，进而完成数字图像信息的采集工作。包含了众多元器件信息的图像即可展示为像素矩阵形式的彩色数字图像信息。在多维数字图像信息的基础上，分别进行特征提取、元器件定位、元器件识别等三个核心智能识别环节后，将会得到电路图中可识别的元器件种类和每种元器件的个数。在获得识别结果后，将对识别结果进行数据流反馈，送给识别信息处理叠加环节，在原始图像的基础上，进行辅助识别信息叠加，清晰有效的显示识别结果。

参见图2，为本算法的具体实施流程图，具体步骤为：

基于特征空间变阈值度量的元器件自动识别方法

步骤①元器件特征空间构建：

设待识别的电子元器件共有X类，收集每一类电子元器件的样本图片，组成电子元器件标准样本库。每一个样本为一个RGB(红色、绿色、蓝色)彩色图片，其形状为方形，内容只包含一个电子元器件。计算每一张样本图片的多个特征，用这些特征构成一个特征向量，具体的每一个特征计算方法如下：

<1>考虑到照片选取的光照差异，将RGB样本图片转换到Lab彩色空间，分别计算图片中的L、a、b三个通道的平均值和方差(L分量用于表示像素的亮度；a表示从红色到绿色的范围；b表示从黄色到蓝色的范围)，共得到6个特征。

<2>将RGB样本图片转换为灰度图像。计算灰度图像的均值，并以此为阈值对灰度图像进行二值化操作；即灰度图像上大于该阈值的像素点置为1，小于该阈值的像素点置为0.计算二值图像中取值为1的像素点和所有像素点的比值，作为第7个特征。

<3>在样本图片的二值图像上，提取边界点。边界点的提取方法为，对于图像中的每一个取值为1的像素点，若其8领域范围内的像素点至少有一个不为1，那么该像素点为边界点。计算二值图像中边界点的个数与所有像素点个数的比值，作为第8个特征。

<4>在样本图片的边界图像上，计算每一个边界点的曲率值，然后将边界图像中计算得到的最大曲率值作为该样本图片的第9个特征。边界点的曲率值计算方法为：对图像中的每一个像素点，计算在每个像素点周围8个领域内的相关系数矩阵，然后计算该矩阵的两个特征值，将最大的特征值与两个特征值之和的比值作为该点曲率特征值。

通过以上步骤，可以获得每个样本图像的9维特征向量。

步骤②关键特征信息核心参考值确定

对于一类样本图片，计算每个样本的特征向量，所有同类样本的特征向量均值构成一个样本的描述，并且此类样本的特征向量方差描述了该类样本在特征空间中的分布范围。对于X类电子元器件，共得到X个特征向量均值{fi}，i＝1,2,…,X。以及X个特征向量方差{di}，i＝1,2,…,X。每个特征向量均值称为类别中心，特征向量方差称为类别分布半径。

步骤③变阈值度量

对于待检测的未知电子元器件图片进行度量识别，输入的待检测图片记为P。分别构建一个类别标志矩阵T，类别距离矩阵D，区域边长矩阵W。T，D和W的尺寸与P相同，且T，D和W中每个点的初值设为0。遍历图片P中的每一个像素点p(xj,yj)。xj为第j个像素点的x方向坐标，yj为第j个像素点y方向的坐标。

本算法不限制待搜寻的电子元器件在图片中的大小，因此在识别过程中采用变阈值操作。找出P矩阵中以(xj,yj)点为中心，边长分别为3,5,…,2×(nr-1)的nr个可变阈值矩形区域。

计算每一个矩形区域的特征向量(依据步骤①元器件特征空间构建)，共得到nr个特征向量。

计算每一个特征向量到X个类别中心的距离，共得到nr×X个距离。

找出nr×X个距离中的最小值，设该最小距离值对应的类别为t，距离值为d，边长为w。

若距离值d小于类别t的分布范围半径，则修改T(xj,yj)点的值为t；修改D中(xj,yj)点的值为d；修改W中(xj,yj)点的值为w。

步骤④识别结果反馈叠加

识别结果形式为满足变阈值距离要求的像素点群，将这些像素点群进行聚合并标记，排除孤立像素点剩余像素点群聚合成的即为识别出的元器件，将识别出的像素点位置进行标记，并计数，反馈到原始图像中，将原始图像中满足要求的像素点进行特殊颜色着色并显示，即可将识别信息流进行反馈并清晰展示。

使用区域生长法，识别出标志矩阵T中所有相同类别标记构成类别联通区域。

找出矩阵D中与每一个类别联通区域对应的距离联通区域。

找出每一个距离联通区域中的最小值点，该点的坐标记为(xp,yp)。

找到矩阵T中(xj,yj)点值tp，矩阵W中(xj,yj)点值Wp。认为在原始图像P中以(xj,yj)为中心，边长为Wp的矩形区域中包含一个类别为tp的电子元器件。在原始图像P中标记输出该识别结果。

参见图3，(a)为带环境复杂未知背景的电路板图片；(b)为红色发光二极管识别定位效果图；(c)为识别信息流反馈效果图。可见原始照片中包含了需要识别的元器件红色发光二极管。除此之外，还存在桌面、笔记本、阴影、电路板、电路板中的其他种类元器件等干扰内容。识别算法顺利处理了光照不均匀问题、背景未知且复杂的问题，给出了红色发光二极管的定位，并以白色色块显示在图片中，在图3(b)中可见，带识别电路中红色发光二极管共10个，全部被识别出来。在图3(c)中，识别结果在原始图片信息上进行反馈叠加，清晰的标识出发光二极管的具体位置，为使用者带来了很大的方便。

参见图4，基于特征空间变阈值度量的元器件自动识别方法主控软件界面采用相对布局设计设计，运行环境为安卓5.0及以上系统，支持手机及便携式设备。带有三个主要功能模块，分别为图像采集模块，辅助识别模块，反馈显示模块。图像采集模块主要负责通过调用摄像头外设、读取存储设备等手段获得待识别的原始图像；辅助识别模块主要负责对特定电子元器件的自动识别，且识别过程允许进行使用者的人机交互；反馈显示模块主要负责将识别结果中的定位信息，反映在原始图像中，并将识别出的具体电子元器件种类说明和数量等信息，进行输出存储。