一种基于有向图和深度学习的电路识别方法

本发明涉及一种基于有向图和深度学习的电路识别方法。

背景技术：

1、在现有的利用计算机视觉和深度学习对初高中物理电路实验进行打分的系统中，最重要的部分就是对于整个电路回路的连接是否正确的识别判断。由于实验器材的不同摆放顺序、电表量程的选择以及导线的不同接法，使得整个回路存在多种可能性，这样就对电路连接识别造成困难，从而再打分时出现误差。此时需要提出一种方法，基于与电流有相似性的有向图，使得我们可以排除这些变化因素，较为准确地识别出视野中的整体回路连接，确定器材连接逻辑，从而对连接是否正确进行判断。

2、传统的模板匹配方法效果如图2所示，即给出需要识别的图像，然后根据模板寻找出相似的区域。但是传统方法十分局限，在实践过程中，由于图像拍摄时间、角度、环境的不同，使得目标图像中目标区域与模板图像会存在一定的差异。这类算法虽然运算过程简单，但由于其面向所有特征点施加距离计算，对目标物体没有针对性，所以对背景变化非常敏感。并且当模板图像与目标图像之间存在非刚性形变、遮挡等复杂变换时，匹配精度会大幅度下降。

3、所以需要运用基于多特征融合的共生矩阵模板匹配算法，利用共生矩阵从多特征融合所获取的大量数据中学习图像之间的相似性，能够很好的对抗光照变化、背景杂乱、几何形变、遮挡等复杂情况。

4、共生矩阵其实是一个对称矩阵，其对角线上的元素为其自身像素在图中出现的次数，而共生矩阵的求解实质上就是遍历图像修改权重累计求和的过程。通过共生矩阵我们可以了解到两个像素值在同一区域内共同出现的概率。

技术实现思路

1、本发明的目的在于提出一种基于有向图和深度学习的电路识别方法。

2、本发明提出的基于有向图和深度学习的电路识别方法，借助电流与有向图的共通性，将视野内的实物电路图自动识别，并生成相对应的有向图，从而实现对实验器材连接的正误判断，具体步骤如下：

3、(1)，先将输入的图片或视频中所有的实验器材的正负端子识别出来，利用改进的模板匹配算法，依靠给出的对照模板，加入相似度特征函数，对整个画面中的对象进行匹配识别，从而筛选出相似度最高的部分；

4、(2)，将步骤(1)中识别出的所有器材端子进行编号并固定；

5、(3)，利用点云实例分割asis对输入图片/视频的视野内的导线进行3d数据信息的训练，从而实现对于视野内的每根导线走向的判断，所述每根导线走向的判断对于相交或重叠的情况，也可以识别完好；

6、(4)，对于利用实例分割mask-rcnn实现除步骤(3)经过识别的每根导线外其他器材的分割训练，从而实现将视野内的所有器材都分割完毕；

7、(5)，根据分割后的场景，在分割后的效果图中，判断导线两端分别与导线之外的哪个器材的分割部分有嵌入或临界关系，从而判定导线两端分别与哪个器材相连接；

8、(6)，利用掩膜融合算法，在导线两端与步骤(2)固定好编号的所有器材端子之间进行距离判别，而对于已有的编号利用ocr识别，从而进一步确定导线两端分别与器材的哪个端子相连接；

9、(7)，根据导线的走向，依次梳理导线两端连接的器材端子编号，将其作为节点，从而生成最后的有向图。

10、本发明中，步骤(1)中所述的改进的模板匹配算法采用基于多特征融合的共生矩阵模板匹配算法，通过共生矩阵得到两个像素值在同一区域内共同出现的概率；

11、相似度特征函数提取采用3种图像特征：颜色特征、hog特征和深度特征，分别表征了图像的3类不同特征属性；

12、特征融合是将这3种图像特征进行整合，提供更加完备的图像信息，从而提高匹配算法的准确性和鲁棒性；特征融合需要经历特征提取、特征串联、pca降维以及k-means聚类四个步骤。

13、本发明中，步骤(2)中，先确定节点，每两个节点之间生成一条有方向的线条，即为有向边；在确定节点之前，由于每个电学实验的器材都是固定的，则人为规定各器材各端子的编号，从而方便后续节点的确认。

14、本发明中，步骤(3)中，导线部分的分割采用asis实例分割算法，对此场景下的交叉导线数据集进行训练，能够分别准确判断出视野中的每一根导线的走向，排除多根导线交叉带来的识别干扰。

15、本发明中，步骤(4)中，在识别回路时，需要区分每种器材，并且还要判断导线与器材的连接情况；使用mask-rcnn来对器材进行分割，一方面识别出物体及位置，另一方面为后续判断导线连接情况打下基础。

16、本发明中，步骤(5)中根据分割后的场景，在判定导线两端分别连接哪种器材时，只需要判断分割后的效果图中，导线两端分别与导线之外的哪个器材的分割部分有嵌入或临界关系。

17、本发明的有益效果在于：

18、本方法可以解决在视野内的电路由于实验器材的摆放位置、电表的量程选择以及导线与不同实验器材的连接方式而产生多种可能性，从而无法准确识别整体回路的情况。当这些变化因素被解决后，可以输出一个根据视野内的实物电路图而自动生成的相对应的有向图。由于有向图的每条边都是有方向的，这与电路内部的电流本身相适应，也代表了每部分电流的方向，所以利用有向图的概念对整体电路进行识别的方法更加形象且准确。本发明方法的优势是可以根据不同电路生成对应的有向图，适应性强，且可以清晰看出电流的流向，从而更好判断连接的正确性，识别效果也很好。

技术特征：

1.一种基于有向图和深度学习的电路识别方法，其特征在于：借助电流与有向图的共通性，将视野内的实物电路图自动识别，并生成相对应的有向图，从而实现对实验器材连接的正误判断，具体步骤如下：

2.根据权利要求1所述的一种基于有向图和深度学习的电路识别方法，其特征在于：步骤（1）中所述的改进的模板匹配算法采用基于多特征融合的共生矩阵模板匹配算法，通过共生矩阵得到两个像素值在同一区域内共同出现的概率；

3.根据权利要求1所述的一种基于有向图和深度学习的电路识别方法，其特征在于：步骤（2）中，先确定节点，每两个节点之间生成一条有方向的线条，即为有向边；在确定节点之前，由于每个电学实验的器材都是固定的，则人为规定各器材各端子的编号，从而方便后续节点的确认。

4.根据权利要求1所述的一种基于有向图和深度学习的电路识别方法，其特征在于：步骤（3）中，导线部分的分割采用asis实例分割算法，对此场景下的交叉导线数据集进行训练，能够分别准确判断出视野中的每一根导线的走向，排除多根导线交叉带来的识别干扰。

5.根据权利要求1所述的一种基于有向图和深度学习的电路识别方法，其特征在于：步骤（4）中，在识别回路时，需要区分每种器材，并且还要判断导线与器材的连接情况；使用mask-rcnn来对器材进行分割，一方面识别出物体及位置，另一方面为后续判断导线连接情况打下基础。

6.根据权利要求1所述的一种基于有向图和深度学习的电路识别方法，其特征在于：步骤（5）中根据分割后的场景，在判定导线两端分别连接哪种器材时，只需要判断分割后的效果图中，导线两端分别与导线之外的哪个器材的分割部分有嵌入或临界关系。

技术总结
本发明涉及一种基于有向图和深度学习的电路识别方法，借助电流与有向图的共通性，将视野内的实物电路图自动识别，并生成相对应的有向图，从而实现对实验器材连接的正误判断；输入图片或视频，模板匹配区分器材的正负端子，将所有器材的正负端子定位并固定编号；利用实例分割对导线进行3D数据信息训练并实现分割，利用实例分割对器材数据集进行训练并实现分割，判断分割出来的导线两端分别与何种器材存在交叠来判断连接；识别出每根导线两端分别为几号节点，生成整体有向图。本发明方法的优势是可以根据不同电路生成对应的有向图，适应性强，且可以清晰看出电流的流向，从而更好判断连接的正确性，识别效果也很好。

技术研发人员：季雨霏,尹建君
受保护的技术使用者：复旦大学
技术研发日：
技术公布日：2024/1/13