一种教育玩具套件及其电路元件和电线的识别方法与流程

本发明涉及计算机视觉检测处理技术领域，特别涉及一种教育玩具套件及其电路元件和电线的识别方法。

背景技术：

现在平板电脑上有许多有趣的幼教游戏应用程序或者儿童游戏，但往往只是让小朋友在屏幕上指指画画，互动性欠缺，长时间看着屏幕容易对眼睛造成伤害，并且缺乏物理知识的教育，逻辑思维培养欠缺；并且当下一些互动性强的传统性游戏玩具已经脱离了时代的发展，形式上无法满足孩子学习、玩耍的需求，也不便于孩子和家长的互动沟通。

为了解决上述问题，计算机视觉与图像处理技术领域成功地开发了一种教育玩具套件，包括：支架、头盔探测器和底板，在平板电脑内安装游戏程序，通过平板电脑的摄像头采集放置于平面上的底板的图像。上述的教育玩具套件虽然解决了平板电脑中游戏的互动性欠缺的问题，但是形式仍然单一，只是单纯的互动，并没有物理知识的嵌入，无法对孩子从小培养电学知识，亦无法做到从小培养小朋友对电学的认识和兴趣。

因此，计算机视觉检测处理技术领域急需一种教育玩具套件及其电路元件和电线的识别方法，是将电路元器件和电线放置于游戏底板上，在平板电脑内安装游戏程序，通过平板电脑的摄像头采集放置于底板上的电路元器件与电线图像，再基于预定义的颜色、轮廓信息、颜色编码信息，识别电路元件与电线，孩子将电路元器件与电线相连，判断出连接好的电路是否正确，增强孩子的想象力，增加游戏趣味性，使孩子可以学习到基础电路知识，培养孩子的兴趣。

技术实现要素：

本发明为了解决上述问题，提供了一种教育玩具套件及其电路元件和电线的识别方法，技术方案如下：

一种教育玩具套件，包括：底板、电路元器件和电线底板放置于平面上，电路元器件和电线放置于底板上。

优选的，在上述的一种教育玩具套件中，底板为具有圆角的矩形，在矩形的4个角上设置有校准角。

优选的，在上述的一种教育玩具套件中，校准角为红色圆弧线。

一种教育玩具套件中电路元件和电线的识别方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，再将底板放置于平面上，保证校准角的一面朝上

步骤二，在底板上完成电路元器件与电线的连接，通过平板电脑的后置摄像头实时采集彩色图像，移动平板电脑，保证后置摄像头采集的彩色图像中至少含有3个校准角；

步骤三，从步骤二的彩色图像中提取出有效识别区域；

步骤四，检测位于彩色图像有效识别区域内的电路元器件；

步骤五，检测位于彩色图像有效识别区域内的电线；

步骤六，判断出电路元器件与电线的连接是否准确。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤二中后置摄像头采集的彩色图像为I_xy，I_xy＝f(x，y)＝(R_xy，G_xy，B_xy)，其中，(x，y)表示彩色图像像素点的位置坐标，f(x，y)表示图像在像素点坐标位置处的像素值，R_xy表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤三中从彩色图像中提取出有效识别区域的具体步骤为：

A)根据先验知识，在步骤二的彩色图像中分割出4块校准角区域，根据HSV空间内的先验阈值，将4块校准角区域图像进行二值化处理，得到4块校准角二值图；

B)扫描步骤A)中得到的4块校准角二值图，得到相应的边缘轮廓图，再根据边缘轮廓的离心率和大小的先验知识，过滤掉不合理的轮廓；

C)根据步骤B)得到的剩余边缘轮廓，计算出4个校准角的外接矩形，在识别过程中，当至少有三个角标内都有符合条件的校准角时，其外接矩形即为计算出的有效识别区域。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤四中检测位于彩色图像识别区域内的电路元器件的具步骤为：

1，由于每个电路元器件外壳的颜色不同，因此通过颜色差异，分割出各个电路元器件，并提取每个电路元器件外壳的内轮廓；

2，根据步骤1中提取出的电路元器件外壳的内轮廓，计算出每个电路元器件的位置和偏转角度；

3，依据步骤2计算出的偏转角度旋转电路元器件，再分割电路元器件，通过颜色编码识别出电路元器件的类别。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤1中提取每个电路元器件外壳的内轮廓的具体步骤为：

a)因为电路元器件的颜色在RGB颜色空间内不利于分割开来，对光照变化也比较敏感，所以，将提取出来的感兴趣区域图像由RGB颜色空间转换到侧重于色彩表示的HSV颜色空间，具体转换公式为：

V＝max{C(R′)、C(G′)、C(B′)}；

其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间；

b)在HSV颜色空间内，根据电路元器件所涉及到的颜色在HSV空间内的先验阈值，将彩色图像进行二值化处理，具体公式如下：

在二进制图像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)时，即为生成二进制图像；

其中，B(x，y)表示图像像素点(x，y)的二进制像素值，H(x，y)、S(x，y)、V(x，y)分别表示图像像素点(x，y)在HSV颜色空间内的色调值、饱和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分别表示图像像素点(x，y)是否分别在指定的H、S、V区域内，如果是，则取值为1，否则，取值为0；H_min、H_max分别表示某个元器件外壳的颜色在HSV颜色空间内色调的先验最小和最大值；S_min、S_max分别表示某个元器件外壳的颜色在HSV颜色空间内饱和度的先验最小和最大值；V_min、V_max分别表示某个元器件外壳的颜色在HSV颜色空间内亮度的先验最小和最大值。

c)扫描二值化图像，找出所有边缘轮廓；

二值化图像可以看作是只有两个值的灰度图像，图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值；

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

进一步地，计算非静止电风扇和其余电路元器件耳朵的方法是根据电路元器件耳朵轮廓形状、大小和离心率的先验知识，滤掉不合理的轮廓，从而获得电路元器件的2个耳朵的位置；

由于静止电扇的耳朵有可能被扇叶遮住部分或者全部，因此需要对步骤b)进行颜色分割，分割出蓝色二值图和绿色二值图；

进一步地，对蓝色二值图进行扫描，通过扇叶的轮廓形状、离心率、大小的先验知识，判定是否有扇叶的存在，如果有，则判定该电路元器件为风扇；否则，直接跳到步骤2；

进一步地，判定该电路元器件为风扇后，对于静止风扇的耳朵的计算方法如下：对步骤1中绿色二值图进行聚类处理，将距离较近的绿色点聚成一类，通过同一类的点集数量、点集最小外包矩形的大小、离心率、点集位置的先验知识，对聚成一类的点集进行过滤，如果过滤后只剩下两类点集，则认为当前扇叶的位置有较大概率地遮住了电气元器件的耳朵，则通过两类点集的中心点位置和元器件的轮廓信息计算出电路元器件耳朵的中心点位置。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤2计算每个电路元器件的位置和偏转角度的具体步骤为：

根据计算出的电路元器件的耳朵位置、中心点位置，以保证电路元器件的耳朵在水平方向为标准，计算得出电路元器件的旋转角度。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤3中识别出电路元器件类别的具体步骤为：

首先，需要预先为所有电路元器件设置一种编码规则，使每个电路元器件都有唯一的编码；因为待识别电路元器件数量是有限的，故选取红、黄、蓝、绿四种易区分的颜色作为编码特征色；电路元器件的私印主要集中在上中，中中，下中三个地方，当这三个地方的某一颜色像素超过颜色像素阈值，则认为此颜色是该区域的颜色；

根据电路元器件外壳颜色，上中、中中和下中的私印颜色，红记为1，黄记为2，蓝记为3，绿记为4，无记为0，忽略当前颜色也记为0，可以将11个电路元器件进行编码，根据电路元器件编码，即可唯一确定当前检测电路元器件的类型；

过滤掉不符合编码的电路元器件，将剩余的电路元器件类型、电路元器件中心点、旋转角度一起传递给上层软件；

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，颜色像素阈值为九宫格中每个宫格面积的30％。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤五中检测位于彩色图像有效识别区域内电线的具体步骤为：

步骤1)，通过颜色差异分割出电线、提取骨骼；

步骤2)，通过提取到的骨骼，计算电线的端点和分岔点。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤1)中通过颜色差异分割出电线、提取骨骼的具体步骤为：

首先，在步骤三的有效识别区域HSV空间内，根据电线的颜色在HSV空间内的先验阈值，将图像二值化处理，得到电线二值化图像；

进一步地，对电线二值化图像进行扫描，通过电线轮廓的形状、大小的先验知识滤除不符合电线特征的轮廓，对剩下的轮廓进行填充，得到新的只有电线的二值化图；

进一步地，对上述只有电线的二值化图进行骨骼细化，得到电线的骨骼。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤2)中通过提取到的骨骼，计算电线的端点和分岔点的具体步骤为：通过步骤1)中得到的电线骨骼，以及电线的端点、分岔点特征的先验知识，找到电线骨骼中的端点和分岔点，如果有分岔点，将电线骨骼从分岔点分开，分成多个线段，如果没有分岔点，原电线骨骼就是一个线段，将所有的线段以及线段端点在骨骼中的类型提供给上层软件。

优选的，在上述的一种教育玩具套件中电路元件和电线的识别方法中，步骤六中判断出电路元器件与电线的连接是否准确的具体步骤为：上层软件将步骤四识别出的电路元器件与步骤五识别出的电线连接在一起，然后与上层软件实现存储的电路图进行比较，如果与电路图一致，则认为电路连接准确。

本发明的有益效果：

1、本发明巧妙的将应用计算机视觉图形识别技术与HSV颜色空间、二值化处理、图像切割技术相结合使用，能够判断出电路元器件的类型以及电线，并且能够判断出电路连接是否准确，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，增强孩子的想象力，增加游戏趣味性，使孩子可以学习到基础电路知识，培养孩子的兴趣。

2、本发明检测算法更加科学、成熟，将图像的色彩转换、图像卷积、图像切割、骨骼细化等算法相结合使用，能够快速的判断出电路元器件的类型以及电线。

3、本发明计算速度快；每次定位检测耗时在200ms左右，为玩家提供流畅的使用体验。

4、本发明性能稳定，在不同光照、对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。

附图说明

下面结合附图和具体实施方式来详细说明本发明：

图1是本发明一种教育玩具套件的结构示意图。

图2是本发明一种教育玩具套件中电路元件和电线的识别方法的流程图。

图3是本发明一种教育玩具套件中步骤四中步骤3的具体电路元器件编码的表格图。

其中，图1-3中的附图标记与部件名称之间的对应关系为：

底板1，电路元器件2，电线3。

具体实施方式

为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一种教育玩具套件的结构示意图。

如图1所示，一种玩具套件及其电路元件和电线的识别方法，底板1、电路元器件2和电线3，底板1放置于平面上，电路元器件2和电线3放置于底板3上。

本实施例中，底板为具有圆角的矩形，在矩形的4个角上设置有校准角；优选的，校准角为红色圆弧线。

图2是本发明一种教育玩具套件中电路元件和电线的识别方法的流程图。

如图2所示，一种教育玩具套件中电路元件和电线的识别方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，再将底板放置于平面上，保证校准角的一面朝上；

步骤二，在底板上完成电路元器件与电线的连接，通过平板电脑的后置摄像头实时采集彩色图像，移动平板电脑，保证后置摄像头采集的彩色图像中至少含有3个校准角，具体步骤为：

后置摄像头采集的彩色图像为I_xy，I_xy＝f(x,y)＝(R_xy,G_xy,B_xy)，其中，(x,y)表示彩色图像像素点的位置坐标，f(x,y)表示图像在像素点坐标位置处的像素值，R_xy表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值；

步骤三，从步骤二的彩色图像中提取出有效识别区域，具体步骤为：

A)根据先验知识，在步骤二的彩色图像中分割出4块校准角区域，根据HSV空间内的先验阈值，将4块校准角区域图像进行二值化处理，得到4块校准角二值图；

B)扫描步骤A)中得到的4块校准角二值图，得到相应的边缘轮廓图，再根据边缘轮廓的离心率和大小的先验知识，过滤掉不合理的轮廓；

C)根据步骤B)得到的剩余边缘轮廓，计算出4个校准角的外接矩形，在识别过程中，当至少有三个角标内都有符合条件的校准角时，其外接矩形即为计算出的有效识别区域；

步骤四，检测位于彩色图像有效识别区域内的电路元器件，具体步骤为：

1，由于每个电路元器件外壳的颜色不同，因此通过颜色差异，分割出各个电路元器件，并提取每个电路元器件外壳的内轮廓，具体步骤为：

a)因为电路元器件的颜色在RGB颜色空间内不利于分割开来，对光照变化也比较敏感，所以，将提取出来的感兴趣区域图像由RGB颜色空间转换到侧重于色彩表示的HSV颜色空间，具体转换公式为：

V＝max{C(R′)、C(G′)、C(B′)}；

其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间；

b)在HSV颜色空间内，根据电路元器件的外壳所涉及到的颜色在HSV空间内的先验阈值，将彩色图像进行二值化处理，具体公式如下：

在二进制图像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)时，即为生成二进制图像；

其中，B(x，y)表示图像像素点(x，y)的二进制像素值，H(x，y)、S(x，y)、V(x，y)分别表示图像像素点(x，y)在HSV颜色空间内的色调值、饱和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分别表示图像像素点(x，y)是否分别在指定的H、S、V区域内，如果是，则取值为1，否则，取值为0；H_min、H_max分别表示某个元器件外壳的颜色在HSV颜色空间内色调的先验最小和最大值；S_min、S_max分别表示某个元器件外壳的颜色在HSV颜色空间内饱和度的先验最小和最大值；V_min、V_max分别表示某个元器件外壳的颜色在HSV颜色空间内亮度的先验最小和最大值；

c)扫描二值化图像，找出所有边缘轮廓；

二值化图像可以看作是只有两个值得灰度图像，图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值，

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

进一步地，计算非静止电风扇和其余电路元器件耳朵的方法是根据电路元器件耳朵轮廓形状、大小和离心率的先验知识，滤掉不合理的轮廓，从而获得电路元器件的2个耳朵的位置；

由于静止电扇的耳朵有可能被扇叶遮住部分或者全部，因此需要对步骤b)进行颜色分割，分割出蓝色二值图和绿色二值图；

进一步地，对蓝色二值图进行扫描，通过扇叶的轮廓形状、离心率、大小的先验知识，判定是否有扇叶的存在，如果有，则判定该电路元器件为风扇；否则，直接跳到步骤2；

进一步地，判定该电路元器件为风扇后，对于静止风扇的耳朵的计算方法如下：对步骤1中绿色二值图进行聚类处理，将距离较近的绿色点聚成一类，通过同一类的点集数量、点集最小外包矩形的大小、离心率、点集位置的先验知识，对聚成一类的点集进行过滤，如果过滤后只剩下两类点集，则认为当前扇叶的位置有较大概率地遮住了电气元器件的耳朵，则通过两类点集的中心点位置和元器件的轮廓信息计算出电路元器件耳朵的中心点位置；

2，根据步骤1中提取出的电路元器件的轮廓，计算出每个电路元器件的位置和偏转角度，具体步骤为：

根据计算出的电路元器件的耳朵位置、中心点位置，以保证电路元器件的耳朵在水平方向为标准，计算得出电路元器件的旋转角度。根据计算出的电路元器件的耳朵位置、中心点位置，以保证电路元器件的耳朵在水平方向为标准，计算得出电路元器件的旋转角度；

3，依据步骤2计算出的偏转角度旋转电路元器件，再分割电路元器件，通过颜色编码识别出电路元器件的类别，具体步骤为：

首先，需要预先为所有电路元器件设置一种编码规则，使每个电路元器件都有唯一的编码；因为待识别电路元器件数量是有限的，故选取红、黄、蓝、绿四种易区分的颜色作为编码特征色；电路元器件的私印主要集中在上中，中中，下中三个地方，当这三个地方的某一颜色像素值超过先验阈值，则认为此颜色是该区域的颜色；

根据电路元器件外壳颜色，上中、中中和下中的私印颜色，红记为1，黄记为2，蓝记为3，绿记为4，无记为0，忽略当前颜色也记为0，可以将11个电路元器件进行编码，根据电路元器件编码，即可唯一确定当前检测电路元器件的类型；

过滤掉不符合编码的电路元器件，将剩余的电路元器件类型、电路元器件中心点、旋转角度一起传递给上层软件，具体电路元器件编码如图3所示；

步骤五，检测位于彩色图像有效识别区域内的电线，具体步骤为：

步骤1)，通过颜色差异分割出电线、提取骨骼，具体步骤为：

首先，在步骤三的有效识别区域HSV空间内，根据电线的颜色在HSV空间内的先验阈值，将图像二值化处理，得到电线二值化图像；

进一步地，对电线二值化图像进行扫描，通过电线轮廓的形状、大小的先验知识滤除不符合电线特征的轮廓，对剩下的轮廓进行填充，得到新的只有电线的二值化图；

进一步地，对上述只有电线的二值化图进行骨骼细化，得到电线的骨骼；

步骤2)，通过提取到的骨骼，计算电线的端点和分岔点，具体步骤为：通过步骤1)中得到的电线骨骼，以及电线的端点、分岔点特征的先验知识，找到电线骨骼中的端点和分岔点，如果有分岔点，将电线骨骼从分岔点分开，分成多个线段，如果没有分岔点，原电线骨骼就是一个线段，将所有的线段以及线段端点在骨骼中的类型提供给上层软件；

步骤六，判断出电路元器件与电线的连接是否准确，具体步骤为：

上层软件将步骤四识别出的电路元器件与步骤五识别出的电线连接在一起，然后与上层软件实现存储的电路图进行比较，如果与电路图一致，则认为电路连接准确。

本实施例中，颜色像素阈值为九宫格中每个宫格面积的30％。

本发明巧妙的将应用计算机视觉图形识别技术与HSV颜色空间、二值化处理、图像切割技术相结合使用，能够判断出电路元器件的类型以及电线，并且能够判断出电路连接是否准确，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，增强孩子的想象力，增加游戏趣味性，使孩子可以学习到基础电路知识，培养孩子的兴趣。

本发明检测算法更加科学、成熟，将图像的色彩转换、图像卷积、图像切割、骨骼细化等算法相结合使用，能够快速的判断出电路元器件的类型以及电线。

本发明计算速度快；每次定位检测耗时在200ms左右，为玩家提供流畅的使用体验。

本发明性能稳定，在不同光照、对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。