一种教育玩具套件及其敲击动作检测方法与流程

本发明涉及计算机视觉检测处理技术领域，特别涉及一种教育玩具套件及其敲击动作检测方法。

背景技术：

现在平板电脑上有许多有趣的幼教游戏应用程序或者儿童游戏，但往往只是让小朋友在屏幕上指指画画，互动性欠缺，长时间看着屏幕容易对眼睛造成伤害；而当下一些互动性强的传统性游戏玩具已经脱离了时代的发展，形式上无法满足孩子学习、玩耍的需求，也不便于孩子和家长的互动沟通。

为了解决上述问题，计算机视觉与图像处理技术领域成功地开发了一种教育玩具套件，包括：支架、头盔探测器，底板，在平板电脑内安装游戏程序，通过平板电脑的摄像头采集放置于平面上的底板的图像。上述的教育玩具套件虽然解决了平板电脑中游戏的互动性欠缺的问题，动手能力差，游戏模式单一。

因此，计算机视觉与图像处理技术领域急需一种教育玩具套件及其数字的识别方法，开发了手鼓游戏，增强动手能力，能够基于手鼓颜色差异，识别手鼓的面积信息，判断出手鼓是否被敲击的状态，增强游戏的趣味性以及互动性。

技术实现要素：

本发明为了解决上述问题，提供了一种教育玩具套件及其敲击动作检测方法，技术方案如下：

一种教育玩具套件，包括：支架、头盔探测器、底板和手鼓，并且支架安装于底板上，手鼓放置于底板上，头盔探测器安装于支架上，底板上方设置有第一凹槽；支架底部具有凸起，凸起安装在第一凹槽内，顶部具有第二凹槽和第三凹槽，第二凹槽用于放置平板电脑；头盔探测器安装于第三凹槽内；

头盔探测器，还包括：本体、第四凹槽、2个扇形块和凸面镜，并且第四凹槽位于本体内，用于夹持不同型号的平板电脑，在第四凹槽夹持平板电脑屏幕的端点处设置有凸面镜，凸面镜的另一端安装于头盔探测器边缘上，凸面镜与水平面夹角成锐角，第四凹槽夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个扇形块位于凸面镜的2个边缘上，用于固定凸面镜和夹持平板电脑。

优选的，在上述的一种教育玩具套件中，还包括：定位孔，设置于第三凹槽侧壁的纵向中心轴上。

优选的，在上述的一种教育玩具套件中，手鼓为2个。

优选的，在上述的一种教育玩具套件中，2个手鼓的颜色分别为紫色与青色。

一种教育玩具套件中敲击动作检测方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，再将底板放置于平面上，2个不同颜色的手鼓分别放置于底板表面的左、右两侧，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；

步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集手鼓的彩色图像，当手放置于手鼓上，未敲击时，则前置摄像头采集到一幅手鼓未被敲击的图像；当手放置于手鼓上进行敲击时，则前置摄像头采集到一幅手鼓处于敲击状态下的图像；

将平板电脑前置摄像头所获取的彩色图像定义为I_xy，I_xy＝f(x，y)；

其中，(x，y)表示图像像素点的位置坐标，f(x，y)表示图像的在(x，y)上的像素值；

由于摄像头采集的图像为彩色图片，因此f(x，y)＝(R_xy，G_xy，B_xy)；

其中，R_xy表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值；

步骤三，对步骤二中前置摄像头实时采集到的手鼓彩色图像进行检测，得出位于底板上左、右手鼓的敲击状态。

优选的，在上述的一种教育玩具套件中敲击动作检测方法中，步骤三的具体步骤为：

1)由于2个手鼓颜色不同，因此将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个图像，并且提取出手鼓轮廓信息；

2)通过提取出的手鼓轮廓信息，计算轮廓面积和中心点，并将轮廓面积与该中心点的面积阈值进行比较，得出左、右手鼓是否处于敲击状态。

优选的，在上述的一种教育玩具套件中敲击动作检测方法中，步骤1)的具体步骤为：

a)首先在平板电脑安装的游戏程序中预先定义手鼓可玩区域，然后通过图像分割方法将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个感兴趣区域图像，左手鼓区域和右手鼓区域都处于预先定义的手鼓可玩区域内；

b)因为手鼓的颜色在RGB颜色空间内不利于分割开来，对光照变化也比较敏感，所以，将提取出来的感兴趣区域图像由RGB颜色空间转换到侧重于色彩表示的HSV颜色空间，具体转换公式为：

V＝max｛C(R′)、C(G′)、C(B′)｝；

其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间；

c)在HSV颜色空间内，根据手鼓紫色、青色颜色在HSV空间内的先验阈值，将彩色图像进行二值化处理，具体公式如下：

在二进制图像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)，生成二进制图像；

其中，B(x，y)表示图像像素点(x，y)的二进制像素值，H(x，y)、S(x，y)、V(x，y)分别表示图像像素点(x，y)在HSV颜色空间内的色调值、饱和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分别表示图像像素点(x，y)是否分别在指定的H、S、V区域内，如果是，则取值为1，否则，取值为0；H_min、H_min分别表示手鼓紫色或者青色在HSV颜色空间内色调的先验最小和最大值；S_min、S_max分别表示手鼓紫色或者青色在HSV颜色空间内饱和度的先验最小和最大值；V_min、V_max分别表示手鼓紫色或者青色在HSV颜色空间内亮度的先验最小和最大值；

d)扫描二值化图像，找出所有边缘轮廓；

二值化图像为灰度图像，图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值，

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

进一步地，利用手鼓形状、边长比例、大小、角度和位置的先验知识过滤掉不合理的轮廓，具体滤除条件如下：

假设矩形的宽为w，高为h，矩形与水平方向的顺时针旋转角为Q，中心点为A，则计算出边缘轮廓的最小外包矩形，再根据如下规则判断是否需要滤除手鼓轮廓；

①如果宽高比超过宽高比阈值范围，则滤除该手鼓轮廓，优选的，宽高比阈值范围设置为(0.05，20)；

②如果中心点A与矩形的4个角和4条边非常接近，则滤除该手鼓轮廓；

③如果w与h的乘积超过乘积阈值范围，则滤除该手鼓轮廓。

优选的，在上述的一种教育玩具套件中敲击动作检测方法中，步骤2)的具体步骤为：

e)通过步骤d)中提取出的手鼓轮廓信息，计算轮廓面积和中心点；

轮廓面积就是轮廓里面像素点的个数，中心点就是轮廓的质心；

假设一个面积为N的轮廓，则轮廓的质心坐标计算公式为：

其中，X表示中心点(x，y)的x坐标，m_i表示i质点的质量，x_i表示i质点的x坐标，如果i质点的质量与中心点的质量相等，则m_i＝1；

上述公式则可写为

同理，可得出中心点(x，y)的y坐标

Y表示中心点(x，y)的y坐标，y_i表示i质点的y坐标，因此中心点(x，y)可以表示为

由最大面积轮廓的中心点(x，y)值根据以下公式估算出该处手鼓的实际面积：

其中，A表示手鼓的实际面积，A_max表示当手鼓放置在可玩区域距离平板电脑最近位置时的手鼓面积，A_min表示当手鼓放置在可玩区域距离平板电脑最远位置时的手鼓面积。Y_max和Y_min分别表示当手鼓放置在可玩区域距离平板电脑最远和最近处点的y坐标，Y_min≤y≤Y_max；

如果Abig<A_max×coff，则认为手鼓被敲击了，否则认为手鼓没有被敲击，其中，Abig表示的手鼓被覆盖后，经过二值化图形处理，没有被覆盖掉的最大的区域的面积，coff表示一个可调节的参数，取值范围为0～1之间，根据实验，得出最优值为0.5。

本发明的有益效果：

1、本发明巧妙的将应用计算机视觉图形识别技术与HSV颜色空间、二值化处理相结合使用，能够判断出手鼓的敲击状态，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。

2、本发明检测算法更加科学、成熟，将图像的色彩空间转换、轮廓检测、形态学处理等算法相结合使用，能够快速的判断出手鼓的敲击状态。

3、本发明计算速度快；每次定位检测耗时在10ms左右，为玩家提供流畅的使用体验。

4、本发明性能稳定，在不同光照、对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。

附图说明

下面结合附图和具体实施方式来详细说明本发明：

图1是本发明一种教育玩具套件的结构示意图。

图2是本发明一种教育玩具套件的支架的后视图。

图3是本发明一种教育玩具套件的支架的立体图。

图4是本发明一种教育玩具套件的底板的结构示意图。

图5是本发明葡萄探索号教育玩具套件的头盔探测器的结构示意图。

图6是本发明葡萄探索号教育玩具套件的应用示意图。

图7是本发明一种教育玩具套件中敲击动作检测方法的流程图。

其中，图1-7中的附图标记与部件名称之间的对应关系为：

支架1，凸起101，第二凹槽102，第三凹槽103，碟状底架104，圆形顶架105，露空提手106，头盔探测器2，本体201，第四凹槽202，2个扇形块203，凸面镜204，固定支点205，底板3，第一凹槽301，手鼓4。

具体实施方式

为了使本发明技术实现的措施、创作特征、达成目的与功效易于明白了解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1是本发明一种教育玩具套件的结构示意图。

图2是本发明一种教育玩具套件的支架的后视图。

图3是本发明一种教育玩具套件的支架的立体图。

图4是本发明一种教育玩具套件的底板的结构示意图。

图5是本发明葡萄探索号教育玩具套件的头盔探测器的结构示意图。

图6是本发明葡萄探索号教育玩具套件的应用示意图。

如图1-6所示，一种教育玩具套件中敲击动作检测方法，包括：支架1、头盔探测器2、底板3和手鼓4，并且支架1安装于底板3上，手鼓4放置于底板3上，头盔探测器2安装于支架1上；底板3上方设置有第一凹槽301；支架1，底部具有凸起101，凸起101安装在第一凹槽301内，顶部具有第二凹槽102和第三凹槽103，第二凹槽102用于放置平板电脑；头盔探测器2，安装于第三凹槽103内；头盔探测器2还包括：本体201、第四凹槽202、2个扇形块203和凸面镜204，并且第四凹槽202位于本体201内，用于夹持不同型号的平板电脑，在第四凹槽202夹持平板电脑屏幕的端点处设置有凸面镜204，凸面镜204的另一端安装于头盔探测器2边缘上，凸面镜204与水平面夹角成锐角，第四凹槽202夹持平板电脑屏幕的端点高于平板电脑的摄像头位置，2个扇形块203位于凸面镜204的2个边缘上，用于固定凸面镜204和夹持平板电脑。

本实施例中，还包括：定位孔104，设置于第三凹槽103侧壁的纵向中心轴上。

本实施例中，手鼓4为2个；优选的，2个手鼓4的颜色分别为紫色与青色。

图7是本发明一种教育玩具套件中敲击动作检测方法的流程图。

如图7所示，一种教育玩具套件中敲击动作检测方法，包括如下步骤：

步骤一，在平板电脑中安装游戏程序，再将底板放置于平面上，2个不同颜色的手鼓分别放置于底板表面的左、右两侧，平板电脑的底端安装于第一凹槽内，通过第二凹槽将头盔探测器安装于平板电脑的顶端；

步骤二，固定安装好后，通过平板电脑的前置摄像头实时采集手鼓的彩色图像，当手放置于手鼓上，未敲击时，则前置摄像头采集到一幅手鼓未被敲击的图像；当手放置于手鼓上进行敲击时，则前置摄像头采集到一幅手鼓处于敲击状态下的图像；

将平板电脑前置摄像头所获取的彩色图像定义为I_xy，I_xy＝f(x，y)；

其中，(x，y)表示图像像素点的位置坐标，f(x，y)表示图像的在(x，y)上的像素值；

由于摄像头采集的图像为彩色图片，因此f(x，y)＝(R_xy，G_xy，B_xy)；

其中，R_xy表示图像像素点在红色通道的色彩值，G_xy表示图像像素点在绿色通道的色彩值，B_xy表示图像像素点在蓝色通道的色彩值；

步骤三，对步骤二中前置摄像头实时采集到的手鼓彩色图像进行检测，得出位于底板上左、右手鼓的敲击状态，具体步骤为：

1)由于2个手鼓颜色不同，因此将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个图像，并且提取出手鼓轮廓信息，具体步骤为：

a)首先在平板电脑安装的游戏程序中预先定义手鼓可玩区域，然后通过图像分割方法将步骤二中前置摄像头实时采集到的手鼓彩色图像分为左手鼓区域和右手鼓区域2个感兴趣区域图像，左手鼓区域和右手鼓区域都处于预先定义的手鼓可玩区域内；

b)因为手鼓的颜色在RGB颜色空间内不利于分割开来，对光照变化也比较敏感，所以，将提取出来的感兴趣区域图像由RGB颜色空间转换到侧重于色彩表示的HSV颜色空间，具体转换公式为：

V＝max{C(R′)、C(G′)、C(B′)}；

其中，H表示色调值，S表示饱和度值，V表示亮度值，max{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最大值，min{C(R′)、C(G′)、C(B′)}表示在原始图像中一个像素点在红、绿、蓝三个通道的像素最小值，并且H的取值范围位于0-360之间；

c)在HSV颜色空间内，根据手鼓紫色、青色颜色在HSV空间内的先验阈值，将彩色图像进行二值化处理，具体公式如下：

在二进制图像中B(x，y)＝B_H(x，y)&B_S(x，y)&B_V(x，y)，生成二进制图像；

其中，B(x，y)表示图像像素点(x，y)的二进制像素值，H(x，y)、S(x，y)、V(x，y)分别表示图像像素点(x，y)在HSV颜色空间内的色调值、饱和度值、亮度值；B_H(x，y)、B_S(x，y)、B_V(x，y)分别表示图像像素点(x，y)是否分别在指定的H、S、V区域内，如果是，则取值为1，否则，取值为0；H_min、H_min分别表示手鼓紫色或者青色在HSV颜色空间内色调的先验最小和最大值；S_min、S_max分别表示手鼓紫色或者青色在HSV颜色空间内饱和度的先验最小和最大值；V_min、V_max分别表示手鼓紫色或者青色在HSV颜色空间内亮度的先验最小和最大值；

d)扫描二值化图像，找出所有边缘轮廓；

二值化图像为灰度图像，图像的边缘是指灰度图像中灰度变化比较剧烈的部分，灰度值的变化程度采用相邻像素间的梯度变化来定量表示，梯度是一阶二维导数的二维等效式，具体计算过程为：

首先，计算相邻像素的差分，具体公式为：

G_x＝f[i，j+1]-f[i，j]

G_y＝f[i，j]-f[i+1，j]

其中，G_x表示相邻像素在x方向上的差分，G_y表示相邻像素在y方向上的差分，f[i，j+1]表示图像在第i行第j+1列的像素值，f[i，j]表示图像在第i行第j列的像素值；f[i+1，j]表示图像在第i+1行第j列的像素值，

进一步地，计算相邻像素间的梯度，具体公式为：

其中，G(x，y)表示表示图像的在(x，y)点上梯度值，表示像素值在x方向上求导，表示像素值在y方向上求导；

进一步地，计算边缘点的梯度幅值，所有边缘点的梯度幅值集合即为提取的边缘轮廓；

进一步地，利用手鼓形状、边长比例、大小、角度和位置的先验知识过滤掉不合理的轮廓；

假设矩形的宽为w，高为h，矩形与水平方向的顺时针旋转角为Q，中心点为A，则计算出边缘轮廓的最小外包矩形，再根据如下规则判断是否需要滤除手鼓轮廓；

①如果宽高比超过宽高比阈值范围，则滤除该手鼓轮廓，优选的，宽高比阈值范围设置为(0.05，20)；

②如果中心点A与矩形的4个角和4条边非常接近，则滤除该手鼓轮廓；

③如果w与h的乘积超过乘积阈值范围，则滤除该手鼓轮廓；

2)通过提取出的手鼓轮廓信息，计算轮廓面积和中心点，并将轮廓面积与该中心点的面积阈值进行比较，得出左、右手鼓是否处于敲击状态，具体步骤为：

e)通过步骤d)中提取出的手鼓轮廓信息，计算轮廓面积和中心点；

轮廓面积就是轮廓里面像素点的个数，中心点就是轮廓的质心；

假设一个面积为N的轮廓，则轮廓的质心坐标计算公式为：

其中，X表示中心点(x，y)的x坐标，m_i表示i质点的质量，x_i表示i质点的x坐标，如果i质点的质量与中心点的质量相等，则m_i＝1；

上述公式则可写为

同理，可得出中心点(x，y)的y坐标

Y表示中心点(x，y)的y坐标，y_i表示i质点的y坐标，因此中心点(x，y)可以表示为

由最大面积轮廓的中心点(x，y)值根据以下公式估算出该处手鼓的实际面积：

其中，A表示手鼓的实际面积，A_max表示当手鼓放置在可玩区域距离平板电脑最近位置时的手鼓面积，A_min表示当手鼓放置在可玩区域距离平板电脑最远位置时的手鼓面积。Y_max和Y_min分别表示当手鼓放置在可玩区域距离平板电脑最远和最近处点的y坐标，Y_min≤y≤Y_max；

如果Abig<A_max×coff，则认为手鼓被敲击了，否则认为手鼓没有被敲击，其中，Abig表示的手鼓被覆盖后，经过二值化图形处理，没有被覆盖掉的最大的区域的面积，coff表示一个可调节的参数，取值范围为0～1之间，根据实验，得出最优值为0.5。

本发明巧妙的将应用计算机视觉图形识别技术与HSV颜色空间、二值化处理相结合使用，能够判断出手鼓的敲击状态，具有运算速度快，定位准确，将硬件与软件技术很好地统一起来，游戏交互设计巧妙；美观简单，判断更加快速，同时增强了趣味性和直观性。

本发明检测算法更加科学、成熟，将图像的色彩空间转换、轮廓检测、形态学处理等算法相结合使用，能够快速的判断出手鼓的敲击状态。

本发明计算速度快；每次定位检测耗时在10ms左右，为玩家提供流畅的使用体验。

本发明性能稳定，在不同光照、对不同平板电脑安装于教育玩具套件内的情况下，针对3千幅图片进行了采集测试，误识别率和漏检率在0.2％以下。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。