可穿戴设备及具有其的乐器陪练系统的制作方法

1.本实用新型涉及电子产品技术领域，具体涉及一种可穿戴设备及具有其的乐器陪练系统。


背景技术：

2.本部分提供的仅仅是与本公开相关的背景信息，其并不必然是现有技术。
3.当今社会，学习乐器越来越普遍，但是，大部分家长不懂乐器，陪练时间也有限，而且专业陪练老师的陪练费用也比较高。
4.现有的乐器陪练方案除了真人在线指导外，大都是采用摄像头加录音的方式对孩子进行陪练指导，该陪练方式采用摄像头拍摄孩子的动作，麦克风采集声音。该陪练方式在理论上能够基本达到陪练和指导的目的，但是，在实际应用过程中，摄像头受拍摄角度、环境光线以及终端设备的差异的影响比较大，识别效果误差较大，导致陪练指导效果较差。


技术实现要素：

5.本实用新型的目的是至少解决上述现有技术中存在的问题之一，该目的是通过以下技术方案实现的：
6.本实用新型的第一方面提供了一种可穿戴设备，可穿戴设备穿戴于手臂，可穿戴设备包括：语音采集模块，语音采集模块设置于可穿戴设备上，并采集由手指弹奏乐器引起的音频信号；动作采集模块，动作采集模块设置于可穿戴设备上贴紧佩戴处皮肤的位置，并采集由手指弹奏乐器引起的佩戴处皮肤的动作信号；处理模块，处理模块与语音采集模块和动作采集模块电连接，并对音频信号、动作信号进行识别；通讯模块，通讯模块与处理模块电连接，并将处理模块识别后的音频信号和动作信号发送至终端。
7.优选地，动作采集模块包括肌电传感器或肌电传感器阵列，肌电传感器或肌电传感器阵列采集由手指弹奏乐器引起的佩戴处皮肤的肌电信号。
8.优选地，动作采集模块包括沿手臂的周向间隔分布并与多根手指对应的多组肌电传感器，且每组肌电传感器中相邻两个肌电传感器之间的距离与佩戴处皮肤上的肌肉细胞分布密度对应。
9.优选地，每组肌电传感器中相邻两个肌电传感器之间的距离为12mm。
10.优选地，动作采集模块还包括震动传感器，震动传感器采集由手指弹奏乐器引起的佩戴处皮肤上的震动信号。
11.优选地，动作采集模块包括多个震动传感器，多个震动传感器沿周向分布于可穿戴设备上与多组肌电传感器对应并位于多个手筋的位置，且多个震动传感器与多组肌电传感器在可穿戴设备上形成多个传感器阵列。
12.优选地，可穿戴设备还包括与肌电传感器连接的信号放大器和右腿电极，肌电传感器采集到的肌电信号通过右腿电极稳压后传输至信号放大器。
13.优选地，可穿戴设备包括主体以及设置于主体上并缠绕手臂的配戴部，主体上设
置有由肌电传感器形成的第一矩形阵列以及设置于第一矩形阵列的中心的一个肌电传感器和位于第一矩形阵列的两侧的两个震动传感器，主体的两侧的两个配戴部中的至少一个设置有由肌电传感器形成的第二矩形阵列以及位于第二矩形阵列远离主体的一侧的一个震动传感器。
14.优选地，动作采集模块上与手臂贴紧的一侧设置成与手臂配合的弧面结构，并且/或者语音采集模块设置于主体上位于手指的一侧。
15.本实用新型的第二方面提供了一种乐器陪练系统，乐器陪练系统包括：分别佩戴至两个手臂上的两个可穿戴设备，两个可穿戴设备采集由手指弹奏乐器引起的音频信号和手臂上的动作信号，可穿戴设备为根据本实用新型的第一方面的可穿戴设备；终端，终端与两个可穿戴设备通讯连接，终端接收两个可穿戴设备采集到的动作信号和音频信号，并分析动作信号和音频信号与乐器的乐谱的对应程度。
16.本领域技术人员能够理解的是，本实用新型的可穿戴设备采用语音采集加动作采集的方式进行与手指弹奏乐器关联的音频信号和手臂上肌肉的动作信号，动作信号通过紧贴于手臂皮肤上的动作采集模块采集手指运动带动的手臂肌肉变化而产生的肌电信号和震动信号，然后处理模块结合肌电信号和震动信号进行一系列的信号处理识别出具体是哪个或者是哪几个手指动作，然后通过通讯模块将采集和识别的音频信号和动作信号传递给终端，终端接收可穿戴设备采集到的动作信号和音频信号，并分析动作信号和音频信号与乐器的乐谱的对应程度，并将动作信号和音频信号与乐器的乐谱的对应程度显示在终端，以此达到陪练和指导的目的。
17.进一步地，本实用新型公布的采用语音采集加动作采集的方式进行与手指弹奏乐器关联的音频信号和手臂上肌肉的动作信号不受周围环境的影响，而且适用范围广、识别成功率高。
附图说明
18.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本实用新型的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
19.图1为本实用新型一个实施例的可穿戴设备的俯视图。
20.图2为图1所示可穿戴设备的侧视图。
21.图3为图1所示可穿戴设备的内部电路的结构示意图。
22.图4为图1所示可穿戴设备的语音采集模块的结构示意图。
23.图5为本实用新型一个实施例的相邻两个肌电传感器的分布图。
24.图6为本实用新型一个实施例的乐器陪练系统的结构示意图。
25.其中，附图标记如下：
26.100、可穿戴设备；101、主体；102、左绑带；103、右绑带；10、语音采集模块；20、肌电传感器；21、第二肌电传感器阵列；30、震动传感器；40、右腿电极；50、处理模块；60、通讯模块；70、信号放大器；80、处理电路；200、终端。
具体实施方式
27.下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，本实用新型将智能手环与本实用新型的可穿戴设备结合只是一个优选实施例，并不是对本实用新型可穿戴设备的保护范围的限制，例如，本实用新型的可穿戴设备还可以为单独的陪练设备，或者与其他具有类似结构的电子产品如智能手表等结合，这种调整并不偏离本实用新型可穿戴设备的保护范围。
28.应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”以及“具有”是包含性的，并且因此指明所陈述的特征、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、元件、部件、和/或它们的组合。
29.尽管可以在文中使用术语第一、第二等来描述多个元件、部件、区域、层和/或部段，但是，这些元件、部件、区域、层和/或比段不应被这些术语所限制。这些术语可以仅用来将一个元件、部件、区域、层或部段与另一区域、层或部段区分开。除非上下文明确地指出，否则诸如“第一”、“第二”之类的术语以及其它数字术语在文中使用时并不暗示顺序或者次序。另外，在本实用新型的描述中，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体式连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域技术人员而言，可根据具体情况理解上述术语在本实用新型中的具体含义。
30.为了便于描述，可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系，这些相对关系术语例如为“上”、“左”、“周向”、“右”、“侧”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中机构的不同方位。例如，如果在图中的机构翻转，那么描述为“在其它元件或者特征下面”或者“在其它元件或者特征下方”的元件将随后定向为“在其它元件或者特征上面”或者“在其它元件或者特征上方”。因此，示例术语“在
……
下方”可以包括在上和在下的方位。机构可以另外定向(旋转90度或者在其它方向)并且文中使用的空间相对关系描述符相应地进行解释。
31.图1为本实用新型一个实施例的可穿戴设备的俯视图，图2为图1所示可穿戴设备的侧视图，图3为图1所示可穿戴设备的内部电路的结构示意图，图4为图1所示可穿戴设备的语音采集模块的结构示意图，图5为本实用新型一个实施例的相邻两个肌电传感器的分布图。
32.如图1至图5所示，本实用新型的第一方面提供了一种可穿戴设备100，可穿戴设备100穿戴于手臂，可穿戴设备100包括语音采集模块10、动作采集模块(下面进行详细阐述)、处理模块50和通讯模块60(如图6所示)，语音采集模块10设置于可穿戴设备100上，并采集由手指弹奏乐器引起的音频信号，动作采集模块设置于可穿戴设备100上贴紧佩戴处皮肤的位置，并采集由手指弹奏乐器引起的佩戴处皮肤的动作信号，处理模块50与语音采集模
块10和动作采集模块电连接，并对音频信号、动作信号进行识别，通讯模块60与处理模块50电连接，并将处理模块50识别后的音频信号和动作信号发送至终端200。
33.在本实施例中，本实用新型的可穿戴设备100采用语音采集加动作采集的方式进行与手指弹奏乐器关联的音频信号和手臂上肌肉的动作信号，动作信号通过紧贴于手臂皮肤上的动作采集模块采集手指运动带动的手臂肌肉变化而产生的肌电信号和震动信号，然后处理模块50结合肌电信号和震动信号进行一系列的信号处理，识别出具体是哪个或者是哪几个手指动作，然后通过通讯模块60将采集和识别的音频信号和动作信号通过ble(bluetooth low energy)天线传递给终端200，终端200接收可穿戴设备100采集和识别到的动作信号和音频信号，并分析动作信号和音频信号与乐器的乐谱的对应程度，并将动作信号和音频信号与乐器的乐谱的对应程度显示在终端200，以此达到陪练和指导的目的。
34.进一步地，本实用新型公布的采用语音采集加动作采集的方式进行与手指弹奏乐器关联的音频信号和手臂上肌肉的动作信号不受周围环境的影响，而且适用范围广、识别成功率高。
35.需要说明的是，本实用新型的可穿戴设备100既可以为单独的陪练设备，还可以设置为与智能手环或者其他电子产品如智能手表等结合，例如，根据本实用新型的一个实施例，为了方便理解本实用新型的可穿戴设备100的具体结构，本说明书通过将可穿戴设备100与智能手环结合作为一个优选实施例来阐述本实用新型可穿戴设备100的技术特征和技术效果，智能手环包括主体101、连接于主体101两侧的绑带，绑带包括位于主体101两侧的左绑带102和右绑带103，主体101通过绑带以近乎平行的方式紧贴于手臂的皮肤上，动作采集模块设置于主体101和/或左右绑带的内侧，从而使动作采集模块能够紧贴于手臂的皮肤上采集皮肤震动产生的肌电信号和震动信号。
36.具体地，根据本实用新型的实施例，动作采集模块包括肌电传感器20或肌电传感器阵列，肌电传感器20或肌电传感器阵列采集由手指弹奏乐器引起的佩戴处皮肤处的肌电信号。具体地，当手指进行弹奏乐器的动作时，手指的每种弹奏动作引起的手臂肌肉变化不同，手臂肌肉变化产生的肌电信号也就不相同，可穿戴设备100的处理模块50通过对采集到的大量肌电信号进行分析后，可以将每个弹奏动作对应的动作信号提取出来，并建立与手指弹奏乐器对应的手指动作信号库，进而完成与肌电信号匹配的动作识别过程。
37.进一步地，由于每根手指和每种动作牵扯到的手臂肌肉位置不同，为了达到全面采集手指弹奏时的动作信号，本实用新型的实施例提出了将动作采集模块设置为沿手臂的周向间隔分布的多个肌电传感器20，通过多个肌电传感器20达到全面采集手指弹奏乐器时的全部动作信号。
38.另外，为了提高动作采集模块在与手指对应的手臂位置采集到的动作信号的精准度，本实用新型的实施例还提出了在手臂上与手指对应的位置设置一组肌电传感器20，通过一组肌电传感器20中的多个肌电传感器20采集的多个肌电信号提高肌电信号采集的精准度。
39.根据本实用新型的实施例，为了达到对手臂上与多根手指对应的多处肌肉细胞的采集精准度，本实用新型的实施例提出了将动作采集模块设置为包括沿手臂的周向间隔分布并与多根手指对应的多组肌电传感器20，且每组肌电传感器20中相邻两个肌电传感器20之间的距离与佩戴处皮肤上的肌肉细胞分布密度对应。需要说明的是，相邻两个肌电传感
器20之间的距离目前没有严格要求，理论上相邻两个肌电传感器20之间的距离远近与包含的肌肉细胞多少有关系，相邻两个肌电传感器20之间的距离隔得太近包含的肌肉细胞太少，肌电信号比较微弱，相邻两个肌电传感器20之间的距离隔得太远包含的肌电细胞太多，范围太大，不利于精细动作的识别，如图5所示，本实用新型的实施例采用相邻两个肌电传感器20之间的距离为12mm摆放，肌电传感器20设置为直径6mm，长3mm，以此达到既能够采集精细的动作信号，又能获取较强肌电信号的目的。
40.进一步地，为了提高肌电传感器20的灵敏度，本实用新型的实施例还提出了将肌电传感器20上与手臂贴紧的一侧设置成与手臂配合的弧面结构，具体地，肌电传感器20设置为顶端是弧形的镀金不锈钢，以此提高肌电传感器20与手臂皮肤的接触效果，提高肌电传感器20与手臂皮肤之间的导电效果。
41.根据本实用新型的实施例，为了进一步提高对手臂上与多根手指对应的多处肌肉细胞的动作信号的采集精准度，本实用新型的实施例提出了动作采集模块还包括震动传感器30，震动传感器30采集由手指弹奏乐器引起的手臂上的震动信号。
42.具体地，震动传感器30可采用电动式、压电式、电涡流式、电感式、电容式、电阻式或光电式等，根据本实用新型的优选实施例，震动传感器30采用电感式传感器，通过将加速度传感器紧贴皮肤，肌肉运动带动加速度传感器的电感数据发生变化，震动传感器30可以协助电传感器采集手指弹奏乐器引起的手臂肌肉的震动，根据手臂肌肉的震动信号更精确地判断手指弹奏乐器引起的动作信号。
43.进一步地，动作采集模块包括多个震动传感器30，多个震动传感器30沿周向分布于可穿戴设备100上与多组肌电传感器20对应并位于多个手筋的位置，且多个震动传感器30与多组肌电传感器20在可穿戴设备100上形成多个传感器阵列。震动传感器30可以协助多组电传感器采集手指弹奏乐器引起的多处手臂肌肉的震动，根据手臂肌肉的多个震动信号更精确判断是哪一部分肌肉变化最激烈，以及肌肉震动的方向，进而识别出是哪个或哪几个手指在做弹奏动作，以此提高对手臂上与多根手指对应的多处肌肉细胞的动作信号的采集精准度。
44.根据本实用新型的实施例，两个手臂上均佩戴可穿戴设备100，处理模块50分别接收两个可穿戴设备100上的多组肌电传感器20检测到的多个肌电信号以及多个震动传感器30检测到的多个震动信号，并通过多个震动信号对多个肌电信号进行修正和识别后生成动作信号。处理模块50通过多个震动信号对多个肌电信号进行修正和识别后生成动作信号，以此达到精确判断是哪一部分肌肉变化最激烈，以及肌肉震动的方向，进而识别出是哪个或哪几个手指在做弹奏动作，以此提高对手臂上与多根手指对应的多处肌肉细胞的动作信号的采集精准度。
45.如图3所示，处理模块50运行在处理模块50的主控mcu(microcontroller unit)里，肌电传感器20的电路和震动传感器30的电路将采集处理过的信号传递给mcu(microcontroller unit)后，mcu(microcontroller unit)通过识别出动作，分别通过通讯线路传递给终端200，终端200在app(application)上显示出对应运动的手指，以此完成对手指弹奏动作的识别。具体地，肌电信号通过肌电传感器20的电极传输到处理模块50的处理电路80，震动信号通过震动传感器30的电极传输到处理模块50的处理电路80，处理电路80包括ina电路、opa电路和adc芯片，具体地，肌电信号和震动信号经过ina
(instrumentation amplifiers)电路进行第一次滤波，小信号放大，经过opa(operational amplifier)电路进行第二次信号放大，再通过模数转换器的adc(analog-to-digital converter)芯片将模拟信号转化成数字信号，最后通过spi电路传递给处理模块50的主控mcu(microcontroller unit)。
46.根据本实用新型的实施例，可穿戴设备100包括主体101以及设置于主体101上并缠绕手臂的绑带，主体101上设置有第一肌电传感器阵列(考虑到附图1的清晰度，第一肌电传感器阵列不再进行单独标注)，且主体101上沿周向方向的两边设置有两个震动传感器30，绑带上位于主体101的两侧的两个绑带部均设置有第二肌电传感器阵列21和震动传感器30。
47.具体地，如图1和图3所示，通过分布在主体101和左右绑带的8组肌电传感器20、一个右腿电极40以及分布在主体101和左右绑带上的4个hsacc(high speed acceleromete，震动传感器30)来采集手臂肌肉的肌电信号和震动信号。动作采集模块主要有两大部分组成，一部分是与肌电传感器20相连的电路，另一部分是由4组hsacc(high speed acceleromete，震动传感器30)组成的电路，其中，肌电传感器20是主要识别部分，用于采集肌肉的肌电信号，hsacc(high speed acceleromete，震动传感器30)是辅助识别部分，用于感应手指弹奏带来的肌肉震动，修正肌电信号的误差。这两部分与主控mcu(microcontroller unit)之间通过spi总线连接。信号放大器70和右腿电极40均与肌电传感器20电连接，右腿电极40用于提高生物电信号放大器70的抗干扰能力的，用于输出肌电传感器20采集到的肌电信号，肌电传感器20采集到的肌电信号依次通过信号放大器70的放大和右腿电极40的稳压后传输至处理模块50。
48.需要说明的是，本实用新型实施例中所述的右腿电极是由心电图机中用于稳定生物电放大器的右腿驱动电路而来，本实用新型实施例中所述右腿电极的具体电路可参考心电图机中的右腿驱动电路，在此不再进行详细阐述。
49.如图2、图4和图6所示，语音采集模块10设置于主体101上，语音采集模块10主要有两部分组成：数字mic和音频处理dsp(digital signal processing)，音频处理dsp(digital signal processing)是专门用于音频处理的芯片，片上支持8mb flash，可内置语音识别算法，与主控mcu(microcontroller unit)之间通过i2c/i2s总线进行通信，数字mic采集手指弹奏时引起的音频信号，音频处理dsp(digital signal processing)通过信号处理和语音识别算法，将识别结果传递给主控mcu(microcontroller unit)，完成语音识别。
50.继续参阅图1至图5，根据本实用新型的优选实施例，在可穿戴设备100为独立的设备，可穿戴设备100包括主体101以及设置于主体101上并缠绕手臂的绑带(包括左绑带102和右绑带103)，动作采集模块和语音采集模块10设置于主体101和/或绑带上，具体地，动作采集模块中的多组肌电传感器20沿周向分布于主体101和左右绑带上，动作采集模块中的多个震动传感器30沿周向分布于主体101和左右绑带上，且动作采集模块上与手臂贴紧的一侧设置成与手臂配合的弧面结构，语音采集模块10设置于主体101上，且语音采集模块10设置于主体101上位于手指的一侧。
51.根据本实用新型的实施例，可穿戴设备100包括主体101以及设置于主体101上并缠绕手臂的配戴部，主体101上设置有由四个肌电传感器20形成的第一矩形阵列以及设置
于第一矩形阵列的中心的一个肌电传感器10和位于第一矩形阵列的两侧的两个震动传感器30，主体101的两侧的两个配戴部中的至少一个设置有由六个肌电传感器20形成的第二矩形阵列以及位于第二矩形阵列远离主体101的一侧的一个震动传感器30。
52.具体地，第一矩形阵列包括的四个肌电传感器20分别位于第一矩形阵列的四个角，第二矩形阵列包括的六个肌电传感器20沿配戴部的长度方向设置为三排，每排分布有两个肌电传感器20。
53.本实用新型的实施例提出了将动作采集模块设置为包括沿手臂的周向间隔分布并与多根手指对应的多组肌电传感器20，以此达到对手臂上与多根手指对应的多处肌肉细胞的多处肌电信号的采集精准度，以及提出了将动作采集模块设置为还包括沿手臂的周向间隔分布并与多根手指和多根手筋对应的多个震动传感器30。具体地，如图1所示，多个震动传感器30包括位于a1、a2、b1和b2处的四个震动传感器30，以可穿戴设备100包括主体101、左绑带102和右绑带103为例，a1位于主体101上位于左绑带102的一侧处，a2位于主体101上位于右绑带103的一侧处、b1位于左绑带102上远离主体101的一侧处，b2位于右绑带103上远离主体101的一侧处，a1和a2位于可穿戴设备100上与手背对应的一侧，b1和b2位于可穿戴设备100与手心对应的一侧，以此达到对手臂上与多根手指对应的多处肌肉细胞的多处震动信号的采集精准度。
54.如图6所示，本实用新型的第二方面提供了一种乐器陪练系统，乐器陪练系统包括：分别佩戴至两个手臂上的两个可穿戴设备100，两个可穿戴设备100采集由手指弹奏乐器引起的音频信号和手臂上的动作信号，可穿戴设备100为根据本实用新型的第一方面的可穿戴设备100；终端200，终端200与两个可穿戴设备100通讯连接，终端200接收两个可穿戴设备100采集到的动作信号和音频信号，并分析动作信号和音频信号与乐器的乐谱的对应程度。
55.本实用新型的乐器陪练系统使用时双手各佩戴一个可穿戴设备100，因为可穿戴设备100是紧贴皮肤，通过传感器感应的方式获取手指弹奏乐器引起的手臂肌肉的肌电信号和震动信号，该方式不受周围环境、光线和终端200的影响，可以更准确的进行手指弹奏乐器的动作识别，进而更好的指导孩子进行乐器练习。另外，本实用新型第二方面的乐器陪练系统具有本实用新型第一方面可穿戴设备100的一切技术效果，在此不再极性赘述。
56.以上所述，仅为本实用新型较佳的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应以所述权利要求的保护范围为准。