基于测距摄像模组实现特雷门琴功能的方法及特雷门琴与流程

1.本发明涉及乐器技术领域，尤其涉及一种基于测距摄像模组实现特雷门琴功能的方法及特雷门琴。


背景技术：

2.特雷门琴(theremin)是世界第一件电子乐器，物理学家利夫
·
特尔门(lev termen)教授于1919年发明。其原理是利用两个感应人体与大地的分布电容的lc振荡器工作单元分别产生震荡的频率与大小变化而工作，是世上唯一不需要身体接触的电子乐器。
3.特雷门琴的原理是利用两个感应人体与大地的分布电容的lc振荡器工作单元分别产生震荡的频率与大小变化而工作。其中，特雷门琴的圆形天线是用来调节音量的，手越靠近，声音越小；垂直的天线用来调节频率，手越靠近，音调越高。目前的特雷门琴结构，决定了其高昂的售价以及需要独立的硬件设备进行演奏，使得演奏环境较为苛刻。


技术实现要素：

4.鉴于上述问题，本发明提出了一种基于测距摄像模组实现特雷门琴功能的方法及特雷门琴，基于测距摄像模组对待采集对象进行距离获取，从而改变了现有技术中特雷门琴功能的实现原理，有效降低了特雷门琴的硬件成本，改善了特雷门琴演奏音乐时的环境条件适用性，有利于特雷门琴演奏方式的推广应用。
5.第一方面，本技术通过一实施例提供如下技术方案：
6.一种基于测距摄像模组实现特雷门琴功能的方法，包括：
7.基于测距摄像模组，获取所述测距摄像模组与待采集对象之间的距离；所述待采集对象包括第一待采集对象和第二待采集对象；所述第一待采集对象对应第一距离，所述第二待采集对象对应第二距离；根据所述第一距离获取声音音调，根据所述第二距离获取声音音量；根据所述声音音调和所述声音音量进行声音播放。
8.可选的，所述基于测距摄像头，获取所述测距摄像模组与待采集对象之间的距离，包括：
9.针对任一所述待采集对象，采用测距摄像头采集所述待采集对象的深度图像；对所述深度图像进行识别，获得所述待采集对象的图像轮廓；根据所述图像轮廓对应的深度数据，获得所述测距摄像头与待采集对象之间的距离。
10.可选的，所述根据所述图像轮廓对应的深度数据，获得所述测距摄像头与待采集对象之间的距离，包括：
11.根据所述图像轮廓所在位置的深度数据，获得所述测距摄像头与待采集对象之间的距离；或，根据所述图像轮廓内的深度数据，获得所述测距摄像头与待采集对象之间的距离。
12.可选的，所述根据所述第一距离获取声音音调，包括：
13.判断所述第一距离与预设的第一距离区间之间的第一大小关系；若所述第一大小
关系为所述第一距离位于所述第一距离区间内，则根据所述第一距离，获取所述声音音调；若所述第一大小关系为所述第一距离大于所述第一距离区间的上限，则根据所述第一距离区间的上限，获取所述声音音调；若所述第一大小关系为所述第一距离小于所述第一距离区间的下限，则根据所述第一距离区间的下限，获取所述声音音调。
14.可选的，所述根据所述第二距离获取声音音量，包括：
15.判断所述第二距离与预设的第二距离区间之间的第二大小关系；若所述第二大小关系为所述第二距离位于所述第二距离区间内则根据所述第二距离获取所述声音音量；若所述第二大小关系为所述第二距离大于所述第二距离区间的上限，则根据所述第二距离区间的上限，获取所述声音音量；若所述第二大小关系为所述第二距离小于所述第二距离区间的下限，则根据所述第二距离区间的下限，获取所述声音音量。
16.可选的，所述根据所述第一距离获取声音音调，根据所述第二距离获取声音音量之后，还包括：
17.在预设的显示设备上显示所述第一距离、所述声音音调、所述第二距离和所述声音音量。
18.可选的，所述第一待采集对象为左手，所述第二待采集对象为右手；或者，所述第一待采集对象为右手，所述第二待采集对象为左手。
19.第二方面，基于同一发明构思，本技术通过一实施例提供如下技术方案：
20.一种特雷门琴，包括：测距摄像模组、处理器和解码器；所述处理器分别与所述测距摄像模组和所述解码器连接；
21.所述测距摄像模组，用于采集待采集对象的深度数据；所述待采集对象包括第一待采集对象和第二待采集对象；
22.所述处理器，用于根据所述深度数据，获取所述测距摄像模组与待采集对象之间的距离；所述第一待采集对象对应第一距离，所述第二待采集对象对应第二距离；根据所述第一距离获取声音音调，根据所述第二距离获取声音音量；
23.所述解码器，用于根据所述声音音调和所述声音音量进行声音播放。
24.第三方面，基于同一发明构思，本技术通过一实施例提供如下技术方案：
25.一种电子设备，包括处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行上述第一方面中任一项所述方法的步骤。
26.第四方面，基于同一发明构思，本技术通过一实施例提供如下技术方案：
27.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
28.本发明实施例提供的一种基于测距摄像模组实现特雷门琴功能的方法及特雷门琴，是基于测距摄像模组对演奏人员的两个待采集对象进行距离识别，然后将识别的两个距离分别转化为声音音调和声音音量，最终基于声音音调和声音音量进行声音播放，从而实现演奏；本方法在实现特雷门琴功能的过程中创新的应用了测距摄像头模组，打破了摄像头模组的常规应用，同时完全改变了现有技术中特雷门琴的实现原理，用户在特雷门琴式的演奏过程中不再受限于现有特雷门琴的难以移动以及高昂成本的硬件，可利用现有的带有深度摄像模组的手机、电脑等设备实现演奏，降低了特雷门琴的硬件成本，并且改善了
特雷门琴演奏音乐时的环境条件适用性，有利于特雷门琴演奏方式的推广应用。
29.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
30.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
31.图1示出了本发明实施例提供的一种基于测距摄像模组实现特雷门琴功能的方法的流程图；
32.图2示出了本发明实施例中可视化截面的示意图；
33.图3示出了本发明实施例提供的一种特雷门琴的结构示意图。
具体实施方式
34.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
35.本发明实施例提供的一种基于测距摄像模组实现特雷门琴功能的方法，可用于实现特雷门琴式的演奏。该方案打破了深度摄像模组的常规应用，将深度摄像模组创新的应用于特雷门琴式的演奏中，不再依赖于现有的特雷门琴硬件结构及其实现原理。因此，该基于测距摄像模组实现特雷门琴功能的方法还可广泛的应用于带有测距摄像模组的设备，例如手机、笔记本电脑、平板电脑、外接深度摄像头的台式电脑、可穿戴设备等等。下面将通过具体实施例来对本发明的方法进行更加详细的阐述和说明。
36.请参见图1，在本发明的一实施例中提供了一种基于测距摄像模组实现特雷门琴功能的方法，图1示出了该方法的流程图。该方法包括：
37.步骤s10：基于测距摄像模组，获取所述测距摄像模组与待采集对象之间的距离；所述待采集对象包括第一待采集对象和第二待采集对象；所述第一待采集对象对应第一距离，所述第二待采集对象对应第二距离；
38.步骤s20：根据所述第一距离获取声音音调，根据所述第二距离获取声音音量；
39.步骤s30：根据所述声音音调和所述声音音量进行声音播放。
40.在本发明实施例中提供的一种基于测距摄像模组实现特雷门琴功能的方法，是基于测距摄像模组来获取待采集对象与测距摄像模组之间的距离，然后通过两个待采集对象来确定需要演奏音乐的播放音调和播放音量，最终基于确定的播放音调和播放音量来进行声音播放；因此，基于该种方法进行音乐演奏时，不再依赖于现有特雷门琴的硬件结构及其实现原理，并且可利用现有的带有深度摄像头的手机、电脑等设备进行实现，降低了特雷门琴的硬件成本，并且改善了特雷门琴演奏音乐时的环境条件适用性，有利于推广。进一步
的，下面对每个步骤的具体实现进行详细阐述。
41.步骤s10：基于测距摄像模组，获取所述测距摄像模组与待采集对象之间的距离；所述待采集对象包括第一待采集对象和第二待采集对象；所述第一待采集对象对应第一距离，所述第二待采集对象对应第二距离。
42.在步骤s10中，测距摄像头单元为可实现深度检测或距离测量的摄像头模组。针对不同的待采集对象，可采用同一个摄像头模组，也可采用不同的摄像头模组，不作限制。待采集对象可为进行音乐演奏时的肢体部位，或特定的工具。
43.例如，第一待采集对象可为左手，第二待采集对象可为右手；或者，第一待采集对象可为右手，第二待采集对象可为左手；由于第一待采集对象和第二待采集对象分别对应于音调何音量，因此，可根据用户的演奏习惯对第一待采集对象和第二待采集对象进行定义，该定义过程可通过软件程序调整实现，不会改变硬件结构。而目前现有的特雷门琴是通过天线进行信息采集的，一侧为竖直天线，另一侧为环形天线，该结构难以根据用户的演奏习惯进行调整，只能由用户对乐器进行适应。
44.又如，第一待采集对象还可为左脚，第二待采集对象可为右脚；或者，第一待采集对象可为右脚，第二待采集对象可为左脚；又如，第一待采集对象和第二采集对象还可均为用于手持的特定演奏工具，演奏工具包括但不限于演奏指挥棒、手套、条形物体等等；本实施例中通过测距摄像头单元，可灵活的调整演奏时采用自身肢体，还是采用其他工具。
45.第一距离，用于调整声音音调；第二距离，用于调整声音音量。针对第一距离和第二距离的获取过程均可参照如下步骤：
46.步骤s11：针对任一所述待采集对象，采用测距摄像头采集所述待采集对象的深度图像。
47.在步骤s11中，任一待采集对象可为第一待采集对象或第二待采集对象。所采集的深度图像包括了整个拍摄场景，因此，此时还需要对深度图像进行识别，即执行步骤s12。
48.步骤s12：对所述深度图像进行识别，获得所述待采集对象的图像轮廓。
49.在步骤s12中，对深度图像进行识别时，需要识别出待采集对象的包络部分，也即待采集对象的图像轮廓。例如，待采集对象为手时，可通过图像识别提取出手部的轮廓，即图像轮廓。图像识别算法可为现有的常用算法，例如可采用roberts算法、sobel算法、prewitt算法以及canny算法等实现轮廓识别和提取，不作限制。通过轮廓提取和识别，能够排除待采集对象之外的深度数据，保证最终得到的距离的准确性。
50.步骤s13：根据所述图像轮廓对应的深度数据，获得所述测距摄像头与待采集对象之间的距离。
51.在步骤s13中，图像轮廓对应的深度数据可为图像轮廓所在位置的深度数据，还可为图像轮廓内的深度数据。因此，获取测距摄像头与待采集对象之间的距离时，可对应于如下的两种实现方式：
52.第一种：根据图像轮廓所在位置的深度数据，获得测距摄像头与待采集对象之间的距离；第二种：根据图像轮廓内的深度数据，获得测距摄像头与待采集对象之间的距离。在计算距离时，可采用深度数据中各个测量点的距离均值，经过带通滤波后的距离均值作为最终距离。采用第一种方式处理深度数据获取距离时，计算量小，计算资源消耗少，响应快速；采用第二种方式处理深度数据获取距离时，由于深度数据的数据量更大，能够降低失
真数据对结果的影响，提高了识别准确性。
53.步骤s20：根据所述第一距离获取声音音调，根据所述第二距离获取声音音量。
54.在步骤s20中，第一距离的大小与声音音调的大小相关。在本实施中，可将声音音调的大小与预设的第一距离区间进行对应，例如，声音音调的大小与第一距离区间成正比，或声音音调的大小与第一距离区间成反比。当得到第一距离时，根据第一距离就可计算出对应的声音音调；第一距离改变时，声音音调对应改变，实现不同音调的演奏。
55.进一步的，本实施例中获取声音音调时，还可包括如下实现方式：
56.首先，判断第一距离与预设的第一距离区间之间的第一大小关系；然后，通过第一大小关系来确定具体的声音音调。具体的：
57.若第一大小关系为第一距离位于第一距离区间内，说明演奏的音调未超出实际所能播放音调的上限或下限；此时，可根据第一距离，计算获取声音音调。若第一大小关系为第一距离大于第一距离区间的上限，说明演奏的音调超出了实际所能播放音调的上限；此时，可根据第一距离区间的上限，计算获取声音音调。若第一大小关系为第一距离小于第一距离区间的下限，说明演奏的音调超出了实际所能播放音调的下限；此时，可根据所述第一距离区间的下限，计算获取所述声音音调。
58.同样的，在本实施中，可将声音音量的大小与预设的第二距离区间进行对应，例如，声音音量的大小与第二距离区间成正比，或声音音量的大小与第二距离区间成反比。当得到第二距离时，根据第二距离就可计算出对应的声音音量；第二距离改变时，声音音量对应改变，实现不同音量的演奏。
59.进一步的，本实施例中获取声音音量时，还可包括如下实现方式：
60.首先，判断第二距离与预设的第二距离区间之间的第二大小关系；然后，通过第二大小关系来确定具体的声音音量。具体的：
61.若第二大小关系为第二距离位于第二距离区间内，说明演奏的音量未超出实际所能播放音量的上限或下限；此时，可根据第二距离，计算获取声音音量。若第二大小关系为第二距离大于第二距离区间的上限，说明演奏的音量超出了实际所能播放音量的上限；此时，可根据第二距离区间的上限，计算获取声音音量。若第二大小关系为第二距离小于第二距离区间的下限，说明演奏的音量超出了实际所能播放音量的下限；此时，可根据第二距离区间的下限，获取声音音量。
62.需要说明的是，本实施例中的第一距离区间和第二距离区间，可基于不同的应用场景进行适应性的预设调整。以声音音调为例，若可播放音调的范围为 200hz～3khz时，对应的第一距离区间可为20cm～40cm，还可为20cm～50cm，还可为110cm～150cm，等等。也就是说，采用本实施中的方法实现特雷门琴的演奏时，可灵活的根据环境条件调整演奏人员与设备之间的距离，均可实现同样的演奏效果。
63.进一步的，在本实施例中的步骤s20之后，还可将声音音调和声音音量进行可视化，输出至预设的屏幕进行显示。如图2所示，左侧坐标可表示第一距离和声音音调大小，右侧坐标可表示第二距离和声音音量大小。通过可视化界面演奏人员可直观的观察当前演奏动作所对应的音调大小和音量大小。
64.步骤s30：根据所述声音音调和所述声音音量进行声音播放。
65.在步骤s30中，在完成声音音调和声音音量的获取后，可采用音频解码器进行解码
最终通过扬声器或其他发声设备等外设进行声音播放。
66.本实施例中还可在步骤s10之前进行定义对应的初始数据，例如，设置待采集对象的移动范围，也即设置第一距离区间和第二距离区间；设置最大音量；设置音调移调；设置声音音色、波形；设置对应的音频处理库；等等。
67.请参阅图3，基于同一发明构思，本发明的又一实施例中还提供了一种特雷门琴300，该特雷门琴300至少包括测距摄像模组310、处理器320和解码器330；处理器320分别与测距摄像模组310和解码器330连接；此外，还可处理器320还可连接对应的数据存储器321和内存322，解码器330可连接扬声器331作为播放声音的外设。测距摄像模组310可由测距摄像头组成，例如，可为结构光深度摄像头，3dtof(timeofflight，飞行时间)摄像头，双目视觉深度摄像头，等等。处理器320，可用于对测距摄像模组310采集的数据进行处理和计算，并输出处理结果；该处理结果可包括声音音调和声音音量。解码器330，用于对处理器320输出的处理结果进行解码和音乐播放。最终，实现音乐的转换和演奏。
68.具体的，在本实施例中处理器320可采用现有的处理器实现，例如，在本实施例中可采用型号为瑞芯微rk3566的主控芯片作为处理器320；解码器330采用型号为rk817-5的音频解码器330；处理器320和解码器330可通过5v的电源进行供电。数据存储器321可采用emmcflash(embeddedmultimediacardflash，emmc闪存)实现，内存322可低功耗内存lpddr4。以3dtof摄像头为例，3dtof摄像头可通过i2c(inter-integratedcircuit，i2c总线)协议与芯片rk3566进行时钟信号的交互，3dtof摄像头采用mipi(mobileindustryprocessorinterface，移动产业处理器接口)协议将采集到的深度数据发送给芯片rk3566，芯片rk3566调用emmcflash中的预设程序在内存中运行，并对深度数据进行处理和解析；在该预设程序运行时，执行如下步骤：
69.获取测距摄像模组310与待采集对象之间的距离；待采集对象包括第一待采集对象和第二待采集对象；第一待采集对象对应第一距离，第二待采集对象对应第二距离；根据第一距离获取声音音调，根据第二距离获取声音音量。
70.此时，可通过芯片rk3566对应的外接显示屏进行实时的显示第一距离、声音音调、第二距离和声音音量。芯片rk3566与芯片rk817-5之间的连接关系为：芯片rk3566通过i2c通讯接口及int信号、reset信号、sleep信号发送读写控制命令至rk817-5，通过i2s(inter—icsound，集成电路内置音频总线)接口给rk817-5发送声音编码数据。在获得声音音调和声音音量后，将信息传输给rk817-5的音频解码器330进行解码，并在对应连接的外设上进行声音播放，实现演奏；也即芯片rk817-5执行：根据声音音调和声音音量进行声音播放。
71.基于同一发明构思，在本发明的又一实施例中还提供了一种电子设备，包括处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述电子设备执行前述方法实施例中的任一项所述方法的步骤。
72.需要说明的是，本发明实施例所提供的一种电子设备，其中的处理器运行时，电子设备执行的各个步骤的具体实现及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
73.基于同一发明构思，在本发明的又一实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中的任一项所述
方法的步骤。
74.需要说明的是，本发明实施例所提供的一种电子设备，其中的程序被处理器执行时，各个步骤的具体实现及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
75.综上所述，本发明实施例提供的一种基于测距摄像模组实现特雷门琴功能的方法及特雷门琴，其中基于测距摄像模组对演奏人员的两个待采集对象进行距离识别，然后将识别的两个距离分别转化为声音音调和声音音量，最终基于声音音调和声音音量进行声音播放，从而实现演奏；本方法在实现特雷门琴功能的过程中创新的应用了测距摄像头模组，打破了摄像头模组的常规应用，同时完全改变了现有技术中特雷门琴的实现原理，用户在特雷门琴式的演奏过程中不再受限于现有特雷门琴的难以移动以及高昂成本的硬件，可利用现有的带有深度摄像模组的手机、电脑等设备实现演奏，降低了特雷门琴的硬件成本，并且改善了特雷门琴演奏音乐时的环境条件适用性，有利于特雷门琴演奏方式的推广应用。
76.本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和 b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
77.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
78.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
79.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
80.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
81.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
82.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。