动作识别方法、网络训练方法、装置及设备与流程

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或该专利披露。

本申请涉及通信技术领域，尤其涉及一种动作识别方法、网络训练方法、装置及设备。

背景技术：

随着终端技术的不断发展，终端上能够实现的功能越来越多，给终端用户带来了极大的方便。例如，各种可穿戴设备应运而生，用户能够通过佩戴可穿戴设备如手环来实现各种功能，如查看时间、记录运动数据、拨打电话等等，且能够通过识别可穿戴设备上的手势动作来实现对其他的设备的控制，如控制飞行器的起飞、降落改变、改变飞行路径等等。

然而，目前的手势动作识别都是通过对识别数据波形的起始点和结束点来进行识别的，该方式下，若用户不做手势时也可能有各种运动，此时就很难区分出起始点和结束点，从而导致手势动作识别出错或无法识别，手势识别的准确性及可靠性较低。

技术实现要素：

本发明实施例提供一种动作识别方法、网络训练方法、装置及设备，能够提升识别用户手势动作的准确性及可靠性。

第一方面，本发明实施例提供了一种动作识别装置，包括：获取模块和处理模块；其中，

获取模块，用于获取由外部设备针对当前动作检测得到的运动数据；

处理模块，用于将所述获取模块获取的所述运动数据转换为频域数据，利用所述频域数据来识别与所述频域数据对应的动作。

第二方面，本发明实施例还提供了一种动作识别装置，包括：第一获取模块、第二获取模块、融合模块和处理模块；其中，

第一获取模块，用于获取由外部设备针对当前动作检测得到的运动数据，并根据所述运动数据获取与所述当前动作对应的特征数据；

第二获取模块，用于获取针对所述当前动作采集的图像，并对所述图像进行处理，以得到所述当前动作对应的图像识别数据；

融合模块，用于将与所述当前动作对应的特征数据以及图像识别数据进行融合，得到融合数据；

处理模块，用于识别与所述融合数据对应的动作。

第三方面，本发明实施例还提供了一种基于动作识别的网络训练装置，包括：第一获取模块、第二获取模块、确定模块和处理模块；其中，

第一获取模块，用于获取由外部设备针对预设动作检测得到的运动数据；

第二获取模块，用于获取针对所述预设动作采集的图像，并对所述图像进行处理，以得到所述预设动作对应的图像识别数据；

确定模块，用于识别与所述运动数据对应的动作；

处理模块，用于利用所述确定模块识别出的所述动作对所述第二获取模块获取的图像识别数据进行监督学习，并基于所述监督学习后的图像识别数据对预设的网络模型进行训练。

第四方面，本发明实施例还提供了一种动作识别方法，包括：

获取由外部设备针对当前动作检测得到的运动数据；

将所述运动数据转换为频域数据，并利用所述频域数据来识别与所述频域数据对应的动作。

第五方面，本发明实施例还提供了一种动作识别方法，包括：

获取由外部设备针对当前动作检测得到的运动数据，并根据所述运动数据获取与所述当前动作对应的特征数据；

获取针对所述当前动作采集的图像，并对所述图像进行处理，以得到所述当前动作对应的图像识别数据；

将与所述当前动作对应的特征数据以及图像识别数据进行融合，得到融合数据；

识别与所述融合数据对应的动作。

第六方面，本发明实施例还提供了一种基于动作识别的网络训练方法，包括：

获取由外部设备针对预设动作检测得到的运动数据；

获取针对所述预设动作采集的图像，并对所述图像进行处理，以得到所述预设动作对应的图像识别数据；

识别与所述运动数据对应的动作；

利用识别出的所述动作对所述图像识别数据进行监督学习，并基于所述监督学习后的图像识别数据对预设的网络模型进行训练。

第七方面，本发明实施例还提供了一种动作识别设备，包括：处理器和通信接口，所述处理器与所述通信接口连接；其中，

所述通信接口，用于获取由外部设备针对当前动作检测得到的运动数据；

所述处理器，用于将所述运动数据转换为频域数据，并利用所述频域数据来识别与所述频域数据对应的动作。

第八方面，本发明实施例还提供了一种动作识别设备，包括：处理器、通信接口和图像获取装置，所述处理器分别与所述图像获取装置和所述通信接口连接，其中，

所述通信接口，用于获取由外部设备针对当前动作检测得到的运动数据；

所述图像获取装置，用于针对所述当前动作采集图像；

所述处理器，用于获取所述图像获取装置针对所述当前动作采集的图像，并对所述图像获取装置采集的图像进行处理，得到所述当前动作对应的图像识别数据，根据所述运动数据获取与所述当前动作对应的特征数据，将与所述当前动作对应的特征数据以及图像识别数据进行融合，得到融合数据，并识别与所述融合数据对应的动作。

第九方面，本发明实施例还提供了一种基于动作识别的网络训练设备，包括：图像获取装置、处理器和通信接口，所述处理器分别与所述图像获取装置和所述通信接口连接，其中，

所述通信接口，用于获取由外部设备针对预设动作检测得到的运动数据；

所述图像获取装置，用于针对所述预设动作采集图像；

所述处理器，用于获取所述图像获取装置针对所述预设动作采集的图像，并对所述图像获取装置采集的图像进行处理，得到所述预设动作对应的图像识别数据；识别与所述运动数据对应的动作；利用识别出的所述动作对所述图像识别数据进行监督学习，并基于所述监督学习后的图像识别数据对预设的网络模型进行训练。

第十方面，本发明实施例还提供了一种飞行器，包括，

动力系统，用于为飞行器提供飞行动力；

上述第七方面任一项所述的动作识别设备，用于对动作进行识别。

第十一方面，本发明实施例还提供了一种飞行器，包括，

动力系统，用于为飞行器提供飞行动力；

上述第八方面任一项所述的动作识别设备，用于对动作进行识别。

第十二方面，本发明实施例还提供了一种飞行器，包括，

动力系统，为飞行器提供飞行动力；

上述第九方面任一项所述的基于动作识别的网络训练设备，用于对动作识别的网络模型进行训练。

实施本发明实施例，具有如下有益效果：

本发明实施例可通过获取外部设备的运动数据，并将该运动数据转换为频域数据，从而利用该频域数据来识别与该频域数据对应的动作，或者通过将运动数据和图像识别数据相融合以得到融合数据，从而利用该融合数据识别与所述融合数据对应的动作，或者通过确定运动数据对应的动作，利用图像识别数据和确定出的动作对图像识别数据进行监督学习，以提升动作识别的准确性及可靠性，鲁棒性较好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种飞行器控制系统的示意图；

图2是本发明实施例提供的一种动作识别方法的流程示意图；

图3是本发明实施例提供的另一种动作识别方法的流程示意图；

图4是本发明实施例提供的一种基于动作识别的网络训练方法的流程示意图；

图5是本发明实施例提供的一种动作识别装置的结构示意图；

图6是本发明实施例提供的另一种动作识别装置的结构示意图；

图7是本发明实施例提供的一种基于动作识别的网络训练装置的结构示意图；

图8是本发明实施例提供的一种动作识别设备的结构示意图；

图9是本发明实施例提供的另一种动作识别设备的结构示意图；

图10是本发明实施例提供的一种基于动作识别的网络训练设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1提供了一种飞行器控制系统示意图，该飞行器系统包括飞行器如无人机110和穿戴式设备120，其中无人机110包括飞行主体、云台以及成像设备130。在本实施例中，飞行主体包括多个旋翼以及驱动旋翼转动的旋翼电机，由此提供无人机110飞行所需动力。成像设备130通过云台搭载于飞行主体上。成像设备130用于在无人机110的飞行过程中进行图像或视频拍摄，包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等。云台为多轴传动及增稳系统，包括多个转动轴和云台电机。云台电机通过调整转动轴的转动角度来对成像设备130的拍摄角度进行补偿，并通过设置适当的缓冲机构来防止或减小成像设备130的抖动。当然，在其他实施例中，成像设备130可以直接或通过其他方式搭载于飞行主体上。穿戴式设备120由操作者佩戴，并通过无线通信方式与无人机110进行通信，进而对无人机110的飞行过程及成像设备130的拍摄过程进行控制，具体地穿戴式设备120内置运动传感器，当穿戴式设备随着操作者的手运动时，运动传感器会感知手的运动并输出相应的运动数据，并根据所述运动数据对无人机进行相应的控制。另外无人机上装置的成像设备也可以对人的肢体动作进行拍摄获取图像数据，并根据图像数据对肢体动作进行识别，根据识别得到的肢体动作也可以对飞行器进行相应的控制。

本发明实施例公开了一种动作识别方法、基于动作识别方法的网络训练方法、相关装置及相关设备，能够提升动作识别的准确性及可靠性，鲁棒性好。以下分别详细说明。

请参见图2，图2是本发明实施例提供的一种动作识别方法的流程示意图。具体的，如图2所示，本发明实施例的所述动作识别方法可以包括以下步骤：

101、获取由外部设备针对当前动作检测得到的运动数据。

可选地，本发明实施例的技术方案可具体应用于外部设备中，或者可具体应用于动作识别对应的被控制设备如飞行器中，或者可具体应用于其他独立的动作识别设备中，本发明实施例不做限定。

可选地，该外部设备可以为可穿戴设备或手持式设备，如手环、手表、智能戒指等等，外部设备配置有运动传感器如惯性测量单元(inertialmeasurementunit，简称imu)，当外部设备移动或者做出动作如手势动作时，外部设备配置的运动传感器会输出相应的运动数据，外部设备会检测到该运动数据，其中运动数据可以为角加速度、加速度中的一种或两种。

102、将所述运动数据转换为频域数据，并利用所述频域数据来识别与所述频域数据对应的动作。

可选地，所述利用所述频域数据来识别与所述频域数据对应的动作，可以具体为：将所述频域数据输入网络模型，以通过所述网络模型识别与所述频域数据对应的动作。具体的，在获取到该频域数据之后，还可进一步提取该频域数据的特征，比如通过抽取、叠加获取得到该频域数据的特征，并可将提取的特征输入网络模型来识别与该特征对应的动作，以提升动作识别效率。其中，该频域数据可以是通过将运动数据经过傅里叶变换得到的。该网络模型可以为神经网络，或者为其他网络模型，本发明实施例以神经网络为例进行说明。

可选地，对通过对获取的运动数据和/或该频域数据进行正则化处理，以减少对过度拟合。进一步可选地，还可对获取的运动数据和/或该频域数据进行归一化处理。

具体的，目前的手势识别是基于时域数据来进行识别的，而由于在一定时间内做的手势动作无法对齐到相同的时间长度内，使得从时域波形区分各种手势困难，且每个人做相同的手势数据又有较大的区别，因此，直接在时间域内进行手势动作识别时识别效果较差。本发明实施例通过采用频域识别方式来进行动作识别，由于频域没有时间轴则手势是对齐的，而每个人做相同的手势的各种频率成分又十分相近，这就极大地提高了手势动作识别的识别效果。此外，外部设备获取的运动数据(如imu输出的数据)往往噪声较大，并且运动数据的频率范围很低，导致基于该运动数据对应的手势动作识别不准确。由此，可对获取的原始运动数据进行频带比较低的低通滤波处理，可并通过降低该运动数据的采样率来减少获取的运动数据的数据量，以降低算法计算开销。进一步的，还可对获取的频域数据进行归一化处理，以方便网络模型进行数据处理。

可选地，该运动数据可包括在预设的时间段内对外部设备的运动传感器输出的数据进行采样而获取得到的数据；或者，该运动数据也可包括对外部设备的运动传感器输出的数据进行预设次数的采样而获取得到的数据。例如，可按照预设的时间段来对运动传感器输出的数据进行采集，比如经过大量测试发现人做手势一般不会超过5s，则可持续地对每5s内采集的运动数据来对网络模型进行训练或者来进行手势动作识别。本发明实施例通过将运动数据转换为频域数据来进行手势动作识别，即是整段数据识别手势，而不对5s内的手势进行起始点和结束点的识别，这就提升了动作识别的准确性。

可选地，还可获取由外部设备针对预设动作检测得到的运动数据；将与所述预设动作对应的运动数据转换为频域数据，利用与所述预设动作对应的所述频域数据和所述预设动作对所述网络模型进行训练。其中，在使用网络模型来识别动作之前，要对所述网络模型进行训练。具体地，可预先定义几种稳定性高的手势动作，并让不同的用户做这些手势动作，通过采集大量不同用户做这些手势得到的运动数据(如手表imu输出的数据)，并将其转换为频域数据，利用该频域数据来训练网络模型如神经网络。具体的，在获取到该频域数据之后，还可进一步提取该频域数据的特征，比如通过抽取、叠加等处理获取得到该频域数据的特征，并可将提取的特征作为输入，将该预设动作作为输出来对该网络模型如神经网络进行训练，从而可通过大量网络训练来提升网络模型的稳定性及可靠性，并提升了基于该网络模型的动作识别的可靠性。进一步可选地，在训练过程中可对该运动数据和/或该频域数据采用正则化处理以减少过度拟合。通过用户利用外部设备做的各种手势动作，对所述网络模型进行训练，由此可提升手势动作的识别率，并降低动作的误检率。

进一步可选地，在所述利用所述频域数据来识别与所述频域数据对应的动作之后，还可根据识别的动作对飞行器进行控制。

具体的，当外部设备如手表识别出当前手势动作之后，即可生成该手势动作对应的控制指令，并向被控制设备如飞行器发送该控制指令，以使飞行器执行与该手势动作对应的操作。

具体的，可预先定义多种手势，例如手势动作1、手势动作2、手势动作3等等，并可进一步预置得到每一手势动作对应的控制功能，以对相应的被控制设备进行控制。以外部设备为手表，并以控制飞行器为例，假设当用户佩戴手表的手做手势动作1时，飞行器可自动启动并起飞；当飞行器处于飞行状态，用户做手势动作2时，飞行器可进入环绕自拍功能。进一步的，还可设置通过手势动作1多种自拍模式之间的模式切换控制，在自拍模式下用户可再次做手势动作2退出自拍模式，等等。又例如，假设飞行器已经处于飞行状态，并且不处于自拍模式，用户只要举起带手表的手指向飞行器，同时做手势动作1，这时飞行器可进入指哪飞哪模式，飞行器以用户为球心，飞行器当前距离人的距离为半径的球面内飞行，飞行器根据用户手指指向的位置飞行。当识别出用户指着飞行器，转动手臂时，飞行器可调整飞行半径，且飞行器可自动检测用户是否指向了地面并安全控制高度防止砸地。在指哪飞哪模式下，用户可通过预设手势动作如指向飞行器做手势动作1，退出指哪飞哪模式。又例如，当飞行必须紧急降落时，用户可以做手势动作3，控制飞行器进行安全降落。从而实现对飞行器飞行控制，而无需再使用遥控器进行控制，增强了用户体验。

在本发明实施例中，可通过获取外部设备的运动数据，并将该运动数据转换为频域数据，从而利用该频域数据来识别与该频域数据对应的动作，这就很好的避开识别手势数据波形的起始点和结束点，提升了动作识别的识别率，降低了误检率，并进一步提升了动作识别的准确性及可靠性，鲁棒性较好。

请参见图3，图3是本发明实施例提供的另一种动作识别方法的流程示意图。具体的，如图3所示，本发明实施例的所述动作识别方法可以包括以下步骤：

201、获取由外部设备针对当前动作检测得到的运动数据，并根据所述运动数据获取与所述当前动作对应的特征数据。

可选地，本发明实施例的技术方案可具体应用于动作识别对应的被控制设备如飞行器中，或者可具体应用于其他独立的动作识别设备中，本发明实施例不做限定。

可选地，该外部设备可以为可穿戴设备或手持式设备，如手环、手表、智能戒指等等。该获取的运动数据可以为设置于该外部设备中的运动传感器如imu采集的数据。进一步的，在本发明实施例中，该特征数据可以是指由获取的运动数据转换得到的频域数据；还可以是指由获取的运动数据转换得到频域数据，并进一步提取得到的该频域数据的特征，如通过抽取、叠加等处理获取得到该频域数据的特征。

202、获取针对所述当前动作采集的图像，并对所述图像进行处理，以得到所述当前动作对应的图像识别数据。

可选地，该图像识别数据可以是通过图像获取装置如摄像头，具体可以是设置于飞行器上的摄像头，针对当前动作进行检测得到的图像数据(即采集该动作对应的图像)，并对该图像数据进行处理得到的数据。

203、将与所述当前动作对应的特征数据以及图像识别数据进行融合，得到融合数据。

其中，该融合数据中包括该运动数据的特征以及该图像识别数据中的特征，从而可增加用于进行动作识别的数据的特征，这就避免了仅通过图像识别动作时因做动作(如手势动作)的用户不在图像获取装置采集的图像中，或者用户在该图像中较小而导致动作识别出错，甚至无法识别，或者仅通过外部设备识别动作时用户做静态手势而无法识别等问题。通过获取包括两者的特征的融合数据，则能够提升动作识别率及准确性。

204、识别与所述融合数据对应的动作。

可选地，所述识别与所述融合数据对应的动作，可以具体为：将所述融合数据输入网络模型，以通过所述网络模型识别与所述融合数据对应的动作。其中，该网络模型可以为神经网络，或者为其他网络模型，本发明实施例以神经网络为例进行说明。

可选地，本发明实施例中的运动数据可包括在预设的时间段内对外部设备的运动传感器输出的数据进行采样而获取得到的数据；或者对外部设备的运动传感器输出的数据进行预设次数的采样而获取得到的数据。

进一步可选地，所述根据所述运动数据获取与所述当前动作对应的特征数据，可以具体为：将所述运动数据转换为频域数据，根据所述频域数据获取与所述当前动作对应的特征数据。进一步的，所述将与所述当前动作对应的特征数据以及图像识别数据进行融合，得到融合数据，可以具体为：将所述频域数据和所述图像识别数据进行融合，得到融合数据。具体的，可通过将获取的运动数据如imu数据经过傅里叶变换由时域变换到频域，得到频域数据，并可基于该频域数据确定特征数据，比如直接将该频域数据作为特征数据，或者将对该频域数据进行特征提取，如经过抽取、叠加等处理后得到的数据作为该特征数据。在获取得到该当前动作对应的特征数据及图像识别数据之后，则可生成包括该特征数据及图像识别数据的融合数据，这就相当于将两个数据源(图像识别数据和运动数据)的特征融合，从而能够基于该融合数据进行手势动作识别，并可基于该识别出的手势动作进行设备控制。

进一步地，还可获取由外部设备针对预设动作检测得到的运动数据，并根据所述运动数据获取与所述预设动作对应的特征数据；获取针对所述预设动作检测得到的图像识别数据；将与所述预设动作对应的图像识别数据和与所述预设动作对应的特征数据进行融合，得到与所述预设动作对应的融合数据；利用与所述预设动作对应的融合数据和所述预设动作对所述网络模型进行训练。

具体的，可通过将获取的运动数据如imu数据经过傅里叶变换由时域变换到频域，得到频域数据，并可基于该频域数据确定该特征数据，比如直接将该频域数据作为特征数据，或者将对该频域数据进行特征提取，如经过抽取、叠加等处理后得到的数据作为该特征数据。图像通过深度学习学习手势，在深度学习的过程中中间层为学习到的图像识别数据，则可将来自imu数据的特征数据插入到某个中间层，以得到两者的融合数据，并继续学习，这就相当于将两个数据源(图像识别数据和运动数据)的特征融合。基于上述的融合方式，经过大量的训练，包括获取大量图像难以识别的手势动作对应的图像识别数据(如当做手势动作的用户不在图像中时或者人在图像中很小时，靠图像识别则难以识别)进行训练，从而在图像难以识别手势的情况下仍能够综合运动数据识别出手势动作，并能够进一步基于该手势动作进行设备控制。

进一步可选地，在所述识别与所述融合数据对应的动作之后，还可根据识别的动作对飞行器进行控制。

具体的，可预先定义多种手势，并进一步预置得到与每一手势动作对应的控制功能，以对相应的被控制设备如飞行器进行控制。以控制飞行器为例，则可实现通过手势动作识别来控制飞行器实现起飞、降落、自拍、指哪飞哪等操作，从而增强了用户体验。

在本发明实施例中，可通过将获取的外部设备的运动数据和图像识别数据相融合，具体可以是将该运动数据转换为频域数据，基于该频域数据确定当前动作的特征数据，并通过将该特征数据与该图像识别数据进行融合，得到融合数据，从而能够利用该融合数据识别与该融合数据对应的动作，这就提升了动作识别的准确性及可靠性，鲁棒性较好，避免了现有技术中仅利用外部设备的运动数据来识别，或者仅利用图像识别而带来的动作识别准确性低，甚至无法识别的问题。

请参见图4，图4是本发明实施例提供的一种基于动作识别的网络训练方法的流程示意图。具体的，如图4所示，本发明实施例的所述网络训练方法可以包括以下步骤：

301、获取由外部设备针对预设动作检测得到的运动数据。

可选地，本发明实施例的技术方案可具体应用于动作识别对应的被控制设备如飞行器中，或者可具体应用于其他独立的网络训练设备中，本发明实施例不做限定。

可选地，该外部设备可以为可穿戴设备或手持式设备，如手环、手表、智能戒指等等。该获取的运动数据可以为设置于该外部设备中的运动传感器如imu采集的数据。进一步的，在本发明实施例中，该根据所述运动数据获取与所述预设动作对应的特征数据又称为该运动数据对应的特征数据，该特征数据用于确定具体的手势动作。

可选地，本发明实施例中的运动数据可包括在预设的时间段内对外部设备的运动传感器输出的数据进行采样获取得到的数据，或者对外部设备的运动传感器输出的数据进行预设次数的采样获取得到的数据。

302、获取针对所述预设动作采集的图像，并对所述图像进行处理，以得到所述预设动作对应的图像识别数据。

可选地，该图像识别数据可以是通过图像获取装置如摄像头，具体可以是设置于飞行器上的摄像头，针对当前动作进行检测得到的图像数据(即采集该动作对应的图像)，并对该图像数据进行处理得到的数据。

303、识别与所述运动数据对应的动作。

304、利用识别出的所述动作对所述图像识别数据进行监督学习，并基于所述监督学习后的图像识别数据对预设的网络模型进行训练。

其中，该网络模型可以为神经网络，或者为其他网络模型，本发明实施例以神经网络为例进行说明。

可选地，所述利用识别出的所述动作对所述图像识别数据进行监督学习，可以具体为：利用深度学习，将所述图像识别数据作为输入，并将所述动作作为目标输出来进行监督学习。具体的，因图像采集到的特征维数很多，通过深度学习则可减少图像识别特征维度，从而能够提升基于该学习后的图像识别网络训练得到的网络模型的稳定性及可靠性。

可选地，该网络模型可以为基于图像识别动作的方式对应的网络模型，则可利用识别的运动数据对应的动作和该图像识别数据对该网络模型进行训练。具体的，以外部设备为手环为例，可预先训练得到手环采集的运动数据特征(可以是对运动数据进行采样、滤波等处理后得到的数据，或者可以是该运动数据经过傅里叶变换得到的频域数据，等等)与手势动作的对应关系。从而可在用户做手势时同步采集手环采集的运动数据和图像识别数据，获取该运动数据的特征，并基于手环采集的运动数据特征与手势动作的对应关系，识别出与当前采集到的手环的运动数据特征对应的动作。并可进一步利用深度学习以图像识别数据为输入，以识别出的动作为目标输出来对该图像识别数据进行监督学习。在得到学习后的减少了维度后的图像识别数据之后，即可利用该减少了维度的图像识别数据对该网络模型进行训练，确定图像识别数据与手势动作的对应关系，以在后续进行手势动作识别时，能够通过获取的当前图像识别数据并通过该网络模型快速、准确地识别出当前手势动作，以基于该手势动作进行设备控制。

可选地，该网络模型可以为基于图像识别动作的方式和基于运动数据识别动作的方式对应的网络模型，则可利用获取的运动数据和该图像识别数据的融合数据来对该网络模型进行训练。则还可根据该运动数据获取与所述预设动作对应的特征数据，进一步的，所述基于所述监督学习后的图像识别数据对预设的网络模型进行训练，可以具体为：将所述特征数据与所述监督学习后的图像识别数据进行融合，得到融合数据；利用所述融合数据对预设的网络模型进行训练。具体的，仍以外部设备为手环为例，可预先训练得到手环采集的运动数据特征与手势动作的对应关系。从而可在用户做手势时同步采集手环采集的运动数据和图像识别数据，获取该运动数据的特征，并基于手环采集的运动数据特征与手势动作的对应关系，识别出与当前采集到的手环的运动数据特征对应的动作。并可进一步利用深度学习以图像识别数据为输入，以识别出的动作为目标输出来对该图像识别数据进行监督学习。在得到学习后的减少了维度后的图像识别数据之后，即可利用该减少了维度的图像识别数据和该运动数据的特征数据对该网络模型进行训练，即利用两者的融合数据来对网络模型进行训练，从而在后续进行手势动作识别时，能够通过将针对某一手势动作获取的学习后的当前图像识别数据与当前运动数据的特征数据的融合数据输入到该网络模型，以快速、准确地识别出当前手势动作，并可进一步基于该手势动作进行设备控制。

可选地，所述根据所述运动数据获取与所述当前动作对应的特征数据，可以具体为：将所述运动数据转换为频域数据，根据所述频域数据获取与所述当前动作对应的特征数据。具体的，该特征数据是基于该频域数据确定得到的，比如可直接将转换得到的频域数据作为特征数据，或者将对该频域数据进行特征提取，如经过抽取、叠加等处理后得到的数据作为该特征数据。

进一步可选地，还可基于当前动作采集得到当前图像识别数据，并基于通过上述的训练方式训练好的神经网络识别出与该当前图像识别数据对应的手势动作，从而可基于预先定义得到的手势动作以及每一手势动作对应的控制功能，确定出被控制设备如飞行器需要执行的操作，比如可通过手势动作识别来控制飞行器实现起飞、降落、自拍、指哪飞哪等操作，从而增强了用户体验。

在本发明实施例中，可通过在用户做手势动作时同时采集运动数据及图像识别数据，并基于运动数据与手势动作的对应关系识别出当前手势动作，从而能够利用深度学习方式通过识别出的手势动作对该图像识别数据进行监督学习，使得提升了动作识别的准确性及可靠性，鲁棒性较好。

请参见图5，图5是本发明实施例提供的一种动作识别装置的结构示意图。可选地，本发明实施例的所述动作识别装置可具体设置于外部设备中，或者可具体设置于动作识别对应的被控制设备如飞行器中，或者可具体设置于其他独立的动作识别设备中，等等。具体的，如图5所示，本发明实施例的所述动作识别装置10可以包括获取模块11和处理模块12。其中，

所述获取模块11，用于获取由外部设备针对当前动作检测得到的运动数据；

所述处理模块12，用于将所述获取模块11获取的所述运动数据转换为频域数据，利用所述频域数据来识别与所述频域数据对应的动作。

可选地，该外部设备可以为可穿戴设备或手持式设备，如手环、手表、智能戒指等等。外部设备配置有运动传感器如imu，当外部设备移动或者做出动作如手势动作时，外部设备配置的运动传感器会输出相应的运动数据，外部设备会检测到该运动数据。

可选地，在一些实施例中，

所述处理模块12，可具体用于将所述频域数据输入网络模型，以通过所述网络模型识别与所述频域数据对应的动作。

具体的，处理模块12在获取到该频域数据之后，还可进一步提取该频域数据的特征，比如通过抽取、叠加等方式获取得到该频域数据的特征，并可将提取的特征输入网络模型来识别与该特征对应的动作，以提升动作识别效率。其中，该频域数据可以是通过将运动数据经过傅里叶变换得到的。该网络模型可以为神经网络，或者为其他网络模型，本发明实施例不做限定。

进一步的，所述获取模块11，还可用于获取由外部设备针对预设动作检测得到的运动数据；

所述处理模块12，还可用于将与所述预设动作对应的运动数据转换为频域数据，利用与所述预设动作对应的所述频域数据和所述预设动作对所述网络模型进行训练。

进一步可选地，在一些实施例中，

所述处理模块12，还可用于对所述频域数据进行正则化处理，以减少对所述频域数据的过度拟合。

进一步可选地，在一些实施例中，

所述处理模块12，还可用于对所述运动数据进行归一化处理。

可选地，该运动数据可包括在预设的时间段内对外部设备的运动传感器输出的数据进行采样获取得到的数据，或者对外部设备的运动传感器输出的数据进行预设次数的采样获取得到的数据。

进一步可选地，在一些实施例中，

所述处理模块12，还可用于根据识别的动作对飞行器进行控制。

具体的，当识别出当前手势动作之后，处理模块12还可生成该手势动作对应的控制指令，并向被控制设备如飞行器发送该控制指令，以使飞行器执行与该手势动作对应的操作。

在本发明实施例中，可通过获取外部设备的运动数据，并将该运动数据转换为频域数据，从而利用该频域数据来识别与该频域数据对应的动作，这就很好的避开识别手势数据波形的起始点和结束点，提升了动作识别的识别率，降低了误检率，并进一步提升了动作识别的准确性及可靠性，鲁棒性较好。

请参见图6，图6是本发明实施例提供的另一种动作识别装置的结构示意图。可选地，本发明实施例的所述动作识别装置可具体设置于动作识别对应的被控制设备如飞行器中，或者可具体设置于其他独立的动作识别设备中，等等具体的，如图6所示，本发明实施例的所述动作识别装置20可以包括第一获取模块21、第二获取模块22、融合模块23和处理模块24。其中，

所述第一获取模块21，用于获取由外部设备针对当前动作检测得到的运动数据，并根据所述运动数据获取与所述当前动作对应的特征数据；

所述第二获取模块22，还用于获取针对所述当前动作采集的图像，并对所述图像进行处理，以得到所述当前动作对应的图像识别数据；

所述融合模块23，用于将与所述当前动作对应的特征数据以及图像识别数据进行融合，得到融合数据；

所述处理模块24，用于识别与所述融合数据对应的动作。

可选地，该外部设备可以为可穿戴设备或手持式设备，如手环、手表、智能戒指等等。该获取的运动数据可以为设置于该外部设备中的运动传感器如imu采集的数据。进一步的，在本发明实施例中，该特征数据可以是指由获取的运动数据转换(如经过傅里叶变换进行转换)得到的频域数据；还可以是指由获取的运动数据转换得到频域数据，并进一步提取得到的该频域数据的特征，如通过抽取、叠加等处理获取得到该频域数据的特征。

可选地，在一些实施例中，

所述处理模块24，可具体用于将所述融合数据输入网络模型，以通过所述网络模型识别与所述融合数据对应的动作。

其中，该网络模型可以为神经网络，或者为其他网络模型，本发明实施例不做限定。

进一步可选地，在一些实施例中，

所述第一获取模块21，可具体用于在根据所述运动数据获取与所述当前动作对应的特征数据时，将所述运动数据转换为频域数据，以将所述频域数据作为与所述当前动作对应的特征数据；

所述融合模块23，可具体用于将所述频域数据和所述第二获取模块22获取的图像识别数据进行融合，得到融合数据。

进一步可选地，在一些实施例中，

所述第一获取模块21，还用于获取由外部设备针对预设动作检测得到的运动数据，并根据所述运动数据获取与所述预设动作对应的特征数据；

所述第二获取模块22，还用于获取针对所述预设动作采集的图像，并对采集的图像进行处理，以得到所述预设动作对应的图像识别数据；

所述融合模块23，还用于将与所述预设动作对应的图像识别数据和与所述预设动作对应的特征数据进行融合，得到与所述预设动作对应的融合数据；

所述处理模块24，还用于利用与所述预设动作对应的融合数据和所述预设动作对所述网络模型进行训练。

可选地，该运动数据可包括在预设的时间段内对外部设备的运动传感器输出的数据进行采样获取得到的数据，或者对外部设备的运动传感器输出的数据进行预设次数的采样获取得到的数据。

进一步可选地，在一些实施例中，

所述处理模块24，还可用于根据识别的动作对飞行器进行控制。

在本发明实施例中，可通过将获取的外部设备的运动数据和图像识别数据相融合，具体可以是将该运动数据转换为频域数据，基于该频域数据确定当前动作的特征数据，并通过将该特征数据与该图像识别数据进行融合，得到融合数据，从而能够利用该融合数据识别与该融合数据对应的动作，这就提升了动作识别的准确性及可靠性，鲁棒性较好，避免了现有技术中仅利用外部设备识别，或者仅利用图像识别而带来的动作识别准确性低，甚至无法识别的问题。

请参见图7，图7是本发明实施例提供的一种基于动作识别的网络训练装置的结构示意图。可选地，本发明实施例的所述动作识别装置可具体设置于动作识别对应的被控制设备如飞行器中，或者可具体设置于其他独立的网络训练设备中。具体的，如图7所示，本发明实施例的网络训练装置30可以包括第一获取模块31、第二获取模块32、确定模块33和处理模块34。其中，

所述第一获取模块31，用于获取由外部设备针对预设动作检测得到的运动数据；

所述第二获取模块32，还用于获取针对所述预设动作采集的图像，并对所述图像进行处理，以得到所述预设动作对应的图像识别数据；

所述确定模块33，用于识别与所述运动数据对应的动作；

所述处理模块34，用于利用所述确定模块33识别出的所述动作对所述第二获取模块32获取的图像识别数据进行监督学习，并基于所述监督学习后的图像识别数据对预设的网络模型进行训练。

可选地，该外部设备可以为可穿戴设备或手持式设备，如手环、手表、智能戒指等等。该获取的运动数据可以为设置于该外部设备中的运动传感器如imu采集的数据。其中，该网络模型可以为神经网络，或者为其他网络模型，本发明实施例以神经网络为例进行说明。

进一步可选地，在一些实施例中，

所述处理模块34，可具体用于利用深度学习，将所述第二获取模块32获取的图像识别数据作为输入，并将所述动作作为目标输出来进行监督学习。

具体的，因图像采集到的特征维数很多，处理模块34可通过深度学习来减少图像识别特征维度，以提升基于该学习后的图像识别网络训练得到的网络模型的稳定性及可靠性。

进一步可选地，在一些实施例中，

所述第一获取模块31，还用于根据所述运动数据获取与所述预设动作对应的特征数据；

所述处理模块34，还用于将所述特征数据与所述监督学习后的图像识别数据进行融合，得到融合数据，并利用所述融合数据对预设的网络模型进行训练。

进一步可选地，在一些实施例中，

所述第一获取模块31，具体用于在根据所述运动数据获取与所述当前动作对应的特征数据时，具体地，将所述运动数据转换为频域数据，以将所述频域数据作为与所述当前动作对应的特征数据。

具体的，该特征数据是基于该频域数据确定得到的，比如获取模块31可直接将转换得到的频域数据作为特征数据，或者将对该频域数据进行特征提取，如经过抽取、叠加等处理后得到的数据作为该特征数据。

在本发明实施例中，可通过在用户做手势动作时同时采集运动数据及图像识别数据，并基于运动数据与手势动作的对应关系识别出当前手势动作，从而能够利用深度学习方式通过识别出的手势动作对该图像识别数据进行监督学习，使得提升了动作识别的准确性及可靠性，鲁棒性较好。

本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图2对应实施例中的动作识别方法的部分或全部步骤。

本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图3对应实施例中的动作识别方法的部分或全部步骤。

本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图4对应实施例中的基于动作识别的网络训练方法的部分或全部步骤。

再请参见图8，图8是本发明实施例提供的一种动作识别设备的结构示意图。本发明实施例的所述动作识别设备可以为外部设备如手环、手表、戒指等，或者可以为被控制设备如飞行器，或者可以为其他独立的动作识别设备，等等。具体的，本发明实施例中的所述动作识别设备1可包括：通信接口300、存储器200和处理器100，所述处理器100可分别与所述通信接口300及所述存储器200连接。可选地，该动作识别设备1还可包括运动传感器、摄像头等等。

所述通信接口300可包括有线接口、无线接口等，可用于接收外部设备传输的数据，如接收外部设备针对用户的某一手势动作采集的运动数据；或者用于传输外部设备获取的运动数据，等等。

所述存储器200可以包括易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，简称ram)；存储器200也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flashmemory)等；存储器200还可以包括上述种类的存储器的组合。

所述处理器100可以为中央处理器(centralprocessingunit，简称cpu)、图像处理器(graphicsprocessingunit，简称gpu)等等。所述处理器还可以进一步包括硬件芯片。硬件芯片可以是专用集成电路(application-specificintegratedcircuit，简称asic)，可编程逻辑器件(programmablelogicdevice，简称pld)或其组合。上述pld可以是复杂可编程逻辑器件(complexprogrammablelogicdevice，简称cpld)，现场可编程逻辑门阵列(field-programmablegatearray，简称fpga)等。

可选地，所述存储器200还用于存储程序指令。所述处理器100可以调用所述程序指令，实现如本申请图2实施例中所示的动作识别方法。

具体的，所述通信接口300，可用于获取由外部设备针对当前动作检测得到的运动数据；

所述处理器100，可调用所述存储器200中存储的程序指令，用于执行：

将所述运动数据转换为频域数据，并利用所述频域数据来识别与所述频域数据对应的动作。

可选地，所述处理器100，具体用于将所述频域数据输入网络模型，以通过所述网络模型识别与所述频域数据对应的动作。

可选地，所述网络模型可包括神经网络。

可选地，所述通信接口300，还用于获取由外部设备针对预设动作检测得到的运动数据；

所述处理器100，还用于将与所述预设动作对应的运动数据转换为频域数据，利用与所述预设动作对应的所述频域数据和所述预设动作对所述网络模型进行训练。

可选地，所述处理器100，还用于对所述频域数据进行正则化处理，以减少对所述频域数据的过度拟合。

可选地，所述处理器100，还用于对所述运动数据进行归一化处理。

可选地，所述运动数据可包括在预设的时间段内对外部设备的运动传感器输出的数据进行采样获取得到的数据，或者对外部设备的运动传感器输出的数据进行预设次数的采样获取得到的数据。

可选地，所述处理器100，还用于根据识别的动作对飞行器进行控制。

本发明实施例还提供了一种飞行器，包括，

动力系统，用于为飞行器提供飞行动力；

上述图8对应的实施例中任一项所述的动作识别设备，用于对动作进行识别。

再请参见图9，图9是本发明实施例提供的另一种动作识别设备的结构示意图。本发明实施例的所述动作识别设备可以为被控制设备如飞行器，或者可以为其他独立的动作识别设备，等等。具体的，本发明实施例中的所述动作识别设备2可包括：通信接口700、图像获取装置600、存储器500和处理器400，所述处理器400可分别与所述通信接口700、图像获取装置600及所述存储器500连接。可选地，该动作识别设备2还可包括运动传感器。

所述图像获取装置600可包括摄像头，用于采集图像，如采集用户做手势动作时的图像。

所述通信接口700可包括有线接口、无线接口等，可用于接收外部设备传输的数据，如接收外部设备针对用户的某一手势动作采集的运动数据。

所述存储器500可以包括易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，简称ram)；存储器500也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flashmemory)等；存储器500还可以包括上述种类的存储器的组合。

所述处理器400可以为中央处理器(centralprocessingunit，简称cpu)、图像处理器(graphicsprocessingunit，简称gpu)等等。所述处理器还可以进一步包括硬件芯片。硬件芯片可以是专用集成电路(application-specificintegratedcircuit，简称asic)，可编程逻辑器件(programmablelogicdevice，简称pld)或其组合。上述pld可以是复杂可编程逻辑器件(complexprogrammablelogicdevice，简称cpld)，现场可编程逻辑门阵列(field-programmablegatearray，简称fpga)等。

可选地，所述存储器500还用于存储程序指令。所述处理器400可以调用所述程序指令，实现如本申请图3实施例中所示的动作识别方法。

具体的，所述通信接口700，用于获取由外部设备针对当前动作检测得到的运动数据；

所述图像获取装置600，用于针对所述当前动作采集图像；

所述处理器400，用于对所述图像获取装置采集的图像进行处理，得到图像识别数据，根据所述运动数据获取与所述当前动作对应的特征数据，将与所述当前动作对应的特征数据以及图像识别数据进行融合，得到融合数据，并识别与所述融合数据对应的动作。

可选地，所述处理器400，具体用于将所述融合数据输入网络模型，以通过所述网络模型识别与所述融合数据对应的动作。

可选地，所述网络模型包括神经网络。

可选地，所述处理器400，具体用于将所述运动数据转换为频域数据，并将所述频域数据和所述图像识别数据进行融合，得到融合数据。

具体的，可通过将获取的运动数据如imu数据经过傅里叶变换由时域变换到频域，得到频域数据，并可基于该频域数据确定该特征数据，比如直接将该转换得到的频域数据作为特征数据，或者将对该频域数据进行特征提取，如经过抽取、叠加等处理后得到的数据作为该特征数据。

可选地，所述通信接口700，还用于获取由外部设备针对预设动作检测得到的运动数据；

所述图像获取装置600，还用于针对所述预设动作采集图像；

所述处理器400，还用于对所述图像获取装置采集的图像进行处理，得到所述预设动作对应的图像识别数据；根据所述运动数据获取与所述预设动作对应的特征数据；将与所述预设动作对应的图像识别数据和与所述预设动作对应的特征数据进行融合，得到与所述预设动作对应的融合数据；利用与所述预设动作对应的融合数据和所述预设动作对所述网络模型进行训练。

可选地，所述运动数据可包括在预设的时间段内对外部设备的运动传感器输出的数据进行采样获取得到的数据，或者对外部设备的运动传感器输出的数据进行预设次数的采样获取得到的数据。

可选地，所述处理器400，还用于根据识别的动作对飞行器进行控制。

本发明实施例还提供了一种飞行器，包括，

动力系统，用于为飞行器提供飞行动力；

上述图9对应的实施例中任一项所述的动作识别设备，用于对动作进行识别。

再请参见图10，图10是本发明实施例提供的一种基于动作识别的网络训练设备的结构示意图。本发明实施例的所述网络训练设备可以为被控制设备如飞行器，或者可以为其他独立的网络训练设备，等等。具体的，本发明实施例中的所述网络训练设备3可包括：通信接口1100、图像获取装置1000、存储器900和处理器800，所述处理器800可分别与所述通信接口1100、所述图像获取装置1000及所述存储器900连接。可选地，该动作识别设备3还可包括运动传感器等。

所述图像获取装置1000可包括摄像头，用于采集图像，如采集用户做手势动作时的图像。

所述通信接口1100可包括有线接口、无线接口等，可用于接收外部设备传输的数据，如接收外部设备针对用户的某一手势动作采集的运动数据。

所述存储器900可以包括易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，简称ram)；存储器900也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flashmemory)等；存储器900还可以包括上述种类的存储器的组合。

所述处理器800可以为中央处理器(centralprocessingunit，简称cpu)、图像处理器(graphicsprocessingunit，简称gpu)等等。所述处理器还可以进一步包括硬件芯片。硬件芯片可以是专用集成电路(application-specificintegratedcircuit，简称asic)，可编程逻辑器件(programmablelogicdevice，简称pld)或其组合。上述pld可以是复杂可编程逻辑器件(complexprogrammablelogicdevice，简称cpld)，现场可编程逻辑门阵列(field-programmablegatearray，简称fpga)等。

可选地，所述存储器900还用于存储程序指令。所述处理器800可以调用所述程序指令，实现如本申请图4实施例中所示的基于动作识别的网络训练方法。

具体的，所述通信接口1100，用于获取由外部设备针对预设动作检测得到的运动数据；

所述图像获取装置1000，用于针对所述预设动作采集图像；

所述处理器800，用于对所述图像获取装置采集的图像进行处理，得到图像识别数据；识别与所述运动数据对应的动作；利用识别出的所述动作对所述图像识别数据进行监督学习，并基于所述监督学习后的图像识别数据对预设的网络模型进行训练。

可选地，所述处理器800，具体用于利用深度学习，将所述图像识别数据作为输入，并将所述动作作为目标输出来进行监督学习。

可选地，所述处理器800，还用于根据所述运动数据获取与所述预设动作对应的特征数据；将所述特征数据与所述监督学习后的图像识别数据进行融合，得到融合数据；利用所述融合数据对预设的网络模型进行训练。

可选地，所述处理器800，具体用于将所述运动数据转换为频域数据，以将所述频域数据作为与所述当前动作对应的特征数据。

具体的，可通过将获取的运动数据经过傅里叶变换由时域变换到频域，得到频域数据，并可基于该频域数据确定该特征数据，比如直接将该频域数据作为特征数据，或者将对该频域数据进行特征提取，如经过抽取、叠加等处理后得到的数据作为该特征数据。

可选地，所述网络模型可包括神经网络。

在本发明实施例中，可通过获取外部设备的运动数据，并将该运动数据转换为频域数据，从而利用该频域数据来识别与该频域数据对应的动作，或者通过将运动数据和图像识别数据相融合以得到融合数据，从而利用该融合数据识别与所述融合数据对应的动作，或者通过确定运动数据对应的动作，利用图像识别数据和确定出的动作对图像识别数据进行监督学习，以提升动作识别的准确性及可靠性，鲁棒性较好。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本发明实施例还提供了一种飞行器，包括，

动力系统，为飞行器提供飞行动力；

上述图10对应的实施例中任一项所述的基于动作识别的网络训练设备，用于对动作识别的网络模型进行训练。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述该作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。