无人机的飞行控制方法、装置、无人机及存储介质与流程

本发明属于无人机人机交互技术领域，尤其涉及一种无人机的飞行控制方法、装置、无人机及存储介质。

背景技术：

无人机作为一种新兴的应用平台，因其体积小、机动性强、操作灵活、成本低等特点，在军用、民用领域都得到了广泛应用，尤其在监视和搜救方面的应用场景十分广阔。

目前，无人机的飞行控制方式主要为远程控制，由专业训练过的操作者使用专业的遥控器或者地面站来执行控制操作，该方式能够对无人机实现精准、实时的控制，且可靠性强，但是该方式增加了额外的成本且遥控设备不利于携带，还增加了操作员的负担，例如，操作员使用遥控器，需要深入了解无人机的舵机、油门延迟等专业知识，并进行模拟和实际飞行操作训练，在地面站的操作员需要熟悉地面站界面的相关操作，专业性很强，这对于一般的初学者及爱好者有一定的难度。为了降低费用成本，减轻操作员的负担，使操作员与无人机以更自然、简单、直观的方式进行交互，将人类自然的手势应用到无人机的飞行控制的人机交互技术成为无人机的飞行控制研究的热点和难点之一。

目前，手势识别的研究主要包括基于硬件传感器的手势识别、基于机器视觉的手势识别。基于硬件传感器的手势识别主要有两种，一种通过使用者穿戴可接收手势信号的手套实现手势识别，这种手套价格昂贵且给使用者带来不便，局限性较大，另一种利用kinect传感器采集用户骨骼节点的空间位置信息，通过计算机端的识别软件识别出这些信息对应的动作指令，进而生成对应的无人机的飞行控制指令，但该方式的识别成功率较低。基于机器视觉信息的手势识别直接将以使用者的手为目标的视频帧图像作为输入，通过图像识别实现手势识别，该方式提供了无约束的人机交互方式，且交互自由度高、交互体验逼真，但该方式的识别精度有待提高。

在亿航智能设备(广州)有限公司提出的一种飞行器及其控制方法的专利(cn106774947a)中，通过对双目摄像头采集的图像进行深度处理和手势识别，实现对飞行器的控制，该方法解决了传统无人机远程控制方式中硬件成本高的问题，但是增加了手势识别时预处理操作的复杂度，且识别成功率不高。南京邮电大学提出基于视觉的无人机手势交互研究，该方法在不改变现有硬件的基础上，在无人机遥控器与使用者的手之间增加一个“交互媒质”，并在摄像机与遥控器之间，增加了arm开发板，对摄像头所捕捉的手势进行动作识别，将识别的手势动作转换为指令导入arm开发板，再转换为具体电压或电阻的变化，从而实现对无人机的控制，该方法始终需要遥控器来控制无人机的飞行，且未解决硬件成本高、遥控设备不便于携带的问题。

技术实现要素：

本发明的目的在于提供一种无人机的飞行控制方法、装置、无人机及存储介质，旨在解决现有技术中无人机的飞行控制的硬件成本高、准确率不高且效率不高的问题。

一方面，本发明提供了一种无人机的飞行控制方法，所述方法包括下述步骤：

通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测所述场景图像中是否存在用户手势；

当检测到所述场景图像中的用户手势时，通过训练好的手势识别模型对所述用户手势进行识别，以确定所述用户手势在预先构建的控制手势库中对应的控制手势；

在预先构建的手势指令字典中将所述对应的控制手势翻译为所述无人机的飞行控制指令，根据所述飞行控制指令对所述无人机的飞行进行控制。

另一方面，本发明提供了一种无人机的飞行控制装置，所述装置包括：

手势检测单元，用于通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测所述场景图像中是否存在用户手势；

手势识别单元，用于当检测到所述场景图像中的用户手势时，通过训练好的手势识别模型对所述用户手势进行识别，以确定所述用户手势在预先构建的控制手势库中对应的控制手势；以及

飞行控制单元，用于在预先构建的手势指令字典中将所述对应的控制手势翻译为所述无人机的飞行控制指令，根据所述飞行控制指令对所述无人机的飞行进行控制。

另一方面，本发明还提供了一种无人机，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述无人机的飞行控制方法所述的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述无人机的飞行控制方法所述的步骤。

本发明通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势，当检测到存在时，通过训练好的手势识别模块识别用户手势对应的控制手势，在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，根据飞行控制指令对无人机的飞行进行控制，从而实现无人机飞行的手势控制，且无需对摄像头获取的图像进行复杂的预处理，有效地提高了无人机飞行时手势识别的效率和成功率，有效地降低了无人机飞行控制的硬件成本，使得无人机飞行控制更为方便简单。

附图说明

图1是本发明实施例一提供的无人机的飞行控制方法的实现流程图；

图2是本发明实施例二提供的无人机的飞行控制装置的结构示意图；

图3是本发明实施例二提供的无人机的飞行控制装置的优选结构示意图；以及

图4是本发明实施例三提供的无人机的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的无人机的飞行控制方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s101中，通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势。

在本发明实施例中，将无人机上摄像头拍摄到的场景图像输入预先训练好的深度学习模型中，以通过该深度学习模型提取场景图像的图像特征、并根据图像特征确定场景图像中是否存在(或出现)用户手势，从而直接通过深度学习对场景图像进行特征提取，不需进行复杂的图像处理，例如图像分割，有效地提高了手势识别的效率和识别的准确率。

在步骤s102中，当检测到场景图像中的用户手势时，通过训练好的手势识别模型对用户手势进行识别，以确定用户手势在预先构建的控制手势库中对应的控制手势。

在本发明实施例中，当检测到场景图像中存在(或出现)用户手势时，通过训练好的手势识别模型对用户手势进行识别，以确定用户手势在预先构建的控制手势库中对应的控制手势，训练好的手势识别模型即用于对用户手势进行分类的分类器，控制手势库中包括多种控制手势的特征，例如“右手竖起大拇指”的手势特征、“右手握拳”的手势特征。

优选地，摄像头通过云台设置在无人机上，由云台带动摄像头旋转，当摄像头捕捉到出现用户手势的场景图像时，根据用户手势在场景图像中的位置变化，由云台调整摄像头的拍摄角度，使得摄像头始终面向用户手势，从而使得摄像头实时拍摄到用户手势，便于对无人机进行手势控制。

在步骤s103中，在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，根据飞行控制指令对无人机的飞行进行控制。

在本发明实施例中，手势指令字典中存储着控制手势库中控制手势与预设的飞行控制指令间的对应关系，例如，当控制手势为“右手握拳”时，对应的飞行控制指令为“起飞”，当控制手势为“左手握拳”时，对应的飞行控制指令为“着陆”，当控制手势为“右手竖起大拇指”时，对应的飞行控制指令为“向右飞行”，当控制手势为“左手竖起大拇指”时，对应的飞行控制指令为“向左飞行”。这些对应关系可由系统默认设定，也可由用户进行修改。

在本发明实施例中，获取用户手势对应的控制手势在手势指令字典中对应的飞行控制指令，并将飞行控制指令发送给无人机的飞行控制系统，以实现对无人机的飞行控制。

优选地，深度学习模型、手势识别模型的训练可通过以下步骤实现：

(1)通过无人机上的摄像头拍摄用于训练的手势图像，通过深度学习模型对用于训练的手势图像进行特征提取，以训练深度学习模型。

在本发明实施例中，先通过无人机上的摄像头获取用于训练的手势图像，即指包括手势内容的图像，通过预设的卷积神经网络与限制玻尔兹曼机联合网络(即卷积神经网络与限制玻尔兹曼机组成的联合网络)，对这些用于训练的手势图像进行无监督特征提取和有监督特征提取，其中，先通过预设数量个限制波尔兹曼机形成的堆积式网络对用于训练的手势图像进行无监督特征的提取，再通过卷积神经网络对用于训练的手势图像进行有监督特征的提取，从而直接对图像进行处理，获得能够用于手势识别模型训练的两类特征，避免了对图像进行分割、手势提取等复杂的预处理过程。

(2)通过预设的分类器对提取的特征进行分类训练，将训练得到的分类器设置为手势识别模型，并生成控制手势库。

在本发明实施例中，可将提取的无监督特征和有监督特征进行融合，通过预设的分类器对融合后的这两类特征进行分类，即对用于训练的手势图像进行分类，从而对分类器进行了训练，得到训练好的分类器，即训练好的手势识别模型，同时由分类后的特征构成控制手势库。优选地，分类器为softmax分类器，从而实现多种类别的清楚分类。

(3)根据控制手势库中的控制手势与飞行控制指令的对应关系，构建手势指令字典。

在本发明实施例中，通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势，当存在时，通过训练好的手势识别模型对用户手势进行识别，以确定用户手势在预先构建的控制手势库中对应的控制手势，在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，以通过飞行控制指令控制无人机的飞行，从而不仅实现了无人机飞行的手势控制，且无需对摄像头获取的图像进行复杂的预处理，有效地提高了无人机飞行时手势识别的效率和成功率，有效地降低了无人机飞行控制地硬件成本，使得无人机的飞行控制更为方便简单。

实施例二：

图2示出了本发明实施例二提供的无人机的飞行控制装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

手势检测单元21，用于通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势。

在本发明实施例中，将无人机上摄像头拍摄到的场景图像输入预先训练好的深度学习模型中，以通过该深度学习模型提取场景图像的图像特征、并根据图像特征确定场景图像中是否存在(或出现)用户手势，从而直接通过深度学习对场景图像进行特征提取，不需进行复杂的图像处理，例如图像分割，有效地提高了手势识别的效率和识别的准确率。

手势识别单元22，用于当检测到场景图像中的用户手势时，通过训练好的手势识别模型对用户手势进行识别，以确定用户手势在预先构建的控制手势库中对应的控制手势。

在本发明实施例中，当检测到场景图像中存在(或出现)用户手势时，通过训练好的手势识别模型对用户手势进行识别，以确定用户手势在预先构建的控制手势库中对应的控制手势，训练好的手势识别模型即用于对用户手势进行分类的分类器，控制手势库中包括多种控制手势的特征，例如“右手竖起大拇指”的手势特征、“右手握拳”的手势特征。

飞行控制单元23，用于在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，根据飞行控制指令对无人机的飞行进行控制。

在本发明实施例中，手势指令字典中存储着控制手势库中控制手势与预设的飞行控制指令间的对应关系，例如，当控制手势为“右手握拳”时，对应的飞行控制指令为“起飞”，当控制手势为“左手握拳”时，对应的飞行控制指令为“着陆”，当控制手势为“右手竖起大拇指”时，对应的飞行控制指令为“向右飞行”，当控制手势为“左手竖起大拇指”时，对应的飞行控制指令为“向左飞行”。这些对应关系可由系统默认设定，也可由用户进行修改。

在本发明实施例中，获取用户手势对应的控制手势在手势指令字典中对应的飞行控制指令，并将飞行控制指令发送给无人机的飞行控制系统，以实现对无人机的飞行控制。

优选地，如图3所示，无人机的飞行控制装置还包括：

特征提取单元31，用于通过无人机上的摄像头拍摄用于训练的手势图像，通过深度学习模型对用于训练的手势图像进行特征提取，以训练深度学习模型。

在本发明实施例中，先通过无人机上的摄像头获取用于训练的手势图像，即指包括手势内容的图像，通过预设的卷积神经网络与限制玻尔兹曼机联合网络(即卷积神经网络与限制玻尔兹曼机组成的联合网络)，对这些用于训练的手势图像进行无监督特征提取和有监督特征提取，其中，先通过预设数量个限制波尔兹曼机形成的堆积式网络对用于训练的手势图像进行无监督特征的提取，再通过卷积神经网络对用于训练的手势图像进行有监督特征的提取，从而直接对图像进行处理，获得能够用于手势识别模型训练的两类特征，避免了对图像进行分割、手势提取等复杂的预处理过程。

模型训练单元32，用于通过预设的分类器对提取的特征进行分类训练，将训练得到的分类器设置为手势识别模型，并生成控制手势库。

在本发明实施例中，可将提取的无监督特征和有监督特征进行融合，通过预设的分类器对融合后的这两类特征进行分类，即对用于训练的手势图像进行分类，从而对分类器进行了训练，得到训练好的分类器，即训练好的手势识别模型，同时由分类后的特征构成了控制手势库。优选地，分类器为softmax分类器，从而实现多种类别的清楚分类。

字典构建单元33，用于根据控制手势库中的控制手势与飞行控制指令的对应关系，构建手势指令字典。

优选地，特征提取模块31包括：

图像特征提取单元311，通过预设的卷积神经网络与限制玻尔兹曼机联合网络，对用于训练的手势图像进行无监督特征提取和有监督特征提取

优选地，模型训练单元32包括：

图像特征分类单元321，用于通过分类器对无监督特征提取到的图像特征和有监督特征提取到的图像特征进行分类训练。

优选地，无人机的飞行控制装置还包括摄像头调整单元34，其中：

摄像头调整单元34，用于根据用户手势在场景图像中的位置变化，调整摄像头的拍摄角度，以控制摄像头始终面向用户手势。

在本发明实施例中，摄像头可通过云台设置在无人机上，由云台带动摄像头旋转，当摄像头捕捉到出现用户手势的场景图像时，可根据用户手势在场景图像中的位置变化，由云台调整摄像头的拍摄角度，使得摄像头始终面向用户手势，从而使得摄像头实时拍摄到用户手势，便于对无人机进行手势控制。

在本发明实施例中，通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势，当存在时，通过训练好的手势识别模型对用户手势进行识别，以确定用户手势在预先构建的控制手势库中对应的控制手势，在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，以通过飞行控制指令控制无人机的飞行，从而不仅实现了无人机飞行的手势控制，且无需对摄像头获取的图像进行复杂的预处理，有效地提高了无人机飞行时手势识别的效率和成功率，有效地降低了无人机飞行控制地硬件成本，使得无人机的飞行控制更为方便简单。

在本发明实施例中，无人机的飞行控制装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例三：

图4示出了本发明实施例三提供的无人机的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的无人机4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述方法实施例中的步骤，例如图1所示的步骤s101至s103。或者，处理器40执行计算机程序42时实现上述装置实施例中各单元的功能，例如图2所示单元21至23的功能。

在本发明实施例中，通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势，当检测到存在时，通过训练好的手势识别模块识别用户手势对应的控制手势，在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，根据该飞行控制指令对无人机的飞行进行控制，从而实现无人机飞行的手势控制，且无需对摄像头获取的图像进行复杂的预处理，有效地提高了无人机飞行时手势识别的效率和成功率，有效地降低了无人机飞行控制的硬件成本，使得无人机飞行控制更为方便简单。

实施例四：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤s101至s103。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图2所示单元21至23的功能。

在本发明实施例中，通过无人机上预设的摄像头拍摄当前场景图像，通过训练好的深度学习模型检测场景图像中是否存在用户手势，当检测到存在时，通过训练好的手势识别模块识别用户手势对应的控制手势，在预先构建的手势指令字典中将对应的控制手势翻译为无人机的飞行控制指令，根据该飞行控制指令对无人机的飞行进行控制，从而实现无人机飞行的手势控制，且无需对摄像头获取的图像进行复杂的预处理，有效地提高了无人机飞行时手势识别的效率和成功率，有效地降低了无人机飞行控制的硬件成本，使得无人机飞行控制更为方便简单。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。