一种基于表情识别的无人机控制方法及系统的制作方法
【技术领域】
[0001] 本发明涉及无人机及计算机视觉相结合的技术领域，尤其涉及一种基于表情识别 的无人机控制方法及系统。
【背景技术】
[0002] 现有技术中的无人机有很多种类型，其不同的无人机各自的应用范围也非常广 泛，以旋翼无人机为例，其是一种可垂直起降的飞行器，这种飞行器具有体积小、重量轻、 飞行稳定、价格低廉、可进行悬停等诸多优点，有非常良好的应用和研宄价值。由于无人机 上没有搭载飞行员，因此其飞行控制多采用遥控来实现。
[0003] 目前通用的遥控方法有定制的手持遥控器和通用移动终端(如：平板电脑和手机 等)。这种方法的优点是能够对无人机实现精准、实时控制，可靠性较高；缺点是增加额外成 本且不利于携带，在出现硬件故障时，会出现"提控归"现象。因此有必要在不增加现有无 人机硬件成本的基础上，研宄新的无人机控制方法，作为独立的无人机遥控解决方案或者 现有遥控方法的有益辅助。
【发明内容】
[0004] 针对现有技术中的无人机控制需要额外的硬件设备，导致成本高步不便于携带的 技术问题，本发明公开了一种基于表情识别的无人机控制方法及系统。
[0005] 本发明的具体实现方式如下：一种基于表情识别的无人机控制方法，其具体包括 以下的步骤：步骤一、收集各种不同的人脸表情作为训练样本图像，每个样本图像中包括多 个局部区域，提取出每个局部区域的特征形成特征组，并将特征组进行分类训练，得到基于 面部表情的表情识别器；步骤二、设置在无人机上的图像获取装置获取视角范围内的图像， 并判断该图像中是否存在人，是则启动表情识别的步骤，得到人的面部图像，否则继续获取 视角范围内的图像；步骤三、提取步骤二得到的面部图像的特征信息，并基于所提取的特征 信息以及面部表情的表情识别器识别出所得到的人脸的面部表情；步骤四、将图像中的人 的表情翻译为无人机的控制命令，并发送给无人机。
[0006] 更进一步地，上述步骤一具体包括特征提取和分类训练两个步骤。
[0007] 更进一步地，上述所述特征提取具体包括以下的步骤：步骤1 :收集训练 样本图像，每个样本图像包括49个局部区域，每一种表情由49个局部区域的特征组 来进行表达，提取出每个局部区域的Harr特征；步骤2 :采用弱分类器进行分类，计 算每组局部特征的错误率；步骤3 :选取错误率最小的n个特征组成新的组合特征 ;步骤4 :将剩下的局部特征不断加入到新的组合特征中，继续使用弱分类器进行分类， 如果错误率减小，就将新的局部特征加入到;步骤5 :不断的重复步骤4,直到错误率达 到最优值，或者中的特征数量达到N ;步骤6 :记录组合特征{4。
[0008] 更进一步地，上述分类训练采用Adaboost方法训练特征组。
[0009] 更进一步地，上述训练特征组具体包括以下的步骤：步骤1 :采集样本图像并对每 个样本进行标定；步骤2 :通过特征提取找到一组组合特征；步骤3 :训练弱分类器并计算 错误率；步骤4 :通过迭代得到最优分类器；步骤5 :输出最优分类器。更进一步地，所述方 法还包括根据当前帧图像中人脸在图像中的位置，在后续帧中找到最佳匹配位置，并根据 匹配结果调整图像获取装置的视角，以实现图像获取装置对人脸进行跟踪。
[0010] 更进一步地，上述图像获取装置通过云台安装在无人机上，所述云台带动图像获 取装置向任意角度旋转，以获取到用户的表情。
[0011] 更进一步地，上述方法还包括当图像获取装置获取到人的表情后，根据人脸在图 像中的位置变化，调整云台的旋转角度，以控制该图像获取装置的视角始终面向控制该无 人机的人脸。
[0012] 更进一步地，上述无人机还包括切换开关，所述切换开关用于切换无人机当前的 被控制方式，所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手 势遥控控制和/或者表情识别控制。
[0013] 本发明还公开了一种基于表情识别的无人接控制系统，其具体包括设置在无人机 上的图像获取装置、图像处理模块、表情识别模块和表情翻译器；所述图像获取装置用于获 取实时的视角范围内的图像；所述图像处理模块根据获取到的图像判断图像中是否存在 人，当图像中存在人的时候，启动表情识别模块，否则继续获取实时的视角范围内的图像； 所述表情识别模块包括特征值提取模块和分类训练模块；所述特征值提取模块用于收集各 种不同的人脸表情作为训练样本图像，并提取出每个局部区域的特征形成特征组，所述每 个样本图像中包括多个局部区域；所述分类训练模块用于将特征组进行分类训练，得到基 于面部表情的表情识别器；所述表情翻译器将图像中的人的表情翻译为无人机的控制命 令，并发送给无人机。
[0014] 通过采用以上的技术方案，本发明具有以下的有益效果：本发明通过在无人机上 设置图像获取装置（比如摄像头或者相机或者高速相机等等)，可以实时获取视角范围内的 图像，并分析该图象中是否存在人的控制表情，是，则识别出后翻译为无人机的控制命令， 从而通过人的表情对无人机进行控制，使得不需要携带其他的控制硬件，方便了用户的使 用，降低了用户的购置成本。将表情识别引入到无人机控制中，可独立对无人机进行控制或 作为遥控装置的辅助。不但可降低无人机硬件成本，还可增加无人机的操控乐趣，增强人与 无人机的互动。使用特征提取和分类训练对表情特征进行训练和识别，提高了表情识别的 成功率。
【附图说明】
[0015] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附 图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对 范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这 些附图获得其他相关的附图。
[0016] 图1为无人机采集图像后的处理步骤。
[0017] 图2为基于表情的无人机控制方法实施流程图。
【具体实施方式】
[0018] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中附图，对本发明实施例中的技术方案进行清楚、完整地描述，很显然，下文所描述的实施 例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本 发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本 发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的 选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获 得的所有其他实施例，都属于本发明保护的范围。
[0019] 本发明公开了一种基于表情识别的无人机控制方法，其具体包括以下的步骤：步 骤一、收集各种不同的人脸表情作为训练样本图像，每个样本图像中包括多个局部区域，提 取出每个局部区域的特征形成特征组，并将特征组进行分类训练，得到基于面部表情的表 情识别器；步骤二、设置在无人机上的图像获取装置获取视角范围内的图像，并判断该图像 中是否存在人，是则启动表情识别的步骤，得到人的面部图像，否则继续获取视角范围内的 图像；步骤三、提取步骤二得到的面部图像的特征信息，并基于所提取的特征信息以及面部 表情的表情识别器识别出所得到的人脸的面部表情；步骤四、将图像中的人的表情翻译为 无人机的控制命令，并发送给无人机。本发明首先收集多个不同的人脸表情作为训练的样 本图像，并将人脸分为多个区域，从而得到多个人脸的多个区域的特征值，然后将这些特征 进行组合形成特征组并进行分类训练，从而得到基于面部运动单元的表情识别器。当获取 到人的新的面部表情后，提取其面部特征值，并将该特征值与面部表情的表情识别器进行 匹配和比对，从而得到人脸的面部表情，然后映射成无人机的控制命令对无人机进行控制， 方便了用户的使用，提高了用户的操作体验。
[0020] 图1为无人机采集图像后的处理步骤，其先采集视频图像，然后进行人脸定位与 根据，根据定位到的人脸进行表情识别，然后进行表情翻译和控制。
[0021] 图2为基于表情的无人机控制方法实施流程图，其先要获取多个训练集形成表情 识别器，然后用该表情识别器识别获取到的表情。
[0022] 更进一步地，上述步骤一具体包括特征提取和分类训练两个步骤。所述特征提 取具体包括以下的步骤：步骤1 :收集训练样本图像，每个样本图像包括49个局部区域， 每个局部区域都包含有运动单元，面部运动单元是人脸表情所独有的特性，面部运动单元 包含的信息非常大，例如：嘴角上扬、鼻子隆起、眉毛压低等等，因此很难精确的识别运动 单元，从而导致很多的表情识别方法都没有考虑应用面部运动单元。与一些经典的特征 (Gabor特征、Haar特征和LBP特征）相比，面部运动单元所描述的信息不同。Gabor特征 等主要侧重于图像本身的像素灰度、对比度、纹理等基本信息，这些信息有些跟表情的分类 没有任何的关系，而面部运动单元则是着重考虑如何将图像中与表情相关联的信息描述出 来，因此通过面部动作单元来确定表情图像中不同表情类别的特征将更有利于分类器识别 人脸表情。每一种表情由49个局部区域的特征组来进行表达，提取出每个局部区域的Harr 特征。比如常见的高兴、悲伤、愤怒、惊讶、厌恶、恐惧等都可由这49个局部区域的特征组合 来进行表达。步骤2 :采用弱分类器进行分类，计算每组局部特征的错误率(这里主要是为 了整合特征，每一个整合后的特征组都相当于一组面部运动单元，由于人脸表情是由一系 列的面部运动单元所组成，因此，每一个组合特征都是可以看作是某一类表情的基于面部 运动单元的特征。发明所用方法就是要找到一个整合后的特征组，他能代表一组面部运动 单元，而利用Haar提取的特征的普遍的和面部运动单元特征存在误差，及错误率。错误率 低的特征更符合面部