基于手势识别的无人机拍照方法和系统与流程
本发明涉及计算机视觉和无人机结合领域，具体地，涉及一种基于手势识别的无人机拍照方法和系统。
背景技术：
对于目前的无人机市场来说，存在着服务于各种行业的无人机。以旋翼无人机来说，由于其存在着体积小，重量轻等优点，且可以垂直起降，故有很广泛的应用市场，但是对于这种无人机来说，其往往需要遥控来控制相关无人机的操作，且这种手持遥控器往往需要随身携带，这也给用户带来了不便，从而导致其在某些场合可能并不太适合。
对于目前自拍技术来说，大多数采用自拍杆进行拍照，由于自拍杆长度有限，因此，对于拍摄的视野也造成看一定的局部性。因此，基于将无人机和拍照结合的技术，便应用在实际需求上，较好地解决了拍照视野问题。
对于将拍照和无人机结合的技术来说，目前存在着一定的弊端，正如之前所提到的，需要用户通过手持遥控器来控制无人机，相对麻烦，手持遥控器的携带也存在一定的不利性。基于此，若将手势与无人机操作结合，实现无人机读取用户的手势，进行执行相关操作，不需要手持遥控器的参与，可以极大地增加了用户使用的方便性。
专利文献cn107861683a公开了一种无人机无按钮操作方法及装置，所述方法包括：获取用户在无按钮的触摸屏上的触摸事件；对所述触摸事件进行手势识别，得到所述触摸事件所表示的手势类型；根据所述手势类型对应的目标操作向无人机发送遥控指令，所述遥控指令用于指示无人机执行所述目标操作。用户不用通过按钮即可操作无人机，操作简单，降低了无人机误操作的几率。上述专利文献在手势识别和无人机操作的结合上需要使用无按钮的触摸屏，无人机并不能直接对手势进行识别，具有一定的局限性。
技术实现要素：
针对现有技术中的缺陷，本发明的目的是提供一种基于手势识别的无人机拍照方法和系统。
根据本发明提供的一种基于手势识别的无人机拍照方法，包括：
图像采集步骤：通过无人机的摄像头进行用户区域图像采集，得到第一图像；
图像处理步骤：令第一图像进行处理，分割出具有手势区域的二值化图像，得到手势区域，记为第二图像；
手势识别步骤：建立手势库，令第二图像进行手势识别，得到手势表述含义；
无人机操作步骤：基于手势表述含义，进行无人机操作。
优选地，所述的基于手势识别的无人机拍照方法，还包括实时检测步骤：设定时间点的间隔周期，令无人机的摄像头在时间点进行图像采集，且在间隔周期内持续进行图像采集。
优选地，所述图像处理步骤包括：
图像深度采集步骤：通过对第一图像的像素值进行图表分析，得到区分手势区域的阈值；
区域信息提取步骤：构建单通道图像，基于阈值，对第一图像的像素值进行分类，若像素值大于阈值，则将单通道图像中的对应点置为非手势区域，否则，则将单通道图像中的对应点置为手势区域，将处理后得单通道图像记为第二图像。
优选地，所述手势识别步骤包括：
特征提取步骤：对第二图像采用hu矩阵运算，得到不变矩特征量，将不变矩特征量进行组合，形成手势特征向量；
识别步骤：基于手势特征向量，计算第二图像与手势库中的各手势图像之间的几何特征距离，将具有最小几何特征距离的手势图像作为手势表述含义。
根据本发明提供的一种基于手势识别的无人机拍照系统，包括：
图像采集模块：通过无人机的摄像头进行用户区域图像采集，得到第一图像；
图像处理模块：令第一图像进行处理，分割出具有手势区域的二值化图像，得到手势区域，记为第二图像；
手势识别模块：建立手势库，令第二图像进行手势识别，得到手势表述含义；
无人机操作模块：基于手势表述含义，进行无人机操作。
优选地，所述的基于手势识别的无人机拍照系统，还包括实时检测模块：设定时间间隔，令无人机的摄像头在时间间隔内持续进行图像采集。
优选地，所述图像处理模块包括：
图像深度采集模块：通过对第一图像的像素值进行图表分析，得到区分手势区域的阈值；
区域信息提取模块：构建单通道图像，基于阈值，对第一图像的像素值进行分类，若像素值大于阈值，则将单通道图像中的对应点置为非手势区域，否则，则将单通道图像中的对应点置为手势区域，将处理后得单通道图像记为第二图像。
优选地，所述手势识别模块包括：
特征提取模块：对第二图像采用hu矩阵运算，得到不变矩特征量，将不变矩特征量进行组合，形成手势特征向量；
识别模块：基于手势特征向量，计算第二图像与手势库中的各手势图像之间的几何特征距离，将具有最小几何特征距离的手势图像作为手势表述含义。
优选地，所述手势库中包括5中手势图像，分别为手指向上指、手指向下指、手指向左指、手指向右指、手指摆出v字造型；所述无人机设置有控制装置，若手势表述含义为手指向上指，则控制装置控制无人机向上飞行；若手势表述含义为手指向下指，则控制装置控制无人机向下飞行；若手势表述含义为手指向左指，则控制装置控制无人机向左飞行；若手势表述含义为手指向右指，则控制装置控制无人机向右飞行；若手势表述含义为手指摆出v字造型，则控制装置控制无人机进行拍照；否则，则无人机保持不动。
优选地，所述摄像头采用深度传感器；所述无人机设置有可见光摄像机、深度传感器，可见光摄像机用于拍照，深度传感器用于图像采集。
与现有技术相比，本发明具有如下的有益效果：
将手势操作与无人机进行结合，实现通过手势操作实现对无人机的相关操作，进而为用户进行拍照，减少了操作手持遥控器和携带手持遥控器的不利性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的系统流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，根据本发明提供的一种基于手势识别的无人机拍照方法，包括：
图像采集步骤：通过无人机的摄像头进行用户区域图像采集，得到第一图像；
图像处理步骤：令第一图像进行处理，分割出具有手势区域的二值化图像，得到手势区域，记为第二图像；
手势识别步骤：建立手势库，令第二图像进行手势识别，得到手势表述含义；
无人机操作步骤：基于手势表述含义，进行无人机操作。
优选地，无人机采用旋翼无人机。
具体地，所述的基于手势识别的无人机拍照方法，还包括实时检测步骤：设定时间点的间隔周期，令无人机的摄像头在时间点进行图像采集，且在间隔周期内持续进行图像采集。
具体地，所述图像处理步骤包括：
图像深度采集步骤：通过对第一图像的像素值进行图表分析，得到区分手势区域的阈值；
区域信息提取步骤：构建单通道图像，基于阈值，对第一图像的像素值进行分类，若像素值大于阈值，则将单通道图像中的对应点置为非手势区域，否则，则将单通道图像中的对应点置为手势区域，将处理后得单通道图像记为第二图像。
具体地，所述手势识别步骤包括：
特征提取步骤：对第二图像采用hu矩阵运算，得到不变矩特征量，将不变矩特征量进行组合，形成手势特征向量；
识别步骤：基于手势特征向量，计算第二图像与手势库中的各手势图像之间的几何特征距离，将具有最小几何特征距离的手势图像作为手势表述含义。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种基于手势识别的无人机拍照系统，包括：
图像采集模块：通过无人机的摄像头进行用户区域图像采集，得到第一图像；
图像处理模块：令第一图像进行处理，分割出具有手势区域的二值化图像，得到手势区域，记为第二图像；
手势识别模块：建立手势库，令第二图像进行手势识别，得到手势表述含义；
无人机操作模块：基于手势表述含义，进行无人机操作。
具体地，所述的基于手势识别的无人机拍照系统，还包括实时检测模块：设定时间间隔，令无人机的摄像头在时间间隔内持续进行图像采集。
具体地，所述图像处理模块包括：
图像深度采集模块：通过对第一图像的像素值进行图表分析，得到区分手势区域的阈值；
区域信息提取模块：构建单通道图像，基于阈值，对第一图像的像素值进行分类，若像素值大于阈值，则将单通道图像中的对应点置为非手势区域，否则，则将单通道图像中的对应点置为手势区域，将处理后得单通道图像记为第二图像。
具体地，所述手势识别模块包括：
特征提取模块：对第二图像采用hu矩阵运算，得到不变矩特征量，将不变矩特征量进行组合，形成手势特征向量；
识别模块：基于手势特征向量，计算第二图像与手势库中的各手势图像之间的几何特征距离，将具有最小几何特征距离的手势图像作为手势表述含义。
具体地，所述手势库中包括5中手势图像，分别为手指向上指、手指向下指、手指向左指、手指向右指、手指摆出v字造型；所述无人机设置有控制装置，若手势表述含义为手指向上指，则控制装置控制无人机向上飞行；若手势表述含义为手指向下指，则控制装置控制无人机向下飞行；若手势表述含义为手指向左指，则控制装置控制无人机向左飞行；若手势表述含义为手指向右指，则控制装置控制无人机向右飞行；若手势表述含义为手指摆出v字造型，则控制装置控制无人机进行拍照；否则，则无人机保持不动。
具体地，所述摄像头采用深度传感器；所述无人机设置有可见光摄像机、深度传感器，可见光摄像机用于拍照，深度传感器用于图像采集。
本发明提供的基于手势识别的无人机拍照系统，可以通过基于手势识别的无人机拍照方法的步骤流程实现。本领域技术人员可以将基于手势识别的无人机拍照方法理解为所述基于手势识别的无人机拍照系统的优选例。
以下结合优选例对本发明做进一步的阐述。
优选地，在图像采集步骤，旋转无人机中，安装了一个可见光摄像机和一个深度传感器，分别记为p1、p2。其中，p1用于专业给用户拍照，p2用于采集图像，从而为后面从图像中分析出用户手势的具体含义，进而操作无人机奠定基础。当启动无人机开关，无人机的深度传感器p2，便实时采集图像，当分析完手势表达的含义，需要拍照的时候，则调用可见光摄像机p1进行拍照。
优选地，在图像处理步骤中，主要对上个步骤获取到的图像进行分割提取出手势区域，具体执行如下，首先，深度传感器采集深度信息：对于用户来说，凡是相对于其手部区域的其他区域(人体的其他区域和背景区域)都算作干扰，因此对于手部区域的提取造成了干扰。基于此，我们利用深度传感器来初步判断手部区域。在深度传感器采集到的图片信息中，每一个像素点的值表示该像素点离深度传感器的距离。因此，如果某一个物体离该深度传感器越远，则在深度传感器采集到的图像中，该物体对应的像素点在图像中的像素值越大，由于手部区域和其他非手部区域(人体区域和背景区域)离无人机的距离不一样(一般来说，都是手部区域离无人机更近)，因此，可以通过深度传感器分析出手部区域。(1)获取深度信息图像。对于当前时刻i，深度传感器获取的到图像mi来说，获取其图像像素值的最大值和最小值，分别记为
优选地，在手势识别步骤中，对于图像处理步骤后期处理后的图像，进行手势识别，表明其手势代表的含义，具体实施细节如下：对于时刻当前时刻i，我们已经获取了手部区域图像pi，接来下，我们需要对其进行识别，进一步分析该手势表达含义。在本环节中，我们主要定义了5种手势，内容相对简单：手指向上指、手指向下指、手指向左指、手指向右指，以及手指摆出v字造型。首先，进行特征提取，采用图像的hu矩阵当做手势识别的特征，具体细节如下：对于一幅图像f(x,y)来说，其尺寸大小是m×n，则其p+q阶几何矩mpq和中心矩μpq分别如公式(1)、(2)所示，位于坐标点(x,y)处的像素值记为f(x,y)。此外，i'＝m10/m00，j'＝m01/m00。为了消除图像比例变化带来的影响，定义规格化中心矩ηpq如公式(3)所示。
利用二阶和三阶规格的中心矩可以导出下面4个不变的矩组(φ1,φ4)，分别如公式(4)-(7)所示。
φ1＝η20+η02(4)
φ3＝(η20-3η12)2+3(η21-η03)2(6)
φ4＝(η30+η12)2+(η21+η03)2(7)
以上不变的矩组，在图像平移、旋转和比例变化的时候保持不变，因此，我们利用这四个不变矩特征量形成手势的特征向量即(φ1,φ2,φ3,φ4)，从而实现手势的识别；然后，进行手势识别：输入的手势图像与手势库中任何一个手势图像之间的几何特征距离dm可如公式(8)所示，其中
当已知输入手势图像与手势库中任意一个手势图像之间的几何特征距离dm之后，则寻找dm值最小时候所对应的手势库中的手势ge，则该输入手势也就对应着手势ge，从而实现最终的手势识别。
优选地，在无人机操作步骤中，根据手势识别步骤分析出的手势，从而进行无人机的操作。对于当前分析出的手势来说：(1)手指向上指，则无人机的自带控制模块，控制无人机向上飞行；(2)手指向下指，则无人机的自带控制模块，控制无人机向下飞行；(3)手指向左指，则无人机的自带控制模块，控制无人机向左飞行；(4)手指向右指，则无人机的自带控制模块，控制无人机向右飞行；(5)手指摆出v字造型，则无人机的自带控制模块，控制无人机进行拍照；(6)其他情况，无人机则均保持不动。
优选地，在实时检测步骤中，当分析完某一个时刻用户的手势，并对无人机操作之后，更需要实时检测用户的手势，从而对无人机进行实施的控制。对于无人机自带的深度传感器来说，其可以在1s内拍摄许多张图像，但是，如果对这1s内所有张图像都进行分析，是没有必要的，因为，在1s内，用户的手势来不及发生太多的变化，基于此，我们每隔1000个时间单位，依次执行图像采集步骤、图像处理步骤、手势识别步骤、无人机操作步骤。如果当前时刻i，采集了一次图像，并分析，那么下一次采集图像便是时刻i+1000，依次类推，从而最终完成对无人机的实时操作。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
- 还没有人留言评论。精彩留言会获得点赞！