一种基于笔画人机交互的无人机集群控制方法及系统

本发明涉及人与无人机集群智能协同控制领域，特别是涉及一种基于笔画人机交互的无人机集群控制方法及系统。

背景技术：

面对未来无人化、网络化、信息化、智能化的高速发展，各国势必要与时俱进利用相关技术研究对等甚至更加先进的作战武器、作战平台、作战方法。智能无人集群作为一种颠覆性技术，一直被视为各国无人系统人工智能的核心，是未来智能无人系统的突破口，也是形成非对称武器装备，实现弯道超车的杀手锏技术。许多应用项目纷纷利用人工智能技术赋能作战中的无人平台和系统，提升蜂群的智能自主化能力水平，各个项目从不同侧重点进行关键技术攻关，其中便包括人机协同与人机交互技术。

无人机集群相对单机作战，有无可取代的优势。由于反无人机系统和技术近些年来飞速的发展，对“低小慢”无人机的杀伤和拦截效果很好，杀伤概率提升非常快。面对反无人机系统，单机作战的无人机一旦被捕获，不仅会造成装备损失，也会对战术侦察任务造成巨大影响。而集群式无人机则不同，它构成一个任务编队，即便一架、两架无人机被防空系统或反无人机系统击落，集群内其它无人机也能成功执行侦察任务。而且与单兵侦察无人机相比，集群无人机具有编队侦察的优势，可以对更广阔的区域进行编队搜索，探测能力强于单架无人机；此外集群无人机还可以对某一区域进行反复多次地毯式搜索，避免单次搜索造成的侦察遗漏或错漏，进一步提高侦察成功率；而且，对于运动中的作战平台目标，单兵无人机往往难于跟踪监视，而对于集群无人机而言，对移动目标进行接力侦察跟踪是非常轻松的事；此外，多架无人机侦察同一个目标，可以从不同角度对同一目标有不同的观察，对目标的观察更为立体和细致，侦察效果更好，细节更为突出。

然而，与单兵无人机相比，“集群人机系统”在技术上难度更大，需要解决任务协同、智能编队等技术瓶颈，用更合理高效的方式完成无人机的自组队和对同一目标的协同探测，在人机交互方面也提出了更高要求。

目前，随着新兴人机交互技术的兴起，国内外对各类基于语音、视觉、手势、复合体感的人机交互方式的研究都有了较大进展，而将各种交互方式用于无人机集群控制的研究则相对缺乏。目前，笔画交互技术已较为成熟，但在机器人集群控制方面研究并不多。目前识别笔画轨迹的方法有：利用模糊逻辑，模糊知识，从笔迹的位置、方向、速度、加速度，来识别图形；把图形作为整体识别，进行平滑处理，提取圆弧段，识别结点，分解出直线段，根据相邻3点的夹角角度作为圆弧和直线段的提取特征，找出实验阈值，进行分类；通过提取图素几何形状的内角特征，用二进制突触的权重算法bsw(含一个隐层的前馈网)进行识别。

综上所述，为充分发挥机器人集群的作战优势、集合人的作战指挥能力，需要实现人与机器人集群的高效协同，因此，亟需一种通过手势交互控制无人机系统的方法或系统具有重要意义。

技术实现要素：

基于上述问题，本发明所提供的一种基于笔画人机交互的无人机集群控制方法及系统，在时间延迟和切换拓扑同时存在的情况下将人工智能引入机器人集群协同控制系统，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。

为实现上述目的，本发明提供了如下方案：

一种基于笔画人机交互的无人机集群控制方法，包括：

获取操作者描绘的笔画轨迹；并以设定频率确定所述笔画轨迹中每一点的像素坐标；

对每一点的像素坐标进行笔画识别，确定控制指令；

根据所述控制指令控制无人机集群。

可选地，所述获取操作者描绘的笔画轨迹；并以设定频率确定所述笔画轨迹中每一点的像素坐标，具体包括：

建立的基于pyqt5与ros网络的人机交互控制界面的图像绘制区；

在所述图像绘制区中以设定频率确定所述笔画轨迹中每一点的像素坐标；设定频率为100hz。

可选地，所述对每一点的像素坐标进行笔画识别，确定控制指令，具体包括：

所述笔画轨迹中每一点进行重采样确定新点集；

对所述新点集中每一点进行旋转；

对旋转后的新点集中每一点缩放至设定尺寸，确定处理后的笔画轨迹；

获取存储于系统指令库中的模板；每一所述模板对应一控制指令；

对所述模板进行笔画识别，确定处理后的模板；

根据所述处理后的模板中每一点的坐标与所述处理后的笔画轨迹中对应点的坐标的平均距离，确定所述处理后的笔画轨与所述处理后的模板的得分；

根据所述处理后的笔画轨与所述处理后的模板的得分确定控制指令。

可选地，所述根据所述控制指令控制无人机集群，具体包括：

利用ros网络将所述控制指令发送至无人机集群；所述ros网络的通信方式为利用话题对无人机集群发送指令；

所述无人机集群响应所述控制指令，并做出与所述控制指令对应的行为。

一种基于笔画人机交互的无人机集群控制系统，包括：

笔画轨迹获取模块，用于获取操作者描绘的笔画轨迹；并以设定频率确定所述笔画轨迹中每一点的像素坐标；

控制指令确定模块，用于对每一点的像素坐标进行笔画识别，确定控制指令；

控制指令控制无人机集群模块，用于根据所述控制指令控制无人机集群。

可选地，所述笔画轨迹获取模块具体包括：

图像绘制区建立单元，用于建立的基于pyqt5与ros网络的人机交互控制界面的图像绘制区；

像素坐标确定单元，用于在所述图像绘制区中以设定频率确定所述笔画轨迹中每一点的像素坐标；设定频率为100hz。

可选地，所述控制指令确定模块具体包括：

新点集确定单元，用于所述笔画轨迹中每一点进行重采样确定新点集；

新点集旋转单元，用于对所述新点集中每一点进行旋转；

处理后的笔画轨迹确定单元，用于对旋转后的新点集中每一点缩放至设定尺寸，确定处理后的笔画轨迹；

系统指令库中的模板获取单元，用于获取存储于系统指令库中的模板；每一所述模板对应一控制指令；

处理后的模板确定单元，用于对所述模板进行笔画识别，确定处理后的模板；

得分确定单元，用于根据所述处理后的模板中每一点的坐标与所述处理后的笔画轨迹中对应点的坐标的平均距离，确定所述处理后的笔画轨与所述处理后的模板的得分；

控制指令确定单元，用于根据所述处理后的笔画轨与所述处理后的模板的得分确定控制指令。

可选地，所述控制指令控制无人机集群模块具体包括：

控制指令发送单元，用于利用ros网络将所述控制指令发送至无人机集群；所述ros网络的通信方式为利用话题对无人机集群发送指令；

控制指令控制无人机集群单元，用于所述无人机集群响应所述控制指令，并做出与所述控制指令对应的行为。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明所提供的一种基于笔画人机交互的无人机集群控制方法及系统，通过获取操作者描绘的笔画轨迹；并以设定频率确定所述笔画轨迹中每一点的像素坐标；对每一点的像素坐标进行笔画识别，确定控制指令；根据所述控制指令控制无人机集群。在时间延迟和切换拓扑同时存在的情况下将人工智能引入机器人集群协同控制系统。即将人工智能中的手势交互的识别引入机器人集群协同控制系统，进而，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种基于笔画人机交互的无人机集群控制方法流程示意图；

图2为本发明实施例提供的基于pyqt5与ros的人与无人机集群平台ui界面；

图3为本发明实施例提供的笔画识别功能流程图；

图4为本发明实施例提供的笔画识别功能中对点集进行重采样的具体流程图；

图5为本发明实施例提供的笔画识别功能中对点集进行旋转操作的效果图；

图6为本发明实施例提供的笔画识别功能中对点集进行缩放操作的流程图；

图7为本发明实施例提供的笔画轨迹与模板比较得分示意图；

图8为本发明实施例提供的系统指令库中的模板与无人机行为集的映射关系示意图；

图9为本发明所提供的一种基于笔画人机交互的无人机集群控制系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于笔画人机交互的无人机集群控制方法及系统，能够提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的一种基于笔画人机交互的无人机集群控制方法流程示意图，如图1所示，本发明所提供的一种基于笔画人机交互的无人机集群控制方法，包括：

s101，获取操作者描绘的笔画轨迹；并以设定频率确定所述笔画轨迹中每一点的像素坐标；

s101具体包括：

建立的基于pyqt5与ros网络的人机交互控制界面的图像绘制区；

在所述图像绘制区中以设定频率确定所述笔画轨迹中每一点的像素坐标；设定频率为100hz。

即本发明所建立的基于pyqt5与ros网络的人-机器人集群平台的图像绘制区，即可视化ui界面中的画板区，根据事先设定的频率100hz对所述各点的图像坐标系中的坐标进行记录，其中坐标原点位于图像左上角。

如图2的基于pyqt5与ros网络的人-机器人集群平台ui界面，画板区位于图2左下角800像素×600像素空白区域。当用户通过平板电脑或其他设备运行该人-机器人集群平台软件，可通过触摸屏或鼠标在左下角的画板区绘画笔画。本发明所设定的笔画宽度像素为8px，在该区域中足以让笔画轨迹清晰显现的同时，不至于过大的笔画宽度像素导致笔画所占画幅过大，导致空间浪费。

s102，对每一点的像素坐标进行笔画识别，确定控制指令；

如图3所示，s102具体包括：

所述笔画轨迹中每一点进行重采样确定新点集；点集数目n满足32≤n≤256即可，本发明将n设定为64。

待操作者绘制完毕，所述人-机器人集群平台实时将点集提交至后端进行预处理。由于人所绘制图像速度相比于软件采集频率是比较缓慢的，所采集到的未处理点集中所包含的点的数目较多，且远大于本发明重采样范围。而点数与算法的时间复杂度为正比例相关，源数据过多的点数也将降低后续笔画的处理与识别速度。因而后端笔画识别系统对点集进行重采样，从而获得一个点集数目n满足32≤n≤256的新点集，本发明将n设定为64即能取得较好的笔画识别效果。具体处理算法流程如图4所示。

图4所示对点集进行重采样的具体流程为：首先求操作者所描绘的笔画轨迹的总长度，该总长度的单位为像素(px)，其计算总长度的方法为，遍历所采集到的点集并求前后两点之间在图像坐标系上的两点之间的长度，并将其求和。进一步，对当前点集求解相邻两点间距离的最小值。进一步，定义点列的索引变量，并将其置零，其最大值则为该点集的长度减二。进一步，根据点列索引变量，求解当前点与下一个点之间的距离，若该距离大于指定值，则在当前点与下一点之间的中点位置插入一点，同时将新插入的点加入新点集，若该距离不大于指定值，则直接将下一点加入新点集。确定加入新点集的点的坐标后，点列索引变量加一，进一步判断点集是否已经遍历完成，从而循环操作，直至点集遍历完成。最后输出新点集。

对所述新点集中每一点进行旋转；本发明以所绘笔画的中心矩坐标与笔画采样第一点所组成的向量与水平向右的x轴单位向量之间的夹角为该待识别笔画的指示角，根据该指示角将所得点集进行线性变换。

对所述重采样所得新点集进行旋转。考虑到操作者落笔位置的差异将导致相同图形的点集所构成的向量反而不同，从而造成误判，因而点集需进行旋转从而实现归一化的效果。本发明以所绘笔画的中心矩坐标与笔画采样第一点所组成的向量与水平向右的x轴单位向量之间的夹角为该待识别笔画的指示角，从而将所得点集进行线性变换。

首先计算旋转指示角θ，其中(cx,cy)为笔画中心矩坐标，(px0,py0)为笔画采样第一点坐标，atan为反正切函数，两种坐标均为图像的二维坐标系，原点位于图像左上角：

随后，根据该指示角遍历点集中各点，并对各点坐标进行线性变换，其中(qx,qy)为原点集中某点经过线性变换后得到的新点坐标：

原笔画轨迹经过线性变换旋转后效果如图5所示。

对旋转后的新点集中每一点缩放至设定尺寸，确定处理后的笔画轨迹；即对所述旋转后得到的新点集缩放至指定的标准尺寸并将笔画的中心距坐标变换为新的坐标原点得到新点集，以上所述标准尺寸为25px*25px。

对所述旋转后所得新点集缩放至指定的标准尺寸并将笔画的中心距坐标作为新的坐标系原点，而原坐标系中的x轴与y轴则进行平移，最终两轴相交于中心矩坐标。具体处理算法流程如图6所示。

首先为对输入点集求中心矩坐标，即对点集中各点的x轴坐标值与y轴坐标值遍历相加，并除以点集长度，即求所有点集坐标的算数平均值，从而得到输入点集的中心矩坐标。进一步，根据所述人-机器人集群平台画板区大小对原笔画轨迹进行放缩，所述画板区大小为800像素×600像素，而所述标准区域为25像素×25像素，可根据画板区与标准区的长宽像素比例对所述输入点集进行放缩。进一步，将所述点集各点坐标与中心矩坐标作差，将所得新点集作为输出点集。

获取存储于系统指令库中的模板；每一所述模板对应一控制指令。

对所述模板进行笔画识别，确定处理后的模板。

根据所述处理后的模板中每一点的坐标与所述处理后的笔画轨迹中对应点的坐标的平均距离，确定所述处理后的笔画轨与所述处理后的模板的得分。

根据所述处理后的笔画轨与所述处理后的模板的得分确定控制指令。

以所述平均距离的倒数作为所述笔画与各模板之间的分数，并根据分数得到相应的指令。其中，分数越高，表明该实时绘制笔画与某模板越吻合，本发明取分数最高者作为对无人机集群发出的指令。

存储于系统指令库中的模板亦将进行以上所述相同的变换，保证了所获取与比较的笔画数据的一致性，提高了笔画识别系统的可拓展性。最后，将处理后所得新点集信息与经处理后的各模板所包含各点的信息求平均距离，以其倒数作为该轨迹与各模板的分数。下式中，score为比较得分，b为所述平均距离，size为上文所述标准区域大小25像素。

分数越高，表明该实时绘制笔画与模板库中某类模板越吻合。图7为笔画与模板比较得分示意图，图7中可见，对于笔画轨迹为向上的笔画，分别与模板库中笔画轨迹打分之后，得分有较大的差异。本发明将得分最高的模板所对应的指令作为所绘制笔画的指令。

但若最高得分低于一定得分阈值，则认为与模板均不相符，而终止向无人机集群系统发送指令。本发明设定所述得分阈值为0.7。同时系统将识别结果反馈至操作者，便于人对后续状况进行判断与调整。

s103，根据所述控制指令控制无人机集群。

s103具体包括：

利用ros网络将所述控制指令发送至无人机集群；所述ros网络的通信方式为利用话题对无人机集群发送指令；

所述无人机集群响应所述控制指令，并做出与所述控制指令对应的行为。待无人机集群执行相应行为完毕后，返回完成响应至控制者。从而实现通过笔画识别对无人机集群进行控制，实现一种基于笔画人机交互的无人机集群控制系统。所述笔画模板库与无人机行为集的映射关系如图8所示。

如图8所示，从左至右，从上至下分别代表：无人机集群起飞的笔画指令、无人机集群悬停于空中并在一定范围内保持平衡的悬停指令、无人机集群从空中降落至地面的指令、无人机集群相对当前位置在同一平面内向左平移、无人机集群相对当前位置在同一平面内向右平移、无人机集群相对当前位置在同一平面内向前平移、无人机集群(本发明中为四架无人机组成的集群系统)形成长方形的阵型、无人机集群相对当前位置在同一平面内向后平移、无人机集群在同一水平面内形成一直线、无人机集群在同一水平面内形成一三角形。

待无人机集群完成编队运动后，将已完成信息发送至操作者，从而实现用户通过笔画交互对无人机集群进行控制。

最后，本发明给出本方法的性能比较：

本部分随机邀请20名志愿者参与改算法识别精度与性能的测试，并选择了dtw算法作为对比，以识别所需时间与错误率作为评价指标。

表1

由表中测试结果可知，两种算法耗时较少，实时性较强，但unistroke平均耗时更短且具有相对较高的识别精确度，错误率较低。对于较易混淆的笔画，如前进与后退，unistroke表现比dtw优越，表明前者具有较好的鲁棒性。

图9为本发明所提供的一种基于笔画人机交互的无人机集群控制系统结构示意图，如图9所示，本发明所提供的一种基于笔画人机交互的无人机集群控制系统，包括：

笔画轨迹获取模块901，用于获取操作者描绘的笔画轨迹；并以设定频率确定所述笔画轨迹中每一点的像素坐标；

控制指令确定模块902，用于对每一点的像素坐标进行笔画识别，确定控制指令；

控制指令控制无人机集群模块903，用于根据所述控制指令控制无人机集群。

所述笔画轨迹获取模块901具体包括：

图像绘制区建立单元，用于建立的基于pyqt5与ros网络的人机交互控制界面的图像绘制区；

像素坐标确定单元，用于在所述图像绘制区中以设定频率确定所述笔画轨迹中每一点的像素坐标；设定频率为100hz。

所述控制指令确定模块902具体包括：

新点集确定单元，用于所述笔画轨迹中每一点进行重采样确定新点集；

新点集旋转单元，用于对所述新点集中每一点进行旋转；

处理后的笔画轨迹确定单元，用于对旋转后的新点集中每一点缩放至设定尺寸，确定处理后的笔画轨迹；

系统指令库中的模板获取单元，用于获取存储于系统指令库中的模板；每一所述模板对应一控制指令；

处理后的模板确定单元，用于对所述模板进行笔画识别，确定处理后的模板；

得分确定单元，用于根据所述处理后的模板中每一点的坐标与所述处理后的笔画轨迹中对应点的坐标的平均距离，确定所述处理后的笔画轨与所述处理后的模板的得分；

控制指令确定单元，用于根据所述处理后的笔画轨与所述处理后的模板的得分确定控制指令。

所述控制指令控制无人机集群模块903具体包括：

控制指令发送单元，用于利用ros网络将所述控制指令发送至无人机集群；所述ros网络的通信方式为利用话题对无人机集群发送指令；

控制指令控制无人机集群单元，用于所述无人机集群响应所述控制指令，并做出与所述控制指令对应的行为。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。