基于眼球跟踪的无人机地面站控制方法及其系统的制作方法
【专利摘要】本发明公开了一种基于眼球跟踪的无人机地面站控制方法，包括：预设无人机和地面站的操作环境条件及各个控制模式的启动条件；判断当前环境状态是否满足操作环境条件；当满足时，开启眼球动作采集模式以采集当前眼球动作；比对当前眼球动作是否符合启动条件；根据比对结果启动对应的控制模式以实现对无人机地面站的控制。与现有技术相比，本发明的控制方法在实现对无人机地面站甚至地面站对无人机发送控制指令以对其进行控制时，引入了眼球跟踪控制，提高了地面站控制的安全性及操作的便利性，减少了误操作，从而提高了操作的准确性。本发明同时公开了一种基于眼球跟踪的无人机地面站控制系统。
【专利说明】
基于眼球跟踪的无人机地面站控制方法及其系统
技术领域
[0001]本发明涉及无人机地面站的控制技术领域，更具体地涉及一种基于眼球跟踪的无人机地面站控制方法及其系统。
【背景技术】
[0002]现阶段，无人机的飞行控制多采用地面站控制系统向无人机飞控系统发送控制命令来实现的，因此，对地面站控制系统的操作及控制显得尤为重要。但，目前对无人机地面站的操作大都是人为手动完成，由于误点击或其它原因可能频繁引发误操作，且某些地面站系统在发送控制命令前要求进行二次确认，多次点击又给操作带来不便。
[0003]因此，有必要提供一种全新的、基于眼球跟踪的无人机地面站控制方法及其系统来克服上述缺陷。
【发明内容】
[0004]本发明的目的是提供一种基于眼球跟踪的无人机地面站控制方法及其系统，以减少误操作、保证操作的准确性及提高操作的便利性。
[0005]为实现上述目的，本发明提供了一种基于眼球跟踪的无人机地面站控制方法，包括:
[0006]预设无人机和地面站的操作环境条件及各个控制模式的启动条件；
[0007]判断当前环境状态是否满足操作环境条件；
[0008]当满足时，开启眼球动作采集模式以采集当前眼球动作；
[0009]比对当前眼球动作是否符合启动条件；
[0010]根据比对结果启动对应的控制模式以实现对无人机地面站的控制。
[0011]与现有技术相比，本发明的控制方法先预设无人机和地面站的操作环境条件及各个控制模式的启动条件，再判断当前环境状态是否满足操作环境条件，当满足时，则开启眼球动作采集模式以采集当前眼球动作，之后比对当前眼球动作是否满足启动条件，最后根据比对结果启动对应的控制模式；即，本发明在实现对无人机地面站甚至地面站对无人机发送控制指令以对其进行控制时，引入了眼球跟踪控制，提高了地面站控制的安全性及操作的便利性，减少了误操作，从而提高了操作的准确性。
[0012]具体地，无人机操作环境条件包括无人机处于地面站的程序控制状态、无人机的卫星数目及各传感器状态正常;地面站操作环境条件包括地面站与无人机处于正常通信状态;启动条件包括眼球关注点离开地面站的屏幕、眼球关注点停留于所述屏幕、两次眨眼动作以及眼球关注点在屏幕上一次来回横向扫动;控制模式包括安全模式、解锁模式、确定模式及取消模式。
[0013]具体地，预设各个控制模式的启动条件具体包括:
[0014]开启眼球动作采集模式以采集初始眼球动作；
[0015]采集结束后，通过地面站的系统在屏幕上复现跟踪的初始眼球动作；
[0016]对初始眼球动作进行确认并存储；
[0017]根据存储的初始眼球动作设置各个控制模式的启动条件。
[0018]具体地，根据比对结果启动对应的控制模式具体包括:
[0019]当比对结果为眼球关注点离开地面站的屏幕时，启动安全模式；
[0020]当比对结果为眼球关注点停留于屏幕时，启动解锁模式；
[0021 ]当比对结果为两次眨眼动作时，启动确定模式；
[0022]当比对结果为眼球关注点在屏幕上一次来回横向扫动时，启动取消模式。
[0023]相应地，本发明还提供了一种基于眼球跟踪的无人机地面站控制系统，包括:
[0024]预设模块，用于预设无人机和地面站操作环境条件及各个控制模式的启动条件；
[0025]判断模块，用于判断当前环境状态是否满足操作环境条件；
[0026]采集模块，用于当前状态满足操作环境条件时、开启眼球动作采集模式以采集当前眼球动作；
[0027]比对模块，用于比对当前眼球动作是否符合启动条件；
[0028]启动模块，用于根据比对结果启动对应的控制模式以实现对无人机地面站的控制。
[0029]具体地，无人机操作环境条件包括无人机处于地面站的程序控制状态、无人机的卫星数目及各传感器状态正常;地面站操作环境条件包括地面站与无人机处于正常通信状态;启动条件包括眼球关注点离开地面站的屏幕、眼球关注点停留于屏幕、两次眨眼动作以及眼球关注点在屏幕上一次来回横向扫动;控制模式包括安全模式、解锁模式、确定模式及取消模式。
[0030]较佳地，该系统还包括存储模块，其中，预设各个控制模式的启动条件具体包括:[0031 ]采集模块开启眼球动作采集模式以采集初始眼球动作；
[0032]采集结束后，通过地面站的系统在屏幕上复现跟踪的初始眼球动作；
[0033]存储模块对初始眼球动作进行确认并存储；
[0034]根据存储的初始眼球动作设置各个控制模式的启动条件。
[0035]具体地，根据比对结果启动对应的控制模式具体包括:
[0036]当比对结果为眼球关注点离开地面站的屏幕时，启动安全模式；
[0037]当比对结果为眼球关注点停留于屏幕时，启动解锁模式；
[0038]当比对结果为两次眨眼动作时，启动确定模式；
[0039]当比对结果为眼球关注点在屏幕上一次来回横向扫动时，启动取消模式。
[0040]可选地，采集模块为地面站的摄像装置，比对模块为地面站的主处理器，存储模块为地面站的内部存储设备。
[0041]通过以下的描述并结合附图，本发明将变得更加清晰，这些附图用于解释本发明的实施例。
【附图说明】
[0042]图1为本发明基于眼球跟踪的无人机地面站控制方法的主流程图。
[0043]图2为预设各个控制模式的启动条件的流程图。
[0044]图3为本发明基于眼球跟踪的无人机地面站控制系统的结构框图。
【具体实施方式】
[0045]现在参考附图描述本发明的实施例，附图中类似的元件标号代表类似的元件。
[0046]请参考图1，本发明基于眼球跟踪的无人机地面站控制方法具体包括:
[0047]SlOl，预设无人机和地面站的操作环境条件及各个控制模式的启动条件。其中，无人机的操作环境条件为:首先，处于程序控制状态，即无人机可通过地面站进行控制，否则无人机不响应地面站控制，同样也不响应眼球控制;其次，无人机卫星数目以及各传感器状态正常，无人机状态正常才能保证飞行安全。地面站的操作环境条件为:地面站与无人机处于正常通信状态，能够对无人机进行程序控制。控制模式包括安全模式、解锁模式、确定模式及取消模式。而启动条件则包括眼球关注点离开地面站的屏幕、眼球关注点停留于屏幕、两次眨眼动作以及眼球关注点在屏幕上一次来回横向扫动。
[0048]具体地，请参考图2，预设各个控制模式的启动条件具体包括:
[0049]S201，开启眼球动作采集模式以采集初始眼球动作；
[0050]S202，采集结束后，通过地面站的系统在屏幕上复现跟踪的初始眼球动作；
[0051 ] S203，对初始眼球动作进行确认并存储；
[0052]S204，根据存储的初始眼球动作设置各个控制模式的启动条件。
[0053]需要说明的是，图2所示方法即提供了一种用户自定义动作和命令的方法，该方法提供了一种全新的地面站控制交互方式，从而给用户带来了全新的体验效果。且，除了通过图2所示方法设置启动条件外，用户还可从互联网上或其它途径获取可植入地面站控制系统的其它眼球动作。
[0054]S102，判断当前环境状态是否满足操作环境条件，当满足时，则执行步骤S103，反之，则重复步骤S102。
[0055]S103，开启眼球动作采集模式以采集当前眼球动作。
[0056]S104，比对当前眼球动作是否符合启动条件。
[0057]S105，根据比对结果启动对应的控制模式以实现对无人机地面站的控制。
[0058]具体地，对S104及S105做如下说明:采集当前眼球动作后，判定逻辑为眼球关注点是否在屏幕内，若关注点不在屏幕，则不进行眼球其它动作的判定，直接判定为用户未关注地面站，所有操作指令被屏蔽，借此防止地面站的误操作;若眼球关注点在屏幕，则进行眼球动作与预定义眼球动作(即启动条件)的比对。也就是说，在判断出操作环境条件满足且眼球关注点在屏幕时，开始进行眼球动作比对，若成功，则执行相应控制模式动作，若失败则不执行任何操作。具体地，眼球关注点离开地面站的屏幕时，启动安全模式，锁定屏幕，不响应任何操作；眼球关注点停留在屏幕时，启动解锁模式，可响应控制指令;两次眨眼为确认命令，启动确定模式，在起飞、降落等需要二次确认的命令被操作前弹出确认对话框，重复眨眼两次被认定为对该命令的确认，命令执行，从而采用两次眨眼动作取代了传统点击对话框的方式;眼球关注点在屏幕一次来回横向扫动时启动取消模式，用于地面站需要点击取消的操作，具体为弹出对话框执行取消命令，同样地，在执行取消操作时，也是通过采用横扫屏幕的眼球动作取代了传动点击对话框的方式。需要说明的是，确认、取消等命令也可通过手动操作完成。
[0059]相应地，请参考图3，本发明还提供了一种基于眼球跟踪的无人机地面站控制系统，包括:
[0060]预设模块10，用于预设无人机和地面站操作环境条件及各个控制模式的启动条件。其中，操作环境条件及启动条件已在前进行了详细描述，故在此不再赘述。此外，预设各个控制模式的启动条件的具体过程也已在图2中进行的详述，同样在此不再赘述。
[0061]判断模块12，用于判断当前环境状态是否满足操作环境条件。
[0062]采集模块14，用于当前状态满足操作环境条件时、开启眼球动作采集模式以采集当前眼球动作。需要说明的是，在本实施例中，采集模块14由具有图像采集和距离测量的摄像系统组成。人眼位置，动作，以及人眼距离屏幕距离可由采集系统采集并传入地面站的计算机处理系统。
[0063]比对模块16，用于比对当前眼球动作是否符合启动条件。需要说明的是，本实施例中的比对模块16为地面站的主处理器，其对操作人的眼球位置、距离屏幕距离及人眼动作进行计算，判断眼球实际注视位置和动作，与内部预设的眼球动作进行比对。在无人机和地面控制系统的操作环境满足时，眼球动作比对系统开始工作。眼球动作比对系统分为两层优先级:第一优先级为判断人眼关注点是否在屏幕，若关注点不在屏幕，地面控制系统锁定，所有操作不响应，也不进行其它动作比对;第二优先级为判断人眼关注点在屏幕，则屏幕解锁，可以进行控制，同时进行人眼动作比对，比对成功触发对应操作。
[0064]启动模块18，用于根据比对结果启动对应的控制模式以实现对无人机地面站的控制。具体地，比对结果为眼球关注点离开地面站的屏幕时，启动安全模式，锁定屏幕，不响应任何操作；比对结果为眼球关注点停留在屏幕时，启动解锁模式，可响应控制指令；比对结果为两次眨眼时为确认命令，启动确定模式，在起飞、降落等需要二次确认的命令被操作前弹出确认对话框，重复眨眼两次被认定为对该命令的确认，命令执行；比对结果为眼球关注点在屏幕一次来回横向扫动时启动取消模式，用于地面站需要点击取消的操作，具体为弹出对话框执行取消命令。需要说明的是，确认、取消等命令也可通过手动操作完成。
[0065]进一步地，本发明的控制系统还包括存储模块20，在本实施例中，该存储模块20由地面站的内部存储设备担任，用户进行眼球动作存储操作，并且确认存储后，该眼球动作命名后被存储至设备内存，之后进行地面站控制系统使用时该动作参与到用户眼球动作的比对。同时，也支持名字搜索后对预先存储的眼球动作的删除，之后该动作不再参与比对。
[0066]从以上描述可以看出，本发明的控制方法及其系统先预设无人机和地面站的操作环境条件及各个控制模式的启动条件，再判断当前环境状态是否满足操作环境条件，当满足时，则开启眼球动作采集模式以采集当前眼球动作，之后比对当前眼球动作是否满足启动条件，最后根据比对结果启动对应的控制模式；即，本发明在实现对无人机地面站甚至地面站对无人机发送控制指令以对其进行控制时，引入了眼球跟踪控制，提高了地面站控制的安全性及操作的便利性，减少了误操作，从而提高了操作的准确性。
[0067]此外，本发明为无人机地面控制系统引入眼球位置跟踪控制，增加了一种新的交互方式，还可应用于其它控制操作中，提供了极大的便利性。具体地，利用眼球关注点是否在屏幕内，提供安全锁定和解锁控制两种模式，避免了在无人机控制中出现的误操作等。且，对于该两种模式，地面站控制系统可采用指示灯进行指令响应，同时用重复眨眼(两次眨眼)和眼光横向扫视屏幕以取代对话框的单击，从而提高了便捷性。
[0068]以上结合最佳实施例对本发明进行了描述，但本发明并不局限于以上揭示的实施例，而应当涵盖各种根据本发明的本质进行的修改、等效组合。
【主权项】
1.一种基于眼球跟踪的无人机地面站控制方法，其特征在于，包括: 预设无人机和地面站的操作环境条件及各个控制模式的启动条件； 判断当前环境状态是否满足所述操作环境条件； 当满足时，开启眼球动作采集模式以采集当前眼球动作； 比对所述当前眼球动作是否符合所述启动条件； 根据比对结果启动对应的所述控制模式以实现对无人机地面站的控制。2.如权利要求1所述的控制方法，其特征在于，所述无人机操作环境条件包括无人机处于所述地面站的程序控制状态、所述无人机的卫星数目及各传感器状态正常;所述地面站操作环境条件包括所述地面站与无人机处于正常通信状态;所述启动条件包括眼球关注点离开所述地面站的屏幕、所述眼球关注点停留于所述屏幕、两次眨眼动作以及所述眼球关注点在所述屏幕上一次来回横向扫动;所述控制模式包括安全模式、解锁模式、确定模式及取消模式。3.如权利要求2所述的控制方法，其特征在于，预设各个控制模式的启动条件具体包括: 开启所述眼球动作采集模式以采集初始眼球动作； 采集结束后，通过所述地面站的系统在所述屏幕上复现跟踪的所述初始眼球动作； 对所述初始眼球动作进行确认并存储； 根据存储的所述初始眼球动作设置各个控制模式的所述启动条件。4.如权利要求3所述的控制方法，其特征在于，根据比对结果启动对应的所述控制模式具体包括: 当比对结果为所述眼球关注点离开所述地面站的屏幕时，启动所述安全模式； 当比对结果为所述眼球关注点停留于所述屏幕时，启动所述解锁模式； 当比对结果为两次眨眼动作时，启动所述确定模式； 当比对结果为所述眼球关注点在所述屏幕上一次来回横向扫动时，启动所述取消模式。5.一种基于眼球跟踪的无人机地面站控制系统，其特征在于，包括: 预设模块，用于预设无人机和地面站操作环境条件及各个控制模式的启动条件； 判断模块，用于判断当前环境状态是否满足所述操作环境条件； 采集模块，用于当前状态满足所述操作环境条件时、开启眼球动作采集模式以采集当前眼球动作； 比对模块，用于比对所述当前眼球动作是否符合所述启动条件； 启动模块，用于根据比对结果启动对应的所述控制模式以实现对无人机地面站的控制。6.如权利要求5所述的控制系统，其特征在于，所述无人机操作环境条件包括无人机处于所述地面站的程序控制状态、所述无人机的卫星数目及各传感器状态正常;所述地面站操作环境条件包括所述地面站与无人机处于正常通信状态;所述启动条件包括眼球关注点离开所述地面站的屏幕、所述眼球关注点停留于所述屏幕、两次眨眼动作以及所述眼球关注点在所述屏幕上一次来回横向扫动;所述控制模式包括安全模式、解锁模式、确定模式及取消模式。7.如权利要求6所述的控制系统，其特征在于，还包括存储模块，其中，预设各个控制模式的启动条件具体包括: 所述采集模块开启所述眼球动作采集模式以采集初始眼球动作； 采集结束后，通过所述地面站的系统在所述屏幕上复现跟踪的所述初始眼球动作； 所述存储模块对所述初始眼球动作进行确认并存储； 根据存储的所述初始眼球动作设置各个控制模式的所述启动条件。8.如权利要求7所述的控制系统，其特征在于，根据比对结果启动对应的所述控制模式具体包括: 当比对结果为所述眼球关注点离开所述地面站的屏幕时，启动所述安全模式； 当比对结果为所述眼球关注点停留于所述屏幕时，启动所述解锁模式； 当比对结果为两次眨眼动作时，启动所述确定模式； 当比对结果为所述眼球关注点在所述屏幕上一次来回横向扫动时，启动所述取消模式。9.如权利要求8所述的控制系统，其特征在于，所述采集模块为所述地面站的摄像装置，所述比对模块为所述地面站的主处理器，所述存储模块为所述地面站的内部存储设备。
【文档编号】G06F3/01GK105867410SQ201610213619
【公开日】2016年8月17日
【申请日】2016年4月6日
【发明人】吴镇平, 陈旭智
【申请人】东莞北京航空航天大学研究院