一种无人机眼动控制方法、装置及系统

本技术涉及无人机，尤其涉及一种无人机眼动控制方法、装置及系统。

背景技术：

1、无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器，具有体积小、造价低、使用方便、对环境要求低、环境生存能力较强等优点，因此，无人机在多个领域均得到了广泛应用，例如军事、航拍、物流等。

2、相关技术中，无人机瞄准目标的过程为：无人机操作者观看无人机拍摄的环境图像，并从环境图像中确定感兴趣的目标对象。然后，基于目标对象在环境图像中的位置，手动操作无人机遥控器上的推杆，以调整无人机的飞行姿态，从而使得无人机能够瞄准该目标对象，即该目标对象位于无人机所拍摄的环境图像的中心位置。

3、然而，上述无人机瞄准目标依赖于无人机操作者的操作能力，对于无人机操作新手而言，操作比较困难，难以控制无人机及时有效地瞄准目标对象。

技术实现思路

1、本技术提供了一种无人机眼动控制方法、装置及系统，能够提高无人机瞄准目标的准确性。所述技术方案如下：

2、第一方面，提供了一种无人机眼动控制方法，应用于控制设备中，所述控制设备分别与无人机和眼动采集设备进行通信连接，所述控制设备用于显示所述无人机拍摄的环境图像，所述眼动采集设备用于采集无人机操作者注视所述环境图像时的眼动数据，所述方法包括：

3、获取所述无人机拍摄的环境图像和所述眼动采集设备采集的所述无人机操作者的眼动数据；

4、基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象；

5、控制所述无人机瞄准所述目标对象。

6、可选地，所述眼动数据包括所述无人机操作者注视所述环境图像时的视野图像，以及所述无人机操作者在所述视野图像中的注视点，所述视野图像包括在所述控制设备中显示的所述环境图像；

7、所述基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象，包括：

8、对所述环境图像进行对象检测，确定所述环境图像包括的至少一个检测对象，以及所述至少一个检测对象在所述环境图像中的第一图像位置；

9、基于所述至少一个检测对象的第一图像位置和所述注视点，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。

10、可选地，所述基于所述至少一个检测对象的第一图像位置和所述注视点，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象，包括：

11、对所述至少一个检测对象的第一图像位置进行图像坐标系转换处理，以确定所述至少一个检测对象在所述视野图像中分别对应的第二图像位置；

12、基于所述至少一个检测对象的第二图像位置和所述注视点之间的位置关系，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。

13、可选地，所述基于所述至少一个检测对象的第二图像位置和所述注视点之间的位置关系，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象，包括：

14、以第一检测对象的第二图像位置为中心点，按照目标尺寸对所述第一检测对象在所述视野图像中的局部图像区域向四周进行扩展，得到包含所述第一检测对象的扩充图像区域；其中，所述第一检测对象为所述至少一个检测对象中的任意一个；

15、若所述注视点位于所述扩充图像区域内，且所述注视点与所述第一检测对象的第二图像位置之间的距离最小，则将所述第一检测对象确定为所述无人机操作者所注视的目标对象。

16、可选地，所述控制所述无人机瞄准所述目标对象，包括：

17、确定所述目标对象的第一图像位置与所述环境图像的图像中心点之间的相对距离，所述图像中心点指示所述无人机当前瞄准点；

18、若所述相对距离大于距离阈值，则基于所述相对距离，计算所述无人机瞄准所述目标对象时的第一偏航角和第一俯仰角；

19、基于所述第一偏航角和第一俯仰角，控制所述无人机瞄准所述目标对象。

20、可选地，该方法还包括：

21、若所述相对距离小于所述距离阈值，则确定所述无人机已瞄准所述目标对象。

22、可选地，所述控制所述无人机瞄准所述目标对象，包括：

23、获取上一调整周期内计算的所述无人机瞄准所述目标对象时的第一偏航角调整值和第一俯仰角调整值；

24、获取所述无人机在所述上一调整周期内按照所述第一偏航角调整值和所述第一俯仰角调整值，瞄准所述目标对象时的实际偏航角调整值和实际俯仰角调整值；

25、基于所述第一偏航角调整值和所述实际偏航角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二偏航角调整值；

26、基于所述第一俯仰角调整值和所述实际俯仰角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二俯仰角调整值。

27、可选地，该方法还包括：

28、若所述第二偏航角调整值小于第一角度阈值，和/或，所述第二俯仰角调整值小于第二角度阈值，则确定所述无人机已瞄准所述目标对象。

29、第二方面，提供了一种无人机控制装置，所述无人机控制装置具有实现上述第一方面中无人机控制方法行为的功能。所述无人机控制装置包含于控制设备中，所述控制设备分别与无人机和眼动采集设备进行通信连接，所述控制设备用于显示所述无人机拍摄的环境图像，所述眼动采集设备用于采集无人机操作者注视所述环境图像时的眼动数据，所述装置包括：

30、数据获取模块，用于获取所述无人机拍摄的环境图像和所述眼动采集设备采集的所述无人机操作者的眼动数据；

31、目标确定模块，用于基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象；

32、控制模块，用于控制所述无人机瞄准所述目标对象。

33、可选地，所述眼动数据包括所述无人机操作者注视所述环境图像时的视野图像，以及所述无人机操作者在所述视野图像中的注视点，所述视野图像包括在所述控制设备中显示的所述环境图像；

34、所述目标确定模块，包括：

35、图像检测单元，用于对所述环境图像进行对象检测，确定所述环境图像包括的至少一个检测对象，以及所述至少一个检测对象在所述环境图像中的第一图像位置；

36、目标确定单元，用于基于所述至少一个检测对象的第一图像位置和所述注视点，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。

37、可选地，所述目标确定单元，包括：

38、坐标转换子单元，用于对所述至少一个检测对象的第一图像位置进行图像坐标系转换处理，以确定所述至少一个检测对象在所述视野图像中分别对应的第二图像位置；

39、目标确定子单元，用于基于所述至少一个检测对象的第二图像位置和所述注视点之间的位置关系，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。

40、可选地，所述目标确定子单元，具体用于：

41、以第一检测对象的第二图像位置为中心点，按照目标尺寸对所述第一检测对象在所述视野图像中的局部图像区域向四周进行扩展，得到包含所述第一检测对象的扩充图像区域；其中，所述第一检测对象为所述至少一个检测对象中的任意一个；

42、若所述注视点位于所述扩充图像区域内，且所述注视点与所述第一检测对象的第二图像位置之间的距离最小，则将所述第一检测对象确定为所述无人机操作者所注视的目标对象。

43、可选地，所述控制模块，具体用于：

44、确定所述目标对象的第一图像位置与所述环境图像的图像中心点之间的相对距离，所述图像中心点指示所述无人机当前瞄准点；

45、若所述相对距离大于距离阈值，则基于所述相对距离，计算所述无人机瞄准所述目标对象时的第一偏航角和第一俯仰角；

46、基于所述第一偏航角和第一俯仰角，控制所述无人机瞄准所述目标对象。

47、可选地，所述控制模块，还用于：

48、若所述相对距离小于所述距离阈值，则确定所述无人机已瞄准所述目标对象。

49、可选地，所述控制模块，具体用于：

50、获取上一调整周期内计算的所述无人机瞄准所述目标对象时的第一偏航角调整值和第一俯仰角调整值；

51、获取所述无人机在所述上一调整周期内按照所述第一偏航角调整值和所述第一俯仰角调整值，瞄准所述目标对象时的实际偏航角调整值和实际俯仰角调整值；

52、基于所述第一偏航角调整值和所述实际偏航角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二偏航角调整值；

53、基于所述第一俯仰角调整值和所述实际俯仰角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二俯仰角调整值。

54、可选地，所述控制模块，还用于：

55、若所述第二偏航角调整值小于第一角度阈值，和/或，所述第二俯仰角调整值小于第二角度阈值，则确定所述无人机已瞄准所述目标对象。

56、第三方面，提供了一种无人机控制系统，所述无人机控制系统包括无人机、眼动采集设备和控制设备，所述控制设备分别与所述无人机和所述眼动采集设备进行通信连接；

57、所述无人机，用于拍摄环境图像；

58、所述眼动采集设备，用于采集无人机操作者注视所述环境图像时的眼动数据；

59、所述控制设备，用于显示所述无人机拍摄的环境图像，并执行上述第一方面所述的无人机控制方法的步骤

60、第四方面，本技术提供了一种计算机设备，所述设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的无人机控制方法的步骤。

61、第五方面，本技术提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的无人机控制方法的步骤。

62、第六方面，本技术提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的无人机控制方法的步骤。

63、本技术提供的技术方案至少可以达到以下有益效果：

64、本技术提供了一种无人机控制方法，控制设备分别与无人机和眼动采集设备进行通信连接，控制设备用于显示无人机拍摄的环境图像，眼动采集设备则采集无人机操作者注视该环境图像时的眼动数据。在执行本技术提供的无人机控制方法时，控制设备可以分别获取无人机拍摄的环境图像，以及眼动采集设备采集的无人机操作者的眼动数据，然后根据眼动数据确定无人机操作者在环境图像中所注视的目标对象，进而控制无人机瞄准目标对象。由此可见，本技术实施例在控制无人机时，不需要无人机操作者手动操作控制设备，而是通过采集无人机操作者的眼动数据，来分析确定该无人机操作者感兴趣的目标对象，并控制无人机瞄准该目标对象。如此，不仅可以实现无人机自动瞄准目标对象，还提高了无人机瞄准目标对象的准确度，以及瞄准目标对象时的响应速度。