一种视线跟踪瞄准操控系统及方法与流程

本发明涉及视线跟踪瞄准操控领域，尤其涉及一种视线跟踪瞄准操控系统及方法。

背景技术：

视觉是人们获取信息的主要方式，由于视线具有直接性、自然性和双向性等特点，使得视线跟踪技术在人机交互、人机协作、商场购物注意力分析、驾驶员行为分析、广告网页等用户心理及行为分析等多个领域有着广泛的应用。但目前现有的视线跟踪技术多应用于跟踪视线在显示屏幕或场景摄像机拍摄图像视频等二维平面上的位置，直接跟踪使用者在真实空间中三维注视点位置坐标的系统及方法较少。特别是在让使用者直接用眼睛操控机器设备对真实空间中的目标进行瞄准锁定跟踪的领域，暂时还没有相关的系统及方法。

技术实现要素：

基于现有技术所存在的问题，本发明的目的是提供一种视线跟踪瞄准操控系统及方法，能让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种视线跟踪瞄准操控系统，包括：

视线跟踪设备，能跟踪计算在该视线跟踪设备坐标系下使用者视线方向及注视点位置坐标；

相对位置姿态获取单元，分别与视线跟踪设备和瞄准操控设备通信连接，能获取所述视线跟踪设备坐标系和所述瞄准操控设备坐标系之间的相对位置姿态；

瞄准操控设备，分别与所述视线跟踪设备和相对位置姿态获取单元通信连接，能根据所述视线跟踪设备提供的视线方向及注视点位置坐标和所述相对位置姿态获取单元提供的相对位置姿态计算得出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，并通过计算出的方向和位置坐标操控设备瞄准锁定跟踪使用者注视点目标。

本发明实施方式还提供一种视线跟踪瞄准操控方法，采用本发明所述的视线跟踪瞄准操控系统，包括以下步骤：

步骤(a)，通过所述系统的视线跟踪设备采集使用者的眼动数据，根据所述使用者的眼动数据计算使用者视线方向和注视点位置坐标；

步骤(b)，通过所述系统的相对位置姿态获取单元获取所述系统的视线跟踪设备坐标系与所述瞄准操控设备坐标系的相对位置姿态；

步骤(c)，由所述系统的瞄准操控设备根据所述视线方向及注视点位置坐标和相对位置姿态计算出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，操控设备瞄准锁定跟踪使用者注视点目标。

由上述本发明提供的技术方案可以看出，本发明实施例提供的视线跟踪瞄准操控系统及方法，其有益效果为：

通过设置相互通信连接的视线跟踪设备、相对位置姿态获取单元和瞄准操控设备相互配合，可以跟踪计算出使用者视线方向及注视点位置坐标，获取视线跟踪设备坐标系和瞄准操控设备坐标系之间的相对位置姿态，两者结合进而计算出使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标，让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标。本发明的系统及方法在人与机器人协作，飞机、车辆、舰船、航天飞行器等的辅助操控，vr/ar全浸入式人机交互等多个领域有广泛应用。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的视线跟踪瞄准操控系统结构图；

图2为本发明实施例提供的视线跟踪瞄准操控方法流程图；

图3为本发明实施例提供的视线跟踪瞄准操控系统应用场景示意图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明实施例提供一种视线跟踪瞄准操控系统，可以让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标，包括：

视线跟踪设备，能跟踪计算在该视线跟踪设备坐标系下使用者视线方向及注视点位置坐标；

相对位置姿态获取单元，分别与视线跟踪设备和瞄准操控设备通信连接，能获取所述视线跟踪设备坐标系和所述瞄准操控设备坐标系之间的相对位置姿态；

瞄准操控设备，分别与所述视线跟踪设备和相对位置姿态获取单元通信连接，能根据所述视线跟踪设备提供的视线方向及注视点位置坐标和所述相对位置姿态获取单元提供的相对位置姿态计算得出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，并通过计算出的方向和位置坐标操控设备瞄准锁定跟踪使用者注视点目标,使用者注视点目标是指使用者注视点处的目标。

上述系统还包括：瞄准校正单元，与所述瞄准操控设备通信连接，对使用者注视点目标进行标定校准。设置该瞄准校正单元能提高系统的视线跟踪瞄准锁定跟踪精度。

上述系统中，视线跟踪设备包括：

眼动数据采集装置和视线方向及注视点的位置坐标估算单元；其中，

所述眼动数据采集装置，能采集使用者单眼或者双眼的眼动数据；

所述的视线方向及注视点位置坐标估算单元，与所述眼动数据采集装置通信连接，能从所述眼动数据采集装置采集的眼动数据中提取与视线方向及注视点相关的眼动参数信息，并通过眼球模型和标定训练建立眼动参数信息和视线方向及注视点之间的映射关系，再结合眼动参数和映射关系计算得出使用者单眼或双眼视线方向和注视点目标在该视线跟踪设备坐标系下的位置坐标。

上述系统中，若所述视线跟踪设备与所述瞄准操控设备的位置能相对移动，所述相对位置姿态获取单元采用：标定定位单元、惯性导航定位单元、卫星定位单元中的至少一种；

若所述视线跟踪设备与所述瞄准操控设备的位置不能相对移动，所述相对位置姿态获取单元采用：测量确定单元或输入接收单元。

具体的，当系统包括的视线跟踪设备与瞄准操控设备会有相对移动时，所述的相对位置姿态获取单元包括但不限于标定定位单元、惯性导航定位单元、卫星定位单元等相对位置姿态获取单元，且可以融合多个测算单元的数据，在室内外等范围内实现更高的测算精度和鲁棒性。当视线跟踪设备与瞄准操控设备安装固定在同一平台上无相对运动时，所述的视线跟踪设备与瞄准操控设备的相对位置姿态可以是在设计和生产安装时直接测量确定获得。

上述系统中，标定定位单元包括：

标记点装置和信号发射感知装置，分别安装在所述视线跟踪设备和所述瞄准操控设备上，其中一个设备上安装标记点装置，另一个设备安装信号发射感知装置。

上述系统中，标记点装置为：按照一定结构排列安装在一个设备上的多个标定点装置，并已知各标定点装置在所安装的设备坐标系下的位置坐标；

所述信号发射感知装置，能发射或接收信号，确定各标定点装置在该信号发射感知装置坐标系下的位置方向或坐标，该信号发射装置坐标系在所安装的设备平台坐标系下的位置姿态和旋转平移矩阵已知。优选的，上述标定定位单元采用摄像头标定、激光扫描标定、光源定位、声源定位、电磁信号源定位中的至少一种。

具体的，所述的标定定位单元包括安装在某一设备上的标记点装置和安装在另一设备上的信号发射感知装置。所述的标记点装置是按照一定结构排列安装在设备上的多个标记点装置，已知各点在安装设备坐标系下的位置坐标。所述的安装在另一设备上的信号发射感知装置可以发射或接受一定信号，确定多个标记点装置在信号发射感知装置坐标系下的位置方向或坐标。该信号发射装置坐标系在安装设备平台坐标系下的位置姿态和旋转平移矩阵已知。所述的标定定位单元可以通过信号的发射感知，确定标记点装置的多个标定点在信号发射感知装置坐标系下的位置方向或坐标，结合多个标定点在其安装设备坐标系下的位置坐标信息可以测算出两设备坐标系之间的旋转平移矩阵。

所述的标定定位单元确定多个标记点装置在信号发射感知装置坐标系下的位置方向或坐标的方法可以是基于摄像头标定、激光扫描、光源定位、声源定位、电磁信号源定位等方法中的至少一种方法实现，但不限于以上方式。

上述系统中，惯性导航定位单元包括：在视线跟踪设备和瞄准操控设备上分别安装的惯性导航定位设备，通过各惯性导航定位设备分别测算出视线跟踪设备坐标系和瞄准操控设备坐标系相对于大地坐标系的变化，准确计算出视线跟踪设备坐标系和瞄准操控设备坐标系的相对位置姿态；具体的，惯性导航定位单元包括加速度计、陀螺仪、磁力计等部分，在视线跟踪设备和瞄准操控设备上均安装惯性导航定位设备。所述的惯性导航单元可以融合三轴加速度、角速度和磁场方向等信息测算出视线跟踪设备坐标系和瞄准操控设备坐标系相对于大地坐标系的变化，进而在短时间内可以准确的计算出视线跟踪设备坐标系和瞄准操控设备坐标系的相对位置姿态。

所述卫星定位单元包括：在视线跟踪设备和瞄准操控设备上分别安装的卫星定位设备，通过卫星定位设备进行卫星定位测算出视线跟踪设备坐标系和瞄准操控设备坐标系在卫星系统坐标系下的位置姿态，计算出视线跟踪设备坐标系和瞄准操控设备坐标系相对位置姿态。具体的，卫星定位单元基于gps、北斗等全球卫星导航定位系统实现，在在视线跟踪设备和瞄准操控设备上均安装卫星定位设备。该单元可以定位测算出视线跟踪设备坐标系和瞄准操控设备坐标系在卫星系统坐标系下的位置姿态，进而可以计算出视线跟踪设备坐标系和瞄准操控设备坐标系相对位置姿态。

上述系统中，瞄准操控设备包括：机器平台和瞄准锁定跟踪装置；其中，

所述机器平台，与所述视线跟踪设备通信连接，获取使用者的视线方向及注视点位置坐标，结合相对位置姿态信息计算出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标；所述的机器平台还具有静止、地面移动、地下移动、空中飞行、水面移动、水下移动等功能中的至少一种；

所述瞄准锁定跟踪装置包括：云台和瞄准装置；其中，所述云台装置安装在所述机器平台上，所述瞄准装置安装在所述云台装置上；该瞄准锁定跟踪装置与所述机器平台通信连接，能根据测算出的使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，通过所述云台装置控制瞄准装置在所述机器平台上前后左右运动，上下左右旋转，瞄准锁定跟踪使用者注视点目标。所述的瞄准装置可以是摄像头、激光笔、机器设备等装置中的任意一种或多种。

如图2所示，本发明实施例还提供一种视线跟踪瞄准操控方法，采用上述的视线跟踪瞄准操控系统，包括以下步骤：

步骤(a)，通过所述系统的视线跟踪设备采集使用者的眼动数据，根据所述使用者的眼动数据计算出使用者视线方向和注视点位置坐标；

步骤(b)，通过所述系统的相对位置姿态获取单元获取所述系统的视线跟踪设备坐标系与所述瞄准操控设备坐标系的相对位置姿态；

步骤(c)，由所述系统的瞄准操控设备根据所述视线方向及注视点位置坐标和相对位置姿态计算出使用者注视点目标在该瞄准操控设备坐标系下的方向和位置坐标，操控设备瞄准锁定跟踪使用者注视点目标。

进一步的，上述方法还包括步骤(d)，通过所述系统的瞄准校正单元对使用者注视点目标进行标定校准，提高对注视点目标的瞄准锁定跟踪精度。

下面对本发明实施例具体作进一步地详细描述。

本实施例提供一种视线跟踪瞄准操控系统，可以跟踪计算出使用者视线方向及注视点位置坐标，测算出的视线跟踪设备坐标系和瞄准操控设备坐标系之间的相对位置姿态，两者结合进而计算出使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标，让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标。本发明在人与机器人协作，飞机、车辆、舰船、航天飞行器等的辅助操控，vr/ar全浸入式人机交互等多个领域有广泛应用。

如图1所示，所述的视线跟踪瞄准操控系统，包括：

视线跟踪设备，可以跟踪计算在该设备坐标系下使用者视线方向及注视点位置坐标；

相对位置姿态获取单元，可以测算视线跟踪设备坐标系和瞄准操控设备坐标系之间的相对位置姿态；

瞄准操控设备，可以根据所述的视线方向及注视点位置坐标和相对位置姿态等计算出使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标，从而操控设备瞄准锁定跟踪使用者注视点目标。

此外，该视线跟踪瞄准操控系统还可以包括瞄准校正单元，通过使用者注视已知目标进行标定校准，提高系统的视线跟踪瞄准锁定跟踪精度。

所述的视线跟踪设备包括眼动数据采集装置和视线方向及注视点的位置坐标估算单元。

所述的眼动数据采集装置，可以采集使用者单眼或者双眼的眼动数据，包括但不限于眼部区域的可见光、红外光等视频数据、眼球运动引起的眼部电压变化数据和其他向眼部区域主动发射接收电磁场或者红外光间接获得的眼动数据等；

所述的视线方向及注视点位置坐标估算单元，可以从眼动数据中提取与视线方向及注视点相关的眼动参数信息，通过眼球模型和标定训练的方法建立眼动参数信息和视线方向及注视点之间的映射关系，再结合眼动参数和映射关系估算使用者单眼或双眼视线方向和注视点目标在视线跟踪设备坐标系下的位置坐标。

所述的眼动参数信息可以是基于眼部视频数据提取的使用者双眼或单眼的瞳孔、光斑、眼角、角膜球心的二维或三维坐标和瞳孔椭圆平面法向量等眼球参数，也可以是基于眼部电压变化数据提取的电压值和波形等。

所述的建立映射的方法，可以是单独基于眼部视线模型或基于标定训练的方法，也可以是眼部视线模型和标定训练相结合的方法。

此外，所述的视线跟踪设备，可以是随使用者身体或头部运动的穿戴式设备，包括但不限于眼镜、头盔等设备，也可以是不随使用者运动的桌面式设备，可以安装或固定在其他物体设备上，安装或固定的设备包括但不限于桌面、显示器、车辆、飞机、机器人平台等设备。

所述的相对位置姿态获取单元，当系统包括的视线跟踪设备与瞄准操控设备会有相对移动时，所述的相对位置姿态获取单元包括但不限于标定定位单元、惯性导航定位单元、卫星定位单元等相对位置姿态获取单元，且可以融合多个测算单元的数据，在室内外等范围内实现更高的测算精度和鲁棒性。当视线跟踪设备与瞄准操控设备安装固定在同一平台上无相对运动时，所述的视线跟踪设备与瞄准操控设备的相对位置姿态可以是在设计和生产安装时直接测量确定。

所述的标定定位单元包括安装在某一设备上的标记点装置和安装在另一设备上的信号发射感知装置。所述的标记点装置是按照一定结构排列安装在设备上的多个标记点装置，已知各点在安装设备坐标系下的位置坐标。所述的安装在另一设备上的信号发射感知装置可以发射或接受一定信号，确定多个标记点装置在信号发射感知装置坐标系下的位置方向或坐标。该信号发射装置坐标系在安装设备平台坐标系下的位置姿态和旋转平移矩阵已知。所述的标定定位单元可以通过信号的发射感知，确定标记点装置的多个标定点在信号发射感知装置坐标系下的位置方向或坐标，结合多个标定点在其安装设备坐标系下的位置坐标信息可以测算出两设备坐标系之间的旋转平移矩阵。

所述的标定定位单元确定多个标记点装置在信号发射感知装置坐标系下的位置方向或坐标的方法可以是基于摄像头标定、激光扫描、光源定位、声源定位、电磁信号源定位等方法中的至少一种方法实现，但不限于以上方法。

所述的基于摄像头标定的方法中的标记点装置中的标定点可以是led灯、灰度颜色差别大的圆点或棋盘格交点，信号发射感知装置可以是单个或多个摄像头。led灯和摄像头的感应或发射的光波长可以是可见光、红外光、紫外光波段等，但必须相互对应。通过图像处理的方法可以获得标定点在摄像头拍摄图像中的位置，结合摄像头的成像模型可以获取标定点其在摄像头坐标系下的位置方向或坐标，结合多个标定点在其安装设备坐标系下的位置坐标信息可以测算出两设备坐标系之间的旋转平移矩阵。

所述的基于激光扫描的方法中的标记点装置是光电接收装置，信号发射接收装置是单个或多个激光发射器。光电接收装置和激光发射器的光波长可以是可见光、红外光、紫外光波段等，但须相互对应。所述的激光发射器按照一定规律周期性的发射覆盖全空间的光同步信号并沿激光发射器坐标系的x轴和y轴匀速交替旋转发射线激光束，扫描覆盖整个空间。当发射覆盖全空间的光同步信号和激光束扫描到标定点的光电接收装置时，光电接收装置感应到较强的激光信号。根据接收到的激光束扫描到标定点的时间在整个同步周期中位置，可以确定光电接收装置在激光发射器坐标系中的位置方向，在多个激光发射器系统中，可以进一步确定光电接收装置的位置坐标，结合多个光电接收装置在其安装设备坐标系下的位置坐标信息可以测算出两设备坐标系之间的旋转平移矩阵。

所述的基于光源定位、声源定位、电磁信号源定位的方法中的标记点装置中的标定点是光源、声源或电磁信号发射源等，信号发射感知装置是按照一定结构排列安装在设备上的多个光信号、声信号或电磁信号接收器，已知各接收器在安装设备坐标系下的位置坐标。信号接收装置根据多个信号接收器接收到的信号的强度和方向等信息，结合多个信号接收器在其安装设备坐标系下的位置坐标信息，可以确定信号发射源在信号接收装置坐标系中的位置方向和坐标，再结合多个信号发射源在其安装设备坐标系下的位置坐标信息可以测算出两设备坐标系之间的旋转平移矩阵。

所述的惯性导航定位单元包括加速度计、陀螺仪、磁力计等部分，在视线跟踪设备和瞄准操控设备上均安装惯性导航定位设备。所述的惯性导航单元可以融合三轴加速度、角速度和磁场方向等信息测算出视线跟踪设备坐标系和瞄准操控设备坐标系相对于大地坐标系的变化，进而在短时间内可以准确的计算出视线跟踪设备坐标系和瞄准操控设备坐标系的相对位置姿态。

所述的卫星定位单元基于gps、北斗等全球卫星导航定位系统实现，在在视线跟踪设备和瞄准操控设备上均安装卫星定位设备。该单元可以定位测算出视线跟踪设备坐标系和瞄准操控设备坐标系在卫星系统坐标系下的位置姿态，进而可以计算出视线跟踪设备坐标系和瞄准操控设备坐标系相对位置姿态。

所述的视线跟踪设备与瞄准操控设备相对位置姿态获取单元，还可以融合标定定位单元、惯性导航定位单元、卫星定位单元等部分的信息，在室内外等范围内实现更高的测算精度和鲁棒性。标定定位单元，可以在精确的计算出视线跟踪设备坐标系和机器人平台设备坐标系的相对位置姿态和旋转平移矩阵，但距离较近，基于光学的系统要在视距范围内使用。卫星定位系统的定位范围大，但测算精度较低，特别是在建筑物内等顶层有遮挡的地方难以使用。惯性导航定位单元短时间内定位精度较高，但误差会随时间累积，精度持续降低。融合标定定位单元、惯性导航定位单元、卫星定位单元等部分的数据信息，不仅可以在室内外各种环境下的视距范围外也保持较精确的测算精度，还能提高视距范围内的测算精度。

所述的瞄准操控设备，包括机器平台和瞄准锁定跟踪设备。

所述的机器平台，可以与视线跟踪设备通信，获得使用者的视线方向及注视点位置坐标，结合相对位置姿态信息计算出使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标。所述的机器平台还具有静止、地面移动、地下移动、空中飞行、水面移动、水下移动等功能中的至少一种。

所述的瞄准锁定跟踪设备，包括云台和瞄准装置。所述的云台装置安装在机器平台上，所述的瞄准装置加装在云台装置上。该瞄准锁定跟踪设备可以根据测算出的使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标，通过云台控制瞄准装置在机器平台上前后左右运动，上下左右旋转，瞄准锁定跟踪使用者注视点目标。所述的瞄准装置可以是摄像头、激光笔、机器设备等装置中的任意一种或多种。

此外，所述的具备移动功能的瞄准操控设备还可以根据测算出的与视线跟踪设备的相对位置姿态跟随视线跟踪设备及使用者移动和调整朝向以更好的定位和瞄准。

如图2所示，采用上述系统进行视线跟踪瞄准操控方法，包括以下步骤：

步骤(a)，采集使用者的眼动数据，根据眼动数据计算出使用者视线方向和注视点位置坐标；

步骤(b)，获取视线跟踪设备坐标系与瞄准操控设备坐标系的相对位置姿态；

步骤(c)，根据所述的视线方向及注视点位置坐标和相对位置姿态计算出使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标，操控设备瞄准锁定跟踪使用者注视点目标。

进一步的，上述方法还包括步骤(d)，通过使用者注视已知目标进行标定校准，提高对注视点目标的瞄准锁定跟踪精度。

图3所示为本发明实施例提供的视线跟踪瞄准操控系统的实际应用构成，其采用的是标定定位单元作为相对位置姿态获取单元2，标定定位单元由多个标记点装置21和多个信号发射接收装置22构成的，多个标记点装置21设在视线跟踪设备1，多个信号发射接收装置22设在瞄准操控设备3上，可以跟踪计算出使用者视线方向及注视点位置坐标，测算出的视线跟踪设备坐标系和瞄准操控设备坐标系之间的相对位置姿态，两者结合进而计算出使用者注视点目标在瞄准操控设备坐标系下的方向和位置坐标，让使用者用眼睛操控机器设备快速瞄准锁定跟踪所注视的目标5。该系统还可以通过使用者注视已知目标进行标定校准，提高系统的视线跟踪瞄准锁定跟踪精度。本发明的系统及方法在人与机器人协作，飞机、车辆、舰船、航天飞行器等的辅助操控，vr/ar全浸入式人机交互等多个领域有广泛应用。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。