一种目标位置矫正方法、装置及系统与流程

本发明涉及计算机图像处理技术领域，特别涉及一种目标位置矫正方法、装置及系统。

背景技术：

随着无人机技术的发展和进步，在军用和民用领域的应用都越来越广泛。且计算机图像处理技术和无人机技术的融合更使得无人机在测绘、巡检和侦查等方面大展身手。与此同时，由于无人机的运动过程不同于以往的任何载体，这就使得搭载于无人机上的图像获取和处理装置的处理方法也将不同于常规的固定载体和高速运动载体。

在基于无人机的图像处理中，目标跟踪是一个尤为重要的课题。运动目标跟踪在军事制导，视觉导航，机器人，智能交通，公共安全等领域有着广泛的应用。例如，在车辆违章抓拍系统中，车辆的跟踪就是必不可少的。在入侵检测中，人、动物、车辆等大型运动目标的检测与跟踪也是整个系统运行的关键所在。

而在无人机进行目标跟踪的过程中，如何去除无人机的移动带来的目标位置相对于无人机本身的移动，始终保持目标位置和无人机位置的绝对关系，从而实现无人机的定点跟踪功能，更加精确的控制无人机，显得尤为重要。

因此，如何能够提高无人机目标位置的准确性，是本领域技术人员需要解决的技术问题。

技术实现要素：

本发明的目的是提供一种目标位置矫正方法、装置及系统，将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现无人飞行器等在目标跟踪过程中的精确控制。

为解决上述技术问题，本发明提供一种目标位置矫正方法，包括：

接收当前时刻和上一时刻图像获取装置的姿态信息；

利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；

根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。

可选的，利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息，包括：

将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；

根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；

根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；

根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。

可选的，根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制，包括：

使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；

使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；

利用更新后的目标检测器进行目标跟踪的控制。

可选的，所述接收当前时刻和上一时刻图像获取装置的姿态信息，包括：

接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；

计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；

计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。

本发明还提供一种目标位置矫正装置，包括：

姿态信息获取模块，用于接收当前时刻和上一时刻图像获取装置的姿态信息；

跟踪框中心生成模块，用于利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；

跟踪控制模块，用于根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。

可选的，所述跟踪框中心生成模块，包括：

第一转换单元，用于将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；

第二转换单元，用于根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；

第三转换单元，用于根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；

第四转换单元，用于根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。

可选的，所述跟踪控制模块，包括：

目标位置更新单元，用于使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；

目标检测器更新单元，用于使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；

跟踪控制单元，用于利用更新后的目标检测器进行目标跟踪的控制。

可选的，所述姿态信息获取模块，包括：

数据获取单元，用于接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；

姿态信息获取单元，用于计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。

本发明还提供一种目标位置矫正系统，包括：

图像获取装置，用于获取目标图像信息；

惯性测量装置，用于获取图像获取装置的姿态信息；

处理器，用于接收当前时刻和上一时刻图像获取装置的姿态信息；利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。

可选的，所述惯性测量装置，包括至少一个加速度计和至少一个陀螺仪。

本发明所提供的一种目标位置矫正方法，包括：接收当前时刻和上一时刻图像获取装置的姿态信息；利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；根据当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制；

可见，该方法将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现了无人飞行器等在目标跟踪过程中的精确控制；本发明还提供了一种目标位置矫正装置及系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的目标位置矫正方法的流程图；

图2为本发明实施例所提供的目标位置矫正装置的结构框图；

图3为本发明实施例所提供的目标位置矫正系统的结构框图；

图4为本发明实施例所提供的另一目标位置矫正系统的结构框图。

具体实施方式

本发明的核心是提供一种目标位置矫正方法、装置及系统，将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现无人飞行器等在目标跟踪过程中的精确控制。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的目标位置矫正方法的流程图；该方法可以包括：

S100、接收当前时刻和上一时刻图像获取装置的姿态信息；

具体的，本实施例并不限定具体的姿态信息包含的内容，例如这里的姿态信息可以包括图像获取装置的角速度信息和加速度信息。本实施例中姿态信息通常使用惯性测量装置检测得到的。例如角速度信息可以由陀螺仪测得，加速度信息可以由加速度计测得。本实施例并不对具体的检测方式进行限定，只要可以获取图像获取装置精确的姿态信息即可。

其中，本实施例中所说的图像获取装置，可以获取到图像的装置即可，例如相机，摄像头等。并不对图像获取装置的具体形式进行限定。

本实施例中获取的姿态信息可以采用惯性测量装置进行测量，惯性测量装置是测量物体三轴姿态角(或角速率)以及加速度的装置。陀螺仪及加速度计是惯性测量装置的主要元件，其精度直接影响到惯性测量装置的精度。目前，在实际工作中，由于不可避免的各种干扰因素，而导致陀螺仪及加速度计产生误差，从初始对准开始，其导航误差就随时间而增长，尤其是位置误差，这惯性测量装置的主要缺点。而本实施例利用外部信息进行辅助，实现组合导航，使其有效地减小误差随时间积累的问题。

进一步，为了提高可靠性，还可以为每个轴配备更多的姿态信息传感器(即多个陀螺仪及加速度计)。根据接收到的多个姿态信息确定一个更加精准的最终姿态信息用于后续计算，以提高系统的可靠性。本实施例并不限定具体的确定最终姿态信息的方式。例如可以是求平均值，或者根据每个传感器的权重计算得到最终值等。一般而言惯性测量装置要安装在被测物体的重心上。且这里的计算过程可以在惯性测量装置中进行，例如惯性测量装置中有若干个加速度计，分别记为：N1、N2、N3，...，Nn；惯性测量装置中有若干个陀螺仪，分别记为M1、M2、M3，...，Mn；惯性测量装置中还设置有一个微处理器；所述微处理器用于将每个加速度计获取到的加速度数据值进行取算术平均值得到最终的加速度数据值；同时，所述微处理器对每个陀螺仪计获取到的角速度数据值进行取算术平均值得到最终的角速度数据值；进一步提高系统的精度。

也可以在系统中的处理器中进行。具体位置的选择可以根据计算速度确定。优选的，接收当前时刻和上一时刻图像获取装置的姿态信息可以包括：

接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；

计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；

计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。

具体的，惯性测量装置中有若干个加速度计，分别记为：N1、N2、N3，...，Nn；惯性测量装置中有若干个陀螺仪，分别记为M1、M2、M3，...，Mn；处理器用于将每个加速度计获取到的加速度数据值进行取算术平均值得到最终的加速度数据值；同时，对每个陀螺仪计获取到的角速度数据值进行取算术平均值得到最终的角速度数据值；进一步提高系统的精度。

进一步系统在每一次计算得到的当前时刻和上一时刻图像获取装置的姿态信息都可以进行保存。这样在下次使用时可以减少一次计算过程。

进一步为了节省存储空间，也可以在上一时刻图像获取装置的姿态信息在本次计算利用后进行删除。

S110、利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；

具体的，跟踪框的中心信息的生成是对图像获取装置获取的图像信息进行处理后得到的。该步骤是利用上一时刻和当前时刻的姿态信息，以及上一时刻跟踪框的中心信息，生成准确的当前时刻跟踪框的中心信息。

优选的，利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息可以包括：

将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；

根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；

根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；

根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。

具体的，上述过程中图像坐标系和到相机坐标系相互投射的方法包括以下步骤：

步骤1：设定物体在相机坐标系统中的坐标为：X(x，y，z)；

步骤2：采用如下公式，实现图像坐标系和相机坐标系的相互转换，设定所述图像坐标系的点为Y(a，b)：

其中，f_x、f_y和物理焦距F之间的关系为：f_x＝F*s，f_y＝F*s；s表示X轴方向上的1毫米长度所代表像素值；c_x和c_y表示光轴的偏移。

上述过程中相机坐标系投射到世界坐标系中的方法包括以下步骤：

步骤1：设相机坐标系的的坐标为：X(x，y，z)；

步骤2：对相机坐标系中的每一个坐标值进行旋转得到世界坐标系中的位置，x对应的旋转矩阵为：

步骤3：y对应的旋转矩阵为：

步骤4：z对应的旋转举证为：

其中，为绕X轴旋转的角度；α为绕Y轴旋转的角度；β为绕Z轴旋转的角度。

S120、根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。

具体的，目标检测器获取是利用跟踪算法生成的。本实施例并不对具体的跟踪算法进行限定。在目标跟踪技术领域，常用的是KCF算法，其中，KCF算法是一种鉴别式追踪方法，这类方法一般都是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。

该步骤采用跟踪算法和惯性测量装置进行结合的方式，能够有效去除无人机姿态变化导致的目标相对移动，实现更为精确的无人机跟踪控制。即有选的，根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制可以包括：

使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；

使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；

利用更新后的目标检测器进行目标跟踪的控制。

具体的，上述过程中目标检测器获取可以利用KFC算法生成。

基于上述技术方案，本发明实施例提的目标位置矫正方法，该方法将惯性测量装置得到的姿态信息和跟踪算法得到的目标检测器相结合的方式，去掉了平台姿态带来的目标移动，实现了无人飞行器等在目标跟踪过程中的精确控制；且由于采用现有惯性测量装置进行构建，无须特定的装置，就实现了目标位置的矫正，降低了成本。该方法流程较为简易，也非常易于实现和推广。增强了无人机控制的精确性，较为巧妙地去除了平台姿态带来的目标移动，具备很强的实用性。

下面对本发明实施例提供的目标位置矫正装置及系统进行介绍，下文描述的目标位置矫正装置及系统与上文描述的目标位置矫正方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的目标位置矫正装置的结构框图；该装置可以是处理器。该装置具体可以包括：

姿态信息获取模块100，用于接收当前时刻和上一时刻图像获取装置的姿态信息；

跟踪框中心生成模块200，用于利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；

跟踪控制模块300，用于根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。

基于上述实施例，所述跟踪框中心生成模块200可以包括：

第一转换单元，用于将所述上一时刻跟踪框的中心信息，从图像坐标系转换到图像获取装置坐标系，获得上一时刻图像获取装置坐标系下目标方位信息；

第二转换单元，用于根据上一时刻图像获取装置的姿态信息，将所述上一时刻图像获取装置坐标系下目标方位信息投射到世界坐标系，获得上一时刻世界坐标系下目标方位信息；

第三转换单元，用于根据当前时刻图像获取装置的姿态信息，将所述上一时刻世界坐标系下目标方位信息投射到图像获取装置坐标系，获得当前时刻图像获取装置坐标系下目标方位信息；

第四转换单元，用于根据图像获取装置内参，将所述当前时刻图像获取装置坐标系下目标方位信息投射到图像坐标系，生成当前时刻跟踪框的中心信息。

基于上述实施例，所述跟踪控制模块300可以包括：

目标位置更新单元，用于使用所述目标检测器，在所述当前时刻跟踪框的中心信息的预定范围内搜索更新目标位置；

目标检测器更新单元，用于使用更新后的目标位置作为训练集，更新所述训练集得到更新后的目标检测器；

跟踪控制单元，用于利用更新后的目标检测器进行目标跟踪的控制。

基于上述任意实施例，所述姿态信息获取模块100可以包括：

数据获取单元，用于接收当前时刻惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值，以及上一时刻所述惯性测量装置发送的图像获取装置的N个加速度数据值和M个角速度数据值；其中，N，M为大于1的整数；

姿态信息获取单元，用于计算当前时刻图像获取装置的平均加速度数据值和平均角速度数据值作为当前时刻图像获取装置的姿态信息；计算上一时刻图像获取装置的平均加速度数据值和平均角速度数据值作为上一时刻图像获取装置的姿态信息。

请参考图3，图3为本发明实施例所提供的目标位置矫正系统的结构框图；该系统可以包括：

图像获取装置10，用于获取目标图像信息；

具体的，该图像获取装置10具体可以是相机。且图像获取装置10可以通过云台安装在无人机上。

惯性测量装置20，用于获取图像获取装置的姿态信息；

具体的，该惯性测量装置20具体可以包括加速度计和陀螺仪。

处理器30，用于接收当前时刻和上一时刻图像获取装置的姿态信息；利用所述姿态信息以及上一时刻跟踪框的中心信息，生成当前时刻跟踪框的中心信息；根据所述当前时刻跟踪框的中心信息，以及目标检测器进行目标跟踪的控制。

具体的，该处理器30根据姿态信息进行目标位置矫正计算并得出矫正结果即目标跟踪的控制结果。

基于上述实施例，所述惯性测量装置20可以包括至少一个加速度计和至少一个陀螺仪。即惯性测量单元中有若干个加速度计，分别记为：N1、N2、N3，...，Nn；所述惯性测量单元中有若干个陀螺仪，分别记为M1、M2、M3，...，Mn；可以利用平均角速度数据和平均加速度数据提高系统的精度。

请参考图4，该系统还可以包括飞行控制器40，用于根据所述处理器30的矫正结果进行跟踪控制，即根据当前时刻跟踪框的中心，进行目标跟踪的控制。存储器50，用于获取的姿态信息进行暂存。处理器30分别信号连接于飞行控制器40、图像获取装置10、惯性测量装置20和存储器50；惯性测量装置20还信号连接于存储器50。

具体的，惯性测量装置包括：加速度计和陀螺仪时所述加速度计将获取的加速度信息同时发送给所述处理器和所述存储器；存储器将接收到的加速度信息进行暂存；所述陀螺仪将获取到的角速度信息同时发送给所述处理器和所述存储器；存储器将接收到的角速度信息进行暂存；处理器将获取到的加速度信息和角速度信息作为当前时刻的姿态信息；存储器中存储的加速度信息和角速度信息将作为下一时刻的上一时刻姿态信息。

进一步，存储器50可以是闪存。

上述系统的工作过程可以是：

无人机在飞行过程中，接收来自飞行控制器的控制命令，确定好目标；确定目标后，无人机进行目标跟踪；同时，惯性测量装置实时获取无人机的姿态信息，将获取的姿态信息存入存储器中；当无人机移动位置过后，惯性测量装置实时获取无人机的姿态信息发送给处理器；处理器根据实时获取的姿态信息和存储器中存储的上一时刻的姿态信息，以及根据以及上一时刻跟踪框的中心，生成当前时刻跟踪框的中心。并根据当前时刻跟踪框的中心进行目标跟踪的控制。

基于上述技术方案，本发明实施例提的一种目标位置矫正系统，构造简单，容易实现，且系统构造成本低更加易于普及；同时，由于该系统增强了无人机控制的精确性，较为巧妙地去除了平台姿态带来的目标移动，具备很强的实用性。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种目标位置矫正方法、装置及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。