最高温度点跟踪方法、装置和无人机与流程

本发明实施例涉及无人机技术领域，尤其涉及一种最高温度点跟踪方法、装置和无人机。

背景技术：

无人机上设置有云台，而且云台上可以搭载有相机，相机可以用于拍摄画面。因此，无人机在飞行过程中，无人机可以将相机拍摄到的画面输出给控制终端，控制终端在图形用户界面上显示相机拍摄到的画面。其中，云台上搭载的相机可以为红外相机，红外相机可以感测其拍摄到的画面中各物体的热力学温度，由于红外相机拍摄到的画面中各物体的热力学温度可能不同，因此，在控制终端上显示的红外图像中的各物体的颜色的深度也会不同，其中，若物体的温度越高，画面中该物体的颜色越深，因此，通过无人机上搭载的红外相机拍摄到的画面可以用于帮助消防员定位房屋中的火源、检测农作物健康、以及与警犬一起进行搜救行动等。但是在一些应用场景中，需要在画面的中心位置实时显示画面的最高温度点，由于无人机在飞行过程中或者拍摄到的画面存在动态的物体，这会使得最高温度点的位置发生变化，可能会造成最高温度点并未处于拍摄画面的中心位置上。

技术实现要素：

本发明实施例提供一种最高温度点跟踪方法、装置和无人机，用于实现跟踪最高温度点拍摄，使得最高温度点位于图像的目标位置。

第一方面，本发明实施例提供一种最高温度点跟踪方法，包括：

获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像；

根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度；

根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。

第二方面，本发明实施例提供一种最高温度点跟踪装置，包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述存储器中存储的所述程序指令以实现：

获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像；

根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度；

根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。

第三方面，本发明实施例提供一种无人机，包括：机体、云台、红外相机以及如第一方面本发明实施例所述的最高温度点跟踪装置；所述云台与所述机体连接；所述云台用于搭载所述红外相机；

所述最高温度点跟踪装置分别与所述云台和所述红外相机通信连接。

第四方面，本发明实施例提供一种芯片，包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用所述存储器中存储的所述程序指令以实现如第一方面本发明实施例所述的最高温度点跟踪方法。

第五方面，本发明提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现如第一方面本发明实施例所述的最高温度点跟踪方法。

本发明实施例提供的最高温度点跟踪方法、装置和无人机，通过获取红外相机感测的图像中最高温度点的第一坐标，根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度，根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。因此使得红外相机自动跟踪最高温度点拍摄，无论最高温度点如何变化，最高温度点将处于红外相机采集的图像中的目标位置，便于使用者观察最高温度点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明的实施例的无人飞行系统100的示意性架构图；

图2为本发明一实施例提供的最高温度点跟踪方法的流程图；

图3为本发明另一实施例提供的最高温度点跟踪方法的流程图；

图4为本发明另一实施例提供的最高温度点跟踪方法的流程图；

图5为本发明一实施例提供的最高温度点跟踪装置的结构示意图；

图6为本发明另一实施例提供的最高温度点跟踪装置的结构示意图；

图7为本发明一实施例提供的无人机的结构示意图；

图8为本发明另一实施例提供的无人机的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例提供了最高温度点跟踪方法、装置和无人机。无人机可以是旋翼飞行器(rotorcraft)，例如，由多个推动装置通过空气推动的多旋翼飞行器，本发明的实施例并不限于此。

图1是根据本发明的实施例的无人飞行系统100的示意性架构图。本实施例以旋翼无人飞行器为例进行说明。

无人飞行系统100可以包括无人飞行器110、云台120、显示设备130和控制装置140。其中，无人飞行器110可以包括动力系统150、飞行控制系统160和机架。无人飞行器110可以与控制装置140和显示设备130进行无线通信。

机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在无人飞行器110着陆时起支撑作用。

动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152，其中电机152连接在电子调速器151与螺旋桨153之间，电机152和螺旋桨153设置在无人飞行器110的机臂上；电子调速器151用于接收飞行控制系统160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动螺旋桨旋转，从而为无人飞行器110的飞行提供动力，该动力使得无人飞行器110能够实现一个或多个自由度的运动。在某些实施例中，无人飞行器110可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、偏航轴和俯仰轴。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以是有刷电机。

飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量无人飞行器的姿态信息，即无人飞行器110在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(inertialmeasurementunit，imu)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(globalpositioningsystem，gps)。飞行控制器161用于控制无人飞行器110的飞行，例如，可以根据传感系统162测量的姿态信息控制无人飞行器110的飞行。应理解，飞行控制器161可以按照预先编好的程序指令对无人飞行器110进行控制，也可以通过响应来自控制装置140的一个或多个控制指令对无人飞行器110进行控制。

云台120可以包括电机122。云台用于携带成像装置123。飞行控制器161可以通过电机122控制云台120的运动。可选地，作为另一实施例，云台120还可以包括控制器，用于通过控制电机122来控制云台120的运动。应理解，云台120可以独立于无人飞行器110，也可以为无人飞行器110的一部分。应理解，电机122可以是直流电机，也可以是交流电机。另外，电机122可以是无刷电机，也可以是有刷电机。还应理解，云台可以位于无人飞行器的顶部，也可以位于无人飞行器的底部。

成像装置123例如可以是照相机或摄像机等用于捕获图像的设备，成像装置123可以与飞行控制器通信，并在飞行控制器的控制下进行拍摄。本实施例的成像装置123至少包括感光元件，该感光元件例如为互补金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)传感器或电荷耦合元件(charge-coupleddevice，ccd)传感器。

显示设备130位于无人飞行系统100的地面端，可以通过无线方式与无人飞行器110进行通信，并且可以用于显示无人飞行器110的姿态信息。另外，还可以在显示设备130上显示成像装置拍摄的图像。应理解，显示设备130可以是独立的设备，也可以集成在控制装置140中。

控制装置140位于无人飞行系统100的地面端，可以通过无线方式与无人飞行器110进行通信，用于对无人飞行器110进行远程操纵。

应理解，上述对于无人飞行系统各组成部分的命名仅是出于标识的目的，并不应理解为对本发明的实施例的限制。

图2为本发明一实施例提供的最高温度点跟踪方法的流程图，如图2所示，本实施例的方法可以包括：

s201、获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像。

本实施例可以通过红外相机采集图像，并且红外相机在采集图像时可以感测该图像中的温度，有些地方温度高，有些地方温度低，这些温度中存在最高温度，将温度为该最高温度的位置称为最高温度点，并获取该最高温度点的坐标，此处将获取的图像中最高温度点的坐标称为第一坐标。

s202、根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度。

s203、根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。

本实施例中，根据上述图像中最高温度点的第一坐标，以及该图像中目标位置的坐标，确定云台的旋转角度，该云台上搭载有红外相机，然后根据该旋转角度，控制云台旋转，例如：控制该云台旋转上述旋转角度，由于红外相机搭载在云台上，云台的旋转带动红外相机的旋转，这样可以将红外相机调整至该红外相机采集的图像中最高温度点位于该目标位置。

本实施例中，通过获取红外相机感测的图像中最高温度点的第一坐标，根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度，根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。因此使得红外相机自动跟踪最高温度点拍摄，无论最高温度点如何变化，最高温度点将处于红外相机采集的图像中的目标位置，便于使用者观察最高温度点。

在一些实施例中，在执行上述s203之后，还在显示界面显示所述红外相机采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。用户通过显示界面显示的图像的目标位置可以准确确定最高温度点。

在一些实施例中，上述目标位置为图像的正中心。这样使用者在观察最高温度点时，只需观察图像的正中心位置就即快速且一目了然地获知最高温度点。

图3为本发明另一实施例提供的最高温度点跟踪方法的流程图，如图3所示，本实施例的方法可以包括：

s301、获取红外相机感测的图像中最高温度点的第一坐标以及温度，所述图像为所述红外相机采集的图像。

本实施例中，不仅获取红外相机感测的图像中最高温度点的坐标(即第一坐标)，还获取该红外相机感测的该最高温度点的温度。相应地，s202的一种实现方式包括如下s302-s303。

s302、根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标。

s303、根据所述期望坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度。

本实施例中，根据该最高温度点的温度以及该最高温度点的第一坐标，可以确定最高温度点的期望坐标，即期望最高温度点的坐标。然后根据最高温度点的期望坐标以及图像中目标位置的坐标，确定云台的旋转角度。

其中，根据一个坐标和另一个坐标，从一个坐标位置处旋转至另一个坐标位置的具体过程可以参见现有技术中的相关描述，此处不再赘述。

s304、根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。

本实施例中，s304的具体实现过程可以参见图2所示实施例中的相关描述，此处不再赘述。

本实施例中，通过获取红外相机感测的图像中最高温度点的第一坐标以及温度，然后根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标，以及根据所述期望坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度，再根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。由于本实施例可以预先确定最高温度点的期望坐标，然后调整云台，以便红外相机将最高温度点拍摄到图像中的目标位置，实现了红外相机自动跟踪最高温度点拍摄，无论最高温度点如何变化，最高温度点将处于红外相机采集的图像中的目标位置，便于使用者观察最高温度点。

在一些实施例中，上述s302的一种可能的实现方式为：以上述图像为当前帧图像为例，在获取到红外相机感测的当前帧图像中最高温度点的温度后，判断该红外相机感测的最高温度点的温度是否位于最高温度置信区间，如果该红外相机感测的最高温度点的温度位于该最高温度置信区内，则可以通过两种实现方案来确定期望坐标。

其中，一种方案为：确定该当前帧图像中该最高温度点的第一坐标为最高温度点的期望坐标。即最高温度点的期望坐标等于该第一坐标。

另一种方案为：根据所述当前帧图像中最高温度点的第一坐标，以及所述红外相机感测的当前帧之前的n帧图像中最高温度点的第一坐标，确定所述期望坐标。其中，所述n帧图像为最高温度点的温度位于最高温度置信区间内的连续的n帧图像，所述n为大于或等于1的整数。

例如：当前帧图像为第t帧图像，则根据红外相机感测出的第t-n帧图像、第t-(n-1)帧图像、...、第t-1帧图像、第t帧图像中最高温度点的坐标，确定最高温度点的期望坐标，而且第t-n帧图像、第t-(n-1)帧图像、...、第t-1帧图像、第t帧图像中最高温度点的温度均位于最高温度置信区间内。

可选地，若第t-(n-1)帧图像中最高温度点的温度未处于最高温度置信区间内，且第t-(n+1)帧图像中最高温度点的温度处于最高温度置信区间内，则当前帧之前的n帧图像为：第t-(n+1)帧图像、第t-n帧图像、第t-(n-2)帧图像、...、第t-1帧图像、第t帧图像。下述的当前帧之前的k帧图像中最高温度点的温度位于最高温度置区间内也可以参见此处描述。

其中，确定帧图像中最高温度点的温度是否位于最高温度置信区间主要是通过判断该帧图像中最高温度点的温度以及该帧图像之前的k帧图像中最高温度点的温度之间的方差或者标准差是否小于预设值来实现。其中，若当前帧图像为第t帧图像，则当前帧之前的k帧图像为第t-k帧图像、第t-(k-1)帧图像、...、第t-1帧图像。

以判断当前帧图像中最高温度点的温度是否位于最高温度置信区间为例，其它帧图像类似，此处不再赘述。

判断该当前帧图像中最高温度点的温度以及当前帧之前的k帧图像中最高温度点的温度之间(即k+1个温度)的方差是否小于预设值，若当前帧图像中最高温度点的温度以及当前帧之前的k帧图像中最高温度点的温度之间(即k+1个温度)的方差小于预设值，则认为当前帧图像中最高温度点的温度处于最高温度置信区间内；若当前帧图像中最高温度点的温度以及当前帧之前的k帧图像中最高温度点的温度之间(即k+1个温度)的方差大于或等于预设值，则认为当前帧图像中最高温度点的温度未处于最高温度置信区间内。或者，

判断该当前帧图像中最高温度点的温度以及当前帧之前的k帧图像中最高温度点的温度之间(即k+1个温度)的标准差是否小于预设值，若当前帧图像中最高温度点的温度以及当前帧之前的k帧图像中最高温度点的温度之间(即k+1个温度)的标准差小于预设值，则认为当前帧图像中最高温度点的温度处于最高温度置信区间内；若当前帧图像中最高温度点的温度以及当前帧之前的k帧图像中最高温度点的温度之间(即k+1个温度)的标准差大于或等于预设值，则认为当前帧图像中最高温度点的温度未处于最高温度置信区间内。

其中，根据所述当前帧图像中最高温度点的第一坐标，以及所述红外相机感测的当前帧之前的n帧图像中最高温度点的第一坐标，确定所述期望坐标的实现方式可以包括如下几种，但本实施例并不限于此。

在一种可能的实现方式中，对当前帧之前的n帧图像中最高温度点的第一坐标以及当前帧图像中最高温度点的第一坐标进行最小二乘法运算，获得所述期望坐标。例如：将红外相机感测出的第t-n帧图像中最高温度点的坐标、红外相机感测出的第t-(n-1)帧图像中最高温度点的坐标、...、红外相机感测出的第t-1帧图像中最高温度点的坐标、红外相机感测出的第t帧图像中最高温度点的坐标(即这n+1个坐标)进行最小二乘法运算，将运算结果确定为期望坐标。

在另一种可能的实现方式中，根据当前帧之前的n帧图像中最高温度点的第一坐标以及当前帧图像中最高温度点的第一坐标的平均值，确定所述期望坐标。例如：将红外相机感测出的第t-n帧图像中最高温度点的坐标、红外相机感测出的第t-(n-1)帧图像中最高温度点的坐标、...、红外相机感测出的第t-1帧图像中最高温度点的坐标、红外相机感测出的第t帧图像中最高温度点的坐标(即这n+1个坐标)的平均值确定为期望坐标。

在另一种可能的实现方式中，根据当前帧之前的n帧图像中最高温度点的第一坐标以及当前帧图像中最高温度点的第一坐标的加权平均值，确定所述期望坐标。例如：将红外相机感测出的第t-n帧图像中最高温度点的坐标、红外相机感测出的第t-(n-1)帧图像中最高温度点的坐标、...、红外相机感测出的第t-1帧图像中最高温度点的坐标、红外相机感测出的第t帧图像中最高温度点的坐标(即这n+1个坐标)的加权平均值确定为期望坐标。

在一些实施例中，若当前帧图像中最高温度点的温度不位于最高温度置信区间时，则确定上一次确定的期望坐标为当前的期望坐标，即确定上一次确定的期望坐标为s302中所需确定的期望坐标。

图4为本发明另一实施例提供的最高温度点跟踪方法的流程图，如图4所示，本实施例的方法可以包括：

s401、获取红外相机感测的图像中最高温度点的第一坐标以及温度，所述图像为所述红外相机采集的图像。

本实施例中，s401的具体实现过程可以参见如图3所示实施例中的相关描述，此处不再赘述。

s402、根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标。

其中，s401与s402的执行顺序不分先后。

本实施例中，根据视觉追踪，可以确定红外相机采集的图像中预期最高温度点，从而可以确定该预期最高温度点的坐标，其中，通过视觉追踪确定的预期最高温度点的坐标称为第二坐标。

在一些实施例中，在执行s402之前，还获取预期最高温度点的码流特征。相应地，s402的一种可能的实现方式可以包括：s4021和s4022。

s4021、获取所述红外相机采集的图像的红外码流。

s4022、根据所述码流特征对所述红外码流进行视觉追踪，确定所述第二坐标。

本实施例中，上述获取的预期最高温度点的码流特征可以是红外码流特征。本实施例可以获取图像的红外码流，该图像为红外相机采集的图像，然后根据上述预期最高温度点的码流特征，对该图像的红外码流进行视觉追踪，从而可以确定该图像中预期最高温度点的第二坐标。

其中，视觉追踪的具体实现过程可以参见现有技术中的相关描述，此处不再赘述。

其中，该码流特征可以是实时获取的，也可以是预先存储在存储器中的。

其中，实时获取码流特征的一种实现方式为：根据前m次确定的期望坐标对应的最高温度点的码流特征，确定预期最高温度点的码流特征，m为大于或等于1的整数。其中，在确定期望坐标之后，图像中该期望坐标对应的最高温度点的码流特征也可以获得，然后根据前m次确定的期望坐标对应的最高温度点的码流特征，确定当前的预期最高温度点的码流特征。

s403、根据所述最高温度点的温度、所述第一坐标以及所述预期最高温度点的第二坐标，确定最高温度点的期望坐标。

本实施例中，根据红外相机感测的最高温度点的温度，以及最高温度点的第一坐标以及通过视觉追踪获得的预期最高温度点的第二坐标，确定最高温度点的期望坐标。

在一些实施例中，上述s403的一种可能的实现方式为：以上述图像为当前帧图像为例，在获取到红外相机感测的当前帧图像中最高温度点的温度后，判断该红外相机感测的最高温度点的温度是否位于最高温度置信区间，如果该红外相机感测的最高温度点的温度位于该最高温度置信区内，则可以通过两种实现方案来确定期望坐标。

其中，一种方案为：根据所述红外相机感测的当前帧图像中最高温度点的第一坐标以及所述当前帧图像中预期最高温度点的第二坐标，确定所述期望坐标。

其中，此方案的实现方式可以包括如下几种，但本实施例并不限于此。

在一种可能的实现方式中，对当前帧图像中最高温度点的第一坐标和该当前帧图像中预期最高温度点的第二坐标，进行最小二乘法运算，获得所述期望坐标。例如：将红外相机感测出的当前帧图像中最高温度点的坐标以及通过视觉跟踪获得的当前帧图像中预期温度点的坐标(即这两个坐标)进行最小二乘法运算，将运算结果确定为期望坐标。

在另一种可能的实现方式中，根据当前帧图像中最高温度点的第一坐标和该当前帧图像中预期最高温度点的第二坐标的平均值，确定所述期望坐标。例如：将红外相机感测出的当前帧图像中最高温度点的坐标以及通过视觉跟踪获得的当前帧图像中预期温度点的坐标(即这两个坐标)的平均值确定为期望坐标。

在另一种可能的实现方式中，当前帧图像中最高温度点的第一坐标和该当前帧图像中预期最高温度点的第二坐标的加权平均值，确定所述期望坐标。例如：将红外相机感测出的当前帧图像中最高温度点的坐标以及通过视觉跟踪获得的当前帧图像中预期温度点的坐标(即这两个坐标)的加权平均值确定为期望坐标。

其中，另一种方案为：根据所述当前帧图像中最高温度点的第一坐标和所述当前帧图像中预期最高温度点的第二坐标，以及当前帧之前的n帧图像中最高温度点的第一坐标和所述当前帧之前的n帧图像中预期最高温度点的第二坐标，确定所述期望坐标。其中，所述当前帧之前的n帧图像为最高温度点的温度位于最高温度置信区间内的连续的n帧图像，所述n为大于或等于1的整数。

其中，此方案的实现方式可以包括如下几种，但本实施例并不限于此。

在一种可能的实现方式中，对当前帧之前的n帧图像中最高温度点的第一坐标以及当前帧之前的n帧图像中预期最高温度点的第二坐标、当前帧图像中最高温度点的第一坐标和当前帧图像中预期最高温度点的第二坐标，进行最小二乘法运算，获得所述期望坐标。例如：将红外相机感测出的第t-n帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-n帧图像中预期温度点的坐标、红外相机感测出的第t-(n-1)帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-(n-1)帧图像中预期温度点的坐标、...、红外相机感测出的第t-1帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-1帧图像中预期温度点的坐标、红外相机感测出的第t帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t帧图像中预期温度点的坐标(即这2*(n+1)个坐标)进行最小二乘法运算，将运算结果确定为期望坐标。

在另一种可能的实现方式中，根据当前帧之前的n帧图像中最高温度点的第一坐标以及当前帧之前的n帧图像中预期最高温度点的第二坐标、当前帧图像中最高温度点的第一坐标和当前帧图像中预期最高温度点的第二坐标的平均值，确定所述期望坐标。例如：将红外相机感测出的第t-n帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-n帧图像中预期温度点的坐标、红外相机感测出的第t-(n-1)帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-(n-1)帧图像中预期温度点的坐标、...、红外相机感测出的第t-1帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-1帧图像中预期温度点的坐标、红外相机感测出的第t帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t帧图像中预期温度点的坐标(即这2*(n+1)个坐标)的平均值确定为期望坐标。

在另一种可能的实现方式中，根据当前帧之前的n帧图像中最高温度点的第一坐标以及当前帧之前的n帧图像中预期最高温度点的第二坐标、当前帧图像中最高温度点的第一坐标和当前帧图像中预期最高温度点的第二坐标的加权平均值，确定所述期望坐标。例如：将红外相机感测出的第t-n帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-n帧图像中预期温度点的坐标、红外相机感测出的第t-(n-1)帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-(n-1)帧图像中预期温度点的坐标、...、红外相机感测出的第t-1帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t-1帧图像中预期温度点的坐标、红外相机感测出的第t帧图像中最高温度点的坐标以及通过视觉跟踪获得的第t帧图像中预期温度点的坐标(即这2*(n+1)个坐标)的加权平均值确定为期望坐标。

其中，确定帧图像中最高温度点的温度是否位于最高温度置信区间可以是通过判断该帧图像中最高温度点的温度以及当前帧之前的k帧图像中最高温度点的温度之间的方差或者标准差是否小于预设值来实现。具体过程可以参见上述实施例中的描述，此处不再赘述。

在一些实施例中，若当前帧图像中最高温度点的温度不位于最高温度置信区间时，则确定上一次确定的期望坐标为当前的期望坐标，即确定上一次确定的期望坐标为s302中所需确定的期望坐标。

s404、根据所述期望坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度。

s405、根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。

本实施例中，s404和s405的具体实现过程可以参见图3所示实施例的相关描述，此处不再赘述。

本实施例中，通过红外相机感测的帧图像中最高温度点的温度和坐标，以及通过视觉追踪获得帧图像中最高温度点的坐标，并根据上述参数来确定最高温度点的期望坐标更加接近实际的最高温度点，以保证下一帧图像中的最高温度点实时显示在图像的目标位置。

本发明实施例中还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图2-图4及其对应实施例中的最高温度点跟踪方法的部分或全部步骤。

图5为本发明一实施例提供的最高温度点跟踪装置的结构示意图，如图5所示，本实施例的最高温度点跟踪装置500可以包括：存储器501和处理器502。处理器502可以是中央处理单元(centralprocessingunit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器501，用于存储程序指令；

所述处理器502，用于调用所述存储器501中存储的所述程序指令以实现：

获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像；

根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度；

根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。

在一些实施例中，所述处理器502，还用于：获取红外相机感测的图像中最高温度点的温度；

所述处理器502在根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度时，具体用于：根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标；以及根据所述期望坐标及所述图像中目标位置的坐标，确定所述云台的旋转角度。

在一些实施例中，所述处理器502，具体用于：

在所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间时，确定所述当前帧图像中最高温度点的第一坐标为所述期望坐标；或者，

在所述当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述当前帧图像中最高温度点的第一坐标，以及所述红外相机感测的当前帧之前的n帧图像中最高温度点的第一坐标，确定所述期望坐标；

其中，所述n帧图像为最高温度点的温度位于最高温度置信区间内的连续的n帧图像，所述n为大于或等于1的整数。

在一些实施例中，所述处理器502还用于在根据所述最高温度点的温度和第一坐标，确定最高温度点的期望坐标之前，根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标；

所述处理器502在根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标时，具体用于：根据所述最高温度点的温度、所述第一坐标以及所述预期最高温度点的第二坐标，确定最高温度点的期望坐标。

在一些实施例中，所述处理器502还用于在根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标之前，获取预期最高温度点的码流特征；

所述处理器502在根据视觉追踪，确定红外相机采集的图像中最高温度点的第二坐标时，具体用于：获取所述红外相机采集的图像的红外码流；以及根据所述码流特征对所述红外码流进行视觉追踪，确定所述第二坐标。

在一些实施例中，所述处理器502，具体用于：根据前m次确定的期望坐标对应的最高温度点的码流特征，确定预期最高温度点的码流特征；所述m为大于或等于1的整数。

在一些实施例中，所述处理器502，具体用于：

在所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述红外相机感测的当前帧图像中最高温度点的第一坐标以及所述当前帧图像中预期最高温度点的第二坐标，确定所述期望坐标；或者，

在所述当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述当前帧图像中最高温度点的第一坐标和所述当前帧图像中预期最高温度点的第二坐标，以及当前帧之前的n帧图像中最高温度点的第一坐标和所述当前帧之前的n帧图像中预期最高温度点的第二坐标，确定所述期望坐标；

其中，所述n帧图像为最高温度点的温度位于最高温度置信区间内的连续的n帧图像，所述n为大于或等于1的整数。

在一些实施例中，所述处理器502，还用于在所述当前帧图像中最高温度点的温度不位于最高温度置信区间时，确定上一次确定的期望坐标为当前的期望坐标。

在一些实施例中，所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间，包括：

在所述当前帧图像中最高温度点的温度以及当前帧之前的k帧图像中最高温度点的温度之间的方差或者标准差小于预设值时，所述当前帧图像中最高温度点的温度位于最高温度置信区间；

其中，所述k帧图像为最高温度点的温度位于最高温度置信区间内的连续的k帧图像，所述k为大于或等于1的整数。

在一些实施例中，所述处理器502，具体用于：

对所述至少两个坐标进行最小二乘法运算，获得所述期望坐标；或者，

根据所述至少两个坐标的平均值，确定所述期望坐标；或者，

根据所述至少两个坐标的加权平均值，确定所述期望坐标；

其中，所述至少两个坐标包括至少两个第一坐标，或者，所述至少两个坐标包括至少一个第一坐标和至少一个第二坐标。

在一些实施例中，所述目标位置为所述图像的正中心。

本实施例的装置，可以用于执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本发明另一实施例提供的最高温度点跟踪装置的结构示意图，如图6所示，本实施例的最高温度点跟踪装置500在图5所示实施例的基础上，还可以包括：显示界面503。

显示界面503，用于在所述处理器502根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置之后，显示所述红外相机采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。

本实施例的装置，可以用于执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本发明一实施例提供的无人机的结构示意图，如图7所示，本实施例的无人机1000包括：最高温度点跟踪装置500、机体600、云台700和红外相机800。所述云台700与所述机体600连接；所述云台700用于搭载所述红外相机800。所述最高温度点跟踪装置500分别与所述云台700和所述红外相机800通信连接。

其中，所述最高温度点跟踪装置500可以采用图5或图6所示实施例的结构，其对应地，可以执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本发明另一实施例提供的无人机的结构示意图，如图8所示，本实施例的无人机1000在图7所示实施例的基础上还可以包括：显示装置900；其中，所述显示装置900与所述红外相机800通信连接；

所述显示装置900，用于显示所述红外相机800采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。

需要说明的是，该最高温度点跟踪装置500可以属于无人机1000的飞行控制系统的一部分，或者，该最高温度点跟踪装置500属于无人机1000地面端的控制设备的一部分。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。