基于视觉的目标跟踪方法及装置与流程

本发明涉及图像处理技术领域，特别涉及一种基于视觉的目标跟踪方法及装置。

背景技术：
现有技术中，基于视频监控或基于车载视觉对目标对象进行检测进而对目标对象进行跟踪，均需要对所采集的大量图片信息进行处理以获取目标对象，即在视觉系统的目标跟踪时，数据速度处理的快慢直接关系到跟踪的及时性，而对于跟踪来说跟踪的及时性非常重要，所以如何提高跟踪的及时性是亟需解决的问题。

技术实现要素：
本发明的主要目的在于提供一种基于视觉的目标跟踪方法，旨在提高数据处理的速度，保证目标跟踪的及时性。为了实现发明目的，本发明一实施例提供了一种基于视觉的目标跟踪方法，所述基于视觉的目标跟踪方法包括以下步骤：采集航拍区域内的图像信息；根据预先训练好的定点分类器对所采集的图像信息进行分类以获取目标对象群信息，其中所述目标对象群信息包括各目标对象在图像中的二维坐标及尺寸；根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)对所述目标对象进行跟踪。优选地，训练所述定点分类器的具体步骤为：采集包含目标对象群的正样本图像及非目标对象群的负样本图像以制作分类器图像样本库；分别提取所述正样本图像及负样本图像中的各个haar特征；根据所提取的haar特征，按照adaboost算法训练浮点分类器；按照预置的数据结构将所训练出的浮点分类器转换为定点分类器，并按照所述预置的数据结构储存所述定点分类器。优选地，所述按照所述预置的数据结构储存所述定点分类器具体为：按照所述预置的数据结构以C语言或C++语言的方式存储所述定点分类器。优选地，所述预置的数据结构为分类器数据结构，所述分类器数据结构包括Haar特征结构、整型弱分类器阈值及整型权值系数，用于描述和保存训练出来的定点分类器数据。优选地，所述根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)对所述目标对象进行跟踪具体包括：标示各所述目标对象；根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)获取各标示的各目标对象的运动轨迹信息；或者所述根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)对所述目标对象进行跟踪具体包括：接收跟踪特定目标对象的指令；根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)获取所述特定目标对象的运动轨迹信息。本发明实施例还提供一种基于视觉的目标跟踪装置，所述基于视觉的目标跟踪装置包括：获取模块，用于采集航拍区域内的图像信息；处理模块，用于根据预先训练好的定点分类器对所采集的图像信息进行分类以获取目标对象群信息，其中所述目标对象群信息包括各目标对象在图像中的二维坐标及尺寸；跟踪模块，用于根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)对所述目标对象进行跟踪。优选地，所述基于视觉的目标跟踪装置还包括：采集模块，用于采集包含目标对象群的正样本图像及非目标对象群的负样本图像以制作分类器图像样本库；特征提取模块，用于分别提取所述正样本图像及负样本图像中的各个haar特征；训练模块，用于根据所提取的haar特征，按照adaboost算法训练浮点分类器；数据转换模块，用于按照预置的数据结构将所训练出的浮点分类器转换为定点分类器；储存模块，用于按照所述预置的数据结构储存所述定点分类器。优选地，所述储存模块具体用于按照所述预置的数据结构以C语言或C++语言的方式存储所述定点分类器。优选地，所述跟踪模块包括：标示单元，用于标示各所述目标对象；获取单元，用于根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)获取标示的各目标对象的运动轨迹信息。优选地，所述跟踪模块包括：接收单元，用于接收跟踪特定目标对象的指令；获取单元，用于根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)获取所述特定目标对象的运动轨迹信息。本发明通过采用定点分类器模型将进行分类计算的预置数据转换为定点型数据，因此在整个跟踪系统中只需要执行一次浮点型数据与定点型数据的转换，从而提高数据处理的速度，进而有效保证目标跟踪的及时性。附图说明图1为本发明基于视觉的目标跟踪方法第一实施例的流程示意图；图2为本发明基于视觉的目标跟踪方法中定点分类器训练的流程示意图；图3为本发明基于视觉的目标跟踪方法第二实施例的结构示意图；图4为本发明基于视觉的目标跟踪方法第三实施例的流程示意图；图5为本发明基于视觉的目标跟踪装置一实施例的结构示意图；图6为图5中跟踪模块的结构示意图。本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。参照图1，图1为本发明基于视觉的目标跟踪方法第一实施例的流程示意图。本发明提供的基于视觉的目标跟踪方法包括以下步骤：步骤S10，采集航拍区域内的图像信息；本实施例中，以机载系统为例作出详细说明，具体地该机载系统上设有摄像装置，通过摄像装置进行图像信息采集。应当说明的是，采集的图像为飞行器当前位置拍摄装置可以拍摄到的区域信息，可以包含目标对象也可以不包含目标对象。其中目标对象可以是行人或车辆等。步骤S20，根据预先训练好的定点分类器对所采集的图像信息进行分类以获取目标对象群信息，其中所述目标对象群信息包括各目标对象在图像中的二维坐标及尺寸；应当说明的是，上述图像信息中的目标对象数量可根据实际情况进行设定，在此不作进一步地限定，即目标对象群信息可以包含一个、两个或多个目标对象的信息，当然在步骤S10中所采集的图像信息中未包含目标对象的信息时，该步骤S20中的目标对象群信息应该理解成没有任何信息，在后续的步骤S30中也就不进行跟踪。本实施例中，上述机载系统包括DSP(DigitalSignalProcessor，数字信号处理器)图像处理芯片，该DSP图像处理芯片可调用已经训练好的定点分类器模型，并根据定点分类器模型中的定点型数据(即adaboost算法进行分类时需要运用的预置数据)对采集的图像中的所有对象进行分类以获得目标对象群信息。步骤S30，根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)对所述目标对象进行跟踪。由于DSP图像处理芯片获取到用于运算的数据为定点型数据，因此可提高DSP图像处理芯片的运算效率，从而保证目标对象跟踪的及时性。例如，在上述机载系统中，还设有自动跟踪模块。DSP图像处理芯片将获取到的目标对象群信息输出至自动跟踪模块，由自动跟踪模块根据目标对象群信息按照金字塔光流算法(L-K)对各目标对象进行跟踪。本发明通过采用定点分类器模型将进行分类计算的预置数据转换为定点型数据，因此在整个跟踪系统中只需要执行一次浮点型数据与定点型数据的转换，从而提高数据处理的速度，进而有效保证目标对象跟踪的及时性。参照图2，图2为本发明基于视觉的目标跟踪方法中定点分类器训练的流程示意图。基于上述实施例，本实施例中，训练所述定点分类器的具体步骤为：步骤S101，采集包含目标对象群的正样本图像及非目标对象群的负样本图像以制作分类器图像样本库；步骤S102，分别提取所述正样本图像及负样本图像中的各个haar特征；步骤S103，根据所提取的haar特征，按照adaboost算法训练浮点分类器；步骤S104，按照预置的数据结构将所训练出的浮点分类器转换为定点分类器，并按照所述预置的数据结构储存所述定点分类器。本实施例中，在进行基于视觉系统目标对象跟踪之前首先需要训练定点分类器模型，训练定点分类器模型的具体方式具体为：首先通过机载系统的摄像装置最大可能采集包含目标对象群及其所处环境的图像；然后根据采集的图像进行正样本图像和负样本图像区分，制作分类器的图像样本库，在图像样本库中根据adaboost算法需求提取正样本图像及负样本图像的haar特征，并根据提取的haar特征和adaboost算法训练浮点分类器模型；然后根据预置的数据结构对浮点分类器模型输出的浮点型数据进行转换，转换为定点型数据(即上述已经转换为定点型的预置数据)，同时通过该预置的数据结构将该定点数据进行储存。应当说明的是，上述预置的数据结构的形式可根据实际需要进行设置。例如本实施例中，上述预置的数据结构为分类器数据结构，所述分类器数据结构包括Haar特征结构、整型弱分类器阈值及整型权值系数，用于描述和保存训练出来的分类器数据。本实施例中，该分类器数据为上述已转换为定点型的预置数据。所述Haar特征结构包括haar特征矩形是否旋转及haar特征矩形属性和权值，用于描述和保存正样本图像及负样本图像的Haar特征数据。具体的，上述数据结构为：typedefstructClassifierData//分类器数据结构{AeeHaarFeaturehaar_feature；//Haar特征描述结构intthreshold；//整型弱分类器阈值intleft；intright；intalpha[2]；//整型权值系数}ClassifierData；typedefstructAeeHaarFeature//Haar特征描述结构{inttilted；//旋转struct{CvRectr；//属性intweight；//权值}rect[3]；//矩形属性和权值}AeeHaarFeature；具体地，按照所述预置的数据结构储存所述定点分类器的方式可以为多种，例如可以采用二进制的文本进行数据保存，本实施例中，为了方便程序的调用，优选地可设置变量将定点型数据储存至应用程序当中，例如可按照上述预置的数据结构以C语言或C++语言的方式存储所述定点分类器。通过设置变量对定点型数据，在后续的程序调用时，仅需通过获取变量的值即可获取相应的数据。相对于采用二进制文本进行数据保存，本实施例提供的定点型数据储存的方式可便于开发人员进行更改或使用。进一步地，参照图3和图4，图3为本发明基于视觉的目标跟踪方法第二实施例的流程示意图，图4为本发明基于视觉的目标跟踪方法第三实施例的流程示意图。基于上述实施例，本实施例中，对于需要进行跟踪的目标对象的确定可以手动选取，也可以自动选取。当自动选取时，上述步骤S30具体包括：步骤S31，标示各所述目标对象；步骤S32，根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)获取标示的各目标对象的运动轨迹信息。标示各所述目标对象的方式可以但不限于为：分别给各目标对象分配一个ID以区分各目标对象，如步骤S10中采集的图像信息经步骤S20中的定点分类器进行分类后得到5个目标对象，在该步骤S31中将该5个目标对象分别标记为1、2、3、4和5。优选地，为了将各目标对象显示，可通过矩形框等突出显示标记一一对所有的目标对象进行标示。进一步地，为了更清楚的记录各目标对象的位置，在进行标示或显示时，同时记录各目标对象的位置(如在GOOLE地球或卫星地球的位置)，该位置信息可以以三维坐标的方式显示，一方面，方便用户查看，另一方面可作为后续形成运动轨迹数据的基础。本实施例中，直接以定点分类器模型检测的所有目标对象作为需要跟踪的目标对象，首先对所有的目标对象一一进行标示，然后再根据上述对象群信息按照金字塔光流算法获取各标示的目标对象的运动轨迹信息，即实现了对目标对象的跟踪。其中目标对象的运动轨迹信息包括目标对象的运动轨迹及由形成该运动轨迹的若干坐标形成的跟踪链坐标，该跟踪链坐标可通过一数组进行储存。当采用手动选取时，上述步骤S30具体包括：步骤S33，接收跟踪特定目标对象的指令；步骤S34，根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)获取所述特定目标对象的运动轨迹信息；本实施例中，可由用户在图像上选择需要进行跟踪的特定目标对象，可以理解的是用户选择的特定目标对象应该是在步骤S20中所获取的目标对象群中的一个或多个，然后再根据所获取的目标对象群信息并按照金字塔光流算法获取各所述特定目标对象的运动轨迹信息，即实现了对特定目标对象的跟踪。其中特定目标对象的运动轨迹信息包括特定目标对象的运动轨迹及由形成该运动轨迹的若干坐标形成的跟踪链坐标，该跟踪链坐标可通过一数组进行储存。优选的，为了方便用户区分即选择特定目标对象，可选择的，在步骤S33之前，对各所述目标对象进行标示或显示，其中对各所述目标对象进行标示或显示的具体方案可参照上述自动选取中的相应内容，在此不再赘述。可以理解的是，在上述步骤S33中，用户可能选择步骤S20中除目标对象群以外的对象(即非目标对象)，本实施例不对其进行跟踪并告知用户其为非目标对象。当然在该非目标对象属于分类器图像样本库时，在另一实施例中也可以对其进行跟踪，即需要再次执行步骤S20以获取用户所选择的非目标对象信息，然后再根据所获取的非目标对象群信息，并按照金字塔光流算法(L-K)对该非目标对象进行跟踪。应当说明的是上述对目标对象的跟踪范围是飞行器上的拍摄装置可以拍摄到的有限区域，也即是在拍摄装置所拍摄的图像上的跟踪，根据跟踪范围的需要，可在飞行器上设置一个或多个可旋转的摄像装置，为了能够实现多目标及较大范围的跟踪，本发明实施例中在飞行器上设置多个可旋转的摄像装置。如当飞行器上设置一个摄像装置且需跟踪三个对象时(即一个摄像装置需跟踪多个对象)，可通过飞行器的移动或姿态变换、摄像装置的旋转以达到在清晰可见该三个被跟踪的对象的情况下进行跟踪。再如当飞行器上设置三个摄像装置且需跟踪三个对象时(即一个摄像装置需跟踪一个对象)，可通过飞行器的移动、姿态变换或/和三个摄像装置的旋转以达到在清晰可见该三个被跟踪的对象的情况下进行跟踪。进一步地，为了对特定的某一目标进行远距离的跟踪，飞行器可跟随该特定的某一目标对象进行移动以达到远距离的跟踪。本发明还提供一种基于视觉的目标跟踪装置，用于实现上述方法。参照图5，图5为本发明基于视觉的目标跟踪装置一实施例的结构示意图。本发明提供的基于视觉的目标跟踪装置包括：获取模块100，用于采集航拍区域内的图像信息；本实施例中，以机载系统为例作出详细说明，具体地该机载系统上设有摄像装置，通过摄像装置进行图像信息采集。应当说明的是，采集的图像为飞行器当前位置拍摄装置可以拍摄到的区域信息，可以包含目标对象也可以不包含目标对象。应当说明的是上述摄像装置为获取模块100的一部分。处理模块200，用于根据预先训练好的定点分类器对所采集的图像信息进行分类以获取目标对象群信息，其中所述目标对象群信息包括各目标对象在图像中的二维坐标及尺寸；应当说明的是，上述图像信息中的目标对象数量可根据实际情况进行设定，在此不作进一步地限定。本实施例中，处理模块200为上述机载系统的DSP(DigitalSignalProcessor，数字信号处理器)图像处理芯片，当上述获取模块100获取到图像信息后，将图像信息的数据输出至DSP图像处理芯片，该DSP图像处理芯片可调用已经训练好的定点分类器模型，并根据定点分类器模型中的定点型数据(即adaboost算法进行分类时需要运用的预置数据)对采集的图像中的所有目标对象进行分类以获得目标对象群信息。跟踪模块300，用于根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)对所述目标对象进行跟踪。当处理模块200获取到上述对象群信息时，将该对象群信息输出至跟踪模块300，由跟踪模块300根据目标对象群信息按照金字塔光流算法(L-K)对各目标对象进行跟踪。由于DSP图像处理芯片获取到用于运算的数据为定点型数据，因此可提高DSP图像处理芯片的运算效率，从而保证目标对象跟踪的及时性。本发明通过采用定点分类器模型将进行分类计算的预置数据转换为定点型数据，因此在整个跟踪系统中只需要执行一次浮点型数据与定点型数据的转换，从而提高数据处理的速度，进而有效保证目标对象跟踪的及时性。基于上述实施例，本实施例中，基于视觉的目标跟踪装置还包括：采集模块101，用于采集包含目标对象群的正样本图像及非目标对象群的负样本图像以制作分类器图像样本库；特征提取模块102，用于分别提取所述正样本图像及负样本图像中的各个haar特征；训练模块103，用于根据所提取的haar特征，按照adaboost算法训练浮点分类器；数据转换模块104，用于按照预置的数据结构将所训练出的浮点分类器转换为定点分类器；储存模块105，用于按照所述预置的数据结构储存所述定点分类器。应当说明的是，本实施例中上述采集模块101和上述获取模块100可以为同一模块，也可不为同一模块。以下以同一模块作出详细说明。首先通过采集模块101最大可能采集包含目标对象群所处环境的图像，并根据采集的图像进行正样本图像和负样本图像区分，以制作分类器的图像样本库；再通过特征提取模块102在图像样本库中根据adaboost算法需求提取正样本图像及负样本图像的haar特征，并由训练模块103根据提取的haar特征和adaboost算法训练浮点分类器模型；然后由数据转换模块104根据预置的数据结构对浮点分类器模型输出的浮点型数据进行转换，转换为定点型数据。最后由储存模块105将定点型数据以预置的数据结构进行储存。应当说明的是，上述预置的数据结构的形式可根据实际需要进行设置。例如本实施例中，上述预置的数据结构为分类器数据结构，所述分类器数据结构包括Haar特征结构、整型弱分类器阈值及整型权值系数，用于描述和保存训练出来的分类器数据。本实施例中，该分类器数据为上述已转换为定点型的预置数据。述Haar特征结构包括haar特征矩形是否旋转及haar特征矩形属性和权值，用于描述和保存正样本图像及负样本图像的Haar特征数据。具体地，储存模块105按照所述预置的数据结构储存所述定点分类器的方式可以为多种，例如可以采用二进制的文本进行数据保存，本实施例中，为了方便程序的调用，优选地可设置变量将定点型数据储存至应用程序当中，例如储存模块105可按照上述预置的数据结构以C语言或C++语言的方式存储所述定点分类器。通过设置变量对定点型数据，在后续的程序调用时，仅需通过获取变量的值即可获取相应的数据。相对于采用二进制文本进行数据保存，本实施例提供的定点型数据储存的方式可便于开发人员进行更改或使用。结合参照图6，图6为图5中跟踪模块的结构示意图。基于上述实施例，本实施例中，对于需要进行跟踪的目标对象的确定可以手动选取，也可以自动选取。当采用自动选取时，上述跟踪模块300包括：标示单元301，用于标示各所述目标对象；计算单元302，用于根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)获取标示的各目标对象的运动轨迹信息。标示各所述目标对象的方式可以但不限于为：分别给各目标对象分配一个ID以区分各目标对象，如步骤S10中采集的图像信息经步骤S20中的定点分类器进行分类后得到5个目标对象，在该步骤S31中将该5个目标对象分别标记为1、2、3、4和5。优选地，为了将各目标对象显示，可通过矩形框等突出显示标记一一对所有的目标对象进行标示。进一步地，为了更清楚的记录各目标对象的位置，在进行标示或显示时，同时记录各目标对象的位置(如在GOOLE地球或卫星地球的位置)，该位置信息可以以三维坐标的方式显示，一方面，方便用户查看，另一方面可作为后续形成运动轨迹数据的基础。本实施例中，直接以定点分类器模型检测的所有目标对象作为需要跟踪的目标，首先对所有的目标对象一一进行标示，然后再根据上述对象群信息按照金字塔光流算法获取各标示的目标对象的运动轨迹信息，即实现了对目标对象的跟踪。其中目标对象的运动轨迹信息包括目标对象的运动轨迹及由形成该运动轨迹的若干坐标形成的跟踪链坐标，该跟踪链坐标可通过一数组进行储存。当采用手动选取时，上述跟踪模块300包括：接收单元303，用于接收跟踪特定目标对象的指令；计算单元302，用于根据所获取的目标对象群信息，并按照金字塔光流算法(L-K)获取所述特定目标对象的运动轨迹信息。本实施例中，可由用户在图像上选择需要进行跟踪的特定目标对象，可以理解的是用户选择的特定目标对象应该是处理模块200所获取的目标对象群中的一个或多个，然后再根据所获取的目标对象群信息并按照金字塔光流算法获取各所述特定目标对象的运动轨迹信息，即实现了对特定目标对象的跟踪。其中特定目标对象的运动轨迹信息包括特定目标对象的运动轨迹及由形成该运动轨迹的若干坐标形成的跟踪链坐标，该跟踪链坐标可通过一数组进行储存。可以理解的是，为了方便用户继续努力特定目标的选择，本实施例中，也可首先对所有的目标对象进行标示。可以理解的是，用户可能选择除处理模块200所获取的目标对象群以外的对象(即非目标对象)，本实施例不对其进行跟踪并告知用户其为非目标对象。当然在该非目标对象属于分类器图像样本库时，在另一实施例中也可以对其进行跟踪，即需要再次通过处理模块200获取用户所选择的非目标对象信息，然后再根据所获取的非目标对象群信息，并按照金字塔光流算法(L-K)对该非目标对象进行跟踪。应当说明的是上述对目标对象的跟踪范围是飞行器上的拍摄装置可以拍摄到的有限区域，也即是在拍摄装置所拍摄的图像上的跟踪，根据跟踪范围的需要，可在飞行器上设置一个或多个可旋转的摄像装置，为了能够实现多目标及较大范围的跟踪，本发明实施例中在飞行器上设置多个可旋转的摄像装置。如当飞行器上设置一个摄像装置且需跟踪三个对象时(即一个摄像装置需跟踪多个对象)，可通过飞行器的移动或姿态变换、摄像装置的旋转以达到在清晰可见该三个被跟踪的对象的情况下进行跟踪。再如当飞行器上设置三个摄像装置且需跟踪三个对象时(即一个摄像装置需跟踪一个对象)，可通过飞行器的移动、姿态变换或/和三个摄像装置的旋转以达到在清晰可见该三个被跟踪的对象的情况下进行跟踪。进一步地，为了对特定的某一目标进行远距离的跟踪，飞行器可跟随该特定的某一目标对象进行移动以达到远距离的跟踪。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。