面向机器人的目标物追踪检测方法及装置与流程

本发明涉及智能机器人领域，具体地说，涉及一种面向机器人的目标物追踪检测方法及装置。

背景技术：

目标物检测是指在静态图像中定位目标物并输出目标物的位置及大小等信息。由于目前的一些对于目标物(如人脸、人体)的检测算法精度较高，运算复杂，因此检测过程较长，从而带来了较为长的延时。例如，针对目前常用的检测算法例如HOG(灰度梯度直方图)+SVM(支持向量机)，延时甚至可以达到300毫秒以上。这便会导致目标物体在摄像头视野内横向或纵向快速运动时，目标物体选框并不能反映目标物体当前的准确位置。而目标物体当前的准确位置对于机器人的目标物体追踪和人机交互至关重要。

因此，现有技术中缺乏克服检测延时带来的所得到的选框结果不能真正反映物体当前位置的问题的技术方案。

技术实现要素：

本发明的目的在于解决现有技术的检测延时导致的不能实时跟踪的问题，提出了一种检测与跟踪混合进行的目标物跟踪方法。根据本发明的面向机器人的目标追踪检测方法包括以下步骤：

图片检测步骤，启动目标追踪后，对接收到的图片进行存储，按设定的时间间隔，对当时接收的图片进行检测，以得到该图片中目标物对应的位置信息和边界；

反向追踪步骤，当所述图片检测步骤得到任一张图片的检测结果后，对接收到该被检测图片之后接收的图片进行追踪，直至追踪到的目标物的位置信息和边界，对应所有被存储图片中，获取时间距当时时间最短的一张图片，将该图片的追踪结果作为反向追踪结果；

前向追踪步骤，当反向追踪步骤得到反向追踪结果时，输出反向追踪结果，并基于所述反向追踪结果对之后接收的图片进行追踪，以获取之后接收的图片中目标物对应的位置信息和边界并输出，直至反向追踪步骤根据下一张被检测图片得到新的反向追踪结果。

在根据本发明的面向机器人的目标追踪检测方法的一个实施例中，优选的是，当所述图片检测步骤中的检测结果显示不存在目标物时，结束正在进行的反向追踪步骤和前向追踪步骤。

在根据本发明的面向机器人的目标追踪检测方法的一个实施例中，优选的是，将接收到的图片保存在图片队列中。

在根据本发明的面向机器人的目标追踪检测方法的一个实施例中，优选的是，在所述反向追踪步骤中，在获取了对应于图片的位置信息之后，将所述图片从所述图片队列中物理删除。

在根据本发明的面向机器人的目标追踪检测方法的一个实施例中，优选的是，所述设定的时间间隔大于等于一张图片的检测时长。

根据本发明的另一个方面，还提供了一种面向机器人的目标追踪检测装置，所述装置包括：

检测单元，其用于启动目标追踪后，对接收到的图片进行存储，按设定的时间间隔，对当时接收的图片进行检测，以得到该图片中目标物对应的位置信息和边界；

反向跟踪单元，其用于当所述图片检测步骤得到任一张图片的检测结果后，对接收到该被检测图片之后接收的图片进行追踪，直至追踪到的目标物的位置信息和边界，对应所有被存储图片中，获取时间距当时时间最短的一张图片，将该图片的追踪结果作为反向追踪结果；

前向跟踪单元，其用于当反向追踪步骤得到反向追踪结果时，输出反向追踪结果，并基于所述反向追踪结果对之后接收的图片进行追踪，以获取之后接收的图片中目标物对应的位置信息和边界并输出，直至反向追踪步骤根据下一张被检测图片得到新的反向追踪结果。

根据本发明的目标追踪检测装置还包括输出单元，其用于输出所述目标物位置信息和边界选框。

在根据本发明的面向机器人的目标追踪检测装置的一个实施例中，优选的是，在目标物检测处理期间，将输入的图片按先入先出方式保存在图片队列中。

在根据本发明的面向机器人的目标追踪检测装置的一个实施例中，优选的是，所述反向追踪单元在获取了对应于图片的位置信息之后，将所述图片从所述图片队列中物理删除。

在根据本发明的面向机器人的目标追踪检测装置的一个实施例中，优选的是，当所述检测单元中输出的检测结果显示不存在目标物时，关闭正在进行处理的反向追踪单元和前向追踪单元的运行。

在根据本发明的面向机器人的目标追踪检测装置的一个实施例中，优选的是，所述设定的时间间隔大于等于一张图片的检测时长。

本发明的有益效果是：由于本发明在图片检测期间，对当前图片之前的未检测图片帧系列进行反向追踪处理，同时对当前图片之后输入的图片系列进行前向追踪，因此可以消除目标物检测所带来的跟踪延迟的问题，使得目标物的追踪信息比较精确地反映当前输入的图片的目标物运动情况，尤其是目标快速地在视场范围内快速运动时，更能体现出本发明的优点。此外，在反向追踪期间，对已处理的图片进行物理删除，可以进一步节约存储空间，为后续图片的输入作准备。更进一步地，在图片队列寄存器中保存的并不是图片本身而是图片所存储的路径表示或者指向这些图片的指针，这样也会进一步节约存储空间。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的一个实施例的以人面部为目标物的检测跟踪系统结构框图；

图2显示了根据本发明的一个实施例的目标物检测跟踪方法的流程图；

图3显示了在检测当期图片I_n期间其他图片排队的示意图；

图4显示了根据本发明思想的目标物检测跟踪的整体过程时序图；以及

图5显示了根据本发明的目标物跟踪装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。以下例子中，将以人脸为目标物体来进行本发明原理的说明。本领域的技术人员应该知晓，该实施例仅为说明目的，不用作对本发明的限制。

图1显示了根据本发明一个实施例的以人脸为目标物的检测与跟踪的系统框图。如图所示，该系统主要包括人脸检测和人脸跟踪两个部分。当系统启动后，首先运行检测模块，对输入的第一帧静态图像进行人脸检测，定位人脸后，向跟踪模块发出锁定信号。跟踪模块根据锁定的人脸提取参考特征，开始进行人脸跟踪。如果跟踪失锁，则向检测模块发出失锁信号，重新启动人脸检测。在摄像机随动系统的跟踪过程中，摄像机控制模块根据人脸信息(位置、尺寸)动态调整摄像机姿态。

如果所追踪的人脸在视场范围内有快速运动情况时，常规的跟踪方法往往由于检测时间过长而使得追踪不上当前输入的图片内容。

根据本发明的一个示例中，如图2所示，其中显示了一种面向机器人的目标追踪检测方法，包括：

S201图片检测步骤，启动目标追踪后，对接收到的图片进行存储，按设定的时间间隔，对当时接收的图片进行检测，以得到该图片中目标物对应的位置信息和边界；

S202反向追踪步骤，当所述图片检测步骤得到任一张图片的检测结果后，对接收到该被检测图片之后接收的图片进行追踪，直至追踪到的目标物的位置信息和边界，对应所有被存储图片中，获取时间距当时时间最短的一张图片，将该图片的追踪结果作为反向追踪结果；

S203前向追踪步骤，当反向追踪步骤得到反向追踪结果时，输出反向追踪结果，并基于所述反向追踪结果对之后接收的图片进行追踪，以获取之后接收的图片中目标物对应的位置信息和边界并输出，直至反向追踪步骤根据下一张被检测图片得到新的反向追踪结果。

需要说明的是，在目标物体跟踪检测过程中，图片例如为RGB图片连续地以一定时间间隔Ti输入到系统中，并保存在特定的存储空间，等待处理。由于检测算法相较于跟踪算法复杂，且耗费时间，因此检测的过程并不是针对所有输入的图片进行的。在本发明中，检测图片中包含的目标物期间，检测系统将停止接收新图片。也就是说，针对检测处理过程，根据检测所花费的时间Td和图片输入间隔Ti可以得到两张检测图片之间所漏过检测的图片数量，K₁＝Td/Ti。这K₁张图片仅保存在图片队列中，而不进入检测处理。

接下来，在步骤S201中，按设定的时间间隔，对当时接收的图片I_n进行检测，以得到图片I_n中目标物例如人脸对应的位置信息和边界。其中，n为图片的编号序列，图片I_n输入的时间点为t_n。检测所花费的时间Td与所选择的算法有关。根据本发明，在检测过程的Td或更长的时间窗内，检测系统停止接收新图片。请注意，这里仅针对检测过程而言，并不影响前述输入到跟踪处理过程中的图片接收。

如果在检测过程中，检测的结果发现图片中并没有目标物体，则将后面的反向追踪过程和前向追踪过程关闭，并令输出过程输出空的值，从而结束处理。接着，在步骤S202中，在得到到图片I_n的检测结果之后，对图片I_n之后的未检测图片进行目标物反向跟踪处理，其中，基于已检测的图片I_n中的目标物的位置并通过追踪算法遍历之后的所有未检测图片，直到追踪到所有被存储图片中，获取时间距当时时间最短的一张图片，将该图片的追踪结果，作为反向追踪结果。。

例如，令图片I_n的检测结果作为后续接收并存储的图片的追踪依据，并用追踪算法依次遍历图片队列中的所有图片，从而依次得到每张图片中目标物对应的位置信息P_b。根据本发明，优选的是，将存储在图片队列中的图片，按先入先出的方式，逐个抽出进行反向追踪处理，并将已进行反向追踪处理的图片进行物理删除，那么当图片队列中不存在未被追踪的图片，则已得到反向追踪结果。

接下来，在步骤S203中，当反向追踪步骤得到反向追踪结果时，输出反向追踪得到的位置信息和边界，并基于反向追踪得到的目标物位置对之后的各个图片进行前向跟踪处理，依次得到对应于之后输入的各个图片的目标物位置信息和边界选框并输出，直到接收到新的反向追踪结果。

在本发明这种情况下，虽然在检测期间存在K₁张图片未被立即进行检测或追踪，但是由于采用了根据图片的检测结果对检测期间接收到的图片进行反向追踪，直到追踪到最新接收的图片，输出反向追踪结果，再继续根据追踪结果进行前向跟踪，直到接收到新的反向追踪结果，从而能够保证所得到的位置信息和选框比较真实地反映目标物体最新的运动信息。

在追踪算法的选择上，对当前较为流行的算法Opencv和dlib进行了对比。dlib目标追踪算法初始化时间约5ms，单张图片追踪时间在12ms左右。在定位精度方面比较低，但基本能够满足一定要求。但是，该算法的抗丢失能力比较弱，这同单张图片追踪时件有关。该算法的原理可以参考：Danelljan,Martin,et al.‘Accurate scale estimation for robust visual tracking.’Proceedings of the British Machine Vision Conference BMVC.2014。而Opencv meanshift tracker目标追踪算法初始化时间约0.2ms，单张图片追踪时间在3ms左右。在定位精度方面比较高。并且，该算法的抗丢失能力较强。该算法的原理可以参考：Cheng,Yizong(August 1995).“Mean Shift,Mode Seeking,and Clustering.”IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE)17(8):790-799。

综上可知，在机器人上应当选用Opencv meanshift tracker作为跟踪算法。当然，这仅是本发明的最佳实施例，而不是作为本发明范围的限制。在跟踪算法的选择上，本发明并未对其设有限制。此外，为了进一步访问方便，本发明在图片队列中排队的图片是用指针或路径表示的。如图3所示，其中显示了在检测当期图片In期间其他图片排队等待跟踪处理的示意图。其中，Ti为输入图片的间隔，Td为检测一张图片所花费的时间。Td为固定的时间，或者根据图片的实际情况也可以是不固定的时间。根据本发明上述实施例，排队的图片数量为前向跟踪处理和反向跟踪处理的图片数量。

图4显示了一种更为简化的跟踪检测过程示意图。在该图中，以10副图片排队等待跟踪为例。在对图片I₁进行检测后，采用图片I₁的检测结果即目标物位置信息对第2、3、4、5图片进行跟踪，从而获得第五张图片的位置信息P5b。

接下来，在检测第6张图片I₆期间，用第五张图片的位置信息P5b对第6张图片以及之后的图片进行前向跟踪。这样可以保证，根据上一张图片中的目标物的位置信息对当前图片进行目标物追踪，目标物选框的准确率更高，追踪的精确度也有较大改善。

如图5所示，其中显示了一种面向机器人的目标追踪检测装置的结构框图。在图5中，目标追踪检测装置包括：

检测单元，其用于启动目标追踪后，对接收到的图片进行存储，按设定的时间间隔，对当时接收的图片进行检测，以得到该图片中目标物对应的位置信息和边界；

反向跟踪单元，其用于当所述图片检测步骤得到任一张图片的检测结果后，对接收到该被检测图片之后接收的图片进行追踪，直至追踪到的目标物的位置信息和边界，对应所有被存储图片中，获取时间距当时时间最短的一张图片，将该图片的追踪结果作为反向追踪结果；前向跟踪单元，其用于当反向追踪步骤得到反向追踪结果时，输出反向追踪结果，并基于所述反向追踪结果对之后接收的图片进行追踪，以获取之后接收的图片中目标物对应的位置信息和边界并输出，直至反向追踪步骤根据下一张被检测图片得到新的反向追踪结果。

其中，设定的时间间隔大于等于一张图片的检测时长。并且，当所述检测单元中输出的检测结果显示不存在目标物时，关闭正在进行处理的反向追踪单元和前向追踪单元的运行。

本发明的跟踪检测装置实际上还包括输出单元，其用于输出所述目标物位置信息和边界选框。

优选的是，根据本发明的目标追踪检测装置还包括存储单元，以保存图片队列。为了节约存储空间，在该存储单元中可以仅保存图片存储路径或指针表示。

在根据本发明的面向机器人的目标追踪检测装置的一个实施例中，优选的是，在目标物检测处理期间，将输入的图片按先入先出方式保存在图片队列中。

在根据本发明的面向机器人的目标追踪检测装置的一个实施例中，优选的是，所述反向追踪单元在获取了对应于图片的位置信息之后，将所述图片从所述图片队列中物理删除。

在根据本发明的面向机器人的目标追踪检测装置的一个实施例中，优选的是，所述图片为RGB图片。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。