对象跟踪方法和装置、对象识别方法和装置的制造方法
【技术领域】
[0001] 本发明总体地涉及图像处理，具体地，涉及对象跟踪方法和装置，以及对象识别方 法和装置。
【背景技术】
[0002] 可视对象的实时跟踪可以用于很多计算机视觉应用中，例如远程感测、监控、安全 领域、医护领域等。
[0003]目前已知一些通过对摄像机拍摄的图像或者视频流进行图像处理，来对物体进行 定位或跟踪的方法。
[0004] 其中一类方法是基于颜色图像的跟踪方法，例如，tracking by detection (通过 检测来跟踪）的方法使用训练的方法，学习目标和背景之间具有区别性的特征，分类器在跟 踪中匹配目标。该方法对于复杂的场景具有鲁棒性，但是缺点是外观模型对目标的朝向敏 感，如果朝向改变，分类器常常会失效。有关介绍可参考Z. Kalal等人在PAMI2011年发表的 题为"Tracking-Learning-Detection"的文章 ，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 6,NO. 1，JANUARY2010。
[0005] 另一类方法是随着立体相机的普及而提出的基于深度图像的跟踪方法。Michael Harville 在 2003 发表的文章 〃Stereo Person Tracking with Adaptive Plan-View Templates of Height and Occupancy Statistics〃中提出了如何使用双目相机进行人的 检测和定位，在投影图上使用了 Kalman滤波的跟踪方法。该方法计算速度快，不过在严重 遮挡下容易跟踪失败，这是因为不同的人在投影图上的外观是很相似的。
[0006] 专利文献US7536030B2提出了一种实时的基于贝叶斯的3D姿势的跟踪系统。该系 统包括：采集的视频作为输入，图像处理单元对视频进行实时的3D姿势跟踪；同时在帧和 帧之间利用贝叶斯的方法进行在线的点的匹配和姿势估计；然后在线的贝叶斯融合方法根 据历史数据判断当前的姿势，从而提供稳定的跟踪质量并可在姿势改变过程中保持跟踪。
[0007] 专利文献US8315432提出了一种虚拟现实的方法和设备，该方法实时的自动的在 视频中跟踪一个立体的对象，不需要在对象表面打标记。该方法主要包括：视频的第一帧含 有需要跟踪的对象，利用该帧中指定的图像块确定对象的位置和朝向，指定的图像块由先 验知识获得。图像块与被跟踪对象的曝光值相关。
[0008] 专利文献US8335348B2提出了一种对尺度和方向自适应的机器视觉的跟踪方法。 该发明提出的方法描述了如何在多帧图像中跟踪一个对象，包括：1)将识别出的对象分成 多个小的对象区域；2)对每一块小的对象区域进行跟踪；3)使用每一块对象区域的位置估 计整个对象的尺度和方向；4)根据估计的尺度和方向计算对象的位置。
【发明内容】
[0009] 本发明的一个目的在于减少对象朝向对跟踪的影响，及时发现和预警跟踪失败， 提1?跟踪的质量。
[0010] 根据本发明的一个方面，提供了一种在至少一个视频流的图像中跟踪对象的对象 跟踪方法，可以包括：图像接收步骤，从该至少一个视频流接收第一图像，第一图像中包括 要跟踪的至少一个对象；第一跟踪方法跟踪步骤，利用第一跟踪方法跟踪第一图像中的、 要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一 对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的 概率；朝向检测步骤，检测该第一对象的朝向；跟踪结果可信度评估步骤，评估该第一对象 的初始跟踪结果的可信度；可信分支模型建立或更新步骤，如果该第一对象的初始跟踪结 果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像 中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模 型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在 对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及不可信分支对 象识别和模型建立更新步骤，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则 基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对 应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征 模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第 一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。
[0011] 根据本发明的另一方面，提供了一种在至少一个视频流的图像中跟踪对象的对象 跟踪装置，可以包括：图像接收部件，从该至少一个视频流接收第一图像，第一图像中包括 要跟踪的至少一个对象；第一跟踪方法跟踪部件，利用第一跟踪方法跟踪第一图像中的、 要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一 对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的 概率；朝向检测部件，检测该第一对象的朝向；跟踪结果可信度评估部件，评估该第一对象 的初始跟踪结果的可信度；可信分支模型建立或更新部件，如果该第一对象的初始跟踪结 果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像 中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模 型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对 象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值不同；以及不可信分支 对象识别和模型建立更新部件，如果该第一对象的初始跟踪结果的可信度低于预定阈值， 则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向 对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特 征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的 第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。
[0012] 利用本发明实施例的对象跟踪方法和对象跟踪装置，在对象跟踪过程中，检测对 象的朝向，将对象的模型应该与对象的朝向相关联；并随时评估跟踪质量，并在跟踪质量较 高时维护与朝向对应的对象的朝向对应特征模型，而在发现跟踪质量不高时，基于在先前 跟踪质量较高的情况下所维护的对象的朝向对应特征模型，而启动更复杂和精确的对象识 别方法来进行对象识别，从而能够及时发现甚至提前预测跟踪失败的发生，很好地将对象 跟踪和对象识别融合在一起，维持较高的跟踪质量。
[0013] 根据本发明的再一方面，提供了一种识别图像中的对象的对象识别方法，可以包 括：图像接收步骤，接收第一图像，该第一图像包括至少一个待识别对象；朝向检测步骤， 检测待识别对象的朝向；特征值提取步骤，对于预定的各个特征，提取待识别对象的特征 值；朝向对应特征模型获得步骤，基于检测到的待识别对象的朝向，获得与该朝向对应的候 选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各 个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取 值会不同；以及对象识别步骤，基于提取的待识别对象的特征和所获得的与对象的朝向对 应的朝向对应特征模型，识别对象。
[0014] 根据本发明的再一方面，提供了一种识别图像中的对象的对象识别装置，可以包 括：图像接收部件，接收第一图像，该第一图像包括至少一个待识别对象；朝向检测部件， 检测待识别对象的朝向；特征值提取部件，对于预定的各个特征，提取待识别对象的特征 值；朝向对应特征模型获得部件，基于检测到的待识别对象的朝向，获得与该朝向对应的候 选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各 个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取 值会不同；以及对象识别部件，基于提取的待识别对象的特征和所获得的与对象的朝向对 应的朝向对应特征模型，识别对象。
[0015] 利用本发明实施例的对象识别方法和对象识别装置，先检测待识别对象的朝向， 然后基于检测的朝向来采用与朝向相应的朝向对应特征模型来识别对象，能够提高对象识 别的准确度。
【附图说明】
[0016] 从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和 优点将变得更加清楚并更容易理解，其中：
[0017] 图1示出了视频流中对象跟踪失败的示例图。
[0018] 图2示出了根据本发明一个实施例的系统输入输出示意图。
[0019] 图3示出了根据本发明一个实施例的对象跟踪装置的配置框图。
[0020] 图4示出了