statistics"的文章中公开的对象跟踪方法(下文称之为投影图跟踪方法)。该 对象跟踪方法对人在某个平面视图上进行特征统计，以此统计特征为基础进行人的检测和 跟踪，其中使用了水平面视图上的人的表面点的分布的统计特征和卡尔曼滤波。该非专利 文献提出的基于水平面视图的方法（3维到2维的坐标变换、直方图统计，即在平面视图上 计算特征）可以一定程度上减轻遮挡的影响，比较适合用于如客厅、大堂等背景较为简单的 场景，不过对于例如有很多隔断的复杂的办公场景，会发生跟踪失败的问题。
[0051] 图5示出了根据本发明一个实施例的作为第一跟踪方法示例采用的投影图跟踪 方法的总体流程图，该方法以灰度图和深度图作为输入，包括背景建模和前景分割步骤 S121、将前景转换到投影图步骤S122、人的检测和跟踪步骤S123,该方法的输出是人的跟 踪结果列表。
[0052] 另外，在另一示例中，作为第一跟踪方法，还可以采用申请人与本发明的 申请人相同的发明名称为"基于立体摄像机的物体检测方法和装置"的中国专利 申请CN201210292660. 2和发明名称为"对象跟踪方法和装置"的中国专利申请 CN201210327643. 8中提出的方法。这里通过引用将其全文合并于此。
[0053] 在步骤S130中，朝向检测部件130检测利用第一跟踪方法跟踪部件120跟踪到的 第一对象的朝向。
[0054] 目前已有某些公知技术用于检测人的朝向，比如，将人的行走方向作为他的朝向， 行走方向可以通过比较该人在一段时间内位置的变化计算得出。上述方法的一个前提假设 是人的行走方向和其朝向一致。图6示出了根据本发明一个实施例的人的朝向检测方法的 解释图。其中C标记的为相机在投影图中的位置，虚线的三角形区域表示相机的可视区域。 通过第一跟踪方法，得到某个人在时间t时刻出现在投影图的位置Pos t=(xt，yt)而t+Ι时 亥1]位置为？〇\+1=〇^ +1^+1)，则其朝向0可根据公式（1)计算得出：
【主权项】
1. 一种在至少一个视频流的图像中跟踪对象的对象跟踪方法，包括： 图像接收步骤，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一 个对象； 第一跟踪方法跟踪步骤，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对 象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识 符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率； 朝向检测步骤，检测该第一对象的朝向； 跟踪结果可信度评估步骤，评估该第一对象的初始跟踪结果的可信度； 可信分支模型建立或更新步骤，如果该第一对象的初始跟踪结果的可信度不低于预定 阔值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征， W及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特 征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况 下，对象的各个特征中的至少一个取值不同；W及 不可信分支对象识别和模型建立更新步骤，如果该第一对象的初始跟踪结果的可信度 低于预定阔值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个 候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对 象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或 建立第一对象的第一跟踪方法的模型，W及更新或建立第一对象的朝向对应特征模型。
2. 根据权利要求1的对象跟踪方法，在可信分支模型建立或更新步骤中，在更新该第 一对象的与该朝向相关联的朝向对应特征模型中，判定提取的跟踪到的第一图像中的该第 一对象的特征与朝向对应特征模型中对应特征之间的一致性，并且仅在一致性达到预定标 准时，才基于提取的跟踪到的第一图像中的该第一对象的特征来更新朝向对应特征模型中 的对应已有特征。
3. 根据权利要求1的对象跟踪方法，所述可信分支模型建立或更新步骤中的提取跟踪 到的第一图像中的该第一对象的特征包括： 提取将该第一对象与其它对象区分开的能力最强的特征。
4. 根据权利要求1的对象跟踪方法，在跟踪结果可信度评估步骤中，如果两个要跟踪 的对象之间存在遮挡，或者两个要跟踪的对象之间在各峽之间不断靠近，则将可信度设置 为低于预定阔值。
5. 根据权利要求1的对象跟踪方法，所述朝向对应特征模型所涉及的特征包括： 描述对象的物理尺寸的特征；W及 描述颜色的特征、描述纹理的特征和描述步态的特征中的至少一种。
6. -种识别图像中的对象的对象识别方法，包括： 图像接收步骤，接收第一图像，该第一图像包括至少一个待识别对象； 朝向检测步骤，检测待识别对象的朝向； 特征值提取步骤，对于预定的各个特征，提取待识别对象的特征值； 朝向对应特征模型获得步骤，基于检测到的待识别对象的朝向，获得与该朝向对应的 候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的 各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个 取值会不同；w及 对象识别步骤，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对 应特征模型，识别对象。
7. 根据权利要求6的对象识别方法，其中所述各个特征包括： 描述对象的物理尺寸的特征；W及 描述颜色的特征、描述纹理的特征和描述步态的特征中的至少一种。
8. 根据权利要求6的对象识别方法，其中所述各个特征包括： 对于每个候选对象，将该候选对象与其它候选对象区分开的能力最强的特征。
9. 一种在至少一个视频流的图像中跟踪对象的对象跟踪装置，包括： 图像接收部件，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一 个对象； 第一跟踪方法跟踪部件，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对 象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识 符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率； 朝向检测部件，检测该第一对象的朝向； 跟踪结果可信度评估部件，评估该第一对象的初始跟踪结果的可信度； 可信分支模型建立或更新部件，如果该第一对象的初始跟踪结果的可信度不低于预定 阔值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征， W及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，其中对象的朝向对应 特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情 况下，对象的各个特征中的至少一个取值会不同； 不可信分支对象识别和模型建立更新部件，如果该第一对象的初始跟踪结果的可信度 低于预定阔值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个 候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对 象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或 建立第一对象的第一跟踪方法的模型，W及更新或建立第一对象的朝向对应特征模型。
10. -种识别图像中的对象的对象识别装置，包括： 图像接收部件，接收第一图像，该第一图像包括至少一个待识别对象； 朝向检测部件，检测待识别对象的朝向； 特征值提取部件，对于预定的各个特征，提取待识别对象的特征值； 朝向对应特征模型获得部件，基于检测到的待识别对象的朝向，获得与该朝向对应的 候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的 各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个 取值会不同；W及 对象识别部件，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对 应特征模型，识别对象。
【专利摘要】提供了对象跟踪方法和装置以及对象识别方法和装置。该对象跟踪方法可以包括：接收图像；利用第一跟踪方法跟踪第一图像中的对象；检测对象的朝向；评估对象跟踪结果的可信度；如果跟踪结果的可信度较高，则提取对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象；以及如果对象的跟踪结果的可信度低，则基于检测到的该第一对象的朝向，获取与朝向对应的各个候选对象的朝向对应特征模型，基于各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象。本发明很好地将对象跟踪和对象识别融合在一起，维持较高的跟踪质量。
【IPC分类】G06K9-00, G06T7-20
【公开号】CN104599287
【申请号】CN201310533708
【发明人】王鑫, 范圣印, 王千, 乔刚, 诸加丹
【申请人】株式会社理光
【公开日】2015年5月6日
【申请日】2013年11月1日