本发明涉及视频监控技术领域，且特别涉及一种基于人体部位模型的多人体跟踪方法。
背景技术：
智慧社会，智慧城市已经成为目前国内城市建设的一个主要方向，随着人工智能技术的爆发，人工智能已经国家层面的战略和政策。零售行业也提出了新零售的概念和举措，将走向高度智能化、便捷化、自动化、专业化，大大减少中间环节，解放人力。其中，智能无人商店成为了当前零售业最新兴的市场。智能无人商店，就是人工智能与新零售二者结合的产物，就是7x24小时无人值守的，通过人工智能实现购物的全部流程的店铺。这种店铺通过与人工智能系统连接，从用户的进入，到挑选商品，到收银，到离开，全程不需要任何人工参与，便可自助购物。基于视觉识别技术在智能无人商店是未来的发展趋势。商店内的多人体跟踪正是第一代智能无人商店的系统的核心技术之一。
目前主要的无人跟踪技术可以概括为生成式的方法和判别式方法。生成式方法主要在当前帧对目标区域建模，下一帧寻找与模型最相似的区域，也就是预测位置，如卡尔曼滤波技术，粒子滤波，均值漂移(mean-shift)算法等。判别式的方法，采用图像特征结合机器学习的方式，一般被称之为在线学习的方法。以当前帧的目标为正样本，背景为负样本，训练分类器，在下一帧，用训练好的分类器寻找目标。这类方法需要一个在线学习的过程，每帧进行训练，效果比生产式的方法要好。其中比较经典的算法有struck方法，tld方法。这些方法都是针对单个目标进行跟踪的方法，即在第一帧时，框定需要跟踪的目标区域，才能进行跟踪。在多目标跟踪的问题上，一般采用目标检测或者运动估计的方法，确定跟踪目标，例如对于人体的检测，采用hog特征结合svm的方法或者基于深度学习的目标检测方法等。
尽管目前有许多的不同的跟踪方法，然而在跟踪过程中，最为关键的还是目标的特征，导致跟踪失败的原因主要还是跟踪过程中发生的特征变化。目前，多人体跟踪技术存在的问题以下几个缺点：由于人体尺度变化，引起的特征差异，使得跟踪失败；人体目标相比于其他目标，在运动过程中会发生更多的形变，产生的特征变化；由于部分遮挡问题，引起的目标特征的变化。
技术实现要素：
本发明的目的在于提供一种基于人体部位模型的多人体跟踪方法，此多人体跟踪方法采用人体部位特征进行检测目标匹配的方式实现多人体的跟踪，对人体的跟踪准确，能够在真实场景中实现多人体目标跟踪。
本发明解决其技术问题是采用以下技术方案来实现的。
本发明提出一种基于人体部位模型的多人体跟踪方法，其包括以下步骤：
s1，获取预设区域内的图像数据，提取所述图像数据中每个检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，多个检测检测目标的部位特征集构成多人体部位特征集列表；
s2，计算当前帧获得的每个检测目标的部位特征集与上一帧获得的多人体部位特征集列表中每个检测目标的相似度，根据所述相似度得到匹配矩阵；
s3，根据所述匹配矩阵，计算当前帧获得的每个检测目标对上一帧获得的每个检测目标的相似置信度，根据所述相似度和所述相似置信度对当前帧获得的检测目标与上一帧获得的检测目标进行匹配，得到跟踪结果。
进一步地，在本发明较佳实施例中，步骤s3之后，还包括以下步骤：
s4，根据所述跟踪结果，更新所述多人体部位特征集列表包括：
s41，对于步骤s3中当前帧中未被匹配的检测目标进行验证，若验证为新目标，则保留在所述多人体部位特征集列表中，若验证为不是新目标，则将该未被匹配的检测目标从所述多人体部位特征集列表中删除；
s42，对于步骤s3中当前帧中每个被匹配的检测目标，对所述检测目标的部位特征集进行更新。
进一步地，在本发明较佳实施例中，每个检测目标的部位特征集表示为：
其中，m表示检测目标的数量；
每个检测目标的部位特征集按以下步骤构建：
s11，对所述图像数据中每个检测目标进行人体检测和姿态提取，得到l个人体部位模型和每个所述人体部位模型相对应的部位置信度；
s12，计算步骤s11中每一所述人体部位模型的颜色特征，得到每个检测目标的部位特征，表示为：
其中，l表示人体部位模型的个数，xj表示第j个检测目标的部位特征，xj由每个人体部位特征模型的颜色特征组成；sxj表示第j个检测目标的部位置信度集合，sxj由每个人体部位模型的部位置信度组成。
进一步地，在本发明较佳实施例中，步骤s12中，通过分布计算三个通道的颜色直方图特征，得到每一所述人体部位模型的颜色特征，第i个人体部位模型的颜色特征表示为：
xi＝[r,g,b]＝[rx1,rx2,...,rxn,gx1,gx2,...,gxn,bx1,bx2,...,bxn](1)，
其中，r，g，b分别表示三个通道的颜色直方图特征，n表示每个颜色通道的特征长度。
进一步地，在本发明较佳实施例中，步骤s2中，所述相似度由当前帧第j个检测目标的对上一帧第k个检测目标对应部位的特征相似度决定，按照以下公式计算得到：
其中，xj表示当前帧的第j个检测目标的部位特征，xij表示当前帧第j个检测目标的第i个部位，yk表示上一帧的第k个检测目标的部位特征，
根据公式(2)计算得到的所述相似度，得到大小为m×l的匹配矩阵suppm×l，其中，m表示当前帧检测目标的个数，l表示上一帧检测目标的个数。
进一步地，在本发明较佳实施例中，步骤s3中，所述相似置信度根据以下公式计算得到：
其中，supp(i,j)表示当前帧第j个人对上一帧第k个人的相似度。
进一步地，在本发明较佳实施例中，对当前帧获得的检测目标与上一帧获得的检测目标进行匹配的过程中，将当前帧第j个检测目标的身份判定为与上一帧中相对应的支持度和置信度最大的检测目标，如以下公式所示：
进一步地，在本发明较佳实施例中，步骤s42中，根据所述部位置信度对部位特征集进行更新，按照以下公式进行：
其中，
进一步地，在本发明较佳实施例中，步骤s41中，验证当前帧中未被匹配的检测目标的方法为：
所述预设区域包括进入区、离开区和自由活动区，如果检测目标的空间位置位于所述进入区，则被验证为是新目标，否则被判定为误检测，验证为不是新目标。
进一步地，在本发明较佳实施例中，还包括对离开所述预设区域的检测目标从已跟踪的所述多人体部位特征列表中进行删除的步骤。
本发明实施例的一种基于人体部位模型的多人体跟踪方法的有益效果是：
通过定位人体各个部位，获得检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，能够有效克服在多人体追踪过程中，尺度和形变特征的变化，通过根据人体部位的部位置信度，判断该部位是否被遮挡，从而避免遮挡引起的特征变化。在对上一帧和当前帧的检测目标进行匹配时，根据相似度和相似置信度进行匹配，得到更为准确的跟踪结果。本发明相对于现有方法使用的人体的整体目标更加鲁棒，同时不同于采用局部特征的方法，具有人体的结构语义信息，对人体的匹配跟踪准确，提供一种在真实场景中实现多人体目标跟踪的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的基于人体部位模型的多人体跟踪方法的示意图；
图2为本发明的人体部位特征模型的提取示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
下面对本发明实施例的一种基于人体部位模型的多人体跟踪方法进行具体说明。
本发明实施例提供一种基于人体部位模型的多人体跟踪方法，该多人体跟踪方法适用于智能无人商店的视频监控系统，用于跟踪每个顾客从进入商店到离开商店的整个过程。其主要机理如图1所所示：根据无人智能商店的门禁系统，给出当前商店中的人数，作为多人体跟踪的参照数值；在当前帧采用进行人体检测和姿态估计；计算每个部位的视觉特征；当前帧的目标根据部位与上一帧已有目标进行匹配，同时结合商店的进出数据，进行相应推理得到跟踪结果。
一种基于人体部位模型的多人体跟踪方法，其包括以下步骤：
s1，获取预设区域内的图像数据。在本实施例中，预设区域即无人商店的内部区域，包括进入区、自由活动区(货架区)和离开区(结算区)。通过摄像头采集商店内的图像数据，与摄像头连接的主机对蔡姐的图像数据进行相应的数据处理，包括：
提取所述图像数据中每个检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，多个检测检测目标的部位特征集构成多人体部位特征集列表。
具体地，每个检测目标的部位特征集表示为：
其中，m表示检测目标的数量；
每个检测目标的部位特征集按以下步骤构建：
s11，对所述图像数据中每个检测目标进行人体检测和姿态提取，得到l个人体部位模型和每个所述人体部位模型相对应的部位置信度。优选地，在本实施例中，采用通用的人体姿态提取方法openpose进行人体关键点提取。在openpose中，给出了人体的18个关键点，以及每个点的置信度，其中置信度小于0.5的关键点并非真实检测到的点，而是由于遮挡，通过算法预测的关键点。在本发明实施例中基于这些关键点，提取出人体的l个主要部位。优选地，在本实施例中，l为10，即提取出人体的10个主要部位作为人体部位模型，能够满足准确性的需求。每个人体部位模型采用旋转矩形表示，以避免截取到更多的背景区域，如图2所示。每个旋转矩形，即人体部位模型包括一个中心点、旋转角度、长宽以及部位置信度，具体如下：
对于头部，以左右耳朵，左右眼、鼻子以及脖子的位置作为关键点。在本发明优选实施例中，根据这些关键点的位置以及每个关键点的置信度，计算出头部区域的人体部位模型。对头部区域的人体部位模型的部位置信度的判断规则如下：
首先，如果关键点的置信度小于0.5，则被认为是遮挡点；若未被遮挡关键点的位置小于3，则认为头部区域被遮挡，矩形置信度为0(该人体部位模型的部位置信度为0)，矩形区域为空。否则去除遮挡点后，根据已有的点，计算包括这些点的一个旋转矩形为头部区域。如果鼻子点未被遮挡，则旋转矩形的中心点为鼻子点；否则以其他点的中心点位置作为矩形的中心。旋转矩形的角度，根据遮挡点的情况，依次选择鼻子和脖子关键点与水平线的夹角、眼睛联系与垂直方向的夹角或者耳朵联系与垂直方向的夹角作为选择矩形的角度。最后矩形的宽度为眼睛和耳朵关键点中未被遮挡点的最远距离，长度为脖子和鼻子点的距离，当这两点有遮挡发生时，以得到的脸部宽度的1.5倍作为长度；同时未被遮挡的关键点的平均置信度作为该人体部位模型的部位置信度。
对于身体躯干部位，以左肩、左臀、右肩、右臀以及脖子的位置作为关键点。计算包含这些关键点的旋转矩形，得到身体躯干区域的人体部位模型。对身体躯干区域的人体部位模型的部位置信度的判断规则如下：
首先，左肩、左臀连接成第一条直线，右肩、右臀连接成第二条直线，这两条直线为矩形的两条对称边。如果两条线中的任一端点被遮挡，则该条直线被判定为遮挡。两条直线均被遮挡，则判定此区域被遮挡。矩形的旋转角度为第一条线或者第二条线与水平方向的夹角。矩形的中心为这些关键点的中心点。当有遮挡发生时，利用脖子关键点和未被遮挡的直线计算中心点。同时矩形的长为直线的长度，宽度为直线的距离。同样，如果有遮挡存在，则通过脖子关键点和未被遮挡直线的距离为宽度。同样旋转矩形的部位置信度为所有未被遮挡的关键点的平均置信度。
对于四肢，划分成了8个区域。每个区域由2个关键点决定。例如左手上肢，以左肩和左手肘作为关键点，计算旋转矩形，得到左手上肢区域的人体部位模型。旋转矩形的中心为这2点的中点，角度为2点连接直线与水平方向的夹角；矩形的长度为直线长度；矩形的宽度为长度*0.4。旋转矩形区域的置信度为这2点的平均置信度。同理，对四肢的其他区域，采用同样的方式计算旋转矩形。最终得到人体的10个部位区域的人体部位特征模型。
s12，计算步骤s11中每一所述人体部位模型的颜色特征，得到每个检测目标的部位特征，表示为：
其中，l表示人体部位模型的个数，在本实施例中，l＝10。xj表示第j个检测目标的部位特征，xj由每个人体部位特征模型的颜色特征组成；sxj表示第j个检测目标的部位置信度集合，sxj由每个人体部位模型的部位置信度组成。
进一步地，在本发明较佳实施例中，步骤s12中，通过分布计算三个通道的颜色直方图特征，得到每一所述人体部位模型的颜色特征。特征归一化后，第i个人体部位模型的颜色特征表示为：
xi＝[r,g,b]＝[rx1,rx2,...,rxn,gx1,gx2,...,gxn,bx1,bx2,...,bxn](1)，
其中，r，g，b分别表表示三个通道的颜色直方图特征，n表示每个颜色通道的特征长度。优选地，在本实施例中，n＝16。即，每个通道的颜色特征均被量化为16个区间。
s2，计算当前帧获得的每个检测目标的部位特征集与上一帧获得的多人体部位特征集列表中每个检测目标的相似度，根据所述相似度得到匹配矩阵。具体如下：
相似度由当前帧第j个检测目标的对上一帧第k个检测目标对应部位的特征相似度决定，按照以下公式计算得到：
其中，xj表示当前帧的第j个检测目标的部位特征，xij表示当前帧第j个检测目标的第i个部位，yk表示上一帧的第k个检测目标的部位特征，
根据公式(2)计算得到的所述相似度，得到大小为m×l的匹配矩阵suppm×l，其中，m表示当前帧检测目标的个数，l表示上一帧检测目标的个数。
对于匹配矩阵suppm×l，每一行代表当前帧的某一个检测目标分别对上一帧的每个检测目标的相似度，每一行均有l个相似度；每一列代表当前帧每个检测目标分别对上一帧某一检测目标的相似度，每一列均有m个相似度，匹配矩阵suppm×l构成对称矩阵。
s3，根据所述匹配矩阵，计算当前帧获得的每个检测目标对上一帧获得的每个检测目标的相似置信度，根据所述相似度和所述相似置信度对当前帧获得的检测目标与上一帧获得的检测目标进行匹配，推理得到跟踪结果。
具体地，步骤s3中，所述相似置信度根据以下公式计算得到：
其中，supp(i,j)表示当前帧第j个人对上一帧第k个人的相似度。
进一步地，在本发明较佳实施例中，对当前帧获得的检测目标与上一帧获得的检测目标进行匹配的过程中，将当前帧第j个检测目标的身份判定为与上一帧中相对应的支持度和置信度最大的检测目标，如以下公式所示：
在进行跟踪结果的推理过程中，若仅仅依据匹配矩阵进行推理，有可能出现当前帧的第j个人与上一帧的两个或两个以上检测目标的相似度相同或相似，容易产生误判。本发明实施例同时考察当前帧的检测目标与上一帧的检测目标的相似度以及相似置信度，最大限度保证跟踪结果的准确性。
进一步地，在上述步骤中，还包括对离开所述预设区域的检测目标从已跟踪的所述多人体部位特征列表中进行删除的步骤。具体地，依据无人智能商店的结算系统和门禁系统的数据，如果有顾客离开，即上一帧中存在未被当前帧匹配的检测目标，从已跟踪的多人体部位特征集列表中删除已离开的检测目标。
进一步地，在本发明较佳实施例中，步骤s3之后，还包括以下步骤：
s4，根据所述跟踪结果，更新所述多人体部位特征集列表，包括：
s41，对于步骤s3中当前帧中未被匹配的检测目标进行验证，若验证为新目标，则保留在所述多人体部位特征集列表中，若验证为不是新目标，则将该未被匹配的检测目标从所述多人体部位特征集列表中删除。
具体地，验证规则如下：
读取无人智能商店的门禁数据，如果检测目标的空间位置位于预设区域的进入区，则被认为为是新目标，否则被判定为误检测，将其予以删除。
s42，对于步骤s3中当前帧中每个被匹配的检测目标，对所述检测目标的部位特征集进行更新。
具体地，假设当前帧第j个人的跟踪结果为列表中的第k个人，那么第j个人的第k个部位的特征更新方式如下：
其中，
本发明实施例通过上述方法，解决了多人体跟踪过程中由于人体形变引起的特征差异，导致跟踪失败的问题。本发明中的人体跟踪方法以人体姿态估计的结果作为输入，从而避免了一般目标跟踪方法中的尺度估计问题。对于遮挡问题，本发明中采用部位特征，可以有效排除遮挡部位，从而解决了因为遮挡引起的特征变化。
以上所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。