一种精准客流统计的方法、装置及电子设备与流程

1.本技术涉及图像处理技术领域，特别是涉及一种精准客流统计的方法、装置及电子设备。


背景技术：

2.客流量是实体经济中非常重要一项数据指标，实现精准客流统计可以帮助商家分析特定时间段内的经营效果，从而对自身经营手段进行调整，提高业绩。同时，许多公共场所通过精准客流统计，随时调整出入口的人员流量把控力度，可以有效防止拥挤踩踏事件的发生，从而实现更好的安全管理。
3.为了实现精准客流统计，现有技术方案通常通过判断设备采集的前后两帧图像是否在触发线两侧，并结合目标人员的运动方向来实现对进入或者离开该区域的人员进行计数。此处的触发线是目标人员由进入或者离开该区域的位置参考线，需在图像采集设备中预先设置。然而，在实际场景中可能会出现目标人员在触发线附近来回晃动的情况，导致同一人员被多次计数，从而影响客流量统计的准确率。


技术实现要素：

4.本技术提供了一种精准客流统计的方法、装置及电子设备，实现人员来回晃动以及反复进出情况下的精准客流统计。
5.第一方面，本技术提供了一种精准客流统计方法，所述方法包括：
6.获取检测图像并在所述检测图像中确定出检测点，其中，所述检测点与所述检测图像的前一帧图像的参考点在触发线两侧；
7.计算所述检测点到所述触发线的垂直距离；
8.判定所述垂直距离是否大于预设阈值；
9.若所述垂直距离大于预设阈值，则对所述检测图像中的目标对象进行客流计数；
10.若所述垂直距离小于预设阈值，则更新检测点，直到所述检测点和所述参考点位于所述触发线两侧。
11.通过上述统计方法，可以避免因为目标人员在触发线附近来回小幅度晃动，客流统计时重复计数而导致的客流统计不准确的问题，实现客流精准统计。
12.在一种可能的设计中，所述获取检测图像并在所述检测图像中确定出检测点，包括：
13.确定出所述检测图像的目标头肩框，确定所述目标头肩框的中心点；
14.将所述中心点作为所述检测点。
15.通过上述方法，将目标头肩框作为目标框，并且以头肩框的中心点作为检测点，能够减小远景与近景中目标框尺寸差异带来的影响，提高检测精度。
16.在一种可能的设计中，所述预设阈值是与目标头肩框高度成正比。
17.以与目标头肩框高度成正比的参数作为阈值，能够减小远景与近景中目标框尺寸
差异带来，当在远景中目标框减小时，所述阈值随之减小，可以提高计数的精度。
18.在一种可能的设计中，对所述检测图像中的目标对象进行客流计数，包括：
19.选取目标图像；
20.检测所述目标图像的目标头肩框中是否存在人脸数据；
21.若所述目标图像的目标头肩框中不存在所述人脸数据，则将所述目标对象删除；
22.若所述目标图像的目标头肩框中存在所述人脸数据，则对所述目标对象进行计数。
23.通过上述方法，将没有人脸数据的目标对象删除，这种情况下可以保证每次参与计数的人员都能参与人脸数据库比对，提高客流统计的精确性。
24.在一种可能的设计中，对所述目标对象进行计数，包括：
25.将所述目标对象的人脸数据与预设人脸数据库进行匹配，其中，预设人脸数据库包括非客户人脸数据库和当天客户人脸数据库；
26.若所述目标对象人脸数据与预设人脸数据库匹配成功，则目标进和出计数均加0；
27.若所述目标对象人脸数据与预设人脸数据库匹配失败，则目标进或出计数加1，并将所述目标对象人脸数据存入预设人脸数据库。
28.基于上述的方式，将目标对象人脸数据与预设人脸数据库进行匹配，不仅能够排除非客户人员，也能对当天内反复进出的客户进行人脸去重处理，从而避免对同一个目标进行多次计数导致的客流量统计不准确的问题。
29.在一种可能的设计中，在获取检测图像之前，还包括：
30.将图像采集设备连续获取的两帧图像分别输入基于anchor
‑
free的神经网络，获得所述两帧图像中多个目标的头肩框的坐标及reid特征，其中，所述目标头肩框的坐标与reid特征一一对应；
31.根据所述多个目标的头肩框的坐标及reid特征，对每一个目标的头肩框是否满足跟踪条件进行判断；
32.若任一目标的头肩框满足跟踪条件，则对满足跟踪条件的目标的头肩框进行跟踪，并在跟踪轨迹中选出一帧图像作为检测图像；
33.若任一目标的头肩框不满足跟踪条件，且同一目标的头肩框连续被判定为不满足跟踪条件的次数达到阈值时，则将所述目标的头肩框删除。
34.基于上述方式，可以实现对多个目标进行跟踪，使得上述的精准客流统计的方法可以适应出入口人员众多的情况。同时，使用基于anchor
‑
free的神经网络可以实现一次网络前向推理即可同时获取图像中多个目标的头肩框的坐标及reid特征，可降低时耗，提高实时性。
35.在一种可能的设计中，对每一个目标的头肩框是否满足跟踪条件进行判断，包括：
36.根据多个目标的头肩框的坐标及reid特征，计算得到多个目标的头肩框的损失矩阵，其中损失矩阵指示所述两帧图像中第一图像的目标的头肩框与所述两帧图像中第二图像的目标的头肩框之间的特征相似度距离；
37.将所述损失矩阵中大于预设特征相似度阈值的元素进行过滤，并将剩下的元素对应的第一图像中目标的头肩框与第二图像中目标的头肩框基于特征相似度进行匹配，确定建立匹配关系的目标的头肩框满足跟踪条件；
38.对基于特征相似度不能建立匹配关系的目标的头肩框，根据第一图像中所述目标的头肩框坐标和第二图像中所述目标的头肩框坐标计算交并比，得到交并比矩阵，其中交并比矩阵指示第一图像中所述目标的头肩框与第二图像中所述目标的头肩框之间的重合度；
39.将所述交并比矩阵中小于预设交并比阈值的元素进行过滤，并将剩下的元素对应的第一图像中目标的头肩框与第二图像中目标的头肩框基于交并比进行匹配，确定建立匹配关系的目标的头肩框满足跟踪条件；否则，所述目标的头肩框不满足跟踪条件，不进入迭代跟踪流程。
40.在多个目标跟踪的过程中，先利用目标的头肩框之间的特征相似度进行匹配，判断该目标的头肩框是否满足跟踪条件，可以有效缓解目标对象快速移动、互相拥挤带来的漏跟、错跟问题。对于不能满足跟踪条件的剩余目标，进一步利用目标的头肩框之间的交并比进行匹配，判断该目标是否满足跟踪条件，通过两次匹配，可提高图像中的目标头肩框的跟踪效率，提高多目标跟踪准确率。
41.在一种可能的设计中，计算得到多个目标的头肩框的损失矩阵，包括：
42.根据多个目标的头肩框坐标，计算第一图像中目标的头肩框中心点和第二图像中目标的头肩框中心点之间的马氏距离，得到第一马氏距离矩阵；
43.根据预设参数，将第一马氏距离矩阵中大于或者等于预设参数的元素置为无穷大，将小于预设参数的元素置为1，得到第二马氏距离矩阵；
44.根据多个目标的头肩框的重识别reid特征，计算第一图像中目标的头肩框和第二图像中目标的头肩框之间的特征相似度距离，得到特征相似度距离矩阵；
45.将第二马氏距离矩阵与特征相似度矩阵的对应元素相乘，得到损失矩阵。
46.基于上述方法，生成的损失矩阵可以实现将空间距离大于预设参数的第一图像中的目标的头肩框与第二图像中的目标的头肩框之间的特征相似度距离变为无穷大。
47.第二方面，本技术提供了一种精准客流统计的装置，所述装置包括：
48.获取模块，用于获取检测图像并在所述检测图像中确定出检测点，其中，所述检测点与所述检测图像的前一帧图像的参考点在触发线两侧；
49.计算模块，用于计算所述检测点到所述触发线的垂直距离；
50.第一判定模块，用于判定所述垂直距离是否大于预设阈值；
51.计数模块，若所述垂直距离大于预设阈值，则用于对所述检测图像中的目标对象进行客流计数；
52.更新模块，若所述垂直距离大于预设阈值，则用于对所述检测图像中的目标对象进行客流计数。
53.在一种可能的设计中，所述计数模块，具体用于：
54.选取目标图像；
55.检测所述目标图像中是否存在人脸数据；
56.若所述目标图像中不存在所述人脸数据，则将所述目标对象删除；
57.若所述目标图像中存在所述人脸数据，则对所述目标对象进行计数。
58.在一种可能的设计中，所述计数模块，还用于：
59.将所述目标对象的人脸数据与预设人脸数据库进行匹配，其中，预设人脸数据库
包括非客户人脸数据库和当天客户人脸数据库；
60.若所述目标对象人脸数据与预设人脸数据库匹配成功，则目标进和出计数均加0；
61.若所述目标对象人脸数据与预设人脸数据库匹配失败，则目标进或出计数加1，并将所述目标对象人脸数据存入预设人脸数据库。
62.在一种可能的设计中，所述装置，还包括：
63.编码模块，用于将图像采集设备连续获取的两帧图像分别输入基于anchor
‑
free的神经网络，获得所述两帧图像中多个目标的头肩框的坐标及reid特征，其中，所述目标头肩框的坐标和reid特征一一对应；
64.第二判定模块，用于根据所述多个目标的头肩框的坐标及reid特征，对每一个目标的头肩框是否满足跟踪条件进行判断；
65.跟踪模块，若任一目标的头肩框满足跟踪条件，则用于对满足跟踪条件的目标的头肩框进行跟踪，并在跟踪轨迹中选出一帧图像作为检测图像；
66.删除模块，若任一目标的头肩框不满足跟踪条件，且同一目标的头肩框连续被判定为不满足跟踪条件的次数达到阈值时，则用于将所述目标的头肩框删除。
67.在一种可能的设计中，所述第二判定模块，包括：
68.第一计算单元，用于根据多个目标的头肩框的坐标及reid特征，计算得到多个目标的头肩框的损失矩阵，其中损失矩阵指示所述两帧图像中第一图像的目标的头肩框与所述两帧图像中第二图像的目标的头肩框之间的特征相似度距离；
69.第一匹配单元，用于将所述损失矩阵中大于预设特征相似度阈值的元素进行过滤，并将剩下的元素对应的第一图像中目标的头肩框与第二图像中目标的头肩框基于特征相似度进行匹配，确定建立匹配关系的目标的头肩框满足跟踪条件；
70.第二计算单元，对于特征相似度不能建立匹配关系的目标的头肩框，用于根据第一图像中所述目标的头肩框坐标和第二图像中所述目标的头肩框坐标计算交并比，得到交并比矩阵，其中交并比矩阵指示第一图像中所述目标的头肩框与第二图像中所述目标的头肩框之间的重合度；
71.第二匹配单元，用于将所述交并比矩阵中小于预设交并比阈值的元素进行过滤，并将剩下的元素对应的第一图像中目标的头肩框与第二图像中目标的头肩框基于交并比进行匹配，确定建立匹配关系的目标的头肩框满足跟踪条件；否则，所述目标的头肩框不满足跟踪条件，不进入迭代跟踪流程。
72.第三方面，本技术提供了一种电子设备，包括：
73.存储器，用于存放计算机程序；
74.处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的精准客流统计的方法步骤。
75.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的精准客流统计的方法步骤。
76.基于本技术所提供的方法，在进行客流统计时，使用跟踪到的目标人员的头肩框作为检测框，并且以与头肩框的高度相关的阈值作为触发线的浮动区域，当目标人员的头肩框的中心点跨越触发线，并且穿过所述浮动区域时，开始对该目标进行计数。这种方法能
够避免因目标人员在触发线附近来回小幅度晃动引起的重复计数，而导致的客流统计不准确的问题，实现对目标人员在来回晃动情况下的客流精准统计。
77.同时，在对跨越触发线并且穿越所述浮动区域的目标对象进行计数时，将目标对象的人脸数据与非客户人脸数据库以及当天客户人脸数据库进行匹配，不仅能够排除非客户人员，也能对当天内反复进出的客户进行人脸去重处理，从而避免对同一个目标进行多次计数导致的客流量统计不准确的问题，并且，将当天客户人脸数据库中的储存时间达到预设时间长度的客户人脸数据删除，不仅能够实现对所述当天客户人脸数据库的定期清理，还能够进一步保护客户隐私。
78.此外，在多个目标跟踪的过程中，先将前后两帧图像中的目标头肩框基于特征相似度进行匹配，判断该目标的头肩框是否满足跟踪条件，对于不能满足跟踪条件的剩余目标，进一步将所述目标头肩框基于交并比进行匹配，判断该目标是否满足跟踪条件，通过两次匹配，可提高图像中的目标头肩框的跟踪效率，提高多目标跟踪准确率，然后将跟踪到的目标进行计数统计，使得所述客流精准统计方法能够更好的适应目标人员拥挤、快速移动、短暂消失、互相遮挡的场景。
79.上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
80.说明书附图
81.图1为本技术提供的一种触发线无波动区域的计数规则示意图；
82.图2为本技术提供的一种精准客流统计方法的流程图；
83.图3为本技术提供的一种目标头肩框计数规则示意图；
84.图4为本技术提供的一种客流计数方法流程图；
85.图5为本技术提供的一种检测和识别两阶段示意图；
86.图6为本技术提供的一种多目标跟踪流程图；
87.图7为本技术提供的一种同时输出检测和特征示意图；
88.图8为本技术提供的一种判断目标的头肩框是否满足跟踪条件的流程图；
89.图9为本技术提供的一种精准客流统计装置的结构示意图；
90.图10为本技术提供的一种多目标跟踪模块的结构示意图；
91.图11为本技术提供的一种目标的头肩框是否满足跟踪条件的判定模块的结构示意图；
92.图12为本技术提供的一种电子设备的结构示意图。
具体实施方式
93.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本技术的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。a与b连接，可以表示：a与b直接连接和a与b通过c连接这两种情况。另外，在本技术的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示
或暗示相对重要性，也不能理解为指示或暗示顺序。
94.下面结合附图，对本技术实施例进行详细描述。
95.本技术实施例提供的一种精准客流统计方法，用以实现对目标人员在触发线附近来回晃动情况下的客流精准统计，提升客流统计的准确率。其中，本技术实施例所述方法和装置基于同一技术构思，由于方法及装置所解决问题的原理相似，因此装置与方法的实施例可以相互参见，重复之处不再赘述。
96.如图1所示，现有技术一般通过图像采集设备连续的采集目标人员的图像来确定是否对该目标人员进行人流量统计。具体来讲，图1中黑点代表设备采集的每帧图像中的目标框中心点，黑色粗线为触发线，触发线是目标人员由进入或者离开该区域的位置参考线，黑色曲线代表目标人员的行动轨迹。通过判断前后两帧图像的目标框中心点是否在触发线两侧，并结合目标框中心点的运动方向来统计目标人员的进或者出。根据现有技术的统计方法，从t1到t4时刻，目标人员进入和离开该区域各被统计了2次。然而该目标人员实际上只是在触发线附近来回晃动，根据现有方法统计出的次数不准确。
97.为了避免对目标人员在触发线附近来回晃动情况下重复计数而导致的客流统计不准确的问题，本技术实施例提供了一种精准客流统计方法，实现对目标人员来回晃动以及反复进出情况下的客流精准统计。
98.具体实施例一：
99.如图2所示为本技术所提供的一种精准客流统计方法的流程图，所述方法包括：
100.s21，获取检测图像并在检测图像中确定出检测点，其中，检测点与检测图像的前一帧图像的参考点在触发线两侧；
101.在本技术实施例中，检测点的确定方法可以为：确定出检测图像的目标头肩框，将所述目标头肩框的中心点作为检测点，如图3所示，图中的方形框表示目标头肩框，其中的黑点表示目标头肩框的中心点。
102.另外，在本技术实施例中，判断检测点和参考点是否在触发线两侧方法可以为：如果检测点和参考点之间的连线与触发线有交点，则表明检测点和参考点在触发线两侧。
103.s22，计算检测点到触发线的垂直距离；
104.s23，判断检测点到触发线的垂直距离是否大于预设阈值；
105.在本技术实施例中，该阈值可以是与目标头肩框高度相关的一个参数，如图3所示，图中的虚线到触发线的距离即为阈值，此处阈值取值为目标头肩框高度的1/5，当然在不同的应用场景中，该阈值也可能根据不同的情况取值为目标头肩框高度的1/4、1/6、1/7等。
106.如果检测点到触发线的垂直距离大于阈值，则执行步骤s24；否则执行步骤s25。
107.基于上述方式，对检测点的位置进行判断时，使用与目标头肩框高度相关的参数作为阈值，并且将该阈值作为触发线两侧可浮动区域。这种方法能够避免对目标人员在触发线附近反复晃动的情况下重复计数导致的客流统计不准确的问题。
108.s24，如果检测点到触发线的垂直距离大于阈值，则对检测图像的目标进行客流计数；
109.在本技术实施例中，为了提高客流统计的准确性，在客流计数时不仅要排除非客户人员，而且要对当天反复进出的客户进行人脸去重处理。具体的客流计数流程如图4所
示：
110.s41，选取目标图像；
111.在所述检测图像中目标对象的运动轨迹中，按照预设的图像质量评分规则，选取一帧质量分数最高的图像作为目标图像。
112.s42，检测目标图像的目标头肩框中是否存在人脸数据；
113.s43，如果目标图像的目标头肩框中不存在人脸数据，则将该目标对象删除；
114.s44，如果目标图像的目标头肩框中存在人脸数据，则对该目标对象进行计数。
115.在本技术实施例中，对目标对象的计数方式可以是对计数结果进行更新的方式来统计。
116.具体来讲，如果目标图像的目标头肩框中存在的人脸数据与预设人脸数据库匹配成功，则目标进和出计数均加0；如果目标图像的目标头肩框中存在的人脸数据与预设人脸数据库匹配失败，则目标进或出计数均加1，并将所述目标头肩框的人脸数据存入预设人脸数据库。
117.其中，预设的人脸数据库包括非客户人脸数据库以及当天客户人脸数据库，此处非客户人脸数据中存放的是工作人员人脸数据，当天客户人脸数据库中存放的是当天已经参与过计数的客户人脸数据。对于存入当天客户人脸数据库中的客户人脸数据，若当储存时间达到预设时间长度，则将所述客户人脸数据删除。
118.基于上述的方式，将目标对象人脸数据与预设人脸数据库进行匹配，不仅能够排除非客户人员，也能对当天内反复进出的客户进行人脸去重处理，从而避免对同一个目标进行多次计数导致的客流量统计不准确的问题，提高统计准确率。同时，将当天客户人脸数据库中的储存时间达到预设时间长度的客户人脸数据删除，不仅能够实现对所述当天客户人脸数据库的定期清理，还能够进一步保护客户隐私。
119.s25，若所述垂直距离小于预设阈值，则更新检测点，直到检测点和参考点位于触发线两侧。
120.当检测点和参考点在触发线两侧时，则返回步骤s22，否则更新检测点，直到检测点和参考点位于触发线两侧。
121.循环执行上述步骤，直至设备采集的所有图像中的目标统计完成。
122.进一步，为了更加详细阐述本技术所提供的方法，以图3为例，对上述客流统计方法进行说明。
123.当获取的参考点为第2帧图像目标头肩框的中心点，检测点为第3帧图像目标头肩框的中心点时，由于检测点到触发线的垂直距离小于目标头肩框高度的1/5，因此更新检测点，直到检测点为第5帧图像的目标头肩框的中心点时，检测点和参考点位于触发线两侧，计算出检测点到触发线的垂直距离大于目标头肩框高度的1/5，此时可对该目标对象进行计数。
124.基于以上方法，在客流统计时，使用与目标头肩框高度相关的参数作为阈值，并且将该阈值作为触发线两侧可浮动区域，当目标人员的头肩框中心点跨越触发线进入浮动区域并同向离开该区域时，则对该目标进行计数。这种方法能够避免因目标人员在触发线附近反复晃动引起重复计数，而导致的客流统计不准确的问题。
125.另外，本技术为了提高客流统计的准确性，在客流计数时，不仅将目标对象人脸数
据与非客户人脸数据库进行匹配，排除非客户人员；同时也与当天客户人脸数据库进行匹配，对当天反复进出的客户进行人脸去重处理，从而避免对同一目标多次计数导致的客流量统计不准确的问题。
126.进一步，将当天客户人脸数据库中的储存时间达到预设时间长度的客户人脸数据删除，不仅能够实现对所述当天客户人脸数据库的定期清理，还能够保护客户隐私。
127.具体实施例二：
128.实施例一是基于设备采集的图像中只有一个目标情况下的客流统计方法，在实际客流量统计的应用场景中，出入口区域往往会出现人员拥挤的情况，这种情况下设备采集的每帧图像中会有多个目标出现，为了实现多目标情况下的客流精准统计，需要同时对多个目标进行跟踪，并且在目标跟踪轨迹中选出检测图像并按照实施例一所述方法对该目标进行计数。
129.实现多目标跟踪，往往先需获取目标的检测框及重识别特征。如图5所示，现有技术一般将采集的图像通过检测网络获取目标检测框，然后将检测框输入识别网络提取目标重识别特征，这种两阶段的多目标跟踪法所使用的目标识别网络只能分别对每个目标进行特征提取，当图像中的目标数量众多时，会降低目标跟踪的实时性。
130.为了实现同时对多目标进行跟踪，如图6所示为本技术提供的一种多目标跟踪方法，具体流程如下：
131.s61，将图像采集设备连续获取的两帧图像分别输入基于anchor
‑
free的神经网络，获得所述两帧图像中多个目标的头肩框的坐标及reid特征，其中，所述目标的头肩框的坐标与reid特征一一对应；
132.如图7所示，对于每次输入的图像，使用基于anchor
‑
free的神经网络可以实现一次网络前向推理即可同时获取图像中多个目标的头肩框的坐标及reid特征；而如图5所示的现有技术，若想获取目标的头肩框的坐标及reid特征，需先经过检测网络获取目标的头肩框，此时目标的头肩框即为目标的检测框，然后将目标的头肩框输入识别网络提取目标的头肩框的reid特征，而且所述识别网络只能分别对每个目标进行特征提取，当图像中的目标数量众多时，会降低目标跟踪的实时性。
133.因此，在本技术实施例中，采用如图7所示的基于anchor
‑
free的神经网络获取目标的头肩框的坐标及reid特征，具有降低时耗、实时性强的优点。
134.其次，所述神经网络使用dla (deep layer aggregation)作为主干网络，该主干网络融合多层次、多尺度的网络特征层，能够消除目标尺寸差异带来的影响，同时使得提取到的reid特征信息能够兼顾高层次网络中的语义信息与低层次网络层中的颜色纹理信息。
135.s62，根据所述多个目标的头肩框的坐标及reid特征，对每一个目标的头肩框是否满足跟踪条件进行判断；
136.具体来讲，判断目标的头肩框是否满足跟踪条件的流程如图8所示：
137.s81，根据多个目标的头肩框的坐标及reid特征，计算得到多个目标的头肩框的损失矩阵；
138.在本技术实施例中，损失矩阵指示所述两帧图像中第一图像的目标的头肩框与所述两帧图像中第二图像的目标的头肩框之间的特征相似度距离，得到损失矩阵的计算流程如下：
139.根据上述多个目标的头肩框坐标，计算第一图像中目标的头肩框中心点和第二图像中目标的头肩框中心点之间的马氏距离，得到第一马氏距离矩阵；
140.根据预设参数，将第一马氏距离矩阵中大于或者等于预设参数的元素置为无穷大，将小于预设参数的元素置为1，得到第二马氏距离矩阵；
141.根据所述多个目标的头肩框的reid特征，计算第一图像中目标的头肩框和第一图像中目标的头肩框之间的特征相似度距离，得到特征相似度距离矩阵；
142.将第二马氏距离矩阵与特征相似度矩阵的对应元素相乘，得到损失矩阵。
143.基于上述方法，生成的损失矩阵可以实现将空间距离大于预设参数的第一图像中的目标的头肩框与第二图像中的目标的头肩框之间的特征相似度距离变为无穷大。
144.s82，将上述损失矩阵中大于预设特征相似度阈值的元素进行过滤，并将剩下的元素对应的第一图像中目标的头肩框与第二图像中目标的头肩框基于特征相似度进行匹配；
145.在本技术实施例中，所述损失矩阵的元素指示第一图像中的某一目标的头肩框和第二图像的某一目标的头肩框之间的特征相似度距离，将损失矩阵中大于预设特征相似度阈值的元素进行过滤，即可将所述前后两帧图像中空间距离较远的目标头肩框排除；
146.所述基于特征相似度进行匹配，指的是使用预设算法实现将第一图像中与第二图像中reid特征最为接近的两个目标的头肩框之间建立匹配关系，所述预设算法可以是匈牙利算法，本技术实施例中关于具体算法不做限定。
147.若第一图像中目标的头肩框与第二图像中目标的头肩框之间基于特征相似度建立匹配关系，则可认定所述目标的头肩框由同一目标的头肩框在不同阶段形成的。因此，确定所述目标的头肩框满足跟踪条件，执行步骤s83；否则执行步骤s84。
148.s83，若所述目标的头肩框之间基于特征相似度建立匹配关系，则确定所述目标的头肩框满足跟踪条件；
149.目标的头肩框之间基于特征相似度建立匹配关系，即表示在第一图像中所述目标的头肩框和第二图像中所述目标的头肩框在匹配过程中reid特征最为接近，因此，认定两帧图像中的所述目标的头肩框为同一个目标的头肩框在不同的阶段所产生的。
150.s84，若所述目标的头肩框之间基于特征相似度不能建立匹配关系，则根据所述目标的头肩框坐标计算交并比，得到交并比矩阵；
151.在本技术实施例中，交并比指示第一图像中所述目标的头肩框与第二图像中所述目标的头肩框之间的重合度。
152.s85，将所述交并比矩阵中小于预设交并比阈值的元素进行过滤，并将剩下的元素对应的第一图像中目标的头肩框与第二图像中目标的头肩框基于交并比进行匹配；
153.在本技术实施例中，所述损失矩阵的元素指示第一图像中某一目标的头肩框与第二图像中某一目标的头肩框之间的重合度，将交并比矩阵中小于预设交并比阈值的元素进行过滤，即可实现将所述前后两帧图像中重合度不满足要求的目标头肩框排除；
154.所述基于交并比进行匹配，指的是使用预设算法实现将第一图像中与第二图像中重合度最高的两个目标的头肩框之间建立匹配关系，所述预设算法可以是匈牙利算法，本技术实施例中关于具体算法不做限定。
155.若所述目标的头肩框之间基于交并比建立匹配关系，则可认定所述目标的头肩框由同一目标的头肩框在不同阶段形成的。因此，确定所述目标的头肩框满足跟踪条件，执行
步骤s86；否则，执行步骤s87。
156.s86，若所述目标的头肩框之间基于交并比建立匹配关系，则确定所述目标满足跟踪条件；
157.目标的头肩框之间基于交并比建立匹配关系，即表示在第一图像中所述目标的头肩框和第二图像中所述目标的头肩框在匹配过程中重合度最高，因此，认定两帧图像中的所述目标的头肩框为同一个目标的头肩框在不同的阶段所产生的。
158.s87，若所述目标的头肩框之间基于交并比不能建立匹配关系，则确定所述目标的头肩框不满足跟踪条件。
159.s63，若任一目标的头肩框满足跟踪条件，则对满足跟踪条件的目标的头肩框进行跟踪，并在跟踪轨迹中选出一帧图像作为检测图像；
160.对目标的头肩框进行跟踪的方法是通过创建和更新跟踪体来实现，其中，跟踪体中记录着目标的头肩框坐标、reid特征信息及跟踪状态。
161.具体来讲，如果该目标的头肩框没有创建跟踪体，则给该目标创建跟踪体，并且将最新一帧图像中目标的头肩框坐标、头肩框reid特征及跟踪状态记录在跟踪体中，同时将跟踪状态设置为创建状态；
162.如果目标的头肩框已经创建跟踪体，则将最新一帧图像中目标的头肩框坐标、头肩框reid特征及跟踪状态记录在跟踪体中，同时将跟踪状态设置为更新状态；
163.通过创建和更新目标头肩框的跟踪体信息，实现对该目标的头肩框的跟踪，并在跟踪轨迹中选出一帧图像作为检测图像，执行实施例一所提供的方法步骤实现客流统计。
164.s64，若任一目标的头肩框不满足跟踪条件，且同一目标的头肩框连续被判定为不满足跟踪条件的次数达到阈值时，则将所述目标的头肩框删除；
165.具体来讲，当目标的头肩框不能满足跟踪条件时，如果该目标的头肩框已经创建跟踪体，则将该跟踪体更新为丢失状态，若目标的头肩框的跟踪体为丢失状态，表明此目标的头肩框的跟踪轨迹断开，如果该跟踪体连续为丢失状态的次数达到第一阈值时，则将对应的目标头肩框删除，在本技术实施例中，第一阈值可以为15，也可以根据实际情况调整为其他参数，此处不做限定；
166.如果该目标的头肩框没有创建跟踪体，则将该目标头肩框放入临时目标库，当该目标的头肩框连续不能满足跟踪条件的次数达到第二阈值，则将该目标的头肩框从临时目标库中删除，本技术中第二阈值可以为3，也可以根据实际情况调整为其他参数，此处不做限定。
167.上述步骤结束后，将原有的第二图像更新为第一图像，并将下一帧图像更新为第二图像，循环执行上述s61～s64步骤。
168.基于以上步骤，本技术使用基于anchor
‑
free的神经网络实现一次网络向前推理即可获得图像中多个目标的头肩框的坐标及reid特征，且目标的头肩框的坐标和reid特征一一对应，图像中的目标个数不影响推理时间，因此能够减少时耗，且实时性强。
169.另外，在多个目标跟踪的过程中，先将目标头肩框之间基于特征相似度进行匹配，判断该目标的头肩框是否满足跟踪条件，可有限缓解目标头肩框快速移动、相互拥挤的问题。对于不能满足跟踪条件的剩余目标，进一步将所述目标头肩框之间基于交并比进行匹配，判断该目标是否满足跟踪条件，通过两次匹配，可提高图像中的目标头肩框的跟踪效
率，提高多目标跟踪准确率。
170.基于同一发明构思，本技术实施例中还提供了一种精准客流统计的装置，如图9所示，为本技术中一种精准客流统计的结构示意图，该装置包括：
171.获取模块91，用于获取检测图像并在所述检测图像中确定出检测点，其中，所述检测点与所述检测图像的前一帧图像的参考点在触发线两侧；
172.计算模块92，用于计算所述检测点到所述触发线的垂直距离；
173.第一判定模块93，用于判定所述垂直距离是否大于预设阈值；
174.计数模块94，若所述垂直距离大于预设阈值，则用于对所述检测图像中的目标对象进行客流计数；
175.更新模块95，若所述垂直距离大于预设阈值，则用于对所述检测图像中的目标对象进行客流计数。
176.在一种可能的设计中，所述计数模块，具体用于：
177.选取目标图像；
178.检测所述目标图像的目标头肩框中是否存在人脸数据；
179.若所述目标图像的目标头肩框中不存在所述人脸数据，则将所述目标对象删除；
180.若所述目标图像的目标头肩框中存在所述人脸数据，则对所述目标对象进行计数。
181.在一种可能的设计中，所述计数模块，还用于：
182.将所述目标对象的人脸数据与预设人脸数据库进行匹配，其中，预设人脸数据库包括非客户人脸数据库和当天客户人脸数据库；
183.若所述目标对象人脸数据与预设人脸数据库匹配成功，则目标进和出计数均加0；
184.若所述目标对象人脸数据与预设人脸数据库匹配失败，则目标进或出计数加1，并将所述目标对象人脸数据存入预设人脸数据库。
185.在一种可能的设计中，如图10所示，所述装置还包括：
186.编码模块101，用于将图像采集设备连续获取的两帧图像分别输入基于anchor
‑
free的神经网络，获得所述两帧图像中多个目标的头肩框的坐标及reid特征；
187.第二判定模块102，用于根据所述多个目标的头肩框的坐标及reid特征，对每一个目标的头肩框是否满足跟踪条件进行判断；
188.跟踪模块103，若任一目标的头肩框满足跟踪条件，则用于对满足跟踪条件的目标的头肩框进行跟踪，并在跟踪轨迹中选出一帧图像作为检测图像；
189.删除模块104，若任一目标的头肩框满足跟踪条件，且同一目标的头肩框连续被判定为不满足跟踪条件的次数达到阈值时，则用于对所述目标的头肩框进行删除。
190.在一种可能的设计中，如图11所示，所述第二判定模块102，包括：
191.第一计算单元111，用于根据多个目标的头肩框的坐标及reid特征，计算得到多个目标的头肩框的损失矩阵，其中损失矩阵指示所述两帧图像中第一图像的目标的头肩框与所述两帧图像中第二图像的目标的头肩框之间的特征相似度距离；
192.第一匹配单元112，用于将所述损失矩阵中大于预设特征相似度阈值的元素进行过滤，并将剩下的元素对应的第一图像中目标的头肩框与第二图像中目标的头肩框基于特征相似度进行匹配，确定建立匹配关系的目标的头肩框满足跟踪条件；
193.第二计算单元113，对于特征相似度不能建立匹配关系的目标的头肩框，用于根据第一图像中所述目标的头肩框坐标和第二图像中所述目标的头肩框坐标计算交并比，得到交并比矩阵，其中交并比矩阵指示第一图像中所述目标的头肩框与第二图像中所述目标的头肩框之间的重合度；
194.第二匹配单元114，用于将所述交并比矩阵中小于预设交并比阈值的元素进行过滤，并将剩下的元素对应的第一图像中目标的头肩框与第二图像中目标的头肩框基于交并比进行匹配，确定建立匹配关系的目标的头肩框满足跟踪条件；否则，所述目标的头肩框不满足跟踪条件，不进入迭代跟踪流程。
195.基于以上一种精准客流统计的装置，在进行客流统计时，使用跟踪到的目标人员的头肩框作为检测框，并且以与头肩框的高度相关的阈值作为触发线的浮动区域，当目标人员的头肩框的中心点跨越触发线，并且穿过所述浮动区域时，开始对该目标进行计数。这种方法能够避免因目标人员在触发线附近来回晃动引起的重复计数，而导致的客流统计不准确的问题，实现对目标人员在来回晃动情况下的客流精准统计。
196.同时，在对跨越触发线并且穿越所述浮动区域的目标对象进行计数时，将目标对象的人脸数据与非客户人脸数据库以及当天客户人脸数据库进行匹配，不仅能够排除非客户人员，也能对当天内反复进出的客户进行人脸去重处理，从而避免对同一个目标进行多次计数导致的客流量统计不准确的问题。并且，将当天客户人脸数据库中的储存时间达到预设时间长度的客户人脸数据删除，不仅能够实现对所述当天客户人脸数据库的定期清理，还能够进一步保护客户隐私。
197.此外，在多个目标跟踪的过程中，先将前后两帧图像中的目标头肩框基于特征相似度进行匹配，判断该目标的头肩框是否满足跟踪条件，对于不能满足跟踪条件的剩余目标，进一步将所述目标头肩框基于交并比进行匹配，判断该目标是否满足跟踪条件，通过两次匹配，可提高图像中的目标头肩框的跟踪效率，提高多目标跟踪准确率，然后将跟踪到的目标进行计数统计，使得所述客流精准统计方法能够更好的适应目标人员拥挤、快速移动、短暂消失、互相遮挡的场景。
198.基于同一发明构思，本技术实施例中还提供了一种电子设备，所述电子设备可以实现前述精准客流统计装置的功能，参考图12，所述电子设备包括：
199.至少一个处理器121，以及与至少一个处理器121连接的存储器122，本技术实施例中不限定处理器121与存储器122之间的具体连接介质，图12中是以处理器121和存储器122之间通过总线120连接为例。总线120在图12中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线120可以分为地址总线、数据总线、控制总线等，为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器121也可以称为控制器，对于名称不做限制。
200.在本技术实施例中，存储器122存储有可被至少一个处理器121执行的指令，至少一个处理器121通过执行存储器122存储的指令，可以执行前文论述精准客流统计的方法。处理器121可以实现图9所示的装置中各个模块的功能。
201.其中，处理器121是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器122内的指令以及调用存储在存储器122内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
202.在一种可能的设计中，处理器121可包括一个或多个处理单元，处理器121可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器121中。在一些实施例中，处理器121和存储器122可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
203.处理器121可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的精准客流统计方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
204.存储器122作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器122可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器122是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器122还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
205.通过对处理器121进行设计编程，可以将前述实施例中介绍的精准客流统计方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图9所示的实施例的精准客流统计方法的步骤。如何对处理器121进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
206.基于同一发明构思，本技术实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述精准客流统计的方法。
207.在一些可能的实施方式中，本技术提供的精准客流统计的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本技术各种示例性实施方式的精准客流统计的方法中的步骤。
208.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
209.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
210.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
211.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
212.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。