客流统计方法、装置、存储介质及设备与流程

1.本申请实施例涉及数据处理技术领域，特别涉及一种客流统计方法、装置、存储介质及设备。


背景技术：

2.客流统计是指获取目标对象的标识，根据该标识获取该目标对象的坐标信息，根据这些坐标信息生成该目标对象的运动轨迹。
3.相关技术中，计算机设备可以周期性获取摄像头拍摄的图像，并对图像进行头肩检测，在第一次识别出一个人的头肩时，为该头肩分配一个跟踪标识（trackid），并记录此时的头肩坐标，之后，计算机设备可以对每张图像进行头肩检测，并将得到的头肩坐标与该跟踪标识进行绑定，最终根据绑定的各个头肩坐标生成该目标对象的运动轨迹。
4.在客流统计过程中，若目标对象的头肩被遮挡（即图像中的头肩消失），那么，计算机设备无法继续对该目标对象进行跟踪，也就无法确定是否将该目标对象统计为客流，从而影响客流统计的准确性。


技术实现要素：

5.本申请实施例提供了一种客流统计方法、装置、存储介质及设备，用于解决目标对象的头肩在被遮挡后，无法继续对该目标对象进行跟踪，也就无法确定是否将该目标对象统计为客流，从而影响客流统计的准确性的问题。所述技术方案如下：一方面，提供了一种客流统计方法，所述方法包括：获取对目标区域进行拍摄得到的视频，所述视频中包括运动的目标对象；对所述视频中的各个视频帧分别进行头肩检测和骨骼检测，得到所述目标对象的头肩轨迹和骨骼信息；若当前所述目标对象在所述视频中被遮挡，则根据所述头肩轨迹和所述骨骼信息预测所述目标对象的头肩坐标，根据所述头肩坐标对所述头肩轨迹进行补全；根据补全后的头肩轨迹统计所述目标区域的客流。
6.在一种可能的实现方式中，所述对所述视频中的各个视频帧分别进行头肩检测和骨骼检测，得到所述目标对象的头肩轨迹和骨骼信息，包括：对所述视频中的每个视频帧进行头肩检测，得到所述目标对象的头肩坐标，根据当前所有的头肩坐标生成头肩轨迹；对所述视频中的每个视频帧进行骨骼检测，得到所述目标对象的骨骼关键点的点坐标和体态数据集，将所述点坐标和所述体态数据集确定为所述目标对象的骨骼信息。
7.在一种可能的实现方式中，所述根据所述头肩轨迹和所述骨骼信息预测所述目标对象的头肩坐标，包括：根据所述骨骼信息计算所述目标对象在第一时间段内的第一偏移量，所述第一时间段为预设时长的时间段；
获取所述头肩轨迹中的最后一个头肩坐标和预设的客流统计线的统计线坐标，根据所述最后一个头肩坐标和所述统计线坐标计算第二偏移量，所述第二偏移量表示从所述目标对象被遮挡前的位置到所述客流统计线所在位置的偏移量；根据所述第二偏移量、所述第一偏移量和所述第一时间段计算第二时间段，所述第二时间段表示所述目标对象从被遮挡前的位置运动到所述客流统计线所在位置的时间；若在所述第二时间段内未从所述视频中检测到所述目标对象，则在所述客流统计线上预测头肩坐标。
8.在一种可能的实现方式中，所述方法还包括：若在所述第二时间段内从所述视频中检测到所述目标对象，则根据检测到的所述目标对象的头肩坐标对所述头肩轨迹进行补全。
9.在一种可能的实现方式中，所述方法还包括：在所述第二时间段内，根据所述目标对象的体态数据集在所述视频中检测所述目标对象。
10.在一种可能的实现方式中，所述根据所述骨骼信息计算所述目标对象在第一时间段内的第一偏移量，包括：根据所述骨骼信息计算所述目标对象在每个预定位置的画面面积值，所述画面面积值表示所述目标对象在所述画面中所占的面积，且所述目标对象在每相邻两个预定位置之间的运动时间为所述第一时间段；对所述画面面积值进行计算，得到所述目标对象在第一时间段内的第一偏移量。
11.在一种可能的实现方式中，所述方法还包括：检测是否在连续n个视频帧中均未检测到所述头肩坐标，且在所述n个视频帧中检测到的骨骼关键点的完整度小于预定阈值；若在连续n个视频帧中均未检测到所述头肩坐标，且在所述n个视频帧中检测到的骨骼关键点的完整度小于预定阈值，则确定当前所述目标对象在所述视频中被遮挡。
12.一方面，提供了一种客流统计装置，所述装置包括：获取模块，用于获取对目标区域进行拍摄得到的视频，所述视频中包括运动的目标对象；检测模块，用于对所述视频中的各个视频帧分别进行头肩检测和骨骼检测，得到所述目标对象的头肩轨迹和骨骼信息；预测模块，用于若当前所述目标对象在所述视频中被遮挡，则根据所述头肩轨迹和所述骨骼信息预测所述目标对象的头肩坐标，根据所述头肩坐标对所述头肩轨迹进行补全；统计模块，用于根据补全后的头肩轨迹统计所述目标区域的客流。
13.一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的客流统计方法。
14.一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的客流统计方法。
15.本申请实施例提供的技术方案的有益效果至少包括：
通过获取对目标区域进行拍摄得到的视频；再对视频中的各个视频帧分别进行头肩检测和骨骼检测，可以得到目标对象的头肩轨迹和骨骼信息；若当前目标对象在视频中被遮挡，则可以根据头肩轨迹和骨骼信息预测目标对象的头肩坐标，根据头肩坐标对头肩轨迹进行补全，最后，根据补全后的头肩轨迹统计目标区域的客流，这样，即使目标对象被遮挡，计算机设备还是可以得到补全的头肩轨迹，从而根据该头肩轨迹来统计目标区域内的客流，可以提高客流统计的准确性。
附图说明
16.为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本申请一个实施例提供的客流统计方法的方法流程图；图2是本申请一个实施例提供的头肩框和头肩坐标的示意图；图3是本申请一个实施例提供的目标对象在预定位置的示意图；图4是本申请一个实施例提供的视频帧中的画面面积值的示意图；图5是本申请一个实施例提供的建模过程中的画面面积值的示意图；图6是本申请再一实施例提供的客流统计装置的结构框图。
具体实施方式
18.为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
19.下面先对本申请的应用场景进行介绍。
20.本申请可以用于统计目标区域中的客流量。比如，当目标区域是店铺时，本申请可以用于统计店铺中的客流量。
21.在一种实现方式中，可以在每个店铺的门口安装采集设备，该采集设备可以与计算机设备相连，这样，该采集设备可以对店铺内的区域进行拍摄，并将拍摄得到的视频发送给计算机设备，由计算机设备根据视频统计该店铺中的客流量。
22.其中，采集设备中可以配置有摄像头，比如，采集设备可以是枪机摄像头。采集设备与计算机设备可以通过有线网络或无线网络连接，本实施例不作限定。
23.请参考图1，其示出了本申请一个实施例提供的客流统计方法的方法流程图，该客流统计方法可以应用于计算机设备中。该客流统计方法，可以包括：步骤101，获取对目标区域进行拍摄得到的视频，该视频中包括运动的目标对象。
24.采集设备可以对目标区域进行拍摄，并将拍摄到的视频实时发送给计算设备，计算设备可以接收到该视频。
25.步骤102，对视频中的各个视频帧分别进行头肩检测和骨骼检测，得到目标对象的头肩轨迹和骨骼信息。
26.本实施例中，计算机设备可以从实时获得的视频中提取多个视频帧，并对每个视频帧分别进行头肩检测和骨骼检测，下面对这两种检测方式进行介绍。
27.1）头肩检测对视频中的每个视频帧进行头肩检测，得到目标对象的头肩坐标，根据当前所有的头肩坐标生成头肩轨迹。
28.计算机设备可以利用头肩检测sdk（软件开发工具包）对视频中的每个视频帧进行检测，在第一次从视频帧中检测到某个目标对象时，从该视频帧中获取包含该目标对象的头肩的头肩框，将该头肩框中两条对角线的交点坐标确定为该目标对象的头肩坐标，并为该目标对象分配头肩标识，将头肩标识和头肩坐标进行对应存储。后续，计算机设备可以将该目标对象的头肩坐标都对应于该头肩标识进行存储，这样，一个头肩标识可以对应于多个头肩坐标，可以按照时间顺序依次将所有的头肩坐标组成头肩轨迹，也即头肩轨迹线矢量。
29.为了便于理解，图2中示出了目标对象的头肩框，且头肩框中两条对角线的交点（黑点）即为头肩坐标。
30.2）骨骼检测对视频中的每个视频帧进行骨骼检测，得到目标对象的骨骼关键点的点坐标和体态数据集，将点坐标和体态数据集确定为目标对象的骨骼信息。
31.计算机设备可以利用人体骨架检测sdk对视频中的每个视频帧进行检测，在第一次从视频帧中检测到某个目标对象时，获取该目标对象中各个骨骼关键点的点坐标和体态数据集，并为该目标对象分配骨骼标识，将各个点坐标、体态数据集作为一组骨骼信息和骨骼标识进行对应存储。后续，计算机设备可以将该目标对象的多组骨骼信息都对应于该骨骼标识进行存储，这样，一个骨骼标识可以对应于多组骨骼信息。
32.其中，骨骼关键点可以包括头、胸部、胳膊、肘关节及膝关节的关键点。
33.为了便于理解，图3中示出了目标对象从远处向目标区域运动时，在不同的位置上采集的骨骼关键点（图3中以黑点表示）。
34.步骤103，若当前目标对象在视频中被遮挡，则根据头肩轨迹和骨骼信息预测目标对象的头肩坐标，根据该头肩坐标对头肩轨迹进行补全。
35.目标对象在向目标区域运动的过程中，可能会被其他对象遮挡，这里所说的其他对象可以是行人，也可以是建筑物、告示牌等等，本实施例不作限定。
36.本实施例中，计算机设备需要先确定目标对象是否被遮挡。具体的，计算机设备可以检测是否在连续n个视频帧中均未检测到头肩坐标，且在n个视频帧中检测到的骨骼关键点的完整度小于预定阈值；若在连续n个视频帧中均未检测到头肩坐标，且在n个视频帧中检测到的骨骼关键点的完整度小于预定阈值，则确定当前目标对象在视频中被遮挡。其中，n的数值可以预先设置和修改，本实施例中不对n的数值作限定。在一个示例中，n可以为5。
37.若确定目标对象被遮挡，则计算机设备无法从视频帧中提取到该目标对象的头肩坐标，也就无法对该目标对象的头肩轨迹进行跟踪，从而无法进行客流统计。本实施例中，计算机设备可以根据头肩轨迹和骨骼信息预测目标对象的头肩坐标，以根据预测的头肩坐标补全头肩轨迹，从而能够继续对目标对象进行轨迹跟踪，最终能够提高客流统计的准确性。
38.具体的，根据头肩轨迹和骨骼信息预测目标对象的头肩坐标，可以包括以下几个子步骤。
39.1，根据骨骼信息计算目标对象在第一时间段内的第一偏移量，该第一时间段为预设时长的时间段。
40.第一时间段是可以预先设置和修改的，本实施中不对第一时间段的时长作限定。
41.第一偏移量是目标对象在画面中的偏移量。
42.其中，根据骨骼信息计算目标对象在第一时间段内的第一偏移量，可以包括：根据骨骼信息计算目标对象在每个预定位置的画面面积值，该画面面积值表示目标对象在画面中所占的面积，且目标对象在每相邻两个预定位置之间的运动时间为第一时间段；对画面面积值进行计算，得到目标对象在第一时间段内的第一偏移量。
43.计算机设备可以预先选定满足条件的多个预定位置，如图3中所示的a点、b点、c点和d点，再分别将在这些预定位置采集的骨骼关键点的点坐标输入人体骨架检测sdk中，人体骨架检测sdk可以根据这些点坐标计算出目标对象在各个预定位置的画面面积值。
44.为了便于理解，请参考图4和5，图4中示出了一个视频帧，且该视频帧中的每个目标对象上都设置有一个矩形框，画面面积值记为每个矩形框的面积值，图5中的横轴d表示距离，即目标对象在某个时间点距离摄像机正下方处的水平视距（建模数据），纵轴h表示视界骨架高度（建模数据），且矩形表示建模过程中目标对象在预定位置的画面面积值。
45.在得到画面面积值后，可以通过人体骨架检测sdk对画面面积值计算，即可得到每个预定位置之间的第一偏移量，也即目标对象在第一时间段内的第一偏移量。
46.2，获取头肩轨迹中的最后一个头肩坐标和预设的客流统计线的统计线坐标，根据最后一个头肩坐标和统计线坐标计算第二偏移量，该第二偏移量表示从目标对象被遮挡前的位置到客流统计线所在位置的偏移量。
47.目标区域内预设有客流统计线，当目标对象未越过该客流统计线时，确定目标对象未进入目标区域，不将目标对象统计为该目标区域的客流；当目标对象越过该客流统计线时，确定目标对象进入了目标区域，需要将目标对象统计为该目标区域的客流。图3中的线条e即为设置的客流统计线。
48.3，根据第二偏移量、第一偏移量和第一时间段计算第二时间段，该第二时间段表示目标对象从被遮挡前的位置运动到客流统计线所在位置的时间。
49.由于到最后一个头肩坐标、统计线坐标和第一时间段都是已知的，所以，可以根据第二时间段=（第二偏移量/第一偏移量）
×
第一时间段，计算出第二时间段。
50.在得到第二时间段后，计算机设备可以在第二时间段内，根据目标对象的体态数据集在视频中检测目标对象。若在第二时间段内未从视频中检测出与该体态数据集相匹配的目标对象，则确定未检测到目标对象，执行子步骤1034；若在第二时间段内从视频中检测出与该目标对象相匹配的目标对象，则确定检测到目标对象，计算机设备可以根据检测到的目标对象的头肩坐标对头肩轨迹进行补全。即，计算机设备可以根据本次检测到的头肩坐标对头肩轨迹进行补全，之后继续执行步骤102。
51.4，若在第二时间段内未从视频中检测到目标对象，则在客流统计线上预测头肩坐标。
52.计算机设备可以根据头肩轨迹在客流统计线上预测一个头肩坐标，并根据该头肩坐标对头肩轨迹进行补全。图3中的线条e中的黑点的坐标即为预测的头肩坐标。
53.步骤104，根据补全后的头肩轨迹统计目标区域的客流。
54.由于预测的头肩坐标在客流统计线上，所以，计算机设备可以将该目标对象确定为是目标区域内的客流，根据客流计数规则对客流进行统计。
55.综上所述，本申请实施例提供的客流统计方法，通过获取对目标区域进行拍摄得到的视频；再对视频中的各个视频帧分别进行头肩检测和骨骼检测，可以得到目标对象的头肩轨迹和骨骼信息；若当前目标对象在视频中被遮挡，则可以根据头肩轨迹和骨骼信息预测目标对象的头肩坐标，根据头肩坐标对头肩轨迹进行补全，最后，根据补全后的头肩轨迹统计目标区域的客流，这样，即使目标对象被遮挡，计算机设备还是可以得到补全的头肩轨迹，从而根据该头肩轨迹来统计目标区域内的客流，可以提高客流统计的准确性。
56.请参考图6，其示出了本申请一个实施例提供的客流统计装置的结构框图，该客流统计装置可以应用于计算机设备中。该客流统计装置，可以包括：获取模块610，用于获取对目标区域进行拍摄得到的视频，视频中包括运动的目标对象；检测模块620，用于对视频中的各个视频帧分别进行头肩检测和骨骼检测，得到目标对象的头肩轨迹和骨骼信息；补全模块630，用于若当前目标对象在视频中被遮挡，则根据头肩轨迹和骨骼信息预测目标对象的头肩坐标，根据头肩坐标对头肩轨迹进行补全；统计模块640，用于根据补全后的头肩轨迹统计目标区域的客流。
57.在一个实施例中，检测模块620，还用于：对视频中的每个视频帧进行头肩检测，得到目标对象的头肩坐标，根据当前所有的头肩坐标生成头肩轨迹；对视频中的每个视频帧进行骨骼检测，得到目标对象的骨骼关键点的点坐标和体态数据集，将点坐标和体态数据集确定为目标对象的骨骼信息。
58.在一个实施例中，补全模块630，还用于：根据骨骼信息计算目标对象在第一时间段内的第一偏移量，第一时间段为预设时长的时间段；获取头肩轨迹中的最后一个头肩坐标和预设的客流统计线的统计线坐标，根据最后一个头肩坐标和统计线坐标计算第二偏移量，第二偏移量表示从目标对象被遮挡前的位置到客流统计线所在位置的偏移量；根据第二偏移量、第一偏移量和第一时间段计算第二时间段，第二时间段表示目标对象从被遮挡前的位置运动到客流统计线所在位置的时间；若在第二时间段内未从视频中检测到目标对象，则在客流统计线上预测头肩坐标。
59.在一个实施例中，补全模块630，还用于：若在第二时间段内从视频中检测到目标对象，则根据检测到的目标对象的头肩坐标对头肩轨迹进行补全。
60.在一个实施例中，补全模块630，还用于：在第二时间段内，根据目标对象的体态数据集在视频中检测目标对象。
61.在一个实施例中，补全模块630，还用于：根据骨骼信息计算目标对象在每个预定位置的画面面积值，画面面积值表示目标对象在画面中所占的面积，且目标对象在每相邻两个预定位置之间的运动时间为第一时间段；
对画面面积值进行计算，得到目标对象在第一时间段内的第一偏移量。
62.在一个实施例中，检测模块620，还用于检测是否在连续n个视频帧中均未检测到头肩坐标，且在n个视频帧中检测到的骨骼关键点的完整度小于预定阈值；补全模块630，还用于若在连续n个视频帧中均未检测到头肩坐标，且在n个视频帧中检测到的骨骼关键点的完整度小于预定阈值，则确定当前目标对象在视频中被遮挡。
63.综上所述，本申请实施例提供的客流统计装置，通过获取对目标区域进行拍摄得到的视频；再对视频中的各个视频帧分别进行头肩检测和骨骼检测，可以得到目标对象的头肩轨迹和骨骼信息；若当前目标对象在视频中被遮挡，则可以根据头肩轨迹和骨骼信息预测目标对象的头肩坐标，根据头肩坐标对头肩轨迹进行补全，最后，根据补全后的头肩轨迹统计目标区域的客流，这样，即使目标对象被遮挡，计算机设备还是可以得到补全的头肩轨迹，从而根据该头肩轨迹来统计目标区域内的客流，可以提高客流统计的准确性。
64.本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的客流统计方法。
65.本申请一个实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的客流统计方法。
66.需要说明的是：上述实施例提供的客流统计装置在进行客流统计时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将客流统计装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的客流统计装置与客流统计方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
67.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
68.以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。