一种基于双目视觉的轨迹检测方法和装置与流程

1.本发明涉及计算机技术领域，特别涉及人工智能技术领域，尤其涉及一种基于双目视觉的轨迹检测方法和装置。


背景技术：

2.目前，检测用户位置通常采用无线传感网络的方式，通过定位移动终端等设备的位置来定位用户的位置。但这种方式对信号强度和用户能力有较高要求，在信号强度层面，无线传输技术的信号在传播的时候总会有一定程度的衰减，会导致定位不准确。在用户能力层面，采用无线传输技术实现定位功能实现默认每一位用户都持有符合硬件支持条件的移动终端，并且都需要连接到场景中部署的发信器，此外还需要终端应用程序的支持，但并不是所有用户都会携带移动终端，部分老年用户和特殊群体用户无法熟练使用移动设备，导致无法识别部分用户的位置。


技术实现要素：

3.本发明的一个目的在于提供一种基于双目视觉的轨迹检测方法，基于图像对用户位置进行定位，形成用户轨迹，能够保证用户定位的准确率，降低对硬件和用户能力的要求，提高用户体验感。本发明的另一个目的在于提供一种基于双目视觉的轨迹检测装置。本发明的再一个目的在于提供一种计算机可读介质。本发明的还一个目的在于提供一种计算机设备。
4.为了达到以上目的，本发明一方面公开了一种基于双目视觉的轨迹检测方法，包括：
5.获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的；
6.基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置；
7.通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置；
8.根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息。
9.优选的，基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置，包括：
10.对深度图像进行人脸检测，得到每个用户的第一初始位置；
11.对鸟瞰图像进行人体检测，得到每个用户的第二初始位置；
12.根据每个用户在相同时间戳下采集到的第一初始位置和第二初始位置进行位置修正，得到基于相同身份信息的用户的用户位置。
13.优选的，深度图像包括每个用户的人脸信息、深度信息和深度相机指向用户的方向向量；
14.对深度图像进行人脸检测，得到每个用户的第一初始位置，包括：
15.获取深度相机的相机位置信息；
16.按照每个用户的人脸信息，对相机位置信息、深度信息和深度相机指向用户的方向向量进行计算，得到每个用户的第一初始位置。
17.优选的，对鸟瞰图像进行人体检测，得到每个用户的第二初始位置，包括：
18.通过预先构建的检测模型，对鸟瞰图像进行人体检测，得到每个用户的第二初始位置。
19.优选的，根据每个用户在相同时间戳下采集到的第一初始位置和第二初始位置进行位置修正，得到基于相同身份信息的用户的用户位置，包括：
20.将在相同时间戳下采集到的第一初始位置与第二初始位置进行匹配，得到每个用户的位置匹配对，位置匹配对包括第一待修正位置和对应的第二待修正位置；
21.对第一待修正位置和对应的第二待修正位置取平均值，得到修正后的每个用户在当前时间戳下的用户位置。
22.优选的，将在相同时间戳下采集到的第一初始位置与第二初始位置进行匹配，得到每个用户的位置匹配对，位置匹配对包括第一待修正位置和对应的第二待修正位置，包括：
23.根据第一初始位置和多个第二初始位置，得到多个位置距离，位置距离为第一初始位置与第二初始位置之间的距离；
24.从多个位置距离中筛选出最小位置距离；
25.将最小位置距离对应的第一初始位置确定为第一待修正位置，并将最小位置距离对应的第二初始位置确定为第二待修正位置。
26.优选的，方法还包括：
27.获取鸟瞰样本图像，鸟瞰样本图像包括位置标注；
28.通过鸟瞰样本图像，对卷积深度网络进行训练，得到检测模型。
29.优选的，身份信息包括人脸信息，人员信息池包括人脸信息和对应的不同时间戳下的用户位置；
30.通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置，包括：
31.将身份信息中的人脸信息与人员信息池中的人脸信息进行匹配，得到基于相同身份信息的用户在不同时间戳下的用户位置。
32.优选的，在根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息之后，还包括：
33.根据用户轨迹信息，统计轨迹总长度；
34.若轨迹总长度大于设置的长度阈值，将对应的用户确定为目标用户。
35.优选的，在根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息之后，还包括：
36.统计指定时间段内用户的轨迹频度；
37.若轨迹频度大于设置的频度阈值，将对应的用户确定为目标用户。
38.优选的，在对鸟瞰图像进行人体检测，得到每个用户的第二初始位置之后，还包括：
39.根据每个用户的第二初始位置和鸟瞰图像对应的划分区域，生成用户密度分布图。
40.优选的，方法还包括：
41.获取终端设备摄像头采集的设备前环境图像；
42.对设备前环境图像进行识别，得到业务办理用户人脸信息；
43.通过预先构建的人员信息池，按照业务办理用户人脸信息进行匹配，得到业务办理用户人脸信息的业务办理情况信息。
44.优选的，业务办理用户人脸信息包括当前使用设备用户人脸信息和等候设备用户人脸信息；
45.对设备前环境图像进行识别，得到业务办理用户人脸信息，包括：
46.对设备前环境图像进行人脸识别，得到多个人脸信息，人脸信息包括人脸检测框；
47.将面积最大的人脸检测框对应的人脸信息确定为当前使用设备用户人脸信息；
48.将除当前使用设备用户人脸信息之外的人脸信息确定为等候设备用户人脸信息。
49.优选的，业务办理用户人脸信息包括当前使用设备用户人脸信息和等候设备用户人脸信息，业务办理情况信息包括办理耗时、等待耗时和满意度；
50.通过预先构建的人员信息池，按照业务办理用户人脸信息进行匹配，得到业务办理用户人脸信息的业务办理情况信息，包括：
51.通过预先构建的人员信息池，按照当前使用设备用户人脸信息进行匹配，得到当前使用设备用户的使用设备开始时间；
52.根据使用设备开始时间和当前时间，生成办理耗时；
53.通过预先构建的人员信息池，按照等候设备用户人脸信息进行匹配，得到等候设备用户人脸信息的等待开始时间；
54.根据等待开始时间和当前时间，生成等待耗时；
55.通过表情识别算法，对当前使用设备用户人脸信息进行表情识别，得到表情信息；
56.通过设置的表情满意度等级映射关系，根据表情信息，生成满意度。
57.优选的，基于双目视觉的深度相机包括主摄像头和辅助摄像头；深度图像是通过预先测定的单应矩阵和内外参数对主摄像头采集的第一图像和辅助摄像头采集的第二图像进行投影计算得到的。
58.本发明还公开了一种基于双目视觉的轨迹检测装置，包括：
59.第一获取单元，用于获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的；
60.第一识别单元，用于基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置；
61.第一匹配单元，用于通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置；
62.第一生成单元，用于根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息。
63.本发明还公开了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法。
64.本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述处理器执行所述程序时实现如上所述方法。
65.本发明还公开了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现如上所述方法。
66.本发明获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的；基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置；通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置；根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息，基于图像对用户位置进行定位，形成用户轨迹，能够保证用户定位的准确率，降低对硬件和用户能力的要求，提高用户体验感。
附图说明
67.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
68.图1为本发明实施例提供的一种模拟场景内区域划分的示意图；
69.图2为本发明实施例提供的又一种模拟场景内区域划分的示意图；
70.图3为本发明实施例提供的一种场景内双目视觉的深度相机的部署分布示意图；
71.图4为本发明实施例提供的又一种场景内双目视觉的深度相机的部署分布示意图；
72.图5为本发明实施例提供的一种广角相机的部署分布示意图；
73.图6为本发明实施例提供的一种基于双目视觉的轨迹检测方法的流程图；
74.图7为本发明实施例提供的又一种基于双目视觉的轨迹检测方法的流程图；
75.图8为本发明实施例提供的一种基于双目视觉的深度相机确定深度信息的示意图；
76.图9为本发明实施例提供的一种基于终端设备摄像头确定业务办理情况信息的示意图；
77.图10为本发明实施例提供的一种基于双目视觉的轨迹检测装置的结构示意图；
78.图11为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
79.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
80.需要说明的是，本技术公开的一种基于双目视觉的轨迹检测方法和装置可用于人工智能技术领域，也可用于除人工智能技术领域之外的任意领域，本技术公开的一种基于
双目视觉的轨迹检测方法和装置的应用领域不做限定。
81.为了便于理解本技术提供的技术方案，下面先对本技术技术方案的相关内容进行说明。近几年，随着基于深度神经网络的机器学习方法的提出，人工智能这一领域迎来了重大的突破。作为计算机视觉主要任务之一的基于图像的物体检测技术也有了阶段性的进步，检测的准确率和精度比起传统方法都有了很大程度的提升，能够达到实际使用的要求。图像检测技术是基于光学产生的图像，其信号的载体是可见光。场景中对可见光的调节较为方便，成本低廉，能够通过在指定地点安装部署光学传感器的方法，对场景下的光照条件进行采样，从而动态改变场景中光源的强度、方向，进而达到自适应的效果。基于人工智能的图像检测的定位技术对于用户的影响非常小，数据采集的方式是被动式的，无需用户主动提供信息。有的行业的业务场景本身是受监控的，例如：银行，用户在感官上也可以处于一个可以接受的范围内。
82.本发明通过双目视觉的深度相机拍摄场景图像，定位用户位置，形成用户轨迹信息，能在不被用户感知的情况下获取场景内的人员分布信息，从而为工作人员改进场景的布局和对应的服务分布提供客观依据；通过人员分布信息，按照实际情况调度工作人员，进一步提高工作人员日常的工作效率。
83.为了能够高效准确的对场景内用户进行定位，需要对场景内的待检测区域进行划分并在划分后的区域的水平方向上建立平面坐标，图1为本发明实施例提供的一种模拟场景内区域划分的示意图，如图1所示，模拟场景为正方形，模拟场景内包括一个矩形的员工区域和一个入口，入口用于为用户进入模拟场景提供通道。模拟场景内除了员工区域之外的区域为用户可以自由活动的待检测区域，例如：银行场景下的网点大厅，将待检测区域划分为简单矩形，分别为区域1和区域2。图2为本发明实施例提供的又一种模拟场景内区域划分的示意图，如图2所示，模拟场景为不规则形状，模拟场景内包括一个楼梯区域。模拟场景内除了楼梯区域之外的区域为待检测区域，将待检测区域划分为简单矩形，分别为区域1、区域2和区域3。
84.在每个区域的四周安装基于双目视觉的深度相机，基于双目视觉的深度相机采用基于结构光或者飞行时间法(time of flight，简称：tof)的深度相机；在区域的顶部安装广角相机，广角相机用于获取鸟瞰图，本发明对广角相机的相机类型不作限定。图3为本发明实施例提供的一种场景内双目视觉的深度相机的部署分布示意图，如图3所示，场景内包括4个双目视觉的深度相机，分别安装在4个边长的中间位置。图4为本发明实施例提供的又一种场景内双目视觉的深度相机的部署分布示意图，如图4所示，场景内包括4个双目视觉的深度相机，分别安装在场景内的4个角。图5为本发明实施例提供的一种广角相机的部署分布示意图，如图5所示，场景内包括1个广角相机，安装于场景的顶部。本系统重点需关注两个方面的信息，一是位置信息，二是身份信息。因此设计了两组相机，一组是位于顶部的广角相机用来获取鸟瞰图，鸟瞰图中位置信息比较明确，但无法验证用户的身份信息，检测出的信息用于位置修正和用户分布分析，用户分布分析包括但不限于人员密度和空间利用率；另一组是位于四周的基于双目视觉的深度相机，具有人脸识别功能模块，用于判断用户身份信息以及确定用户位置，将用户身份信息和用户位置结合可以用于用户轨迹分析。
85.本发明还可以在场景入口处安装深度相机，当用户进入待检测区域时，拍摄图像上传至服务器，使用人脸检测算法进行人脸检测，将检测到的人脸记录到数据库，作为初始
的人脸信息。可以在用户进入场景时记录用户的人脸信息，从而可以构建人员信息池，将后续识别到的不同用户的用户位置存储至该人员信息池，基于人脸信息的用户位置匹配可以在此人员信息池范围内匹配，从而提高效率，从源数据这一维度提高检验准确性。
86.下面以基于双目视觉的轨迹检测装置作为执行主体为例，说明本发明实施例提供的基于双目视觉的轨迹检测方法的实现过程。可理解的是，本发明实施例提供的基于双目视觉的轨迹检测方法的执行主体包括但不限于基于双目视觉的轨迹检测装置。
87.图6为本发明实施例提供的一种基于双目视觉的轨迹检测方法的流程图，如图6所示，该方法包括：
88.步骤101、获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的。
89.步骤102、基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置。
90.步骤103、通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置。
91.步骤104、根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息。
92.值得说明的是，本技术中技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。本技术实施例中的用户信息均是通过合法合规途径获得，并且对用户信息的获取、存储、使用、处理等经过用户授权同意的。
93.本发明实施例提供的技术方案中，获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的；基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置；通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置；根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息，基于图像对用户位置进行定位，形成用户轨迹，能够保证用户定位的准确率，降低对硬件和用户能力的要求，提高用户体验感。
94.图7为本发明实施例提供的又一种基于双目视觉的轨迹检测方法的流程图，如图7所示，该方法包括：
95.步骤201、获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的。
96.本发明实施例中，各步骤由基于双目视觉的轨迹检测装置执行。
97.本发明实施例中，通过基于双目视觉的深度相机按照预设时间间隔采集深度图像，并将深度图像发送至基于双目视觉的轨迹检测装置；通过广角相机按照预设时间间隔采集鸟瞰图像，并将鸟瞰图像发送至基于双目视觉的轨迹检测装置。
98.值得说明的是，本发明实施例还可以提供基于视频缓存的解决方案，由于需求情况对于实时性的要求并不是很高，并且考虑到具体硬件性能和算法复杂度和特性的不同，综合考虑准确度和效率等因素，可以将获取深度图像和鸟瞰图像的步骤转化为非实时的提供方式。通过视频缓存的形式将获取图像和获取位置信息分成两个异步的过程。这种情况下，检测工作在拍摄到的场景视频上传到缓存服务器上之后进行。
99.本发明实施例中，基于双目视觉的深度相机包括两个摄像头，包括主摄像头和辅助摄像头，深度图像是通过预先测定的单应矩阵和内外参数对主摄像头采集的第一图像和
辅助摄像头采集的第二图像进行投影计算得到的。具体地，通过主摄像头采集第一图像，检测第一图像中的用户人脸信息，然后将检测到的人脸检测框的位置通过预先测定的单应矩阵投影到辅助摄像头采集的第二图像上，辅助摄像头只需要在此投影区域附近识别人脸信息即可，即：从概率较大的区域开始检测，优化了检索路径，减轻了一定的工作量。通过预先测定的单应矩阵和内外参数，对第一图像和第二图像进行校订，使得校订后的两张图像位于同一平面且互相平行；对校订后的两张图像根据极线约束进行像素配准，根据配准结构计算每个像素的深度，从而得到深度图像。其中，在安装深度相机时需要测定相机的内外参数，内参数由相机本身决定，外参数在安装摄像头时可以直接测得。在安装部署阶段可以在实际场景的地面或者其他位置标记至少4对点的位置，通过由深度相机获取的图像，获取到实际标记点在图像中的像素位置之后，将对应好的点对作为方法入参，调用指定方法函数得到单应矩阵。作为一种可选方案，指定方法函数为mat findhomography(inputarray srcpoints,inputarray dstpoints,int method＝0,double ransacreprojthreshold＝3,outputarray mask＝noarray())，其中，参数inputarray srcpoints和参数inputarray dstpoints分别是现实中相同点在主摄像头和辅助摄像头采集的两幅图像中的像素坐标。通过主摄像头和辅助摄像头拍摄的两幅图像中检测到人脸信息，并获取到深度信息，图8为本发明实施例提供的一种基于双目视觉的深度相机确定深度信息的示意图，如图8所示，主摄像头和辅助摄像头确定出两条不平行的方向向量，两条不平行的方向向量均是从摄像头指向用户的实际方向向量，两条不平行的方向向量的焦点，至主摄像头和辅助摄像头所在水平线的垂直距离为深度信息d。
100.本发明实施例中，深度图像包括但不限于每个用户的人脸信息、深度信息和深度相机指向用户的方向向量。深度相机指向用户的方向向量是深度相机根据人脸检测框的像素位置和相机的内外参数得到的。
101.本发明实施例中，深度图像和鸟瞰图像上均记录有时间戳，时间戳为图像采集的时刻。
102.值得说明的是，本技术中技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。本技术实施例中的用户信息均是通过合法合规途径获得，并且对用户信息的获取、存储、使用、处理等经过用户授权同意的。
103.步骤202、对深度图像进行人脸检测，得到每个用户的第一初始位置。
104.本发明实施例中，深度图像包括但不限于每个用户的人脸信息、深度信息和深度相机指向用户的方向向量。
105.本发明实施例中，步骤202具体包括：
106.步骤2021、获取深度相机的相机位置信息。
107.本发明实施例中，相机位置信息可以在安装部署深度相机的时候记录并存储。
108.步骤2022、按照每个用户的人脸信息，对相机位置信息、深度信息和深度相机指向用户的方向向量进行计算，得到不同用户的第一初始位置。
109.本发明实施例中，人脸信息作为标识不同用户的标志。具体地，通过最小二乘算法，按照每个用户的人脸信息，对相机位置信息、深度信息和深度相机指向用户的方向向量进行计算，得到每个用户的第一初始位置。值得说明的是，本发明实施例对第一初始位置的计算方法不作限定，不仅限于最小二乘算法。
110.值得说明的是，由于实际场景中z轴坐标并不是重要信息，因此可以忽略，将方法向量的直线投影到水平面上求解，从而减少计算量。
111.步骤203、对鸟瞰图像进行人体检测，得到每个用户的第二初始位置。
112.本发明实施例中，首先构建检测模型，具体地，获取鸟瞰样本图像，鸟瞰样本图像包括位置标注；通过鸟瞰样本图像，将鸟瞰样本图像作为输入，位置标注作为输出，对卷积深度网络进行训练，得到检测模型。
113.具体地，通过预先构建的检测模型，对鸟瞰图像进行人体检测，得到不同用户的第二初始位置。其中，输入为鸟瞰图像，输出为多个位置坐标，每个位置坐标代表一个用户的第二初始位置。
114.作为另一种可选方案，通过opencv方法提取鸟瞰图像的图像特征，通过鸟瞰图像上的水平坐标，对鸟瞰图像的图像特征进行识别，得到每个用户的第二初始位置，从而得到用户在水平面上的分布情况。其中，opencv是一个基于apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在多种操作系统上，它轻量级且高效，由一系列c函数和少量c++类构成，同时提供了python、ruby、matlab等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
115.本发明实施例中，当人员比较密集的时候，处于人群中央的人员很难被安装在四周的深度相机识别，为精确定位到场景内的每一位用户，通过对鸟瞰图像进行人体检测，得到不同用户的第二初始位置。
116.进一步地，根据每个用户的第二初始位置和鸟瞰图像对应的划分区域，生成用户密度分布图，每个划分区域的用户密度分布图包括多个用户及其第二初始位置。将用户密度分布图进行可视化展示，为场景内布局改造提供客观的参考依据。
117.步骤204、根据每个用户在相同时间戳下采集到的第一初始位置和第二初始位置进行位置修正，得到基于相同身份信息的用户的用户位置。
118.本发明实施例中，步骤204具体包括：
119.步骤2041、将在相同时间戳下采集到的第一初始位置与第二初始位置进行匹配，得到每个用户的位置匹配对，位置匹配对包括第一待修正位置和对应的第二待修正位置。
120.本发明实施例中，第一初始位置和第二初始位置均为位置坐标。
121.具体地，根据第一初始位置和多个第二初始位置，得到多个位置距离，位置距离为第一初始位置与第二初始位置之间的距离；从多个位置距离中筛选出最小位置距离；将最小位置距离对应的第一初始位置确定为第一待修正位置，并将最小位置距离对应的第二初始位置确定为第二待修正位置。
122.本发明实施例中，可以通过欧式距离公式计算第一初始位置和每个第二初始位置之间的距离，最小位置距离表明第一初始位置与该第二初始位置最接近，将第一初始位置的用户和第二初始位置的用户作为同一个用户。
123.本发明实施例中，将第一待修正位置和对应的第二待修正位置确定为该用户的位置匹配对。
124.步骤2042、对第一待修正位置和对应的第二待修正位置取平均值，得到修正后的每个用户在当前时间戳下的用户位置。
125.作为另一种可选方案，通过聚合方法，对第一待修正位置和对应的第二待修正位
置进行计算，得到修正后的用户位置。
126.值得说明的是，还可以通过其他修正方法，对第一待修正位置和对应的第二待修正位置进行修正，本发明实施例对此不作限定。
127.进一步地，根据人脸信息、用户位置和时间戳，生成用户位置信息，将用户位置信息存储至预先构建的人员信息池。
128.步骤205、通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置。
129.本发明实施例中，身份信息包括人脸信息，人员信息池中包括包括人脸信息和对应的不同时间戳下的用户位置。具体地，将身份信息中的人脸信息与人员信息池中的人脸信息进行匹配，将人脸信息关联至用户位置信息，匹配出基于相同身份信息的用户在不同时间戳下的用户位置。
130.本发明实施例中，在预先构建的人员信息池中进行人脸信息匹配，能够缩小匹配范围，提高匹配精度和匹配效率，从源数据这一维度提高检验准确性。
131.步骤206、根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息。
132.本发明实施例中，按照人脸信息，将不同时间戳下的用户位置进行规整，按照时间戳的自然顺序，将用户位置关联起来，生成用户轨迹信息。从用户轨迹信息中可以看出用户在场景中从进入到离开的移动轨迹。
133.进一步地，根据用户轨迹信息，统计轨迹总长度；若轨迹总长度大于设置的长度阈值，将对应的用户确定为目标用户。其中，长度阈值可以根据实际情况进行设置，本发明实施例对此不作限定。将目标用户进行标记，可以提醒工作人员对该目标用户进行跟进，解决用户的潜在困难，提高用户体验。
134.进一步地，统计指定时间段内用户的轨迹频度；若轨迹频度大于设置的频度阈值，将对应的用户确定为目标用户。其中，指定时间段和频度阈值均可以根据实际情况进行设置，本发明实施例对此不作限定。将目标用户进行标记，可以提醒工作人员对该目标用户进行跟进，解决用户的潜在困难，提高用户体验。
135.值得说明的是，本技术中技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。本技术实施例中的用户信息均是通过合法合规途径获得，并且对用户信息的获取、存储、使用、处理等经过用户授权同意的。
136.进一步地，为统计如自动取款机(atm)等终端设备的用户使用情况，图9为本发明实施例提供的一种基于终端设备摄像头确定业务办理情况信息的示意图，如图9所示，该方法包括：
137.步骤301、获取终端设备摄像头采集的设备前环境图像。
138.本发明实施例中，终端设备摄像头按照预设时间间隔采集设备前环境图像，本发明实施例对时间间隔不作限定。
139.本发明实施例中，设备前环境图像包括时间戳，时间戳为设备前环境图像的采集时间。
140.步骤302、对设备前环境图像进行识别，得到业务办理用户人脸信息。
141.本发明实施例中，业务办理用户人脸信息包括当前使用设备用户人脸信息和等候设备用户人脸信息。
142.具体地，步骤302具体包括：
143.步骤3021、对设备前环境图像进行人脸识别，得到多个人脸信息，人脸信息包括人脸检测框。
144.具体地，将设备前环境图像输入人脸检测算法，输出多个人脸信息，每个人脸信息包括人脸检测框，人脸检测框内为人脸面积。
145.步骤3022、将面积最大的人脸检测框对应的人脸信息确定为当前使用设备用户人脸信息。
146.本发明实施例中，人脸检测框的面积越大，表明该用户距离终端设备越近。面积最大的人脸检测框对应的用户为当前正在使用设备的用户。
147.进一步地，将当前使用设备用户人脸信息对应的设备前环境图像的时间戳存储为该用户开始使用设备的使用设备开始时间。
148.步骤3023、将除当前使用设备用户人脸信息之外的人脸信息确定为等候设备用户人脸信息。
149.本发明实施例中，除了正在使用设备的用户之外，识别到的其他用户均为正在排队等待设备的用户。
150.进一步地，将等候设备用户人脸信息对应的设备前环境图像的时间戳存储为该用户开始等待设备的等待开始时间。
151.进一步地，可以根据实际情况设置面积阈值，若人脸检测框的面积小于面积阈值，表明识别到的人脸面积过小，该用户距离终端设备较远，则将该用户确定为路过终端设备的用户，不为等候设备用户。
152.步骤303、通过预先构建的人员信息池，按照业务办理用户人脸信息进行匹配，得到业务办理用户人脸信息的业务办理情况信息。
153.本发明实施例中，业务办理用户人脸信息包括当前使用设备用户人脸信息和等候设备用户人脸信息，业务办理情况信息包括办理耗时、等待耗时和满意度。
154.本发明实施例中，步骤303具体包括：
155.步骤3031、通过预先构建的人员信息池，按照当前使用设备用户人脸信息进行匹配，得到当前使用设备用户的使用设备开始时间。
156.本发明实施例中，人员信息池是预先构建的，人员信息池包括但不限于人脸信息、用户位置信息、设备前环境图像和时间戳，时间戳包括使用设备开始时间和等待开始时间。
157.本发明实施例中，按照当前使用设备用户人脸信息检索到该用户对应的使用设备开始时间。
158.步骤3032、根据使用设备开始时间和当前时间，生成办理耗时。
159.本发明实施例中，将办理耗时进行存储，为工作人员提供数据参考。
160.进一步地，统计同一用户办理耗时的平均时长和方差，若平均时长超过设置的时长阈值，表明该用户在业务办理过程中可能存在困难，可以通知工作人员，以供工作人员为该用户提供业务帮助；工作人员可以通过方差判断该用户多次业务办理的耗时是否稳定。
161.步骤3033、通过预先构建的人员信息池，按照等候设备用户人脸信息进行匹配，得到等候设备用户人脸信息的等待开始时间。
162.本发明实施例中，人员信息池是预先构建的，人员信息池包括但不限于人脸信息、
用户位置信息、设备前环境图像和时间戳，时间戳包括使用设备开始时间和等待开始时间。
163.本发明实施例中，按照等候设备用户人脸信息检索到该用户对应的等待开始时间。
164.步骤3034、根据等待开始时间和当前时间，生成等待耗时。
165.本发明实施例中，将等待耗时进行存储，为工作人员提供数据参考。
166.进一步地，统计终端设备的平均等待耗时，若平均等待耗时大于设置的等待阈值，表明该场景下终端设备数量设置过少，导致用户等待时间过长，工作人员可以进一步考虑增加终端设备数量。
167.步骤3035、通过表情识别算法，对当前使用设备用户人脸信息进行表情识别，得到表情信息。
168.本发明实施例中，表情识别算法包括卷积神经网络(cnn)、支持向量机(svm)或adaboost算法。值得说明的是，还可以选取其他的表情识别算法，本发明实施例对此不作限定。
169.具体地，将当前使用设备用户人脸信息输入表情识别算法，输出表情信息。
170.本发明实施例中，表情信息包括但不限于微笑、皱眉、愤怒等。
171.步骤3036、通过设置的表情满意度等级映射关系，根据表情信息，生成满意度。
172.本发明实施例中，表情满意度等级映射关系包括表情信息和满意度之间的映射关系，例如：微笑的表情信息对应的满意度为5，皱眉的表情信息对于的满意度为2。
173.进一步地，可以将统计到的同一用户的多个满意度进行平均值计算，若得到的平均满意度低于满意度阈值，将该用户标记为目标用户，工作人员可以对重点用户进行人工服务。
174.本发明实施例提供的基于双目视觉的轨迹检测方法的技术方案中，获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的；基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置；通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置；根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息，基于图像对用户位置进行定位，形成用户轨迹，能够保证用户定位的准确率，降低对硬件和用户能力的要求，提高用户体验感。
175.图10为本发明实施例提供的一种基于双目视觉的轨迹检测装置的结构示意图，该装置用于执行上述基于双目视觉的轨迹检测方法，如图10所示，该装置包括：第一获取单元11、第一识别单元12、第一匹配单元13和第一生成单元14。
176.第一获取单元11用于获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的。
177.第一识别单元12用于基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置。
178.第一匹配单元13用于通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置。
179.第一生成单元14用于根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息。
180.本发明实施例中，第一识别单元12具体用于对深度图像进行人脸检测，得到每个用户的第一初始位置；对鸟瞰图像进行人体检测，得到每个用户的第二初始位置；根据每个用户在相同时间戳下采集到的第一初始位置和第二初始位置进行位置修正，得到基于相同身份信息的用户的用户位置。
181.本发明实施例中，深度图像包括每个用户的人脸信息、深度信息和深度相机指向用户的方向向量；第一识别单元12具体用于获取深度相机的相机位置信息；按照每个用户的人脸信息，对相机位置信息、深度信息和深度相机指向用户的方向向量进行计算，得到每个用户的第一初始位置。
182.本发明实施例中，第一识别单元12具体用于通过预先构建的检测模型，对鸟瞰图像进行人体检测，得到每个用户的第二初始位置。
183.本发明实施例中，第一识别单元12具体用于将在相同时间戳下采集到的第一初始位置与第二初始位置进行匹配，得到每个用户的位置匹配对，位置匹配对包括第一待修正位置和对应的第二待修正位置；对第一待修正位置和对应的第二待修正位置取平均值，得到修正后的每个用户在当前时间戳下的用户位置。
184.本发明实施例中，第一识别单元12具体用于根据第一初始位置和多个第二初始位置，得到多个位置距离，位置距离为第一初始位置与第二初始位置之间的距离；从多个位置距离中筛选出最小位置距离；将最小位置距离对应的第一初始位置确定为第一待修正位置，并将最小位置距离对应的第二初始位置确定为第二待修正位置。
185.本发明实施例中，该装置还包括：第二获取单元15和训练单元16。
186.第二获取单元15用于获取鸟瞰样本图像，鸟瞰样本图像包括位置标注。
187.训练单元16用于通过鸟瞰样本图像，对卷积深度网络进行训练，得到检测模型。
188.本发明实施例中，身份信息包括人脸信息，人员信息池包括人脸信息和对应的不同时间戳下的用户位置；该装置还包括：第一匹配单元13。
189.第一匹配单元13具体用于将身份信息中的人脸信息与人员信息池中的人脸信息进行匹配，得到基于相同身份信息的用户在不同时间戳下的用户位置。
190.本发明实施例中，该装置还包括：第一统计单元17和第一确定单元18。
191.第一统计单元17用于根据用户轨迹信息，统计轨迹总长度。
192.第一确定单元18用于若轨迹总长度大于设置的长度阈值，将对应的用户确定为目标用户。
193.本发明实施例中，该装置还包括：第二统计单元19和第二确定单元20。
194.第二统计单元19用于统计指定时间段内用户的轨迹频度。
195.第二确定单元20用于若轨迹频度大于设置的频度阈值，将对应的用户确定为目标用户。
196.本发明实施例中，该装置还包括：第三获取单元21、第二识别单元22、第二匹配单元23。
197.第三获取单元21用于获取终端设备摄像头采集的设备前环境图像。
198.第二识别单元22用于对设备前环境图像进行识别，得到业务办理用户人脸信息。
199.第二匹配单元23用于通过预先构建的人员信息池，按照业务办理用户人脸信息进行匹配，得到业务办理用户人脸信息的业务办理情况信息。
200.本发明实施例中，业务办理用户人脸信息包括当前使用设备用户人脸信息和等候设备用户人脸信息。第二识别单元22具体用于对设备前环境图像进行人脸识别，得到多个人脸信息，人脸信息包括人脸检测框；将面积最大的人脸检测框对应的人脸信息确定为当前使用设备用户人脸信息；将除当前使用设备用户人脸信息之外的人脸信息确定为等候设备用户人脸信息。
201.本发明实施例中，业务办理用户人脸信息包括当前使用设备用户人脸信息和等候设备用户人脸信息，业务办理情况信息包括办理耗时、等待耗时和满意度；第二匹配单元23具体用于通过预先构建的人员信息池，按照当前使用设备用户人脸信息进行匹配，得到当前使用设备用户的使用设备开始时间；根据使用设备开始时间和当前时间，生成办理耗时；通过预先构建的人员信息池，按照等候设备用户人脸信息进行匹配，得到等候设备用户人脸信息的等待开始时间；根据等待开始时间和当前时间，生成等待耗时；通过表情识别算法，对当前使用设备用户人脸信息进行表情识别，得到表情信息；通过设置的表情满意度等级映射关系，根据表情信息，生成满意度。
202.本发明实施例中，该装置还包括：第二生成单元24。
203.第二生成单元24用于根据每个用户的第二初始位置和鸟瞰图像对应的划分区域，生成用户密度分布图。
204.本发明实施例的方案中，获取深度图像和鸟瞰图像，深度图像是基于双目视觉的深度相机采集的；基于深度图像和鸟瞰图像进行用户身份识别和用户位置识别，得到基于相同身份信息的用户的用户位置；通过预先构建的人员信息池，按照每个用户的身份信息进行匹配，得到每个用户在不同时间戳下的用户位置；根据同一用户在不同时间戳下的用户位置，生成用户轨迹信息，基于图像对用户位置进行定位，形成用户轨迹，能够保证用户定位的准确率，降低对硬件和用户能力的要求，提高用户体验感。
205.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
206.本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述基于双目视觉的轨迹检测方法的实施例的各步骤，具体描述可参见上述基于双目视觉的轨迹检测方法的实施例。
207.下面参考图11，其示出了适于用来实现本技术实施例的计算机设备600的结构示意图。
208.如图11所示，计算机设备600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的工作和处理。在ram603中，还存储有计算机设备600操作所需的各种程序和数据。cpu601、rom602、以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
209.以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射
线管(crt)、液晶反馈器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。
210.特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
211.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
212.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
213.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
214.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
215.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
216.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
217.本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
218.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
219.本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
220.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
221.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。