一种基于视觉标签识别的轨迹追踪方法、装置和电子设备与流程

1.本技术涉及图像识别技术领域，具体涉及一种基于视觉标签识别的轨迹追踪方法、装置和电子设备。


背景技术：

2.在一些监控场景下，常常需要对相应区域范围内活动的人员进行监控，例如，学校、图书馆、企业办公场地等。以企业办公场地为例，在公司员工上班对应的时间段，需要对每个员工的活动进行有效监控，进而实现公司的顺畅管理。
3.目前来说，往往仅采用在办公场所设置监控摄像头的方式，对员工的办公活动进行监控，但是由于目前市场生产的监控摄像头对应的分辨率参差不齐，可能无法实现对公司每一位员工进行高效、精准的活动识别，另外，即使摄像头的分辨率足够高，但是无法对每一位员工的活动轨迹进行系统化记录。
4.鉴于此，如何对预设区域范围内活动的人、动物或其他可移动物体进行有效监控，并对所述人、动物、或可移动物体进行活动轨迹识别，已经成为一个亟待解决的技术问题。


技术实现要素：

5.(一)要解决的技术问题
6.鉴于现有技术的上述缺点、不足，本技术提供一种基于视觉标签识别的轨迹追踪方法、装置和电子设备。
7.(二)技术方案
8.为达到上述目的，本技术采用如下技术方案：
9.第一方面，本技术提出一种基于视觉标签识别的轨迹追踪方法，所述轨迹追踪方法具体包括：
10.s1、针对预设区域，获取视频采集装置实时采集的视频图像；
11.其中，所述视频采集装置包括：一个以上的具有不同摄像优先级的摄像设备；
12.s2、根据获取的视频图像，通过进行预设目标检测及追踪，获取每一帧图像中检测目标；根据获取的视频图像，通过进行标签检测及分类，获取每一帧图像中视觉标签和其对应的身份信息；
13.其中，所述预设目标为：贴附有预设的视觉标签的可移动目标；所述视觉标签为：贴附在待追踪目标上的区分性可识别标签；
14.s3、根据获取的检测目标和视觉标签的位置关系，对检测目标和身份信息进行匹配，将与所述身份信息匹配的检测目标作为待追踪目标，通过目标追踪生成与所述身份信息相对应的追踪轨迹信息；
15.s4、根据预设的摄像优先级选定所述待追踪目标运动路径上的各个摄像设备；并通过选定的各个摄像设备，对所述待追踪目标进行轨迹追踪生成所述待追踪目标的全局轨迹。
16.可选的，所述s2包括：所述视觉标签为条形码或二进制编码，当所述视觉标签为条形码，将所述条形码的编码区域分为固定区域和可变区域；
17.所述固定区域呈左右对称，所述固定区域由两个单位宽度且颜色不同的色块组成；
18.所述可变区域不区分左右，所述可变区域由3个以上单位宽度色块表示，所述色块由区分度高的任意两种颜色组成而成，其中一种颜色为前景色，另外一种为背景色；其中，同种颜色的色块不得连续出现3次，所述前景色和背景色的区分度转换成灰度图后亮度差不低于50cd/m2。
19.可选的，所述s2中的根据获取的视频图像，通过进行标签检测及分类，获取每一帧图像中视觉标签和其对应的身份信息，包括：
20.通过对检测目标进行标签分类获取视觉标签分类结果，根据预设的标签分类置信度阈值对所述视觉标签分类结果进行筛选，获得最优的视觉标签和视觉标签id；基于预设的目标-标签对应关系，根据所述视觉标签id获得待追踪目标的身份信息；
21.其中，所述视觉标签id为：不同视觉标签对应的数字排序编码；
22.所述标签分类置信度阈值为：不同视觉标签与检测目标之间的契合概率阈值；
23.所述预设的目标-标签对应关系为：不同目标的身份信息与不同视觉标签id之间的预设对应关系。
24.可选的，所述s2包括：
25.采用经过训练的目标检测器和目标追踪器，对所述预设目标进行检测及追踪，获取检测框和检测目标id；
26.采用经过训练的标签检测器和标签分类器，对贴附在预设目标上的视觉标签进行检测和分类，获取视觉标签和视觉标签id。
27.可选的，在s1之前，还包括：通过深度学习对所述目标检测器、目标追踪器、标签检测器和标签分类器进行初始化。
28.可选的，所述s4包括：
29.当多个摄像设备采集到待检测目标对应的视频影像，则选择优先级最高的摄像设备与待检测目标进行绑定，对待检测目标进行轨迹追踪。
30.第二方面，本技术提出一种基于视觉标签识别的轨迹追踪装置，所述轨迹追踪装置具体包括：
31.视频图像采集模块，用于针对预设区域，获取视频采集装置实时采集的视频图像；
32.目标及标签检测模块，用于根据获取的视频图像，通过进行预设目标检测及追踪，获取每一帧图像中检测目标；根据获取的视频图像，通过进行标签检测及分类，获取每一帧图像中视觉标签和其对应的身份信息；
33.身份信息匹配模块，用于根据获取的检测目标和视觉标签的位置关系，对检测目标和身份信息进行匹配，将与所述身份信息匹配的检测目标作为待追踪目标，通过目标追踪生成与所述身份信息相对应的追踪轨迹信息；
34.全局轨迹追踪模块，用于根据预设的摄像优先级选定所述待追踪目标运动路径上的各个摄像设备；并通过选定的各个摄像设备，对所述待追踪目标进行轨迹追踪生成所述待追踪目标的全局轨迹。
35.第三方面，本技术提出一种计算机可读介质和电子设备，具体的，
36.计算机可读介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～6中任一项所述的方法的步骤。
37.电子设备包括一个或多个处理器，以及存储装置；其中，存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～6中任一项所述的方法。
38.(三)有益效果
39.本技术根据获取预设区域对应的视频图像，进行预设目标检测和追踪以获得检测目标，对获得的检测目标进行视觉标签检测及分类，对获得的检测目标和视觉标签进行身份信息匹配以得到待追踪目标，并根据摄像优先级确定出摄像设备，通过将确定出的摄像设备与待追踪目标进行绑定。进而不仅实现了对待追踪目标的有效监控，并进一步实现了对待追踪目标的轨迹追踪。
附图说明
40.本技术借助于以下附图进行描述：
41.图1为本技术一实施例提供的基于视觉标签识别的轨迹追踪方法流程示意图；
42.图2为本发明一实施例提供的基于视觉标签识别的轨迹追踪装置结构组成示意图；
43.图3为本发明一实施例提供的基于视觉标签识别的轨迹追踪装置工作原理图；
44.图4为本发明一实施例提供的电子设备的构成示意图。
具体实施方式
45.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
46.实施例一提供一种基于视觉标签识别的轨迹追踪方法，通过本方法可以实现：在跨用多个摄像设备的情况下，进行办公场所中工作人员的识别和轨迹追踪、商场中特定物品的识别和轨迹追踪，以及饲养基地中圈养动物的识别和轨迹追踪等等。如图一所示，所述轨迹追踪方法步骤具体包括s1～s4：
47.s1、针对预设区域，获取视频采集装置实时采集的视频图像。
48.本实施例中，所述预设区域为需要进行预设目标轨迹追踪的区域，可以为工厂、写字楼、商场、养殖场等，但不仅限于上述区域。
49.本实施例中，所述视频采集装置为：一个以上的具有不同摄像优先级的摄像设备；为了可以采集到完整的、视角广阔的视频图像，摄像设备可以为顶视角安装的全景摄像机(照相机)、普通摄像机(照相机)。
50.本实施例中，不要求不同摄像设备的摄像范围有重叠部分。
51.本实施例中，对于不同摄像设备的优先级设定，需要说明的是：可以对预设区域做进一步的区域划分，采用不同的摄像设备对区域划分后的预设区域进行视频图像采集，根
据预设区域的划分情况对不同的摄像设备的优先级别进行设定。
52.s2、根据获取的视频图像，通过进行预设目标检测及追踪，获取每一帧图像中检测目标；根据获取的视频图像，通过进行标签检测及分类，获取每一帧图像中视觉标签和其对应的身份信息。
53.本实施例中，预设目标为：贴附有预设视觉标签的可移动目标；具体的，预设目标可以是能够自行活动的人或动物，也可以是需要借助外界力发生位移的物品，例如超市或商场中的商品。
54.本实施例中，视觉标签为：贴附在可移动目标上的区分性可识别标签；具体的，视觉标签不仅限于条形码，还可以是其他经过编码的视觉图案。
55.基于前述视觉标签，需要说明的是：
56.第一点、当视觉标签为条形码时，可以将编码区域划分为固定区域和可变区域，进而通过读取条形码，对可变区域进行识别。对于固定区域部分，需要说明的是：固定区域用于区分背景和有效信息，降低误识别率；固定区域部分左右对称，具体的，固定区域由两个单位宽度但颜色不同的色块组成。对于可变区域部分，需要说明的是：可变区域部分由3个以上单位宽度色块表示，由区分度高的任意两种颜色组合而成，对于两种颜色而言，一种为前景色，一种为背景色；前述可变区域要求同种颜色的色块不得连续出现三次及以上，并要求前景色和背景色区分度转换成灰度图后亮度差不低于50cd/m2；另外需要说明的是：对于前述可变区域部分，上述所描述的均为单行色块组成的编码结构，进而实施例中还可以采用多行色块组合的方式。
57.第二点、除了将视觉标签设置成条形码形式，还可以将视觉标签直接解析成二进制编码，然后通过深度学习的方式对所述二进制编码进行识别。
58.本实施例中，对于视觉标签的佩带方式、佩带对象以及佩带位置，需要说明的是：视觉标签可以通过佩带或者喷涂的方式，以横向、纵向或呈倾斜一定角度状地设置在预设目标上，当预设目标为人或动物时，则可以将视觉标签贴附在预设目标的胸前、后背、臂膀、肩上和头顶等位置。
59.s3、根据获取的检测目标和视觉标签的位置关系，对检测目标和身份信息进行匹配，将与所述身份信息匹配的检测目标作为待追踪目标，通过目标追踪生成与所述身份信息相对应的追踪轨迹信息。
60.s4、根据预设的摄像优先级选定所述待追踪目标运动路径上的各个摄像设备；并通过选定的各个摄像设备，对所述待追踪目标进行轨迹追踪生成所述待追踪目标的全局轨迹。
61.基于实施例一中所提供的技术方案，根据获取预设区域对应的视频图像，进行预设目标检测和追踪以获得检测目标，对获得的检测目标进行视觉标签检测及分类，对获得的检测目标和视觉标签进行身份信息匹配以得到待追踪目标，并根据摄像优先级确定出摄像设备，通过将确定出的摄像设备与待追踪目标进行绑定。进而，不仅实现了对待追踪目标的有效监控，并进一步实现了对待追踪目标的轨迹追踪。
62.实施例二提供一种基于视觉标签识别的轨迹追踪方法，所述轨迹追踪方法步骤具体包括s1～s4，具体如下：
63.s1、针对预设区域，获取视频采集装置实时采集的视频图像。
64.s2、根据获取的视频图像，通过进行预设目标检测及追踪，获取每一帧图像中检测目标；根据获取的视频图像，通过进行标签检测及分类，获取每一帧图像中视觉标签和其对应的身份信息。
65.基于前述步骤s2，对于预设目标的检测，需要说明的是：
66.基于传统cv算法，或诸如yolo、ssd等深度学习算法，对预设目标进行检测，获得预设目标检测结果，并通过设定阈值的方式对预设目标检测结果进行筛选过滤。
67.本实施例中，在对每一帧图像中检测目标进行获取的同时，获取所述检测目标对应的检测框和检测目标id；其中，检测框为：每一帧视频图像中，预设目标对应的框选部分区域；检测目标id为：根据检测目标的出现次序所确定的数字编码。
68.基于前述步骤s2，对于预设目标的追踪，需要说明的是：
69.由于视觉标签一定位于预设目标对应的检测框内，因此可以先对预设目标进行检测，再在前述检测框内对视觉标签进行检测；另外，也可以采用基于获取的每一帧视频图像进行直接检测，再采用iou匹配方式进行过滤匹配。
70.基于前述步骤s2，对于视觉标签的检测，需要说明的是：
71.基于基于传统cv算法，或诸如yolo、ssd等深度学习算法，对视觉标签进行检测，获得视觉标签检测结果，并通过设定阈值的方式对视觉标签检测结果进行筛选过滤。
72.基于前述步骤s2，对于视觉标签的分类，需要说明的是：
73.对于一般情况下的视觉标签分类，可以基于传统机器学习的方式实现，也可以基于诸如vgg、mobilenet等深度学习方法实现；另外，对于特定情况下的标签分类，可以通过直接扫描条形码的方式实现。
74.基于前述步骤s2，对于视觉标签和视觉标签id的获取，需要说明的是：
75.通过对检测出的预设目标进行标签分类获取视觉标签分类结果，根据预设的标签分类置信度阈值对获取的视觉标签分类结果进行筛选，获得最优的视觉标签和视觉标签id；基于预设的目标-标签对应关系，根据所述视觉标签id获得待追踪目标的身份信息；
76.本实施例中，视觉标签id为：不同视觉标签对应的数字排序编码：具体的，视觉标签id可以设定为100001、100002、
……
，需要说明的是：视觉标签id的编码排序是预先排好顺序的。
77.本实施例中，标签分类执行度阈值为：不同视觉标签与检测出的预目标之间的契合概率阈值。
78.本实施例中，所述预设的目标-标签对应关系为：不同目标的身份信息与不同视觉标签id之间的预设对应关系。
79.本实施例中，对于检测框、检测目标id、视觉标签和视觉标签id的具体获取，一种可选的方式包括：
80.s2-1、采用经过训练的目标检测器和目标追踪器，对预设目标进行检测及追踪，获取检测框和检测目标id；
81.本实施例中，对于目标检测器和目标追踪器的预先训练，可以通过传统cv算法或深度学习进行。
82.s2-2、采用经过训练的标签检测器和标签分类器，对贴附在预设目标上的视觉标签进行检测和分类，获取视觉标签和视觉标签id。
83.本实施例中，对于标签检测器和标签分类器的预先训练，同样可以通过传统cv算法或深度学习进行。
84.本实施例中，若选用前述步骤s2-1和s2-2，对检测框、检测目标id、视觉标签和视觉标签id进行获取，则需要在执行前述步骤s1之前，通过深度学习对目标检测器、目标追踪器、标签检测器和标签分类器进行初始化。
85.对于前述目标检测器、目标追踪器、标签检测器和标签分类器的初始化过程所适用的方式，需要说明的是：
86.(1)本实施例中，可以采用传统cv算法，或者诸如yolo、ssd等深度学习方法，对标签检测器进行初始化处理。
87.(2)本实施例中，可以通过传统ml算法，或者诸如vgg、mobilenet等深度学习算法，对标签分类器进行初始化处理。
88.(3)本实施例中，可以采用传统cv算法，或者诸如yolo、ssd等深度学习方法，对目标检测器进行初始化处理。
89.(4)本实施例中，可以基于检测框的位置，或者deepsort深度算法，对目标追踪器进行初始化处理。
90.s3、根据获取的检测目标和视觉标签的位置关系，对检测目标和身份信息进行匹配，将与所述身份信息匹配的检测目标作为待追踪目标，通过目标追踪生成与所述身份信息相对应的追踪轨迹信息。
91.本实施例中，通过iou方式对检测框和视觉标签的重合度进行匹配，在此基础上，再结合视频图像前后帧的追踪信息作进一步的身份信息匹配。
92.s4、根据预设的摄像优先级选定所述待追踪目标运动路径上的各个摄像设备；并通过选定的各个摄像设备，对所述待追踪目标进行轨迹追踪生成所述待追踪目标的全局轨迹。
93.基于前述步骤s4，对于待追踪目标所绑定的摄像设备，需要说明的是：当在实际操作时，难免会出现多个摄像设备同时采集到处于同一位置的待追踪目标的情况；当多个摄像设备采集到处于同一位置的待追踪目标，则选择优先级别最高的摄像设备与当前待追踪目标进行绑定，进而实现对待追踪目标所进行的轨迹追踪。
94.基于实施例二中所提供的技术方案，根据获取预设区域对应的视频图像，进行预设目标检测和追踪以获得检测目标，对获得的检测目标进行视觉标签检测及分类，对获得的检测目标和视觉标签进行身份信息匹配以得到待追踪目标，并根据摄像优先级确定出摄像设备，通过将确定出的摄像设备与待追踪目标进行绑定。进而，不仅实现了对待追踪目标的有效监控，并进一步实现了对待追踪目标的轨迹追踪。
95.实施例三提供一种基于视觉标签识别的轨迹追踪装置，如图2所示，所述轨迹追踪装置包括：
96.视频图像采集模块，用于针对预设区域，获取视频采集装置实时采集的视频图像。
97.目标及标签检测模块，用于根据获取的视频图像，通过进行预设目标检测及追踪，获取每一帧图像中检测目标；根据获取的视频图像，通过进行标签检测及分类，获取每一帧图像中视觉标签和其对应的身份信息。
98.身份信息匹配模块，用于根据获取的检测目标和视觉标签的位置关系，对检测目
标和身份信息进行匹配，将与所述身份信息匹配的检测目标作为待追踪目标，通过目标追踪生成与所述身份信息相对应的追踪轨迹信息。
99.全局轨迹追踪模块，用于根据预设的摄像优先级选定所述待追踪目标运动路径上的各个摄像设备；并通过选定的各个摄像设备，对所述待追踪目标进行轨迹追踪生成所述待追踪目标的全局轨迹。
100.本实施例中，基于视觉标签识别的轨迹追踪装置工作原理图如图3所示。
101.基于实施例三中所提供的装置，能够实现：根据获取预设区域对应的视频图像，进行预设目标检测和追踪以获得检测目标，对获得的检测目标进行视觉标签检测及分类，对获得的检测目标和视觉标签进行身份信息匹配以得到待追踪目标，并根据摄像优先级确定出摄像设备，通过将确定出的摄像设备与待追踪目标进行绑定。进而，利用基于视觉标签识别的轨迹追踪装置，不仅实现了对待追踪目标的有效监控，并进一步实现了对待追踪目标的轨迹追踪。
102.实施例四提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现前述实施例一或实施例二中任一实施例所述的基于视觉标签识别的轨迹追踪方法的步骤。
103.图4为本技术实施例四中的电子设备的构成示意图。
104.图4所示的电子设备可包括：至少一个处理器101、至少一个存储器102、至少一个网络接口104和其他的用户接口103。电子设备中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统105。
105.其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。
106.可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(sync link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本文描述的存储器102旨在包括但不限于这些和任意其它适合类型的存储器。
107.在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。
108.其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1022，包含各种应用程序，用于实现
各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。
109.在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行实施例一或实施例二所提供的方法步骤。
110.上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。
111.另外，结合前述实施例中的基于视觉标签识别的轨迹追踪方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现前述实施例中的任意一种基于视觉标签识别的轨迹追踪方法。
112.应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。
113.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例做出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
114.显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。