使用多相机系统进行对象跟踪的制作方法

使用多相机系统进行对象跟踪


背景技术：

1.视频监控系统对许多设施来说是宝贵的安全资源。特别地，相机技术的进步使得可以以经济的方式安装摄像机，以向设施提供强大的视频覆盖，从而帮助安全人员维护现场安全。此类视频监控系统还可包括记录允许进行事件调查的特征，并且可帮助实体提供更强大的安全性，允许进行有价值的分析，或者帮助调查。
2.虽然视频监控技术的进步提高了此类系统的功能性和普及率，但仍然存在许多限制这些系统的价值的缺陷。例如，虽然相机技术有了巨大改进，但由此类系统生成的数据量仍在不断增加。继而，有效管理视频监控数据也变得越来越困难。所提出的用于管理视频监控系统的方法包括使用网络视频录像机来捕获和存储视频数据，或使用企业服务器进行视频数据管理。如下文将更详细地解释，此类方法各自都存在难点。因此，需要具有强大的视频数据管理和访问功能的改进视频监控系统。


技术实现要素：

3.本发明内容被提供来以简化形式引入在下面在具体实施方式中进一步描述的一些构思。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。根据如在附图中进一步例示并在所附权利要求中限定的各种实施方式的以下更具体的书面具体实施方式，所要求保护的主题的其他特征、细节、效用和优点将是显而易见的。
4.在至少一个实施方式中，本文所公开的技术提供了一种对象跟踪多相机系统，其包括：多个相机，以捕获一个或多个对象的图像；以及一个或多个图案识别模块，所述图案识别模块中的每一个被配置为使用图案识别来识别视频帧中的对象，并为所识别的对象分配跟踪号；收集与所识别的对象有关的多个对象帧，并将所述多个对象帧与所分配的跟踪号相关联；将新获取的对象帧与与所识别的对象有关的所述多个对象帧进行比较，以确定所述新获取的对象帧是否与所识别的对象有关；以及响应于所述比较，确定不需要对所述新获取的对象帧执行面部识别。
5.阅读以下具体实施方式后，这些特征和优点以及各种其他特征和优点将是显而易见的。
附图说明
6.通过参考附图可实现对本发明技术的性质和优点的进一步理解，所述附图在说明书的剩余部分中描述。在附图中，在若干附图中使用相同的附图标记来指代类似部件。在一些情况下，附图标记可以具有由小写字母构成的相关子标记以表示多个类似的部件中的一个。当在未指定子标记的情况下参考附图标记时，引用旨在指的是所有此类多个类似的部件。
7.图1示出了用于跟踪多相机系统中的对象的示例性系统的示例性框图。
8.图2示出了用于跟踪多相机系统中的对象的系统的示例性操作。
9.图3示出了用于跟踪多相机系统中的对象的系统的另一实施方式的示例性操作。
10.图4示出了用于跟踪多相机系统中的对象的系统的又一实施方式的示例性操作。
11.图5示出了可用于实现所描述的技术的示例性处理系统。
具体实施方式
12.本文所公开的技术涉及一种架构，其允许跟踪多相机跟踪系统内的对象并以较低的面部识别资源利用率对对象进行实时面部识别。具体地，该技术设想(a)将跟踪信息与各种检测到的对象相关联；(2)检测界定框内的新对象；(3)将界定框内的对象与先前跟踪的对象进行比较；以及(4)基于该比较，将新对象与先前跟踪的对象相关联或执行面部识别。这使得需要由系统执行的新面部识别的数量降低。
13.具体地，本文所公开的技术提供了一种用于利用时空一致性来实时地进行便宜的多对象多相机跟踪，以通过结合昂贵的面部/图案识别与便宜的跟踪而不是使用单一的面部/图案识别方法来解决视频中昂贵的对象识别、鉴定和跟踪的问题的方法。本文所公开的多相机对象跟踪系统的实施方式提供了一种共同架构，其允许不仅通过唯一标识(id)而且通过与外部信息数据库(例如，员工数据库、车牌数据库等)有关的唯一id来跟踪对象并识别对象。本文所公开的实施方式通过对高分辨率图像执行面部或图案识别以及对低分辨率图像执行跟踪从而减少计算资源的使用来实现这一点。具体地，多相机对象跟踪系统使用相对便宜的跟踪方法来消除在每个时间步骤执行面部/图案识别的需要。此外，多相机对象跟踪系统的各个相机共享关于被跟踪的对象的身份的信息。
14.本文所公开的多相机对象跟踪系统的实施方式将面部识别和便宜的跟踪交织在一起以执行实时人类识别和跟踪。所得的解决方案在速度以及准确性方面改进了现有人员识别和跟踪系统。在本文所公开的一个或多个实施方式中，结合使用面部/图案识别和对象跟踪，以提供更强大和实时的解决方案。本文所公开的技术的所得计算效率允许其在具有专用硬件的边缘设备上实现。此外，该技术提供了相机间通信，以提高可靠性并减少由于噪声、阻塞等导致的误差。
15.图1示出了用于跟踪多相机系统100中的对象的系统的框图。虽然在跟踪人类对象的背景下公开了多相机系统100，但在替代实施方式中，其也可以用于跟踪其他对象，诸如汽车牌照等。多相机系统100包括相机网络10，诸如相机10a
‑
10e。各个相机10a
‑
10e中的每一个可被配置为监视各个视图区域。例如，相机10a监视视图区域a 130，相机10d监视视图区域d 136，相机10e监视视图区域d 138等。
16.相机10a
‑
10e中的每一个可通信地连接到计算设备12。因此，例如，相机10d连接到计算设备12d，并且相机10e连接到计算设备12e。虽然在例示的实施方式中，计算设备12被示出为与相机10分离，但在替代实施方式中，计算设备12的功能可内置在相机10中。此外，计算设备12(无论是独立地还是作为相机10的一部分)可通信地连接到服务器14。
17.相机10中的每一个检测并跟踪视图130
‑
138中的各个对象。例如，相机10a可检测视图区域a 130中的人员140、142的移动。人员140可从视图区域a130移动到视图区域d 136，在后者中，该人员由相机10d检测到。类似地，人员142可从视图区域a 130移动到视图区域e 138，在后者中，相机10e检测到人员142和人员144两者。当相机在视图区域中检测到人员或另一对象时，其图像被捕获，并且在该对象周围生成界定框。例如，相机10d及其相关
联的计算设备12d在视图区域d 136中捕获人员140的图像，并在人员140周围生成界定框。在替代实施方式中，当要执行面部识别时，也可在人员140的面部周围生成界定框。
18.可降低包括人员140的图像的整个帧的分辨率，并且这种分辨率降低的帧和其中的一个或多个界定框可用于生成人员142的身份。随后，将此类身份与保存在跟踪数据库中的各种身份进行比较，以查看人员142是否已经在跟踪数据库中。如果是，则不对人员142执行面部或图案识别，并且使用在跟踪数据库中分配给人员142的身份来跟踪该人员。另一方面，如果确定人员142不在跟踪数据库中，则图案识别模块执行人员142的图案识别或面部识别，并为其分配新的跟踪身份。
19.多相机对象跟踪系统100所使用的各种软件或固件模块被公开为对象跟踪系统150。对象跟踪系统150的一个或多个模块可在服务器140上或在计算设备12上(因此在相机10上)上实施。例如，图案识别模块152(当对象是人员时，其可以是面部识别模块)可在服务器14上实施。类似地，存储各种对象及其身份证明的对象帧存储器152也可在服务器14上配置。
20.另一方面，对象跟踪模块156可在计算设备12上实施。相机10和计算设备12经由网络或使用服务器14彼此共享关于视图区域中的对象的信息，诸如界定框信息、跟踪信息等。在一个实施方式中，对象跟踪系统150还包括保真度管理器模块158，其被配置为以预定时间间隔重新执行对象的图案识别。具体地，保真度管理器模块158通过以此类预定时间间隔执行图案/面部识别来确保对象与正确的跟踪身份证明相关联。在一个实施方式中，预定时间间隔可基于各种其他因素，诸如在各个视图区域130
‑
138中有多少对象、在视图区域130
‑
138中各个对象的速度、任何警报的存在等。例如，如果保真度管理器158确定视图区域a 130很忙，则其可增加执行图案识别的频率，以便确保跟踪的准确性。类似地，预定时间间隔可基于一天中的时间。例如，考虑到视图区域130
‑
138在早上、午餐时间和晚上更忙，在这些时间段内，保真度管理器158可为对象的图案识别分配更高的频率。
21.图2示出了用于跟踪多相机系统中的对象的系统的操作200。操作204监视视图空间的对象。例如，视图空间可以是服务器设施、建筑物的前厅等。操作206可检测视图空间中的对象。例如，这种对象可以是人员john doe。随后，操作208捕获检测到的对象周围的界定框，生成用于界定框的代表性矢量，并将代表性矢量与来自跟踪数据库的现有对象进行比较。因此，代表性矢量可基于john doe的面部周围的界定框生成。在一个实施方式中，可使用神经网络来计算矢量。此外，可基于矢量的相似性来执行两个矢量之间的比较，该相似性可基于各种矢量之间的距离来确定。具体地，不同矢量之间的相似性的这种测量允许即使在基于来自同一人员的不同视图的图像(这些图像可以不同的角度、距离等拍摄，这可能产生略微不同的代表性矢量)生成各种矢量时也能发现匹配。
22.如果在操作210处发现这种匹配，则操作212将检测到的对象与对象相关联，并为其分配现有对象的跟踪id。例如，如果john doe已在跟踪数据库中具有跟踪id，则将此类现有跟踪id与john doe的界定框相关联。如果操作210确定未发现john doe的代表性矢量的匹配，则操作214对john doe执行图案识别。在这种情况下，在操作216处为john doe创建新跟踪，并且操作218将代表john doe的矢量与跟踪数据库中的跟踪id相加。
23.图3示出了用于跟踪多相机系统中的对象的系统的另一实施方式的操作300。具体地，各种操作304
‑
318与上文关于图2所论述的操作204
‑
208基本上相似。另外，图3中公开的
实施方式包括操作330，其评估是否有必要重新执行图案识别。例如，当对对象执行图案识别时，可在操作334处将t设置为0。操作330确定当前时间t是否是t
追踪
(预定时间段)的倍数。如果是，则操作332对对象重新执行图案识别。
24.图4示出了用于跟踪多相机系统中的对象的系统的又一实施方式的操作400。具体地，操作400提供了确定预定时间t
追踪
以确保本文所公开的多相机对象跟踪系统中的各个对象的图案识别的保真度的各种方式。具体地，操作402可分析视图帧中的对象的数量，并将该信息提供给确定操作420。确定操作420可使用该信息来确定t
追踪
。类似地，操作404可分析视图帧中的对象的速度，并将该信息提供给确定操作420。确定操作420可使用该信息来确定t
追踪
。替代地，确定操作420可使用如由操作406提供的一天中的时间来确定t
追踪
。另一方面，操作408可监视系统警报，并且如果检测到警报，则确定操作420可响应于警报信号的存在而更新t
追踪
。
25.上文所公开的架构可能与用于执行对象面部/图案识别以进行对象跟踪的方法无关。此外，该架构还可以扩展为识别和跟踪具有可以被唯一地识别的子集的任何对象，例如汽车和牌照等。此外，在一个实施方式中，为了考虑人员或对象出现的变化，使用并更新来自不同时间点的多个特征矢量，从而识别人员或对象的相对最近的特性。在替代实施方式中，面部识别还包括识别面部的关键点。
26.图5示出了可用于实现所描述的技术的示例性处理系统500。处理系统500能够执行在有形计算机可读存储介质中体现的计算机程序产品以执行计算机过程。可将数据和程序文件输入处理系统500，该处理系统使用一个或多个处理器(cpu、gpu或vpu)读取文件并执行其中的程序。处理系统500的一些元件在图5中示出，其中处理器502被示出为具有输入/输出(i/o)区段504、中央处理单元(cpu)506和存储器区段508。可存在一个或多个处理器502，使得处理系统500的处理器502包括单个中央处理单元506或多个处理单元。处理器可以是单核或多核处理器。处理系统500可以是常规计算机、分布式计算机或任何其他类型的计算机。所描述的技术任选在载入存储器508、存储单元512中的软件中实施，和/或经由载波信号(例如，以太网、3g无线、8g无线、lte(长期演进))上的有线或无线网络链路514传送，由此将图5中的处理系统500转换为用于实施所描述的操作的专用机器。处理系统500可以是被配置用于支持分布式账本的专用处理系统。换句话讲，处理系统500可以是分类账节点。
27.i/o区段504可连接到一个或多个用户界面设备(例如，键盘、触摸屏显示单元518等)或存储单元512。包含根据所描述的技术实现系统和方法的机制的计算机程序产品可驻留此类系统500的存储器区段508中或存储单元512上。
28.通信接口524能够经由网络链路514将处理系统500连接到企业网络，计算机系统可以通过该网络链路接收在载波中体现的指令和数据。当在局域网(lan)环境中使用时，处理系统500通过通信接口524连接(通过有线连接或无线地)到本地网络，该通信接口是一种通信设备。当在广域网(wan)环境中使用时，处理系统500通常包括调制解调器、网络适配器或用于通过广域网建立通信的任何其他类型的通信设备。在联网环境中，相对于处理系统500或其部分描绘的程序模块可存储在远程存储器存储设备中。应当理解，所示的网络连接是通信设备的实例，可使用用于在计算机之间建立通信链路的其他手段。
29.在示例性实施方式中，用户界面软件模块、通信接口、输入/输出接口模块、分类账
节点和其他模块可由存储在存储器508和/或存储单元512中并由处理器502执行的指令体现。此外，本地计算系统、远程数据源和/或服务以及其他相关联逻辑表示可被配置为帮助支持分布式账本的固件、硬件和/或软件。可使用通用计算机和专用软件(诸如服务器执行服务软件)、专用计算系统和专用软件(诸如移动设备或网络设备执行服务软件)或其他计算配置来实施分类账节点系统。另外，密钥、设备信息、识别、配置等可存储在存储器508和/或存储单元512中并由处理器502执行。
30.处理系统500可在诸如用户设备、存储设备、iot设备、台式机、笔记本电脑、计算设备等设备中实施。处理系统500可以是在用户设备中或在用户设备外部执行的分类账节点。
31.数据存储和/或存储器可由各种类型的处理器可读存储介质体现，诸如硬盘介质、包含多个存储设备的存储阵列、光学介质、固态驱动器技术、rom、ram和其他技术。这些操作可以是在固件、软件、硬连线电路、门阵列技术和其他技术中实现的处理器可执行指令，无论是由微处理器、微处理器核心、微控制器、专用电路或其他处理技术执行还是辅助。应该理解，数据存储系统的写入控制器、存储控制器、数据写入电路、数据读取和恢复电路、排序模块及其他功能模块可以包括处理器或与处理器协同工作以用于处理用于执行系统实现的过程的处理器可读指令。
32.对于本说明书的目的和权利要求的含义，术语“存储器”意指有形数据存储设备，包括非易失性存储器(诸如闪速存储器等)和易失性存储器(诸如动态随机存取存储器等)。计算机指令连同其他信息(诸如可由计算机处理器访问以执行期望的功能的数据、虚拟映射、操作系统、应用等)一起永久地或暂时地驻留在存储器中。术语“存储器”明确地不包括诸如载波信号的暂时性介质，但是可将计算机指令以无线方式转移到存储器。
33.与有形计算机可读存储介质相反，无形计算机可读通信信号可体现驻留在经调制的数据信号诸如载波或其他信号传输机构中的计算机可读指令、数据结构、程序模块或其他数据。术语“经调制的数据信号”意指其特性中的一个或多个以编码信号中的信息的方式被设定或改变的信号。作为实例而非限制，无形通信信号包括有线介质(诸如有线网络或直接有线连接)和无线介质(诸如声学无线介质、rf无线介质、红外无线介质和其他无线介质)。
34.本文所述的本发明的实施方案被实施为一个或多个计算机系统中的逻辑步骤。本发明的逻辑操作被实施为(1)在一个或多个计算机系统中执行的一系列处理器实现的步骤，以及(2)一个或多个计算机系统内的互连的机器或电路模块。实施方式是选择问题，取决于实施本发明的计算机系统的性能要求。因此，构成本文所述的本发明的实施方案的逻辑操作被不同地称为操作、步骤、对象或模块。此外，应该理解，除非另外明确地要求保护或者权利要求语言固有地需要特定顺序，否则可以任何顺序执行逻辑操作。
35.以上说明书、实例和数据提供了对所公开的技术的示例性实施方案的结构和用途的完整描述。由于可在不脱离所公开的技术的精神和范围的情况下做出所公开的技术的许多实施方案，所以所公开的技术存在于在下文附加的权利要求中。此外，在不脱离所叙述的权利要求的情况下，可在又一个实施方案中结合不同实施方案的结构特征。
36.进一步的示例
37.示例1.一种方法，其包括：
38.使用图案识别来识别视频帧中的对象，并为所识别的对象分配跟踪号；
39.收集与所识别的对象相关联的多个对象帧，并将所述多个对象帧与所分配的跟踪号相关联；
40.将新获取的对象帧与与所识别的对象有关的所述多个对象帧进行比较，以确定所述新获取的对象帧是否与所识别的对象有关；以及
41.响应于所述比较，确定不需要对所述新获取的对象帧执行面部识别。
42.示例2.如示例1所述的方法，其还包括以预定时间间隔执行与所识别的对象相关联的一个或多个对象帧的图案识别。
43.示例3.如示例2所述的方法，其中所述预定时间间隔基于帧中的对象的数量。
44.示例4.如示例2所述的方法，其中所述预定时间间隔基于帧中的一个或多个对象的移动速度。
45.示例5.如示例2所述的方法，其中所述预定时间间隔基于一天中的时间。
46.示例6.如示例2所述的方法，其中所述预定时间间隔基于指示安全威胁的警报信号。
47.示例7.如示例1所述的方法，其中将所述新获取的对象帧与与所识别的对象有关的所述多个对象帧进行比较还包括将所述新获取的对象帧与与多个识别对象有关的多个对象帧进行比较。
48.示例8.如示例1所述的方法，其还包括降低所识别的对象的分辨率，以及将所识别的对象添加到与所识别的对象相关联的所述多个对象帧中。
49.示例9.一个或多个处理器可读存储介质，其编码用于在计算机系统上执行计算机进程的处理器可执行指令，所述计算机进程包括：
50.使用图案识别来识别视频帧中的对象，并为所识别的对象分配跟踪号；
51.收集与所识别的对象有关的多个对象帧，并将所述多个对象帧与所分配的跟踪号相关联；
52.将新获取的对象帧与与所识别的对象有关的所述多个对象帧进行比较，以确定所述新获取的对象帧是否与所识别的对象有关；以及
53.响应于所述比较，确定不需要对所述新获取的对象帧执行面部识别。
54.示例10.如示例9所述的一个或多个处理器可读存储介质，其中所述计算机进程还包括以预定时间间隔执行与所识别的对象相关联的一个或多个对象帧的图案识别。
55.示例11.如示例10所述的一个或多个处理器可读存储介质，其中所述预定时间间隔基于帧中的对象的数量。
56.示例12.如示例10所述的一个或多个处理器可读存储介质，其中所述预定时间间隔基于帧中的一个或多个对象的移动速度。
57.示例13.如示例10所述的一个或多个处理器可读存储介质，其中所述预定时间间隔基于一天中的时间。
58.示例14.如示例10所述的一个或多个处理器可读存储介质，其中所述预定时间间隔基于指示安全威胁的警报信号。
59.示例15.如示例9所述的一个或多个处理器可读存储介质，其中将所述新获取的对象帧与与所识别的对象有关的所述多个对象帧进行比较还包括将所述新获取的对象帧与与多个识别对象有关的多个对象帧进行比较。
60.示例16.如示例9所述的一个或多个处理器可读存储介质，其中所述计算机进程还包括降低所识别的对象的分辨率，以及将所识别的对象添加到与所识别的对象相关联的所述多个对象帧中。
61.示例17.一种系统，其包括：
62.多个相机，以捕获一个或多个对象的图像；
63.一个或多个图案识别模块，所述图案识别模块中的每一个被配置为：
64.使用图案识别来识别视频帧中的对象，并为所识别的对象分配跟踪号；
65.收集与所识别的对象有关的多个对象帧，并将所述多个对象帧与所分配的跟踪号相关联；
66.将新获取的对象帧与与所识别的对象有关的所述多个对象帧进行比较，以确定所述新获取的对象帧是否与所识别的对象有关；以及
67.响应于所述比较，确定不需要对所述新获取的对象帧执行图案识别。
68.示例18.如示例17所述的系统，其中所述图案识别模块中的每一个被进一步配置为以预定时间间隔执行与所识别的对象相关联的一个或多个对象帧的图案识别。
69.示例19.如示例17所述的系统，其中将所述新获取的对象帧与与所识别的对象有关的所述多个对象帧进行比较还包括将所述新获取的对象帧与与多个识别对象有关的多个对象帧进行比较。
70.示例20.如示例17所述的系统，其中所述图案识别模块中的每一个被进一步配置为包括降低所识别的对象的分辨率，以及将所识别的对象添加到与所识别的对象相关联的所述多个对象帧中。