目标跟踪方法和装置，介质和计算机设备与流程

1.本公开涉及目标跟踪技术领域，尤其涉及目标跟踪方法和装置，介质和计算机设备。


背景技术：

2.目标跟踪是计算机视觉以及智能视频监控领域的重要问题。在监控场景下，往往有多个不同的图像采集装置覆盖监控区域，由于各个图像采集装置的光照、各个图像采集装置所采集的图像中的背景等条件、各个图像采集装置的视角以及行人排布等中的一种或多种因素可能不同，导致在多个图像采集装置覆盖监控区域的场景下，目标跟踪的准确度较低。


技术实现要素：

3.第一方面，本公开实施例提供一种目标跟踪方法，用于对多个图像采集装置的总视野范围内的目标对象进行跟踪，所述多个图像采集装置中的至少两个图像采集装置的视野范围不同，所述方法包括：基于每个图像采集装置采集的图像，提取所述图像采集装置视野范围内的目标对象的特征，并基于所述目标对象的特征分配所述目标对象关联于所述图像采集装置的局部标识信息；不同的目标对象关联于同一个图像采集装置的局部标识信息不同；根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息，所述总视野范围内的不同目标对象具有不同的全局标识信息；根据一个目标对象的全局标识信息对所述目标对象进行跟踪。
4.在一些实施例中，所述基于所述目标对象的特征分配所述目标对象关联于所述图像采集装置的局部标识信息，包括：分别将所述目标对象的特征与各个第一参考对象的特征进行匹配；所述第一参考对象为从所述图像采集装置历史采集的图像中检测到的对象；基于与各个第一参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。
5.在一些实施例中，所述基于与各个第一参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息，包括：在所述目标对象的特征与任意一个第一参考对象的特征匹配成功的情况下，将匹配成功的第一参考对象的局部标识信息分配给所述目标对象。
6.在一些实施例中，所述基于与各个第一参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息，包括：在所述目标对象的特征与各个第一参考对象的特征均未匹配成功的情况下，分别将所述目标对象的检测框与各个第一参考对象的检测框进行匹配；基于检测框匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。
7.在一些实施例中，所述基于检测框匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息，包括：在所述目标对象的检测框与任意一个第一参考对象的检测
框匹配成功，且所述目标对象的特征与检测框匹配成功的第一参考对象的特征之间的相似度大于预设相似度阈值的情况下，将匹配成功的第一参考对象的局部标识信息分配给所述目标对象。
8.在一些实施例中，所述方法还包括：在所述目标对象的检测框与所述第一参考对象的检测框之间的重叠度大于预设的重叠度阈值的情况下，确定所述目标对象的检测框与所述第一参考对象的检测框匹配成功。
9.在一些实施例中，在将匹配成功的第一参考对象的局部标识信息分配给所述目标对象之后，所述方法还包括：基于所述目标对象的特征对分配给所述目标对象的局部标识信息对应的特征进行更新。
10.在一些实施例中，所述基于与各个第一参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息，包括：在所述目标对象的特征与各个第一参考对象的特征均未匹配成功的情况下，分别将所述目标对象的特征与各个第二参考对象的特征进行匹配；所述第二参考对象为从所述图像采集装置以外的其他图像采集装置历史采集的图像中检测到的对象；基于与各个第二参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。
11.在一些实施例中，所述基于与各个第二参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息，包括：在所述目标对象的特征与任意一个第二参考对象的特征匹配成功的情况下，将匹配成功的第二参考对象的局部标识信息分配给所述目标对象。
12.在一些实施例中，所述基于与各个第二参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息，包括：在所述目标对象的特征与各个第二参考对象的特征均未匹配成功，且所述目标对象满足预设条件的情况下，为所述目标对象创建新的局部标识信息，所述预设条件基于所述目标对象的检测框的质量确定，所述检测框的质量采用所述检测框的置信度和/或完整度表征。
13.在一些实施例中，所述预设条件包括：所述目标对象的检测框的置信度满足预设置信度条件；和/或所述目标对象的检测框的完整度满足预设的完整度条件。
14.在一些实施例中，所述根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息，包括：基于所述各个目标对象的局部标识信息对所述总视野范围内的各个目标对象的特征进行聚类，得到至少一个类簇；为不同的类簇中的特征对应的目标对象分配不同的全局标识信息。
15.在一些实施例中，所述基于所述各个目标对象的局部标识信息对所述总视野范围内的各个目标对象的特征进行聚类，包括：基于聚类约束条件对所述总视野范围内的各个目标对象的特征进行聚类，所述聚类约束条件为：关联于同一个图像采集装置的不同局部标识信息对应的特征被划分到不同的类簇。
16.在一些实施例中，所述根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息，包括：在将新的局部标识信息关联到任意一个图像采集装置的情况下，根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息。
17.第二方面，本公开实施例提供一种目标跟踪装置，用于对多个图像采集装置的总
视野范围内的目标对象进行跟踪，所述多个图像采集装置中的至少两个图像采集装置的视野范围不同，所述装置包括：分配模块，用于基于每个图像采集装置采集的图像，提取所述图像采集装置视野范围内的目标对象的特征，并基于所述目标对象的特征分配所述目标对象关联于所述图像采集装置的局部标识信息；不同的目标对象关联于同一个图像采集装置的局部标识信息不同；第一确定模块，用于根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息，所述总视野范围内的不同目标对象具有不同的全局标识信息；跟踪模块，用于根据一个目标对象的全局标识信息对所述目标对象进行跟踪。
18.在一些实施例中，所述分配模块用于：分别将所述目标对象的特征与各个第一参考对象的特征进行匹配；所述第一参考对象为从所述图像采集装置历史采集的图像中检测到的对象；基于与各个第一参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。
19.在一些实施例中，所述分配模块用于：在所述目标对象的特征与任意一个第一参考对象的特征匹配成功的情况下，将匹配成功的第一参考对象的局部标识信息分配给所述目标对象。
20.在一些实施例中，所述分配模块用于：在所述目标对象的特征与各个第一参考对象的特征均未匹配成功的情况下，分别将所述目标对象的检测框与各个第一参考对象的检测框进行匹配；基于检测框匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。
21.在一些实施例中，所述分配模块用于：在所述目标对象的检测框与任意一个第一参考对象的检测框匹配成功，且所述目标对象的特征与检测框匹配成功的第一参考对象的特征之间的相似度大于预设相似度阈值的情况下，将匹配成功的第一参考对象的局部标识信息分配给所述目标对象。
22.在一些实施例中，所述装置还包括：第二确定模块，用于在所述目标对象的检测框与所述第一参考对象的检测框之间的重叠度大于预设的重叠度阈值的情况下，确定所述目标对象的检测框与所述第一参考对象的检测框匹配成功。
23.在一些实施例中，所述装置还包括：更新模块，用于在将匹配成功的第一参考对象的局部标识信息分配给所述目标对象之后，基于所述目标对象的特征对分配给所述目标对象的局部标识信息对应的特征进行更新。
24.在一些实施例中，所述分配模块用于：在所述目标对象的特征与各个第一参考对象的特征均未匹配成功的情况下，分别将所述目标对象的特征与各个第二参考对象的特征进行匹配；所述第二参考对象为从所述图像采集装置以外的其他图像采集装置历史采集的图像中检测到的对象；基于与各个第二参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。
25.在一些实施例中，所述分配模块用于：在所述目标对象的特征与任意一个第二参考对象的特征匹配成功的情况下，将匹配成功的第二参考对象的局部标识信息分配给所述目标对象。
26.在一些实施例中，所述分配模块用于：在所述目标对象的特征与各个第二参考对象的特征均未匹配成功，且所述目标对象满足预设条件的情况下，为所述目标对象创建新
的局部标识信息，所述预设条件基于所述目标对象的检测框的质量确定，所述检测框的质量采用所述检测框的置信度和/或完整度表征。
27.在一些实施例中，所述预设条件包括：所述目标对象的检测框的置信度满足预设置信度条件；和/或所述目标对象的检测框的完整度满足预设的完整度条件。
28.在一些实施例中，所述第一确定模块用于：基于所述各个目标对象的局部标识信息对所述总视野范围内的各个目标对象的特征进行聚类，得到至少一个类簇；为不同的类簇中的特征对应的目标对象分配不同的全局标识信息。
29.在一些实施例中，所述第一确定模块用于：基于聚类约束条件对所述总视野范围内的各个目标对象的特征进行聚类，所述聚类约束条件为：关联于同一个图像采集装置的不同局部标识信息对应的特征被划分到不同的类簇。
30.在一些实施例中，所述第一确定模块用于：在将新的局部标识信息关联到任意一个图像采集装置的情况下，根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息。
31.第三方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
32.第四方面，本公开实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
33.本公开实施例通过对每个相机采集的图像中的目标对象进行特征提取，并基于目标对象的特征分配所述目标对象关联于所述图像采集装置的局部标识信息，从而能够标识同一图像采集装置视野范围内的目标对象。进一步地，再基于局部标识信息确定全局标识信息，能够确定各个图像采集装置的总视野范围内的目标对象。最后基于全局标识信息对目标对象进行跟踪，能够获得较高的跟踪准确度。
34.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
35.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
36.图1a是多相机覆盖监控区域的场景示意图。
37.图1b是图1a所示的场景中背景信息的示意图。
38.图1c是图1a所示的场景中相机视角的示意图。
39.图1d是图1a所示的场景中行人排布的示意图。
40.图2是本公开实施例的目标跟踪方法的流程图。
41.图3是本公开实施例的各相机视野范围内的目标对象的示意图。
42.图4是本公开实施例的局部标识信息的同步过程的示意图。
43.图5是本公开实施例的总体流程图。
44.图6是本公开实施例的目标对象的轨迹的示意图。
45.图7是本公开实施例的目标跟踪装置的框图。
46.图8是本公开实施例的目标跟踪系统的示意图。
47.图9是本公开实施例的计算机设备的结构示意图。
具体实施方式
48.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
49.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
50.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
51.为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
52.目标跟踪是计算机视觉以及智能视频监控领域的重要问题。目标跟踪可以应用于很多领域，如目标轨迹预测、客流量分析、行为分析以及异常行为检测等。在监控场景下，往往有多个不同的相机覆盖监控区域。如图1a所示，c1、c2和c3分别为三个图像采集装置(下文中以图像采集装置是相机为例)。s1、s2和s3分别表示相机c1、相机c2和相机c3的视野范围(即监控子区域)，各个监控子区域的并集构成了包括相机c1、相机c2和相机c3的监控系统的监控区域。图中示出了监控系统包括三个相机的情况，但本领域技术人员可以理解，以上仅为示例性说明，在实际应用中监控系统包括的相机的数量可以等于2，也可以大于或等于4，各个相机的排布方式也不限于图中所示的方式。并且，尽管图中示出了s1与s2部分重叠，且s2与s3部分重叠的情况，但在实际应用中，各个相机的视野范围既可以至少部分重叠，也可以不重叠。例如，各相机的视野范围的重叠情况可以是：s1与s2不重叠，且s2与s3至少部分重叠；或者s1与s2不重叠，且s2与s3不重叠；或者s1、s2与s3部分重叠，且s1、s2与s3均包括相同的重叠区域等情况。其中，两个区域至少部分重叠是指这两个区域部分重叠或者完全重叠，完全重叠的情况包括两个区域完全相同，或者其中一个区域是另一个区域的子区域。
53.在多个不同的相机覆盖监控区域的情况下，在监控区域中的目标跟踪面临更多的挑战。不同相机可能存在以下差异：
54.(1)不同相机的光照条件不同。例如，在图1a中，相机c1与相机c2所在区域的环境光源的亮度、颜色等属性存在区别。
55.(2)不同相机拍摄的图像中的背景等条件不同。如图1b所示，假设p1和p2分别为不同相机拍摄到的图像，且p1和p2中均包括相同的目标对象m1。通过图1b可以看出，图像p1中的背景包括一个人形立牌101，且图像p2中的背景包括电风扇102。即，不同相机拍摄的图像中的背景区域可能不同。
56.(3)不同相机的视角不同。如图1c所示，假设p1和p2分别为不同的相机采集的图像，且两张图像中均包括目标对象m1。拍摄p1的相机位于m1的侧面，因此，拍摄到的图像p1中包括目标对象的侧面；拍摄p2的相机位于m1的正面，因此，拍摄到的图像p2中包括目标对象的正面。
57.(4)不同相机采集的图像中的行人排布不同。参见图1d，假设p1和p2分别为不同的相机采集的图像，且两张图像中均包括目标对象m1、m2和m3。由于相机视角不同等原因，在图像p1中，目标对象m1和m2部分重叠，目标对象m3排列在m1和m2的右侧，且与m1和m2均不重叠。然而，在图像p2中，目标对象m2和m3部分重叠，目标对象m1排列在m2和m3的左侧，且与m2和m3均不重叠。
58.在出现以上一种或多种情况时，可能导致从不同相机拍摄的图像中提取出的目标对象的特征不一致，从而导致目标对象的跟踪结果出现错误。因此，多相机下的跟踪相对于单相机跟踪难度更大，跟踪结果的鲁棒性较低。当然，除了上述几种因素之外，在多相机跟踪场景下容易导致特征不一致的因素还可能包括其他因素，此处不再一一列举。
59.针对上述问题，本公开提供一种目标跟踪方法所述方法用于对多个图像采集装置的总视野范围内的目标对象进行跟踪，所述多个图像采集装置中的至少两个图像采集装置的视野范围不同，参见图2，所述方法可包括：
60.步骤201：基于每个图像采集装置采集的图像，提取所述图像采集装置视野范围内的目标对象的特征，并基于所述目标对象的特征分配所述目标对象关联于所述图像采集装置的局部标识信息；不同的目标对象关联于同一个图像采集装置的局部标识信息不同；
61.步骤202：根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息，所述总视野范围内的不同目标对象具有不同的全局标识信息；
62.步骤203：根据一个目标对象的全局标识信息对所述目标对象进行跟踪。
63.本公开实施例中的多个图像采集装置(以下以相机为例)中的至少两个具有不同的视野范围。所述不同的视野范围即视野范围部分重叠，或者视野范围完全不重叠。除此之外，各个相机的拍摄参数可以相同，也可以不同。所述拍摄参数可以包括但不限于焦距、姿态、拍摄帧率、光圈大小、曝光模式等参数中的一种或多种。每个相机的视野范围内均可包括任意数量个目标对象，不同相机的视野范围内包括的目标对象的数量可以相等，也可以不相等。相机视野范围内的目标对象可以包括完整的目标对象，也可以仅包括目标对象上的局部区域。如图3所示，相机c1的视野范围s1内包括两个目标对象，即m1与m2；相机c2的视野范围s2内包括三个目标对象，即m2、m3和m4；相机c3的视野范围s3内包括零个目标对象。当然，各个相机的视野范围内包括的目标对象的具体数量不限于图中所示。各个目标对象均可以在空间中移动，或者在空间中保持静止，且不同目标对象的移动速度和移动方向可以相同，也可以不同。
64.本公开实施例中的目标对象(简称目标)，可以包括但不限于人、动物、物品(例如，
行李箱、车辆)等各种类别的对象。目标对象可自主移动，或者可以由其他可自主移动的对象随身携带，以从一个相机的视野范围之外移动到该相机的视野范围之内，或者从一个相机的视野范围之内移动到该相机的视野范围之外，或者从一个相机的视野范围之内移动到另一个相机的视野范围之内，或者在至少一个相机的视野范围之内保持静止。这样，可以从多个相机中的至少一个相机采集的至少一帧图像中检测到该目标对象。目标对象还可以是某一类别的对象中的特定对象，例如，在特定的时间范围内采集到的图像中的人，或者具有指定属性的对象(如，性别属性为“男”的人)，或者位置处于指定区域内的对象等。
65.本公开实施例的方法可以由处理器执行，所述处理器可以设置在云端，其类别包括但不限于中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)、神经网络处理器(neural-network processing unit，npu)等各种类别。
66.在步骤201中，各个相机均可以按照一定的拍摄帧率采集本相机视野范围内的图像序列，该图像序列可以包括一张或多张图像。在一些实施例中，所述图像序列中包括视频中的多个图像帧。各个相机的图像采集过程可以相互独立，各个相机采集的图像可以是同步的，也可以是不同步的，本公开对此不做限制。由于各个相机的处理方式类似，此处仅以一个相机的处理过程为例，对本步骤进行说明。相机在拍摄到图像之后，可以将图像发送给处理器。处理器可以对接收到的图像进行目标检测，从而确定图像中是否包括目标对象，以及目标对象的位置。例如，在图像中包括目标对象的情况下，处理器可以输出目标对象的检测框以及该检测框的位置。进一步地，处理器还可以过滤掉满足预设质量条件的检测框。检测框的质量可以采用检测框的置信度和/或完整度来表征。在检测框的质量采用检测框的置信度来表征的情况下，所述质量条件可以包括置信度条件；在检测框的质量采用检测框的完整度来表征的情况下，所述质量条件可以包括完整度条件。其中，所述置信度条件可以是检测框的置信度大于第一预设置信度阈值。所述完整度条件可以是检测框的完整度大于预设完整度阈值。检测框的质量较差可能是由于目标对象被遮挡等原因导致的，通过过滤质量较差的检测框，能够减少其对跟踪结果的影响，提高跟踪结果的准确度。在一些实施例中，可以在处理器上部署目标检测模型来对图像实现上述目标检测过程。
67.在检测到目标对象之后，处理器可以提取目标对象的特征。所提取的特征可以基于目标对象的类别确定。例如，在目标对象为人或动物的情况下，所述特征可以包括但不限于目标对象的脸部特征和/或肢体特征；在目标对象为车辆的情况下，所述特征可以包括但不限于目标对象的型号、颜色和/或车牌号等特征。下面以目标对象是人为例，对本公开实施例的方案进行说明。在这种情况下，由于目标对象在监控区域内的朝向可以是任意的，因此，很多情况下，在相机视野范围内只能采集到包括目标对象的背面或者部分侧脸的图像，这些图像不足以提取出目标对象的脸部特征。因此，为了解决上述问题，可以提取目标对象的肢体特征。肢体特征受目标对象的朝向影响较小，因此包括目标对象的大部分图像均可用于提取目标对象的特征，从而能够获取足够多的特征来进行后续的跟踪过程，并能够提高跟踪结果的鲁棒性。可以在服务器中部署特征提取模型来实现上述特征提取过程。
68.在获取到目标对象的特征之后，处理器可以基于目标对象的特征分配所述目标对象关联于所述图像采集装置的局部标识信息。局部标识信息可以由字母、数字、符号等中的一种或多种构成。其中，关联于某个相机的局部标识信息的作用是区分该相机视野范围内
的各个目标对象，因此，不同的目标对象关联于同一个相机的局部标识信息是不同的。例如，在局部标识信息由数字构成的情况下，假设从相机c1采集到的图像中检测到目标对象m1和m2(可以分别从同一时刻或不同时刻采集的图像中检测到)，则可以为目标对象m1分配局部标识信息“1”，并为目标对象m2分配局部标识信息“2”。此外，通过分配局部标识信息，能够对目标对象在单个相机视野范围内的位置进行跟踪，从而确定单个相机在不同时刻采集的图像中，同一目标对象所处的位置。例如，假设相机c1依次采集到图像1、图像2和图像3，基于图像1、图像2和图像3分别确定局部标识信息为“1”的目标对象的位置信息，记为位置1、位置2和位置3。这样，可以确定局部标识信息为“1”的目标对象的轨迹包括处于位置1的轨迹点、处于位置2的轨迹点以及处于位置3的轨迹点。
69.处理器可以按照从小到大的顺序依次为检测到的各个目标对象分配局部标识信息，或者，也可以随机为检测到的各个目标对象分配局部标识信息，或者按照其他规则来分配局部标识信息，对此本公开不做限制。
70.同一个目标对象关联于不同相机的局部标识信息可以相同，也可以不同。例如，相机c1采集的图像和相机c2采集的图像中均包括目标对象m1，则目标对象m1关联于相机c1的局部标识信息可以是“1”，且目标对象m1关联于相机c2的局部标识信息可以是“2”；或者，目标对象m1关联于相机c1的局部标识信息和目标对象m1关联于相机c2的局部标识信息可以均为“1”。
71.下面对确定局部标识信息的方式进行说明。为了简洁，下文的实施例仅对其中一个目标对象关联于一个相机的局部标识信息的分配过程进行阐述。可以理解，其他目标对象关联于该相机的局部标识信息的分配过程，以及任意一个目标对象关联于其他相机的局部标识信息的分配过程是类似的，文中不再赘述。
72.在一些实施例中，可以分别将所述目标对象的特征与各个第一参考对象的特征进行匹配；所述第一参考对象为从所述图像采集装置历史采集的图像中检测到的对象；基于与各个第一参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。
73.在一些实施例中，处理器在获取到相机c1发送的第一帧图像的情况下，可以从该第一帧图像中检测目标对象，并提取目标对象的特征。由于同一帧图像中检测到的各个目标对象是不同的目标对象，因此，可以分别为各个目标对象分配不同的局部标识信息。然后，可以将各个目标对象的局部标识信息与特征进行关联处理，并将关联后的特征与局部标识信息进行存储。假设从第一帧图像中检测出n(n为正整数)个目标对象，记为m1、m2、
……
、mn，各个目标对象的特征可以分别记为f1，f2，
……
，fn。
74.接着，处理器在获取到相机c1发送的第二帧图像的情况下，可以将从第一帧图像中检测出的各个目标对象m1、m2、
……
、mn作为第一参考对象，同样从第二帧图像中检测目标对象，并提取目标对象的特征。对于其中的某一个目标对象，可以将该目标对象的特征记为f0，则可以分别将f0与特征f1，f2，
……
，fn进行特征匹配，从而分别获取f0与f1，f2，
……
，fn的特征匹配结果，对应记为r1，r2，
……
，rn。
75.然后，可以基于r1，r2，
……
，rn分配所述目标对象关联于相机c1的局部标识信息。
76.在上述实施例中，处理器是从相机c1发送的第一帧图像开始处理的，然而，本领域技术人员可以理解，这只是一种举例，在实际应用中，处理器也可以从相机c1发送的其他的
图像帧开始处理。例如，处理器可以在检测到某个事件(例如，接收到用户发送的触发指令，或者当前时间达到指定时间等)的情况下，才开始执行上述目标检测、特征提取以及特征与局部标识信息的关联和存储等处理。并且，处理器可以仅对接收到的部分图像进行上述处理。例如，可以仅对清晰度大于预设清晰度阈值的图像进行处理，或者，仅对预设数量帧图像进行处理等。
77.在一些实施例中，可以将特征之间的相似度作为特征匹配结果。在这种情况下，r1，r2，
……
，rn均表示相似度。可以在r1，r2，
……
，rn中的其中一者大于预设的第一相似度阈值的情况下，确定该相似度对应的第一参考对象的特征与所述目标对象的特征匹配成功。例如，在r1大于预设的第一相似度阈值的情况下，确定第一参考对象m1的特征与所述目标对象的特征匹配成功。如果r1，r2，
……
，rn中的任意一者均小于或等于第一相似度阈值，则确定特征匹配失败，即，从f1，f2，
……
，fn没有找到与f0相匹配的特征。
78.在所述目标对象的特征与任意一个第一参考对象的特征匹配成功的情况下，说明目标对象与该第一参考对象是同一个对象，因此，可以将匹配成功的第一参考对象的局部标识信息分配给所述目标对象。接着上面的例子，假设m1的特征与所述目标对象的特征匹配成功，则可以将m1的局部标识信息分配给所述目标对象。在m1的局部标识信息为“1”的情况下，则目标对象的局部标识信息也为“1”。在匹配失败的情况下，说明各个第一参考对象中没有与目标对象相同的对象。通过上述方式，能够较为准确地确定历史采集的图像帧中的第一参考对象中与目标对象是否为同一个对象，并为相同的对象分配相同的标识信息。
79.进一步地，在所述目标对象的特征与各个第一参考对象的特征均未匹配成功的情况下，还可以基于目标对象的检测框分配所述目标对象关联于所述图像采集装置的局部标识信息。具体来说，可以分别将所述目标对象的检测框与各个第一参考对象的检测框进行匹配；基于检测框匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。通过结合特征匹配与检测框匹配两种匹配方式，能够进一步提高确定第一参考对象与目标对象是否为同一个对象的准确度，并减少仅采用特征匹配导致的漏判和误判情况。
80.其中，可以基于以下任意一者确定两个检测框是否匹配：两个检测框的尺寸之间的差异、两个检测框之间的重叠度、两个检测框包括的像素点的数量之间的差异。
81.在基于两个检测框的尺寸之间的差异确定两个检测框是否匹配的实施例中，检测框的尺寸之间的差异可以包括检测框的长度的差异和检测框的宽度的差异。可以基于两个检测框的长度之差确定检测框的长度的差异，并基于两个检测框的宽度之差确定检测框的宽度的差异。如果两个检测框的长度的差异和宽度的差异中的任意一者大于预设的差异阈值，则确定两个检测框不匹配。如果两个检测框的长度的差异和宽度的差异均小于预设的差异阈值，则确定两个检测框匹配。
82.在基于两个检测框的重叠度确定两个检测框是否匹配的实施例中，在所述目标对象的检测框与所述第一参考对象的检测框之间的重叠度大于预设的重叠度阈值的情况下，可以确定两个检测框匹配；否则确定两个检测框不匹配。可选地，两个检测框之间的重叠度可以基于这两个检测框的交并比(intersection over union，iou)得到。因此，如果两个检测框的iou小于或等于预设的iou阈值，可以确定两个检测框不匹配；否则确定两个检测框匹配。
83.两个检测框包括的像素点的数量之间的差异可以基于这两个检测框包括的像素
点的数量之差得到。如果两个检测框包括的像素点的数量之间的差异大于预设的数量阈值，则确定两个检测框不匹配。如果所述数量之间的差异小于或等于预设的数量阈值，则确定两个检测框匹配。
84.在上述实施例中，假设第一参考对象是从第一图像帧中检测出的对象，目标对象是从第二图像帧中检测出的对象，则第一图像帧与第二图像帧之间的帧间隔可以小于或等于预设帧间隔。由于间隔较近的图像帧中目标对象的检测框的变化通常较小，因此，采用上述方式能够获取较为准确的匹配结果。
85.在一些实施例中，在所述目标对象的检测框与任意一个第一参考对象的检测框匹配成功的情况下，可以将匹配成功的第一参考对象的局部标识信息分配给所述目标对象。进一步地，为了提高局部标识信息分配的准确度，可以在所述目标对象的检测框与任意一个第一参考对象的检测框匹配成功，且所述目标对象的特征与检测框匹配成功的第一参考对象的特征之间的相似度大于预设的第二相似度阈值的情况下，可以将匹配成功的第一参考对象的局部标识信息分配给所述目标对象。其中，所述第二相似度阈值小于前述的第一相似度阈值。例如，假设目标对象与第一参考对象m1的检测框匹配成功，且目标对象与m1的特征之间的相似度大于预设的第二相似度阈值，则将m1的局部标识信息分配给所述目标对象。
86.上述实施例采用了先进行特征匹配，再进行检测框匹配的方式，在实际应用中，也可以先进行检测框匹配，再进行特征匹配的方式，或者采用只进行检测框匹配的方式，或者采用只进行特征匹配的方式。具体采用的方式可以基于实际情况选择，例如，在系统算力不足的情况下，可以只进行检测框匹配或者只进行特征匹配；在系统算力充足的情况下，可以结合检测框匹配与特征匹配两种方式。这样，能够提高处理过程的灵活性。在采用上述四种方式中的任意一种的情况下，如果目标对象与某个第一参考对象匹配成功(特征匹配成功或检测框匹配成功)，则将该第一参考对象的局部标识信息分配给目标对象。
87.在一些实施例中，在将匹配成功的第一参考对象的局部标识信息分配给所述目标对象之后，还可以基于所述目标对象的特征对分配给所述目标对象的局部标识信息对应的特征进行更新。例如，假设m1为匹配成功的第一参考对象，则可以基于目标对象的特征f0对m1的特征f1进行更新。由于不同的图像帧中同一个对象的遮挡情况、朝向、动作等信息可能不同，因此，通过不断地更新，能够使处理器获取该对象的更加全面的特征，从而进一步提高对该对象的后续跟踪过程的准确度。
88.在一些实施例中，一个目标对象可能会从一个相机(假设为相机c2)的视野范围首次进入另一个相机(假设为c1)的视野范围内，这样，在相机c1历史采集的图像中无法找到特征或检测框与该目标对象相匹配的第一参考对象。在这种情况下，可以分别将所述目标对象的特征与各个第二参考对象的特征进行匹配，并基于与各个第二参考对象的特征之间的特征匹配结果分配所述目标对象关联于所述图像采集装置的局部标识信息。其中，所述第二参考对象为从所述图像采集装置以外的其他图像采集装置历史采集的图像中检测到的对象。通过采用本实施例的方案，能够减少漏匹配的情况，从而进一步提高目标跟踪的准确度。
89.以图1a所示的系统为例，假设目标对象为相机c1采集的图像中的对象，且在相机c1采集的历史图像中未找到特征或检测框与该目标对象相匹配的第一参考对象，则可以获
取相机c2采集的历史图像中的各个第二参考对象的特征，并获取相机c3采集的历史图像中的各个第二参考对象的特征，并分别将目标对象的特征与这些第二参考对象的特征进行特征匹配。如果目标对象的特征与某个第二参考对象的特征之间的特征相似度大于预设的第三相似度阈值，则确定目标对象的特征与该第二参考对象的特征匹配成功。如果任意一个第二参考对象的特征与目标对象的特征之间的特征相似度均小于或等于第三相似度阈值，则确定特征匹配失败。
90.其中，上述第三相似度阈值可以大于或等于第一相似度阈值，或者介于第一相似度阈值与第二相似度阈值之间，或者小于或等于第二相似度阈值，本公开对此不做限制。
91.在前述实施例中仅基于目标对象与第一参考对象之间的特征匹配结果分配局部标识信息，或者先基于目标对象与第一参考对象之间的检测框匹配结果，再基于目标对象与第一参考对象之间的特征匹配结果分配局部标识信息的情况下，可以在所述目标对象的检测框与各个第一参考对象的特征均未匹配成功的情况下，执行分别将所述目标对象的特征与各个第二参考对象的特征进行匹配的步骤。在前述实施例中仅基于目标对象与第一参考对象之间的检测框匹配结果分配局部标识信息，或者先基于目标对象与第一参考对象之间的特征匹配结果，再基于目标对象与第一参考对象之间的检测框匹配结果分配局部标识信息的情况下，可以在所述目标对象的检测框与各个第一参考对象的检测框均未匹配成功的情况下，执行分别将所述目标对象的特征与各个第二参考对象的特征进行匹配的步骤。
92.在所述目标对象的特征与任意一个第二参考对象的特征匹配成功的情况下，可以将匹配成功的第二参考对象的局部标识信息分配给所述目标对象。例如，在确定目标对象关联于相机c1的局部标识信息时，假设第二参考对象m2的特征与目标对象的特征匹配成功，且m2关联于相机c2的局部标识信息是“2”，则可以将“2”确定为目标对象关联于相机c1的局部标识信息。
93.在所述目标对象的特征与各个第二参考对象的特征均未匹配成功，且所述目标对象满足预设条件的情况下，为所述目标对象创建新的局部标识信息。在本实施例中，如果目标对象的特征与任意一个第二参考对象的特征均未匹配成功，且目标对象的特征或检测框与任意一个第一参考对象的特征或检测框也均未匹配成功，则表明目标对象可能是首次出现在各个相机的总视野范围内的对象。因此，可以为目标对象创建新的局部标识信息。进一步地，还可以对新的局部标识信息与目标对象的特征进行关联后存储。
94.在一些实施例中，所述预设条件基于所述目标对象的检测框的质量确定。其中，检测框的质量可以采用检测框的置信度和/或完整度来表征。
95.在检测框的质量采用检测框的置信度来表征的情况下，所述预设条件包括所述目标对象的检测框的置信度满足第二预设置信度条件(例如，置信度大于第二置信度阈值)。本实施例中的第二置信度阈值可以大于前述实施例中的第一置信度阈值。由于创建新的局部标识信息对跟踪结果存在较大的影响，因此，通过将第二置信度阈值设置为较大的值，使得创建新的局部标识信息的过程需要满足的条件更加苛刻，从而能够提高创建的新的局部标识信息的可靠性，进而提高跟踪结果的准确度。
96.在检测框的质量采用检测框的完整度来表征的情况下，所述预设条件包括所述目标对象的检测框的完整度满足预设的完整度条件(例如，完整度大于预设的完整度阈值)。其中，检测框的完整度用于表征检测框对应的目标对象的被遮挡程度，可以基于检测框的
面积、检测框包括的像素数量和/或从检测框中检测到的语义信息确定检测框的完整度。
97.例如，在检测框的面积与参考面积之间的比值大于预设的第一比例阈值的情况下，确定检测框的完整度大于预设的完整度阈值，否则确定检测框的完整度小于或等于预设的完整度阈值。其中，参考面积可以基于同一相机历史采集的图像中的完整检测框的面积确定。
98.又例如，在检测框包括的像素数量与参考数量之间的比例大于预设的第二比例阈值的情况下，确定检测框的完整度大于预设的完整度阈值，否则确定检测框的完整度小于或等于预设的完整度阈值。其中，参考数量可以基于同一相机历史采集的图像中的完整检测框的面积确定。
99.又例如，在从检测框中检测到的语义信息的类别数量与目标对象的语义信息的类别总数之间的比例大于第三比例阈值的情况下，确定检测框的完整度大于预设的完整度阈值，否则确定检测框的完整度小于或等于预设的完整度阈值。其中，语义信息用于表示目标对象上的局部区域，例如，包括但不限于头部、躯干、四肢等语义信息。语义信息的类别数量表示从检测框中检测到多少种不同类别的语义信息。例如，检测到头部、躯干、左臂和右臂，则语义信息的类别数量为4。
100.在上述实施例中，第一比例阈值、第二比例阈值和第三比例阈值之间的大小关系本公开不做限制。完整检测框可以是包括目标对象的完整的语义信息(例如，头部、躯干、四肢等)的检测框。
101.在步骤202中，可以生成多个图像采集装置的总视野范围内的各个目标对象的全局标识信息。同一相机视野范围内具有相同的局部标识信息的目标对象表示的是同一个目标对象，因此，同一相机视野范围内具有相同的局部标识信息的目标对象的全局标识信息也是相同的。但是考虑到单相机在一个相机视野范围内跟踪目标对象时，存在目标对象被遮挡影的情况，当目标对象被遮挡后又出现重新出现在该相机视野范围内时，有可能会被误认为是一个新的目标对象，从而分配新的局部标识信息，故同一相机视野范围内具有不同的局部标识信息的目标对象会存在可能是同一个目标对象，也可能是不同的目标对象的情况，相应地，同一相机视野范围内具有不同的局部标识信息的目标对象也可能被分配相同或不同的全局标识信息。此外，由于各个相机分配局部标识信息的过程是相互独立的，因此，同一目标对象关联于不同相机的局部标识信息可能相同，也可能不同。鉴于上述情况，本公开实施例中进一步提出生成全局标识信息的具体方式，通过对同一目标对象的局部标识信息的同步，将同一相机视野范围内的同一目标对象分配相同的全局标识信息。
102.可以基于所述各个目标对象的局部标识信息对所述总视野范围内的各个目标对象的特征进行聚类，得到至少一个类簇；为不同的类簇中的特征对应的目标对象分配不同的全局标识信息。在本实施例中，类簇即对应着目标对象，不同的目标对象对应不同的类簇。通过划分类簇，从而能够确定各个相机的总视野范围内包括多少个不同的目标对象，进而分别为各个目标对象分配全局标识信息，以唯一标识各个目标对象。该过程也称为局部标识信息的同步过程。
103.由于关联于同一个图像采集装置的不同局部标识信息对应于不同的目标对象，因此，可以将关联于同一个图像采集装置的不同局部标识信息对应的特征被划分到不同的类簇作为约束条件，并基于该约束条件对所述总视野范围内的各个目标对象的特征进行聚
类。
104.图4示出了同步过程的示意图，假设相机c1采集的图像p1、相机c2采集的图像p2和相机c3采集的图像p3中均包括目标对象m1。首先，分别基于各相机采集的图像确定目标对象m1关联于对应相机的局部标识信息，从而确定出m1关联于相机c1的局部标识信息id1、m1关联于相机c2的局部标识信息id2以及m1关联于相机c3的局部标识信息id3。其中，id1、id2和id3可能均不相同，也可能其中的两者相同，或者三者均相同。经过对局部标识信息进行同步，可以将id1、id2和id3转换为id4，其中，id4可以与id1、id2和id3均不相同(即，为m1分配一个新的标识信息，作为全局标识信息)，也可能与其中的一者相同(即，将其中一个局部标识信息作为m1的全局标识信息)。
105.在一些实施例中，上述同步过程可以在将新的局部标识信息关联到任意一个图像采集装置的情况下执行。即，在为任意一个相机采集的图像中的目标对象创建新的局部标识信息的情况下，执行根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息的操作。如果任一相机采集的图像中的目标对象均未创建新的局部标识信息，则跳过上述同步过程，直接进行下一帧的操作。
106.图5示出了一些实施例的总体流程的示意图。其中包括：步骤501检测与特征提取；步骤502：多目标跟踪；以及步骤503：局部标识信息同步，im1、im2、
……
、imn分别表示相机1、相机2、
……
、相机n采集的图像。在步骤501中，输入为单帧图像，输出为行人检测框与肢体特征。在一些实施例中，可以采用神经网络进行检测与特征提取，该神经网络可以包括检测子网络和特征提取子网络。对于每张输入的单帧图像，检测子网络先对图像中的目标对象(例如，行人)进行检测，得到目标对象的检测框，然后根据检测框截取每个行人的图像，送入特征提取子网络中提取特征。
107.步骤502可以采用一个或多个跟踪器获取每个相机视野范围内的目标对象的局部标识信息，跟踪器的数量与相机的数量相等，均为n(n为正整数)。跟踪器可以是一个跟踪网络模型，该跟踪网络模型用于对同一相机视野范围内的目标对象进行跟踪，跟踪网络模型的具体类型本公开不做限制。每个跟踪器对应于一个相机，每个跟踪器的输入均为从对应相机的图像中提取出的特征，输出为基于该特征分配给图像中的目标对象的局部标识信息。在得到各个相机下的目标对象的检测框与特征之后，各相机对应的多目标跟踪过程包括以下几步：
108.(1)过滤掉置信度低于一定阈值的检测框；
109.(2)将当前新检测的特征与跟踪器中保存的各局部标识信息的特征进行匹配，匹配成功，则将当前检测到的特征更新到对应的局部标识信息上，未匹配到的进入下一步；
110.(3)将前一步未通过特征匹配到的检测框与跟踪器中保存的局部标识信息对应的检测框计算iou，如果目标对象的检测框与某个局部标识信息对应的检测框满足iou匹配条件，且目标对象的特征与该局部标识信息对应的特征相似度达到一定的阈值，将该局部标识信息分配给目标对象；
111.(4)针对前两步均未匹配成功的检测框，计算其与其他跟踪器中跟踪到的局部标识信息对应的特征之间的特征相似度，满足相似度阈值的分配相应的局部标识信息，对于未匹配到的框，如果其满足创建局部标识信息的条件(置信度高于一定阈值且遮挡部分较
少)，则创建新的局部标识信息。
112.步骤503用于对各个目标对象的局部标识信息进行同步，得到全局标识信息。该模块的输入为各个目标对象的局部标识信息，输出为聚类后的标识信息(即全局标识信息)。步骤503可以根据各相机的跟踪结果，决定是否执行此步骤。如果各个相机采集的图像中的目标对象均未创建新的局部标识信息，则跳过此步，直接进行下一帧的操作；如果存在至少一个相机采集的图像中的目标对象创建了新的局部标识信息，则对所有相机总视野范围内的各个目标对象的特征进行聚类，满足聚类条件的创建全局标识信息，根据此聚类结果对各个跟踪器输出的局部标识信息进行更新，更新后的局部标识信息即为全局标识信息。
113.在步骤203中，可以根据一个目标对象的全局标识信息对所述目标对象进行跟踪。具体来说，可以获取各个图像帧中具有相同的全局标识信息的目标对象在空间中的位置信息，根据各帧图像中的位置信息确定该目标对象的轨迹。其中，一个目标对象在空间中的位置信息可以基于该目标对象在图像帧中的像素位置以及对应相机采集该图像时的位姿信息共同确定。一些实施例中的跟踪结果如图6所示，其中虚线表示同一个目标对象的移动轨迹。
114.在一些实施例中，可以根据所述目标对象的跟踪结果，对所述目标对象的行动区域进行预测。例如，可以根据对目标对象的跟踪结果确定目标对象在历史时间段内的位置，确定目标对象的移动速度和移动方向，根据目标对象的移动速度和移动方向，对目标对象在未来某一时刻的行动区域进行预测。
115.在一些实施例中，可以根据所述目标对象的跟踪结果，对所述目标对象进行异常行为检测。例如，可以根据对目标对象的跟踪结果确定目标对象在各个区域的停留时长，并根据目标对象在各个区域的停留时长对所述目标对象进行异常行为检测。进一步地，为了便于观察，还可以生成可视化图形，用于展示目标对象在各个区域的停留时长。
116.除了上述实施例中所述的方式之外，还可以采用其他的方式对目标对象进行行动区域预测以及异常行为检测，本公开对此不再展开说明。并且，除了行动区域预测以及异常行为检测之外，目标跟踪结果还可以根据实际需要用于其他领域，例如，客流量分析。
117.本公开实施例可以检测所有相机下的目标对象，并提取特征。然后，将各个相机下当前帧的检测框和对应的特征与之前存储的特征进行对比，根据对比结果分配局部标识信息或判断是否为新出现的目标对象。最后，将各个相机下新出现的目标对象进行特征聚类，满足条件的创建新的局部标识信息，并同步到各个相机对应的跟踪器。在视频监控场景中，可以对视频中的各帧循环重复前述步骤，即可实现多相机下的目标对象的长时跟踪。在得到每个目标对象的全局标识信息后，结合各个相机的标定参数，可计算得到每个人在世界坐标系平面下的平均坐标，从而可以绘制出该视频时间内的目标对象的轨迹。本公开实施例具有以下优点：
118.(1)本公开实施例利用深度学习技术解决了各相机内和不同相机间的目标对象的检测与重识别问题。不同视角、遮挡和光照等条件下的目标对象可以用神经网络强大的表征能力进行特征建模。
119.(2)通过所有相机间的特征聚类，可以实现不同相机下目标对象的局部标识信息的同步，保证每个目标对象在不同相机下的局部标识信息一致。本公开实施例的目标跟踪算法相对于传统算法具有更高的鲁棒性和准确度，能够实现每个相机内目标对象的准确跟
踪。
120.(3)本公开实施例在可兼容单相机跟踪的基础上，可进一步结合各相机的标定参数，拓展成轨迹预测方法，并对目标对象的行动区域和/或一段时间之后的位置信息进行预测。
121.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
122.如图7所示，本公开实施例还提供一种目标跟踪装置，用于对多个图像采集装置的总视野范围内的目标对象进行跟踪，所述多个图像采集装置中的至少两个图像采集装置的视野范围不同，所述装置包括：
123.分配模块701，用于基于每个图像采集装置采集的图像，提取所述图像采集装置视野范围内的目标对象的特征，并基于所述目标对象的特征分配所述目标对象关联于所述图像采集装置的局部标识信息；不同的目标对象关联于同一个图像采集装置的局部标识信息不同；
124.第一确定模块702，用于根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息，所述总视野范围内的不同目标对象具有不同的全局标识信息；
125.跟踪模块703，用于根据一个目标对象的全局标识信息对所述目标对象进行跟踪。
126.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
127.如图8所示，本公开实施例还提供一种目标跟踪系统，所述系统包括：
128.多个图像采集装置801，所述多个图像采集装置中的至少两个图像采集装置的视野范围不同，每个图像采集装置用于采集本图像采集装置视野范围内的图像，并向处理器发送采集的图像；以及
129.处理器802，用于执行以下操作：
130.针对每个图像采集装置801，基于所述图像采集装置801采集的图像，提取所述图像采集装置801视野范围内的目标对象的特征，并基于所述目标对象的特征分配所述目标对象关联于所述图像采集装置801的局部标识信息；不同的目标对象关联于同一个图像采集装置801的局部标识信息不同；
131.根据所述总视野范围内的各个目标对象的特征和所述各个目标对象的局部标识信息，确定所述各个目标对象的全局标识信息，所述总视野范围内的不同目标对象具有不同的全局标识信息；
132.根据一个目标对象的全局标识信息对所述目标对象进行跟踪。
133.本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。
134.图9示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器901、存储器902、输入/输出接口903、通信接口904和总线905。其中
处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
135.处理器901可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器901还可以包括显卡，所述显卡可以是nvidia titan x显卡或者1080ti显卡等。
136.存储器902可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行。
137.输入/输出接口903用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
138.通信接口904用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
139.总线905包括一通路，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息。
140.需要说明的是，尽管上述设备仅示出了处理器901、存储器902、输入/输出接口903、通信接口904以及总线905，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
141.本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
142.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
143.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
144.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
145.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
146.以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。