一种人像实例跟踪方法、装置、设备及介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种人像实例跟踪方法、装置、设备及介质。


背景技术：

2.随着技术的发展，用户对图像处理的技术要求越来越高，将视频中的背景替换为其他背景的手段也越来越多，其中，将视频中除人像外的背景替换为其他背景时，通常采用的方法为在视频中对人像进行跟踪，并分割出人像，再将分割出的人像应用于人像背景替换。
3.但是，在现有技术中，在对视频中的人像进行跟踪时，由于人像的检测分割和人像的跟踪是两个独立的过程。其中，人像分割的过程是通过模型确定人像所在的人像框，再从人像框中分割出人像。而人像跟踪的过程是通过模型确定人像所在的人像框，再根据相邻两帧图像帧中人像框的特征之间的相似度，确定待进行人像实例跟踪的目标人像，并确定包含该目标人像的图像帧。最终将从包含该目标人像的图像帧中分割出的目标人像，按照图像帧的采集时间排序，并将排序结果确定为人像实例跟踪结果。但是，在进行人像分割时，可能会由于设备故障，导致没有从包含目标人像的图像帧中分割出目标人像，导致最后得到的人像实例跟踪结果中出现人像丢失的情况，降低了人像实例跟踪的准确度。


技术实现要素：

4.本技术提供了一种人像实例跟踪方法、装置、设备及介质，用以解决现有技术中在进行人像分割时设备故障，没有从包含目标人像的图像帧中分割出目标人像，导致得到的人像实例跟踪结果中出现人像丢失的情况，人像实例跟踪的准确度低的问题。
5.第一方面，本技术提供了一种人像实例跟踪方法，所述方法包括：
6.若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧；
7.根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息；
8.根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。
9.第二方面，本技术还提供了一种人像实例跟踪装置，所述装置包括：
10.获取模块，用于若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧；
11.预设模块，用于根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息；
12.人像分割模块，用于根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。
13.第三方面，本技术还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现上述任一所述的人像实例跟踪方法的步骤。
14.第四方面，本技术还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的人像实例跟踪方法的步骤。
15.在本技术中，若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧，根据该第二图像帧中该目标人像对应的第一目标人像框的第一位置信息，预测在该第一图像帧中该目标人像对应的第二目标人像框的第二位置信息，根据该第二位置信息，从该第一图像帧中分割出该目标人像。在本技术中，若识别到不超过预设数量的第一图像帧中未分割出目标人像，则认为是在进行人像检测分割时漏检或漏分了人像，此时可以根据首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧中目标人像的第一位置信息预测在第一图像帧中目标人像的第二位置信息，并从第一图像帧中分割出目标人像，实现了即使在进行人像分割时设备故障，没有从包含目标人像的图像帧中分割出目标人像，也可以获取丢失的人像，得到了完整的人像实例跟踪结果，提高了人像实例跟踪的准确度。
附图说明
16.为了更清楚地说明本技术的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为相关技术提供的人像实例跟踪过程的流程示意图；
18.图2为本技术一些实施例提供的一种人像实例跟踪过程示意图；
19.图3为本技术提供的人像实例跟踪装置的结构示意图；
20.图4为本技术提供的一种电子设备结构示意图。
具体实施方式
21.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
22.图1为相关技术提供的人像实例跟踪过程的流程示意图，该过程包括：
23.s101：获取待进行人像实例跟踪的视频中的图像帧。
24.s102：将每个图像帧输入到编码器-解码器中，接收该编码器-解码器输出的该图像帧对应的特征图。
25.s103：将特征图输入到目标人像检测网络，确定目标人像对应的目标人像框。
26.s104：从图像帧中分割出置信度最高的人像框，并将分割出的人像框输入到人像分割模型中，人像分割模型对该人像框进行实例掩模生成，得到人像框对应的掩模图像，并通过语义分割网络从该掩膜图像中分割出人像。
27.s105：确定包含目标人像的图像帧。
28.s106：根据确定的包含目标人像的图像帧，以及该图像帧中分割出的目标人像，得到人像实例分割结果。
29.在进行人像实例跟踪时，通过获取待进行人像实例跟踪的视频中的每个图像帧，将每个图像帧输入到编码器和解码器中，确定图像帧对应的特征图。其中，编码器为一连串的卷积网络，该编码器至少包括卷积层，池化层和批规范化(batch normalization，bn)层，卷积层负责获取图像帧的局域特征，池化层对图像帧进行下采样并将尺度不变特征传送到下一层，而bn层对图像帧的分布归一化，即编码器对图像帧的低级局域像素值进行归类与分析，从而获得高阶语义信息，如“人像”等。解码器对缩小后的特征图进行上采样，然后对上采样后的特征图进行卷积处理，完善特征图中物体的几何形状，减少在编码器的池化层进行下采样时造成的细节损失，同时得到该图像帧对应与该图像帧大小相同的特征图。然后将该图像帧对应的特征图输入到人像检测模型，该模型例如可以为mask或r-cnn等，人像检测模型输出包含有人像框的图像帧，并输出该人像框对应的置信度。
30.从图像帧中分割出置信度最高的人像框，并将分割出的人像框输入到人像分割模型中，人像分割模型对该人像框进行实例掩模生成，得到人像框对应的掩模图像，并通过语义分割网络从该掩膜图像中分割出人像。
31.此外，确定视频中每个图像帧中置信度最高的人像框，并将该人像框输入到的目标跟踪网络。由该目标跟踪网络对人像框的尺寸进行变换，使得每个人像框的大小一致。然后提取视频中的首张图像帧对应的人像框中的特征，并为该首张图像帧分配一个编码。比较第二张图像帧对应的人像框中的特征与首张图像帧对应的人像框中的特征的相似度，若该相似度不低于预设的相似度阈值，则将该第二张图像帧的编码设置为首张图像帧的编码，若该特征与首张图像帧对应的人像框中的特征的相似度低于预设的相似度阈值，则为该第二张图像帧分配一个不同于该首张图像帧的编码，往后依次类推，直至为所有的图像帧都分配了编码。识别包含图像帧数量最多的目标编码，并将编码为目标编码的目标图像帧中分割出的人像确定为待进行跟踪的目标人像，按照目标图像帧的采集时间对分割出的目标人像进行排列，并将排列结果确定为人像实例分割结果。
32.在本技术中，若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取该不超过第一预设数量的第一图像帧中的首张的采集时间之前采集到的第二预设数量的第二图像帧，根据该第二图像帧中目标人像对应的第一目标人像框的第一位置信息，预测在该第一图像帧中该目标人像对应的第二目标人像框的第二位置信息，根据该第二位置信息，从该第一图像帧中分割出该目标人像。
33.为了在没有从包含目标人像的图像帧中分割出目标人像的情况下，也可以获取丢失的人像，得到了完整的人像实例跟踪结果，提高人像实例跟踪的准确度，本技术实施例提供了一种人像实例跟踪方法、装置、设备及介质。
34.图2为本技术一些实施例提供的一种人像实例跟踪过程示意图，该过程包括：
35.s201：若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧。
36.本技术提供的一种人像实例跟踪方法应用于电子设备，该电子设备可以是图像采集设备、pc、服务器等设备。
37.在本技术中，由于图像帧中包含的人像可能不同，也导致图像帧中分割出的人像
有可能不是同一个人，而在进行人像实例跟踪时，是从每张图像帧中分割出人像后，识别对应的图像帧数量最多的人像，并对该人像进行实例跟踪，因此需要确定出现最多的人像对应的图像帧，并进行跟踪。
38.若电子设备识别到存在没有分割出目标人像的第一图像帧，则获取该未分割出目标人像的第一图像帧的数量，若该第一图像帧的数量不超过第一预设数量，则认为是由于电子设备出现故障，导致没有从该不超过第一预设数量的第一图像帧中分割出目标人像，此时可以预测每个第一图像帧中目标人像的位置。其中，在本技术中，该不超过第一预设数量的第一图像帧为视频中连续的图像帧。
39.具体的，若电子设备识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧，以实现基于该第二预设数量的第二图像帧，对每个第一图像帧中目标人像位置进行预测。
40.此外，在本技术中，若该未分割出目标人像的第一图像帧的超过第一预设数量，则认为未从第一图像帧中分割出目标人像并非电子设备出现故障导致的，而是该第一图像帧中真实的不存在该目标人像。
41.s202：根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息。
42.在本技术中，在确定了首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧之后，需要基于该第二图像帧，确定第一图像帧中的目标人像。在本技术中，在确定基于第二图像帧，确定第一图像帧中的目标人像时，确定的是每个第一图像帧中目标人像对应的目标人像框的位置信息。
43.具体的，在本技术中，在确定了第二预设数量的第二图像帧之后，确定每个第二图像帧中的目标人像对应的第一目标人像框的第一位置信息，得到第二预设数量的第一位置信息，将第二预设数量的第一位置信息输入到卡尔曼滤波器中，使得该卡尔曼滤波器根据每个第二图像帧中的目标人像对应的第一目标人像框的第一位置信息，预测目标人像的在第一图像帧中对应的目标人像框的第二位置信息。具体的，在本技术中，卡尔曼滤波器根据输入的第二预设数量的第一位置信息，计算在第二预设数量的第二图像帧中，第一目标人像框在第二图像帧的x方向的速度变化，得到x方向的速度变化的函数，并确定第一目标人像框在第二图像帧的y方向的速度变化，得到y方向的速度变化的函数，并根据该x方向的速度变化的函数和y方向的速度变化的函数，预测在每张第一图像帧中第二目标人像框对应的第二位置信息。
44.s203：根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。
45.在本技术中，在确定了未分割出目标人像的每个第一图像帧中目标人像对应的第二目标人像框的第二位置信息后，针对每个第一图像帧，电子设备根据该第一图像帧中第二目标人像框对应的第二位置信息，确定该第一图像帧中的第二目标人像框，再从该第二目标人像框中分割出目标人像。
46.在本技术中，若识别到不超过预设数量的图像帧中未分割出目标人像，则认为是在进行人像检测分割时漏检或漏分了人像，此时可以根据首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧中目标人像的第一位置信息预测在第一图像帧中目标人像的第二位置信息，并从第一图像帧中分割出目标人像，实现了即使在进行人像分割时
设备故障，出现没有从包含目标人像的图像帧中分割出目标人像的情况，也可以获取丢失的人像，得到了完整的人像实例跟踪结果，提高了人像实例跟踪的准确度。
47.为了提高预测的第二位置信息的准确度，在上述实施例的基础上，在本技术中，所述预测在所述第一图像帧中所述目标人像对应的第二位置信息之后，所述方法还包括：
48.获取在末张第一图像帧采集时间之后采集到的首张第三图像帧；
49.确定所述第三图像帧中所述目标人像对应的第三目标人像框的第三位置信息和所述末张第一图像帧中的第二目标人像框的第二位置信息的偏差；
50.若所述偏差超过预设的差值阈值，则根据所述偏差对所述不超过第一预设数量的第一图像帧中的第二位置信息进行调整。
51.在本技术中，由于每个第一图像帧中的第二目标人像框的第二位置信息是基于第二图像帧中目标人像的位置信息预测的，并且该第二图像帧为首张第一图像帧的采集时间之前采集的，因此，该第二位置信息可能会与末张第一图像帧的采集时间之后采集到的首张第三图像帧中的目标人像对应的第三目标人像框的第三位置信息的偏差较大，此时可以认为对每个第一图像帧中的第二位置信息预测的不准确。
52.为了进一步提高第二位置信息预测的准确度，在本技术中，在预测了不超过预设数量的每个第一图像帧中的第二位置信息后，还会基于末张第一图像帧的采集时间之后采集的首张第三图像帧，对每个第一图像帧中的第二位置信息的准确度进行判断，并根据判断结果确定是否对每个第一图像帧中的第二位置信息进行调整。
53.具体的，在本技术中，在预测了第一图像帧中第二目标人像框对应的第二位置信息之后，获取在末张第一图像帧采集时间之后采集到的首张第三图像帧，并确定该第三图像帧中目标人像对应的第三目标人像框的第三位置信息。确定该第三位置信息和该末张第一图像帧中的第二目标人像框的第二位置信息的偏差，若该偏差超过预设的差值阈值，则认为预测的每个第一图像帧中的第二位置信息不准确，则根据该偏差对预测的不超过第一预设数量的第一图像帧中的第二位置信息进行调整。
54.此外，在本技术中，若第三图像帧中的第三位置信息与末张第一图像帧中的第二位置信息的偏差未超过预设的差值阈值，则认为预测的每个第一图像帧中的第二位置信息准确，无需对每个第一图像帧中的第二位置信息进行调整。
55.为了提高预测的第二位置信息的准确度，在上述各实施例的基础上，在本技术中，所述根据所述偏差对不超过第一预设数量的第一图像帧中的第二位置信息进行调整包括：
56.根据所述第一图像帧的数量，将所述偏差划分为对应数量的子偏差，其中所述子偏差的和为所述偏差；
57.根据每个所述子偏差，对所述第一图像帧中的第二位置信息进行调整。
58.在本技术中，若确定的第三图像帧中的第三位置信息和末张第一图像帧中的第二位置信息的偏差超过预设的差值阈值，则认为预测的每个第一图像帧中的第二位置信息不准确，需要根据该偏差对预测的不超过第一预设数量的第一图像帧中的第二位置信息进行调整。
59.具体的，在本技术中，在对不超过第一预设数量的第一图像帧中的第二位置信息进行调整时，根据第一图像帧的数量，将该偏差划分为对应数量的子偏差，该对应数量的子偏差的和为该偏差，再根据该子偏差，对每个第一图像帧中的第二位置信息进行调整。其
中，在本技术中，每个子偏差的数值可以相同，也可以不同。
60.此外，在本技术中，第二位置信息为第二目标人像框在第一图像帧中四个顶点的坐标信息，第三位置信息为第三目标人像框在第三图像帧中四个顶点的坐标信息，第三图像帧中目标人像对应的第三目标人像框的第三位置信息和末张第一图像帧中的第二目标人像框的第二位置信息的偏差为第三目标人像框的每个顶点与末张第一图像帧中第二目标人像框对应的顶点的坐标信息的差值。在将偏差划分为数量为第一图像帧的数量的子偏差时，每个子偏差中包括四个顶点分别对应的坐标信息的子差值，并根据该子偏差中包括的每个顶点对应的坐标信息的子差值，对每个第一图像帧中的第二目标人像框对应的顶点进行调整。
61.为了实现重新获取第一图像帧中丢失的人像，提高人像实例跟踪的准确度，在上述各实施例的基础上，在本技术中，所述根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像包括：
62.根据所述第二位置信息，确定所述第一图像帧中的第二目标人像框；
63.将所述第二目标人像框输入到训练好的人像分割模型中，分割出所述目标人像。
64.在本技术中，在确定了每个第一图像帧中的第二目标人像框的第二位置信息之后，针对每个第一图像帧，会根据该第一图像帧中的第二位置信息，从该第一图像帧中分割出目标人像。具体的，针对每个第一图像帧，根据该第一图像帧中的第二位置信息，确定该第二位置信息在该第一图像帧中对应的第二目标人像框，再将该第二目标人像框输入到训练好的人像分割模型中，分割出目标人像。
65.图3为本技术提供的人像实例跟踪装置的结构示意图，如图3所示，该装置包括：
66.获取模块301，用于若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧；
67.预设模块302，用于根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息；
68.人像分割模块303，用于根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。
69.在一种可能的实施方式中，所述获取模块301，还用于获取在末张第一图像帧采集时间之后采集到的首张第三图像帧；
70.所述装置还包括：
71.调整模块304，用于确定所述第三图像帧中所述目标人像对应的第三目标人像框的第三位置信息和所述末张第一图像帧中的第二目标人像框的第二位置信息的偏差；若所述偏差超过预设的差值阈值，则根据所述偏差对所述不超过第一预设数量的第一图像帧中的第二位置信息进行调整。
72.在一种可能的实施方式中，所述调整模块304，具体用于根据所述第一图像帧的数量，将所述偏差划分为对应数量的子偏差，其中所述子偏差的和为所述偏差；根据每个所述子偏差，对所述第一图像帧中的第二位置信息进行调整。
73.在一种可能的实施方式中，所述人像分割模块303，具体用于根据所述第二位置信息，确定所述第一图像帧中的第二目标人像框；将所述第二目标人像框输入到训练好的人
像分割模型中，分割出所述目标人像。
74.图4为本技术提供的一种电子设备结构示意图，在上述各实施例的基础上，本技术还提供了一种电子设备，如图4所示，包括：处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信；
75.所述存储器403中存储有计算机程序，当所述程序被所述处理器401执行时，使得所述处理器401执行如下步骤：
76.若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧；
77.根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息；
78.根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。
79.在一种可能的实施方式中，所述预测在所述第一图像帧中所述目标人像对应的第二位置信息之后，所述方法还包括：
80.获取在末张第一图像帧采集时间之后采集到的首张第三图像帧；
81.确定所述第三图像帧中所述目标人像对应的第三目标人像框的第三位置信息和所述末张第一图像帧中的第二目标人像框的第二位置信息的偏差；
82.若所述偏差超过预设的差值阈值，则根据所述偏差对所述不超过第一预设数量的第一图像帧中的第二位置信息进行调整。
83.在一种可能的实施方式中，所述根据所述偏差对不超过第一预设数量的第一图像帧中的第二位置信息进行调整包括：
84.根据所述第一图像帧的数量，将所述偏差划分为对应数量的子偏差，其中所述子偏差的和为所述偏差；
85.根据每个所述子偏差，对所述第一图像帧中的第二位置信息进行调整。
86.在一种可能的实施方式中，所述根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像包括：
87.根据所述第二位置信息，确定所述第一图像帧中的第二目标人像框；
88.将所述第二目标人像框输入到训练好的人像分割模型中，分割出所述目标人像。
89.由于上述电子设备解决问题的原理与人像实例跟踪方法相似，因此上述电子设备的实施可以参见上述实施例，重复之处不再赘述。
90.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口502用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
91.在上述各实施例的基础上，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
92.若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧；
93.根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息；
94.根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。
95.在一种可能的实施方式中，所述预测在所述第一图像帧中所述目标人像对应的第二位置信息之后，所述方法还包括：
96.获取在末张第一图像帧采集时间之后采集到的首张第三图像帧；
97.确定所述第三图像帧中所述目标人像对应的第三目标人像框的第三位置信息和所述末张第一图像帧中的第二目标人像框的第二位置信息的偏差；
98.若所述偏差超过预设的差值阈值，则根据所述偏差对所述不超过第一预设数量的第一图像帧中的第二位置信息进行调整。
99.在一种可能的实施方式中，所述根据所述偏差对不超过第一预设数量的第一图像帧中的第二位置信息进行调整包括：
100.根据所述第一图像帧的数量，将所述偏差划分为对应数量的子偏差，其中所述子偏差的和为所述偏差；
101.根据每个所述子偏差，对所述第一图像帧中的第二位置信息进行调整。
102.在一种可能的实施方式中，所述根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像包括：
103.根据所述第二位置信息，确定所述第一图像帧中的第二目标人像框；
104.将所述第二目标人像框输入到训练好的人像分割模型中，分割出所述目标人像。
105.由于上述提供的计算机可读取介质解决问题的原理与人像实例跟踪方法相似，因此处理器执行上述计算机可读取介质中的计算机程序后，实现的步骤可以参见上述实施例，重复之处不再赘述。
106.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
107.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
108.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
109.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
110.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。