一种目标跟踪方法及设备与流程

本申请实施例涉及图片处理领域，尤其涉及一种目标跟踪方法及设备

背景技术：

智能多目标跟踪系统(intelligentmultipleobjectstrackingsystem)采用了先进的图像检测、跟踪识别和视频分析，配合精密运动控制系统，实现对大场景中多个运动目标的连续快速跟踪捕捉。

它将大场景内多目标的跟踪识别和视频分析功能集成在一个独立的系统中，通过对前端摄像头采集的视频信息进行智能化分析，同时后台可以实时看到分析数据和视频录像，也可以进行视频检索。视频检索的过程具体包括智能多目标跟踪系统获取前后对比帧，图像预处理，运动目标检测，后处理，确定运动目标等步骤。其中，确定运动目标步骤需要判断运动目标是否为同一目标，判断方式主要采用图像识别技术进行比较，若图像相似度较高，则认定为同一目标。但是，当目标被遮挡，比如环境因素的落叶，行人相互遮挡等情况，完整的目标无法被前端摄像头捕捉到，就会对目标的判断造成影响。

智能多目标跟踪系统常常在目标存在部分遮挡时跟踪准确度会大幅下滑，具体原因为，被遮挡的区域不仅不再提供有益的线索，反而引入了额外的干扰，额外的干扰导致系统对完整的目标和被遮挡的目标是否为同一目标的判定产生影响。

技术实现要素：

本申请提供了一种目标跟踪方法以及目标追踪设备，用以保证所述方法在实际中的应用及实现。

本申请实施例第一方面提供了一种目标跟踪方法，包括：

获取第一视频帧和第二视频帧，所述第一视频帧具有包含第一目标图像的第一目标框，所述第二视频帧具有包含第二目标图像的第二目标框；

对所述第一目标框包含的第一目标图像处理得到至少两个第一图像区域，并对所述第二目标框包含的第二目标图像处理得到至少两个第二图像区域；

确定第一图像区域及第二图像区域之间的对应关系；

计算具有对应关系的第一图像区域与第二图像区域之间的图像距离；

计算具有对应关系的第一图像区域与第二图像区域的可见性总权重；

将各个具有对应关系的第一图像区域与第二图像区域的图像距离与可见性总权重进行加权平均运算，得到第一目标图像与第二目标图像的图像总距离；

将所述图像总距离与预设图像距离进行比较，并根据比较结果确定所述第一目标图像包含的第一目标与所述第二目标图像包含的第二目标是否相同。

基于第一方面，本申请实施例还提供了第一方面的第二种实施方式：

使用目标跟踪算法对所述第一视频帧和第二视频帧处理，获得包含第一目标框的第一视频帧和包含第二目标框的第二视频帧。

基于第一方面和第一方面第二种实施方式，本申请实施例还提供了第一方面的第三种实施方式：

所述对所述第一目标框包含的第一目标图像处理得到至少两个第一图像区域，并对所述第二目标框包含的第二目标图像处理得到至少两个第二图像区域，包括：

获得预设的图像划分规则，所述图像划分规则包括：划分的图像区域数量、划分方向以及划分比例；

依据所述图像划分规则，对所述第一目标框包含的第一目标图像进行区域划分，得到至少两个第一图像区域；

依据所述图像划分规则，对所述第二目标框包含的第二目标图像进行区域划分，得到至少两个第二图像区域。

基于第一方面第三种实施方式，本申请实施例还提供了第一方面的第四种实施方式：

所述第一图像区域及第二图像区域之间的对应关系为所述第一图像区域相对于所述第一目标图像的位置关系与所述第二图像区域相对于所述第二目标图像的位置关系相同。

基于第一方面和第一方面第二种实施方式，本申请实施例还提供了第一方面的第五种实施方式：

在所述确定第一图像区域及第二图像区域之间的对应关系之后，计算具有对应关系的第一图像区域与第二图像区域之间的图像距离之前，还包括：

使用训练好的部件感知模型对所述第一图像区域进行处理，得到与所述第一图像区域对应的第一部件特征值和第一可见性得分，所述第一部件特征值用以表示所述第一图像区域的像素的排列情况，所述第一可见性得分用以表示所述第一目标被遮挡的概率；

使用训练好的部件感知模型对所述第二图像区域进行处理，得到与所述第二图像区域对应的第二部件特征值和第二可见性得分，所述第二部件特征值用以表示所述第二图像区域的像素的排列情况，所述第二可见性得分用以表示所述第二目标被遮挡的概率；

所述计算具有对应关系的第一图像区域与第二图像区域之间的图像距离，包括：

对具有对应关系的第一部件特征值和第二部件特征值做差，得到具有对应关系的第一图像区域与第二图像区域之间的图像距离；

所述计算具有对应关系的第一图像区域与第二图像区域的可见性总权重，包括：

对具有对应关系的第一可见性得分和第二可见性得分进行乘积运算，得到具有对应关系的第一图像区域与第二图像区域之间的可见性总权重。

基于第一方面第五种实施方式，本申请实施例还提供了第一方面的第六种实施方式：

所述部件感知模型包括图像区域定位器和图像区域提取器，所述图像区域定位器用于对所述第一图像区域和/或所述第二图像区域进行处理得到对应的第一可见性的分和/或第二可见性得分，所述图像区域提取器用于对所述第一图像区域和/或所述第二图像区域进行处理得到对应的第一部件特征值和/或第二部件特征值。

基于第一方面第六种实施方式，本申请实施例还提供了第一方面的第七种实施方式：

所述图像区域定位器和所述图像区域提取器通过自监督学习方法训练获得。

本申请实施例第二方面提供了一种目标跟踪设备该目标跟踪设备具有实现上述第一方面中目标跟踪方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

本申请实施例第三方面提供了一种计算机存储介质，该计算机存储介质用于储存为上述目标跟踪设备所用的计算机软件指令，其包括用于执行为目标跟踪设备所设计的程序。

本申请实施例第六方面提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述第一方面中任意一项的目标跟踪方法中的流程。

从以上技术方案可以看出，本申请实施例具有以下优点：在对目标框内容是否为同一目标进行判定时，将目标框划分为数个图像区域，并分别计算图像区域与图像区域之间的图像距离和可见性总权重，可见性总权重反映了对判断两张图片中的目标的影响程度，在对是否为同一目标的判断中使用加权计算的方式得到图像总距离，在图像总距离中可见性总权重体现了某些图像区域的重要程度，使得判断过程聚焦于某些区域，而容易造成干扰的区域被忽略，从而提高了目标跟踪的准确率。

附图说明

图1为本申请目标跟踪方法中的一个实施例示意图；

图2为本申请目标跟踪方法中的一个实施对象示意图；

图3为本申请目标跟踪设备中的一个实施例示意图；

图4为本申请目标跟踪设备中的一个实施例示意图；

图5为本申请目标跟踪方法中的另一个实施例示意图。

具体实施方式

本申请实施例提供了一种目标跟踪方法，用于智能多目标跟踪系统，智能多目标跟踪系统多用于道路，停车场，景点等人员车辆密集的环境，实现对多个运动目标的连续跟踪。

在对目标的跟踪确认过程中，智能多目标跟踪系统会对某一帧中目标所在的目标框进行预测，得到下一帧的预测目标框位置，并添加于实际的下一帧上，然后对该预测目标框内的图像与上一帧的目标图像进行比较。如果为同一目标，则说明跟踪成功。

对于未经过特殊设计的智能多目标跟踪系统常常在目标遭遇部分遮挡时跟踪性能会大幅下滑，具体原因有以下两点：一是因为某些情况下目标不能完全被前段摄像头捕捉到，这种被遮挡的情况下加剧了目标前后帧之间的空间错位。在目标全局可见的情况下，空间错位主要源自目标姿态变化和观察视角的变化；然而在目标被遮挡的情况下，被遮挡的目标在前后两帧中即使姿势相同并且从同一视角观察，目标框之间依然存在严重的空间错位，这种空间错位会对系统对目标是否为同一目标的判断造成严重影响；二是如果直接比较完整目标和遮挡目标，目标被遮挡的区域不仅不再提供有益的线索，反而引入了额外的干扰。这种额外的干扰在对比两幅被遮挡程度不同的图像时也会发生。因此，一种针对遮挡目标的目标跟踪方法显得尤为重要。

请参阅图1，本申请实施例中目标跟踪方法一个实施例包括：101-107。

101、获取第一视频帧和第二视频帧。

本申请方法的实施主体可以为服务器，终端等可以运行智能多目标跟踪系统的设备，本实施例中以服务器为例，在具体使用过程中不做限定。

服务器获取第一视频帧和第二视频帧，所述第一视频帧具有包含第一目标图像的第一目标框，所述第二视频帧具有包含第二目标图像的第二目标框。

服务器获取两幅需要进行比较的视频帧图像，图像中含有目标框，目标框的图像称为目标图像。

102、对第一目标图像和第二目标图像进行处理。

服务器对第一目标框包含的第一目标图像处理得到至少两个第一图像区域，并对第二目标框包含的第二目标图像处理得到至少两个第二图像区域；对目标框内的图像处理得到至少两个图像区域，获得的图像区域用于分别进行比较以判断跟踪状态。

103、确定第一图像区域及第二图像区域之间的对应关系。

服务器确定所处理得到的图像区域之间的对应关系，对应关系表示对于前后图片对照时进行比较以计算图像距离，对于不同的划分方式，可以有不同的对应关系，对应关系应当尽量使得要判断的目标的各个部分相互对应，图像区域一般为一一对应的关系，用以进行判断跟踪状态。

104、计算具有对应关系的第一图像区域与第二图像区域之间的图像距离。

服务器对所获得的具有对应关系的第一图像区域区域和第二图像区域进行计算，对于每一组对应的图像得出一个图像距离，该图像距离可以反应两张图片的相似程度以判断两张图片包含的目标是否为同一目标。图像分组越多得出的图像距离越多，图像的细粒化程度越高，判断结果也就更准确。

105、计算具有对应关系的第一图像区域与第二图像区域之间的可见性总权重。

服务器计算计算具有对应关系的第一图像区域与第二图像区域之间的可见性总权重，该可见性总权重反映了一组对应图像区域相对于整个图像的可见的可能性，可能性越高，对于判断结果的影响就越大，相应的，图像分组越多，图像细粒化程度越高，判断结果也就更准确，

106、将各个具有对应关系的第一图像区域与第二图像区域的图像距离与可见性总权重进行加权平均运算，得到图像总距离。

将每组所对应的第一图像区域与第二图像区域可见性总权重作为权重，对图像距离进行运算，得到图像总距离，不同图像区域得出的可见性总权重不同对于图像总距离的影响也不同。

107、比较图像总距离与预设图像距离，并根据比较结果确定第一目标与第二目标是否为同一目标。

将计算得到的图像总距离与服务器预设的图像距离进行比较，若图像总距离大于预设的图像距离则认定为同一目标，或若图像总距离小于预设的图像距离则认定为同一目标具体此处不做限定。

在对目标框内容是否为同一目标进行判定时，将目标框划分为数个图像区域，并分别计算图像区域与图像区域之间的图像距离和可见性总权重，可见性总权重反映了对判断两张图片中的目标的影响程度，在对是否为同一目标的判断中使用加权计算的方式得到图像总距离，在图像总距离中可见性总权重体现了某些图像区域的重要程度，使得判断过程聚焦于某些区域，而容易造成干扰的区域被忽略，从而提高了目标跟踪的准确率。

请参阅图2，本申请实施例中目标跟踪方法一个实施例包括：201-208。

201、使用目标跟踪算法对所述第一视频帧和第二视频帧处理，获得包含第一目标框的第一视频帧和包含第二目标框的第二视频帧。

服务器获取第一视频帧和第二视频帧，使用目标跟踪算法对所述第一视频帧和第二视频帧处理目标跟踪算法一般通过不同视频帧的对比，提取出视频帧中目标对象的灰度特征、颜色特征、纹理特征等特征，用这些特征与其他视频帧进行对比，建立目标的运动模型，进而预测目标在下一时刻的位置，对该位置的框选作为第二目标框，添加在下一时刻的视频帧上，作为第二视频帧，然后对第二目标框内的图像进行验证，本实施例采用使用目标跟踪算法处理过的视频帧作为对象，使得方案更具可行性。

其中所述第二目标框是由服务器对第一视频帧进行预测分析在第二视频帧上画出的对于一般的多目标追踪系统，都是根据对前一帧目标的运动轨迹分析，来预测下一帧目标位置，进而确定目标框位置，这一步骤符合当前的技术水平，可以使本方案更有效实施。

202、对第一目标图像和第二目标图像进行处理。

获得预设的图像划分规则，图像的划分规则包括划分出的图像数量和划分时的具体划分方向以及划分出的图像所占比例，比如对目标图像按左右方式竖直均分为两个图像区域，或，按上中下的方式水平均分为三个图像区域，该划分规则可在不同的使用环境下进行不同的设定，划分规则目的在于使划分出的区域可以区别开不同使用环境下易被遮挡的部分和不易被遮挡的部分。

对于本步骤可以参考图3进行理解，左侧人像所在矩形视为第一目标框，服务器对第一目标框包含的第一目标图像处理得到上中下三个第一图像区域，右侧人像所在矩形视为第二目标框，对第二目标框包含的第二目标图像进行相同处理得到上中下三个第二图像区域，获得的图像区域用于分别进行比较以判断跟踪状态，本步骤对于两个目标框采用相同方式进行处理可以减小服务器的处理负荷，使得下一步骤的图像区域对应关系更加明确。

203、确定第一图像区域及第二图像区域之间的对应关系。

对于本步骤可以参考图3进行理解，将上方的第一图像区域与上方的第二图像区域相对应，将中间的第一图像区域与中间的第一图像区域相对应，将下方的第一图像区域与下方的第二图像区域对应。该步骤所使用的对应关系为第一图像区域相对于所述第一目标图像的位置关系与所述第二图像区域相对于所述第二目标图像的位置关系相同。对应关系明确清晰，降低了服务器的运行负荷，对于不是按照相同规则划分图像区域的实施方式，也可以按其他方式确定对应关系，比如以划分出的图像区域相对于被划分的目标图像的位置关系作为对应关系，具体此处不做限定。

204、对第一图像区域和第二图像区域进行处理，得到第一部件特征值、第一可见性得分、第二部件特征值和第二可见性得分。

服务器使用训练好的部件感知模型对划分出的第一图像区域和第二图像区域进行处理，得到第一图像区域对应的第一部件特征值和第一可见性得分表示对k目标图像中i目标区域所得出的部件特征值，表示对k目标图像中i目标区域所得出的可见性的分，和，与第二部件特征值和第二可见性得分表示对l目标图像中i目标区域所得出的部件特征值，表示对l目标图像中i目标区域所得出的可见性的分。

第一可见性得分与第二可见性得分不同，第一部件特征值和第二部件特征值用以表示所述第一图像区域和所述第二图像区域的像素的排列情况，第一可见性得分和所述第二可见性得分用以表示所述第一目标和所述第二目标被遮挡的概率。

该部件特征值由图像像素的排列情况得出，一般为矩阵的形式，矩阵中每一个数字，表示了图像某一部分的像素排列情况，可以用于判定图像与图像之间的差异，矩阵越大表示的图像特征越详细。

可见性得分用于表示图像区域中的目标被遮挡的概率，该分数由部件感知模型分配，可以参考图3进行理解，对于完整的人像被划分成包括头部的上部区域、包括胸的中部区域和包括腿的下部区域，头部在训练过程中被定义为不易被遮挡的部件，所以上部区域的可见性得分较高，胸腿部分在训练过程中被定义为易被遮挡的部件，所以中、下部区域的可见性得分较低。可以理解的是，可见性得分的分配由部件感知模型确定，具体分配规则由该模型的训练集决定，在具体使用过程中，对不同图像区域分配的可见性得分可以不同。具体此处不做限定。

部件感知模型的训练包括图像区域定位器的训练和图像区域提取器的训练。两者共享卷积层，以多任务的方式被端到端训练。图像区域定位器的训练依靠自监督学习，而训练图像区域提取器也需要自监督信号进行辅助，图像区域定位器用于确定图像区的可见性得分，图像区域提取器用于获得部件特征值。

自监督对于模型的训练十分关键，它监督图像区域定位器的学习，并要求模型在获得对部件特征值时仅对可见性分数大于一定值的图像区域施加监督。

部件定位器的训练类似分割训练，标签信息由分块的具体设置产生，部件特征学习采用分类加度量学习联合训练，但需要注意的是只有可见性分数大于一定值的特征允许贡献训练损失。

在训练过程中所使用的的网络为全卷积并采用多任务训练，可以同时完成获取图像区域的可见性得分和部件特征值两个任务，更加高效，便于对网络模型的维护。值得注意的是，本实施例中采用全卷积神经网络完成两个任务，采用不同的网络完成这两个任务也可以达到此效果，具体实施过程中不做限定，本方案中使用全卷积神经网络，在实际使用中其他神经网络比如：径向基神经网络，线性神经网络也可完成该任务具体此处不做限定。

205、对具有对应关系的第一部件特征值和第二部件特征值做差得到具有对应关系的第一图像区域与第二图像区域之间的图像距离。

将第一部件特征值和与其对应的第二部件特征值做差，得到对应的图像距离即：

即为对于i图像区域而言，k目标图像与l目标图像之间的图像距离，p为具有对应关系的图像区域的总组数。

该差值可以表示图像与图像之间的相似程度，差值越大，表示两部分图片差异越大越可能不是同一目标，同样，差值越小，则表示两部分图片越可能显示的是同一目标。

值得注意的，该差值表示了两张图片的差距，用以判断两部分图片所显示的是否为同一目标，对于该做差运算，其他可以实现判断是否为统一目标的处理方法也可以替代该做差过程，具体此处不做限定。

206、对具有对应关系的第一可见性得分和第二可见性得分进行乘积运算得到具有对应关系的第一图像区域与第二图像区域之间的可见性总权重。

将第一可见性得分和与其对应的第二可见性得分做乘积，得到对应的可见性总权重。

即即为对于i图像区域而言，k目标图像与l目标图像的可见性总权重，p为具有对应关系的图像区域的总组数。

值得注意的，该可见性总权重表示了相对于两个目标图像而言，这两个图像区域的可见性程度，对于该乘积运算，其他可以实现确定这两个图像区域的可见性程度的处理方法也可以替代该步骤具体此处不做限定。

207、将各个具有对应关系的第一图像区域与第二图像区域的图像距离与可见性总权重进行加权平均运算，得到图像总距离。

即：p为具有对应关系的图像区域的总组数。

d^kl即为对所有具有对应关系的图像区域以它们的可见性总权重作为权数进行加权平均后所得的结果，该结果的所表示的含义是可见性分数越高的图像区域，它的图像距离对计算所得的图像总距离的影响更大，而可见性分数较低的图像区域，因其可见性总权重的计算结果较小，所以即使图像距离比较大，对图像总距离的影响也较小，图像总距离的值越小，越说明两张图片越相似，所包含的目标为同一目标的可能性就越大。

208、比较图像总距离与预设图像距离，并根据比较结果确定第一目标与第二目标是否为同一目标。

服务器将计算所得的图像总距离与预设的图像距离进行比较，若图像总距离大于预设的图像距离则认定两张图片中包含的目标不是同一目标，若图像总距离小于预设的图像距离则认定两张图片中包含的目标是同一目标。

请参阅图4本申请实施例中图像设备一个实施例包括：

获取单元401，用于获取第一视频帧和第二视频帧，所述第一视频帧具有包含第一目标图像的第一目标框，所述第二视频帧具有包含第二目标图像的第二目标框。

处理单元402，用于对所述第一目标框包含的第一目标图像处理得到至少两个第一图像区域，并对所述第二目标框包含的第二目标图像处理得到至少两个第二图像区域。

确定单元403，用于确定第一图像区域及第二图像区域之间的对应关系。

第一计算单元404，用于计算具有对应关系的第一图像区域与第二图像区域之间的图像距离。

第二计算单元405，用于计算具有对应关系的第一图像区域与第二图像区域的可见性总权重。

第三计算单元406，用于将各个具有对应关系的第一图像区域与第二图像区域的图像距离与可见性总权重进行加权平均运算，得到第一目标图像与第二目标图像的图像总距离。

比较单元407，用于将所述图像总距离与预设图像距离进行比较，并根据比较结果确定所述第一目标图像包含的第一目标与所述第二目标图像包含的第二目标是否相同。

同样参阅图4本申请实施例中图像设备另一个实施例包括：

获取单元401、处理单元402、确定单元403、第一计算单元404、第二计算单元405、第三计算单元406和比较单元407。

其中确定单元403、第三计算单元406和比较单元407和上述实施例中所实施的功能一样，此处不再赘述。

获取单元401具体用于使用目标跟踪算法对所述第一视频帧和第二视频帧处理，获得包含第一目标框的第一视频帧和包含第二目标框的第二视频帧。

处理单元402具体用于获得预设的图像划分规则，所述图像划分规则包括：划分的图像区域数量、划分方向以及划分比例。

依据所述图像划分规则，对所述第一目标框包含的第一目标图像进行区域划分，得到至少两个第一图像区域。

依据所述图像划分规则，对所述第二目标框包含的第二目标图像进行区域划分，得到至少两个第二图像区域。

使用训练好的部件感知模型对所述第一图像区域进行处理，得到与所述第一图像区域对应的第一部件特征值和第一可见性得分，所述第一部件特征值用以表示所述第一图像区域的像素的排列情况，所述第一可见性得分用以表示所述第一目标被遮挡的概率。

使用训练好的部件感知模型对所述第二图像区域进行处理，得到与所述第二图像区域对应的第二部件特征值和第二可见性得分，所述第二部件特征值用以表示所述第二图像区域的像素的排列情况，所述第二可见性得分用以表示所述第二目标被遮挡的概率。

第一计算单元404用于：对具有对应关系的第一部件特征值和第二部件特征值做差得到具有对应关系的第一图像区域与第二图像区域之间的图像距离。

第二计算单元405用于：对具有对应关系的第一可见性得分和第二部件特征值和第二可见性进行乘积运算得到具有对应关系的第一图像区域与第二图像区域之间的可见性总权重。

图5是本实施例提供的一种目标跟踪设备结构示意图，该服务器500可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)501和存储器505，该存储器505中存储有一个或一个以上的应用程序或数据。

本实施例中，中央处理器501中的具体功能模块划分可以与前述图4中所描述的获取单元、处理单元、确定单元、第一计算单元、第二计算单元、第三计算单元和比较单元等单元的功能模块划分方式类似，此处不再赘述。

其中，存储器505可以是易失性存储或持久存储。存储在存储器505的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器501可以设置为与存储器505通信，在服务器500上执行存储器505中的一系列指令操作。

服务器500还可以包括一个或一个以上电源502，一个或一个以上有线或无线网络接口503，一个或一个以上输入输出接口504，和/或，一个或一个以上操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm等。

该中央处理器501可以执行前述图3所示实施例中目标跟踪设备所执行的操作，具体此处不再赘述。

本申请实施例还提供了一种计算机存储介质，该计算机存储介质用于储存为上述目标跟踪设备所用的计算机软件指令，其包括用于执行为目标跟踪设备所设计的程序。

该目标跟踪设备可以如前述图3中所描述的目标跟踪设备。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述图3中任意一项的数据包传输方法的流程。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，

也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。