多行人追踪方法、装置、电子设备及存储介质与流程

本申请涉及人工智能技术领域，尤其涉及一种多行人追踪方法、装置、电子设备及存储介质。

背景技术：

多目标追踪是一种建立起视频目标前后帧关联的技术，记录目标的历史轨迹，并预测出未来可能的趋势。通常，多目标追踪算法利用卡尔曼滤波的方式预测将来下一帧的目标可能出现的位置，在前后关联匹配时，计算各个目标的相似度，最终建立起数据关联。

在机器人行业，多目标追踪也有广泛的运用。智能机器人在室内环境下移动时，遇到行人等移动目标时，机器人需要预测出行人的运动趋势，这就要求机器人能够对相机画面前后帧建立关联，记录移动目标的运动轨迹。

但是在多目标追踪技术实际运用时，由于机器人特殊的视角，在近处行人移动时，此时相机捕获的行人画面变化很大，存在跟丢的现象。

技术实现要素：

为克服相关技术中存在的问题，本申请提供一种多行人追踪方法、装置、电子设备及存储介质，旨在提供一种多行人追踪方法，可以实现机器人检测系统进行多行人的目标跟踪，建立前后图片序列的行人匹配关系，为后续行人轨迹预测提供底层算法支撑；同时一种多行人追踪方法，在近处行人变化较大的场景依旧可以保持很好的跟踪效果，降低了行人跟丢的风险。

本申请解决上述技术问题的技术方案如下：一种多行人追踪方法，其包括以下步骤：步骤1，读取一机器人的摄像装置捕获的图像；步骤2，通过ssd目标检测算法对所述图像进行检测，得到图像中所有行人的信息；步骤3，将所有行人的信息保留在一待匹配行人信息池中；步骤4，根据一行人历史信息池，通过卡尔曼滤波器预测下一帧行人的信息，得到一行人预测信息池；步骤5，通过一代价匹配矩阵判断所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人是否匹配。

优选的，在步骤5之后还包括：当所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人匹配时，将候选人的信息放入所述行人历史信息池中，并更新所述行人历史信息池的参数。

优选的，所述行人的信息包括行人的方框(u1,v1,u1,u2)，以及行人的特征向量f，其中行人的方框尺寸为s，行人的方框比例为r，(s,r)的函数为：

优选的，在步骤2之后还包括：根据所述摄像装置的内外参数及所述摄像装置的高度，通过空间估计算法得到行人在空间中的相对坐标(x,y)；根据所述机器人在空间中的定位坐标，将行人在空间中的相对坐标(x,y)转化成行人在空间中的绝对坐标(x,y)，得到行人的空间位置。

优选的，根据一行人历史信息池，通过卡尔曼滤波器预测下一帧行人的信息，得到一行人预测信息池具体包括：

根据一行人历史信息池，通过卡尔曼滤波器预测下一帧行人的信息，得到行人信息模块i(x,y,s,r,vx,vy,vs,vr)；

根据状态转移矩阵f以及所述行人信息模块i(x,y,s,r,vx,vy,vs,vr)，得到预测的下一帧行人的信息状态ipre，其中ipre＝f*i。

优选的，在步骤5之前还包括：根据所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人的相似度，得到一相似度代价；根据giou距离度量算法，得到距离代价；根据所述相似度代价以及所述距离代价，得到所述代价匹配矩阵。

优选的，所述代价匹配矩阵的函数为：

cost＝2costsimilarity+costgiou；

其中0.5为相似度代价的阈值，1/3为距离代价的阈值，fi为第i个候选人的特征向量，fj为第j个预测的候选人的特征向量。

本申请实施例的第二方面提供了一种多行人追踪装置，其包括：摄像装置，用于获取图像；行人信息提取模块，用于调用ssd目标检测算法对所述图像进行检测，得到图像中所有行人的信息；空间估计模块，用于根据所述摄像装置的内外参数及所述摄像装置的高度，计算出行人在空间中的相对坐标；待匹配行人信息池，用于存储所述图像中所有行人的信息，所述行人的信息包括行人的方框，以及行人的特征向量；卡尔曼滤波估计模块，用于根据一行人历史信息池来预测下一帧行人的信息，得到一行人预测信息池；匹配模块，用于判断所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人是否匹配。

优选的，所述匹配模块包括一代价匹配矩阵，所述代价匹配矩阵函数为：

cost＝2costsimilarity+costgiou

其中，costsimilarity为相似度代价，costgiou为距离代价，0.5为相似度代价的阈值，1/3为距离代价的阈值，fi为第i个候选人的特征向量，fj为第j个预测的候选人的特征向量。

本申请实施例的第三方面提供了一种电子设备，包括：

处理器；以及一个或多个处理器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述的方法的指令。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请提供一种多行人追踪方法、装置、电子设备及存储介质，通过ssd目标检测算法对图像进行检测，得到图像中所有行人的信息；将所有行人的信息保留在一待匹配行人信息池中；根据一行人历史信息池，通过卡尔曼滤波器预测下一帧行人的信息，得到一行人预测信息池；通过一代价匹配矩阵判断所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人是否匹配，以此使得本申请采用了基于行人空间位置预测的卡尔曼滤波建模方法，摒弃了现有技术采用基于方框移动的2d建模方法，使得本申请的多行人追踪方法更符合行人在空间中移动的实际情况，避免行人跟丢的现象；以此同时本申请采用基于giou方框距离度量的策略，提高多行人追踪算法在近处行人的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的多行人追踪方法的流程示意图；

图2是本申请实施例示出的多行人追踪方法的匹配循环框图；

图3是本申请实施例示出的多行人追踪方法的另一流程示意图；

图4是本申请实施例示出的的行人方框的状态示意图；

图5是本申请实施例示出的多行人追踪装置的示意图；

图6是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本发明实施例的机器人可以被构造成任何合适形状，以便实现特定业务功能操作，例如，本发明实施例机器人可以为递送机器人、搬运机器人、看护机器人等等。所述机器人一般包括壳体、传感器单元、驱动轮部件、存储部件及控制器。壳体的外形大体上呈圆形，在一些实施例中，壳体的外形可以大体上呈椭圆形、三角形、d形、柱形或其他形状。传感器单元用于采集机器人的一些运动参数及环境空间各类数据。在一些实施例中，传感器单元包括激光雷达,激光雷达安装于壳体上方，其安装高度高于所述壳体的顶部面壳高度，激光雷达用于检测机器人障碍物之间的障碍物距离。在一些实施例中，传感器单元还可以包括惯性测量单元(inertialmeasurementunit，imu)、陀螺仪、磁场计、加速度计或速度计、光学摄像头等等。驱动轮部件安装于壳体并驱动机器人在各种空间上移动，在一些实施例中，驱动轮部件包括左驱动轮、右驱动轮及全向轮，左驱动轮和右驱动轮分别安装于壳体的相对两侧。左驱动轮和右驱动轮被配置为至少部分可伸出及缩回壳体的底部。全向轮安装于壳体的底部的靠前位置，全向轮为活动脚轮，可以水平360度旋转，以使得机器人可以灵活转向。左驱动轮、右驱动轮及全向轮的安装构成三角形，以提高机器人行走的平稳性。当然，在一些实施例中，驱动轮部件还可以采用其他结构，比如全向轮可被省略，只留左驱动轮与右驱动轮亦可以驱动机器人正常行走。在一些实施例中，机器人还配置有存储部件，存储部件安装于收容槽内，从而完成递送任务等等。控制器分别与左驱动轮、右驱动轮、全向轮及激光雷达电连接。控制器作为机器人的控制核心，用于控制机器人行走、后退以及一些业务逻辑处理。

在一些实施例中，控制器可以为通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、单片机、ar(acornriscmachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，控制器还可以是任何传统处理器、控制器、微控制器或状态机。控制器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置。在一些实施例中，上述机器人在活动的过程中，控制器采用slam(simultaneouslocalizationandmapping，即时定位与建图技术)技术，根据环境数据构建地图和定位，从而移动到目标位置完成递送任务、清洁任务等。控制器基于被建立好的地图以及机器人的位置，通过全覆盖路径规划算法指示机器人完全遍历一个环境空间。例如，在机器人遍历时，传感器单元获取遍历区域的图像，其中，该遍历区域的图像可以为整片遍历区域的图像，亦可以为整片遍历区域中局部遍历区域的图像。控制器根据遍历区域的图像生成地图，该地图已指示机器人需要遍历的区域以及位于遍历区域中的障碍物所在的坐标位置。当机器人每遍历完一个位置或区域后，机器人基于该地图，标记该位置或区域已被遍历。并且，由于障碍物在地图中是以坐标方式被标记，机器人遍历时，可以根据当前位置对应的坐标点与障碍物涉及的坐标点，判断与障碍物之间的距离，从而实现环绕障碍物作遍历工作。同理，位置或区域已遍历而被标记后，当机器人下一个位置将会移动至该位置或该区域时，机器人基于该地图以及该位置或该区域的标记，作出转弯调头或者停止遍历的策略。可以理解的是，控制器还可以根据多种方式识别已遍历位置或区域，或者，识别障碍物，从而作出满足产品需求的控制策略。

以下结合附图详细描述本申请实施例的技术方案。

请参阅图1以及图2，图1为本申请第一实施例示出的多行人追踪方法的流程示意图，图2为本申请第一实施例示出的多行人追踪方法的匹配循环框图，如图1以及图2所示，方法包括以下步骤：

步骤s1，读取一机器人的摄像装置捕获的图像；

具体的，在本实例中所述摄像机构可以为摄像头，相机等可以采集物体图像的装置；在本实施例中，所述机器人在室内移动，所述摄像装置用于捕捉室内的图像，所述图像中包含多个行人等目标。

步骤s2，通过ssd目标检测算法对所述图像进行检测，得到图像中所有行人的信息；

具体的，本实施例中的行人检测模块采用基于深度神经网络目标检测算法ssd，通过调用ssd目标检测算法对所述图像进行检测，可以检测到所述图像中所有行人，以此得到图像中所有的行人信息。

在其中一个实施例中，所述行人的信息包括行人的方框(u1,v1,u1,u2)以及以及行人的特征向量f，其中行人的方框尺寸为s，行人的方框比例为r，(s,r)的函数为：

步骤s3，将所有行人的信息保留在一待匹配行人信息池中；

具体的，所述待匹配行人信息池中包含：行人特性向量、行人空间位置以及行人方框。其中行人空间位置为行人在空间中的绝对坐标。所述行人在空间中的绝对坐标由行人在空间中的相对坐标转化而来。

在其中一个实施例中，在步骤s2之后还包括以下步骤：

步骤s201，根据所述摄像装置的内外参数及所述摄像装置的高度，通过空间估计算法得到行人在空间中的相对坐标(x,y)；

具体的，行人在空间中的相对坐标(x,y)的计算公式如下：

其中(fx,fy,cx,cy)为所述摄像装置的内外参数，hc为所述摄像装置的高度。

步骤s202，根据所述机器人在空间中的定位坐标，将行人在空间中的相对坐标(x,y)转化成行人在空间中的绝对坐标(x,y)，得到行人的空间位置。

步骤s4，根据一行人历史信息池，通过卡尔曼滤波器预测下一帧行人的信息，得到一行人预测信息池；

具体的，所述行人历史信息池包含：历史行人特性向量、历史行人空间位置以及历史行人方框；所述行人预测信息池包含：预测行人特征向量、预测行人空间位置以及预测行人方框。

在其中一个实施例中，根据一行人历史信息池，通过卡尔曼滤波器预测下一帧行人的信息，得到一行人预测信息池具体包括以下步骤：

步骤s401，根据一行人历史信息池，通过卡尔曼滤波器预测下一帧行人的信息，得到行人信息模块i(x,y,s,r,vx,vy,vs,vr)；

步骤s402，根据状态转移矩阵f以及所述行人信息模块i(x,y,s,r,vx,vy,vs,vr)，得到预测的下一帧行人的信息状态ipre，其中ipre＝f*i，以此得到

本实施例是将行人历史信息池根据卡尔曼滤波器预测下一帧行人的信息，建立行人信息模块i(x,y,s,r,vx,vy,vs,vr)，(x，y)是行人在空间中的绝对位置，s是行人方框的尺寸，r是行人方框的比例，(vx,vy)是行人的移动速度，(vs,vr)是方框的变化速度。预测行人方框(upres,vpre1,upre2,vpre2)计算公式如下：

w＝sprerpre；

vpre1＝vpre2-h；

其中，spre为预测行人方框的尺寸，rpre为预测行人方框的比例，(fx,fy,cx,cy)为所述摄像装置的内外参数，hc为所述摄像装置的高度，(xpre,ypre)为预测行人在空间的绝对位置。

步骤s5，通过一代价匹配矩阵判断所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人是否匹配。

在其中一个实施例中，在步骤5之后还包括：当所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人匹配时，将候选人的信息放入所述行人历史信息池中，并更新所述行人历史信息池的参数。

在其中一个实施例中，请参考图3，图3为本申请第一实施例示出的多行人追踪方法的另一流程示意图，在上述步骤的基础上增加额外的以下步骤。

在步骤s5之前还包括以下步骤：

步骤s501，根据所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人的相似度，得到一相似度代价；

具体的，待匹配的行人信息池中存在m个候选人，行人预测信息池中存在n个候选人，构建两个信息池的匹配代价矩阵cost，显然cost是一个m*n矩阵。cost[i][j]表示第i个待匹配的行人与第j个预测行人的匹配代价。匹配代价由两个部分组成，相似度代价similarity和距离代价dist。相似度代价由第i个待匹配的行人的特征向量fi与第j个预测行人的特征向量fj计算而来，计算公式如下：

步骤s502，根据giou距离度量算法，得到距离代价；

具体的，考虑到行人在近处时方框变化较大，存在匹配方框没有交并的情形。在这种弱匹配条件下，采用基于交并比(iou)的方法会导致匹配失败。

请参考图4，图4为本申请的实施例的行人方框的状态示意图。本实施例采用基于giou距离度量的方法，考虑两个方框a，b，其交并方框c，最小外接方框d，giou计算方法如下：

步骤s503，根据所述相似度代价以及所述距离代价，得到所述代价匹配矩阵。

具体的，所述代价匹配矩阵的函数为：

cost＝2costsimilarity+costgiou；

其中0.5为相似度代价的阈值，1/3为距离代价的阈值，fi为第i个候选人的特征向量，fj为第j个预测的候选人的特征向量。le4表示超过阈值的匹配对代价。

根据得到匹配代价矩阵函数cost，将匹配问题转化成下述凸优化指派问题，存在全局最优解，凸优化指派问题的函数如下：

凸优化指派问题的函数目标是求解目标最小值sum_match，x[i][j]＝1表示第i个候选人与第j个预测的候选人匹配成功，反之不匹配，且每个候选人只匹配一个预测的候选人。若x[i][j]＝1且cost[i][j]<1e4表示最终匹配成功，将检测到的候选人信息放入行人历史信息池并更新行人历史信息池参数，参数包含：行人特征向量，行人方框，行人空间位置。

在本实施例中，通过ssd目标检测算法对图像进行检测，得到图像中所有行人的信息；将所有行人的信息保留在一待匹配行人信息池中；根据一行人历史信息池，通过卡尔曼滤波器预测下一帧行人的信息，得到一行人预测信息池；通过一代价匹配矩阵判断所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人是否匹配，以此使得本申请采用了基于行人空间位置预测的卡尔曼滤波建模方法，摒弃了现有技术采用基于方框移动的2d建模方法，使得本申请的多行人追踪方法更符合行人在空间中移动的实际情况，避免行人跟丢的现象；以此同时本申请采用基于giou方框距离度量的策略，提高多行人追踪算法在近处行人的效果。

请参阅图5，图5为本申请第二实施例示出的多行人追踪装置的示意图，本实施例基于上述实施例方法提出对应的多行人追踪装置。

所述多行人追踪装置包括：摄像装置、行人信息提取模块、空间估计模块、待匹配行人信息池、卡尔曼滤波估计模块以及匹配模块。其中所述摄像装置用于获取图像；所述行人信息提取模块，用于调用ssd目标检测算法对所述图像进行检测，得到图像中所有行人的信息；所述空间估计模块，用于根据所述摄像装置的内外参数及所述摄像装置的高度，计算出行人在空间中的相对坐标；所述待匹配行人信息池，用于存储所述图像中所有行人的信息，所述行人的信息包括行人的方框，以及行人的特征向量；所述卡尔曼滤波估计模块，用于根据一行人历史信息池来预测下一帧行人的信息，得到一行人预测信息池；所述匹配模块，用于判断所述待匹配行人信息池中的第i个候选人与所述行人预测信息池中的第j个预测的候选人是否匹配。

具体的，待匹配的行人信息池中存在m个候选人，行人预测信息池中存在n个候选人，构建两个信息池的匹配代价矩阵cost，显然cost是一个m*n矩阵。cost[i][j]表示第i个待匹配的行人与第j个预测行人的匹配代价。匹配代价由两个部分组成，相似度代价similarity和距离代价dist。相似度代价由第i个待匹配的行人的特征向量fi与第j个预测行人的特征向量fj计算而来，计算公式如下：

具体的，考虑到行人在近处时方框变化较大，存在匹配方框没有交并的情形。在这种弱匹配条件下，采用基于交并比(iou)的方法会导致匹配失败。

如图4所示，本实施例采用基于giou距离度量的方法，考虑两个方框a，b，其交并方框c，最小外接方框d，giou计算方法如下：

根据所述相似度代价以及所述距离代价，得到所述代价匹配矩阵。

具体的，所述代价匹配矩阵的函数为：

cost＝2costsimilarity+costgiou；

其中0.5为相似度代价的阈值，1/3为距离代价的阈值，fi为第i个候选人的特征向量，fj为第j个预测的候选人的特征向量。le4表示超过阈值的匹配对代价。

根据得到匹配代价矩阵函数cost，将匹配问题转化成下述凸优化指派问题，存在全局最优解，凸优化指派问题的函数如下：

凸优化指派问题的函数目标是求解目标最小值sum_match，x[i][j]＝1表示第i个候选人与第j个预测的候选人匹配成功，反之不匹配，且每个候选人只匹配一个预测的候选人。若x[i][j]＝1且cost[i][j]<1e4表示最终匹配成功，将检测到的候选人信息放入行人历史信息池并更新行人历史信息池参数，参数包含：行人特征向量，行人方框，行人空间位置。

在本实施例中，通过摄像装置、行人信息提取模块、空间估计模块、待匹配行人信息池、卡尔曼滤波估计模块以及匹配模块形成多行人追踪装置，以此得到机器人检测系统，用于多行人的目标跟踪，多行人追踪装置可以建立前后图片序列的行人匹配关系，为后续行人轨迹预测提供底层算法支撑。同时，在近处行人变化较大的场景依旧可以保持很好的跟踪效果，降低了行人跟丢的风险。以此同时本申请采用基于giou方框距离度量的策略，提高多行人追踪算法在近处行人的效果。

图6是本申请实施例示出的电子设备的结构示意图。

参见图6，电子设备400包括存储器410和处理器420。

处理器420可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器410可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)，和永久存储装置。其中，rom可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、minsd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。