肢体控制方法、装置和电子设备【
技术领域：
：】[0001]本说明书实施例涉及互联网
技术领域：
：，尤其涉及一种肢体控制方法、装置和电子设备。
背景技术：
：：[0002]随着计算机技术的发展和电子设备的普及，电子设备中人机交互应用的使用越来越广泛，在人机交互领域，多人场景的肢体交互是一个相对比较复杂的问题，尤其是在大型会场领域，往往希望仅允许少部分人进行肢体控制。[0003]因此，需要提供一种肢体交互的控制方案，在大屏场景中，对大屏的控制者进行精准识别。技术实现要素：[0004]本说明书实施例提供了一种肢体控制方法、装置和电子设备，以实现在大屏场景中，对大屏的控制者进行精准识别。[0005]第一方面，本说明书实施例提供一种肢体控制方法，包括：获取视频流中的图像；对所述图像中包括的至少两个人体进行关节点检测，获得所述至少两个人体的目标关节点的位置；其中，所述目标关节点包括人体的预定数量的关节点；根据所述目标关节点的位置，确定所述至少两个人体中每个人体的人脸区域；对所述人脸区域进行人脸识别，根据所述人脸识别的结果，确定当前与电子设备进行交互的控制者；从所述至少两个人体的目标关节点的位置中获取所述控制者的目标关节点的位置，并根据所述控制者的目标关节点的位置，确定所述控制者的手部区域；对所述手部区域进行识别，控制所述电子设备执行与所述手部区域的识别结果对应的操作。[0006]上述肢体控制方法中，获取视频流中的图像之后，对上述图像中包括的至少两个人体进行关节点检测，获得至少两个人体的目标关节点的位置。然后，根据目标关节点的位置，确定至少两个人体中每个人体的人脸区域，对上述人脸区域进行人脸识别，根据人脸识别的结果，确定当前与电子设备进行交互的控制者，从而可以实现对电子设备的控制者进行精准识别，然后从至少两个人体的目标关节点的位置中获取上述控制者的目标关节点的位置，并根据上述控制者的目标关节点的位置，确定控制者的手部区域，最后，对上述手部区域进行识别，控制电子设备执行与上述手部区域的识别结果对应的操作，从而可以实现在大屏场景下，仅对控制者响应肢体交互的精准控制。[0007]其中一种可能的实现方式中，所述根据所述目标关节点的位置，确定所述至少两个人体中每个人体的人脸区域包括：根据所述目标关节点中头部和颈部的关节点的位置关系，确定所述至少两个人体中每个人体的人脸区域。[0008]其中一种可能的实现方式中，所述对所述人脸区域进行人脸识别，根据所述人脸识别的结果，确定当前与电子设备进行交互的控制者包括：对每个人体的人脸区域进行人脸识别，将每个人脸区域的人脸识别结果与预先保存的控制者的人脸进行对比，确定当前与电子设备进行交互的控制者。[0009]其中一种可能的实现方式中，所述确定当前与电子设备进行交互的控制者之后，还包括：计算所述视频流中当前帧的后一帧与所述当前帧中所述目标关节点的距离差矩阵；对所述距离差矩阵进行求解，根据所述距离差矩阵的求解结果，确定所述后一帧与所述当前帧中的人体均为所述控制者的人体时，为所述后一帧保留所述当前帧的人脸识别的结果。[0010]其中一种可能的实现方式中，所述为所述后一帧保留所述当前帧的人脸识别的结果之后，还包括：每隔预定时长，重新执行所述对所述人脸区域进行人脸识别的步骤，刷新人脸识别的结果。[0011]其中一种可能的实现方式中，所述对所述手部区域进行识别，控制所述电子设备执行与所述手部区域的识别结果对应的操作包括：对所述视频流包括的图像中所述控制者的手部区域进行手势识别；当所述手势识别的结果与预先设定的目标手势匹配时，控制所述电子设备执行所述目标手势对应的操作。[0012]其中一种可能的实现方式中，所述对所述手部区域进行识别，控制所述电子设备执行与所述手部区域的识别结果对应的操作包括：从所述目标关节点的位置中获取所述控制者的手部区域的关节点位置；根据所述视频流包括的图像中手部区域的关节点位置，确定所述控制者的手部的移动速度和移动方向；控制所述电子设备执行与所述手部的移动速度和移动方向对应的操作。[0013]第二方面，本说明书实施例提供一种肢体控制装置，包括：获取模块，用于获取视频流中的图像；检测模块，用于对所述图像中包括的至少两个人体进行关节点检测，获得所述至少两个人体的目标关节点的位置；其中，所述目标关节点包括人体的预定数量的关节点；确定模块，用于根据所述目标关节点的位置，确定所述至少两个人体中每个人体的人脸区域；识别模块，用于对所述人脸区域进行人脸识别，根据所述人脸识别的结果，确定当前与电子设备进行交互的控制者；所述获取模块，还用于从所述至少两个人体的目标关节点的位置中获取所述控制者的目标关节点的位置；所述确定模块，还用于根据所述控制者的目标关节点的位置，确定所述控制者的手部区域；控制模块，用于对所述手部区域进行识别，控制所述电子设备执行与所述手部区域的识别结果对应的操作。[0014]其中一种可能的实现方式中，所述确定模块，具体用于根据所述目标关节点中头部和颈部的关节点的位置关系，确定所述至少两个人体中每个人体的人脸区域。[0015]其中一种可能的实现方式中，所述识别模块，具体用于对每个人体的人脸区域进行人脸识别，将每个人脸区域的人脸识别结果与预先保存的控制者的人脸进行对比，确定当前与电子设备进行交互的控制者。[0016]其中一种可能的实现方式中，所述装置还包括：计算模块，用于在所述识别模块确定当前与电子设备进行交互的控制者之后，计算所述视频流中当前帧的后一帧与所述当前帧中所述目标关节点的距离差矩阵；所述识别模块，还用于对所述距离差矩阵进行求解，根据所述距离差矩阵的求解结果，确定所述后一帧与所述当前帧中的人体均为所述控制者的人体时，为所述后一帧保留所述当前帧的人脸识别的结果。[0017]其中一种可能的实现方式中，所述识别模块，还用于在为所述后一帧保留所述当前帧的人脸识别的结果之后，每隔预定时长，重新执行所述对所述人脸区域进行人脸识别的步骤，刷新人脸识别的结果。[0018]其中一种可能的实现方式中，所述控制模块包括：手势识别子模块，用于对所述视频流包括的图像中所述控制者的手部区域进行手势识别；操作控制子模块，用于当所述手势识别的结果与预先设定的目标手势匹配时，控制所述电子设备执行所述目标手势对应的操作。[0019]其中一种可能的实现方式中，所述控制模块包括：位置获取子模块，用于从所述目标关节点的位置中获取所述控制者的手部区域的关节点位置；手部运动识别子模块，用于根据所述视频流包括的图像中手部区域的关节点位置，确定所述控制者的手部的移动速度和移动方向；操作控制子模块，用于控制所述电子设备执行与所述手部的移动速度和移动方向对应的操作。[0020]第三方面，本说明书实施例提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。[0021]第四方面，本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的方法。[0022]应当理解的是，本说明书实施例的第二～四方面与本说明书实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。【附图说明】[0023]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。[0024]图1为本说明书一个实施例提供的肢体控制方法的流程图；[0025]图2为本说明书另一个实施例提供的肢体控制方法的流程图；[0026]图3为本说明书再一个实施例提供的肢体控制方法的流程图；[0027]图4为本说明书再一个实施例提供的肢体控制方法的流程图；[0028]图5为本说明书一个实施例提供的肢体控制装置的结构示意图；[0029]图6为本说明书另一个实施例提供的肢体控制装置的结构示意图；[0030]图7为本说明书一个实施例提供的电子设备的结构示意图。【具体实施方式】[0031]为了更好的理解本说明书的技术方案，下面结合附图对本说明书实施例进行详细描述。[0032]应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。[0033]在本说明书实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。[0034]在人机交互领域，多人场景的肢体交互是一个相对比较复杂的问题，尤其是在大型会场领域，往往希望仅允许少部分人进行肢体控制。针对这个问题，本说明书实施例提出了一种肢体控制方法，该方法基于人脸识别和人体跟踪，可以实现精准的肢体交互，仅需要普通的彩色摄像头，即红绿蓝(redgreenblue，rgb)摄像头就可以实现精准的肢体控制。具体而言，在多人肢体关节点检测的基础上，本说明书实施例提供的方法加入了人脸识别和人体跟踪的方式，可以实现在大屏场景下，仅对讲解员响应肢体交互的精准控制；同时也提供了一系列肢体交互方法，比如手势识别、手部移动识别等，从而可以实现丰富的肢体交互。[0035]其中，人机交互是人与计算机之间传递、交换信息的媒介和对话接口。[0036]图1为本说明书一个实施例提供的肢体控制方法的流程图，如图1所示，上述肢体控制方法可以包括：[0037]步骤102，获取视频流中的图像。[0038]具体地，可以获取视频流中的至少一帧图像，其中，帧是视频中最小单位的单幅影像画面，连续帧是视频中连续的帧画面。[0039]本实施例中，在识别电子设备的控制者时，一般需要获取连续的多帧图像进行识别。[0040]步骤104，对上述图像中包括的至少两个人体进行关节点检测，获得至少两个人体的目标关节点的位置；其中，上述目标关节点包括人体的预定数量的关节点。[0041]其中，上述预定数量可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定数量的大小不作限定，举例来说，上述预定数量可以为20。[0042]具体地，可以采用openpose算法实现基于普通彩色图像的多人姿态估计，即采用openpose算法对获取的图像中包括的至少两个人体进行关节点检测，获得至少两个人体的目标关节点的位置。openpose算法利用了深度学习的优势，能够很好地理解图像中人体的语义信息，获得人体的头、肩、手、脚和手腕等共约20个目标关节点的具体位置。[0043]另外，在进行关节点检测时，除了采用openpose算法之外，还可以采用漏斗网络(hourglassnetwork)或掩模区域卷积神经网络(maskregionconvolutionalneuralnetworks，maskrcnn)等算法，本实施例对关节点检测所采用的算法不作限定。[0044]步骤106，根据上述目标关节点的位置，确定至少两个人体中每个人体的人脸区域。[0045]具体地，根据上述目标关节点的位置，确定至少两个人体中每个人体的人脸区域可以为：根据上述目标关节点中头部和颈部的关节点的位置关系，确定至少两个人体中每个人体的人脸区域。[0046]步骤108，对上述人脸区域进行人脸识别，根据上述人脸识别的结果，确定当前与电子设备进行交互的控制者。[0047]也就是说，在实现人体关节点检测之后，可以根据上述目标关节点中头部和颈部的关节点的位置关系，确定至少两个人体中每个人体的人脸区域，从而实现对每个人体进行人脸识别。在获得人脸识别的结果之后，可以确定当前与电子设备进行交互的控制者是谁。[0048]具体实现时，可以对网络实时发送的图像进行人脸识别，并获得结果。[0049]具体地，对上述人脸区域进行人脸识别，根据上述人脸识别的结果，确定当前与电子设备进行交互的控制者可以为：对每个人体的人脸区域进行人脸识别，将每个人脸区域的人脸识别结果与预先保存的控制者的人脸进行对比，确定当前与电子设备进行交互的控制者。[0050]本实施例中，上述电子设备可以为智能大屏设备、平板电脑、智能手机或车载设备等智能电子设备，本实施例对上述电子设备的形态不作限定，但本实施例以上述电子设备为智能大屏设备为例进行说明。[0051]步骤110，从至少两个人体的目标关节点的位置中获取上述控制者的目标关节点的位置，并根据上述控制者的目标关节点的位置，确定上述控制者的手部区域。[0052]步骤112，对上述手部区域进行识别，控制电子设备执行与上述手部区域的识别结果对应的操作。[0053]上述肢体控制方法中，获取视频流中的图像之后，对上述图像中包括的至少两个人体进行关节点检测，获得至少两个人体的目标关节点的位置。然后，根据目标关节点的位置，确定至少两个人体中每个人体的人脸区域，对上述人脸区域进行人脸识别，根据人脸识别的结果，确定当前与电子设备进行交互的控制者，从而可以实现对电子设备的控制者进行精准识别，然后从至少两个人体的目标关节点的位置中获取上述控制者的目标关节点的位置，并根据上述控制者的目标关节点的位置，确定控制者的手部区域，最后，对上述手部区域进行识别，控制电子设备执行与上述手部区域的识别结果对应的操作，从而可以实现在大屏场景下，仅对控制者响应肢体交互的精准控制。[0054]图2为本说明书另一个实施例提供的肢体控制方法的流程图，如图2所示，本说明书图1所示实施例中，步骤108之后，还可以包括：[0055]步骤202，计算上述视频流中当前帧的后一帧与上述当前帧中目标关节点的距离差矩阵。[0056]步骤204，对上述距离差矩阵进行求解，根据上述距离差矩阵的求解结果，确定后一帧与当前帧中的人体均为上述控制者的人体时，则为后一帧保留当前帧的人脸识别的结果。[0057]以电子设备为智能大屏设备为例，具体实现时，由于场景中人体数量过多，加上人脸识别具有一定计算量，所以不可能对每一帧图像都进行人脸识别。因此，可以利用前后帧图像中目标关节点的邻近关系，进一步实现人体跟踪。人体跟踪具体来说，是计算两两人体目标关节点的距离差矩阵，并利用二分图最佳匹配的优化方式对距离差矩阵进行求解，如果根据求解结果确定前后帧中的人体属于同一个人的话，那么将为后一帧保留当前帧的人脸识别的结果，从而大大节省了人脸识别的计算量。[0058]进一步地，为后一帧保留当前帧的人脸识别的结果之后，由于连续的视频流中，人可能会出现转身侧面或者跟踪丢失的情况，导致人脸识别结果不准确。因此每隔预定时长，需要重新执行步骤108中对上述人脸区域进行人脸识别的步骤，刷新人脸识别的结果。[0059]其中，上述预定时长可以在具体实现时根据系统性能和/或实现需求等自行设定，本实施例对上述预定时长的长短不作限定，举例来说，上述预定时长可以为5秒。[0060]图3为本说明书再一个实施例提供的肢体控制方法的流程图，如图3所示，本说明书图1所示实施例中，步骤112可以包括：[0061]步骤302，对视频流包括的图像中上述控制者的手部区域进行手势识别。[0062]步骤304，当上述手势识别的结果与预先设定的目标手势匹配时，控制电子设备执行上述目标手势对应的操作。[0063]具体地，可以使用卷积神经网络(convolutionalneuralnetworks，cnn)对上述控制者的手部区域进行手势识别，一旦手势识别的结果与目标手势匹配，则可以控制电子设备执行与上述目标手势对应的操作。[0064]图4为本说明书再一个实施例提供的肢体控制方法的流程图，如图4所示，本说明书图1所示实施例中，步骤112可以包括：[0065]步骤402，从上述目标关节点的位置中获取上述控制者的手部区域的关节点位置。[0066]步骤404，根据上述视频流包括的图像中手部区域的关节点位置，确定上述控制者的手部的移动速度和移动方向。[0067]步骤406，控制电子设备执行与上述手部的移动速度和移动方向对应的操作。[0068]也就是说，本实施例实现了对控制者的手部运动进行识别，即挥手识别。具体而言，可以利用人体关节点中的手部关节点位置，使用卡尔曼滤波的方法，估计出控制者的手的速度估计值(包括移动速度和移动方向)，从而实现多角度挥动的检测。具体来说，首先利用移动速度的阈值进行筛选，获得手部移动较明显的情况；再利用手部移动速度在水平和竖直方向上的分量，进行方向角的计算，并判别手部更加接近哪个方向(如上、下、左、右四个方向)。[0069]除此之外，结合双手，还可以实现双手展开和双手收回的识别，进而根据不同的挥手事件，可以实现不同的控制。[0070]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。[0071]图5为本说明书一个实施例提供的肢体控制装置的结构示意图，如图5所示，上述肢体控制装置可以包括：获取模块51、检测模块52、确定模块53、识别模块54和控制模块55；[0072]其中，获取模块51，用于获取视频流中的图像；[0073]检测模块52，用于对上述图像中包括的至少两个人体进行关节点检测，获得上述至少两个人体的目标关节点的位置；其中，上述目标关节点包括人体的预定数量的关节点；[0074]确定模块53，用于根据上述目标关节点的位置，确定上述至少两个人体中每个人体的人脸区域；[0075]识别模块54，用于对上述人脸区域进行人脸识别，根据上述人脸识别的结果，确定当前与电子设备进行交互的控制者；[0076]获取模块51，还用于从至少两个人体的目标关节点的位置中获取上述控制者的目标关节点的位置；[0077]确定模块53，还用于根据上述控制者的目标关节点的位置，确定上述控制者的手部区域；[0078]控制模块55，用于对上述手部区域进行识别，控制上述电子设备执行与上述手部区域的识别结果对应的操作。[0079]图5所示实施例提供的肢体控制装置可用于执行本说明书图1所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。[0080]图6为本说明书另一个实施例提供的肢体控制装置的结构示意图，与图5所示的肢体控制装置相比，图6所示的肢体控制装置中，确定模块53，具体用于根据上述目标关节点中头部和颈部的关节点的位置关系，确定上述至少两个人体中每个人体的人脸区域。[0081]识别模块54，具体用于对每个人体的人脸区域进行人脸识别，将每个人脸区域的人脸识别结果与预先保存的控制者的人脸进行对比，确定当前与电子设备进行交互的控制者。[0082]进一步地，上述肢体控制装置还可以包括：计算模块56；[0083]计算模块56，用于在识别模块54确定当前与电子设备进行交互的控制者之后，计算上述视频流中当前帧的后一帧与当前帧中上述目标关节点的距离差矩阵；[0084]识别模块54，还用于对上述距离差矩阵进行求解，根据上述距离差矩阵的求解结果，确定后一帧与当前帧中的人体均为控制者的人体时，为后一帧保留当前帧的人脸识别的结果。[0085]进一步地，识别模块54，还用于在为后一帧保留所述当前帧的人脸识别的结果之后，每隔预定时长，重新执行对上述人脸区域进行人脸识别的步骤，刷新人脸识别的结果。[0086]本实施例的一种实现方式中，控制模块55可以包括：手势识别子模块551和操作控制子模块552；[0087]其中，手势识别子模块551，用于对上述视频流包括的图像中上述控制者的手部区域进行手势识别；[0088]操作控制子模块552，用于当上述手势识别的结果与预先设定的目标手势匹配时，控制电子设备执行上述目标手势对应的操作。[0089]本实施例的另一种实现方式中，控制模块55可以包括：位置获取子模块553、手部运动识别子模块554和操作控制子模块552；[0090]位置获取子模块553，用于从上述目标关节点的位置中获取上述控制者的手部区域的关节点位置；[0091]手部运动识别子模块554，用于根据上述视频流包括的图像中手部区域的关节点位置，确定上述控制者的手部的移动速度和移动方向；[0092]操作控制子模块552，用于控制上述电子设备执行与上述手部的移动速度和移动方向对应的操作。[0093]图6所示实施例提供的肢体控制装置可用于执行本说明书图1～图4所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。[0094]图7为本说明书一个实施例提供的电子设备的结构示意图，如图7所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图1～图4所示实施例提供的肢体控制方法。[0095]其中，上述电子设备可以为智能大屏设备、智能手机、平板电脑或车载设备等智能电子设备，本实施例对上述电子设备的形式不作限定。[0096]图7示出了适于用来实现本说明书实施方式的示例性电子设备的框图。图7显示的电子设备仅仅是一个示例，不应对本说明书实施例的功能和使用范围带来任何限制。[0097]如图7所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器410，通信接口420，存储器430，以及连接不同组件(包括存储器430、通信接口420和处理单元410)的通信总线440。[0098]通信总线440表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，或者使用多种总线结构中的任意总线结构的局域总线。举例来说，通信总线440可以包括但不限于工业标准体系结构(industrystandardarchitecture，isa)总线，微通道体系结构(microchannelarchitecture，mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation，vesa)局域总线以及外围组件互连(peripheralcomponentinterconnection，pci)总线。[0099]电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。[0100]存储器430可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory，ram)和/或高速缓存存储器。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书图1～图4所示实施例的功能。[0101]具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书图1～图4所描述的实施例中的功能和/或方法。[0102]处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书图1～图4所示实施例提供的肢体控制方法。[0103]本说明书实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图4所示实施例提供的肢体控制方法。[0104]上述非暂态计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)或闪存、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。[0105]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0106]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、射频(radiofrequency，rf)等等，或者上述的任意合适的组合。[0107]可以以一种或多种程序设计语言或其组合来编写用于执行本说明书操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localareanetwork，lan)或广域网(wideareanetwork，wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。[0108]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。[0109]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。[0110]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。[0111]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属
技术领域：
：的技术人员所理解。[0112]取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。[0113]需要说明的是，本说明书实施例中所涉及的终端可以包括但不限于个人计算机(personalcomputer，pc)、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)、手机、mp3播放器、mp4播放器等。[0114]在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。[0115]另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。[0116]上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。[0117]以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。当前第1页1 2 3 当前第1页1 2 3