眼部状态检测方法、装置、电子设备和存储介质与流程

1.本发明涉及深度学习技术领域，尤其涉及一种眼部状态检测方法、一种眼部状态检测装置、一种电子设备和一种计算机可读存储介质。


背景技术：

2.眼部状态检测具有广泛的应用，例如，驾驶疲劳自动报警系统通过对司机眼部状态进行检测，并计算司机闭眼持续时长或眨眼频率，来判断司机是否疲劳驾驶；眼部状态的检测也可以为面部表情分析和人机交互等提供丰富的信息。因此，眼部状态检测具有非常重要的意义。
3.相关技术中，存在很多眼部状态检测的方案，但是相关技术中眼部状态检测的误报率高。


技术实现要素：

4.本发明旨在从一定程度上解决相关技术中的技术问题。
5.为此，本发明的第一个目的在于提出一种眼部状态检测方法，该方法通过融合各眼参考状态和各眼开合度，得到眼部最终识别结果，这样能够提高眼部检测的准确度。
6.本发明的第二个目的在于提出一种眼部状态检测装置。
7.本发明的第三个目的在于提出一种电子设备。
8.本发明的第四个目的在于提出一种计算机可读存储介质。
9.本发明的第五个目的在于提出一种计算机程序产品。
10.为达到上述目的，本发明第一方面实施例提出了一种眼部状态检测方法，包括以下步骤：确定待处理图像，以及所述待处理图像中的眼部区域图像；对所述眼部区域图像进行识别，获取所述眼部区域图像的识别结果，其中，所述识别结果包括：各眼参考状态和所述眼部区域图像中各眼的至少一个眼部关键点，其中，所述各眼参考状态为睁眼状态或闭眼状态；根据所述各眼的至少一个眼部关键点，确定对应的各眼开合度；根据所述各眼参考状态和所述各眼开合度，确定所述待处理图像中眼部的检测结果。
11.根据本发明实施例的眼部状态检测方法，确定待处理图像，以及待处理图像中的眼部区域图像；对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态；根据各眼的至少一个眼部关键点，确定对应的各眼开合度；根据各眼参考状态和各眼开合度，确定待处理图像中眼部的检测结果。由此，该方法通过融合各眼参考状态和各眼开合度，得到眼部最终的检测结果，这样能够提高眼部检测的准确度。
12.另外，本发明第一方面实施例提出的眼部状态检测方法还可以具有如下附加的技术特征：
13.根据本发明的一个实施例，所述确定待处理图像，以及所述待处理图像中的眼部区域图像，包括：确定待处理图像；对所述待处理图像进行人脸检测，以获取所述待处理图
像中的人脸区域图像；对所述人脸区域图像进行人脸关键点检测，以获取所述人脸区域图像中的至少一个人脸关键点；根据所述至少一个人脸关键点中各眼关键点以及所述待处理图像，确定所述待处理图像中的眼部区域图像。
14.根据本发明的一个实施例，所述根据所述至少一个人脸关键点中各眼关键点以及所述待处理图像，确定所述待处理图像中的眼部区域图像，包括：根据所述至少一个人脸关键点中各眼关键点，确定所述待处理图像中眼部区域的位置信息；按照所述位置信息对所述待处理图像进行裁剪处理，得到所述眼部区域图像。
15.根据本发明的一个实施例，所述根据所述各眼参考状态和所述各眼开合度，确定所述待处理图像的眼部的检测结果，包括：在至少一只眼睛开合度大于或等于设定阈值，或者，至少一只眼睛参考状态为睁眼状态时，确定所述检测结果为所述待处理图像中人脸存在睁眼行为；在所述各眼开合度均小于所述设定阈值，且所述各眼参考状态均为闭眼状态时，确定所述眼部的检测结果为所述待处理图像中人脸存在闭眼行为。
16.为达到上述目的，本发明第二方面实施例提出了一种眼部状态检测装置，该装置包括：第一确定模块，用于确定待处理图像，以及所述待处理图像中的眼部区域图像；获取模块，用于对所述眼部区域图像进行识别，获取所述眼部区域图像的识别结果，其中，所述识别结果包括：各眼参考状态和所述眼部区域图像中各眼的至少一个眼部关键点，其中，所述各眼参考状态为睁眼状态或闭眼状态；第二确定模块，用于根据所述各眼的至少一个眼部关键点，确定对应的各眼开合度；第三确定模块，用于根据所述各眼参考状态和所述各眼开合度，确定所述待处理图像中眼部的检测结果。
17.根据本发明实施例的眼部状态检测装置，通过第一确定模块确定待处理图像，以及待处理图像中的眼部区域图像，通过获取模块对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态，通过第二确定模块根据各眼的至少一个眼部关键点，确定对应的各眼开合度，通过第三确定模块根据各眼参考状态和各眼开合度，确定待处理图像中眼部的检测结果。由此，该装置通过融合各眼参考状态和各眼开合度，得到眼部最终的识别结果，这样能够提高眼部检测的准确度。
18.另外，本发明第二方面实施例提出的眼部状态检测装置还可以具有如下附加的技术特征：
19.根据本发明的一个实施例，所述第一确定模块包括：第一确定单元，用于确定待处理图像；第一获取单元，用于对所述待处理图像进行人脸检测，以获取所述待处理图像中的人脸区域图像；第二获取单元，用于对所述人脸区域图像进行人脸关键点检测，以获取所述人脸区域图像中的至少一个人脸关键点；第二确定单元，用于根据所述至少一个人脸关键点中各眼关键点以及所述待处理图像，确定所述待处理图像中的眼部区域图像。
20.根据本发明的一个实施例，所述第二确定单元具体用于，根据所述至少一个人脸关键点中各眼关键点，确定所述待处理图像中眼部区域的位置信息；按照所述位置信息对所述待处理图像进行裁剪处理，得到所述眼部区域图像。
21.根据本发明的一个实施例，所述第三确定模块包括：第三确定单元，用于在至少一只眼睛开合度大于或等于设定阈值，或者，至少一只眼睛参考状态为睁眼状态时，确定所述检测结果为所述待处理图像中人脸存在睁眼行为；第四确定单元，用于在所述各眼开合度
均小于所述设定阈值，且所述各眼参考状态均为闭眼状态时，确定所述眼部的检测结果为所述待处理图像中人脸存在闭眼行为。
22.为达到上述目的，本发明第三方面实施例提出了一种电子设备，该电子设备包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现第一方面实施例的眼部状态检测方法。
23.本发明实施例的电子设备，通过执行上述的眼部状态检测方法，能够提高眼部检测的准确度。
24.为达到上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现第一方面实施例的眼部状态检测方法。
25.本发明实施例的计算机可读存储介质，通过执行上述的眼部状态检测方法，能够提高眼部检测的准确度。
26.为达到上述目的，本发明第五方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行上述的第一方面实施例的眼部状态检测方法。
27.本发明实施例的计算机程序产品，通过执行上述的眼部状态检测方法，能够提高眼部检测的准确度。
28.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
29.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
30.图1是根据本发明实施例的眼部状态检测方法的流程图；
31.图2是根据本发明一个实施例的眼部状态检测方法的流程图；
32.图3是根据本发明另一个实施例的眼部状态检测方法的流程图；
33.图4是根据本发明实施例的眼部状态检测装置的示意图；
34.图5是根据本发明实施例的一种电子设备的结构框图。
具体实施方式
35.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
36.下面参考附图描述本发明实施例的眼部状态检测方法、眼部状态检测装置、电子设备和计算机可读存储介质。
37.相关技术中，主流的眼部状态检测方案有以下两种，分别如下：
38.方案一：在得到人脸图像之后，先对人脸图像进行检测，得到人脸关键点，之后通过人脸关键点的定位信号来检测眼部状态，例如，判断人眼部的关键点的高度信息是否小于设定的闭眼状态的阈值，若小于该阈值，则判断为闭眼行为。但是，如果按照该方案执行，由于该方案进行的是全脸定位，则会导致定位结果精度较低，且抖动大，随着脸部姿态变
动，对眼部状态的判断影响也比较大。
39.方案二：直接通过眼部分类算法进行处理，但是由于分类结果不一定可靠，且无法得出眼部开合度，因此，仅通过眼部分类算法来判断眼部状态的风险也比较大。
40.为此，本发明提出了一种能够提高眼部状态检测准确度的眼部状态检测方法。
41.图1是根据本发明实施例的眼部状态检测方法的流程图。
42.需要说明的是，本发明实施例的执行主体为眼部状态检测装置，该装置可被配置于电子设备中，以使该电子设备可以执行眼部状态检测的功能。
43.其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(personal computer，简称pc)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
44.如图1所示，本发明实施例的眼部状态检测方法，包括以下步骤：
45.s101，确定待处理图像，以及待处理图像中的眼部区域图像。
46.例如，待处理的图像可以通过摄像头获取。眼部区域图像(包括左眼区域图像和/或右眼区域图像)可以通过待处理图像中的人脸区域图像进行人脸关键点检测(如人脸68点关键点)，根据人脸关键点中的眼部关键点确定眼部区域的位置信息，按照位置信息对待处理图像进行裁剪，得到眼部区域图像，从而缩小范围，便于对眼部关键点的重新定位。
47.s102，对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态。
48.例如，利用多任务卷积神经网络模型对左眼区域图像和右眼区域图像分别进行识别，对应获取模型输出的多个识别结果，如左眼参考状态、右眼参考状态、眼部区域图像中的左眼的至少一个眼部关键点的坐标信息和眼部区域图像中的右眼的至少一个眼部关键点的坐标信息。其中，至少一个眼部关键点可以包括上眼睑关键点和下眼睑关键点。
49.可以理解的是，多任务卷积神经网络模型包括选取网络(proposal network，p-net)、优化网络(refine network，r-net)、输出网络(output network，o-net)，在使用这些网络模型之前，先分别对左眼区域图像和右眼区域图像进行预处理，将左眼区域图像中的图片和右眼区域图像中的图片缩放到不同尺寸，形成一个“图像金字塔”，并对每个尺寸的图片进行计算，以便在不同的尺寸下分别检测左眼区域图像和右眼区域图像。然后，将不同尺寸的左眼区域图像和右眼区域图像输入选取网络，获取选取网络输出的候选左眼区域图像和候选右眼区域图像，再将候选左眼区域图像和右眼区域图像输入下一个优化网络，获取优化网络输出的候选左眼区域图像和候选右眼区域图像，最后将精确的候选左眼区域图像和候选右眼区域图像输入输出网络，通过输出网络对候选左眼区域图像和候选右眼区域图像的眼部状态进行分类和关键点定位，并输出对应候选左眼区域图像中的左眼参考状态和左眼至少一个眼部关键点，以及对应候选右眼区域图像中的右眼参考状态和右眼至少一个眼部关键点。
50.s103，根据各眼的至少一个眼部关键点，确定对应的各眼开合度。
51.在该步骤中，左眼开合度根据左眼的上眼睑关键点的坐标信息和左眼的下眼睑关键点的坐标信息，计算出左眼睁开的高度；右眼开合度根据右眼的上眼睑关键点的坐标信息和右眼的下眼睑关键点的坐标信息，计算出右眼睁开的高度。
52.s104，根据各眼参考状态和各眼开合度，确定待处理图像中眼部的检测结果。
53.在该步骤中，眼部的检测结果可包括左眼的识别结果和右眼的识别结果。
54.其中，待处理图像中左眼的识别结果根据左眼参考状态和左眼开合度确定。如果左眼开合度大于或等于设定阈值，或者，左眼参考状态为睁眼状态，则确定左眼的识别结果为待处理图像中人脸的左眼存在睁眼行为；如果左眼开合度小于设定阈值，且左眼参考状态为闭眼状态，则确定左眼识别结果为待处理图像中人脸的左眼存在闭眼行为。
55.待处理图像中右眼的识别结果根据右眼参考状态和右眼开合度确定。如果右眼开合度大于或等于设定阈值，或者，右眼参考状态为睁眼状态，则确定右眼的识别结果为待处理图像中人脸的右眼存在睁眼行为；如果右眼开合度小于设定阈值，且右眼参考状态为闭眼状态，则确定右眼的识别结果为待处理图像中人脸的右眼存在闭眼行为。
56.待处理图像中眼部的检测结果是根据左眼和右眼存在的行为判断。如果左眼存在睁眼行为，和/或，右眼存在睁眼行为，则确定待处理图像中人脸的眼睛存在睁眼行为；如果左眼存在闭眼行为，且，右眼存在闭眼行为，则确定待处理图像中人脸的眼睛存在闭眼行为。
57.由此，本发明实施例的眼部状态检测方法，根据本发明实施例的眼部状态检测方法，确定待处理图像，以及待处理图像中的眼部区域图像；对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态；根据各眼的至少一个眼部关键点，确定对应的各眼开合度；根据各眼参考状态和各眼开合度，确定待处理图像中眼部的检测结果。由此，该方法通过融合各眼参考状态和各眼开合度，得到眼部最终的检测结果，这样能够提高眼部检测的准确度。
58.图2是根据本发明一个实施例的眼部状态检测方法的流程图。
59.如图2所示，本发明实施例的眼部状态检测方法，包括以下步骤：
60.s201，确定待处理图像。
61.其中，待处理图像可以从摄像头中获取。其中，待处理图像可以为包括人脸的图像和不包括人脸图像。
62.s202，对待处理图像进行人脸检测，以获取待处理图像中的人脸区域图像。
63.在该步骤中，将待处理图像输入人脸检测模型，标定出人脸的位置和大小，获取人脸检测模型输出的人脸区域图像。
64.其中，需要说明的是，若对待处理图像进行人脸检测，未获取到人脸区域图像，则停止对该待处理图像的后续处理。
65.s203，对人脸区域图像进行人脸关键点检测，以获取人脸区域图像中的至少一个人脸关键点。
66.在该步骤中，根据人脸区域图像检测人脸关键点，例如眼部、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，获取人脸的特征点集合。
67.s204，根据至少一个人脸关键点中各眼关键点以及待处理图像，确定待处理图像中的眼部区域图像。
68.在该步骤中，根据至少一个人脸关键点中的左眼关键点和右眼关键点，确定待处理图像中左眼区域的位置信息和右眼区域的位置信息，并按照对应的位置信息对待处理图
像进行裁剪处理，以分别得到左眼区域图像和右眼区域图像。
69.s205，对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态。
70.s206，根据各眼参考状态和各眼开合度，确定待处理图像中眼部的检测结果。
71.需要说明的是，上述执行步骤s205和步骤s206的过程参见上述步骤s102和步骤s103，具体这里不再赘述。
72.由此，本发明实施例的眼部状态检测方法，先进行多项任务(包括各眼参考状态和各眼开合度)的输出，之后再根据各眼参考状态和各眼开合度，确定眼部的检测结果，这样降低了脸部姿态的改变对眼部状态判别的影响程度，降低了误报率，提高了眼部的检测结果的准确度，同时，算法训练过程中，分类的自适应损失函数和关键点定位的损失函数互相约束，进一步提高了模型精度，并且，通过多重眼部关键点定位，使得对眼部关键点的定位更精准，整体算法鲁棒性更强。
73.图3是根据本发明另一个眼部状态检测方法的流程图。
74.如图3所示，本发明实施例的眼部状态检测方法，包括：
75.s301，确定待处理图像，以及待处理图像中的眼部区域图像。
76.其中，待处理图像可以为包括人脸的图像和不包括人脸的图像。其中，不包括人脸的图像，例如风景图像、路况图像等。
77.s302，对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态。
78.在该步骤中，可以将各眼部区域图像(包括左眼区域图像和右眼区域图像)输入卷积神经网络，获取卷积神经网络输出的识别结果，识别结果包括左眼参考状态、右眼参考状态、左眼区域图像中左眼的至少一个眼部关键点、右眼区域图像中右眼的至少一个眼部关键点，其中，左眼参考状态和右眼参考状态可为睁眼状态或闭眼状态，左眼的眼部关键点共计六点，右眼的眼部关键点也共计六点，之后根据对左眼的眼部关键点的几何分析，得出左眼开合度，根据对右眼的眼部关键点的几何分析，得出右眼开合度。
79.s303，根据各眼的至少一个眼部关键点，确定对应的各眼开合度。
80.例如，可根据左眼的上眼睑最高位置的坐标信息和下眼睑最低位置的坐标信息，计算左眼开合度；根据右眼的上眼睑最高位置的坐标信息和下眼睑最低位置的坐标信息，计算右眼开合度。
81.s304，在至少一只眼睛开合度大于或等于设定阈值，或者，至少一只眼睛参考状态为睁眼状态时，确定检测结果为待处理图像中人脸存在睁眼行为。
82.s305，在各眼开合度均小于设定阈值，且各眼参考状态均为闭眼状态时，确定眼部的检测结果为待处理图像中人脸存在闭眼行为。
83.也就是说，待处理图像中眼睛的识别结果具体是根据左眼参考状态、左眼开合度、右眼参考状态和右眼开合度确定。如果左眼和/或右眼的开合度均大于或等于设定阈值，则确定待处理图像中人脸中的眼睛存在睁眼行为；如果左眼和/或右眼的状态均为睁眼状态，则确定待处理图像中人脸中的眼睛存在睁眼行为；如果左眼开合度小于设定阈值，且左眼
参考状态为闭眼状态，且右眼开合度小于设定阈值，且右眼参考状态为闭眼状态，则确定待处理图像中人脸中的眼睛存在闭眼行为。
84.综上所述，根据本发明实施例的眼部状态检测方法，确定待处理图像，以及待处理图像中的眼部区域图像；对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态；根据各眼的至少一个眼部关键点，确定对应的各眼开合度；根据各眼参考状态和各眼开合度，确定待处理图像中眼部的检测结果。由此，该方法通过融合各眼参考状态和各眼开合度，得到眼部最终的检测结果，这样能够提高眼部检测的准确度。
85.图4是根据本发明实施例提出的眼部状态检测装置的示意图。
86.如图4所示，本发明实施例的眼部状态检测装置400，包括：第一确定模块401、获取模块402、第二确定模块403和第三确定模块404。
87.第一确定模块401用于确定待处理图像，以及待处理图像中的眼部区域图像。获取模块402用于对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态。第二确定模块403用于根据各眼的至少一个眼部关键点，确定对应的各眼开合度。第三确定模块404用于根据各眼参考状态和各眼开合度，确定待处理图像中眼部的检测结果。
88.根据本发明的一个实施例，第一确定模块401包括：第一确定单元，用于确定待处理图像；第一获取单元，用于对待处理图像进行人脸检测，以获取待处理图像中的人脸区域图像；第二获取单元，用于对人脸区域图像进行人脸关键点检测，以获取人脸区域图像中的至少一个人脸关键点；第二确定单元，用于根据至少一个人脸关键点中各眼关键点以及待处理图像，确定待处理图像中的眼部区域图像。
89.根据本发明的一个实施例，第二确定单元具体用于，根据至少一个人脸关键点中各眼关键点，确定待处理图像中眼部区域的位置信息；按照位置信息对待处理图像进行裁剪处理，得到眼部区域图像。
90.根据本发明的一个实施例，第三确定模块404包括：第三确定单元，用于在至少一只眼睛开合度大于或等于设定阈值，或者，至少一只眼睛参考状态为睁眼状态时，确定检测结果为待处理图像中人脸存在睁眼行为；第四确定单元，用于在各眼开合度均小于设定阈值，且各眼参考状态均为闭眼状态时，确定眼部的检测结果为待处理图像中人脸存在闭眼行为。
91.需要说明的是，本发明实施例的眼部状态检测装置中未披露的细节，请参考本发明的眼部状态检测方法中所披露的细节，具体这里不再赘述。
92.根据本发明实施例的眼部状态检测装置，通过第一确定模块确定待处理图像，以及待处理图像中的眼部区域图像，通过获取模块对眼部区域图像进行识别，获取眼部区域图像的识别结果，其中，识别结果包括：各眼参考状态和眼部区域图像中各眼的至少一个眼部关键点，其中，各眼参考状态为睁眼状态或闭眼状态，通过第二确定模块根据各眼的至少一个眼部关键点，确定对应的各眼开合度，通过第三确定模块根据各眼参考状态和各眼开合度，确定待处理图像中眼部的检测结果。由此，该装置通过融合各眼参考状态和各眼开合
度，得到眼部最终的识别结果，这样能够提高眼部检测的准确度。
93.基于上述实施例，本发明还提出了一种电子设备。
94.本发明实施例的电子设备包括：处理器和存储器；其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现上述的眼部状态检测方法。
95.本发明实施例的计算机可读存储介质，通过执行上述的眼部状态检测方法，能够提高眼部检测的准确度。
96.基于上述实施例，本发明还提出一种计算机可读存储介质。
97.本发明实施例的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的眼部状态检测方法。
98.本发明实施例的计算机可读存储介质，通过执行上述的眼部状态检测方法，能够提高眼部检测的准确度。
99.基于上述实施例，本发明还提出了一种计算机程序产品。
100.本发明实施例的计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行上述的眼部状态检测方法。
101.本发明实施例的计算机程序产品，通过执行上述的眼部状态检测方法，能够提高眼部检测的准确度。
102.图5为本发明实施例提供的一种电子设备的结构框图。图5示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
103.如图5所示，电子设备10包括处理器11，其可以根据存储在只读存储器(rom，read only memory)12中的程序或者从存储器16加载到随机访问存储器(ram，random access memory)13中的程序而执行各种适当的动作和处理。在ram 13中，还存储有电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o，input/output)接口15也连接至总线14。
104.以下部件连接至i/o接口15：包括硬盘等的存储器16；以及包括诸如lan(局域网，local area network)卡、调制解调器等的网络接口卡的通信部分17，通信部分17经由诸如因特网的网络执行通信处理；驱动器18也根据需要连接至i/o接口15。
105.特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分17从网络上被下载和安装。在该计算机程序被处理器11执行时，执行本发明的方法中限定的上述功能。
106.在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器16，上述指令可由电子设备10的处理器11执行以完成上述方法。可选地，存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
107.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
108.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
109.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
110.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
111.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
112.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
113.此外，在本发明各个实施例中的各功能单元可以集成在一个模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
114.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。