一种基于人脸特征点检测的中医面诊脸部分区方法和系统与流程

本发明涉及中医面诊领域,并且更具体地，涉及基于人脸特征点检测的中医面诊脸部分区方法和系统。

背景技术：

中医是我们中华民族的瑰宝，是经过数千年很多代人不断完善的智慧结晶。随着时代的发展和社会的进步，以及中医治未病理念的深入人心，中医和现代科技相结合，产生了一系列的现代化成果。除了中药的现代化提取与制作，中医的诊断方法也在向着自动化、数字化的方向发展。正如《古今医统》所说：“望闻问切四字，诚为医之纲领。”即望闻问切组成了中医诊断的四诊。《灵枢·本脏篇》：“视其外应，以知其内脏，则知所病矣。”可知望诊具有非常重要的作用。望诊可以分为面诊和舌诊。面诊非常具有临床应用价值的诊断方法。

面诊，即医生运用望、闻、问、切四诊法来对面部整体以及面部五官进行观察，从而判断人体全身与局部的病变情况。所谓“相由心生”,内在五脏六腑的病理变化或是心理变化，终会表现在脸上的相关区域，所以脸部的望诊最能洞察病机、掌握病情。早在两千年前，中国中医经典著作《黄帝内经》就指出：“十二经脉，三百六十五路，起血气皆上于面而走空(孔)窍。”说明人体内脏功能和气血状况在面部有相应表现，人们可以通过对面部各种状况的观察，来了解人体的健康状态和病情变化。

近几年，随着图像处理技术的逐步发展，机器学习和深度学习等人工智能技术的不断成熟，这些技术开始应用到中医诊断之中，并产生了多种方法。但是，现有技术普遍存在自动化程度不同，面部分区大多借助于人工测量和后期处理，即使使用自动化技术，定位和分区的效果也欠佳，直接影响了后续诊断客观化的可行性与准确性。

技术实现要素：

为了解决现有技术中采用经纬线定位或者横纵坐标轴定位会造成偏差，且多借助人工标定，自动化程度不同的技术问题，本发明提供一种基于人脸特征点检测的中医面诊脸部分区方法，所述方法包括：

采集可见光图像作为中医面诊脸部分区的原始图像，其中，所述原始图像中包括至少一个人脸；

基于面部检测算法，对所述原始图像中的人脸进行识别定位，确定用于人脸特征点定位的初始图像的坐标；

根据初始图像的坐标和预先设置的扩展系数对所述初始图像进行外扩，生成进行人脸特征点定位的最终图像；

基于预先建立的人脸特征点定位模型，对所述最终图像上的人脸进行特征点定位，并输出人脸特征点的编号和坐标；

根据人脸特征点的编号和坐标，按照预先设置的特征点之间的连线规则，完成中医面诊脸部分区。

进一步地，所述基于面部检测算法，对所述原始图像中的人脸进行识别定位，确定用于人脸特征点定位的初始图像的坐标包括：

使用深度卷积神经网络模型，检测输入的原始图像中所有可能的人脸区域，分别用矩形框标出；

选择中间位置并且面积最大的人脸区域作为初始图像，确定所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)。

进一步地，所述根据初始图像的坐标和预先设置的扩展系数对所述初始图像进行外扩，生成进行人脸特征点定位的最终图像包括：

根据所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)计算所述初始图像的矩形框的宽w0和高h0，其计算公式为：

w0＝x1-x0+1

h0＝y1-y0+1；

根据所述初始图像的矩形框的宽w0和高h0，所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)，以及预先设置的扩展系数，生成进行人脸特征点定位的最终图像，所述最终图像的左上角坐标(x′0,y′0)和右下角坐标(x′1,y′1)的计算公式为：

x′0＝x0-aw0

y′0＝y0-bh0

x′1＝x1+aw0

y′1＝y1+bh0

式中，a为原始图像宽度扩展系数，b为原始图像高度扩展系数。

进一步地，所述基于预先建立的人脸特征点定位模型，对所述最终图像上的人脸进行特征点定位，并输出人脸特征点的编号和坐标包括：

对所述最终图像进行坐标变换，以最终图像的左上角为坐标原点，从坐标原点出发，水平向右为横坐标正方向，垂直向下为纵坐标正方向，则最终图像右下角的坐标为(w0+2aw0,h0+2bh0)；

采用人脸对齐算法，基于已经训练好的人脸特征点模型，将最终图像作为输入进行人脸对齐，确定最终图像上的人脸的特征点，所述特征点包括眉毛、眼睛、鼻子、嘴巴及人脸的轮廓点；

根据最终图像的坐标系以及确定的最终图像上的人脸的特征点，输出最终图像上全部人脸特征点的编号和坐标。

进一步地，所述根据人脸特征点的坐标集合，按照预先设置的特征点之间的连线规则，完成中医面诊脸部分区包括：

将人脸按照中医面诊的需要划分为若干个分区，所述分区包括额头、左眼、右眼、左眼眶、右眼眶、左颧骨、右颧骨、左脸、右脸、鼻子、嘴巴、上嘴唇、下嘴唇和下巴；

针对每一个分区，按照预先设置的形成该分区的特征点之间的连线规则，将相应的点连接形成一个闭合的区域，所述闭合区域即为一个中医面诊脸部分区，其中所述特征点之间的连线规则包括：

根据指定特征点的坐标进行计算确定新的点坐标，再根据新的点坐标生成一个矩形方框；

将若干个特征点顺序连接生成一个多边形；

在若干组特征点的连线之间选择相应的节点，然后将所述节点连接生成多边形。

根据本发明的另一方面，本发明提供一种基于人脸特征点检测的中医面诊脸部分区系统，所述系统包括：

图像采集单元，其用于采集可见光图像作为中医面诊脸部分区的原始图像，其中，所述原始图像中包括至少一个人脸；

人脸检测单元，其用于基于面部检测算法，对所述原始图像中的人脸进行识别定位，确定用于人脸特征点定位的初始图像的坐标；

图像外扩单元，其用于根据初始图像的坐标和预先设置的扩展系数对所述初始图像进行外扩，生成进行人脸特征点定位的最终图像；

特征点定位单元，其用于基于预先建立的人脸特征点定位模型，对所述最终图像上的人脸进行特征点定位，并输出人脸特征点的编号和坐标；

人脸分区单元，其用于根据人脸特征点的编号和坐标，按照预先设置的特征点之间的连线规则，完成中医面诊脸部分区。

进一步地，所述人脸检测单元包括：

人像筛选单元，其用于使用深度卷积神经网络模型，检测输入的原始图像中所有可能的人脸区域，分别用矩形框标出；

人像确定单元，其用于选择中间位置并且面积最大的人脸区域作为初始图像，确定所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)。

进一步地，所述图像外扩单元包括：

第一计算单元，其用于根据所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)计算所述初始图像的矩形框的宽w0和高h0，其计算公式为：

w0＝x1-x0+1

h0＝y1-y0+1；

第二计算单元，其用于根据所述初始图像的矩形框的宽w0和高h0，所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)，以及预先设置的扩展系数，生成进行人脸特征点定位的最终图像，所述最终图像的左上角坐标(x′0,y′0)和右下角坐标(x′1,y′1)的计算公式为：

x′0＝x0-aw0

y′0＝y0-bh0

x′1＝x1+aw0

y′1＝y1+bh0

式中，a为原始图像宽度扩展系数，b为原始图像高度扩展系数。

进一步地，所述特征点定位单元包括：

坐标变换单元，其用于对所述最终图像进行坐标变换，以最终图像的左上角为坐标原点，从坐标原点出发，水平向右为横坐标正方向，垂直向下为纵坐标正方向，则最终图像右下角的坐标为(w0+2aw0,h0+2bh0)；

人脸对齐单元，其用于采用人脸对齐算法，基于已经训练好的人脸特征点模型，将最终图像作为输入进行人脸对齐，确定最终图像上的人脸的特征点，所述特征点包括眉毛、眼睛、鼻子、嘴巴及人脸的轮廓点；

特征点输出单元，其用于根据最终图像的坐标系以及确定的最终图像上的人脸的特征点，输出最终图像上全部人脸特征点的编号和坐标。

进一步地，所述人脸分区单元包括：

分区确定单元，其用于将人脸按照中医面诊的需要划分为若干个分区，所述分区包括额头、左眼、右眼、左眼眶、右眼眶、左颧骨、右颧骨、左脸、右脸、鼻子、嘴巴、上嘴唇、下嘴唇和下巴；

分区生成单元，其用于针对每一个分区，按照预先设置的形成该分区的特征点之间的连线规则，将相应的点连接形成一个闭合的区域，所述闭合区域即为一个中医面诊脸部分区，其中，所述特征点之间的连线规则包括：

根据指定特征点的坐标进行计算确定新的点坐标，再根据新的点坐标生成一个矩形方框；

将若干个特征点顺序连接生成一个多边形；

在若干组特征点的连线之间选择相应的节点，然后将所述节点连接生成多边形。

本发明技术方案提供的基于人脸特征点检测的中医面诊脸部分区方法和系统采用深度卷积神经网络模型对可见光图像中的人脸区域进行检测，选择面积最大的人脸区域作为人脸特征点定位的初始图像，并按照预先设置的扩展系数对初始图像进行扩展生成最终图像，采用人脸对齐算法，基于已经训练好的人脸特征点模型，输出人脸特征点的编号和坐标，最后根据确定的人脸特征点，按照预先设置的特征点之间的连线规则进行面部分区。本专利所述的基于人脸特征点检测的中医面诊脸部分区方法和系统首先基于面部检测算法选择进行人脸特征点定位的初始图像，和直接采用人脸关键点定位方法对原始图像中的所有人脸进行特征点定位相比，极大地减少了人脸特征点定位的时间；其次本发明对于初步筛选的初始图像进行外扩，避免了由于人脸检测时对人脸的切割不全，导致无法检测到准确完整的人脸特征点，大大提高了人脸特征点检测的准确度和完整度；最后基于人脸特征点定位检测出的面部特征点，根据预先设置的特征点连线规则进行面部自动化分区，大大提高了中医面诊脸部分区的效率和精确度，有利于在现实中进行推广使用。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法的流程图；

图2为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法中采集的原始图像；

图3为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法中进行人脸特征点定位的最终图像；

图4为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法中在最终图像进行人脸特征点定位的示意图；

图5为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法中人脸特征点的编号示意图；

图6为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法的分区规则示意图；

图7为为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法的分区结果示意图；

图8为为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区系统的结构示意图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法的流程图。如图1所示，本优选实施方式所述的基于人脸特征点检测的中医面诊脸部分区方法100从步骤101开始。

在步骤101，采集可见光图像作为中医面诊脸部分区的原始图像，其中，所述原始图像中包括至少一个人脸。

在步骤102，基于面部检测算法，对所述原始图像中的人脸进行识别定位，确定用于人脸特征点定位的初始图像的坐标。

在步骤103，根据初始图像的坐标和预先设置的扩展系数对所述初始图像进行外扩，生成进行人脸特征点定位的最终图像。

在步骤104，基于预先建立的人脸特征点定位模型，对所述最终图像上的人脸进行特征点定位，并输出人脸特征点的编号和坐标。

在步骤105，根据人脸特征点的编号和坐标，按照预先设置的特征点之间的连线规则，完成中医面诊脸部分区。

优选地，所述基于面部检测算法，对所述原始图像中的人脸进行识别定位，确定用于人脸特征点定位的初始图像的坐标包括：

使用深度卷积神经网络模型，检测输入的原始图像中所有可能的人脸区域，分别用矩形框标出；

选择中间位置并且面积最大的人脸区域作为初始图像，确定所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)。

图2为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法中采集的原始图像。如图2所示，在图中一共检测到4个人脸，其中正中间的女士的人脸面积最大，因此，选择所述人脸图像作为进行人脸特征点定位的初始图像。但从初始图像可以看出，所述人脸的下巴部分并未全部检测出来。选择初始图像进行人脸特征点定位不仅能保证最终的面部分区效果，同时极大地减少了算法的耗时。对于图1中的原始图像，如果直接使用人脸对齐算法在整个图像上定位出所有人脸的面部特征点，将耗时12757秒(采用dlib自带的面部检测方法)，而对本实施方式中筛选出的初始图像只耗时50毫秒，再对所述初始图像进行特征点定时只砂时60毫秒，总耗时减少到110毫秒，节省了99.14％的时间。由此可看出，基于面部检测算法选择进行人脸特征点定位的初始图像，和直接采用人脸关键点定位方法对原始图像中的所有人脸进行特征点定位相比，极大地减少了人脸特征点定位的时间。本优选实施方式使用基于caffe的resnet和ssd相结合的深度卷积神经网络模型，对于输入图像，可以检测出所有可能的人脸区域。使用opencv中dnn模块，其中模型配置文件prototxt和模型参数文件caffemodel，使用readnetfromcaffe函数可以加载上述模型。调用net.forward函数，可以得到所有可能的人脸区域。

优选地，所述根据初始图像的坐标和预先设置的扩展系数对所述初始图像进行外扩，生成进行人脸特征点定位的最终图像包括：

根据所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)计算所述初始图像的矩形框的宽w0和高h0，其计算公式为：

w0＝x1-x0+1

h0＝y1-y0+1；

根据所述初始图像的矩形框的宽w0和高h0，所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)，以及预先设置的扩展系数，生成进行人脸特征点定位的最终图像，所述最终图像的左上角坐标(x′0,y′0)和右下角坐标(x′1,y′1)的计算公式为：

x′0＝x0-aw0

y′0＝y0-bh0

x′1＝x1+aw0

y′1＝y1+bh0

式中，a为原始图像宽度扩展系数，b为原始图像高度扩展系数。

图3为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法中进行人脸特征点定位的最终图像。如图3所示，初始图像经过扩展后，原来未在图像中显示的下巴部分已经能够完全显示，从而为进行人脸特征点定位提供了准确度更高的图像，有效避免了由于人脸检测时对人脸的切割不全，导致无法检测到准确完整的人脸特征点，大大提高了人脸特征点检测的准确度和完整度。

优选地，所述基于预先建立的人脸特征点定位模型，对所述最终图像上的人脸进行特征点定位，并输出人脸特征点的编号和坐标包括：

对所述最终图像进行坐标变换，以最终图像的左上角为坐标原点，从坐标原点出发，水平向右为横坐标正方向，垂直向下为纵坐标正方向，则最终图像右下角的坐标为(w0+2aw0,h0+2bh0)；

采用人脸对齐算法，基于已经训练好的人脸特征点模型，将最终图像作为输入进行人脸对齐，确定最终图像上的人脸的特征点，所述特征点包括眉毛、眼睛、鼻子、嘴巴及人脸的轮廓点；

根据最终图像的坐标系以及确定的最终图像上的人脸的特征点，输出最终图像上全部人脸特征点的编号和坐标。

图4为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法中在最终图像进行人脸特征点定位的示意图。如图4所示，本专利使用dlib,调用dlib中的函数shape_predictor来加载预先训练好的人脸关键点模型"shape_predictor_68_face_landmarks.dat"，将最终图像作为输入,调用dlib中的shape_predictor进行人脸对齐后，在最终图像上一共确定了人脸的68个特征点，所述特征点包括眉毛、眼睛、鼻子、嘴巴及人脸的轮廓点。

图5为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法中人脸特征点的编号示意图。如图5所示，编号1至17是人脸轮廓的特征点，编号18至22是左眉毛的特征点，编号23至27是右眉毛的特征点，编号28至36是鼻子的特征点，编号37至42是左眼的特征点，编号43至48是右眼的特征点，编号50至68是嘴巴的特征点。

优选地，所述根据人脸特征点的坐标集合，按照预先设置的特征点之间的连线规则，完成中医面诊脸部分区包括：

将人脸按照中医面诊的需要划分为若干个分区，所述分区包括额头、左眼、右眼、左眼眶、右眼眶、左颧骨、右颧骨、左脸、右脸、鼻子、嘴巴、上嘴唇、下嘴唇和下巴；

针对每一个分区，按照预先设置的形成该分区的特征点之间的连线规则，将相应的点连接形成一个闭合的区域，所述闭合区域即为一个中医面诊脸部分区，其中所述特征点之间的连线规则包括：

根据指定特征点的坐标进行计算确定新的点坐标，再根据新的点坐标生成一个矩形方框；

将若干个特征点顺序连接生成一个多边形；

在若干组特征点的连线之间选择相应的节点，然后将所述节点连接生成多边形。

图6为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法的分区规则示意图。如图6所示，中医面诊中脸部一共有14个分区，分别是额头、左眼、右眼、左眼眶、右眼眶、左颧骨、右颧骨、左脸、右脸、鼻子、嘴巴、上嘴唇、下嘴唇和下巴。针对不同的分区，特征点之间的连线规则并不相同。比如对于额头，是根据特征点17和1的横坐标计算脸部的宽度，根据特征点9和20的纵坐标计算脸部的高度，再根据特征点19的坐标和脸部高度确定一个左上角坐标，根据特征点26的坐标和脸部高度确定一个右下角坐标，最后基于所述左上角坐标和右下角坐标连接生成一个矩形框，所述矩形框即为额头分区,其中，脸部的宽度face_width＝pt17.x-pt1.x+1，脸部的高度face_height＝pt9.y-pt20.y+1，其他分区确定的方法与此类似，参考图6中的规则即可确定。

图7为为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区方法的分区结果示意图。如图7所示，按照图6所述分区的规则确定的14个分区中，额头是一个矩形区域，剩余的13个分区均为多边形。

综上可以看出，基于人脸特征点定位检测出的面部特征点，根据预先设置的特征点连线规则进行面部自动化分区，大大提高了中医面诊脸部分区的效率和精确度，有利于在现实中进行推广使用。

图8为为根据本发明优选实施方式的基于人脸特征点检测的中医面诊脸部分区系统的结构示意图。如图8所示，本优选实施方式所述的基于人脸特征点检测的中医面诊脸部分区系统800包括：

图像采集单元801，其用于采集可见光图像作为中医面诊脸部分区的原始图像，其中，所述原始图像中包括至少一个人脸；

人脸检测单元802，其用于基于面部检测算法，对所述原始图像中的人脸进行识别定位，确定用于人脸特征点定位的初始图像的坐标；

图像外扩单元803，其用于根据初始图像的坐标和预先设置的扩展系数对所述初始图像进行外扩，生成进行人脸特征点定位的最终图像；

特征点定位单元804，其用于基于预先建立的人脸特征点定位模型，对所述最终图像上的人脸进行特征点定位，并输出人脸特征点的编号和坐标；

人脸分区单元805，其用于根据人脸特征点的编号和坐标，按照预先设置的特征点之间的连线规则，完成中医面诊脸部分区。

优选地，所述人脸检测单元802包括：

人像筛选单元821，其用于使用深度卷积神经网络模型，检测输入的原始图像中所有可能的人脸区域，分别用矩形框标出；

人像确定单元822，其用于选择中间位置并且面积最大的人脸区域作为初始图像，确定所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)。

优选地，所述图像外扩单元803包括：

第一计算单元831，其用于根据所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)计算所述初始图像的矩形框的宽w0和高h0，其计算公式为：

w0＝x1-x0+1

h0＝y1-y0+1；

第二计算单元832，其用于根据所述初始图像的矩形框的宽w0和高h0，所述初始图像的左上角坐标(x0,y0)和右下角坐标(x1,y1)，以及预先设置的扩展系数，生成进行人脸特征点定位的最终图像，所述最终图像的左上角坐标(x′0,y′0)和右下角坐标(x′1，y′1)的计算公式为：

x′0＝x0-aw0

y′0＝y0-bh0

x′1＝x1+aw0

y′1＝y1+bh0

式中，a为原始图像宽度扩展系数，b为原始图像高度扩展系数。

优选地，所述特征点定位单元804包括：

坐标变换单元841，其用于对所述最终图像进行坐标变换，以最终图像的左上角为坐标原点，从坐标原点出发，水平向右为横坐标正方向，垂直向下为纵坐标正方向，则最终图像右下角的坐标为(w0+2aw0,h0+2bh0)；

人脸对齐单元842，其用于采用人脸对齐算法，基于已经训练好的人脸特征点模型，将最终图像作为输入进行人脸对齐，确定最终图像上的人脸的特征点，所述特征点包括眉毛、眼睛、鼻子、嘴巴及人脸的轮廓点；

特征点输出单元843，其用于根据最终图像的坐标系以及确定的最终图像上的人脸的特征点，输出最终图像上全部人脸特征点的编号和坐标。

优选地，所述人脸分区单元805包括：

分区确定单元851，其用于将人脸按照中医面诊的需要划分为若干个分区，所述分区包括额头、左眼、右眼、左眼眶、右眼眶、左颧骨、右颧骨、左脸、右脸、鼻子、嘴巴、上嘴唇、下嘴唇和下巴；

分区生成单元852，其用于针对每一个分区，按照预先设置的形成该分区的特征点之间的连线规则，将相应的点连接形成一个闭合的区域，所述闭合区域即为一个中医面诊脸部分区，其中，所述特征点之间的连线规则包括：

根据指定特征点的坐标进行计算确定新的点坐标，再根据新的点坐标生成一个矩形方框；

将若干个特征点顺序连接生成一个多边形；

在若干组特征点的连线之间选择相应的节点，然后将所述节点连接生成多边形。

本发明所述基于人脸特征点检测的中医面诊脸部分区系统对人脸进行面部分区的方法与本发明所述基于人脸特征点检测的中医面诊脸部分区方法采取的步骤相同，并且达到的技术效果也相同，此处不再赘述。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。