瞳孔定位的方法及装置与流程

本发明涉及医疗技术领域，具体而言，涉及一种瞳孔定位的方法及装置。

背景技术：

如今，随着健康越来越受到重视，人们对医疗卫生条件的要求越来越高，医院和医生对医疗器械的需求和依赖也越来越大。在眼科疾病诊断及治疗设备中，oct、裂隙灯、角膜内皮计、共焦激光眼底造影仪、眼底照相机、眼压计、眼底血样浓度检测等，都是眼科疾病诊断常用检测设备，这些检测设备均需医生手动地调节设备或病人的姿态或位置来寻找病人的瞳孔，进而进行具体的诊断工作。这样的做法费时费力，而且检测精度不能得到保证，进而影响诊断的精度和治疗的效果。因此，提供一种能够快速准确的瞳孔定位的方法是非常必要的。

技术实现要素：

本发明的目的在于提供了一种瞳孔定位的方法，能够实现瞳孔的精准定位，提高了诊断的效率和精度。

本发明的另一目的在于提供了一种瞳孔定位的装置，能够实现瞳孔的精准定位，提高了诊断的效率和精度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种瞳孔定位的方法，用于识别视频图像中的瞳孔，所述方法包括：

将多个预设的眼睛模板按照预定的滑动长度依次滑动匹配当前帧的视频图像，得到与所述预设的眼睛模板匹配度最高的区域视频图像；

根据预设的第一算法对所述区域视频图像进行二值化，得到二值化区域视频图像；

提取所述二值化区域视频图像的轮廓，将所述轮廓划分为多个片段，在每个所述片段中选取多个参考点，按照预设的第二算法对选取的所述多个参考点进行椭圆拟合得到多个椭圆；

根据预设的第三算法计算所述椭圆与所述轮廓的匹配度，将与所述轮廓的匹配度最高的椭圆的中心坐标定位为所述瞳孔的位置坐标。

第二方面，本发明实施例还提供了一种瞳孔定位的装置，用于识别视频图像中的瞳孔，所述瞳孔定位的装置包括：

匹配模块，用于将多个预设的眼睛模板按照预定的滑动长度依次滑动匹配当前帧的视频图像，得到与所述预设的眼睛模板匹配度最高的区域视频图像；

第一二值化模块，用于根据预设的第一算法对所述区域视频图像进行二值化，得到二值化区域视频图像；

拟合模块，用于提取所述二值化区域视频图像的轮廓，将所述轮廓划分为多个片段，在每个所述片段中选取多个参考点，按照预设的第二算法对选取的所述多个参考点进行椭圆拟合得到多个椭圆；

计算模块，用于根据预设的第三算法计算所述椭圆与所述轮廓的匹配度，将与所述轮廓的匹配度最高的椭圆的中心坐标定位为所述瞳孔的位置坐标。

本发明实施例提供了一种瞳孔定位的方法及装置，该瞳孔定位的方法包括将多个预设的眼睛模板按照预定的滑动长度依次滑动匹配当前帧的视频图像，得到与所述预设的眼睛模板匹配度最高的区域视频图像；根据预设的第一算法对所述区域视频图像进行二值化，得到二值化区域视频图像；提取所述二值化区域视频图像的轮廓，将所述轮廓划分为多个片段，在每个所述片段中选取多个参考点，按照预设的第二算法对选取的所述多个参考点进行椭圆拟合，并重复对所述轮廓划分为多个片段，此片段划分的数量与前一次划分的片段数量不一致，并随机选取该片段中多个参考点，按照第二算法对选取的参考点再进行椭圆拟合；根据预设的第三算法分别计算多个椭圆与所述轮廓的匹配度，与所述轮廓匹配度最高的椭圆的中心坐标为所述瞳孔的位置坐标。进而快速准确地找到了瞳孔的位置，提高了诊断的效率和精度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种瞳孔定位的方法的流程图。

图2示出了本发明实施例提供的预设的眼睛模板的结构示意图。

图3示出了本发明实施例提供的另一种预设的眼睛模板的结构示意图。

图4示出了本发明实施例提供的另一种预设的眼睛模板的结构示意图。

图5示出了本发明实施例提供的获得区域视频图像的示意图。

图6示出了本发明实施例提供的区域视频图像的示意图。

图7示出了本发明实施例提供的瞳孔定位的方法的子步骤的流程图。

图8示出了本发明实施例提供的灰度统计直方图。

图9示出了本发明实施例提供的滤波后的灰度统计直方图。

图10示出了本发明实施例提供的二值化区域视频图像。

图11示出了本发明实施例提供的二值化区域视频图像的轮廓的示意图。

图12示出了本发明实施例提供的对二值化区域视频图像的轮廓分段的示意图。

图13示出了本发明实施例提供的拟合后的椭圆的示意图。

图14示出了本发明实施例提供的椭圆和轮廓的示意图。

图15示出了本发明实施例提供的搜索区域视频图像的示意图。

图16示出了本发明实施例提供的瞳孔定位的方法的另一子步骤的流程图。

图17示出了本发明实施例提供的瞳孔定位的方法的另一子步骤的流程图。

图18示出了本发明实施例提供的第一投影分布图的示意图。

图19示出了本发明实施例提供的第二投影分布图的示意图。

图20示出了本发明实施例提供的瞳孔定位的装置100的结构示意图。

图示：100-瞳孔定位的装置；110-采集模块；120-滤波模块；130-匹配模块；140-第一二值化模块；150-拟合模块；160-计算模块；170-建立模块；180-第二二值化模块；190-预测模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，是本发明实施例提供的一种瞳孔定位的方法的流程图。该瞳孔定位的方法包括：

步骤s110，将多个预设的眼睛模板按照预定的滑动长度依次滑动匹配当前帧的视频图像，得到与所述预设的眼睛模板匹配度最高的区域视频图像。

如图2所示，是本发明实施例提供的预设的眼睛模板的结构示意图。所述预设的眼睛模板为包含眼眶和瞳孔的灰度图像，由于不同人的瞳孔大小不一致，因此对应的预设的眼睛模板可以为不同的尺寸大小，即眼眶和瞳孔相对于原来的图像进行缩放变化。在本实施例中，预设的眼睛模板中包含的眼眶和瞳孔是从正面视角作出的，但是在使用医疗设备采集患者眼部图像时，由于患者坐姿或医疗设备的摆放位置，可能导致患者的眼睛不是恰好正对医疗设备，即医疗设备不能恰好采集到患者眼部的正面视角的图像，因此如图3所示，是本发明实施例提供的另一种预设的眼睛模板的结构示意图。预设的眼睛模板还包括从侧面角度或相对正面有偏移的角度的眼眶和瞳孔的图像，进而进一步提高了检测的准确性，提高了医生的诊断精度。在本实施例中，预设的眼睛模板中只包括眼眶和瞳孔的灰度图像，但不限于此，预设的眼睛模板还可以根据实际需要添加其他参考参数，如图4所示，是本发明实施例提供的另一种预设的眼睛模板的结构示意图。该预设的眼睛模板不仅包括眼眶和瞳孔的灰度图像，还包括虹膜的灰度图像，即灰色区域部分表征眼部虹膜的灰度图像，进而进一步提高了检测精度，更有利于其他病变的诊断。

所述当前帧的视频图像为动态视频图像中其中一帧的静态视频图像，预定的滑动长度指预设的眼睛模板按照一定的移动距离，如5毫米，在当前帧的视频图像中顺序移动并在移动过程中匹配当前帧的视频图像，与预设的眼睛模板匹配度最高的当前帧的视频图像即为区域视频图像，预定的滑动长度可以根据实际需要设置为其他数值。获得区域视频图像具体为，如图5所示，是本发明实施例提供的获得区域视频图像的示意图。将其中一种预设的眼睛模板按照预定的滑动长度依次滑动匹配当前帧的视频图像，即将该预设的眼睛模板上的每一像素的灰阶值与相对于该预设的眼睛模板大小的当前帧的视频图像的区域上的每一像素的灰阶值进行比较，并计算相对应的两像素之间的灰阶值的差值，得到当前帧的视频图像区域的灰阶差值总和。进而，该预设的眼睛模板依次滑动匹配当前帧的视频图像，得到该当前帧的视频图像中每一相对于预设的眼睛模板大小的区域的灰阶差值总和。之后，选取另一种预设的眼睛模板重复上面的步骤，即使用另一种预设的眼睛模板依次滑动匹配当前帧的视频图像，得到当前帧的视频图像相对于另一种预设的眼睛模板大小的不同区域上的灰阶差值总和。待所有预设的眼睛模板依次匹配完当前帧的视频图像后，选取灰阶差值总和最小的当前帧的视频图像的区域为区域视频图像，该区域视频图像与预设的眼睛模板匹配度最高，即在该区域视频图像内最可能存在瞳孔，如图6所示，是本发明实施例提供的区域视频图像的示意图。

步骤s120，根据预设的第一算法对所述区域视频图像进行二值化，得到二值化区域视频图像。

在本实施例中，该预设的第一算法为自适应瞳孔分割算法，但不限于此，预设的第一算法还可以为其他能够实现对区域视频图像进行二值化的算法。如图7所示，是本发明实施例提供的瞳孔定位方法中步骤s120的流程图。

步骤s121，统计所述区域视频图像中各个像素点的灰阶值。

所述区域视频图像中每一个像素点都有确切的灰阶值，则统计不同灰阶值对应的个数。

步骤s122，根据所述多个像素点的灰阶值作出灰度统计直方图。

如图8所示，是本发明实施例提供的灰度统计直方图。该灰度统计直方图反应了不同灰阶值对应的个数多少，通过灰度统计直方图更加直观地显示了不同灰阶值的分布情况。

步骤s123，对灰度统计直方图进行滤波，去除伪峰和毛刺。

如图9所示，是本发明实施例提供的滤波后的灰度统计直方图。通过对灰度统计直方图进行滤波处理，去除伪峰和毛刺后更加便于图像分析，能够更加清晰地显示灰度统计直方图中的波峰和波谷等数据信息。

步骤s124，选取滤波后的所述灰度统计直方图中所有波谷对应的灰阶值中最小的灰阶值为阈值。

如图9所示，使本发明实施例提供的滤波后的灰度统计直方图。其虚线位置处为所有波谷对应的灰阶值中最小的灰阶值，取该灰阶值为阈值。

步骤s125，将所述区域视频图像中小于阈值的像素点的灰阶值置为0，即置为黑色，将所述区域视频图像中大于阈值的像素点的灰阶值置为255，即置为白色，进而得到二值化区域视频图像。

具体为，将步骤s124取得的阈值作为分割阈值对区域视频图像进行分割，即将区域视频图像中小于阈值的像素点的灰阶值置为0，即置为黑色，将所述区域视频图像中大于阈值的像素点的灰阶值置为255，即置为白色，从而得到二值化区域视频图像，即该二值化区域视频图像中只包含黑色和白色两种颜色，如图10所示，是本发明实施例提供的二值化区域视频图像。

步骤s130，提取所述二值化区域视频图像的轮廓，将所述轮廓划分为多个片段，在每个所述片段中选取多个参考点，按照预设的第二算法对选取的所述多个参考点进行椭圆拟合得到多个椭圆。

如图11所示，是本发明实施例提供的二值化区域视频图像的轮廓的示意图。该轮廓是提取的二值化区域视频图像的轮廓，如图12所示，是本发明实施例提供的对二值化区域视频图像的轮廓分段的示意图，对提取的轮廓随机划分多个片段，在本实施例中，对该轮廓划分为均等的四段，并在每一个片段中随机选取多个参考点，在本实施例中，每一个片段均选取三个参考点。对轮廓划分的片段数量可根据实际需要设置，可随机划分为多个片段，如六个片段，同时对每一个片段选取的参考点的数量也可根据实际需要设置，但选取的参考点的总数不能低于六个。所述预设的第二算法为分段随机椭圆拟合算法，但不限于此，其预设的第二算法还可以为其他能够实现对轮廓进行分段和预算的算法。按照预设的第二算法对选取的多个参考点进行椭圆拟合，如图13所示，是本发明实施例提供的拟合后的椭圆的示意图。同时，重复地对轮廓划分多个片段，该片段的数量可与前一次划分的片段数量不一致，随机选取多个片段上多个参考点，进而通过预设的第二算法对再次选取的多个参考点进行椭圆拟合，得到不同的拟合椭圆。

步骤s140，根据预设的第三算法计算所述椭圆与所述轮廓的匹配度，将与所述轮廓的匹配度最高的椭圆的中心坐标定位为所述瞳孔的位置坐标。

如图14，是本发明实施例提供的椭圆和轮廓的示意图。该图中的椭圆是步骤s130中得到的多个不同的椭圆，将多个不同的椭圆依次与轮廓进行比较分析其与轮廓的匹配度。具体为，首先建立以椭圆中心点为原点o的直角坐标系，在轮廓上随机选取一点c，点c与原点的连线为l，直线l与x轴的夹角为q。进而根据计算直线l与椭圆的两个交点，将其中与点c处于同一象限或半轴的点记为e，计算点c和点e之间的方差。重复上面的步骤多次，即另外选取轮廓上的其他点，得到该点与原点共同确定的直线，进而通过计算得到与轮廓上的点处于同一象限或半轴的位于椭圆上的点，进而计算两点之间的方差。选取的轮廓上的所有点与椭圆上对应点之间的均方差之和的倒数为其轮廓和椭圆的匹配度，该与轮廓匹配度最高的椭圆的中心坐标即为瞳孔的位置坐标，进而确定了瞳孔的位置。同时该椭圆的长轴h(垂直轴)和短轴w(水平轴)的数值也分别体现了瞳孔的瞳间距等数值，为医生精确诊断病人的病情提供了多方面的数值参考。

该瞳孔定位的方法还包括：

步骤s150，根据所述区域视频图像建立多个基于当前帧的视频图像的搜索区域，得到多个搜索区域视频图像。

如图15，是本发明实施例提供的搜索区域视频图像的示意图。所述九张图片中位于中心位置方框中表示的图片为区域视频图像，即当前帧的视频图像中可能存在瞳孔的的视频图像。在医生使用医疗设备对患者进行检测时，患者可能发生微小的移动，导致医生使用医疗设备采集到的图像不是静止的，可能存在变化，为了提高检测精度，更方便医生做出精确的诊断，以区域视频图像为基准图像，建立多个搜索区域。在图中表示为，中心图片周围的八张图片中方框区域均为下一帧视频图像中瞳孔可能移动的方向，在下一帧视频图像中，瞳孔可能相对于区域视频图像中的位置向左向右向上向下或向左上、右上、左下、右下等移动，因此对该瞳孔可能移动的方向建立搜索区域，得到多个搜索区域视频图像，即八张图片中方框区域。但不限于此，还可以根据实际需要设置更多地搜索区域，得到多个待分析的搜索区域视频图像以提高判断精度。在本实施例中，该图片中的方框的长和宽均为与轮廓最匹配的椭圆的短轴w的两倍，但不限于此，该方框的长和宽还可以根据实际需要设置成不同的长度，该方框的长和宽越小，则精度更高。

步骤s160，对所述多个搜索区域视频图像二值化。

分别对得到的多个搜素区域视频图像进行二值化，即对该八张图片进行二值化。如图16所示，是本发明实施例提供的瞳孔定位的方法中步骤s169的流程图。

步骤s161，统计所述搜索区域视频图像中各个像素点的灰阶值。

所述搜索区域视频图像中每一像素点都有确切的灰阶值，则统计不同灰阶值对应的个数。

步骤s162，根据所述多个像素点的灰阶值作出灰度统计直方图。

该灰度统计直方图反应了不同灰阶值对应的个数多少，通过灰度统计直方图更加直观地显示了不同灰阶值的分布情况。

步骤s163，对所述灰度统计直方图进行滤波，去除伪峰和毛刺。

步骤s164，选取滤波后的所述灰度统计直方图中所有波谷对应的灰阶值中最小的灰阶值为阈值。

步骤s165，将所述搜索区域视频图像中小于阈值的像素点的灰阶值置为0，即为黑色，将所述搜索区域视频图像中大于阈值的像素点的灰阶值置为255，即为白色，进而实现对搜索区域视频图像的二值化。

步骤s170，根据二值化后的所述多个搜索区域视频图像预测所述瞳孔的位置。

分析统计二值化后的所述多个搜索区域视频图像中表征黑色的像素的个数，选取二值化后的搜索区域视频图像中水平方向上表征黑色的像素的个数最大值处的纵坐标，以及选取二值化后的搜索区域视频图像中垂直方向上表征黑色的像素个数最大值处的横坐标，该纵坐标和横坐标共同组成了瞳孔的位置坐标，进而通过对多个搜索区域视频图像进行分析预测到了下一帧视频图像中瞳孔可能出现的位置，从而提高了检测精度。

如图17所示，是本发明实施例提供的瞳孔定位的方法中步骤s170的流程图。

步骤s171，分别统计二值化后的所述多个搜索区域视频图像位于水平方向和垂直方向上表征黑色的像素点的个数。

步骤s172，利用每一所述搜索区域视频图像中位于水平方向上表征黑色的像素点的个数做出位于水平方向上表征黑色的像素点的分布情况的第一投影分布图，利用每一个所述搜索区域视频图像中的位于垂直方向上的表征黑色的像素点的个数做出位于垂直方向上表征黑色的像素点分布情况的第二投影分布图。

如图18所示，是本发明实施例提供的第一投影分布图。该第一投影分布图表现了其中一个搜索区域视频图像从水平方向上统计表征黑色的像素点的分布情况。如图19所示，是本发明实施例提供的第二投影分布图，该第二投影分布图表现了其中一个搜索区域视频图像从垂直方向统计表征黑色的像素点的分布情况。

步骤s173，对所述第一投影分布图和所述第二投影分布图进行分析，判断所述搜索区域视频图像是否为瞳孔所在区域。

如图18所示，是本发明实施例提供的第一投影分布图。该第一投影分布图上，|y1-y2|表征瞳孔纵向宽度h'，即相当于步骤s140中与该瞳孔的轮廓最匹配的椭圆的长轴h。如图19所示，是本发明实施例提供的第二投影分布图。该第二投影分布图上，|x1-x2|表征瞳孔的横向宽度w'，即相当于步骤s140中与该瞳孔的轮廓最匹配的椭圆的短轴w。当该搜索区域视频图像中，(w-w')/w和(h-h')/h都小于0.05，则表明该搜索区域视频图像是瞳孔所在的区域，否则继续分析下一个搜索区域视频图像的第一投影分布图和第二投影分布图，寻找瞳孔可能存在的区域。

步骤s174，若所述搜索区域视频图像为瞳孔所在区域，则选取所述搜索区域视频图像的第一投影分布图中表征黑色的像素点的个数的最大值处的纵坐标和选取所述搜索区域视频图像中的第二投影分布图中表征黑色的像素点的个数的最大值处的横坐标，所述纵坐标为所述瞳孔的纵坐标，所述横坐标为所述瞳孔的横坐标，进而得到所述瞳孔的位置坐标。

如图18、19所示，该(x0，y0)即为瞳孔的位置坐标。

该瞳孔定位的方法还包括：

步骤s100，采集视频图像。

在本实施例中，采用红外摄像头采集患者眼部图像，但不限于此，还可以采用可见光摄像机采集患者眼部图像，但采用可见光摄像机采集患者眼部图像时，需将采集的图像处理成灰度图像，进而进行下一步分析。具体为，将可见光图像中每一像素的三原色比例值，即rgb值，通过算法(r+g+b)/3，得到每一像素点的灰阶值，进而将整个可见光图像转换为灰度图像以便于下一步的分析。

步骤s101，对所述视频图像进行滤波处理，去除噪声。

对视频图像进行滤波处理后能减小误差，提高准确度，以便于下一步分析。

如图20所示，是本发明实施例提供的瞳孔定位的装置100的结构示意图。该瞳孔定位的方法应用于该瞳孔定位的装置100，该瞳孔定位的装置100包括：

匹配模块130，用于将多个预设的眼睛模板按照预定的滑动长度依次滑动匹配当前帧的视频图像，得到与所述预设的眼睛模板匹配度最高的区域视频图像。

在本发明实施例中，步骤s110可以由匹配模块130执行。

第一二值化模块140，用于根据预设的第一算法对所述区域视频图像进行二值化，得到二值化区域视频图像。

在本发明实施例中，步骤s120～步骤s125可以由第一二值化模块140执行。

拟合模块150，用于提取所述二值化区域视频图像的轮廓，将所述轮廓划分为多个片段，在每个所述片段中选取多个参考点，按照预设的第二算法对选取的所述多个参考点进行椭圆拟合得到多个椭圆。

在本发明实施例中，步骤s130可以由拟合模块150执行。

计算模块160，用于根据预设的第三算法计算所述椭圆与所述轮廓的匹配度，将与所述轮廓的匹配度最高的椭圆的中心坐标定位为所述瞳孔的位置坐标。

在本发明实施例中，步骤140可以由计算模块160执行。

该瞳孔定位装置100还包括：

建立模块170，用于根据所述区域视频图像建立多个基于当前帧的视频图像的搜索区域，得到多个搜索区域视频图像。

在本发明实施例中，步骤s150可以由建立模块170执行。

第二二值化模块180，用于对所述多个搜索区域视频图像二值化。

在本发明实施例中，步骤s160～步骤s165可以由第二二值化模块180执行。

预测模块190，用于根据二值化后的所述多个搜索区域视频图像预测所述瞳孔的位置坐标。

在本发明实施例中，步骤s170～步骤s174可以由预测模块190执行。

该瞳孔定位装置100还包括：

采集模块110，用于采集视频图像。

在本发明实施例中，步骤s100可以由采集模块110执行。

滤波模块120，用于对所述视频图像进行滤波处理，去除噪声。

在本发明实施例中，步骤s101可以由滤波模块120执行。

该瞳孔定位的装置100已经在瞳孔定位的方法里详细描述，在此不再赘述。

综上所述，本发明实施例提供了一种瞳孔定位的方法及装置，该瞳孔定位的方法包括将多个预设的眼睛模板按照预定的滑动长度依次滑动匹配当前帧的视频图像，得到与所述预设的眼睛模板匹配度最高的区域视频图像；根据预设的第一算法对所述区域视频图像进行二值化，得到二值化区域视频图像；提取所述二值化区域视频图像的轮廓，将所述轮廓划分为多个片段，在每个所述片段中选取多个参考点，按照预设的第二算法对选取的所述多个参考点进行椭圆拟合，并重复对所述轮廓划分为多个片段，此片段划分的数量与前一次划分的片段数量不一致，并随机选取该片段中多个参考点，按照第二算法对选取的参考点再进行椭圆拟合；根据预设的第三算法分别计算多个椭圆与所述轮廓的匹配度，与所述轮廓匹配度最高的椭圆的中心坐标为所述瞳孔的位置坐标。进而快速准确地找到了瞳孔的位置，提高了诊断的效率和精度。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。