基于图像分析的耳诊数据采集方法及装置与流程

本发明涉及图像处理领域，具体而言，涉及一种基于图像分析的耳诊数据采集方法及装置。

背景技术：

随着计算机技术的发展，各个领域都实现了智能化，智能化的设备能够大大减少人力劳动，提高办事效率；但是在医疗领域中，一般通过医生直接观看病人的耳部以得到耳部数据，此种方式效率比较低。因此，关于计算机技术与耳部数据的获取的应用还需要进一步地思考。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种基于图像分析的耳诊数据采集方法及装置。

本发明实施例提供的一种基于图像分析的耳诊数据采集方法，应用于电子终端，所述方法包括：

获取用户的耳部图像；

将预存的耳部特征样本库输入学习模型进行学习得到训练模型，根据所述训练模型搜索所述耳部图像以确定所述耳部图像中的各个耳穴的位置点；以及

获取每个耳穴位置点对应的图像特征与预设的预存图像特征进行比对分析，得到所述用户的人耳诊断数据。

本发明实施例还提供一种基于图像分析的耳诊数据采集装置，应用于电子终端，所述装置包括：

图像获取模块，用于获取用户的耳部图像；

耳穴确定模块，用于将预存的耳部特征样本库输入学习模型进行学习得到训练模型，根据所述训练模型搜索所述耳部图像以确定所述耳部图像中的各个耳穴的位置点；以及

数据得到模块，用于获取每个耳穴位置点对应的图像特征与预设的预存图像特征进行比对分析，得到所述用户的人耳诊断数据。

与现有技术相比，本发明的基于图像分析的耳诊数据采集方法及装置，通过分析获取的耳部图像得到人耳诊断数据，不需要医生观看用户的耳部以得到耳部诊断数据，能够大大提高获取数据的效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的电子终端的方框示意图。

图2为本发明较佳实施例提供的基于图像分析的耳诊数据采集方法的流程图。

图3为本发明较佳实施例提供的基于图像分析的耳诊数据采集方法中的步骤s102的详细流程图。

图4为本发明较佳实施例提供的基于图像分析的耳诊数据采集方法中的步骤s1022的详细流程图。

图5为本发明较佳实施例提供的基于图像分析的耳诊数据采集方法中的步骤s1023的详细流程图。

图6为本发明较佳实施例提供的基于图像分析的耳诊数据采集方法中的步骤s103的详细流程图。

图7为本发明较佳实施例提供的基于图像分析的耳诊数据采集方法中的步骤s1031的详细流程图。

图8为本发明较佳实施例提供的图像分析的耳诊数据采集装置的功能模块示意图。

图9为本发明较佳实施例提供的图像分析的耳诊数据采集装置的耳穴确定模块的功能模块示意图。

图10为本发明较佳实施例提供的图像分析的耳诊数据采集装置的训练模型获得单元的功能模块示意图。

图11为本发明较佳实施例提供的图像分析的耳诊数据采集装置的耳穴搜索定位单元的功能模块示意图。

图12为本发明较佳实施例提供的图像分析的耳诊数据采集装置的数据得到模块的功能模块示意图。

图13为本发明较佳实施例提供的图像分析的耳诊数据采集装置的耳穴图像定位单元的功能模块示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，是电子终端100的方框示意图。所述电子终端包括基于图像分析的耳诊数据采集装置110、存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116及摄像单元117。可以理解的是，图1所示的电子终端100的结构仅仅为示意性的，所述电子终端100还可以包括比图中所示更多或更少的部件。

所述存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116及摄像单元117各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于图像分析的耳诊数据采集装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述电子终端100的操作系统(operatingsystem，os)中的软件功能模块。所述处理器113用于执行存储器中存储的可执行模块，例如所述基于图像分析的耳诊数据采集装置110包括的软件功能模块或计算机程序。

其中，所述存储器111可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端100所执行的方法可以应用于处理器113中，或者由处理器113实现。

所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口114将各种输入/输入装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

所述输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。音频单元向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

所述显示单元116在所述电子终端100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元116可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。

所述摄像单元117用于拍摄照片或者视频。拍摄的照片或者视频可以存储至存储器111内。所述摄像单元117具体可包括镜头模组、影像感测器以及闪光灯等组件。镜头模组用于对被拍摄的目标成像，并将所成的像映射至影像感测器中。影像感测器用于接收来自镜头模组的光线，实现感光，以记录图像信息。具体地，影像感测器可基于互补金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)、电荷耦合元件(charge-coupleddevice，ccd)或者其他影像感测原理实现。闪光灯用于在拍摄时进行曝光补偿。一般来说，用于电子终端100的闪光灯可为发光二极体(lightemittingdiode,led)闪光灯。

请参阅图2，是本发明较佳实施例提供的应用于图1所示的电子终端100的基于图像分析的耳诊数据采集方法的流程图。下面将对图2所示的具体流程进行详细阐述。

步骤s101，获取用户的耳部图像。

所述电子终端100的摄像单元117启动时给出初始化部署的快门和增益成像参数，以后每一帧的成像调整结果都会反馈到部署成像参数模块对所述摄像单元117进行参数设置。

在一个实例中，所述摄像单元117可能检测不到人耳时的成像特征。本实例中，检测不到人耳可包括两种情况：一是拍摄范围内不存在人耳；二是由于环境光照问题使得画面成像过亮或过暗；此时，所述摄像单元117可采用中心测光的模式，假设，所述摄像单元117成像宽度为w，高度为h，以拍摄中心为中心点，取得宽度为w/2，高度为h/2的矩形作为测光区域，计算该区域内的图像亮度，建立缓冲长度为10帧的区域亮度列表，计算区域亮度均值。

本实施例中，在获取所述耳部图像之前先检测人耳成像特征。本实施例中，以所述摄像单元117可采集的人耳序列的亮度均值和对比度均值作为人耳成像特征。计算人耳亮度，建立缓冲长度为10帧的人耳亮度列表，计算人耳亮度均值。统计人耳直方图，以最大类间方差法做阈值分割，分别计算高部亮度均值grayhigh和低部亮度均值graylow，以公式ncontrast_lp＝(grayhigh-graylow)*100/256计算人耳对比度ncontrast_lp，建立人耳对比度列表，计算人耳对比度列表均值。

本实施例中，在获取所述耳部图像时可通过以下方式对所述摄像单元117进行成像参数的控制。

本实施例中，所述摄像单元根据可采集的人耳图像控制成像的亮度。

在一种实施方式中，当参与计算的亮度值低于亮度下限时，如果快门值没有调到最大，计算期望亮度与参与计算的亮度差值，查找亮度差值和快门调整比例映射表(请参照表1)，按调整比例提高快门值，直至最大快门；如果快门已经调整到极限，按照调整幅度为1增加增益，直至最大增益。本实施例中，所述参与计算的亮度，可以是所述摄像单元117可采集到的周围的环境亮度，或者当时所述摄像单元117可检测到的人耳画面的亮度。

在另一种实施方式中，当参与计算的亮度值高于亮度上限时，如果增益值没有调到最低，按照调整步长1减小增益，直至增益下限；如果增益已调至下限，计算期望亮度与参与计算的亮度差值，查找亮度差值和快门调整比例映射表，按调整比例降低快门值，直至快门值下限。

表1：

本实施例中，所述摄像单元根据可采集的人耳图像控制成像的对比度。

在一种实施方式中，当参与计算的对比度值低于对比度下限时，如果快门值没有调到最大，计算期望对比度与参与计算的对比度差值，查找对比度差值和快门调整比例映射表(请参阅表2)，按调整比例提高快门值，直至最大快门；如果快门已经调整到极限，按照调整幅度为1增加增益，直至最大增益。

在另一种实施方式中，当参与计算的亮度值高于亮度上限时，如果增益值没有调到最低，按照调整步长1减小增益，直至增益下限；如果增益已调至下限，计算期望对比度与参与计算的对比度差值，查找对比度差值和快门调整比例映射表，按调整比例降低快门值，直至快门值下限。

再一种实施方式中，当以参考目标进行对比度成像控制调整的时候，如对比度低于低阈值，亮度高于高阈值，调暗；对比度低于低阈值，亮度低于低阈值，调亮。

再一种实施方式中，当以人耳区域进行对比度成像控制调整的时候，如对比度低于低阈值，亮度高于期望值时，成像不做调整；对比度低于低阈值，亮度低于期望值时，调亮。

表2：

步骤s102，将预存的耳部特征样本库输入学习模型进行学习得到训练模型，根据所述训练模型搜索所述耳部图像以确定所述耳部图像中的各个耳穴的位置点。

在一种实施方式中，如图3所示，步骤s102可包括以下步骤。

步骤s1021，建立耳穴基准点的样本库。

本实施例中，所述耳穴基准点的样本库根据国际gbt13734-1992《耳穴名称与部位》所定义的标准耳穴定位进行建立。

步骤s1022，将所述耳穴特征基准点的样本库输入学习模型算法中进行学习，得到训练模型。

本实施例中，可以将所述耳穴特征基准点的样本库输入主动形状模型(activeshapemodel，简称asm)、主动外观模型(activeappearancemodel，简称aam)、局部二元拟合模型(localbinaryfitting，简称lbf)等任意模型进行训练。下面以将所述耳穴特征基准点的样本库输入所述主动形状模型进行训练为例进行描述。

在一种实施方式中，如图4所示，步骤s1022可包括以下步骤。

步骤s10221，将所述耳穴特征基准点的样本库输入主动形状模型算法中进行学习，得到形状训练模型。

本实施例中，在得到所述形状训练模型之前首先要对形状对齐，耳穴形状向

其中，n为图像中标定的特征基准点的个数，i表示第i个特征基准点。其中，所述向量xi根据所述国际gbt13734-1992《耳穴名称与部位》所定义的标准耳穴定位计算得到。

对校准后的所述耳穴形状向量进行pca(principalcomponentsanalysis，主成分分析)分析可得其中p为协方差矩阵的特征向量，b为特征向量的权，为均值。由此可以得到：

根据上述计算可以得到约束向量b。

其中，约束向量b满足约束条件：其中λ为协方差矩阵的特征值，i为特征值从大到小的排列序号，mt为常量，在一个实例中，所述mt通常为9。

本实施例中，可将所述耳穴特征基准点的样本库中的数据输入所述主动形状模型中进行学习，得到所述形状训练模型。所述训练模型中可记录有所述耳穴特征基准点的样本库中的各个特征基准点的相对位置、相对人耳边缘的位置等。

步骤s10222，根据耳穴基准点的样本库中的耳穴基准点输入训练模型中训练得到用于记录耳穴基准点在训练范围内的灰度分布规律的局部纹理模型。

本实施例中，根据所述耳穴基准点的样本库中的每个特征基准点延外轮廓在该点的法线方向一定范围内的灰度变化情况进行统计，以找出相应的特征基准点在此区域内的灰度分布规律。所述局部纹理模型记录着样本库中的特征基准点在指定区域内的灰度分布规律。

步骤s1023，将所述耳部图像输入所述训练模型，对所述耳部图像进行搜索以确定所述耳部图像对应的每个耳穴位置点。

在一种实施方式中，如图5所示，步骤s1023可包括以下步骤。

步骤s10231，对所述耳部图像进行初定位以得到基于所述耳部图像初始耳部形状向量。

本实施例中，可以根据所述形状训练模型对所述耳部图像中的各个特征基准点进行初始定位。本实施例中，可以将所述初始耳部形状向量记录为x。

步骤s10232，根据训练得到的局部灰度模型，对每个耳穴位置点使其沿法线方向在指定范围内进行搜索。

步骤s10233，对在所述指定范围内的每一个像素点计算其规格化灰度导数向量与训练得到的该像素点的平均规格化灰度导数向量之间的马氏距离，从中选取马氏距离最小的候选点作为最佳匹配点，根据每个耳穴位置点对应的最佳匹配点得到了一个匹配形状向量。

本实施例中，可以将所述匹配形状向量记录为x1。

步骤s10234，将所述初始耳部形状向量及匹配形状向量通过所述形状训练模型计算得到验证向量。

在一个实例中，所述验证向量为在利用x2＝x-x1在根据所述形状训练模型计算得到的约束向量约束下的向量。

重复所述步骤s10231至s10234直到所述验证向量收敛。

其中，所述每个耳穴位置点对应的最佳匹配点确定为所述耳部图像中的各个耳穴的位置点。

步骤s103，获取每个耳穴位置点对应的图像特征与预设的预存图像特征进行比对分析，得到所述用户的人耳诊断数据。

在一种实施方式中，如图6所示，步骤s103可包括以下步骤。

步骤s1031，对每个耳穴的位置点对应的图像进行定位。

在一种实施方式中，如图7所示，步骤s1031可包括以下步骤。

步骤s10311，对定位后的所述耳部图像进行三角剖分获得耳部的网格结构。

本实施例中，可以采用delaunay(狄洛尼)三角剖分可获得所所述耳部图像的网格结构。所述三角剖分为：假设v是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段,e为e的集合。那么该点集v的一个三角剖分t＝(v，e)是一个平面图g，该平面图满足条件：1.除了端点，平面图中的边不包含点集中的任何点。2.没有相交边。3.平面图中所有的面都是三角面，且所有三角面的合集是散点集v的凸包。所述delaunay三角剖分，它是一种特殊的三角剖分，是如果点集v的一个三角剖分t只包含delaunay边，那么该三角剖分称为delaunay三角剖分。其中，delaunay边：假设e中的一条边e(两个端点为a,b)，e若满足下列条件，则称之为delaunay边：存在一个圆经过a,b两点，圆内(注意是圆内，圆上最多三点共圆)不含点集v中任何其他的点。

本实施例中，所述电子终端100可以预存有一个固定的人耳网格拓扑结构，每次只需要读入网格结构文件便可快速的生成所述耳部的网格结构。

步骤s10312，对网络结构中对应的耳穴的位置对应的图形进行仿射变换。

步骤s10313，根据所述耳穴在进行仿射变换之后的图形中的目标位置计算得到该耳穴在所述耳部图像中的位置。

在一个实例中，可以ts变形为t1，设ts和t1对应的顶点分别为ps1，ps2，ps3和p1，p2，p3，由此6个点可以唯一确定一个仿射变换，第一公式如下：

其中p.x，p.y为p1中某一点p的x,y坐标，ps.x，ps.y为t1中某点ps的x，y坐标。令

则得到第二公式：

这样，改变的每个三角形以第二公式计算出仿射变换系数a，以第一公式计算改变后的三角形内的每一点对应在所述耳部图像中的原三角形的像素点，拷贝其颜色；其中，若计算出的点的坐标非整数，则利用该点临近的坐标颜色作为仿射变换后的颜色。

步骤s1032，获取每个所述耳穴的位置点对应的图像的颜色特征。

所述步骤s1032还包括：获取所述目标位置在所述耳部图像中对应图像部分的颜色特征作为所述耳穴的位置点对应的图像的颜色特征。

步骤s1033，将所述耳穴的位置点对应的图像的颜色特征与对应的预存图像的颜色特征进行对比得到所述用户的人耳诊断数据。

本实施例中，可以以deepid、vgg、googlenet模型进行深度学习以获取所述人耳诊断数据。在一种实施方式中，可以使用deepid2+的网络结构进行训练和所述耳部图像的颜色特征及预存图像的颜色特征的提取。

本实施例中，采用深度学习的方法自动提取所述耳部图像的颜色特征及预存图像的颜色特征。本实施例中，基于深度学习的方法可基于海量数据的基础自动学习每个耳穴的位置点与所说识别的病症的图像特征。本实施例中，可以通过将所述耳部图像提取的图像的颜色特征与预存的人耳图像的预存图像的颜色进行对比获取所述人耳诊断数据。

根据本实施例中的方法，通过获取用户耳部图像，通过分析获取的耳部图像得到人耳诊断数据，不需要医生观看用户的耳部以得到耳部诊断数据，能够大大提高获取数据的效率。

请参阅图8，是本发明较佳实施例提供的图1所示的基于图像分析的耳诊数据采集装置110的功能模块示意图。本实施例提供的装置中的各个模块、单元及子单元用于执行上述方法实施例中的各个步骤。所述基于图像分析的耳诊数据采集装置110包括图像获取模块1101、耳穴确定模块1102及数据得到模块1103。

所述图像获取模块1101，用于获取用户的耳部图像。

所述耳穴确定模块1102，用于将预存的耳部特征样本库输入学习模型进行学习得到训练模型，根据所述训练模型搜索所述耳部图像以确定所述耳部图像中的各个耳穴的位置点。

在一种实施方式中，如图9所示，所述耳穴确定模块1102可包括：样本库建立单元11021、训练模型获得单元11022及耳穴搜索定位单元11023。

所述样本库建立单元11021，用于建立耳穴基准点的样本库；

所述训练模型获得单元11022，用于将所述耳穴特征基准点的样本库输入学习模型算法中进行学习，得到训练模型。

在一种实施方式中，如图10所示，所述训练模型获得单元11022包括：形状模型训练子单元110221及局部模型训练子单元110222。

所述形状模型训练子单元110221，用于将所耳穴特征基准点的样本库输入主动形状模型算法中进行学习，得到形状训练模型。

所述局部模型训练子单元110222，用于根据耳穴基准点的样本库中的耳穴基准点输入训练模型中训练得到用于记录耳穴基准点在训练范围内的灰度分布规律的局部纹理模型。

所述耳穴搜索定位单元11023，用于将所述耳部图像输入所述训练模型，对所述耳部图像进行搜索以确定所述耳部图像对应的每个耳穴位置点。

在一种实施方式中，如图11所示，所述耳穴搜索定位单元11023可包括：形状向量获取子单元110231、耳穴搜索子单元110232、匹配向量获取子单元110233及验证向量获取子单元110234。

所述形状向量获取子单元110231，用于对所述耳部图像进行初定位以得到基于所述耳部图像初始耳部形状向量。

所述耳穴搜索子单元110232，用于根据训练得到的局部灰度模型，对每个耳穴位置点使其沿法线方向在指定范围内进行搜索。

所述匹配向量获取子单元110233，用于对在所述指定范围内的每一个像素点计算其规格化灰度导数向量与训练得到的该像素点的平均规格化灰度导数向量之间的马氏距离，从中选取马氏距离最小的候选点作为最佳匹配点，根据每个耳穴位置点对应的最佳匹配点得到了一个匹配形状向量。

所述验证向量获取子单元110234，用于将所述初始耳部形状向量及匹配形状向量通过所述形状训练模型计算得到验证向量；其中，得到所述验证向量收敛时所述每个耳穴位置点对应的最佳匹配点确定为所述耳部图像中的各个耳穴的位置点。

所述数据得到模块1103，用于获取每个耳穴位置点对应的图像特征与预设的预存图像特征进行比对分析，得到所述用户的人耳诊断数据。

在一种实施方式中，如图12所示，所述数据得到模块1103可包括：耳穴图像定位单元11031、颜色特征获取单元11032及数据生成单元11033。

所述耳穴图像定位单元11031，用于对每个耳穴的位置点对应的图像进行定位。

在一种实施方式中，如图13所示，所述耳穴图像定位单元11031包括：网络结构获取子单元110311、图形变换子单元110312及图像位置得到子单元110313。

所述网络结构获取子单元110311，用于对定位后的所述耳部图像进行三角剖分获得耳部的网格结构。

所述图形变换子单元110312，用于对网络结构中对应的耳穴的位置对应的图形进行仿射变换。

所述图像位置得到子单元110313，用于根据所述耳穴在进行仿射变换之后的图形中的目标位置计算得到该耳穴在所述耳部图像中的位置。

所述颜色特征获取单元11032，用于获取每个所述耳穴的位置点对应的图像的颜色特征。所述颜色特征获取单元11032还用于获取所述目标位置在所述耳部图像中对应图像部分的颜色特征作为所述耳穴的位置点对应的图像的颜色特征。

所述数据生成单元11033，用于将所述耳穴的位置点对应的图像的颜色特征与对应的预存图像的颜色特征进行对比得到所述用户的人耳诊断数据。

关于本实施例中的装置的其它细节可以进一步地参考上述方法实施例中的描述，在此不再赘述。

根据本实施例中的装置，通过分析获取的耳部图像得到人耳诊断数据，不需要医生观看用户的耳部以得到耳部诊断数据，能够大大提高获取数据的效率。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。