一种基于图像识别的糖尿病视网膜病变的诊断方法及装置与流程

1.本发明涉及人工智能的计算机视觉以及医学影像计算机处理技术领域，尤其涉及一种基于图像识别的糖尿病视网膜病变的诊断方法及装置。


背景技术：

2.糖尿病作为危害人类健康的常见疾病，一直受到研究者的关注。同时，逐年增多的糖尿病患者与分布不均衡的医疗资源也形成了日益凸显的尖锐矛盾。
3.因此，需要一种基于计算机处理技术的糖尿病视网膜病变的诊断方法，从而提高糖尿病视网膜病变的诊断准确性和诊断速度。


技术实现要素：

4.本发明通过提供一种基于图像识别的糖尿病视网膜病变的诊断方法及装置，其能够提高糖尿病视网膜病变的诊断准确性和诊断速度。
5.本发明提供了一种基于图像识别的糖尿病视网膜病变的诊断方法，包括：
6.医疗端获取视网膜图像；
7.所述医疗端在所述视网膜图像中标注出眼底图像病变区域；
8.所述医疗端将标注好的视网膜图像发送到服务器端；
9.所述服务器端将所述标注好的视网膜图像输入到基于mask rcnn的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；
10.患者端发送待诊断的眼底图片到所述服务器端；
11.所述服务器端将所述待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到诊断结果，并发回到所述患者端。
12.具体来说，所述基于mask rcnn的视网膜眼底图像多病变分类网络模型的骨架网络采用的是resnet-101，在所述骨架网络中的res4部分的最后一个模块前加入non-local模块；
13.所述non-local模块的表达式如下式所示：
[0014][0015]
其中，c(x)是标准化函数，用于归一化；而i是响应输出位置的索引，j是枚举所有可能位置的索引；x表示输入信息，y表示与x相同尺寸的输出信息；而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系；而一元函数g用于计算输入信息在位置j处的特征值。
[0016]
具体来说，还包括：
[0017]
在所述基于mask rcnn的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成focal loss；fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)；其中，fl表示focal loss损失函数，p
t
表示预测样本属于正确类的概率；α
t
是权重因子，γ是聚焦参数。
[0018]
具体来说，所述服务器端将所述待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到诊断结果，包括：
[0019]
所述服务器端将所述待诊断的眼底图片输入到所述训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图。
[0020]
具体来说，在得到所述病变分割结果图之后，还包括：
[0021]
将所述病变分割结果图转换成二进制图像；
[0022]
将所述二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。
[0023]
本发明还提供了一种基于图像识别的糖尿病视网膜病变的诊断装置，包括：
[0024]
视网膜图像获取模块，用于医疗端获取视网膜图像；
[0025]
标注模块，用于所述医疗端在所述视网膜图像中标注出眼底图像病变区域；
[0026]
图像发送模块，用于所述医疗端将标注好的视网膜图像发送到服务器端；
[0027]
网络模型训练模块，用于所述服务器端将所述标注好的视网膜图像输入到基于mask rcnn的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；
[0028]
眼底图片发送模块，用于患者端发送待诊断的眼底图片到所述服务器端；
[0029]
诊断模块，用于所述服务器端将所述待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到诊断结果，并发回到所述患者端。
[0030]
具体来说，所述基于mask rcnn的视网膜眼底图像多病变分类网络模型的骨架网络采用的是resnet-101，在所述骨架网络中的res4部分的最后一个模块前加入non-local模块；
[0031]
所述non-local模块的表达式如下式所示：
[0032][0033]
其中，c(x)是标准化函数，用于归一化；而i是响应输出位置的索引，j是枚举所有可能位置的索引；x表示输入信息，y表示与x相同尺寸的输出信息；而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系；而一元函数g用于计算输入信息在位置j处的特征值。
[0034]
具体来说，还包括：
[0035]
在所述基于mask rcnn的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成focal loss；fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)；其中，fl表示focal loss损失函数，p
t
表示预测样本属于正确类的概率；α
t
是权重因子，γ是聚焦参数。
[0036]
具体来说，所述诊断模块，具体包括：
[0037]
诊断单元，用于所述服务器端将所述待诊断的眼底图片输入到所述训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图；
[0038]
诊断结果发送单元，用于将所述处理时间、病变的最大置信度、图像id和病变分割
结果图发回到所述患者端。
[0039]
具体来说，还包括：
[0040]
结果图转换单元，用于将所述病变分割结果图转换成二进制图像；
[0041]
所述诊断结果发送单元，包括：
[0042]
第一诊断结果发送子单元，用于将所述处理时间、病变的最大置信度、图像id发回到所述患者端；
[0043]
第二诊断结果发送子单元，用于将所述二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中发回到所述患者端。
[0044]
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0045]
先由医疗端获取视网膜图像，并在视网膜图像中标注出眼底图像病变区域，再将标注好的视网膜图像发送到服务器端；服务器端将标注好的视网膜图像输入到基于mask rcnn的视网膜眼底图像多病变分类网络模型中训练直至模型收敛。接着由患者端发送待诊断的眼底图片到服务器端；服务器端将待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到诊断结果，并发回到患者端。本发明基于图像识别技术实现了对糖尿病视网膜病变的诊断，提高了糖尿病视网膜病变的诊断准确性和诊断速度。
附图说明
[0046]
图1为本发明实施例提供的基于图像识别的糖尿病视网膜病变的诊断方法的流程图；
[0047]
图2为本发明实施例提供的基于图像识别的糖尿病视网膜病变的诊断装置的模块图；
[0048]
图3为基于本发明实施例构建的用于糖尿病视网膜病变的辅助诊断系统的模块图；
[0049]
图4为基于本发明实施例构建的用于糖尿病视网膜病变的辅助诊断系统中医生客户端的操作流程图。
具体实施方式
[0050]
本发明实施例通过提供一种基于图像识别的糖尿病视网膜病变的诊断方法及装置，其能够提高糖尿病视网膜病变的诊断准确性和诊断速度。
[0051]
本发明实施例中的技术方案为实现上述技术效果，总体思路如下：
[0052]
本发明实施例提供的通过云端计算进行的用于糖尿病性视网膜病变的辅助诊断系统包括使用python中的轻量级web框架flask来构建的网络服务端(装在ubuntu系统上)和手机小程序客户端。首先，在本地训练模型；接着，把训练好的模型序列化，比如利用pickle模块；然后，在服务器上加载模型，并利用flask对外提供服务接口；最后，当线上传来待诊断数据的时候，就直接使用已经训练好的模型进行预测，得到预测结果。其中，将病变块看作实例来检测，而在分割部分可以以分割出的病变块的边界为目标，将此网络作为病变检测网络的基础。
[0053]
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上
述技术方案进行详细的说明。
[0054]
参见图1，本发明实施例提供的基于图像识别的糖尿病视网膜病变的诊断方法，包括：
[0055]
步骤s110：医疗端获取视网膜图像；
[0056]
对本步骤进行具体说明：
[0057]
通过眼底照相机采集一定数量的视网膜眼底图像，将图像进行预处理，统一图像尺寸到1024*1024像素，使用形态学处理中的膨胀操作，结构元素为半径为2的圆形区域，使周围小的连通域连接在一起，从而构成一个大的目标，以改善图片中目标数量过多的情况。
[0058]
步骤s120：医疗端在视网膜图像中标注出眼底图像病变区域；
[0059]
对本步骤进行具体说明：
[0060]
将处理好的图像交给医生进行标注，以得到每张眼底彩照图像的病变类型和病变区域的标注标签，使用这些标注数据生成训练集、验证集和测试集。
[0061]
步骤s130：医疗端将标注好的视网膜图像发送到服务器端；
[0062]
步骤s140：服务器端将标注好的视网膜图像输入到基于mask rcnn的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；在本实施例中，使用训练集训练神经网络模型，网络参数统一采用xavier均匀初始化，使用随机梯度优化(stochastic gradient descent，sgd)进行优化，学习率为0.001，学习动量为0.9，还添加了0.0001的权重衰减正则项。
[0063]
具体地，基于mask rcnn的视网膜眼底图像多病变分类网络模型的骨架网络采用的是resnet-101，在骨架网络中的res4部分是14
×
14大小的特征图，考虑到计算量和提取信息的权衡，在骨架网络中的res4部分的最后一个模块前加入non-local模块，通过non-local模块扩大了感受野。
[0064]
具体地，non-local模块的表达式如式(1)所示：
[0065][0066]
其中，c(x)是标准化函数，用于归一化；而i是响应输出位置(指空间、时间或空间、时间)的索引，j是枚举所有可能位置的索引。x表示输入信息，y表示与x相同尺寸的输出信息，而这些信息可以是图片和/或视频，但一般来说是它们的特征。而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系，比如这个函数可以是随距离增加而减少，反映位置越远所造成的影响越小。而一元函数g用于计算输入信息在位置j处的特征值。
[0067]
将non-local操作用模块的形式进行封装，参考残差网络设计了non-local模块，公式如式(2)所示：
[0068]
zi＝wzyi+xiꢀꢀ
(2)
[0069]
其中，yi表示式(1)中的输出，wz表示权重矩阵，用于对每一个yi都作embedding操作，而+xi代表是一个残差结构，目的是在不破坏原有模型效果的前提下加入non-local模块。embedding函数是式(1)中f的一种形式，在高斯函数上简单拓展，计算同一个嵌入空间(embedding space)下的相似度：
[0070]
[0071]
其中，θ(xi)＝w
θ
xi，φ(xj)＝w
φ
xj是归一化函数。
[0072]
为了避免进行分类时严重的类别不平衡问题的发生以及使所述模型能够更多地关注分类错误的样本，还包括：
[0073]
在基于mask rcnn的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成focal loss；fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)；
[0074]
其中，fl表示focal loss损失函数，p
t
表示预测样本属于正确类的概率；α
t
是权重因子，γ是聚焦参数。通过调节权重因子α
t
避免进行分类时严重的类别不平衡问题的发生，通过调节聚焦参数γ使模型更多地关注分类错误的样本。
[0075]
网络性能评价：
[0076]
基于图像整体的评价指标是根据检测结果中是否存在病变来判断的，因此，此时一个图像会存在一个指示有无的标签。若预测结果与标签结果一致，则说明预测正确，因而这样的评价本质上是一个二分类的问题。使用操作者接受特性曲线性(receiver operating characteristic,roc)来判断网络模型的分类能力，将置信度阈值设为0.99。当模型检测图像中存在置信度大于0.99的病变时，则认为此眼底图像存在该种病变。使用在测试集上auc(area under curve，roc曲线下方的面积大小)最高的模型作为最终采用的检测模型。
[0077]
步骤s150：患者端发送待诊断的眼底图片到服务器端；
[0078]
步骤s160：服务器端将待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到诊断结果，并发回到患者端。
[0079]
具体地，服务器端将待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到诊断结果，包括：
[0080]
服务器端将待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度、图像id和病变分割结果图。
[0081]
为了方便将结果图像以json格式进行传输，从而提升系统识别标注结果的效率，在得到病变分割结果图之后，还包括：
[0082]
将病变分割结果图转换成二进制图像；
[0083]
将二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。
[0084]
参见图2，本发明实施例提供的基于图像识别的糖尿病视网膜病变的诊断装置，包括：
[0085]
视网膜图像获取模块100，用于医疗端获取视网膜图像；
[0086]
具体地，通过眼底照相机采集一定数量的视网膜眼底图像，将图像进行预处理，统一图像尺寸到1024*1024像素，使用形态学处理中的膨胀操作，结构元素为半径为2的圆形区域，使周围小的连通域连接在一起，从而构成一个大的目标，以改善图片中目标数量过多的情况。
[0087]
标注模块200，用于医疗端在视网膜图像中标注出眼底图像病变区域；
[0088]
具体地，将处理好的图像交给医生进行标注，以得到每张眼底彩照图像的病变类型和病变区域的标注标签，使用这些标注数据生成训练集、验证集和测试集。
[0089]
图像发送模块300，用于医疗端将标注好的视网膜图像发送到服务器端；
[0090]
网络模型训练模块400，用于服务器端将标注好的视网膜图像输入到基于mask rcnn的视网膜眼底图像多病变分类网络模型中训练直至模型收敛；在本实施例中，使用训练集训练神经网络模型，网络参数统一采用xavier均匀初始化，使用随机梯度优化(stochastic gradient descent，sgd)进行优化，学习率为0.001，学习动量为0.9，还添加了0.0001的权重衰减正则项。
[0091]
具体地，基于mask rcnn的视网膜眼底图像多病变分类网络模型的骨架网络采用的是resnet-101，在骨架网络中的res4部分是14
×
14大小的特征图，考虑到计算量和提取信息的权衡，在骨架网络中的res4部分的最后一个模块前加入non-local模块，通过non-local模块扩大了感受野。
[0092]
具体地，non-local模块的表达式如式(1)所示：
[0093][0094]
其中，c(x)是标准化函数，用于归一化；而i是响应输出位置(指空间、时间或空间、时间)的索引，j是枚举所有可能位置的索引。x表示输入信息，y表示与x相同尺寸的输出信息，而这些信息可以是图片和/或视频，但一般来说是它们的特征。而f是计算相关性的函数，主要计算每个像素与其所有关联像素的关系，比如这个函数可以是随距离增加而减少，反映位置越远所造成的影响越小。而一元函数g用于计算输入信息在位置j处的特征值。
[0095]
将non-local操作用模块的形式进行封装，参考残差网络设计了non-local模块，公式如式(2)所示：
[0096]
zi＝wzyi+xiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0097]
其中，yi表示式(1)中的输出，wz表示权重矩阵，用于对每一个yi都作embedding操作，而+xi代表是一个残差结构，目的是在不破坏原有模型效果的前提下加入non-local模块。embedding函数是式(1)中f的一种形式，在高斯函数上简单拓展，计算同一个嵌入空间(embedding space)下的相似度：
[0098][0099]
其中，θ(xi)＝w
θ
xi，φ(xj)＝w
φ
xj是归一化函数。
[0100]
为了避免进行分类时严重的类别不平衡问题的发生以及使所述模型能够更多地关注分类错误的样本，还包括：
[0101]
在基于mask rcnn的视网膜眼底图像多病变分类网络模型中，将原先的分类交叉熵损失替换成focal loss；fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)；
[0102]
其中，fl表示focal loss损失函数，p
t
表示预测样本属于正确类的概率；α
t
是权重因子，γ是聚焦参数。通过调节权重因子α
t
避免进行分类时严重的类别不平衡问题的发生，通过调节聚焦参数γ使模型更多地关注分类错误的样本。
[0103]
网络性能评价：
[0104]
基于图像整体的评价指标是根据检测结果中是否存在病变来判断的，因此，此时一个图像会存在一个指示有无的标签。若预测结果与标签结果一致，则说明预测正确，因而这样的评价本质上是一个二分类的问题。使用操作者接受特性曲线性(receiver operating characteristic，roc)来判断网络模型的分类能力，将置信度阈值设为0.99。当
模型检测图像中存在置信度大于0.99的病变时，则认为此眼底图像存在该种病变。使用在测试集上auc(area under curve，roc曲线下方的面积大小)最高的模型作为最终采用的检测模型。
[0105]
眼底图片发送模块500，用于患者端发送待诊断的眼底图片到服务器端；
[0106]
诊断模块600，用于服务器端将待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到诊断结果，并发回到患者端。
[0107]
具体地，诊断模块600，具体包括：
[0108]
诊断单元，用于服务器端将待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到处理时间、病变的最大置信度，图像id和病变分割结果图。
[0109]
诊断结果发送单元，用于将处理时间、病变的最大置信度、图像id和病变分割结果图发回到患者端。
[0110]
为了方便将结果图像以json格式进行传输，从而提升系统识别标注结果的效率，还包括：
[0111]
结果图转换单元，用于将病变分割结果图转换成二进制图像；
[0112]
在这种情况下，诊断结果发送单元，包括：
[0113]
第一诊断结果发送子单元，用于将处理时间、病变的最大置信度、图像id发回到患者端。
[0114]
第二诊断结果发送子单元，用于将二进制图像先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中发回到患者端。
[0115]
参见图3，基于本发明实施例构建的用于糖尿病视网膜病变的辅助诊断系统包括网络服务端和手机小程序客户端。其中，网络服务端由四个模块组成：基于mask rcnn的视网膜眼底图像多病变分类模型、存储器、处理器和客户端接口。手机小程序客户端与网络服务端的客户端接口交互，客户端向网络服务端发送一个post请求，请求的内容为一个满足json格式的列表，其中包含了需要处理的几张眼底图片的地址、左右眼标签和图像的id。网络服务端使用处理器处理收到的post请求，将图像保存到网络服务端的存储器中。处理器调用之前训练好的基于mask rcnn的视网膜眼底图像多病变分类模型依次对图像队列进行病变检测，病变分割结果图保存到网络服务端的存储器中，返回给客户端结构化的结果说明，其中包括了处理时间、三种病变(糖尿病早期的渗出、出血和棉絮斑病变)的最大置信度、图像id和病变分割结果图。其中，处理时间从图片开始上传时开始计算，到网络输出结果为止；在网络输出的病变检测结果中，每个病变块都有置信度，将每种病变最大的置信度作为该种病变的置信度；图像id使用图像上传时的id；使用网络输出的分割结果图作为结果图。为了方便将结果图像以json格式进行传输，先将结果图转换成二进制，再将二进制图片先用base64库编码，再解码成utf-8格式，以字符串的形式放在json格式中传输。经处理后将分割好的渗出、出血、棉絮斑三种病变的图像以及辅助诊断说明显示在手机小程序客户端上。
[0116]
具体地，如图4所示，该辅助诊断系统的手机小程序客户端的操作说明如下：首先，医生进入小程序的医生端筛查入口，在筛查任务中选择一项，其中筛查任务以待筛查人员所在单位为标签，选择筛查任务后小程序跳转至筛查详情页面并显示出该筛查任务的所有
待筛查人员，医生选择其中的人员进行筛查，上传该待筛查人员双眼的眼底图像，小程序跳转至结果页面并提示等待检测结果，此时眼底图片和相关信息被发送至网络服务端进行处理，处理过后的病变分割图像将显示在小程序的结果页面，同时显示对三种病变存在情况的辅助诊断说明。
[0117]
本发明实施例在整体系统上使用了闭环轮回的设计，由于所有的诊断都在云服务器端系统中完成，手机小程序可以随时调用的同时，也保存在后台服务器中。而由于医生需要对每一张眼底照片均进行疾病判断、医疗诊断，因此，每一张上传的眼底照片都需要进行疾病分类。而这个任务又恰巧符合神经网络训练的特点，因此，将医生对眼底照片的解读作为图片的标注，将图片本身作为训练数据投入到下一轮的神经网络训练中。因此，从图片标注到图片处理，到神经网络训练与图片预测，最后交由医生进行诊断，将诊断的图片再度作为下一次神经网络模型的训练图片，对模型进行迭代训练。训练数据量越大，神经网络模型的预测结果就越准确，这也符合本系统的设计理念。
[0118]
患者登陆患者端可以随时通过手机小程序与医生端沟通交流，同时也可以查看自己的眼底照片与诊断结果。医生可以通过手持式眼底照相机对患者进行照相，而眼底照相机可以绑定相应医生，直接将拍摄完成的眼底照片上传到系统中。深度学习神经网络模型则根据设计好的网络结构，在训练图片的预处理和标注完成后进行训练。在系统正式上线后，大量的患者眼底照片和诊断结果都会被上传到系统中，这就相当于增加了训练数据的数量。因此，设定每隔一段时间或当存储的新数据增加一定数量后，就可以开展迭代训练的过程，以进一步增加神经网络模型的诊断精度。而医生需要对图像进行处理、预测时，则在系统中点击相应按钮，触发云端眼底图片处理模块就可以对上传的眼底图像进行检测、分割处理，并将处理结果传回到医生客户端。
[0119]
技术效果
[0120]
1、先由医疗端获取视网膜图像，并在视网膜图像中标注出眼底图像病变区域，再将标注好的视网膜图像发送到服务器端；服务器端将标注好的视网膜图像输入到基于mask rcnn的视网膜眼底图像多病变分类网络模型中训练直至模型收敛。接着由患者端发送待诊断的眼底图片到服务器端；服务器端将待诊断的眼底图片输入到训练完成的基于mask rcnn的视网膜眼底图像多病变分类网络模型中，得到诊断结果，并发回到患者端。本发明实施例基于图像识别技术实现了对糖尿病视网膜病变的诊断，提高了糖尿病视网膜病变的诊断准确性和诊断速度。
[0121]
2、基于mask rcnn的视网膜眼底图像多病变分类网络模型的骨架网络采用的是resnet-101，在骨架网络中的res4部分的最后一个模块前加入non-local模块，扩大了网络模型的感受野，使很远的像素也能建立联系，从而提高了语义信息的丰富度。
[0122]
本发明实施例设计了基于实例分割网络mask rcnn的多病变分类网络模型，并将其部署在服务器上，使医生可以通过手机小程序客户端上传患者眼底图片，服务器端自动检测返回结果，能够很好的用于实际的生活和工作中，减轻了医生的工作量，降低了误诊率，缩短了诊断周期，这些优点都能为及时诊断提供帮助。同时，还建立并形成了计算机辅助诊断网络系统，既收集了众多病例以方便医生相互学习，同时也能不断提升医生及计算机的诊断能力，从而提高检测准确度而降低糖尿病的致盲率，更重要的是将有助于实现整个社会的智慧医疗网络。而基于移动手持眼底照相机和微信小程序系统的结合，其便携性
和可移动的特点在对于偏远地域、基层医疗组织的眼科诊断也具有重要意义。
[0123]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0124]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0125]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0126]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0127]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0128]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。