一种基于光谱成像传感器的在线数据分析方法及装置

1.本发明涉及光学数据处理技术领域，尤其是一种基于光谱成像传感器的在线数据分析方法及装置。


背景技术：

2.光谱成像是一种将光谱技术和图像技术有机结合的成像方式，其图像采集传感器在获取目标物的图像的同时，具有光谱分辨的能力。光谱成像技术在世界范围内具有广泛的应用，各类研究机构和大型公司竞相开发的光谱成像仪器在海洋观察、牧场监测、农业等领域得到广泛应用，20世纪80年代中期就已有采用固态摄像机研制的光谱成像仪的报道随着ccd器件的技术日益成熟和商品化在90年代有了很多这方面的成功研究。随着mems技术的发展，越来越多的mems设备已经涉及到多个传感器领域，包括光学传感器和执行器，一些大型仪器也在逐渐小型化，集成化。
3.随着计算机技术与半导体技术的进步，以往只能依赖大型计算机运行的复杂算法现在可以运行在相对小型的计算机上而更有一些专门针对人工智能算法优化的边缘计算模块可以在保证一定算法运行效率的同时降低运算所需的硬件要求。而现有的一些小型化光谱成像设备往往只集成必要的电路和光谱成像传感器，而需要依赖计算机，数码相机等设备进行控制甚至供电。
4.近年来深度学习的方法在图像的超分辨率重建方面变现突出，因此将其运用在光谱图像的重建中是一个十分有潜力的研究方向，但由于深度学习的方法需要通过卷积神经网络实现，而神经网络的训练需要依赖大量高分辨率的样本，在实际应用中往往不能很方便的采集到高分辨率的参考图像，从而导致只能使用退化的图像来训练模型，使用退化的图像训练的模型去获取原始图像的融合结果，但是退化图像的融合过程并不能完整反映原始图像的融合过程，此过程获得的高分辨率光谱图像便会存在一定误差。
5.对于光谱成像设备在小型化，集成化与智能化的设计中，主要存在两种思路：
6.第一种是以光谱成像传感器与必要的控制电路为主体进行集成，形成一种仅具有数据采集功能的光谱成像设备，该类型的设备需要与计算机进行有线连接，通过计算机显示光谱成像设备视野范围的图像，控制光谱成像设备，采集数据。而采集的数据需要保存在与其相连的计算机中。
7.第二种是具有类似数码相机的集成思路，通常在第一种集成方案的基础上加入显示屏，电源与主控模块。该类型的光谱成像设备可以不依赖计算机进行独立的数据采集与存储通常与无人机等设备搭配使用。
8.现有的光谱图像融合方法主要包括非学习和学习两大类，基于非学习的融合方法中主要包括成分替代法和多分辨率分析法两类，成分替代法是对低分辨率的光谱图像进行某些特定的空间变换后，使用高分辨率的全色图像替换变换后的光谱图像的结构分量，之后再经过逆变换得到融合图像，较常用的有主成分分析法，gs法，his变换等方法。这类方法具有简单快速，能获得较好的空间细节的有点，但是通常会伴随一定程度的光谱失真。多分
辨率分析法是将从多种不同分辨率分解后提取的全色图像的细节注入至光谱图像中，常见的方法包括拉普拉斯金字塔，广义拉普拉斯，小波变换，分线性多分辨率分析法，非下采样轮廓波变换法，curvelet变换等。这类方法对于光谱信息的保持通常优于成分替换法，但是融合后的图像结构细节欠佳。


技术实现要素：

9.有鉴于此，本发明实施例提供一种基于光谱成像传感器的在线数据分析方法及装置。
10.本发明的一方面提供了一种基于光谱成像传感器的在线数据分析方法，包括：
11.通过智能光谱成像仪获取目标物体的光谱图像数据；
12.将所述光谱图像数据进行预处理，得到目标图像数据；
13.通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果；
14.将所述分析结果输入所述深度学习模型，对所述深度学习模型进行优化更新。
15.可选地，所述智能光谱成像仪包括主机、光谱成像传感器、环境感知模块、显示器、电源、光源以及按键模块；其中，所述主机包括边缘计算模块、无线通讯与数据传输模块以及数据存储模块；
16.所述通过智能光谱成像仪获取目标物体的光谱图像数据这一步骤，包括：
17.通过智能光谱成像仪的镜头和光谱滤光片将目标物体的光谱图像数据传输到光谱成像传感器；
18.对所述光谱图像数据进行模数转化后，存储在智能光谱成像仪的存储模块中；
19.其中，在采集光谱图像数据的过程中，将模块化设计的光源与智能光谱成像仪进行连接，通过光源控制系统对所述光源进行控制，调节所述光谱图像数据的亮度调节、频率调节以及照射角度。
20.可选地，所述将所述光谱图像数据进行预处理，得到目标图像数据，包括：
21.通过智能光谱成像仪的边缘计算模块对所述光谱图像数据进行预处理，所述预处理包括以下至少之一：一阶导数处理、min-max归一化处理、多元散射校正处理、标准正态变量变换处理以及savitzky-golay平滑处理。
22.可选地，所述通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果，包括：
23.对所述目标图像数据进行矫正配准，所述矫正配准包括像素级对齐和反射率矫正；
24.通过融合卷积神经网络分别对目标图像数据中的退化图像和原始图像进行融合训练；
25.其中，在对退化图像进行融合训练时使用监督训练方法；
26.在对原始图像进行融合训练时，设计光谱退化网络和空间退化网络对融合图像进行退化，之后再训练融合网络，并在融合训练过程中使用光谱损失。
27.可选地，所述通过融合卷积神经网络分别对目标图像数据中的退化图像和原始图像进行融合训练这一步骤包括训练过程和融合过程；
28.其中，在训练过程中，对光谱图像进行空间退化并以此训练空间退化网络，同时对光谱图像进行光谱退化来训练光谱退化网络；
29.在融合过程中，将退化后的光谱图像进行上采样，并和退化光谱图像输入融合网络，得到退化图像融合结果。
30.可选地，所述通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果这一步骤，还包括：
31.计算退化图像融合结果和退化融合参考图像之间的第一损失；
32.将光谱图像进行上采样并与正常全色图像输入融合网络，得到原始图像的融合结果后，分别输入到空间退化网络和光谱退化网络中，得到对应的退化图像；
33.计算空间退化图像与上采样光谱图像的第二损失，以及计算光谱退化图像与正常全色图像的第三损失；
34.根据所述第一损失、第二损失和第三损失，计算得到总损失；
35.根据所述总损失，结合误差后向传播对融合神经网络进行优化。
36.可选地，所述融合神经网络包括4个3*3卷积层和4个自适应多尺度模块；其中，第一个自适应多尺度模块中包含空洞卷积部分和自适应权重模块，所述空洞卷积部分中包含3个卷积核大小为3*3、扩张率分别为1，2，4的空洞卷积层和一个3*3卷积层；所述自适应权重模块包含一个平均池化层、一个全连接层、一个卷积层和一个relu卷积层。
37.本发明实施例的另一方面还提供了一种基于光谱成像传感器的在线数据分析装置，包括：
38.第一模块，用于通过智能光谱成像仪获取目标物体的光谱图像数据；
39.第二模块，用于将所述光谱图像数据进行预处理，得到目标图像数据；
40.第三模块，用于通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果；
41.第四模块，用于将所述分析结果输入所述深度学习模型，对所述深度学习模型进行优化更新。
42.本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
43.所述存储器用于存储程序；
44.所述处理器执行所述程序实现如前面所述的方法。
45.本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
46.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
47.本发明的实施例通过智能光谱成像仪获取目标物体的光谱图像数据；将所述光谱图像数据进行预处理，得到目标图像数据；通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果；将所述分析结果输入所述深度学习模型，对所述深度学习模型进行优化更新。本发明通过智能光谱成像仪进行光谱图像数据采集，具有较高的灵活性，可广泛应用于多种应用场景，另外，本发明智能光谱成像仪集成深度学习模型，
实现数据采集、数据存储以及数据分析的一站式处理流程，效率高且成本低。
附图说明
48.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明实施例的整体步骤流程图；
50.图2为本发明实施例提供的数据分析过程的步骤流程图；
51.图3为本发明实施例提供的空间退化网络的结构示意图；
52.图4为本发明实施例提供的光谱退化网络的结构示意图；
53.图5为本发明实施例的融合过程示意图；
54.图6为本发明实施例的融合网络的结构示意图。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
56.针对现有技术存在的问题，本发明实施例的一方面提供了一种基于光谱成像传感器的在线数据分析方法，如图1所示，包括：
57.通过智能光谱成像仪获取目标物体的光谱图像数据；
58.将所述光谱图像数据进行预处理，得到目标图像数据；
59.通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果；
60.将所述分析结果输入所述深度学习模型，对所述深度学习模型进行优化更新。
61.可选地，所述智能光谱成像仪包括主机、光谱成像传感器、环境感知模块、显示器、电源、光源以及按键模块；其中，所述主机包括边缘计算模块、无线通讯与数据传输模块以及数据存储模块；
62.所述通过智能光谱成像仪获取目标物体的光谱图像数据这一步骤，包括：
63.通过智能光谱成像仪的镜头和光谱滤光片将目标物体的光谱图像数据传输到光谱成像传感器；
64.对所述光谱图像数据进行模数转化后，存储在智能光谱成像仪的存储模块中；
65.其中，在采集光谱图像数据的过程中，将模块化设计的光源与智能光谱成像仪进行连接，通过光源控制系统对所述光源进行控制，调节所述光谱图像数据的亮度调节、频率调节以及照射角度。
66.可选地，所述将所述光谱图像数据进行预处理，得到目标图像数据，包括：
67.通过智能光谱成像仪的边缘计算模块对所述光谱图像数据进行预处理，所述预处理包括以下至少之一：一阶导数处理、min-max归一化处理、多元散射校正处理、标准正态变量变换处理以及savitzky-golay平滑处理。
68.可选地，所述通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果，包括：
69.对所述目标图像数据进行矫正配准，所述矫正配准包括像素级对齐和反射率矫正；
70.通过融合卷积神经网络分别对目标图像数据中的退化图像和原始图像进行融合训练；
71.其中，在对退化图像进行融合训练时使用监督训练方法；
72.在对原始图像进行融合训练时，设计光谱退化网络和空间退化网络对融合图像进行退化，之后再训练融合网络，并在融合训练过程中使用光谱损失。
73.可选地，所述通过融合卷积神经网络分别对目标图像数据中的退化图像和原始图像进行融合训练这一步骤包括训练过程和融合过程；
74.其中，在训练过程中，对光谱图像进行空间退化并以此训练空间退化网络，同时对光谱图像进行光谱退化来训练光谱退化网络；
75.在融合过程中，将退化后的光谱图像进行上采样，并和退化光谱图像输入融合网络，得到退化图像融合结果。
76.可选地，所述通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果这一步骤，还包括：
77.计算退化图像融合结果和退化融合参考图像之间的第一损失；
78.将光谱图像进行上采样并与正常全色图像输入融合网络，得到原始图像的融合结果后，分别输入到空间退化网络和光谱退化网络中，得到对应的退化图像；
79.计算空间退化图像与上采样光谱图像的第二损失，以及计算光谱退化图像与正常全色图像的第三损失；
80.根据所述第一损失、第二损失和第三损失，计算得到总损失；
81.根据所述总损失，结合误差后向传播对融合神经网络进行优化。
82.可选地，所述融合神经网络包括4个3*3卷积层和4个自适应多尺度模块；其中，第一个自适应多尺度模块中包含空洞卷积部分和自适应权重模块，所述空洞卷积部分中包含3个卷积核大小为3*3、扩张率分别为1，2，4的空洞卷积层和一个3*3卷积层；所述自适应权重模块包含一个平均池化层、一个全连接层、一个卷积层和一个relu卷积层。
83.本发明实施例的另一方面还提供了一种基于光谱成像传感器的在线数据分析装置，包括：
84.第一模块，用于通过智能光谱成像仪获取目标物体的光谱图像数据；
85.第二模块，用于将所述光谱图像数据进行预处理，得到目标图像数据；
86.第三模块，用于通过深度学习模型对所述目标图像数据进行预测处理，得到所述目标物体的分析结果；
87.第四模块，用于将所述分析结果输入所述深度学习模型，对所述深度学习模型进行优化更新。
88.本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
89.所述存储器用于存储程序；
90.所述处理器执行所述程序实现如前面所述的方法。
91.本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
92.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
93.下面结合说明书附图，对本发明的具体实施过程进行详细描述：
94.本发明在现有技术的数码相机的集成思路的基础上加入基于深度学习算法的智能数据分析与无线数据传输功能，使光谱成像设备具有在线与智能化的特点。
95.本发明的目的是设计出一种mems传感器的具有无线通讯与数据传输功能的，并可以基于深度学习算法进行数据分析的不依赖其他终端设备的在线式智能光谱成像仪。
96.本发明提出的在线式智能光谱成像仪，由硬件与软件两部分；其中硬件部分包括主机，光谱成像传感器，环境感知模块，显示器，电源，光源，按键等部分。主机为边缘计算模块，无线通讯与数据传输模块，数据存储模块。软件部分包括设备操作系统，数据采集系统，数据分析系统，光源控制系统，通讯与数据传输系统。
97.通过本发明的在线智能光谱成像仪可以采集物体的特定波段(例如700nm-900nm)内十个特定频率的光谱图像，即图像中的各像素点均包含某特定频率的光谱信息，且该仪器每次可以采集十幅这样记录特定频率光谱信息的图像，通过光谱成像仪内的深度学习算法对数据进行预设的处理，并与数据库进行比对，从而得到分类结果或定量分析结果。示例性的，本发明可以应用在植物叶绿素含量的检测场景、陈皮年份鉴别场景等场景下，通过本发明的光谱成像仪采集的数据进行处理，可以得到植物叶绿素分布信息，与数据库种相关数据进行比对可以得到叶绿素含量信息，从而判断植物生长状况；在陈皮年份鉴别中，根据将陈皮的光谱图像数据与已采集得到的数据集比对判断陈皮年份。智能光谱成像仪的工作的基本流程为：图像采集；对原始图像进行预处理；深度学习模型可以根据预处理后的图像进行结果预测；同时可以根据预测结果将数据通过设备的无线数据传输模块进行上传分析优化深度学习模型。
98.因此，本发明的核心流程包括四个步骤，分别是数据采集，数据存储，智能数据分析与数据传输，下面依次展开描述。
99.1、数据采集
100.被拍摄物体的光谱图像数据通过镜头、光谱滤光片到达光谱成像传感器模块，通过模数转化被记录。该设备的镜头采用可拆卸式设计，可以根应用场景进行更换。在采集数据时还可以根据需要使用模块化设计的补光光源，光源可以通过与在线式智能光谱成像仪连接，被光源控制系统控制，可以实现亮度调节，频率调节以及照射角度的调节。
101.2、数据存储
102.通过光谱成像传感器模块采集的数据存储于数据存储模块。数据可以存储在边缘计算模块中自带的数据存储器中，也可以通过存储卡扩展设备的存储容量，实现数据灵活存储。
103.3、数据分析
104.通过调用边缘计算模块中的深度学习模型对数据存储模块中的数据进行智能分
析。采用离线的深度学习模型可以对数据进行预设的处理，因此不需要依赖第三方终端设备，并且可以根据应用场景将不同的深度学习模型预存至边缘计算模块中，实现根据应用场景灵活切换数据处理方式。通过后台算法库可以对设备中的深度学习模型进行升级优化，完成更高效准确的数据分析。
105.其中，对于数据的预设的处理，指的是由深度学习模型进行的图像融合处理以及设备内置的图像预处理算法。由于光谱图像数据具有光谱数据和图像数据各自的特点，通常的图像预处理方法可以适用于对光谱图象的图像维度的处理，例如图像分割、图像配准等；而对于光谱数据通常可以采用一阶导数处理、min-max归一化、多元散射校正(msc)、标准正态变量变换(snv)、savitzky-golay平滑等方式。上述算法均可集成在智能光谱成像仪的边缘计算模块中。
106.下面对数据分析过程中的具体处理过程进行说明：
107.先对采集的图像数据进行矫正配准等操作，以消除图像在分辨率等方面的不同，之后进入融合阶段。融合阶段的整体结构是使用同一个融合卷积神经网络对退化图像和原始图像进行训练，很大程度上改善了融合性能，在对退化图像进行融合时使用常规监督训练方法，在对原始图像进行融合时，不适用高分辨率图像进行参考，因此设计光谱退化网络和空间退化网络对融合图像进行退化，之后再训练融合网络。为了获得整体较好的融合效果，使用光谱损失，在提高融合性能的同时，使光谱信息得到较好的保持且不增加网络的计算量。算法整体结构如图2所示。
108.整个方法包含训练过程和实际的融合过程，训练过程对光谱图像进行空间退化并以此训练空间退化网络，同时对光谱图像进行光谱退化来训练光谱退化网络。将退化后的光谱图像进行上采样，并和退化光谱图像输入融合网络，得到退化图像融合结果。计算退化图像融合结果和退化融合参考图像之间的损失a。将光谱图像进行上采样并与正常全色图像输入融合网络，得到原始图像的融合结果，再分别输入到空间退化网络和光谱退化网络中，得到对应的退化图像，再分别计算空间退化图像与上采样光谱图像的损失c和光谱退化图像与正常全色图像的损失b。将损失a，b，c求和即可得到总损失。利用误差后向传播优化整个网络。
109.实际的融合过程如图5所示，融合网络结构如图6所示，在实际融合部分，将上采样光谱图像与正常原色图像直接输入训练好的融合网络即可得到更高分辨率的光谱图像。
110.需要说明的是，本发明实施例中的矫正配准过程包括对各波段图像进行像素级对齐和反射率矫正，其中像素级对齐的目的是为了消除由轻微抖动引起的各波段图像的模糊问题，像素级对齐处理的公式为：
[0111][0112]
式中(x,y)表示选定的特征像素点，s(x,y)表示该特征点在原图像中的位置，g(x
′
,y
′
)表示该像素点在变换后的图像中的位置，m为一个3
×
3的转换矩阵。
[0113]
经过矫正后，各光谱波段的图像可以实现像素级对齐，此时进行第二步反射率矫正。
[0114]
反射率矫正是为了消除由于光照不均匀等外界环境因素的影响，智能光谱成像仪相机内部保留传感器未感光时记录的全黑色参考数据和由一张覆盖智能光谱成像仪全视
野的标准反射板提供的全白色参考数据，由这两个事先保存的数据并根据下列公式进行反射率矫正：
[0115][0116]
其中，i表示校正后的数据，i0表示原始图像数据，w表示全白参考数据(反射率约为99％)，b表示全黑色参考数据(反射率约为0％)。
[0117]
本发明实施例的训练过程描述如下：
[0118]
根据残差思想对多光谱图像进行空间退化来训练空间退化网络，并同时利用卷积神经网络的非线性特点对多光谱图像进行光谱退化来训练光谱退化网络。
[0119]
在退化图像融合部分，使用退化上采样多光谱图像与退化光谱图像输入融合网络后得到退化图像融合结果，将该结果与退化参考图像联合得到损失a。
[0120]
在原始图像融合部分，将上采样多光谱图像与正常全色图像输入融合网络后，得到原始图像融合结果，将该结果分别输入光谱退化网络和空间退化网络分别得到光谱退化图像和空间退化图像，将光谱退化图像与正常全色图像联合可以得到损失b；将空间退化图像与上采样多光谱图像联合可以得到损失c；
[0121]
另外，关于空间退化网络和光谱退化网络：
[0122]
如图3所示，空间退化网络由一个9*9卷积层和两个5*5卷积层组成，原始图像融合结果与其经过空间退化网络的各卷积层后的结果做差得到空间退化图像。空间退化图像由光谱图像与其经过如图3所示的3个卷积层后的图像做差得到的。
[0123]
如图4所示，光谱退化网络有两个分支，其中一个包括一个5*5卷积层和两个3*3卷积层，另一个分支是一个1*1卷积层，将原始图像融合结果分别经过这两个分支后的输出进行求和得到的是光谱退化图像。光谱退化图像由经过1*1卷积层的光谱图像与经过3个卷积层的光谱图像求和得到。
[0124]
关于损失函数：首先引入光谱损失函数的定义。通常基于卷积神经网络的图像融合方法常采用均方差描述损失，但均方差缺乏光谱波段之间的相关性会导致光谱的扭曲变形，为减小光谱失真，在退化图像融合部分加入光谱损失函数：
[0125][0126]
其中，ls表示光谱损失函数；h和w分别表示图像以像素为单位的高度和宽度(融合图像和参考图像具有相同的空间尺寸)；y表示退化图像融合结果；x表示退化融合参考图像；《
·
,
·
》表示内积；||
·
||2表示矩阵2范数，i，j表示空间坐标；
[0127]
该光谱损失函数表征了融合图像与参考图像之间的差异。
[0128]
损失a表示为：
[0129]
la＝||y-x||f+ls[0130]
其中，||
·
||f表示frobenius范数
[0131]
损失b表示为：
[0132]
lb＝||y
ux-ux||f[0133]
其中，ux表示上采样多光谱图像，y
ux
表示空间退化图像
[0134]
损失c表示为：
[0135]
lc＝||y
o-o||f[0136]
其，中o表示正常全色图像，yo表示光谱退化图像
[0137]
总损失表示为：
[0138]
l＝la+lb+lc[0139]
融合网络的优化就是通过总损失利用反向传播实现的。
[0140]
4、通讯与无线数据传输
[0141]
通讯与无线数据传输模块可以将原始数据与分析结果进行上传从而与其他终端进行远程实时联动。当设备与第三方终端设备进行联动时，可以将数据在设备本地进行预处理后调用在线算法库中的算法以及远程计算资源进行分布式数据分析，提供数据分析的效率。
[0142]
综上所述，相较于现有技术，本发明具有以下特点：
[0143]
1.本发明提出的在线式智能光谱成像仪具有独立完成数据采集、分析、共享的特点。
[0144]
2.本发明提出的在线式智能光谱成像仪集成深度学习算法，可以实现数据的离线智能分析，且深度学习模型可以实现在线更新。
[0145]
3.本发明使用的一种基于自适应卷积神经网络的光谱图像融合重构算法。
[0146]
本发明的整体效果包括：
[0147]
1.采用高度集成的设计使光谱成像仪具有较高的部署灵活性，可以针对多种应用场景进行快速部署。
[0148]
2.集成深度学习算法进行数据处理，使设备在不依赖第三方终端设备的前提下具有强大的数据分析能力，实现从数据采集，数据存储到数据分析的一站式处理流程。
[0149]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0150]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0151]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0152]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0153]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编辑只读存储器(eprom或闪速存储器)、光纤装置以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0154]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0155]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0156]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0157]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。