水下生物检测与识别方法、装置、服务器及终端设备与流程

本发明属于图像处理技术领域，尤其涉及一种水下生物检测与识别方法、装置、服务器及终端设备。

背景技术：

当前非法、无序的渔业捕捞严重威胁海洋生态环境，尤其是近海水下生物的生存环境不断恶化。为了保护海洋生态环境的生态平衡，有关部门和组织已经开始采取相应的措施改善近海水下生物的生态环境。在改善近海水下生物的生态环境的过程中，需要定期对近海水下生物进行类别识别和数量统计，完成对近海水下生物资源的资源统计。由于水下生物种类的繁杂，在对获取的水下生物数据进行分析时往往需要基于专业人士的经验做出正确的判断，这种人工参与水下生物资源的统计方式需要耗费大量的人力和时间，并且水下生物识别准确率较低。

技术实现要素：

有鉴于此，本发明提供了一种水下生物检测与识别方法、装置、服务器及终端设备，以解决现有技术中采用的人工参与水下生物资源的统计的方式需要耗费大量的人力和时间，并且水下生物识别准确率较低的问题。

本发明第一方面提供了一种水下生物检测与识别方法，包括：

获取水下拍摄图像数据；

根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

基于识别出的水下生物进行水下生物资源分类和计数；

输出所述水下生物资源分类和计数的结果。

本发明第二方面提供了一种水下生物检测与识别装置，包括：

数据采集单元，用于获取水下拍摄图像数据；

检测和识别单元，用于根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

分类统计单元，用于基于识别出的水下生物进行水下生物资源分类和计数；

用户界面展示单元，用于输出所述水下生物资源分类和计数的结果。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取水下拍摄图像数据；

根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

基于识别出的水下生物进行水下生物资源分类和计数；

输出所述水下生物资源分类和计数的结果。

本发明第四方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

接收终端设备上传的水下图像拍摄数据；

根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

基于识别出的水下生物进行水下生物资源分类和计数；

输出所述水下生物资源分类和计数的结果。

本发明第五方面提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

对水下生物进行拍摄，获取水下图像拍摄数据；

根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

基于识别出的水下生物进行水下生物资源分类和计数；

输出所述水下生物资源分类和计数的结果。

本发明的有益效果是：

本发明由于通过获取水下拍摄图像数据；根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；基于识别出的水下生物进行水下生物资源分类和计数；输出所述水下生物资源分类和计数的结果，从而可以快速、准确的统计出图像中水下生物的种类，减少了人工参与，不仅节省了人力和时间成本，而且还提高了水下生物识别的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的水下生物检测与识别方法的实现流程示意图；

图2是本发明另一实施例提供的水下生物检测与识别方法的实现流程示意图；

图3是本发明实施例提供的水下生物检测与识别装置的结构示意图；

图4是本发明另一实施例提供的水下生物检测与识别装置的结构示意图；

图5是本发明实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1是本发明实施例提供的水下生物检测与识别方法的实现流程示意图。参见图1所示，本实施例提供的水下生物检测与识别方法的实现流程详述如下：

步骤S101，获取水下拍摄图像数据。

需要说明的是，本实施例提供的水下生物检测与识别方法的执行主体可以为服务器也可以为终端设备，当执行主体为服务器时，所述步骤S101具体包括：接收终端设备上传的水下拍摄图像数据；当执行主体为终端设备时，步骤S101具体包括：对水下生物进行拍摄，获取水下图像拍摄数据。

在本实施例中，在获取到水下水下拍摄图像数据后，可以通过底层图像处理技术去除由于水底光照分布不均所产生的噪声，调整拍摄图像数据的对比度，这样有利用后续对拍摄图像数据中水下生物的检测与识别。

步骤S102，根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物。

在本实施例中，在步骤S101之前还包括：

获取水下生物的训练数据集；

选取深度神经网络的基础模型，调整所述基础模型的网络参数，对所述训练数据集进行训练，得到所述水下生物的深度神经网络模型。

在本实施例中，所述获取水下生物的训练数据集包括但不限于获取指定的各种近海水下生物的训练数据集。具体的：可预先收集相关近海水下生物图片，对收集到的图片根据类别先进行人工分类、筛选等过程，完成前期准备工作。根据数据整理流程，获取每一个类别的水下生物所对应的所有水下生物图片，将该水下生物所对应的所有水下生物图片作为该类水下生物所对应的训练数据，输入至水下生物检测与识别装置。

在本实施例中，在获取各水下生物对应的深度神经网络基础模型后，还需要根据任务的需求、数据的特性等多方面对基础模型的网络参数进行相应的调整。其中，所述网络参数包括但不限于学习率、学习策略以及批量大小等。

优选的，在本实施例中，所述网络参数包括学习率和批量大小。其中，学习率的选择涉及到深度神经网络每次参数更新的数值变化范围，学习率的选择的适当与否决定了网络是否能够有效地快速收敛；由于深度神经网络采取了随机梯度下降法近似梯度计算，每次处理的数据数量大小直接影响到算法的随机性，在计算资源允许的情况下，设置较大的批量能够为深度神经网络的收敛带来更大的随机性，促使深度神经网络在收敛时能够跳出局部极值点，得到较好的网络模型。优选的，在本实施例中，通过反向传播算法调整所述深度神经网络基础模型的网络参数。

鉴于水下生物检测与识别的复杂性，不同水下生物在外形、大小、颜色等诸多形态特征上存在差异，而且大多水下生物的形态差异往往集中在局部区域，不易区分，因此选择深层网络能够对原图像提取丰富、有代表性的特征显得尤为重要。在本实施例中，选取快速多框检测器(Single Shot Multibox Detector，SSD)作为深度神经网络的基础模型，通过对模型进行调整以满足水下生物自动检测和识别的任务需求。需要说明的是，所述深度神经网络的基础模型包括所述SSD但不限于该框架。

所述SSD以标准的卷积层、池化层以及激活函数作为网络的基础框架，卷积层通过在输入的水下生物图像上完成卷积操作产生不同的输出图像，产生不同特性的特征图，模拟特征提取的过程；池化层按照一定的规则对输入图像进行下采样的操作，减少图像空间信息中的冗余部分；激活函数通过对特征图像中的每个元素取值范围作出限定，保证结果数值取值在合理的范围之内。基于上述的深度神经网络的基础框架，SSD选取VGG16网络模型作为检测和识别网络的主要卷积架构，在网络的输出部分输出每个可能物体的边框信息以及所属类别。其中，所述SSD包括但不限于VGG16网络模型，还可以使用ResNet或BN-Inception等网络模型进行替换。

优选的，在本实施例中，步骤S102具体包括：

根据所述预先训练的深度神经网络模型提取出训练数据集中水下生物的的多层卷积网络特征图；

对所述水下生物的多层卷积特征图进行融合，得到所述水下生物的多层卷积特征融合图；

根据所述水下生物的多层卷积特征融合图检测拍摄图像数据中所包括的水下生物，并识别出所述水下生物的种类。

在本实施例中，采用了对不同深度的卷积网络的特征图进行融合。在不同深度的卷积层中，将该层的相邻的特征图分别进行对应的上采样和下采样操作，统一不同特征图的分辨率，完成特征融合。这样可以极大地丰富深度神经网络中检测模块获取到的特征信息，有利用提高检测模块对检测边框输出的准确率。同时，多卷积特征融合的这种策略，也能在一定程度上增加单一深度卷积神经网络对不同尺度的水下物体的敏感度。

步骤S103，基于识别出的水下生物进行水下生物资源分类和计数。

在本实施例中，在识别所述拍摄图像数据中出水下生物后，即可基于识别结果进行水下生物资源分类和统计。

步骤S104，输出所述水下生物资源分类和计数的结果。

在本实施例中，步骤S104具体包括：将所述水下生物资源分类和计数的结果通过显示设备进行显示，向用户实时展示水下资源统计结果。

优选的，在本实施例中，在整个水下生物检测与识别过程中还可以提供可视化的界面为用户展示图像中目标水下生物的相关信息，例如：目标水下生物在图像中的位置坐标、目标个体大小等，以提升与用户的交互友好性。

以上可以看出，本实施例提供的水下生物检测与识别方法由于通过获取水下拍摄图像数据；根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；基于识别出的水下生物进行水下生物资源分类和计数；输出所述水下生物资源分类和计数的结果，从而可以快速、准确的统计出图像中水下生物的种类，减少了人工参与，不仅节省了人力和时间成本，而且还提高了水下生物识别的准确率。

图2是本发明另一实施例提供的水下生物检测与识别方法的实现流程示意图。参见图2所示，本实施例提供的水下生物检测与识别方法包括以下步骤：

步骤S201，获取所述水下生物的训练集，对所述水下生物的训练数据集中的原始图像进行多尺度的缩放，得到所述水下生物在不同尺度下所对应的训练数据集。

在本实施例中，所述获取各种水下生物的训练数据集包括但不限于获取指定的各种近海水下生物的训练数据集。具体的：可预先收集相关近海水下生物图片，对收集到的图片根据类别先进行人工分类、筛选等过程，完成前期准备工作。根据数据整理流程，获取每一个类别的水下生物所对应的所有水下生物图片，将该水下生物所对应的90％的水下生物图片作为该类水下生物所对应的训练数据集，输入至水下生物检测与识别装置；同时将剩下的10％的水下生物图片数据保留作为验证数据，用于在实现过程中发现最优的网络参数。

步骤S202，选取深度神经网络的基础模型，调整所述基础模型的网络参数，对所述水下生物在不同尺度下所对应的训练数据集进行训练，得到所述水下生物在不同尺度下对应的深度神经网络模型。

在本实施例中，对水下生物原始图像进行多尺度缩放，将同一批数据变换成不同尺度的多批图像，后期针对不同尺度的图像训练相应的深度神经基础网络。

优选的，在本实施例中，在步骤S202之后包括：

步骤S203，获取测试图像数据。

在本实施例中，所述测试图像数据为在对训练得到的深度神经网络进行测试的阶段采用摄像装置在水里实际采集的水下生物图像数据。

步骤S204，采用不同尺度下对应的深度神经网络模型检测所述测试图像数据中的水下生物。

在本实施例中，通过采用所述测试图像数据对深度神经网络模型进行测试，这样可以评估出所述深度神经网络模型识别的准确性。

步骤S205，将不同尺度下对应的深度神经网络模型对每一张测试图像输出的检测框进行合并，通过非极大值抑制算法去除重合的检测框。

在本实施例中，由于前期将水下生物原始图像进行多尺度的缩放，后期根据不同数据尺度训练相应的深度神经网络，不同的深度神经网络对不同的尺度的图像有着不同的识别能力，在测试阶段，进行多模型融合，将多个模型的检测框合并，并运用非极大值算法去除重合的检测框，得到最终的检测框，这样可以提升深度卷积神经网络对不同尺度水下生物物体的检测敏感度，使得深度神经网络模型能够应对与水下生物不同尺度的变化。

优选的，在本实施例中，在对所述训练数据集进行训练的过程还包括：

在所述深度神经网络的基础模型的基础上增加网络分支，对深度神经网络学习得到的特征图进行归一化处理，得到显著图；

将所述显著图与所述特征图对应元素进行乘积运算，得到去除无关背景信息的特征图。

鉴于水下生物图像中一般混杂着复杂的水下环境背景，本实施例中采用利用显著图去除无关的背景信息，可以提升深度神经网络学习信息的有效性。

本实施例中，在深度神经网络的基础模型的基础上，通过增加网络分析，在该分支上添加包括但不限于卷积层、池化层、激活函数等基础构件，对学习得到的特征图经过逻辑函数(sigmoid函数)进行归一化，得到归一化的显著图。然后，将归一化后得到的显著图与原始图像的特征图进行乘积运算，经过点乘算法完成了前景与背景的分离过程。显著图生成网络使用了上述基础构件依次或多次组合，对应于传统图像处理的分割过程，将前景提取同和到了深度神经网络端到端的训练过程，这样可以避免多步骤分割过程带来的误差积累，提供各水下生物所对应的深度神经网络模型的可靠性，有利于提成后期图像识别的性能。

本实施例中的步骤S206～步骤S209由于分别与上一实施例中步骤S101～步骤S104的实现方式完全相同，因此在此不再赘述。

以上可以看出，相对于上一实施例，本实施例提供的水下生物检测与识别方法由于将原始图像进行多尺度的缩放，同时训练多个神经网络，让深度神经网络对不同尺度的图像有不同的识别能力，后期将多个网络对图片输出的检测框进行融合，从而能后提升深度神经网路的性能；另外，由于利用显著图网络模块引导对水下生物图像前景内容进行关键定位，抑制图像中的背景无关信息，从而可以提高深度神经网络对特征的有效提取，进一步提升了后续的水下生物图像识别的准确性。

图3是本发明实施例提供的水下生物检测与识别装置的结构示意图。为了便于说明仅仅示出了与本实施例相关的部分。

参见图3所示，本实施例提供的水下生物检测与识别装置3包括：

数据采集单元31，用于获取水下拍摄图像数据；

检测和识别单元32，用于根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

分类统计单元33，用于基于识别出的水下生物进行水下生物资源分类和计数；

用户界面展示单元34，用于输出所述水下生物资源分类和计数的结果。

可选的，所述水下生物检测与识别装置3还包括第一训练单元35，用于：

获取水下生物的训练数据集；

选取深度神经网络的基础模型，调整所述基础模型的网络参数，对所述训练数据集进行训练，得到所述水下生物的深度神经网络模型。

可选的，参见图4所示，所述水下生物检测与识别装置3还包括第二训练单元36，用于：

获取水下生物的训练数据集，对所述水下生物的训练数据集中的原始图像进行多尺度的缩放，得到所述水下生物在不同尺度下所对应的训练数据集；

选取深度神经网络的基础模型，调整所述基础模型的网络参数，对所述水下生物在不同尺度下所对应的训练数据集进行训练，得到所述水下生物在不同尺度下对应的深度神经网络模型。

可选的，所述水下生物检测与识别装置3还包括测试单元37，用于

获取测试图像数据；

采用不同尺度下对应的深度神经网络模型检测所述测试图像数据中的水下生物；

将不同尺度下对应的深度神经网络模型对每一张测试图像输出的检测框进行合并，通过非极大值抑制算法去除重合的检测框。

可选的，所述水下生物检测与识别装置3还包括显著图处理单元38，用于：

在所述深度神经网络的基础模型的基础上增加网络分支，对深度神经网络学习得到的特征图进行归一化处理，得到显著图；

将所述显著图与所述特征图对应元素进行乘积运算，得到去除无关背景信息的特征图。

可选的，所述检测和识别单元32具体用于：

根据所述预先训练的深度神经网络模型提取出训练数据集中水下生物的的多层卷积网络特征图；

对所述水下生物的多层卷积特征图进行融合，得到所述水下生物的多层卷积特征融合图；

根据所述水下生物的多层卷积特征融合图检测拍摄图像数据中所包括的水下生物，并识别出所述水下生物的种类。

需要说明的是，本发明实施例提供的上述水下生物检测与识别装置的各个单元，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。并且，上述装置可以用于服务器一侧，实现对终端设备上传的水下拍摄图像数据进行分析处理，获取水下资源统计结果；也可以用于终端设备侧，使终端设备在水下对其采集到的水下生物拍摄图像数据进行分析处理，得到水下资源统计结果。

因此，可以看出，本发明实施例提供的水下生物检测与识别装置同样可以快速、准确的识别出图像中水下生物的种类，减少了人工参与，不仅节省了人力和时间成本，而且还提高了水下生物识别的准确率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以由计算机读取并执行，实现本发明实施例所描述方案的效果。因此，本发明还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时可以实现以下步骤：

获取水下拍摄图像数据；

根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

基于识别出的水下生物进行水下生物资源分类和计数；

输出所述水下生物资源分类和计数的结果。

上述所述的方法或装置或计算机可读存储介质可以用于服务器中。所述的服务器可以是单独的服务器，也可以是多台应用服务器组成的系统集群，也可以是分布式系统中的服务器，在一具体实施例中，所述服务器可以包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令是实现以下步骤：

接收终端设备上传的水下图像拍摄数据；

根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

基于识别出的水下生物进行水下生物资源分类和计数；

输出所述水下生物资源分类和计数的结果。

上述所述的方法或装置或计算机可读存储介质可以用于终端设备侧，由终端设备侧来实现对水下生物资源的统计。图5示出了本发明实施例提供的终端设备的结构示意图。参见图5所示，所述终端设备5，包括存储器51、处理器50以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现以下步骤：

对水下生物进行拍摄，获取水下图像拍摄数据；

根据预先训练的深度神经网络模型对所述拍摄图像数据进行检测，识别出所述拍摄图像数据中的水下生物；

基于识别出的水下生物进行水下生物资源分类和计数；

输出所述水下生物资源分类和计数的结果。

示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述水下生物检测与识别装置中的执行过程。

所述终端设备5可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备5还可以包括输入输出设备、网络接入设备、总线等。

所称处理器50可以是图形处理器(Graphics Processing Unit，GPU)，中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5装置的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

尽管本申请内容中提到采用深度神经网络检测、水下生物的图像识别和分类等之类的数据模型构建、数据获取、交互、计算、判断等描述，但是，本申请并不局限于必须是符合行业通信标准、标准数据模型、计算机处和存储规则或本申请实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本申请的可选实施方案范围之内。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。