自然场景文本识别方法、装置、设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种自然场景文本识别方法、装置、设备及存储介质。


背景技术：

2.自然场景文本识别(scene text recognition，str)包括两个紧密相连的子任务：场景文字检测任务和场景文字识别任务。场景文字检测任务用于对图像中文字实例的位置进行定位，场景文字识别任务用于对已定位的文字实例进行识别。
3.目前，主要基于resnet、mobilenet和bilstm等深度神经网络实现str，并能够在传统数据集上取得良好效果，但在恶劣环境(如雨天、雾天等弱光环境)时所获得的图像可视性差和色彩失真，同时所要识别的目标较小，导致str任务难度增大，容易造成漏检或错检，从而导致识别精度降低。


技术实现要素：

4.本技术提供了一种自然场景文本识别方法、装置、设备及存储介质，以解决在恶劣环境下文本识别精度差的技术问题。
5.为了解决上述技术问题，第一方面，本技术提供了一种自然场景文本识别方法，包括：
6.获取自然场景图像；
7.利用预设滤波器，对自然场景图像进行图像增强，得到目标图像，预设滤波器包括多个可微滤波器，可微滤波器包含可微超参数，可微超参数为利用预设参数预测器根据自然场景图像样本预测得到，自然场景图像样本包括在恶劣环境下采集到的图像样本；
8.利用预设的自然场景文本识别模型，对目标图像进行文字检测和文字识别，得到自然场景图像中的文字信息。
9.作为优选，可微滤波器包括除雾滤波器、像素级滤波器和锐化滤波器，利用预设滤波器，对自然场景图像进行图像处理，得到目标图像，包括：
10.利用除雾滤波器，对自然场景图像进行除雾处理；
11.利用像素级滤波器，对自然场景图像进行像素级处理，像素级处理包括白平衡处理、亮度处理和/或对比度处理；
12.利用锐化滤波器，对自然场景图像进行锐化处理；
13.将除雾处理、像素级处理和锐化处理后的自然场景图像作为目标图像。
14.作为优选，除雾滤波器为：
[0015][0016]
其中j(x)为除雾处理后的自然场景图像，i(x1)为除雾处理前的自然场景图像，a为全局大气光常数，t(x,ω)为在可微超参数ω时的透射率。
[0017]
作为优选，像素级滤波器为：
[0018]
p
o1
＝(wrri,wggi,wbbi)；
[0019]
p
o2
＝p
1xg
；
[0020]
p
o3
＝αen(p
2x
)+(1-α)p
2x
；
[0021]
其中，p
o1
为白平衡处理后的自然场景图像，p
o2
为亮度处理后的自然场景图像，p
o3
为对比度处理后的自然场景图像，(wr,wg,wb)为白平衡处理前的自然场景图像的rgb通道对应的可微超参数，(ri,gi,bi)为自然场景图像的白平衡处理前的自然场景图像的rgb通道值，p
1x
为亮度处理前的自然场景图像，g为亮度处理对应的可微超参数，p
2x
为对比度处理前的自然场景图像，α为对比度处理对应的可微超参数，en为映射函数。
[0022]
作为优选，锐化滤波器，包括：
[0023]
f(x,λ)＝i(x2)+λ(i(x2)-gau(i(x2)))；
[0024]
其中，f(x,λ)为锐化处理后的自然场景图像，i(x2)为锐化处理前的自然场景图像，λ为锐化处理对应的可微超参数，gau为高斯滤波器。
[0025]
作为优选，利用预设参数预测器根据自然场景图像样本预测可微超参数，包括：
[0026]
利用预设的轻量型卷积神经网络，对自然场景图像样本进行特征提取，得到自然场景图像的全局特征，全局特征包括雾化特征、白平衡特征、亮度特征、对比度特征和/或锐化特征；
[0027]
对全局特征进行全连接，输出超参数集合，超参数集合中的各个元素对应于各个可微滤波器的可微超参数。
[0028]
作为优选，利用预设的自然场景文本识别模型，对目标图像进行文字检测和文字识别，得到自然场景图像中的文字信息，包括：
[0029]
利用自然场景文本识别模型中的文字检测网络，定位自然场景图像的文字位置；
[0030]
利用自然场景文本识别模型中的文字识别网络，对自然场景图像的文字位置进行文字识别，得到自然场景图像中的文字信息。
[0031]
第二方面，本技术提供一种自然场景文本识别装置，包括：
[0032]
获取模块，用于获取自然场景图像；
[0033]
处理模块，用于利用预设滤波器，对自然场景图像进行图像增强，得到目标图像，预设滤波器包括多个可微滤波器，可微滤波器包含可微超参数，可微超参数为利用预设参数预测器根据自然场景图像样本预测得到，自然场景图像样本包括在恶劣环境下采集到的图像样本；
[0034]
识别模块，用于利用预设的自然场景文本识别模型，对目标图像进行文字检测和文字识别，得到自然场景图像中的文字信息。
[0035]
第三方面，本技术提供一种计算机设备，包括处理器和存储器，存储器用于存储计算机程序，计算机程序被处理器执行时实现如第一方面的自然场景文本识别方法。
[0036]
第四方面，本技术提供一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如第二方面的自然场景文本识别方法。
[0037]
相比于现有技术，本技术提供的自然场景文本识别方法具备以下有益效果：
[0038]
本技术通过获取自然场景图像，并利用包括多个可微滤波器的预设滤波器，对自然场景图像进行图像增强，得到目标图像，以通过图像增强提高图像质量，以及通过多个可
微滤波器加快图像处理速度，提高文本识别效率；同时可微滤波器的可微超参数为利用预设参数预测器根据自然场景图像样本预测得到，相比于经验调参方式，本技术能够使可微滤波器的超参数更加适用于恶劣环境的文本识别，提高了可微滤波器对图像的处理精度；最后利用预设的自然场景文本识别模型，对目标图像进行文字检测和文字识别，得到自然场景图像中的文字信息，从而通过图像增强后的目标图像进行文本识别，提高了恶劣环境下的文本识别精度。
附图说明
[0039]
图1为本技术实施例示出的自然场景文本识别方法的流程示意图；
[0040]
图2为本技术实施例示出的预设参数预测器的预测流程示意图；
[0041]
图3为本技术实施例示出的str模型的结构示意图；
[0042]
图4为本技术实施例示出的应用场景示意图；
[0043]
图5为本技术实施例示出的自然场景文本识别装置的结构示意图；
[0044]
图6为本技术实施例示出的计算机设备的结构示意图。
具体实施方式
[0045]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0046]
如相关技术记载，在恶劣环境(如雨天、雾天等弱光环境)时所获得的图像可视性差和色彩失真，同时所要识别的目标较小，导致str任务难度增大，容易造成漏检或错检，从而导致识别精度降低。对此，有相关技术引入图像增强技术或图像复原技术，以提高图像质量，但是引入图像增强技术或图像复原技术后的str模型难以平衡图像增强(或图像复原)与str任务之间的关系，导致文本识别效率大幅度较低。
[0047]
为此，本技术实施例提供一种自然场景文本识别方法，通过获取自然场景图像，并利用包括多个可微滤波器的预设滤波器，对所述自然场景图像进行图像增强，得到目标图像，以通过图像增强提高图像质量，以及通过多个可微滤波器加快图像处理速度，提高文本识别效率；同时所述可微滤波器的可微超参数为利用预设参数预测器根据自然场景图像样本预测得到，相比于经验调参方式，本技术能够使可微滤波器的超参数更加适用于恶劣环境的str识别，提高了可微滤波器对图像的处理精度；最后利用预设的自然场景文本识别模型，对所述目标图像进行文字检测和文字识别，得到所述自然场景图像中的文字信息，从而通过图像增强后的目标图像进行str识别，提高了恶劣环境下的文本识别精度。
[0048]
请参照图1，图1为本技术实施例提供的一种自然场景文本识别方法的流程示意图。本技术实施例的自然场景文本识别方法可应用于计算机设备，该计算机设备包括但不限于智能机器人、智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备。如图1所示，本实施例的自然场景文本识别方法包括步骤s101至步骤s103，详述如下：
[0049]
步骤s101，获取自然场景图像。
[0050]
步骤s103，利用预设的自然场景文本识别模型，对所述目标图像进行文字检测和文字识别，得到所述自然场景图像中的文字信息。
[0051]
步骤s102，利用预设滤波器，对所述自然场景图像进行图像增强，得到目标图像，所述预设滤波器包括多个可微滤波器，所述可微滤波器包含可微超参数，所述可微超参数为利用预设参数预测器根据自然场景图像样本预测得到，所述自然场景图像样本包括在恶劣环境下采集到的图像样本。
[0052]
在本实施例中，自然场景图像为在自然场景下采集到的图像，例如停车站出入口采集到的车牌图像等。可以理解的是，自然场景图像包括在恶劣环境下采集到的图像。预设滤波器用于对自然场景图像进行图像增强，其包括但不限于除雾滤波器、像素级滤波器和锐化滤波器。可微超参数为滤波器的超参数。
[0053]
可选地，预设参数预测器为cnn－pp网络(即轻量型卷积神经网络)。
[0054]
在一实施例中，在图1所示实施例的基础上，所述可微滤波器包括除雾滤波器、像素级滤波器和锐化滤波器，所述步骤s102，包括：
[0055]
利用所述除雾滤波器，对所述自然场景图像进行除雾处理；
[0056]
利用所述像素级滤波器，对所述自然场景图像进行像素级处理，所述像素级处理包括白平衡处理、亮度处理和/或对比度处理；
[0057]
利用所述锐化滤波器，对所述自然场景图像进行锐化处理；
[0058]
将除雾处理、像素级处理和锐化处理后的自然场景图像作为所述目标图像。
[0059]
在本实施例中，预设滤波器包括五个可微滤波器，均具有可微超参数，可微滤波器包括除雾滤波器、白平衡滤波器、亮度滤波器、对比度滤波器和锐化滤波器，其中白平衡滤波器、亮度滤波器和对比度滤波器可以分别对图像的白平衡、亮度和对比度进行调整，统称为像素级滤波器。除雾滤波器和锐化滤波器分别对图像进行除雾和锐化操作。
[0060]
如图2所示，通过预设参数预测器预测得到超参数集合pn，根据该超参数集合更新每个可微滤波器的可微超参数。需要说明的是，上述可微滤波器的处理顺序并不唯一，在实际情况下可以先进行除雾处理，也可以先进行锐化处理，还可以先进行像素级处理。
[0061]
在一实施例中，所述除雾滤波器为：
[0062][0063]
其中j(x)为除雾处理后的自然场景图像，i(x1)为除雾处理前的自然场景图像，a为全局大气光常数，t(x,ω)为在可微超参数ω时的透射率。
[0064]
在本可选实施例中，基于暗通道先验去雾算法设计一个具有可微超参数ω的除雾滤波器。可以理解的是，要得到j(x)主要是得到透射率t(x，ω)。
[0065]
其中t(x，ω)的近似解可设定为参数ω是可调超参数，ω为0时表示不去雾，为1时表示全部去雾；ic表示图像i的c通道；ω(x)表示以图像i的c通道的像素值x为中心的一个区域的像素值集合，其可以为15
×
15的区域集合；由于a是全局大气光常数，难以准确计算，所以本实施例以图像i的c通道的像素值计算得到的常数ac替代全局大气光常速，ac称为“图像i的c通道对应的近似大气光常数”。
[0066]
可选地，ac的计算过程为：在图像i的暗通道图中选取最亮的0.1％的像素点，得到
暗通道图的第一点集，该第一点集是图像中雾最浓的地方；再将该第一点集对应到图像i的相同位置像素点，得到图像i的第二点集，该第二点集中分别选取3个通道中最大的值作为大气光值。
[0067]
在一实施例中，所述像素级滤波器为：
[0068]
p
o1
＝(wrri,wggi,wbbi)；
[0069]
p
o2
＝p
1xg
；
[0070]
p
o3
＝αen(p
2x
)+(1-α)p
2x
；
[0071]
其中，p
o1
为白平衡处理后的自然场景图像，p
o2
为亮度处理后的自然场景图像，p
o3
为对比度处理后的自然场景图像，(wr,wg,wb)为白平衡处理前的自然场景图像的rgb通道对应的可微超参数，(ri,gi,bi)为自然场景图像的白平衡处理前的自然场景图像的rgb通道值，p
1x
为亮度处理前的自然场景图像，g为亮度处理对应的可微超参数，p
2x
为对比度处理前的自然场景图像，α为对比度处理对应的可微超参数，en为映射函数。
[0072]
在本可选实施例中，将一个输入像素值p
x
＝pi＝(ri,gi,bi)转换为输出像素值po＝(ro,go,bo)，(r，g，b)分别表示图像r、g、b三通道的值，具体变换和可调超参数如下表所示。
[0073][0074][0075]
示例性地，p
2x
为对比度处理前的自然场景图像，其rgb通道值为(ri,gi,bi)，那么en(p
2x
)为：
[0076]
lum(p
2x
)＝0.27ri+0.37gi+0.06bi；
[0077][0078][0079]
其中，π为圆周率。
[0080]
在一实施例中，所述锐化滤波器，包括：
[0081]
f(x,λ)＝i(x2)+λ(i(x2)-gau(i(x2)))；
[0082]
其中，f(x,λ)为锐化处理后的自然场景图像，i(x2)为锐化处理前的自然场景图像，λ为锐化处理对应的可微超参数，gau为高斯滤波器。
[0083]
在一实施例中，在图1所示实施例的基础上，利用预设参数预测器根据自然场景图像样本预测所述可微超参数，包括：
[0084]
利用预设的轻量型卷积神经网络，对所述自然场景图像样本进行特征提取，得到所述自然场景图像的全局特征，所述全局特征包括雾化特征、白平衡特征、亮度特征、对比度特征和/或锐化特征；
[0085]
对所述全局特征进行全连接，输出所述超参数集合，所述超参数集合中的各个元素对应于各个所述可微滤波器的可微超参数。
[0086]
在本实施例中，如图2所示，轻量型卷积神经网络由5个卷积块和2个全连接层组成，通过卷积块提取图像的全局特征，特征如亮度、颜色和色调以及雾化程度等，再接入全连接层获得预设滤波器的参数pn，pn中的元素就对应各滤波器的参数。具体地，输入图片样本，通过cnn－pp网络来得到滤波器的超参数pn，可表示为pn＝p
θ
(image_batch)。然后使用pn来执行可微滤波器(filter module)步骤，可表示为output＝f(image_batch,pn)。
[0087]
可选地，有针对性的采集小部分恶劣天气下的车牌、路标、广告牌等自然场景下的图像样本，并收集该自然场景在正常条件下的大量图像样本，将正常条件下的图像样本中的2/3，根据随机原则添加某种雾或转换为微光图像，将所有图像样本调整图像大小为256
×
256，以满足网络的输入要求。
[0088]
在一实施例中，在图1所示实施例的基础上，所述步骤s103，包括：
[0089]
利用所述自然场景文本识别模型中的文字检测网络，定位所述自然场景图像的文字位置；
[0090]
利用所述自然场景文本识别模型中的文字识别网络，对所述自然场景图像的文字位置进行文字识别，得到所述自然场景图像中的文字信息。
[0091]
在本实施例中，经滤波器处理的图像，经过str模型后识别出图像中的文字。str模型包括文字检测网络和文字识别网络。如图3所示，文字检测网络使用fpn网络进行特征提取和特征融合，以resnet50作为网络的backbone，最终经过定位检测头(detection head)得到文字在图像中的位置。文字识别网络经过tps算法进行图像矫正，再分别经过resnet34网络进行特征提取和bilstm网络进行特征增强，最终通过识别检测头(recognition head)输出文字信息。
[0092]
作为示例而非限定，图4示出了本技术应用于智能机器人的应用场景示意图。如图4所示，示例性地，总模型的训练过程为：
[0093]
step1：初始化网络backbone，设置网络学习率，将图像样本大小缩放为256x256。
[0094]
step2：将图像样本输入到cnn－pp网络，得到滤波器的超参数pn。
[0095]
step3：预设滤波器使用pn进行调参，再将未经缩放的图像样本输入滤波器模型中，得到增强图像。
[0096]
step4：将经过增强的图像样本输入到str模型，文字检测网络使用fpn网络进行特征提取和特征融合，接入detection head得到文字位置。
[0097]
step5：detection head通过反向传递loss值，更新文字检测网络权重。
[0098]
step6：将定位好的文字图像部分送入文字识别网络中，先经过tps进行图像矫正，之后前向传递给resnet34网络进行特征提取，再送入bilstm网络进行特征增强，最后接入recognition head得到识别结果。
[0099]
step7：recognition head通过反向传递loss值，更新文字识别网络权重。
[0100]
step8：重复step2、step3、step4、step5、step6、step7直到模型收敛。
[0101]
模型部署步骤包括：
[0102]
step1：通过上述过程训练得到的总模型，通过剪枝对模型进行压缩，去除掉不重要的层和参数，让模型尽可能轻量化。
[0103]
step2：使用tensorrt对轻量化模型进行推理加速。
[0104]
step3：将模型部署在边缘端设备，再将边缘端设备嵌入机器人中，使得机器人能
够在正常和恶劣天气条件下都能快速准确地识别出文字内容。
[0105]
需要说明的是，本技术提高恶劣天气环境下文字识别的效果，区别于传统网络，减少恶劣天气对文字识别带来的影响。通过机器代替人工识别文字，具有实用性，智能机器人不仅可以在恶劣天气下进行文字识别，还能集成许多别的功能。通过引入模型压缩、模型加速等方法，为机器人提供最优模型，并降低硬件部署成本。
[0106]
为了执行上述方法实施例对应的自然场景文本识别方法，以实现相应的功能和技术效果。参见图5，图5示出了本技术实施例提供的一种自然场景文本识别装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本技术实施例提供的自然场景文本识别装置，包括：
[0107]
获取模块501，用于获取自然场景图像；
[0108]
处理模块502，用于利用预设滤波器，对所述自然场景图像进行图像增强，得到目标图像，所述预设滤波器包括多个可微滤波器，所述可微滤波器包含可微超参数，所述可微超参数为利用预设参数预测器根据自然场景图像样本预测得到，所述自然场景图像样本包括在恶劣环境下采集到的图像样本；
[0109]
识别模块503，用于利用预设的自然场景文本识别模型，对所述目标图像进行文字检测和文字识别，得到所述自然场景图像中的文字信息。
[0110]
在一实施例中，所述可微滤波器包括除雾滤波器、像素级滤波器和锐化滤波器，所述处理模块502，具体用于：
[0111]
利用所述除雾滤波器，对所述自然场景图像进行除雾处理；
[0112]
利用所述像素级滤波器，对所述自然场景图像进行像素级处理，所述像素级处理包括白平衡处理、亮度处理和/或对比度处理；
[0113]
利用所述锐化滤波器，对所述自然场景图像进行锐化处理；
[0114]
将除雾处理、像素级处理和锐化处理后的自然场景图像作为所述目标图像。
[0115]
在一实施例中，所述除雾滤波器为：
[0116][0117]
其中j(x)为除雾处理后的自然场景图像，i(x1)为除雾处理前的自然场景图像，a为全局大气光常数，t(x,ω)为在可微超参数ω时的透射率。
[0118]
在一实施例中，所述像素级滤波器为：
[0119]
p
o1
＝(wrri,wggi,wbbi)；
[0120]
p
o2
＝p
1xg
；
[0121]
p
o3
＝αen(p
2x
)+(1-α)p
2x
；
[0122]
其中，p
o1
为白平衡处理后的自然场景图像，p
o2
为亮度处理后的自然场景图像，p
o3
为对比度处理后的自然场景图像，(wr,wg,wb)为白平衡处理前的自然场景图像的rgb通道对应的可微超参数，(ri,gi,bi)为自然场景图像的白平衡处理前的自然场景图像的rgb通道值，p
1x
为亮度处理前的自然场景图像，g为亮度处理对应的可微超参数，p
2x
为对比度处理前的自然场景图像，α为对比度处理对应的可微超参数，en为映射函数。
[0123]
在一实施例中，所述锐化滤波器，包括：
[0124]
f(x,λ)＝i(x2)+λ(i(x2)-gau(i(x2)))；
[0125]
其中，f(x,λ)为锐化处理后的自然场景图像，i(x2)为锐化处理前的自然场景图像，λ为锐化处理对应的可微超参数，gau为高斯滤波器。
[0126]
在一实施例中，自然场景文本识别装置，还包括：
[0127]
提取模块，用于利用预设的轻量型卷积神经网络，对所述自然场景图像样本进行特征提取，得到所述自然场景图像的全局特征，所述全局特征包括雾化特征、白平衡特征、亮度特征、对比度特征和/或锐化特征；
[0128]
全连接模块，用于对所述全局特征进行全连接，输出所述超参数集合，所述超参数集合中的各个元素对应于各个所述可微滤波器的可微超参数。
[0129]
在一实施例中，所述识别模块503，具体用于：
[0130]
利用所述自然场景文本识别模型中的文字检测网络，定位所述自然场景图像的文字位置；
[0131]
利用所述自然场景文本识别模型中的文字识别网络，对所述自然场景图像的文字位置进行文字识别，得到所述自然场景图像中的文字信息。
[0132]
上述的自然场景文本识别装置可实施上述方法实施例的自然场景文本识别方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本技术实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
[0133]
图6为本技术一实施例提供的计算机设备的结构示意图。如图6所示，该实施例的计算机设备6包括：至少一个处理器60(图6中仅示出一个)处理器、存储器61以及存储在所述存储器61中并可在所述至少一个处理器60上运行的计算机程序62，所述处理器60执行所述计算机程序62时实现上述任意方法实施例中的步骤。
[0134]
所述计算机设备6可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器60、存储器61。本领域技术人员可以理解，图6仅仅是计算机设备6的举例，并不构成对计算机设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0135]
所称处理器60可以是中央处理单元(central processing unit，cpu)，该处理器60还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0136]
所述存储器61在一些实施例中可以是所述计算机设备6的内部存储单元，例如计算机设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述计算机设备6的外部存储设备，例如所述计算机设备6上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
[0137]
另外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
[0138]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
[0139]
在本技术所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
[0140]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0141]
以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围。特别指出，对于本领域技术人员来说，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。