一种手机电源接口表面缺陷检测方法、装置和存储介质

1.本发明涉及深度学习缺陷检测领域，更具体的是涉及基于深度学习语义分割的手机电源接口表面缺陷检测方法、装置和计算机可读存储介质。


背景技术：

2.缺陷检测是对产品进行缺陷识别和定位，广泛应用于工业产品质量检测。目前大部分企业的缺陷检测方法是人工抽样观察和检测，而人工检测主观性强，并且抽样无法包含全部产品，导致出厂产品质量参差不齐。随着技术的发展，部分企业采用基于机器视觉的检测技术，结合传统图像处理以及深度学习等算法，对由机器视觉系统得到的被测产品图像进行分析，得到所需的被测信息，并根据先验知识，判断产品是否合格。目前深度学习技术发展迅速，计算机硬件性能快速提升，基于深度学习的缺陷检测技术必将会有更广阔的应用前景。
3.手机电源接口在制造过程中表面容易产生凹坑或划伤，其缺陷分布和形状具有随机性和无规则性，这导致传统图像处理算法很难做到对缺陷特征准确的建模和学习，泛化性能较弱。而深度学习是从数据中学习，这种方式使深度学习模型表现出很强的通用性。因此，基于深度学习的视觉检测不仅可以保证产品检测的一致性，还有很强的泛化性，进而实现复杂产品表面缺陷的质量检测。


技术实现要素：

4.本发明提出了一种手机电源接口表面缺陷检测方法、装置和计算机可读存储介质以解决人工检测主观性强、传统图像检测泛化性能弱的问题。
5.根据本发明的第一方面，提出了手机电源接口缺陷检测方法，包括：
6.采集手机电源接口缺陷图像和正常手机电源接口图像，分别对采集图像进行数据标注，构建一个手机电源接口数据集；
7.对所述的手机电源接口数据集进行数据预处理和数据集划分，采用数据扩充和图像裁剪的方法，增加手机电源接口数据集的数据量，并总结数据特性；
8.构建一个手机电源接口缺陷检测网络，采用数据扩充后的数据集进行训练；
9.将待检测图像导入所述的训练好的手机电源接口缺陷检测网络，输出缺陷区域与缺陷类型，实现基于卷积神经网络的手机电源接口缺陷检测；
10.所述手机电源接口数据集的构建，包括：
11.采集待检测手机电源接口的表面缺陷图像；
12.在手机电源接口缺陷图像上标注手机电源接口缺陷的位置，得到标签数据，该标签数据中包括缺陷所在部位和缺陷类别，将标签数据存储在一个手机电源接口数据集中，手机电源接口数据集中包含手机电源接口缺陷图像、缺陷标签数据；
13.所述的数据扩充方法为：
14.对手机电源接口数据集中的缺陷图像和标签图像进行随机旋转、缩放和亮度变化
和在训练数据集中随机选取源图像、主图像，对源图像和主图像进行随机水平翻转、随机垂直翻转、大尺度抖动和随机尺度缩放，将变换后的源图像及其对应缺陷标签图像分别贴合到主图像和其对应的标签图中，生成合成图像及其对应缺陷标签图，将合成图像及其标签图像添加到电源接口表面缺陷数据集，得到扩充变换后的手机电源接口缺陷数据，将该数据添加到手机电源接口数据集中；
15.对所述的扩充变换后的数据集进行处理，根据缺陷标注位置进行裁剪，并将裁剪后的缺陷随机多次粘贴到同一幅图像的其他不存在缺陷的背景区域，得到多个缺陷标签数据，分别将多个缺陷标注存储到手机电源接口数据集中；
16.所述的网络构建与训练包括如下步骤：
17.构建一个手机电源接口缺陷检测网络，包括译码释码和归一注意力网络；
18.所述的译码释码包括多尺度核混合卷积网络，阶梯网络和多尺度直预测分支网络；
19.将手机电源接口数据集中的数据的10％作为测试集，10％作为验证集，80％作为训练集；
20.使用手机电源接口数据集中的训练集数据，对手机电源接口缺陷检测网络进行训练。
21.所述的对手机电源接口缺陷检测网络进行训练，包括以下步骤：
22.设定手机电源接口缺陷检测网络的输入数据量，根据计算机硬件设备，确定训练过程中每批输入手机电源接口缺陷检测网络中的图像的最大长度和最大宽度，在每张输入图像的各个方向填充灰度值为220的像素，使所有同一批输入图像的长宽一致；
23.多尺度混合卷积网络的第3、5、7层的输出手机电源接口表面缺陷特征图传入多尺度直预测分支网络，其中在第3和5层输入前需要经过空间归一扩张网络，然后通过标准的3*3卷积、bn和silu激活函数对进行特征融合的尺度压缩，得到蕴含多尺度缺陷信息的特征图，最后通过1*1卷积和sigmoid函数获得多尺度缺陷预测图像；
24.将所述的第7层蕴含多尺度缺陷信息的特征图与多尺度混合卷积网络第8层网络输出进行通道拼接，作为阶梯网络的输入，阶梯网络通过所述上采样步骤后逐步融合多尺度混合卷积网络的第3和5层的输出的多尺度缺陷信息特征图。最后得到所述的输入图像的2倍下采样多尺度缺陷特征图；
25.将所述2倍下采样多尺度缺陷特征图通过1*1卷积和sigmoid函数最终得到原图尺寸相同的手机电源接口表面缺陷预测图；
26.所述的阶梯网络中特征提取阶段的卷积层采用silu激活函数，通过空间深度转换进行第一次特征图下采样，即将一张特征图转化为四张长宽皆为原特征图二分之一的图像，实现特征图下采样；
27.阶梯网络，特征在于多尺度直预测分支的融合与上阶梯特征的拼接融合，其中上采样过程利用双线性插值结合3*3尺度卷积核进行上采样融合，将relu激活函数替换为hardswish函数；
28.所述的阶梯网络采用双线性插值和卷积核为3*3的卷积；
29.多尺度直预测分支网络特征在于，将输出的2倍下采样特征预测图、4倍下采样特征预测图和8倍下采样特征预测图与手机电源接口表面缺陷的2倍最邻近下采样标签图、4
倍最邻近下采样标签图和8倍最邻近下采样标签图进行混合损失计算，反向传播至多尺度核混合卷积网络进而优化网络参数；
30.可选地，所述的多尺度核混合卷积网络采用swish、relu和hardswish激活函数如图2中multfosionnetbackbone网络的af列简写为sw、re、hs；expsize列表示fosion模块中第一个conv的通道数；output列表示fosion模块最后一个conv的输出通道数；cnm列表示是否在fosion中使用通道归一扩张网络，stride列表示fosion模块中depthwiseconv2d单元的步距(s)，operator中的3
×
3、5
×
5均为depthwiseconv2d单元的核尺寸(k)；
31.根据本公开的第二方面，提出手机电源接口缺陷检测装置，包括：
32.手机电源接口表面原始图像采集模块，用于采集手机电源接口缺陷原始图像；
33.原始图像冗余边界去除和数据扩充模块，用于对所述的手机电源接口数据集进行数据预处理和数据集划分，采用数据扩充和聚类方法，增加手机电源接口数据集的数据量；
34.pfanet训练模块，用于构建一个手机电源接口缺陷检测网络，采用所述余弦退火算法、半精度混合训练和设计的混合损失函数对pfanet网络训练数据集进行训练；
35.手机电源接口表面缺陷检测模块，用于将待检测图像导入所述的训练好的手机电源接口缺陷检测网络，输出缺陷区域与缺陷类型，实现手机电源接口表面缺陷检测。
36.根据本公开的第三方面，提出计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行权利要求1-7和10的任一项所述的手机电源接口缺陷检测方法。
37.根据本公开的实施例，可以自动判断手机电源接口图片是否存在所标注的缺陷，并确定缺陷的位置和类别，节省人工成本，提高算法泛化能力，为企业节省大量经费，具有重要的实际应用价值。
38.上述说明仅是本公开一个实施例的概述，为了能够更清楚了解本发明的技术手段，从而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。
附图说明
39.图1是本公开一个实施例中手机电源接口缺陷检测方法流程图。手机电源接口表面缺陷检测流程图。
40.图2是本公开一个实施例中手机电源接口缺陷检测方法的网络结构图。pfanet网络结构图。
41.图3是本公开一个实施例中手机电源接口缺陷检测装置的结构图。手机电源接口检测装置图。
42.图4是本公开一个实施例中手机电源接口缺陷检测装置的使用流程图。手机电源接口检测装置使用流程图。
43.图5是本公开一个实施例中手机电源接口原始图和处理图。手机电源接口图。
44.图6是本公开一个实施例中手机电源接口训练图、标签图和输出结果图。网络输入输出图。
具体实施方式
46.下面将参照附图，更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本公开的范围完整的传达给本领域的技术人员。本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。本公开使用基于深度学习语义分割的手机电源接口缺陷检测实施例。
47.图1是根据本公开一个实施例示出一种手机电源接口缺陷检测方法的流程框图，本实施例所示的手机电源接口缺陷检测方法可以适用于用户设备，例如手机、平板电脑等。
48.如图1所示，该方法可以包括以下步骤：
49.在步骤s101中，采集手机电源接口缺陷图像和正常手机电源接口图像，分别对采集图像进行阈值边缘筛选，对手机电源接口原始图像进行采集和冗余边界去除处理；
50.在一个实施例中，采用相机拍摄需检测的手机电源接口缺陷，采集待检测手机电源外观缺陷图像，本公开的一个实施例中，所检测的手机电源接口缺陷包括划伤和凹坑缺陷，然后对采集到的原始缺陷图像采用阈值分割方法将冗余黑色背景的灰度值设置为0，将手机电源接口表面主体区域灰度值保留，然后将图像灰度为0的坐标筛去达到去除冗余边界的目的，获得芯片电源接口的主体区域；
51.在步骤s102中，对所述的手机电源接口数据集进行数据预处理和数据集划分，采用数据扩充和聚类方法，增加手机电源接口数据集的数据量，并总结数据特性对手机电源接口缺陷检测数据集通过预设比例划分为三类：测试集、训练集和验证集。训练集、验证集和测试集的比例为80％、10％和10％；
52.在本公开的一个实施例中，数据标注、数据扩充和图像裁剪的方法，包括：
53.在手机电源接口缺陷图像上标注手机电源接口缺陷的位置，得到缺陷标签图，本公开的一个实施例中，对电源接口的训练集数据首先利用最大类间方差法进行一次标注，其次利用人工对一次标注图像进行二次标注，得到接口缺陷标签图像，该缺陷标签图像中包括缺陷区域、缺陷类型，将缺陷标签图像存储在一个手机电源接口训练数据集中，手机电源接口表面缺陷数据集中包含手机电源接口训练图像和缺陷标签图像；
54.对手机电源接口数据集中的手机电源接口缺陷图像和手机电源接口标签图像进行随机旋转、缩放、亮度变化和模糊，得到扩充变换后的手机电源接口缺陷图像和手机电源接口标签图像，将扩充变换后的图像添加到手机电源接口数据集中；
55.对所述的扩充变换后的数据集进行处理，将所述的训练图像和标签图像进行二次扩充处理，在训练数据集中随机选取源图像、主图像，对源图像和主图像进行随机水平翻转、随机垂直翻转、大尺度抖动和随机尺度缩放，将变换后的源图像及其对应缺陷标签图像分别贴合到主图像和其对应的标签图中，生成合成图像及其对应缺陷标签图，将合成图像及其标签图像添加到电源接口表面缺陷数据集；
56.在步骤s103中，构建一个手机电源接口缺陷检测网络，采用预处理的参数和数据进行训练，对于每批输入图片，确定其最大长宽，然后均匀地给每张图片各个方向填充灰度值220像素使其达到统一长宽；
57.借由上述技术方案，本公开的技术方案至少具有下列优点：
58.本公开的实施例中，基于分割网络的缺陷检测算法以译码-释码模型为基础结构，增加数据扩充与图像裁剪方法，优化数据标注方法，减少人工参与；设计归一扩张注意力机制，可以更加关注感兴趣区域，辅助检测，使网络保证对小缺陷的检测能力的同时保留大缺陷的检测能力；使用多尺度核混合卷积模块，增加提取特征能力；通过多尺度直预测网络与阶梯网络的特征融合与拼接，减少下采样的信息丢失，保留小尺度凹坑缺陷的特征信息。
59.在一个实施例中，构建一个手机电源接口缺陷检测网络，采用所述数据集进行训练，包括：
58.构建一个手机电源接口缺陷检测网络，其网络结构如图2所示，包括译码释码、阶梯网络和多尺度直预测分支网络，归一扩张注意力机制包括通道归一扩张网络和空间归一扩张网络；
60.将手机电源接口数据集中的数据的10％作为测试集，10％作为验证集，80％作为训练集；
61.使用手机电源接口数据集中的训练集数据，对手机电源接口缺陷检测网络进行训练。
62.在一个实施例中，对手机电源接口缺陷检测网络进行训练，包括以下步骤：
63.根据计算机显卡的显存量，设定手机电源接口缺陷检测网络的输入数据量，根据该输入数据量，确定训练过程中每批输入手机电源接口缺陷检测网络中的图像的最大长度和最大宽度，在每张输入图像的各个方向填充灰度值220像素，使所有同一批输入图像的长宽一致；
64.多尺度核混合卷积网络的第3、5、7层输出的手机电源接口表面缺陷特征图传入多尺度直预测分支网络，其中在第3和5层输入前需要经过空间归一扩张网络，然后通过标准的3*3卷积、bn和silu激活函数对进行特征融合的尺度压缩，得到蕴含多尺度缺陷信息的特征图，最后通过1*1卷积和sigmoid函数获得多尺度缺陷预测图像；
65.将所述的可能存在缺陷的图像输入阶梯网络中，阶梯网络输出得到步骤所述的输入图像的多尺度网络的下采样2倍特征图、下采样4倍特征图和下采样8倍特征图。其中8倍特征图与经过1
×
1卷积的多尺度核混合卷积网络的第8输出层进行通道拼接；4倍下采样图与2倍特征图经过由双线性插值和3*3卷积及bn、hardswish激活函数的bcbs模块和多尺度直预测网络分支的4倍特征图进行通道拼接；2倍特征图与4倍特征图经过bcbs和多尺度直预测网络分支的2倍特征图进行通道拼接；
66.将所述的多尺度核混合卷积网络的下采样2倍特征图、下采样4倍特征图和下采样8倍特征图分别输入多尺度直预测网络分支，多尺度直预测网络分支根据所述的手机电源接口数据集中数据的特性，对下采样2倍特征图、下采样4倍特征图和下采样8倍特征图进行缺陷检测，得到可能存在缺陷像素坐标；
67.采用余弦退火算法，设定余弦退火算法阈值，对所述的训练过程进行优化；
68.在一个实施例中，阶梯网络中特征提取阶段的卷积层采用relu激活函数，表达式为：
[0069][0070]
其中，x代表输入特征图，α为人为设定的超参数；
[0071]
阶梯网络，通过空间深度转换进行第一次特征图下采样，即将一张特征图转化为四张长宽皆为原特征图二分之一的图像，实现特征图下采样；
[0072]
所述的空间归一扩张网络的卷积核大小均为1，并分别采用silu和sigmoid激活函数，具体操作为：将手机电源接口缺陷特征图进行自适应平均池化获得空间尺度归一权重，将所述权重通过1*1卷积和silu激活函数，再通过1*1卷积和sigmoid激活函数获得含有全局电源接口特征的空间归一特征权重，最后在扩张阶段将所述空间归一特征权重与原始特征图相乘完成空间扩张。
[0073]
所述的通道归一扩张注意力网络，特征在于通道最大值无参数筛选，具体操作为：将手机电源接口缺陷特征图沿通道方向通过最大值函数计算最值获得通道归一特征权重图，最后将所述通道归一特征权重图与原始特征图融合扩张至所有通道。
[0074]
本实施例中统计手机电源接口数据集中每个标注均首先通过最大类间方差法进行预分割，然后通过人工进行二次校准标注；
[0075]
本实施例中多尺度直预测分支网络首先对标签图片进行最邻近2倍、4倍和8倍下采样操作，得到下采样2倍标签图、下采样4倍标签图和下采样8倍标签图。。
[0076]
网络使用多尺度直预测分支网络，如图2所示multiscalesemanticlossnetwork结构，将下采样特征与直接最邻近下采样2、4、8倍预测图进行损失计算；
[0077]
在手机电源接口表面检测实施例中，阶梯网络的检测输出层激活函数采用swish激活函数，表达式为：
[0078]
swish(x)＝x
×
sigmoid(βx)；
[0079]
其中，x代表输入特征图，β为人为设定的超参数，sigmoid公式为：
[0080][0081]
其中，x表示输入特征图，e是自然对数；
[0082]
hardswish函数为：
[0083]
relu6表达式为：relu6＝min(6,max(0,x))，其中x为输入特征值，min表示取最小值，max表示取最大值。
[0084]
在手机电源接口表面检测实施例中，网络训练中采用的损失函数，表达式为：mixloss＝focalloss+diceloss；
[0085]
其中diceloss为最终检测到的缺陷检测框与手机电源接口缺陷数据集中相应的标注框中心点之间的距离，表示最终检测到的缺陷检测框与手机电源接口缺陷数据集中相应的标注框的最小包围框的对角线长度：
[0086][0087]
其中|x∩y|表示x和y之间的交集；|x|和|y|分别表示x和y的元素个数；
[0088]
其中focalloss是二次裁剪损失，α、β是人为定义调整各项损失比例，本方法中分别设为1与2，第二项损失为分类损失，使用softmax损失，第三项为上述定位损失，第四项为困难样本损失，其中focallos的计算公式为：
[0089]
focalloss＝-α(1-p
t
)
β
·
l
ce
，其中l
ce
表示多类别交叉熵损失，具体公式如下：
[0090][0091]
其中xn表示模型第n个类别实际输出，yn为第n个类别对应的标签，c为模型输出类别数。wc的设置是根据背景像素、凹坑类缺陷像素和划伤类缺陷的像素比例分配为[1，9，11]；
[0092]
s104将网络构建完成并用所述训练集训练完成后即可进行s105步骤，将待检测图像导入所述的训练好的手机电源接口缺陷检测网络，输出缺陷区域与缺陷类型，实现基于卷积神经网络的手机电源接口缺陷检测。
[0093]
在一个实施例中，所述的pfanet，包括：
[0094]
所述译码-释码分割网络的组成单元包括多尺度核混合卷积网络、阶梯网络和多尺度直预测分支网络，归一扩张注意力机制包括通道归一扩张网络和空间归一扩张网络；
[0095]
图2中多尺度核混合卷积网络(multfosionnetbackbone)中的fosion详细操作为图2右下角fosion，其中cnm为通道归一扩张模块，多尺度直预测网络(multiscalesemanticlossnetwork)中的snm模块为空间归一扩张注意力机制，其详细结构如图2右上角snm框内所示，阶梯网络中bcbs模块步骤细节如图2右上角bcbs模块所示。
[0096]
与上述手机电源接口缺陷检测方法的实施例相对应地，本公开提出了手机电源接口缺陷检测装置的实施例。
[0097]
图3是本公开提出的手机电源接口缺陷检测装置的实施例的结构框图，包括：
[0098]
手机电源接口表面原始图像采集模块，用于采集手机电源接口缺陷图像和正常手机电源接口图像，分别对采集的手机电源接口缺陷图像进行数据标注，构建一个手机电源接口数据集；
[0099]
一种手机电源接口缺陷检测装置，其特征在于，包括，传送模块(1)、手机电源接口壳(2)、采集模块(3)和终端计算机(4)，其中。
[0100]
所述传送模块(1)，将手机电源接口壳(2)从传送带(101)传送至手机电源接口壳的检测区域(102)，由采集模块(3)进行采集和检测；
[0101]
图4是所述的基于机器视觉的手机电源接口表面缺陷检测系统，其特征在于，所述终端计算机(4)模块包括：
[0102]
原始图像冗余边界去除和数据扩充模块，用于对所述的手机电源接口数据集进行数据预处理和数据集划分，采用数据扩充和聚类方法，增加手机电源接口数据集的数据量，并进行数据标注；
[0103]
pfanet训练模块，用于构建一个手机电源接口缺陷检测网络，采用所述余弦退火算法、半精度混合训练和设计的混合损失函数对pfanet网络训练数据集进行训练；
[0104]
手机电源接口表面缺陷检测模块，用于将待检测图像导入所述的训练好的手机电源接口缺陷检测网络，输出缺陷区域与缺陷类型，实现手机电源接口表面缺陷检测。
[0105]
本实施例输入图片大小为512
×
512像素尺寸。
[0106]
本公开的网络训练使用adam优化器，余弦退火算法优化网络学习过程，学习率初始值为0.0001，最小值为0.000001。
[0107]
本实施例使用预测方式为每次预测一张图片，速度可达到50fps，本方法成本低
廉，仅需要使用人工标注数据以及程序运行硬件即可，手机电源接口缺陷图片可从报修图片库中获取，且本发明可进行全量检测无需抽样，准确率也不会随着员工而波动。
[0108]
本公开的实施例还提出了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序用于使所述计算机执行：
[0109]
采集手机电源接口缺陷图像和正常手机电源接口图像，分别对采集图像进行数据标注，构建一个手机电源接口数据集；
[0110]
对所述的手机电源接口数据集进行数据预处理和数据集划分，采用数据扩充和图像裁切方法，增加手机电源接口数据集的数据量，并总结数据特性；
[0111]
构建一个手机电源接口缺陷检测网络，采用预处理的参数和数据进行训练；
[0112]
将待检测图像导入所述的训练好的手机电源接口缺陷检测网络，输出缺陷区域与缺陷类型，实现基于卷积神经网络的手机电源接口缺陷检测。
[0113]
一种手机电源接口缺陷检测装置，其特征在于，包括：传送模块(1)、手机电源接口壳(2)、采集模块(3)和终端计算机(4)；
[0114]
所述采集模块(3)，用于当接收到终端计算机(4)发送的信号，启动相机，采集检测区域(102)上的手机电源接口壳图像并将采集到的图像传送到终端计算机(4)进行进一步处理，传输完成后，关闭相机；
[0115]
所述终端计算机(4)对手机电源接口壳图像进行冗余边界去除、图像裁切和扩充处理，并进一步进行缺陷标注处理。
[0116]
所述的基于机器视觉的手机电源接口表面缺陷检测系统，其特征在于，所述采集模块(3)模块包括：
[0117]
相机支架(301)，根据手机电源接口实际8.5mm
×
9.5mm尺寸、实际0.1mm
×
0.1mm至2mm
×
2mm凹坑缺陷尺寸、0.1mm
×
9.5mm划伤缺陷和实际检测精度0.15mm
×
0.15mm选取的相机(302)和镜头(303)，根据手机电源接口材质和表面情况选取的蓝色同轴光源(304)；
[0118]
pfanet训练模块，用于构建一个手机电源接口缺陷检测网络，采用所述余弦退火算法、半精度混合训练和设计的混合损失函数对pfanet网络训练数据集进行训练；
[0119]
手机电源接口表面缺陷检测模块，用于将待检测图像导入所述的训练好的手机电源接口缺陷检测网络，输出缺陷区域与缺陷类型，实现手机电源接口表面缺陷检测；
[0120]
所述归一扩张网络中通道归一扩张网络(cnm)中maxfunction为mk(i,j)＝max[fk(i,j)]，其中mk(i,j)为权重系数，fk(i,j)为特征图，max表示求最大值。
[0121]
图5和图6是本发明专利公开的实施实例的结果，图5(a)为采集模块的原始图，图5(b)是图像阈值筛选去冗余后的结果，图6(a)是标准训练图，图6(b)是标准标签图，图6(c)是网络训练预测结果图。
[0122]
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收第一用户为接入方软件配置引导信息的请求；根据请求，为第一用户提供配置页面；获取第一用户在配置页面为引导信息设置的显示条件和显示位置信息；在引导配置系统中保存引导信息的显示条件和显示位置信息；在监测到接入方软件的运行满足显示条件时，控制接入方软件根据显示位置信息显示引导信息。
[0123]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c+
+，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0124]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0125]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中；
[0126]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0127]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0128]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0129]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限
制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。