银行卡识别模型的训练方法、银行卡识别方法以及装置与流程

本申请涉及到图像识别技术领域，特别是涉及一种银行卡识别模型的训练方法、银行卡识别方法以及装置。

背景技术：

随着互联网金融的高速发展，移动支付的业务量激增，如何高效处理银行卡绑定操作变得十分重要。传统的绑卡操作需要用户自己选择银行卡的开户银行和卡号，步骤繁琐，用户体验很差。

现有的对银行卡的识别方法是通过先获取到包含银行卡的图像进行高斯模糊、去噪，平滑处理后，进行灰度化，将三通道的彩色图像转化为单通道的灰度图像，方便后续处理。接着进行canny边缘检测，通过算法来检测整个银行卡的边缘，并通过二值化转化为黑白图像，以便于提取轮廓。最后筛选出满足条件的银行卡轮廓，确定银行卡位置。

上述方式虽然相对于人工手动输入带来了颠覆性的效果，但是当银行卡处于复杂环境中时，并不能准确的确定出银行卡的位置。

技术实现要素：

本申请主要解决的技术问题是提供一种银行卡识别模型的训练方法、银行卡识别方法以及装置，能够快速的对银行卡进行定位与识别。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种银行卡识别模型的训练方法，包括：将已标注的图像输入到深度学习回归模型中，其中，已标注的图像为对图像中的银行卡以及银联标志的位置以及图像类别进行标注的图像；

通过深度学习回归模型对图像中的银行卡以及银联标志进行预测，得到银行卡以及银联标志的预测位置信息以及图像类型预测概率；

将预测位置信息与图像的银行卡以及银联标志的标注位置信息进行比对，通过损失函数确定对深度学习回归模型是否进行再训练，并得到银行卡识别模型，银行卡识别模型为训练完成的深度学习回归模型。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种银行卡的识别方法，识别方法基于银行卡识别模型，包括：

获取到待检测图像；

通过银行卡识别模型检测待检测图像是否为具有银联标志的银行卡卡片图像；

如果待检测图像为具有银联标志的银行卡卡片图像，输出所述银行卡的位置信息以及图像类别预测概率。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种智能装置，智能终端包括图像获取模块、检测模块以及输出模块，

图像获取模块用于获取到待检测图像；

检测模块用于通过银行卡识别模型检测待检测图像是否为具有银联标志的银行卡卡片图像；

输出模块用于在待检测图像为具有银联标志的银行卡卡片图像时，输出所述银行卡的位置信息以及图像类别预测概率。

为解决上述技术问题，本申请采用的第四个技术方案是：提供一种银行卡识别模型的训练装置，包括图像输入模块，预测模块以及训练模块，图像输入模块用于将已标注的图像输入到深度学习回归模型中，其中，已标注的图像为对图像中的银行卡以及银联标志的位置以及图像类别进行标注的图像；

预测模块用于通过深度学习回归模型对图像中的银行卡以及银联标志进行预测，得到银行卡以及银联标志的预测位置信息以及图像类别预测概率；

训练模块用于将预测位置信息与图像的银行卡以及银联标志的标注位置信息进行比对，通过损失函数确定对深度学习回归模型是否进行再训练，并得到银行卡识别模型，银行卡识别模型为训练完成的深度学习回归模型。

为解决上述技术问题，本申请采用的第五个技术方案是：提供一种智能终端，智能终端包括相互耦接的人机交互控制电路、处理器及可在处理器上运行的计算机程序，处理器执行计算机程序时上述银行卡识别模型的训练方法或执行上述任一实施方式的银行卡的识别方法的步骤。

为解决上述技术问题，本申请采用的第六个技术方案是：提供一种存储装置，存储装置上存储有程序数据，程序数据被处理器执行时实现上述银行卡识别的训练方法或银行卡的识别方法。

本申请的有益效果是：本实施方式中，在对银行卡进行识别时，通过对银行卡以及银联标志同时进行定位识别，通过判断是否具有银联标志来确定卡片是否为银行卡，并在确定待检测图像为具有银联标志的银行卡卡片图像时，输出银行卡的位置信息以及图像类别预测概率。不仅能够过滤掉非银行卡类型的卡片，而且，能够在复杂环境下快速实现银行卡的精确定位，排除因卡片定位不准对后续文字检测和文字识别的影响，提高银行卡识别的速率和准确率。

附图说明

图1是本申请银行卡识别模型的训练方法一实施方式的流程示意图；

图2是本申请银行卡的识别方法一实施方式的流程示意图；

图3是本申请银行卡识别模型的训练装置一实施方式的结构示意图；

图4是本申请智能装置一实施方式的结构示意图；

图5是本申请智能终端一实施方式的结构示意图；

图6是本申请存储装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。

本申请是利用银行卡识别模型，在不需要人工参与前提下，快速准确的实现对银行卡的识别。

本申请的银行卡识别模型是以深度学习回归模型为初始模型。其中，该深度学习回归模型是在物体检测模型yolo模型上进行微调得到的。该微调具体包括将基础网络架构中的全连接层通过全卷积层来代替，降低深度学习模型计算的维度，以减小计算量。并且为了控制深度学习模型模型的大小，提高运算速度，将物体检测模型yolo模型的featuremap数均做减半处理，以减小银行卡识别模型所占的内存。在一些具体的实施方式中，物体检测模型采用yolov3模型。

具体地，如图1所示，图1本申请银行卡识别模型的训练方法一实施方式的流程示意图。

由于类似于银行卡的常用证件越来越多，如身份证、门禁卡等，为了防止由于误操作而带来的识别失败，节省银行卡识别效率以及节省资源，本实施方式中对深度学习回归模型增加对银联标志的识别的训练，用以判断该卡片是否为银行卡类。

具体包括如下步骤：

步骤101：将已标注的图像输入到深度学习回归模型中。

所述已标注的图像为对所述图像中的银行卡以及银联标志的位置信息以及图像类别进行标注的图像。标注过程是通过人工标注来完成的。

标注的位置信息包括对银行卡以及银联标志左上顶点坐标以及银行卡以及银联标志的长宽的标注。具体为在该图像中所建立的坐标系下的横纵坐标x和y，以及在横纵坐标上的延伸距离w和h的标注。图像类别标注为是否为银行卡或者是否为银联标志的类型标注。

在一个可选的实施方式中，所有已标注的图像建立坐标系的方式统一，如已标注的图像为方形时，坐标系均以该方形图像的左上端点为原点。

在另一个实施方式中，也可以将图像的中心点确定为原点建立坐标系，对该图像中的银行卡以及银联标志的中心点坐标以及中心点沿坐标轴的延伸距离及银行卡的大小以及银联标志的大小进行标注，在此不做限定。

步骤102：通过深度学习回归模型对图像中的银行卡以及银联标志进行预测，得到所述银行卡以及所述银联标志的预测位置信息以及图像类别预测概率。

通过深度学习回归模型对该银行卡以及银联标志进行定位，确定银行卡以及银联标志的预测位置信息以及图像类别预测概率。

其中，本实施方式的深度学习模型相对于原始物体检测模型yolov3模型的featuremap数减半。在本实施方式中，将输入到该深度学习模型中的图像分割成13*13的网格，通过深度学习网络对该图像中的每一个网格中的图像进行特征提取，确定银行卡以及银联标志的中心点所在的网格位置，通过该中心点所在的网格对银行卡或者银联标志进行定位，在一个具体的实施方式中，确定银行卡以及银联标志相对于图像的坐标系的左上端点的坐标信息以及沿每个坐标轴的延伸距离。

在一个可选的具体实施方式中，通过对每个网格均进行3类边框预测，将与真实边框面积的iuo最大的边框作为最终预测边框，并输出该边框的坐标信息。在其他实施方式中，也可以对每个网格进行4类边框预测或者5类边框预测，理论上预测边框越多，结果越准确，但是考虑计算量以及定位效果，以3类边框预测为优选实施方式。

上述图像类别预测概率也是通过yolov3模型来实现的，具体的，如果预测的图像为银行卡，将该图像中预测为银行卡的部分图像的特征与预先存储的银行卡特征进行比对，确定银行卡的预测概率。同理将预测为银联标志的部分图像的特征与预先存储的银联标志的特征信息进行对比，确定该部分图像为银联标志的预测概率。

步骤103：将预测位置信息与图像的银行卡以及银联标志的标注位置信息进行比对，通过损失函数确定对所述深度学习回归模型是否进行再训练，并得到所述银行卡识别模型，所述银行卡识别模型为训练完成的所述深度学习回归模型。

由于深度回归模型本身的功能是用以对图像进行分类的，并不具有很完善的银行卡识别功能，输出的银行卡以及银联标志的预测位置信息并不完全准确，或者准确率较低。因此，需要根据深度学习回归模型的输出与对图像中的银行卡以及银联标志的标注位置信息进行比对，并根据比对结果进行模型优化。

在本实施方式中，通过对损失函数的优化来实现对该深度学习回归模型的优化。具体地，将当前损失值为最小损失值所对应的所述损失函数的参数确定为所述损失函数的当前优化参数，并对该深度学习回归模型进行再训练。至当前损失值的损失值的变化小于预设范围时，将当前的损失函数参数确定为当前述深度学习回归模型的模型参数，并将该模型参数确定为银行卡识别模型的模型参数。

区别于现有技术，本实施方式对图像中的银行卡以及银联标志的位置以及图像类别信息进行标注，通过将标注位置信息与通过深度学习回归模型预测的银行卡以及银联标志的位置信息进行比对，通过损失函数对该深度学习回归模型进行训练，并将训练完成后的深度学习回归模型确定为银行卡识别模型。通过上述方式训练的银行卡识别模型，不仅能够过滤掉非银行卡类型的卡片，而且，能够在复杂环境下快速实现银行卡的精确定位，排除因卡片定位不准而造成的后续对文字检测和文字识别的影响，提高银行卡识别的速率和准确率。

参阅图2，图2是本申请银行卡的识别方法一实施方式的流程示意图。其中，本实施方式的银行卡识别方法是基于银行卡识别模型的。该银行卡识别模型是通过图1以及文字描述中的任一实施方式的银行卡识别模型的训练方法训练得到的。银行卡的识别方法具体包括：

步骤201：获取到待检测图像。

智能终端需要对银行卡进行识别时，首先获取到待检测图像，其中可通过拍照或扫描的方式获取到待检测的图像，在此不做限定。

步骤202：通过银行卡识别模型检测待检测图像是否为具有银联标志的银行卡卡片图像。

在本实施方式中，银行卡识别模型首先判断该待检测图像中是否包括银行卡形状的卡片及银联标志，如果未检测到银行卡形状的卡片或者银联标志，则确定该待检测图像不是具有银联标志的银行卡卡片图像，发出提示信息提醒用户。如果待检测图像为具有银联标志的银行卡卡片图像，则继续对该银行卡进行识别。

具体地，银行卡识别模型首先对待检测图像按照银行卡识别模型的设定的参数或者规格进行特征提取，将该待检测图像分割成与该银行卡识别模型的设定的参数或者规格相匹配的网格，如13*13的网格。通过对每个网格均进行3类边框预测，将与真实边框的iou最大的边框作为预测输出，得到该卡片的位置信息；通过银联标志的中心点所在的网格对该银联标志进行位置预测，得到该银联标志的位置信息。

另外，本实施方式中还通过yolov3模型对卡片以及银联标志进行概率预测。具体地，将卡片的特征信息与预先存储的银行卡特征信息进行比对，确定该卡片为银行卡的预测概率，即确定卡片的图像类型预测概率。同理将银联标志的特征信息与预先存储的银联标志的特征信息进行对比，确定该部分图像为银联标志的预测概率，即确定银联标志的图像类型预测概率。

得到卡片的图像类型预测概率以及银联标志的图像类型预测概率后，分别将该卡片的图像类型预测概率以及银联标志的图像类型预测概率与各自对应的概率阈值进行比较，判断卡片的图像类型预测概率以及银联标志的图像类型预测概率是否均大于对应的概率阈值。如果均大于对应的概率阈值，则确定待检测图像为具有银联标志的银行卡卡片图像。

在一个可选的实施方式中，该卡片的图像类型预测概率以及银联标志的图像类型预测概率均设置为50％，在其他实施方式中，也可以设置为其他概率，如60％、70％或者其他大于50％的数值。且，卡片的预测类型预测概率以及银联标志的预测类型预测概率可以相同，也可以不相同，在此不做限定。

步骤203：如果待检测图像为具有银联标志的银行卡卡片图像，输出银行卡的位置信息以及图像类别预测概率。

其中，银行卡的位置信息为上述卡片的位置信息，图像类别预测概率为卡片为银行卡的预测概率。

在另一个实施方式中，在确定待检测图像为具有银联标志的银行卡卡片图像时，进一步地对银行卡上的文字进行识别，确定该银行卡的卡号。

其中，本实施方式中采用光学识别技术ocr技术对银行卡上的文字进行识别，确定该银行卡的卡号。

具体的，该ocr技术是通过电子设备检查图像上的字符，通过检测明、暗的模式确定该字符的形状，并通过字符识别技术将该形状翻译成计算机文字，即识别出卡号的每一个数字。

在确定该银行卡的卡号后，输出该卡号，本次银行卡的识别过程结束。

区别于现有技术，本实施方式中，在对银行卡进行识别时，通过对银行卡以及银联标志同时进行定位识别，通过判断是否具有银联标志来确定卡片是否为银行卡，并在确定待检测图像为具有银联标志的银行卡卡片图像时，输出银行卡的位置信息以及图像类别预测概率。不仅能够过滤掉非银行卡类型的卡片，而且，能够在复杂环境下快速实现银行卡的精确定位，排除因卡片定位不准而造成的后续对文字检测和文字识别的影响，提高银行卡识别的速率和准确率。

参阅图3，图3是本申请银行卡识别模型的训练装置一实施方式的结构示意图。

由于类似于银行卡的常用证件越来越多，为了防止由于误操作而带来的识别失败，节省银行卡识别效率以及节省资源，本实施方式中对深度学习回归模型增加对银联标志的识别的训练。

本实施方式的银行卡识别模型是以深度学习回归模型为初始模型。其中，该深度学习回归模型是在物体检测模型yolov3模型上进行微调得到的。该微调具体包括将基础网络架构中的全连接层通过全卷积层来代替，降低深度学习模型计算的维度，以减小计算量。并且为了控制深度学习模型模型的大小，提高运算速度，将物体检测模型yolo模型的featuremap数均做减半处理，以减小银行卡识别模型所占的内存。

具体地，本实施方式的训练装置包括图像输入模块301，预测模块302以及训练模块303。

图像输入模块301用于将已标注的图像输入到深度学习回归模型中。

已标注的图像为对图像中的银行卡的位置信息以及图像类型、银联标志的位置信息以及图像类别进行标注的图像。

其中，标注的位置信息包括对银行卡以及银联标志左上顶点坐标以及银行卡以及银联标志的长宽的标注。具体为在该图像中所建立的坐标系下的横纵坐标x和y，以及在横纵坐标上的延伸距离w和h的标注。图像类别为是否为银行卡或是否为银联标志的类型标注。

在一个可选的实施方式中，所有已标注的图像建立坐标系的方式统一，如已标注的图像为方形时，坐标系均以该方形图像的左上端点为原点。

在另一个实施方式中，也可以将图像的中心点确定为原点建立坐标系，对该图像中的银行卡以及银联标志的中心点坐标以及中心点沿坐标轴的延伸距离及银行卡的大小以及银联标志的长宽进行标注，在此不做限定。

具体地，训练装置在接收到已标注的图像后，将该已标注的图像输入到深度学习回归模型中。

预测模块302用于通过深度学习回归模型对图像中的银行卡以及银联标志进行预测，得到银行卡以及银联标志的预测位置信息以及图像类别预测概率。

预测模块302通过深度学习回归模型对该银行卡以及银联标志进行定位，确定银行卡以及银联标志的预测位置信息以及图像类别预测概率。

其中，本实施方式的深度学习模型相对于原始物体检测模型yolov3模型的featuremap数减半。在本实施方式中，预测模块302将输入到该深度学习模型中的图像分割成13*13的网格，通过深度学习网络对该图像中的每一个网格中的图像进行特征提取，确定银行卡以及银联标志的中心点所在的网格位置，通过该中心点所在的网格对银行卡或者银联标志进行定位。在一个具体的实施方式中，确定银行卡以及银联标志相对于图像的坐标系的左上端点的坐标信息以及沿每个坐标轴的延伸距离。

在一个可选的具体实施方式中，预测模块302通过对每个网格均进行3类边框预测，将与真实边框的iuo最大的边框作为最终预测边框，并输出该边框的坐标信息。在其他实施方式中，也可以对每个网格进行4类边框预测或者5类边框预测，理论上预测边框越多，结果越准确，但是考虑计算量以及效果，以3边框预测为优选实施方式。

上述图像类型预测概率也是预测模块302通过yolov3来实现的，具体的，如果预测的图像为银行卡，将该图像中预测为银行卡的部分图像的特征与预先存储的银行卡特征进行比对，确定银行卡的预测概率。同理将预测为银联标志的部分图像的特征与预先存储的银联标志的特征信息进行对比，确定银联标志的预测概率。

训练模块303用于将预测位置信息与图像的银行卡以及银联标志的标注位置信息进行比对，通过损失函数确定对深度学习回归模型是否进行再训练，并得到银行卡识别模型，银行卡识别模型为训练完成的深度学习回归模型。

由于深度回归模型本身的功能是用以对图像进行分类的，并不具有很完善的银行卡识别功能，输出的银行卡以及银联标志的预测位置信息并不完全准确，或者准确率较低。因此，需要根据深度学习回归模型的输出与对图像中的银行卡以及银联标志进行人工标注的标注位置信息进行比对，并根据比对结果进行模型优化。

在本实施方式中，训练模块303通过对损失函数的优化来实现对该深度学习回归模型的优化。具体地，训练模块303将当前损失值为最小损失值所对应的损失函数的参数确定为损失函数的当前优化参数，并对该深度学习回归模型进行再训练。至当前损失值的损失值的变化小于预设范围时，将当前的损失函数参数确定为当前述深度学习回归模型的模型参数，并将该模型参数确定为银行卡识别模型的模型参数。

区别于现有技术，本实施方式对图像中的银行卡以及银联标志的位置以及图像类别信息进行标注，通过将标注位置信息与通过深度学习回归模型预测的预测位置信息进行比对，通过损失函数对该深度学习回归模型进行训练，并将训练完成后的深度学习回归模型确定为银行卡识别模型。通过上述方式训练的银行卡识别模型，不仅能够过滤掉非银行卡类型的卡片，而且，能够在复杂环境下快速实现银行卡的精确定位，排除因卡片定位不准而造成的后续对文字检测和文字识别的影响，提高银行卡识别的速率和准确率。

参阅图4，图4是本申请智能装置一实施方式的结构示意图。其中，本实施方式的智能装置包括银行卡识别模型。该银行卡识别模型是通过图1以及文字描述中的任一实施方式的银行卡识别模型的训练方法训练得到的。

智能装置包括图像获取模块401、检测模块402以及输出模块403。

图像获取模块401用于获取到待检测图像。

智能终端需要对银行卡进行识别时，首先通过图像获取模块401获取到待检测图像，其中图像获取模块401可通过拍照或扫描的方式获取到待检测的图像，在此不做限定。

检测模块402用于通过银行卡识别模型检测待检测图像是否为具有银联标志的银行卡卡片图像。

在本实施方式中，检测模块402首先通过银行卡识别模型判断该待检测图像中是否包括银行卡形状的卡片及银联标志，如果未检测到银行卡形状的卡片或者银联标志，则确定该待检测图像不是具有银联标志的银行卡卡片图像，发出提示信息提醒用户。如果待检测图像为具有银联标志的银行卡卡片图像，则继续对该银行卡进行识别。

具体地，检测模块402首先通过银行卡识别模型对待检测图像按照银行卡识别模型的设定的参数或者规格进行特征提取，将该待检测图像分割成与该银行卡识别模型的设定的参数或者规格相匹配的网格，如13*13的网格。通过对每个网格均进行3类边框预测，将与真实边框的iou最大的边框作为最终预测边框，输出该卡片的位置信息。通过银联标志的中心点所在的网格对该银联标志进行位置预测，得到该银联标志的位置信息。

另外，本实施方式中检测模块402还通过yolov3对卡片以及银联标志进行概率预测。具体地，将卡片的特征信息与预先存储的银行卡特征信息进行比对，确定该卡片为银行卡的预测概率，即确定卡片的图像类型预测概率。同理将银联标志的特征信息与预先存储的银联标志的特征信息进行对比，确定该部分图像为银联标志的预测概率，即确定银联标志的图像类型预测概率。

得到卡片的图像类型预测概率以及银联标志的预测概率后，检测模块402分别将该卡片的图像类型预测概率以及银联标志的图像类型预测概率与各自对应的概率阈值进行比较，判断卡片的图像类型预测概率以及银联标志的图像类型预测概率是否均大于对应的概率阈值。如果均大于对应的概率阈值，则确定待检测图像为具有银联标志的银行卡卡片图像

在一个可选的实施方式中，该卡片的图像类型预测概率以及银联标志的图像类型预测概率均设置为50％，在其他实施方式中，也可以设置为其他概率，如60％、70％或者其他大于50％的数值。且，卡片的图像类型预测概率以及银联标志的图像类型预测概率可以相同，也可以不相同，在此不做限定。

输出模块403用于在待检测图像为具有银联标志的银行卡卡片图像时，输出银行卡的位置信息以及图像类别预测概率。

其中，银行卡的位置信息为上述卡片的位置信息，图像类别预测概率为卡片为银行卡的预测概率。

在另一个实施方式中，在确定待检测图像为具有银联标志的银行卡卡片图像时，输出模块403进一步地对银行卡上的文字进行识别，确定该银行卡的卡号。

其中，本实施方式的输出模块403中采用光学识别技术ocr技术对银行卡上的文字进行识别，确定该银行卡的卡号。

具体的，该ocr技术是通过电子设备检查图像上的字符，通过检测明、暗的模式确定该字符的形状，并通过字符识别技术将该形状翻译成计算机文字，即识别出卡号的每一个数字。

输出模块403在确定该银行卡的卡号后，输出该卡号，本次银行卡的识别过程结束。

区别于现有技术，本实施方式中，在对银行卡进行识别时，通过对银行卡以及银联标志同时进行定位识别，通过判断是否具有银联标志来确定卡片是否为银行卡，并在确定待检测图像为具有银联标志的银行卡卡片图像时，输出银行卡的位置信息以及图像类别预测概率。不仅能够过滤掉非银行卡类型的卡片，而且，能够在复杂环境下快速实现银行卡的精确定位，排除因卡片定位不准而造成的后续对文字检测和文字识别的影响，提高银行卡识别的速率和准确率。

参阅图5，图5是本申请智能终端一实施方式的结构示意图。其中，本实施方式的智能终端50包括人机交互控制电路502以及与该人机交互控制电路耦接的处理器501。该处理器501上可运行的计算机程序。处理器501在执行计算机程序时能够实现图1及其相关文字描述的任一实施方式的银行卡识别模型的训练方法，或者执行图2及其相关文字描述的任一实施方式的银行卡识别方法。

请参与图6，本申请还提供一种存储装置的实施例的结构示意图。本实施例中，该存储装置60存储有处理器可运行的计算机指令61，该计算机指令61用于执行图1及其相关文字描述的任一实施方式的银行卡识别模型的训练方法的步骤，或者执行图2及其相关文字描述的任一实施方式的银行卡识别方法的步骤。

该存储装置60具体可以为u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory，)、磁碟或者光盘等可以存储计算机指令61的介质，或者也可以为存储有该计算机指令61的服务器，该服务器可将存储的计算机指令61发送给其他设备运行，或者也可以自运行该存储的计算机指令61。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。