一种端到端的文本检测方法、系统、终端及存储介质与流程

本发明涉及计算机视觉和图像处理技术领域，具体地，涉及一种端到端的文本检测方法、系统、终端及存储介质。

背景技术：

随着深度学习和计算机视觉技术的迅速发展，检测算法准确率越来越高、速度越来越快。其中，在输入图片中检测文本是一个非常重要的子领域，只有当文本被准确检测到，才能进行下一步的识别以及提取信息，可以广泛应用到行政文档自动识别、自然场景标志检测与识别等各个领域。目前，对图片进行文本检测的算法几乎都是基于深度学习以及卷积神经网络的，具体有以下两个流派：基于传统目标检测系列算法对文本数据进行针对性改动的方法和基于分割网络的方法。基于传统目标检测系列算法衍生的方法在文本检测上表现良好，但整体流程尤其后处理比较复杂，准确度也有提升空间；基于分割网络的方法在近两年兴起，准确率和速度都表现优良，但从根本上无法解决文本重叠问题。

经过检索发现：授权公告号为cn105631426b，授权公告日为2019年05月07日的中国发明专利，其公开了一种对图片进行文本检测的方法及装置，获取进行文本检测的图片；将所述图片输入全卷积网络的第一层，在所述第一层中基于文本区域的序列特征，检测出所述图片中的文本区域；将所述文本区域输入到所述全卷积网络的第二层，在所述第二层中基于文本中间线的监督分类器，将所述文本区域分解为独立的文本行区域输出，所述文本中间线的区域由高斯分布的函数定义。该发明基于两层级联式的全卷积网络，对图片中的文本行进行提取，不仅充分节省了重叠区域之间的计算资源，而且利用了文本更高层的序列特征作为监督信息，提高了文本检测算法的鲁棒性。该专利文献中所提供的技术，虽然在一定程度上能够改善文本重叠区域的计算问题，但是效果有限，不能够拥有更高的精度，且对于复杂的文本重叠问题，鲁棒性差。

技术实现要素：

本发明针对现有技术中存在的上述不足，提供了一种端到端的文本检测方法、系统、终端及存储介质。

根据本发明的一个方面，提供了一种端到端的文本检测方法，包括：

将待检测的图片进行特征分割；

对所述特征分割得到的特征逐层逐点叠加生成新特征图；

将所述新特征图拼接后进行掩膜分割预测，得到掩膜预测图；

对所述掩膜预测图进行目标检测，得到所需检测的文本框位置信息；

其中，所述将待检测的图片进行特征分割，包括：

将待检测的图片依次经过n次相同比例的下采样，得到n个不同尺寸的下采样特征图；n为大于等于1的自然数；

对所述特征分割得到的特征逐层逐点叠加生成新特征图，其中：

对于n个不同尺寸的下采样特征图，将第一下采样特征图进行上采样，得到第一上采样特征图，所述第一下采样特征图为n个不同尺寸的下采样特征图中尺寸最小的特征图，所述第一上采样特征图的尺寸与n个不同尺寸的下采样特征图中第二小尺寸的特征图相同；将所述第一上采样特征图与相同尺寸的下采样特征图中第二小尺寸的特征图进行逐点相加，生成新的第二小尺寸特征图；对此新的第二小尺寸特征图进行上采样，得到第二上采样特征图，所述第二上采样特征图的尺寸与n个不同尺寸的下采样特征图中第三小尺寸的特征图相同；将所述第一上采样特征图与相同尺寸的下采样特征图中第三小尺寸的特征图进行逐点相加，生成新的第三小尺寸特征图；按照以上逐层逐点叠加操作类推，最终得到一个所需尺寸大小的第一新特征图；同时，对n个不同尺寸的下采样特征图，分别进行不同比例的上采样，最终得到m个所需尺寸大小的第二新特征图；m为小于n的自然数；所述第一新特征图、所述第二新特征图的尺寸相同。

优选地，将所述新特征图拼接后进行掩膜分割预测，得到掩膜预测图，包括：

将尺寸相同的所述第一新特征图、所述第二新特征图在通道维度上进行拼接，形成一个整体的多通道的最终特征图；

将所述最终特征图进行掩膜分割预测，得到与所述第一新特征图、所述第二新特征图尺寸相同的单通道的掩膜预测图。

优选地，对所述掩膜预测图进行目标检测，得到所需检测的文本框位置信息，包括：

对所述掩膜预测图进行特征提取，得到特征提取图；

对所述特征提取图生成多个预选框，形成预选框集合；

将所述预选框和所述特征提取图进行感兴趣区域池化操作，得到相同尺寸的各个预选框对应的特征提取图；

将各个预选框对应的特征提取图进行分类操作，得到每个预选框是否为文本框的分类结果；

对所有判断为文本框的预选框进行非极大值抑制，得到稀疏的最终文本框位置信息，即所需检测的文本框位置信息。

优选地，在所述特征分割之前，还包括对待检测文本的图片进行预处理，所述预处理包括：

按照设定比例，对图片进行随机裁剪；

按照设定概率对裁剪后的图片进行翻转；

对翻转后的图片进行随机角度的旋转；

对旋转后的图片增加噪声；

将增加噪声后的图片尺寸调整到进行特征分割所需的输入图片尺寸。

优选地，所述将待检测的图片进行特征分割，所述对所述掩膜预测图进行目标检测，分别采用分割网络、目标检测网络实现，其中还包括：

对网络进行训练，根据损失函数分别计算分割网络的损失值和目标检测网络的损失值，并做加权和作为整体损失值；利用训练数据集，根据所述整体损失值，采用反向传播算法对分割网络和目标检测网络进行训练。

优选地，所述训练数据集中的每一张图片均包含与图片一一对应的标注文件，所述标注文件中包含图片中出现的所有文本框的位置信息；

在对训练数据集中的图片进行预处理的每一个过程中，均对相应的标注文件中的文本框的位置信息做出相应的改变，保证修改后的图片与文本框位置信息一致。

根据本发明的另一个方面，提供了一种端到端的文本检测系统，包括：

分割模块，该模块将待检测的图片进行特征分割；

新特征图生成模块，该模块对所述分割模块分割后的特征逐层逐点叠加生成新特征图；

掩膜预测图生成模块，该模块将所述新特征图生成模块得到的新特征图拼接后进行掩膜分割预测，得到掩膜预测图；

目标检测模块，该模块对所述掩膜预测图生成模块得到的掩膜预测图进行目标检测，得到所需检测的文本框位置信息；

其中，所述分割模块，将待检测的图片依次经过n次相同比例的下采样，得到n个不同尺寸的下采样特征图；n为大于等于1的自然数；

所述新特征图生成模块，对于所述分割模块得到的n个不同尺寸的下采样特征图，将第一下采样特征图进行上采样，得到第一上采样特征图，所述第一下采样特征图为n个不同尺寸的下采样特征图中尺寸最小的特征图，所述第一上采样特征图的尺寸与n个不同尺寸的下采样特征图中第二小尺寸的特征图相同；将所述第一上采样特征图与相同尺寸的下采样特征图中第二小尺寸的特征图进行逐点相加，生成新的第二小尺寸特征图；对此新的第二小尺寸特征图进行上采样，得到第二上采样特征图，所述第二上采样特征图的尺寸与n个不同尺寸的下采样特征图中第三小尺寸的特征图相同；将所述第一上采样特征图与相同尺寸的下采样特征图中第三小尺寸的特征图进行逐点相加，生成新的第三小尺寸特征图；按照以上逐层逐点叠加操作类推，最终得到一个所需尺寸大小的第一新特征图；同时，对n个不同尺寸的下采样特征图，分别进行不同比例的上采样，最终得到m个所需尺寸大小的第二新特征图；m为小于n的自然数；所述第一新特征图、所述第二新特征图的尺寸相同。

根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一所述的方法。

根据本发明第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一所述的方法。

由于采用了上述技术方案，本发明与现有技术相比，具有如下有益效果：

本发明提供的端到端的文本检测方法、系统、终端及存储介质，将基于深度学习的图像分割算法与目标检测算法有机融合，形成一套端到端的文本检测技术，对输入图片进行文本框位置检测，不仅拥有更高的精度，而且可以覆盖很多困难情境如文本重叠问题，具有更好的鲁棒性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中端到端的文本检测方法流程图。

图2为本发明一优选实施例中端到端的文本检测方法流程图。

图3为本发明一优选实施例中分割网络工作示意图。

图4为本发明一优选实施例中目标检测网络工作示意图。

图5为本发明一实施例中文本检测系统的组成模块示意图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

图1为本发明一实施例中端到端的文本检测方法流程图。

如图1所示，该实施例提供的端到端的文本检测方法，可以包括如下步骤：

s100，将待检测的图片进行特征分割；

s200，对特征分割得到的特征逐层逐点叠加生成新特征图；

s300，将新特征图拼接后进行掩膜分割预测，得到掩膜预测图；

s400，对掩膜预测图进行目标检测，得到所需检测的文本框位置信息。

上述的s100，将待检测的图片进行特征分割，可以采用：将待检测的图片依次经过n次相同比例的下采样，得到n个不同尺寸的下采样特征图；n为大于等于1的自然数。当然，此处的n取值可以根据分割的要求进行选择。

上述的s200，对于n个不同尺寸的下采样特征图，将第一下采样特征图进行上采样，得到第一上采样特征图，第一下采样特征图为n个不同尺寸的下采样特征图中尺寸最小的特征图，第一上采样特征图的尺寸与n个不同尺寸的下采样特征图中第二小尺寸的特征图相同；将第一上采样特征图与相同尺寸的下采样特征图中第二小尺寸的特征图进行逐点相加，生成新的第二小尺寸特征图；对此新的第二小尺寸特征图进行上采样，得到第二上采样特征图，第二上采样特征图的尺寸与n个不同尺寸的下采样特征图中第三小尺寸的特征图相同；将第一上采样特征图与相同尺寸的下采样特征图中第三小尺寸的特征图进行逐点相加，生成新的第三小尺寸特征图；按照以上逐层逐点叠加操作类推，最终得到一个所需尺寸大小的第一新特征图。同时，对n个不同尺寸的下采样特征图，分别进行不同比例的上采样，最终得到m个所需尺寸大小的第二新特征图；m为小于n的自然数；第一新特征图、第二新特征图的尺寸相同。也就是得到了多个尺寸相同的新特征图，该新特征图用于后续生成的掩膜预测图。

在一优选实施例中，上述s300中，可以为将尺寸相同的第一新特征图、第二新特征图在通道维度上进行拼接，形成一个整体的多通道的最终特征图；将最终特征图进行掩膜分割预测，得到与第一新特征图、第二新特征图尺寸相同的单通道的掩膜预测图。

上述实施例是一种端到端的文本检测方法，该方法旨在基于深度学习，融合图片分割思想和目标检测思想，串行地将语义分割和目标检测相结合，与单纯基于分割的方法相比，能够解决文本覆盖问题，与单纯基于检测的方法相比，拥有更高精度，鲁棒性更强。将输入图片先过分割网络生成掩膜，再将单通道掩膜作为输入经过目标检测网络生成最终的文本框位置，不仅可以解决文本重叠问题，也将提升整体检测精度。

图4为本发明一优选实施例中目标检测网络工作示意图。如图4所示，在一优选实施例中，上述s400中，可以先对掩膜预测图进行特征提取，得到新的特征提取图；针对新的特征提取图生成多个预选框，形成预选框集合；将生成的预选框和新的特征图进行感兴趣区域池化操作，得到相同尺寸的各个预选框对应的自身特征图；将各个预选框对应的自身特征图进行分类操作，得到每个预选框是否为文本框的分类结果；对所有判断为文本框的预选框做非极大值抑制，得到稀疏的最终文本框位置信息。

在另一优选实施例中，可以在上述实施例的图片分割之前，对图片进行预处理。具体的，预处理可以包括：按照设定比例，对图片进行随机裁剪；按照设定概率对裁剪后的图片进行翻转；对翻转后的图片进行随机角度的旋转；对旋转后的图片增加噪声；将增加噪声后的图片尺寸调整到分割网络所需的输入图片尺寸。

图3为本发明一优选实施例中分割网络工作示意图。如图3所示，在一具体实施例中，将预处理后的图片依次经过5次下采样，得到1/2、1/4、1/8、1/16、1/32共5个不同尺寸的特征图，完成图片分割。

将1/32特征图进行上采样，得到另一个1/16特征图，将下采样过程中生成的1/16特征图与此上采样过程中生成的1/16特征图做逐点相加，生成新的1/16特征图；对此新的1/16特征图进行上采样，得到另一个1/8特征图，将之前下采样过程中生成的1/8特征图与此上采样过程中生成的1/8特征图做逐点相加，生成新的1/8的特征图；对此新的1/8特征图进行上采样，得到另一个1/4特征图，将之前下采样过程中生成的1/4特征图与此上采样过程中生成的1/4特征图做逐点相加，生成一个新的1/4的特征图。将1/32特征图送入比例为8的上采样模块、将1/16特征图送入比例为4的上采样模块、将1/8特征图送入比例为2的上采样模块，生成3个1/4的特征图。因此，经过上述操作最终得到4个1/4的特征图。

再将这4个特征图在通道维度上进行拼接，形成一个整体的更多通道的最终特征图，将最终特征图进行掩膜预测，得到最终尺寸为1/4的单通道的掩膜预测图。得到的掩膜预测图中每个像素点的值，代表该位置是文本所在位置的概率；值越大，代表该位置是文本所在位置的概率越大。

图2为本发明一优选实施例中端到端的文本检测方法流程图。如图2所示，在另一实施例中，将待检测的图片进行特征分割，对掩膜预测图进行目标检测，分别采用分割网络、目标检测网络实现，其中，还包括训练过程：

对网络进行训练，根据损失函数分别计算分割网络的损失值和目标检测网络的损失值，并做加权和作为整体损失值；利用训练数据集，根据整体损失值，采用反向传播算法对分割网络和目标检测网络进行训练。

作为一优选实施例，训练数据集中的每一张图片均包含与图片一一对应的标注文件，标注文件中包含图片中出现的所有文本框的位置信息；在对训练数据集中的图片进行预处理的每一个过程中，均对相应的标注文件中的文本框的位置信息做出相应的改变，保证修改后的图片与文本框位置信息一致。传统的目标检测网络，输入图片是真实世界中的图片，网络需要在丰富的背景中学到文本框所在的位置，这对网络的大小以及学习能力提出了很高的要求。在本实施例中，目标检测网络的输入是上一步分割网络得到的掩膜预测图，这张图是单通道即黑白的，没有背景等冗余信息，对目标检测网络来讲，是一种很优质的数据形式。本实施例对模型容量要求不高，无需使用模型很大的目标检测算法，仅使用小型目标检测算法，即可在以掩膜预测图为输入的基础上，非常准确地输出得到文本框位置信息，获得比传统大模型更高的精度。

在本发明另一实施例中，提供了一种端到端的文本检测系统，用于实现上述实施例的端到端的文本检测方法。图5为本发明一实施例中端到端的文本检测系统的组成模块示意图。具体的，如图5所示，该实施例中的端到端的文本检测系统包括：分割模块，该模块将待检测的图片进行特征分割；新特征图生成模块，该模块对分割模块分割后的特征逐层逐点叠加生成新特征图；掩膜预测图生成模块，该模块将新特征图生成模块得到的新特征图拼接后进行掩膜分割预测，得到掩膜预测图；目标检测模块，该模块对掩膜预测图生成模块得到的掩膜预测图进行目标检测，得到所需检测的文本框位置信息。本实施例不仅可以解决文本重叠问题，也将提升整体检测精度。

为了更好实现目标的检测，在一优选实施例中，上述的目标检测模块可以包括：特征提取网络，用于对输入的掩膜预测图进行特征提取，得到新的特征图；预选框生成网络，对新的特征图生成多个预选框，形成预选框集合；感兴趣区域池化模块，对输入的生成的预选框和新的特征图进行池化处理，得到相同尺寸的各个预选框对应的自身特征图；分类器，将各个预选框对应的自身特征图进行分类学习，得到每个预选框是否为文本框的分类结果；结果预测模块，对分类结果中所有判断为正（是文本框）的预选框做非极大值抑制，得到稀疏的最终文本框结果。

当然，在本发明其他实施例中，还可以在图片分割之前，对图片进行预处理，具体预处理的过程可以优选上述方法实施例中的预处理记载，同时，也可以采用其他现有预处理方法实现。

本发明上述实施例端到端的中文本检测系统无需做太多复杂的后处理操作就能得到拥有较高精度，而且可以覆盖很多困难情境如文本重叠问题，具有更好的鲁棒性。

具体的，上述实施例中分割模块将待检测的图片进行特征分割，在一优选实施例中，分割模块可以通过下采样模块来进行，下采样模块将待检测的图片依次经过n次相同比例的下采样，得到n个不同尺寸的下采样特征图；n为大于等于1的自然数。当然，此处的n取值可以根据分割的要求进行选择。

上述实施例中，新特征图生成模块可以采用上采样模块来进行，对分割模块分割后的特征逐层逐点叠加生成新特征图。具体的，在一优选实施例中，对于n个不同尺寸的下采样特征图，将第一下采样特征图进行上采样，得到第一上采样特征图，第一下采样特征图为n个不同尺寸的下采样特征图中尺寸最小的特征图，第一上采样特征图的尺寸与n个不同尺寸的下采样特征图中第二小尺寸的特征图相同；将第一上采样特征图与相同尺寸的下采样特征图中第二小尺寸的特征图进行逐点相加，生成新的第二小尺寸特征图；对此新的第二小尺寸特征图进行上采样，得到第二上采样特征图，第二上采样特征图的尺寸与n个不同尺寸的下采样特征图中第三小尺寸的特征图相同；将第一上采样特征图与相同尺寸的下采样特征图中第三小尺寸的特征图进行逐点相加，生成新的第三小尺寸特征图；按照以上逐层逐点叠加操作类推，最终得到一个所需尺寸大小的第一新特征图。同时，对n个不同尺寸的下采样特征图，分别进行不同比例的上采样，最终得到m个所需尺寸大小的第二新特征图；m为小于n的自然数；第一新特征图、第二新特征图的尺寸相同。也就是得到了多个尺寸相同的新特征图，该新特征图用于后续生成的掩膜预测图。

具体的，在一优选实施例中，上述掩膜预测图生成模块可以将新特征图生成模块的尺寸相同的第一新特征图、第二新特征图在通道维度上进行拼接，形成一个整体的多通道的最终特征图，将最终特征图进行掩膜分割预测，得到与第一新特征图、第二新特征图尺寸相同的单通道的掩膜预测图。

为了更好理解上述的几个模块工作，采用一具体应用实例来说明。应该理解的是，该具体应用实例中参数并不用于限定本发明。具体的，参照图2所示，在该应用实例中，下采样模块由数层卷积核大小为3x3的卷积层以及一层2x2的池化层组成，卷积层的作用是通过不断卷积，扩大感受野，提取更好的特征；同时，为了使不同的卷积和能够以同样大小进行融合，在本实施例中对特征图进行了边缘填补，使得输出的特征图大小相同；池化层的作用是将提取到的特征图下采样到1/2尺寸大小。输入图片（可以先对图片进行预处理）经过5个下采样模块，得到1/2、1/4、1/8、1/16、1/32共5个不同尺寸的特征图。上采样模块是将特征图以一定比例向上采样，在本实施例中比例为2，与下采样比例相匹配。1/32的特征图经过一个上采样模块，得到另一个1/16的特征图，将之前下采样过程中生成的1/16特征图与此特征图做逐点相加，生成新的1/16的特征图。然后对此新特征图进行上采样，得到另一个1/8的特征图，将之前下采样过程中生成的1/8特征图与此特征图做逐点相加，生成新的1/8的特征图。重复这样的操作，可以得到经过一轮下采样和反方向上采样并相融合的1/4、1/8、1/16、1/32特征图。将1/32特征图送入比例为8的上采样模块、将1/16特征图送入比例为4的上采样模块、将1/8特征图送入比例为2的上采样模块，最终得到4个1/4的特征图，将这四个特征图在通道维度上拼接起来，形成一个整体的更多通道的特征图，而这个特征图就是经过整个分割网络骨干网络后生成的最终特征图。将最终特征图送入掩膜预测图生成模块，得到最终尺寸为1/4的单通道的掩膜预测图。此掩膜预测图中每个像素点的值，代表该位置是文本区域的概率。值越大，代表该位置是文本所在位置的概率越大。本实施例再通过反卷积操作与u型链接网络（上采样模块）得到上采样后的特征图，可以很好解决文本重叠问题。

为了进一步提高图片分割和目标检测的效果，在上述实施例基础上，还可以进一步包括训练模块，用于训练分割网络和目标检测网络。具体的，在一优选实施例中，可以根据预设的损失函数，分别计算分割网络的损失值和目标检测网络的损失值，并做加权和作为整体损失值；利用训练数据集，根据得到的整体损失值，采用反向传播算法对分割网络和目标检测网络进行训练。预设的损失函数可以是现有技术损失函数的任意一种，比如mse或l2损失、mae或l1损失、交叉熵损失等等，在具体应用中选择何种损失函数可以根据实际应用需求来选择，比如图片分割时采用加权的像素级交叉熵损失可以处理类间不平衡等问题。

在上述实施例中，为了进一步保证后续文本检测的效果，对上述用于训练的图片做进一步的选择。具体的，在一优选实施例中，训练数据集中的每一张图片均包含与图片一一对应的标注文件，标注文件中包含图片中出现的所有文本框的位置信息；在对训练数据集中的图片进行预处理的每一个过程中，均对相应的标注文件中的文本框的位置信息做出相应的改变，保证修改后的图片与文本框位置信息一致。

在本发明另一实施例中还提供了一种端到端的文本检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行上述实施例中任一项的方法。

可选地，存储器，用于存储程序；存储器，可以包括易失性存储器（英文：volatilememory），例如随机存取存储器（英文：random-accessmemory，缩写：ram），如静态随机存取存储器（英文：staticrandom-accessmemory，缩写：sram），双倍数据率同步动态随机存取存储器（英文：doubledataratesynchronousdynamicrandomaccessmemory，缩写：ddrsdram）等；存储器也可以包括非易失性存储器（英文：non-volatilememory），例如快闪存储器（英文：flashmemory）。存储器用于存储计算机程序（如实现上述方法的应用程序、功能模块等）、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。

在本发明另一实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述实施例中任一项的方法。

本发明上述实施例提供的端到端的文本检测方法、系统、终端及存储介质中，分割网络和目标检测网络可以是基于卷积神经网络，通过分割网络将图片进行语义分割，再通过目标检测网络对输入图片进行特征提取，再得到上采样后的特征图，每一个像素点的值代表该像素位置是文本区域的概率。将单通道的特征图作为输入，送入基于卷积神经网络的目标检测网络，得到文本框的预测位置。本发明实施例能够有效解决文本覆盖问题，拥有更高精度，鲁棒性更强。

需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。