文字图像超分辨率重建系统及方法与流程

[0001]
本发明属于图像处理技术领域，涉及一种图像处理系统，尤其涉及一种文字图像超分辨率重建系统及方法。


背景技术：

[0002]
深度神经网络是一种复杂的数学模型，输入数据通过深度神经网络获得相应的输出数据，通过输出数据与标记数据的差异构建损失函数，损失函数对深度神经网络中的参数计算梯度，通过梯度反向传播，更新深度神经网络中的参数，通过不断更新参数，致使输出数据与标记数据间的差异不断减小。其中输入数据与标记数据构成深度神经网络训练所需要的训练数据，深度神经网络的性能跟神经网络的结构和训练数据有关。深度神经网络在图像、语音、自然语言处理等领域都已取得优于传统方法的性能，得到广泛应用。
[0003]
图像超分辨率重建是指从观测到的低分辨率图像中重建出对应的高分辨率图像。随着深度学习技术的快速发展，基于深度神经网络的图像超分辨率重建方法是目前性能最优的图像超分辨率重建方法。
[0004]
基于深度神经网络的图像超分辨率重建方法通常包含两大模块：特征提取模块21和超分辨率图像重建模块31，获得重建的超分辨率文字图像41，在训练时，计算重建的超分辨率文字图像41与待处理文字图像11对应高分辨率图像间的图像损失函数51，基于图像损失函数51进行图像训练梯度反向传播，更新特征提取模块21和超分辨率图像重建模块31的参数，使特征提取模块21能够提取到待处理图像11的图像信息，整体如图1所示。现有基于深度神经网络的图像超分辨率重建方法在自然图像重建中取得良好的性能。将现有图像超分辨率重建方法直接用于文字图像超分辨率重建时，重建后的超分辨率文字图像会产生文字边缘模糊、可信度低的问题：
[0005]
文字图像相比于自然图像，含有大量的梯度信息，直接将现有图像超分辨重建方法用于文字图像超分辨率重建时，不能充分利用文字图像中的梯度信息，导致重建的超分辨率文字图像文字边缘模糊；
[0006]
超分辨率重建本质上是一个不适定问题，即对于一张低分辨率图像，通常会有很多张高分辨率图像与之对应，该不适定问题会导致重建后的超分辨率文字图像中文字内容的改变，致使重建的超分辨率文字图像可信度较低。
[0007]
有鉴于此，如今迫切需要设计一种新的文字图像重建方式，以便克服现有文字图像重建方式存在的上述至少部分缺陷。


技术实现要素：

[0008]
本发明提供一种文字图像超分辨率重建系统及方法，可降低分辨率的文字图像重建为超分辨率的文字图像，为文字检测和识别等高层任务提供清晰可信的图像。
[0009]
为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：
[0010]
一种文字图像超分辨率重建系统，所述系统包括：
[0011]
特征提取模块，用以提取待处理图像对应的设定特征层；
[0012]
超分辨率图像重建模块，连接所述特征提取模块，用以将所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；
[0013]
文字识别模块，连接所述特征提取模块，用以对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容；
[0014]
超分辨率梯度图重建模块，连接所述特征提取模块，用以对所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率梯度图。
[0015]
作为本发明的一种实施方式，所述系统进一步包括：
[0016]
图像损失函数获取模块，用以根据所述超分辨率图像重建模块获取的超分辨率文字图像计算图像损失函数；
[0017]
文字损失函数获取模块，用以根据所述文字识别模块获取的文字内容计算文字损失函数；
[0018]
梯度损失函数获取模块，用以根据所述超分辨率梯度图重建模块获取的超分辨率梯度图计算梯度损失函数；
[0019]
损失函数融合模块，用以将所述图像损失函数获取模块获取的图像损失函数、所述文字损失函数获取模块获取的文字损失函数、所述梯度损失函数获取模块获取的梯度损失函数三种损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务文字图像超分辨率重建网络的训练。
[0020]
作为本发明的一种实施方式，所述特征提取模块用以获取待处理文字图像的高级特征层，所述高级特征层包含待处理文字图像的深层特征信息；
[0021]
所述超分辨率图像重建模块用以将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像；
[0022]
所述文字识别模块用以将所述高级特征层进行包含池化层的深度神经网络的下采样，使得下采样后的特征层高度为设定值；将下采样后的特征层送入双向lstm网络进行时序特征的提取，获得待处理文字图像时序特征的输出；将时序特征通过全连接层和softmax函数进一步提出特征，最后一层的特征确定为待处理文字图像的文字内容；
[0023]
所述超分辨率梯度图重建模块用以将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率梯度图。
[0024]
作为本发明的一种实施方式，所述图像损失函数获取模块用以将计算得到的图像损失函数通过图像训练梯度反向传播至所述特征提取模块；使所述特征特征提取模块提取的高级特征层含有丰富的图像信息，从而使得超分辨率重建模块重建后的超分辨率文字图像更加逼真；
[0025]
所述文字损失函数获取模块用以将计算得到的文字损失函数通过文字训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的文字信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像文字内容更加准备，提高重建后的超分辨率文字图像的可信度；
[0026]
所述梯度损失函数获取模块用以将计算得到的梯度损失函数通过梯度训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的高级特征层含有丰富的梯度信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像、文字边缘更加清晰，提高重建后的超分辨率文字图像的清晰度。
[0027]
作为本发明的一种实施方式，所述图像损失函数获取模块用以计算图像损失函数，具体包含：将重建后的超分辨率文字图像与待处理文字图像对应的高分辨率文字图像计算l1损失，使重建后的超分辨率文字图像具有相应高分辨率文字图像的像素值；
[0028]
所述文字损失函数获取模块用以计算文字损失函数，具体包括：将利用文字识别模块获取的待处理文字图像的文字内容与对应的标注文字内容计算ctc损失，使文字识别模块识别的文字内容更加正确；
[0029]
所述梯度损失函数获取模块用以计算梯度损失函数，具体包括：将所述待处理文字图像对应的高分辨率文字图像通过sobel算子计算梯度图，获取目标梯度图；将所述的目标梯度图与重建后的超分辨率梯度图计算l1损失，使重建后超分辨率梯度图具有目标梯度图的像素值；
[0030]
所述损失函数融合模块将所述图像损失函数、文字损失函数、梯度损失函数三种损失函数进行加权求和，获得融合损失函数。
[0031]
根据本发明的一个方面，采用如下技术方案：一种文字图像超分辨率重建方法，所述方法包括：
[0032]
特征提取模块提取待处理图像对应的设定特征层；
[0033]
将所述特征层输入至超分辨率图像重建模块，将所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；
[0034]
将所述特征层输入至文字识别模块，对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容；
[0035]
将所述特征层输入至超分辨率梯度图重建模块，对所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率梯度图。
[0036]
作为本发明的一种实施方式，所述方法进一步包括：
[0037]
图像损失函数获取模块根据所述超分辨率图像重建模块获取的超分辨率文字图像计算图像损失函数；
[0038]
文字损失函数获取模块根据所述文字识别模块获取的文字内容计算文字损失函数；
[0039]
梯度损失函数获取模块根据所述超分辨率梯度图重建模块获取的超分辨率梯度图计算梯度损失函数；
[0040]
损失函数融合模块将所述图像损失函数获取模块获取的图像损失函数、所述文字损失函数获取模块获取的文字损失函数、所述梯度损失函数获取模块获取的梯度损失函数三种损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务文字图像超分辨率重建网络的训练。
[0041]
作为本发明的一种实施方式，所述特征提取模块获取待处理文字图像的高级特征层，所述高级特征层包含待处理文字图像的深层特征信息；
[0042]
所述超分辨率图像重建模块将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像；
[0043]
所述文字识别模块将所述高级特征层进行包含池化层的深度神经网络的下采样，使得下采样后的特征层高度为设定值；将下采样后的特征层送入双向lstm网络进行时序特征的提取，获得待处理文字图像时序特征的输出；将时序特征通过全连接层和softmax函数进一步提出特征，最后一层的特征确定为待处理文字图像的文字内容；
[0044]
所述超分辨率梯度图重建模块将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率梯度图。
[0045]
作为本发明的一种实施方式，所述图像损失函数获取模块将计算得到的图像损失函数通过图像训练梯度反向传播至所述特征提取模块；使所述特征特征提取模块提取的高级特征层含有丰富的图像信息，从而使得超分辨率重建模块重建后的超分辨率文字图像更加逼真；
[0046]
所述文字损失函数获取模块将计算得到的文字损失函数通过文字训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的文字信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像文字内容更加准备，提高重建后的超分辨率文字图像的可信度；
[0047]
所述梯度损失函数获取模块将计算得到的梯度损失函数通过梯度训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的高级特征层含有丰富的梯度信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像、文字边缘更加清晰，提高重建后的超分辨率文字图像的清晰度。
[0048]
作为本发明的一种实施方式，所述图像损失函数获取模块计算图像损失函数，具体包含：将重建后的超分辨率文字图像与待处理文字图像对应的高分辨率文字图像计算l1损失，使重建后的超分辨率文字图像具有相应高分辨率文字图像的像素值；
[0049]
所述文字损失函数获取模块计算文字损失函数，具体包括：将利用文字识别模块获取的待处理文字图像的文字内容与对应的标注文字内容计算ctc损失，使文字识别模块识别的文字内容更加正确；
[0050]
所述梯度损失函数获取模块计算梯度损失函数，具体包括：将所述待处理文字图像对应的高分辨率文字图像通过sobel算子计算梯度图，获取目标梯度图；将所述的目标梯度图与重建后的超分辨率梯度图计算l1损失，使重建后超分辨率梯度图具有目标梯度图的像素值；
[0051]
所述损失函数融合模块将所述图像损失函数、文字损失函数、梯度损失函数三种损失函数进行加权求和，获得融合损失函数。
[0052]
本发明的有益效果在于：本发明提出的多任务文字图像超分辨率重建系统及方法，降低分辨率的文字图像重建为超分辨率的文字图像，解决现有基于深度神经网络的图像超分辨率重建方法应用于文字图像重建时，重建后的超分辨率文字图像文字边缘模糊、文字内容可信度低的问题，为文字图像的语义分析等高层任务提供清晰可信的图像。
[0053]
本发明与现有的基于深度神经网络的图像超分辨率重建方法相比，具有以下两个
优势：
[0054]
(1)重建后的超分辨率文字图像文字边缘清晰：
[0055]
本发明提供的多任务文字图像超分辨率重建方法，在超分辨率图像重建模块的基础上并行添加超分辨率梯度图重建模块，计算梯度损失函数，在网络参数更新时，通过梯度训练梯度反向传播，使特征提取模块提取的高级特征层含有丰富的梯度信息，从而使超分辨率图像重建模块重建的超分辨率文字图像文字边缘更加清晰。
[0056]
(2)重建后的超分辨率文字图像文字内容可信度高：
[0057]
本发明提出的多任务文字图像超分辨率重建方法，在超分辨率图像重建模块的基础上并行添加文字识别模块，计算文字损失函数，在网络参数更新时，通过文字训练梯度反向传播，使特征提取模块提取的高级特征层含有丰富的文字信息，从而使超分辨率图像重建模块重建的超分辨率文字图像文字内容正确、可信度高。
附图说明
[0058]
图1为现有文字图像超分辨率重建系统的组成示意图。
[0059]
图2为本发明一实施例中文字图像超分辨率重建系统的组成示意图。
[0060]
图3为本发明一实施例中文字图像超分辨率重建系统的组成示意图。
[0061]
图4为本发明一实施例中文字图像超分辨率重建系统的组成示意图。
具体实施方式
[0062]
下面结合附图详细说明本发明的优选实施例。
[0063]
为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
[0064]
该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
[0065]
说明书中各个实施例中的步骤的表述只是为了方便说明，本申请的实现方式不受步骤实现的顺序限制。说明书中的“连接”既包含直接连接，也包含间接连接。
[0066]
本发明揭示了一种文字图像超分辨率重建系统，图2、图3为本发明一实施例中文字图像超分辨率重建系统的组成示意图；请参阅图2、图3，所述系统包括：特征提取模块1、超分辨率图像重建模块2、文字识别模块3及超分辨率梯度图重建模块4；特征提取模块1分别连接超分辨率图像重建模块2、文字识别模块3及超分辨率梯度图重建模块4。
[0067]
特征提取模块1用以提取待处理图像对应的设定特征层；超分辨率图像重建模块2用以将所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；文字识别模块3用以对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容；超分辨率梯度图重建模块4用以对所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率梯度图。
[0068]
在本发明的一实施例中，所述特征提取模块用以获取待处理文字图像的高级特征
层，所述高级特征层包含待处理文字图像的深层特征信息。在一实施例中，可将待处理文字图像输入esrgan生成网络中的特征提取模块，从而获取高级特征层。
[0069]
图4为本发明一实施例中文字图像超分辨率重建系统的组成示意图；请参阅图4，在本发明的一实施例中，所述超分辨率图像重建模块2用以将所述特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。
[0070]
所述文字识别模块3用以将所述高级特征层进行包含池化层的深度神经网络的下采样，使得下采样后的特征层高度为设定值1；将下采样后的特征层送入双向lstm网络进行时序特征的提取，获得待处理文字图像时序特征的输出；将时序特征通过全连接层和softmax函数进一步提出特征，最后一层的特征确定为待处理文字图像的文字内容。
[0071]
所述超分辨率梯度图重建模块4用以将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率梯度图。
[0072]
如图4所示，在本发明的一实施例中，所述系统进一步包括图像损失函数获取模块5、文字损失函数获取模块6、梯度损失函数获取模块7及损失函数融合模块8。
[0073]
所述图像损失函数获取模块5用以根据所述超分辨率图像重建模块获取的超分辨率文字图像计算图像损失函数；文字损失函数获取模块6用以根据所述文字识别模块获取的文字内容计算文字损失函数；梯度损失函数获取模块7用以根据所述超分辨率梯度图重建模块获取的超分辨率梯度图计算梯度损失函数。损失函数融合模块8用以将所述图像损失函数获取模块5获取的图像损失函数、所述文字损失函数获取模块6获取的文字损失函数、所述梯度损失函数获取模块7获取的梯度损失函数三种损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务文字图像超分辨率重建网络的训练。
[0074]
在本发明的一实施例中，所述图像损失函数获取模块5用以计算图像损失函数，具体包含：将重建后的超分辨率文字图像与待处理文字图像对应的高分辨率文字图像计算l1损失，使重建后的超分辨率文字图像具有相应高分辨率文字图像的像素值。
[0075]
所述文字损失函数获取模块6用以计算文字损失函数，具体包括：将利用文字识别模块获取的待处理文字图像的文字内容与对应的标注文字内容计算ctc损失，使文字识别模块识别的文字内容更加正确。
[0076]
所述梯度损失函数获取模块7用以计算梯度损失函数，具体包括：将所述待处理文字图像对应的高分辨率文字图像通过sobel算子计算梯度图，获取目标梯度图；将所述的目标梯度图与重建后的超分辨率梯度图计算l1损失，使重建后超分辨率梯度图具有目标梯度图的像素值。
[0077]
所述损失函数融合模块8将所述图像损失函数、文字损失函数、梯度损失函数三种损失函数进行加权求和，获得融合损失函数。
[0078]
请继续参阅图3、图4，在本发明的一实施例中，所述图像损失函数获取模块5用以将计算得到的图像损失函数通过图像训练梯度反向传播至所述特征提取模块；使所述特征特征提取模块提取的高级特征层含有丰富的图像信息，从而使得超分辨率重建模块重建后的超分辨率文字图像更加逼真。
[0079]
所述文字损失函数获取模块6用以将计算得到的文字损失函数通过文字训练梯度
反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的文字信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像文字内容更加准备，提高重建后的超分辨率文字图像的可信度。
[0080]
所述梯度损失函数获取模块7用以将计算得到的梯度损失函数通过梯度训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的高级特征层含有丰富的梯度信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像、文字边缘更加清晰，提高重建后的超分辨率文字图像的清晰度。
[0081]
所述损失函数融合模块8还用以将融合损失函数反向传播至图像损失函数获取模块5、文字损失函数获取模块6及梯度损失函数获取模块7。
[0082]
本发明还揭示一种多任务文字图像超分辨率重建方法，可参阅图4，所述方法包括：
[0083]
特征提取模块提取待处理图像对应的设定特征层；
[0084]
将所述特征层输入至超分辨率图像重建模块，将所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率文字图像；
[0085]
将所述特征层输入至文字识别模块，对所述特征层进行下采样，对下采样后的特征层进行时序特征提取，对提取的时序特征进行文字识别，获得待处理文字图像中的文字内容；
[0086]
将所述特征层输入至超分辨率梯度图重建模块，对所述特征层进行上采样，对上采样后的特征层进行特征提取，获得重建后的超分辨率梯度图。
[0087]
在本发明的一实施例中，所述特征提取模块获取待处理文字图像的高级特征层，所述高级特征层包含待处理文字图像的深层特征信息。
[0088]
在本发明的一实施例中，所述超分辨率图像重建模块将所述特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率文字图像。
[0089]
所述文字识别模块将所述高级特征层进行包含池化层的深度神经网络的下采样，使得下采样后的特征层高度为设定值；将下采样后的特征层送入双向lstm网络进行时序特征的提取，获得待处理文字图像时序特征的输出；将时序特征通过全连接层和softmax函数进一步提出特征，最后一层的特征确定为待处理文字图像的文字内容。
[0090]
所述超分辨率梯度图重建模块将所述高级特征层进行深度神经网络的上采样，对上采样后的特征层进行特征提取，获得各层深度神经网络输出的特征；将最后一层深度神经网络输出的特征确定为重建后的超分辨率梯度图。
[0091]
在本发明的一实施例中，所述方法还包括训练过程。
[0092]
请继续参阅图4，在本发明的一实施例中，所述方法进一步包括：
[0093]
图像损失函数获取模块根据所述超分辨率图像重建模块获取的超分辨率文字图像计算图像损失函数；
[0094]
文字损失函数获取模块根据所述文字识别模块获取的文字内容计算文字损失函数；
[0095]
梯度损失函数获取模块根据所述超分辨率梯度图重建模块获取的超分辨率梯度图计算梯度损失函数；
[0096]
损失函数融合模块将所述图像损失函数获取模块获取的图像损失函数、所述文字损失函数获取模块获取的文字损失函数、所述梯度损失函数获取模块获取的梯度损失函数三种损失函数进行融合，获取融合损失函数；利用融合损失函数进行多任务文字图像超分辨率重建网络的训练。
[0097]
在本发明的一实施例中，所述图像损失函数获取模块计算图像损失函数，具体包含：将重建后的超分辨率文字图像与待处理文字图像对应的高分辨率文字图像计算l1损失，使重建后的超分辨率文字图像具有相应高分辨率文字图像的像素值。
[0098]
所述文字损失函数获取模块计算文字损失函数，具体包括：将利用文字识别模块获取的待处理文字图像的文字内容与对应的标注文字内容计算ctc损失，使文字识别模块识别的文字内容更加正确。
[0099]
所述梯度损失函数获取模块计算梯度损失函数，具体包括：将所述待处理文字图像对应的高分辨率文字图像通过sobel算子计算梯度图，获取目标梯度图；将所述的目标梯度图与重建后的超分辨率梯度图计算l1损失，使重建后超分辨率梯度图具有目标梯度图的像素值。
[0100]
所述损失函数融合模块将所述图像损失函数、文字损失函数、梯度损失函数三种损失函数进行加权求和，获得融合损失函数。
[0101]
请继续参阅图4，在本发明的一实施例中，所述方法进一步包括：
[0102]
所述图像损失函数获取模块将计算得到的图像损失函数通过图像训练梯度反向传播至所述特征提取模块；使所述特征特征提取模块提取的高级特征层含有丰富的图像信息，从而使得超分辨率重建模块重建后的超分辨率文字图像更加逼真；
[0103]
所述文字损失函数获取模块将计算得到的文字损失函数通过文字训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的特征层含有丰富的文字信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像文字内容更加准备，提高重建后的超分辨率文字图像的可信度；
[0104]
所述梯度损失函数获取模块将计算得到的梯度损失函数通过梯度训练梯度反向传播至所述特征提取模块，使所述特征提取模块提取的高级特征层含有丰富的梯度信息，从而帮助超分辨率图像重建模块重建后的超分辨率文字图像、文字边缘更加清晰，提高重建后的超分辨率文字图像的清晰度；
[0105]
所述损失函数融合模块将融合损失函数反向传播至图像损失函数获取模块、文字损失函数获取模块及梯度损失函数获取模块。
[0106]
综上所述，本发明提出的多任务文字图像超分辨率重建系统及方法，降低分辨率的文字图像重建为超分辨率的文字图像，解决现有基于深度神经网络的图像超分辨率重建方法应用于文字图像重建时，重建后的超分辨率文字图像文字边缘模糊、文字内容可信度低的问题，为文字图像的语义分析等高层任务提供清晰可信的图像。
[0107]
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施；例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中；例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现；例如，
作为与处理器配合从而执行各个步骤或功能的电路。
[0108]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0109]
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。