一种文字图像的处理方法、装置、存储介质和电子设备与流程

本申请涉及计算机技术领域，具体而言，涉及一种文字图像的处理方法、装置、存储介质和电子设备。

背景技术：

随着计算机视觉技术的发展，文字识别技术越来越受到关注，其可以帮助机器在任意自然环境下实时获知文字图像所携带的信息。由于文字图像通常是来源于相机在任意姿态下拍摄的自然场景图像，其可能会存在畸变文字。

目前，现有的文字图像的处理方法是先将文字图像中的畸变文字矫正成水平文字，然后再利用水平文字识别技术进行识别。其中，畸变文字的矫正过程通常是先将文字图像输入到定位网络中，以获得一组约束畸变文字区域的预测控制点的坐标，然后再利用预测控制点的坐标和模板图像中固定的且与预测控制点对应的目标控制点的坐标来计算变换矩阵，最后再利用变换矩阵对文字图像进行矫正。

在实现本发明的过程中，发明人发现现有技术存在如下问题：由于模板图像的尺寸大小是固定的，而输入的文字图像的尺寸是不固定的，且文字图像中的文字有大有小、有长有短，从而若采用现有的文字图像的处理方法可能会带来文字的长宽比畸变，进而可能会引起文字识别不理想的问题。例如，对于“t”字符，若宽度方向压缩过大，则其可能会被识别为字符“i”。

技术实现要素：

本申请实施例的目的在于提供一种文字图像的处理方法、装置、存储介质和电子设备，以提升识别的准确率。

第一方面，本申请实施例提供了一种文字图像的处理方法，该处理方法包括：获取文字图像中的畸变文字区域的边缘点的坐标；根据畸变文字区域的边缘点的坐标，计算畸变文字区域的外接矩形的参数；根据模板图像的尺寸和外接矩形的参数，计算模板图像中的目标区域对应的目标控制点的坐标，其中，目标区域的长宽比和畸变文字区域的外接矩形的长宽比相同；根据边缘点的坐标和目标控制点的坐标，计算变换矩阵；根据变换矩阵，对畸变文字区域进行文字识别，以获得文字识别结果。

因此，本申请实施例可通过获取与畸变文字区域的外接矩形的长宽比相同的目标区域来确定目标控制点的坐标，从而可保持畸变文字区域的真实长宽比，进而可有效降低尺寸畸变对文字识别效果的影响，从而提升了识别的准确率。

在一个可能的实施例中，边缘点为顶点，根据边缘点的坐标和目标控制点的坐标，计算变换矩阵，包括：根据等间距内插法和顶点的坐标，确定预测控制点的坐标；根据预测控制点的坐标和目标控制点的坐标，计算变换矩阵。

因此，本申请实施例通过上述这种内插的方式来保证预测控制点是等间距的，即其做到了等间距直线排列，进而提高了识别的准确率。

在一个可能的实施例中，根据模板图像的尺寸和外接矩形的参数，计算模板图像中的目标区域对应的目标控制点的坐标，包括：根据模板图像的尺寸和外接矩形的参数，计算缩放因子，缩放因子用于确定目标区域；根据缩放因子，确定目标区域，并计算目标区域对应的目标控制点的坐标。

因此，本申请实施例通过缩放因子来精准地确定目标区域，从而保证了最终的文字识别结果的准确率。

在一个可能的实施例中，根据变换矩阵，对畸变文字区域进行文字识别，以获得识别结果，包括：利用变换矩阵对畸变文字区域进行变换，获得目标区域图像，其中，目标区域图像是与目标区域对应的，且目标区域图像的内容与畸变文字区域的内容一致；对目标区域图像进行识别，以获得文字识别结果。

第二方面，本申请实施例提供了一种文字图像的处理装置，该处理装置包括：获取模块，用于获取文字图像中的畸变文字区域的边缘点的坐标；计算模块，用于根据畸变文字区域的边缘点的坐标，计算畸变文字区域的外接矩形的参数；计算模块，还用于根据模板图像的尺寸和外接矩形的参数，计算模板图像中的目标区域对应的目标控制点的坐标，其中，目标区域的长宽比和畸变文字区域的外接矩形的长宽比相同；计算模块，还用于根据边缘点的坐标和目标控制点的坐标，计算变换矩阵；识别模块，用于根据变换矩阵，对畸变文字区域进行文字识别，以获得文字识别结果。

在一个可能的实施例中，边缘点为顶点，计算模块，还用于：根据等间距内插法和顶点的坐标，确定预测控制点的坐标；根据预测控制点的坐标和目标控制点的坐标，计算变换矩阵。

在一个可能的实施例中，计算模块，还用于：根据模板图像的尺寸和外接矩形的参数，计算缩放因子，缩放因子用于确定目标区域；根据缩放因子，确定目标区域，并计算目标区域对应的目标控制点的坐标。

在一个可能的实施例中，识别模块，还用于：利用变换矩阵对畸变文字区域进行变换，获得目标区域图像，其中，目标区域图像是与目标区域对应的，且目标区域图像的内容与畸变文字区域的内容一致；对目标区域图像进行识别，以获得文字识别结果。

第三方面，本申请实施例提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。

第四方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。

第五方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。

为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了现有技术中的一种文字图像的处理方法的流程图；

图2示出了本申请实施例提供的一种文字图像的处理方法的流程图；

图3示出了本申请实施例提供的一种文字图像的处理方法的具体流程图；

图4示出了本申请实施例提供的一种文字图像的处理装置的结构框图；

图5是本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

目前，文字识别技术对于水平或者接近水平方向的文字识别效果比较好，从而现有的文字图像的处理方法是将文字图像中的畸变文字矫正成水平文字来进行识别。

请参见图1，图1示出了现有技术中的一种文字图像的处理方法的流程图。如图1所示的处理方法包括：

将包含畸变字符“fitness”的区域的文字图像输入到定位网络中，以获得一组约束畸变字符“fitness”的区域的预设控制点的坐标。其中，定位网络期望得到的预测控制点是等间距设置的。

这里为了便于理解预设控制点，图1中在文字图像中以符号“+”来示出预设控制点。

以及，该模板图像上设置有固定的目标控制点。其中，该目标控制点可设置在模板图像的长度方向上，且目标控制点在模板图像中通常是采用固定的等间距设置的，即目标控制点是固定的。

这里为了便于理解目标控制点，图1中在模板图像中同样以符号“+”来示出目标控制点。同时，目标控制点的个数与预测控制点的个数是相同的，从而后续可实现目标控制点和预测控制点的一一配对。

例如，在预测控制点的数量为20的情况下，该目标控制点的数量也为20。

以及，可利用预测控制点的坐标和模板图像中固定的目标控制点的坐标来进行变换矩阵的计算，以获得变换矩阵。

以及，可利用变换矩阵对文字图像中的畸变字符“fitness”的区域进行变换，以获得纠正后的图像。

其中，纠正后的图像是通过将预设控制点和目标控制点进行一一配对，从而将畸变文字区域显示在模板图像上，进而实现了文字图像的矫正。

以及，将纠正后的图像输入到文字识别网络中，以获得畸变字符的文字识别结果“fitness”。

此外，虽然现有的文字图像的处理方法是能够实现畸变文字的识别的，但是，由于模板图像的尺寸是固定的，而输入的文字图像的尺寸是不固定的，且文字图像中的文字有大有小、有长有短，从而若采用上述现有的文字图像的处理方法可能会带来文字的尺寸畸变，特别是文字长度跨度比较大时，这种畸变变得尤其厉害，进而可能会引起文字识别不理想的问题。例如，对于字符“9”来说，若在宽度方向上压缩过大，则可能会被识别为字符“8”。

另外，由于所有的预测控制点都是直接回归得到的，其很难做到等间距排列，其坐标位置会存在较大误差，这也会给矫正后的文字图像带来畸变。

因此，现有的文字图像的处理方法至少存在着由于文字的矫正尺度变化比较大所导致的识别效果不理想的问题。

基于此，本申请实施例巧妙地提出了一种文字图像的处理方法，通过获取文字图像中的畸变文字区域的边缘点的坐标，随后根据畸变文字区域的边缘点的坐标，计算畸变文字区域的外接矩形的参数，随后根据模板图像的尺寸和外接矩形的参数，计算模板图像中的目标区域对应的目标控制点的坐标，其中，目标区域的长宽比和畸变文字区域的外接矩形的长宽比相同，随后根据边缘点的坐标和目标控制点的坐标，计算变换矩阵，最后根据变换矩阵，对畸变文字区域进行文字识别，以获得文字识别结果。

因此，本申请实施例可通过获取与畸变文字区域的外接矩形的长宽比相同的目标区域来确定目标控制点的坐标，从而可保持畸变文字区域的真实长宽比，进而可有效降低尺寸畸变对文字识别效果的影响，从而提升了识别的准确率。

请参见图2，图2示出了本申请实施例提供的一种文字图像的处理方法的流程图，应理解，图2所示的处理方法可以由文字图像的处理装置执行，该处理装置可以与下文中的图4所示的装置对应，该装置可以是能够执行该方法的各种设备，例如，如个人计算机、服务器或网络设备等，本申请实施例并不限于此。如图2所示的处理方法包括：

步骤s210，获取文字图像中的畸变文字区域的边缘点的坐标。

应理解，在一张文字图像中，该畸变文字区域的个数可以是一个，也可以是三个，也可以是六个等。也就是说，一张文字图像中的畸变文字区域的具体个数可根据实际需求来进行设置，本申请实施例并不局限于此。

还应理解，边缘点可以是畸变文字区域的顶点（例如，如图1所示，在畸变文字区域呈平行四边形的情况下，该顶点可以是平行四边形的四个顶点等），也可以是通过定位网络获取的预测控制点（例如，如图1所示的预测控制点），也可以是畸变文字区域的外边缘上的边缘点等。

为了便于理解本申请实施例，下面通过具体的实施例来进行描述。

具体地，可将包含畸变文字区域的文字图像输入到定位网络中，以获得类似于图1中所示的多个预测控制点的坐标。随后，可从多个预测控制点的坐标中选取出畸变文字区域的顶点的坐标作为边缘点的坐标。

应理解，从多个预测控制点的坐标中选取出畸变文字区域的顶点的坐标作为边缘点的坐标的具体过程可根据实际需求来进行设置，本申请实施例并不局限于此。

例如，请参见图1，在通过定位网络获取到上下两列预测控制点的坐标的情况下，对于上列预测控制点的坐标来说，其可通过比较上列预测控制点中各个预测控制点的水平坐标来确定畸变文字区域的上侧的两个顶点的坐标。对应地，对于下列预测控制点来说，其可通过上述方式来确定畸变文字区域的下侧的两个顶点的坐标。

步骤s220，根据畸变文字区域的边缘点的坐标，计算畸变文字区域的外接矩形的参数。

应理解，外接矩形的参数可以包括外接矩形的长度和宽度。

为了便于理解本申请实施例，下面通过具体的实施例来进行描述。

具体地，在获取到畸变文字区域的四个顶点的情况下，可计算该畸变文字区域的外接矩形的长度和宽度。

例如，请参见图3，在畸变文字区域是一个四边形的情况下，可确定该四边形的外接矩形，随后可计算该外接矩形的长度和宽度。

步骤s230，根据模板图像的尺寸和外接矩形的参数，计算模板图像中的目标区域对应的目标控制点的坐标。其中，目标区域的长宽比和畸变文字区域的外接矩形的长宽比相同。

应理解，由于模板图像的尺寸是固定的，从而可预先获取模板图像的尺寸参数（例如，模板图像的长度和宽度等）。

还应理解，在目标区域为四边形的情况下，该长宽比可为四边形的长度和宽度的比值，也可为四边形的宽度和长度的比值。

还应理解，根据模板图像的尺寸和外接矩形的参数，计算模板图像中的目标区域对应的目标控制点的坐标的过程可根据实际需求来进行设置，本申请实施例并不局限于此。

为了便于理解本申请实施例，下面通过具体的实施例来进行描述。

具体地，根据模板图像的尺寸和外接矩形的参数，计算缩放因子，随后可根据缩放因子，计算目标区域对应的目标控制点的坐标。其中，缩放因子用于确定目标区域。

应理解，缩放因子可包括第一缩放因子和第二缩放因子。其中，第一缩放因子可以是模板图像的长度方向上的缩放因子，第二缩放因子是模板图像的宽度方向上的缩放因子。

例如，在外接矩形的宽度和长度的比值为1:2且模板图像的长度为100个像素以及宽度具有30个像素的情况下，可根据外接矩形的宽度和长度的比值，确定模板图像中的目标区域的宽度和长度的比值也为1:2。从而，可将第一缩放因子设置为0.6，第二缩放因子设置为1，进而可将模板图像的左侧区域设置为目标区域，且该目标区域的宽度具有30个像素，其长度具有60个像素。

以及，在确定目标区域的情况下，可按照预设的等间距来确定处于目标区域的长度方向上的目标控制点的坐标。

例如，在确定目标区域的尺寸的情况下，可根据预设的等间距来确定各个目标控制点的坐标。

应理解，由于目标控制点的坐标的个数与预测控制点的坐标的个数是相同的，且目标控制点的坐标的个数也是可根据实际需求来进行设置的，从而预设的等间距的具体距离也可根据实际需求来进行设置。

步骤s240，根据边缘点的坐标和目标控制点的坐标，计算变换矩阵。

应理解，边缘点的具体个数和目标控制点的具体个数是相同的。

为了便于理解本申请实施例，下面通过具体的实施例来进行描述。

具体地，在边缘点为畸变文字区域的顶点的情况下，可根据畸变文字区域的顶点坐标，采用等距内插的方式沿两个相邻的顶点的连线获得其他预测控制点的坐标。

也就是说，本申请实施例是通过获取两侧的预测控制点的情况下，根据等间距内插法和顶点的坐标，确定预测控制点（其包括顶点）的坐标（例如，在获取到顶点的坐标和预测控制点的个数的情况下，可确定除顶点之外的其他预测控制点的个数。以及可根据其他预测控制点的个数，确定等间距，进而可根据顶点的坐标和等间距来确定其他预测控制点的坐标），从而通过上述这种内插的方式来保证预测控制点是等间距的，即其做到了等间距直线排列，进而提高了识别的准确率。

应理解，在边缘点是如图1所示的通过定位网络获取的预测控制点或者畸变文字区域的外边缘上的边缘点等的情况下，也可先根据通过定位网络获取的预测控制点或者畸变文字区域的外边缘上的边缘点来获取畸变区域的顶点的坐标，随后，再根据顶点的坐标来确定预测控制点的坐标。

随后，根据预测控制点的坐标和目标控制点的坐标，计算变换矩阵。

应理解，根据预测控制点的坐标和目标控制点的坐标，计算变换矩阵的过程可根据实际需求来进行设置，本申请实施例并不局限于此。

例如，可按照现有的文字图像的处理方法中的变换矩阵的计算方式来计算变换矩阵。

步骤s250，根据变换矩阵，对畸变文字区域进行文字识别，以获得文字识别结果。

具体地，可利用变换矩阵对畸变文字区域进行变换，获得目标区域图像，其中，目标区域图像是与目标区域对应的，且目标区域图像的内容与畸变文字区域的内容一致。

也就是说，由于预测控制点和目标控制点的个数是相同的，从而可实现预测控制点和目标控制点的一一配对，从而将畸变文字区域显示在目标区域上，获得了目标区域图像。其中，目标区域图像的长宽比与文字的长宽比是一样的，从而通过保持文字长宽比使得尺寸畸变影响可以大大降低。

随后，可将目标区域图像输入到文字识别网络中，从而实现了对目标区域图像进行识别，以获得文字识别结果。

因此，本申请实施例可通过获取与畸变文字区域的外接矩形的长宽比相同的目标区域来确定目标控制点的坐标，从而可保持畸变文字区域的真实长宽比，进而可有效降低尺寸畸变对文字识别效果的影响，从而提升了识别的准确率。

为了便于理解本申请实施例，下面可通过具体的实施例来进行描述。

请参见图3，图3示出了本申请实施例提供的一种文字图像的处理方法的具体流程图。如图3所示的处理方法包括：

将包含畸变字符“fitness”的区域的文字图像输入到定位网络中，以获得畸变字符“fitness”的区域的四个顶点的坐标。其中，该畸变字符“fitness”的区域呈四边形。

这里为了便于理解顶点，图3中在文字图像中以符号“*”来示出四个顶点。

以及，根据预测得到的四个顶点坐标，采用等距内插的方式沿着两条顶点连线得到其他预测控制点的坐标。

这里为了便于理解顶点，图3中在文字图像中以符号“v”来示出其他预测控制点，且符号“v”的顶点位置为其他预测控制点的位置。同时应理解，预测控制点包括顶点和其他预测控制点。

以及，根据预测得到的四个顶点坐标，计算畸变文字区域的外接矩形的长和宽。

这里为了便于理解，图3中的外接矩形用虚线表示，且该外接矩形的长用符号w示出，宽用符号h示出。

以及，根据外接矩形的长和宽以及模板图像的尺寸，计算缩放因子。

以及，根据缩放因子，确定矫正后的畸变文字图像在模板图像中的实际大小（即确定了目标区域），并根据目标区域确定目标控制点坐标。

这里为了便于理解，图3中在模板图像中以符号“+”来示出目标控制点。

以及，根据预测控制点坐标和目标控制点坐标，计算变换矩阵。

以及，可利用变换矩阵对畸变文字区域进行变换，获得目标区域图像。

应理解，该模板图像中除目标区域之外的其他区域，可按照预设的方式来进行设置。

例如，该模板图像中除目标区域之外的其他区域可显示为黑色等。

以及，可将目标区域图像输入到文字识别网络中，从而实现了对目标区域图像进行识别，以获得文字识别结果“fitness”。

此外，这里需要说明的是，图3中的文字图像、畸变文字区域和符号等都是示意性的，其可根据实际需求来进行设置，本申请实施例并不局限于此。

应理解，上述文字图像的处理方法仅是示例性的，本领域技术人员根据上述的方法可以进行各种变形，修改或变形之后的内容也在本申请保护范围内。

请参见图4，图4示出了本申请实施例提供的一种文字图像的处理装置400的结构框图，应理解，该处理装置400与上述方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该处理装置400具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该处理装置400包括至少一个能以软件或固件（firmware）的形式存储于存储器中或固化在处理装置400的操作系统（operatingsystem，os）中的软件功能模块。具体地，该处理装置400包括：

获取模块410，用于获取文字图像中的畸变文字区域的边缘点的坐标；计算模块420，用于根据畸变文字区域的边缘点的坐标，计算畸变文字区域的外接矩形的参数；计算模块420，还用于根据模板图像的尺寸和外接矩形的参数，计算模板图像中的目标区域对应的目标控制点的坐标，其中，目标区域的长宽比和畸变文字区域的外接矩形的长宽比相同；计算模块420，还用于根据边缘点的坐标和目标控制点的坐标，计算变换矩阵；识别模块430，用于根据变换矩阵，对畸变文字区域进行文字识别，以获得文字识别结果。

在一个可能的实施例中，边缘点为顶点，计算模块420，还用于：根据等间距内插法和顶点的坐标，确定预测控制点的坐标；根据预测控制点的坐标和目标控制点的坐标，计算变换矩阵。

在一个可能的实施例中，计算模块420，还用于：根据模板图像的尺寸和外接矩形的参数，计算缩放因子，缩放因子用于确定目标区域；根据缩放因子，确定目标区域，并计算目标区域对应的目标控制点的坐标。

在一个可能的实施例中，识别模块430，还用于：利用变换矩阵对畸变文字区域进行变换，获得目标区域图像，其中，目标区域图像是与目标区域对应的，且目标区域图像的内容与畸变文字区域的内容一致；对目标区域图像进行识别，以获得文字识别结果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

本申请实施例还提供一种电子设备，请参见图5，图5是本申请实施例提供的一种电子设备500的结构框图。电子设备500可以包括处理器510、通信接口520、存储器530和至少一个通信总线540。其中，通信总线540用于实现这些组件直接的连接通信。其中，本申请实施例中的通信接口520用于与其他设备进行信令或数据的通信。处理器510可以是一种集成电路芯片，具有信号的处理能力。上述的处理器510可以是通用处理器，包括中央处理器（centralprocessingunit，简称cpu）、网络处理器（networkprocessor，简称np）等；还可以是数字信号处理器（dsp）、专用集成电路（asic）、现成可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。

存储器530可以是，但不限于，随机存取存储器（randomaccessmemory，ram），只读存储器（readonlymemory，rom），可编程只读存储器（programmableread-onlymemory，prom），可擦除只读存储器（erasableprogrammableread-onlymemory，eprom），电可擦除只读存储器（electricerasableprogrammableread-onlymemory，eeprom）等。存储器530中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器510执行时，电子设备500可以执行上述方法实施例中的各个步骤。

电子设备500还可以包括存储控制器、输入输出单元、音频单元、显示单元。

所述存储器530、存储控制器、处理器510、外设接口、输入输出单元、音频单元、显示单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线540实现电性连接。所述处理器510用于执行存储器530中存储的可执行模块。并且，电子设备500用于执行下述方法：获取文字图像中的畸变文字区域的边缘点的坐标；根据畸变文字区域的边缘点的坐标，计算畸变文字区域的外接矩形的参数；根据模板图像的尺寸和外接矩形的参数，计算模板图像中的目标区域对应的目标控制点的坐标，其中，目标区域的长宽比和畸变文字区域的外接矩形的长宽比相同；根据边缘点的坐标和目标控制点的坐标，计算变换矩阵；根据变换矩阵，对畸变文字区域进行文字识别，以获得文字识别结果。输入输出单元用于提供给用户输入数据实现用户与所述服务器（或本地终端）的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。

音频单元向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元在所述电子设备与用户之间提供一个交互界面（例如用户操作界面）或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。

可以理解，图5所示的结构仅为示意，所述电子设备500还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。

本申请还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行方法实施例所述的方法。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。