文本识别模型的训练方法、文本识别方法、装置和设备与流程

1.本技术实施例涉及计算机技术领域，特别涉及一种文本识别模型的训练方法、文本识别方法、装置和设备。


背景技术：

2.随着计算机技术的不断发展，图像识别技术越来越重要，而文本识别技术作为图像识别技术的一个分支，应用范围越来越广。文本识别技术是一种对文本图像进行图像识别，以识别出文本图像中的文本的技术。
3.相关技术中，可以基于样本文本图像训练得到文本识别模型，利用文本识别模型对目标文本图像进行文本识别。在基于样本文本图像训练文本识别模型时，一方面，将样本文本图像输入至神经网络模型，由神经网络模型确定样本文本图像的预测结果，该预测结果是通过预测得到的样本文本图像中的各个字符。另一方面，获取样本文本图像的标注结果，该标注结果是通过标注得到的样本文本图像中的各个字符。之后，利用预测结果和标注结果，对神经网络模型进行调整，得到文本识别模型。
4.上述技术中，仅利用样本文本图像的预测结果和标注结果训练得到文本识别模型，导致文本识别模型的准确性不高，从而影响了文本识别的准确性。


技术实现要素：

5.本技术实施例提供了一种文本识别模型的训练方法、文本识别方法、装置和设备，可用于解决相关技术中因文本识别模型的准确性不高而导致的文本识别的准确性不高的问题，所述技术方案包括如下内容。
6.一方面，本技术实施例提供了一种文本识别模型的训练方法，所述方法包括：
7.获取样本文本图像和所述样本文本图像的标注结果，所述标注结果是通过标注得到的所述样本文本图像中的各个字符；
8.基于第一网络模型获取所述样本文本图像的视觉特征，所述样本文本图像的视觉特征用于表征所述样本文本图像中各个字符的外形和位置；
9.基于所述第一网络模型和所述样本文本图像的视觉特征，获取所述样本文本图像的第一预测结果，所述第一预测结果是由所述第一网络模型通过预测得到的所述样本文本图像中的各个字符；
10.基于第二网络模型和所述样本文本图像的视觉特征，获取所述样本文本图像的第二预测结果，所述第二预测结果是由所述第二网络模型通过预测得到的所述样本文本图像中的各个字符；
11.基于所述第一预测结果、所述第二预测结果和所述标注结果，对所述第一网络模型进行调整，得到文本识别模型。
12.另一方面，本技术实施例提供了一种文本识别方法，所述方法包括：
13.获取目标文本图像；
14.基于文本识别模型获取所述目标文本图像的视觉特征，所述目标文本图像的视觉特征用于表征所述目标文本图像中各个字符的外形和位置，所述文本识别模型是按照上述任一所述的文本识别模型的训练方法得到的；
15.基于所述目标文本图像的视觉特征，获取所述目标文本图像的文本识别结果，所述文本识别结果是由所述文本识别模型通过预测得到的所述目标文本图像中的各个字符。
16.另一方面，本技术实施例提供了一种文本识别模型的训练装置，所述装置包括：
17.获取模块，用于获取样本文本图像和所述样本文本图像的标注结果，所述标注结果是通过标注得到的所述样本文本图像中的各个字符；
18.所述获取模块，还用于基于第一网络模型获取所述样本文本图像的视觉特征，所述样本文本图像的视觉特征用于表征所述样本文本图像中各个字符的外形和位置；
19.所述获取模块，还用于基于所述第一网络模型和所述样本文本图像的视觉特征，获取所述样本文本图像的第一预测结果，所述第一预测结果是由所述第一网络模型通过预测得到的所述样本文本图像中的各个字符；
20.所述获取模块，还用于基于第二网络模型和所述样本文本图像的视觉特征，获取所述样本文本图像的第二预测结果，所述第二预测结果是由所述第二网络模型通过预测得到的所述样本文本图像中的各个字符；
21.调整模块，用于基于所述第一预测结果、所述第二预测结果和所述标注结果，对所述第一网络模型进行调整，得到文本识别模型。
22.在一种可能的实现方式中，所述获取模块，用于基于所述第一网络模型获取所述样本文本图像中各个字符的外形特征以及所述样本文本图像中各个字符的位置特征；基于所述样本文本图像中各个字符的外形特征和所述样本文本图像中各个字符的位置特征，确定所述样本文本图像的视觉特征。
23.在一种可能的实现方式中，所述获取模块，用于对于所述样本文本图像中的任一个字符，将所述样本文本图像中各个字符的外形特征和所述样本文本图像中各个字符的位置特征进行融合，得到所述任一个字符的第一融合特征；基于所述样本文本图像中各个字符的第一融合特征，确定所述样本文本图像的视觉特征。
24.在一种可能的实现方式中，所述获取模块，用于对于所述样本文本图像中的任一个字符，将所述任一个字符对应的至少一个相邻字符的外形特征和所述至少一个相邻字符的位置特征进行融合，得到所述任一个字符的第二融合特征；基于所述样本文本图像中各个字符的第二融合特征，确定所述样本文本图像的视觉特征。
25.在一种可能的实现方式中，所述获取模块，用于对于所述样本文本图像中的任一个字符，基于所述第一网络模型和所述样本文本图像的视觉特征，确定所述任一个字符属于各个参考字符的第一概率；从所述任一个字符属于各个参考字符的第一概率中确定第一最大概率；将所述第一最大概率对应的参考字符，确定为所述任一个字符对应的由所述第一网络模型通过预测得到的字符。
26.在一种可能的实现方式中，所述获取模块，用于基于所述第二网络模型和所述标注结果，确定所述样本文本图像中各个字符的语义特征；基于所述第一网络模型获取所述样本文本图像中各个字符的位置特征；基于所述样本文本图像的视觉特征、所述样本文本图像中各个字符的语义特征和所述样本文本图像中各个字符的位置特征，获取所述样本文
本图像的第二预测结果。
27.在一种可能的实现方式中，所述获取模块，用于基于所述样本文本图像中各个字符的位置特征和所述样本文本图像中各个字符的语义特征，确定所述样本文本图像中各个字符的第三融合特征；基于所述样本文本图像的视觉特征和所述样本文本图像中各个字符的第三融合特征，获取所述样本文本图像的第二预测结果。
28.在一种可能的实现方式中，所述获取模块，用于对于所述样本文本图像中的任一个字符，将所述任一个字符的语义特征、所述任一个字符的位置特征、所述任一个字符之前的各个字符的语义特征、所述任一个字符之前的各个字符的位置特征进行融合，得到所述任一个字符的第三融合特征。
29.在一种可能的实现方式中，所述获取模块，用于对于所述样本文本图像中的任一个字符，将所述样本文本图像的视觉特征和所述样本文本图像中各个字符的第三融合特征进行融合，得到所述任一个字符的第四融合特征；基于所述样本文本图像中各个字符的第四融合特征，获取所述样本文本图像的第二预测结果。
30.在一种可能的实现方式中，所述获取模块，用于对于所述样本文本图像中的任一个字符，基于所述样本文本图像中各个字符的第四融合特征，确定所述任一个字符属于各个参考字符的第二概率；从所述任一个字符属于各个参考字符的第二概率中确定第二最大概率；将所述第二最大概率对应的参考字符，确定为所述任一个字符对应的由所述第二网络模型通过预测得到的字符。
31.在一种可能的实现方式中，所述调整模块，用于基于所述第一预测结果和所述标注结果，确定第一损失值；基于所述第二预测结果和所述标注结果，确定第二损失值；基于所述第一损失值和所述第二损失值对所述第一网络模型进行调整，得到文本识别模型。
32.在一种可能的实现方式中，所述调整模块，还用于基于所述第一预测结果和所述标注结果，确定第三损失值；基于所述第二预测结果和所述标注结果，确定第四损失值；基于所述第三损失值和所述第四损失值对所述第二网络模型进行调整，得到调整后的第二网络模型。
33.在一种可能的实现方式中，所述获取模块，用于获取待处理的文本图像；从所述待处理的文本图像中裁剪出包含文本的图像区域，得到所述样本文本图像。
34.另一方面，本技术实施例提供了一种文本识别装置，所述装置包括：
35.第一获取模块，用于获取目标文本图像；
36.第二获取模块，用于基于文本识别模型获取所述目标文本图像的视觉特征，所述目标文本图像的视觉特征用于表征所述目标文本图像中各个字符的外形和位置，所述文本识别模型是上述任一项所述的文本识别模型的训练方法得到的；
37.第三获取模块，用于基于所述目标文本图像的视觉特征，获取所述目标文本图像的文本识别结果，所述文本识别结果是由所述文本识别模型通过预测得到的所述目标文本图像中的各个字符。
38.在一种可能的实现方式中，所述第二获取模块，用于基于所述文本识别模型获取所述目标文本图像中各个字符的外形特征以及所述目标文本图像中各个字符的位置特征；基于所述目标文本图像中各个字符的外形特征和所述目标文本图像中各个字符的位置特征，确定所述目标文本图像的视觉特征。
39.另一方面，本技术实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使所述电子设备实现上述任一所述的文本识别模型的训练方法或者上述任一所述的文本识别方法。
40.另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以使计算机实现上述任一所述的文本识别模型的训练方法或者上述任一所述的文本识别方法。
41.另一方面，还提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行，以使计算机实现上述任一种文本识别模型的训练方法或者上述任一所述的文本识别方法。
42.本技术实施例提供的技术方案至少带来如下有益效果：
43.本技术实施例提供的技术方案在基于第一网络模型获取到样本文本图像的视觉特征之后，一方面，基于第一网络模型和该视觉特征确定样本文本图像的第一预测结果，另一方面，基于第二网络模型和该视觉特征确定样本文本图像的第二预测结果。之后，利用该第一预测结果、该第二预测结果以及样本文本图像的标注结果，训练得到文本识别模型，使得文本识别模型综合了不同模型的文本识别能力，能够提高文本识别模型对视觉特征的提取能力，从而提高文本识别模型的文本识别能力。
附图说明
44.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是本技术实施例提供的一种文本识别模型的训练方法或者文本识别方法的实施环境示意图；
46.图2是本技术实施例提供的一种文本识别模型的训练方法的流程图；
47.图3是本技术实施例提供的一种文本识别方法的流程图；
48.图4是本技术实施例提供的一种文本识别模型的训练方法的流程示意图；
49.图5是本技术实施例提供的一种网络模型的结构示意图；
50.图6是本技术实施例提供的一种文本识别模型的训练装置的结构示意图；
51.图7是本技术实施例提供的一种文本识别装置的结构示意图；
52.图8是本技术实施例提供的一种终端设备的结构示意图；
53.图9是本技术实施例提供的一种服务器的结构示意图。
具体实施方式
54.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
55.图1是本技术实施例提供的一种文本识别模型的训练方法或者文本识别方法的实
施环境示意图，如图1所示该实施环境包括电子设备11，本技术实施例中的文本识别模型的训练方法或者文本识别方法可以由电子设备11执行。示例性地，电子设备11可以包括终端设备或者服务器中的至少一项。
56.终端设备可以是智能手机、游戏主机、台式计算机、平板电脑和膝上型便携计算机中的至少一种。服务器可以为一台服务器，或者为多台服务器组成的服务器集群，或者为云计算平台和虚拟化中心中的任意一种，本技术实施例对此不加以限定。服务器可以与终端设备通过有线网络或无线网络进行通信连接。服务器可以具有数据处理、数据存储以及数据收发等功能，在本技术实施例中不加以限定。
57.本技术各可选实施例是基于人工智能技术实现的，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
58.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
59.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
60.基于上述实施环境，本技术实施例提供了一种文本识别模型的训练方法，以图2所示的本技术实施例提供的一种文本识别模型的训练方法的流程图为例，该方法可由图1中的电子设备11执行。如图2所示，该方法包括步骤201至步骤205。
61.步骤201，获取样本文本图像和样本文本图像的标注结果，标注结果是通过标注得到的样本文本图像中的各个字符。
62.本技术实施例中，样本文本图像的数量为多个。样本文本图像可以是自然场景下的文本图像，或者是自然场景下的文本图像中的图像区域。自然场景下的文本图像可以是海报图像、徽标(logotype，logo)图像、广告图像、街景图像等，这些文本图像中文本的形状、布局等较为复杂，具有不规则性，例如，海报图像中的文本可以是手写体、密集文本等。
63.可选地，获取样本文本图像，包括：获取待处理的文本图像；从待处理的文本图像中裁剪出包含文本的图像区域，得到样本文本图像。
64.本技术实施例中，可以获取自然场景下任意的文本图像，将该文本图像作为待处理的文本图像。由于自然场景下的文本图像的数据量较大，且不包含文本的图像区域较大，因此，可以先确定待处理的文本图像中包含文本的图像区域，并将包含文本的图像区域裁剪出来，该包含文本的图像区域即为样本文本图像。
65.可选地，可以先对待处理的文本图像进行预处理，得到预处理后的文本图像，再确
定预处理后的文本图像中包含文本的图像区域，以将包含文本的图像区域裁剪出来。其中，预处理包括但不限于对比度增强处理、降噪处理、图像分割处理等。
66.本技术实施例中，还可以对样本文本图像进行标注处理，以标注出样本文本图像中的各个字符，得到样本文本图像中的文本。
67.步骤202，基于第一网络模型获取样本文本图像的视觉特征，样本文本图像的视觉特征用于表征样本文本图像中各个字符的外形和位置。
68.本技术实施例不对第一网络模型的模型结构、大小做限定。示例性的，第一网络模型可以为基于神经网络的时序分类(connectionist temporal classification，ctc)模型，ctc模型具有结构简单、运算速度快的优点。
69.本技术实施例中，将样本文本图像输入至第一网络模型中，由第一网络模型对样本文本图像进行特征提取，以提取样本文本图像的视觉特征。
70.可选地，基于第一网络模型获取样本文本图像的视觉特征，包括：基于第一网络模型获取样本文本图像中各个字符的外形特征；基于第一网络模型获取样本文本图像中各个字符的位置特征；基于样本文本图像中各个字符的外形特征和样本文本图像中各个字符的位置特征，确定样本文本图像的视觉特征。
71.本技术实施例中，第一网络模型包括外形特征提取网络和位置特征提取网络，将样本文本图像输入至第一网络模型之后，由外形特征提取网络对样本文本图像进行外形特征提取，得到样本文本图像中各个字符的外形特征，由位置特征提取网络对样本文本图像进行位置特征提取，得到样本文本图像中各个字符的位置特征。其中，字符的外形特征用于描述字符的外形(也可以理解为字符的轮廓)，字符的位置特征用于描述字符的位置(其中，任一个字符的位置指的是：样本文本图像中包括多个字符，该任一个字符为这多个字符中第几个字符的位置信息)，本技术实施例不对位置特征提取网络的网络结构做限定。
72.可选地，外形特征提取网络包括两层卷积层。外形特征提取网络可以提取出与字符识别相关的属性特征，同时抑制与字符识别不相关的属性特征。与字符识别相关的属性特征包括但不限于样本文本图像中各个字符的外形特征，与字符识别不相关的属性特征包括但不限于样本文本图像中各个字符的字体特征、颜色特征、大小特征以及背景特征等。外形特征提取网络采用两层卷积层的结构，可以节省大量的内存消耗，便于提取具有区分性的外形特征。
73.可选的，样本文本图像中各个字符的外形特征可以经过前馈连接网络，经前馈连接网络进行特征处理后，得到特征处理后的样本文本图像中各个字符的外形特征。本技术实施例不对特征处理做限定，示例性的，特征处理包括但不限于批规范化处理和激活处理中的至少一项，此时，前馈连接网络包括批规范网络和激活网络中的至少一项。批规范网络用于进行批规范化处理，激活网络用于进行激活处理。
74.第一网络模型还包括编码器，编码器用于将样本文本图像中各个字符的外形特征和样本文本图像中各个字符的位置特征进行融合，得到样本文本图像的视觉特征。可选地，编码器可以包括前馈连接网络，此时，编码器的前馈连接网络对样本文本图像中各个字符的外形特征进行特征处理，编码器将特征处理后的样本文本图像中各个字符的外形特征和样本文本图像中各个字符的位置特征进行融合，得到样本文本图像的视觉特征。
75.在一种可能的实现方式中，基于样本文本图像中各个字符的外形特征和样本文本
图像中各个字符的位置特征，确定样本文本图像的视觉特征，包括：对于样本文本图像中的任一个字符，将样本文本图像中各个字符的外形特征和样本文本图像中各个字符的位置特征进行融合，得到任一个字符的第一融合特征；基于样本文本图像中各个字符的第一融合特征，确定样本文本图像的视觉特征。
76.本技术实施中，编码器包括注意力网络，注意力网络可以聚焦于长范围的全局关系建模。本技术实施例中，对于样本文本图像中各个字符的外形特征，利用线性运算将其重塑为一个长度矢量y，该长度矢量为(t，d
in
)形式的长度矢量。其中，t为长度矢量的长度，d
in
是长度矢量的维度。之后，利用注意力网络将长度矢量y和样本文本图像中各个字符的位置特征进行融合。本技术实施例中，样本文本图像中任一个字符的位置特征能够表征样本文本图像中任一个字符相对于样本文本图像中除该任一个字符之外的其他字符的位置信息，具有相对性，因此，样本文本图像中各个字符的位置特征可以称为相对位置编码向量。
77.可选的，该注意力网络为多头自注意力网络，多头自注意力网络具有相对位置编码的特性，可以将样本文本图像中各个字符的位置特征合并到每一层的注意力分数计算中，以便很好地扩展到不同长度的输入并且增加对于变长的鲁棒性。多头自注意力网络中每个头的输出可以表示为如下所示的公式(1)。
[0078][0079]
其中，headh表示多头自注意力网络中头h的输出，softmax表示回归函数，t为转置矩阵的符号，为查询向量q、键向量k以及相对位置编码向量r共同对应的一个维度参数，v表示值向量。
[0080]
可选地，查询向量q满足其中，y表示长度矢量，wq表示查询向量对应的权重矩阵，r表示实数，d
in
、是查询向量对应的权重矩阵的维度。键向量k满足其中，y表示长度矢量，wk表示键向量对应的权重矩阵，r表示实数，d
in
、是键向量对应的权重矩阵的维度。值向量v满足其中，y表示长度矢量，wv表示值向量对应的权重矩阵，r表示实数，d
in
、表示值向量对应的权重矩阵的维度。相对位置编码向量r满足其中，p为位置编码向量(能够表征样本文本图像中各个字符的位置)，r表示实数，t、d
in
表示位置编码向量的维度，wr表示相对位置编码向量对应的权重矩阵，d
in
、表示相对位置编码向量对应的权重矩阵的维度。
[0081]
本技术实施例中，将多头自注意力网络中各个头的输出连接起来，得到多头自注意力网络的输出，如下公式(2)所示。
[0082]
out＝concat(head1,head2,
…
,headh)woꢀꢀ
公式(2)
[0083]
其中，out是多头自注意力网络的输出，concat表示连接符号，head1,head2,
…
,
headh表示多头自注意力网络中各个头的输出，是一个可学习的线形变换矩阵，r表示实数，dv表示线形变换矩阵的维度，h表示多头自注意力网络的头数，为一个超参数。
[0084]
需要说明的是，多头自注意力网络的输出即为任一个字符的第一融合特征。本技术实施例中，先将样本文本图像中各个字符的外形特征重塑为一个长度矢量，再将该长度矢量与样本文本图像中各个字符的位置特征进行融合，得到任一个字符的第一融合特征，之后，基于各个字符的第一融合特征确定样本文本图像的视觉特征，实现了全局特征融合。
[0085]
在另一种可能的实现方式中，基于样本文本图像中各个字符的外形特征和样本文本图像中各个字符的位置特征，确定样本文本图像的视觉特征，包括：对于样本文本图像中的任一个字符，将任一个字符对应的至少一个相邻字符的外形特征和至少一个相邻字符的位置特征进行融合，得到任一个字符的第二融合特征；基于样本文本图像中各个字符的第二融合特征，确定样本文本图像的视觉特征。
[0086]
本技术实施中，编码器包括卷积网络，卷积网络包含具有门控线性单元激活层的逐点卷积，该逐点卷积的扩展因子为2。可以利用一维深度卷积运算减少计算量，同时实现局部上下文建模。
[0087]
本技术实施例中，任一个字符对应至少一个相邻字符。这里的相邻字符可以是与任一个字符直接相邻的字符，也可以是与任一个字符间接相邻的字符，与任一个字符间接相邻是指与任一个字符相邻的字符所相邻。例如，对于文本“兴高采烈”，字符“兴”对应的相邻字符可以是字符“高”、“采”、“烈”。其中，字符“高”是与字符“兴”直接相邻的字符，字符“采”、“烈”是与字符“兴”间接相邻的字符。本技术实施例不限定任一个字符对应的相邻字符的数量，任两个字符可以对应相同数量的相邻字符，也可以对应不同数量的相邻字符。
[0088]
卷积网络可以将任一个字符对应的至少一个相邻字符的外形特征和该任一个字符对应的至少一个相邻字符的位置特征进行融合，得到该任一个字符的第二融合特征。之后，基于样本文本图像中各个字符的第二融合特征，确定样本文本图像的视觉特征。
[0089]
可选的，样本文本图像中各个字符的第二融合特征可以经过前馈连接网络，经前馈连接网络进行批规范化处理和激活处理后中的至少一项，得到样本文本图像的视觉特征，以训练和正则化深层模型。可选的，前馈连接网络包括批规范网络和激活网络中的至少一项。批规范网络用于进行批规范化处理，激活网络用于进行激活处理。本技术实施例不限定激活网络的类型，示例性的，激活网络为swish激活网络。
[0090]
需要说明的是，本技术实施例可以将注意力网络与卷积网络结合起来，共同确定样本文本图像的视觉特征，使得样本文本图像的视觉特征既是基于全局的特征得到的，也是基于局部的特征得到的，使第一网络模型具有对全局和局部的建模能力。
[0091]
可选的，对于样本文本图像中的任一个字符，先将样本文本图像中各个字符的外形特征和样本文本图像中各个字符的位置特征进行融合，得到任一个字符的第一融合特征，再将任一个字符对应的至少一个相邻字符的第一融合特征进行融合，得到任一个字符的第二融合特征。之后，基于样本文本图像中各个字符的第二融合特征，确定样本文本图像的视觉特征。
[0092]
可选的，对于样本文本图像中的任一个字符，先将任一个字符对应的至少一个相
邻字符的外形特征和至少一个相邻字符的位置特征进行融合，得到任一个字符的第二融合特征，再将样本文本图像中各个字符的第二融合特征进行融合，得到任一个字符的第一融合特征。之后，基于样本文本图像中各个字符的第一融合特征，确定样本文本图像的视觉特征。
[0093]
可以理解的是，第一网络模型可以包含至少一个串联的编码器，串联的编码器即是上一个编码器的输出为下一个编码器的输入。本技术实施例中，上一个编码器输出的视觉特征可以作为下一个编码器的输入，此时，上一个编码器输出的视觉特征可以作为输入至下一个编码器的各字符的外形特征和位置特征。最后一个编码器输出的视觉特征用于执行步骤203。
[0094]
步骤203，基于第一网络模型和样本文本图像的视觉特征，获取样本文本图像的第一预测结果，第一预测结果是由第一网络模型通过预测得到的样本文本图像中的各个字符。
[0095]
本技术实施例中，第一网络模型包括线性网络和激活网络，其中，线性网络用于对样本文本图像的视觉特征进行线性变换处理，得到线性变换处理后的视觉特征，激活网络用于对线性变换处理后的视觉特征进行激活处理，得到样本文本图像的第一预测结果。其中，该线性网络和该激活网络可以组成一个解码器。
[0096]
在一种可能的实现方式中，基于第一网络模型和样本文本图像的视觉特征，获取样本文本图像的第一预测结果，包括：对于样本文本图像中的任一个字符，基于第一网络模型和样本文本图像的视觉特征，确定任一个字符属于各个参考字符的第一概率；从任一个字符属于各个参考字符的第一概率中确定第一最大概率；将第一最大概率对应的参考字符，确定为任一个字符对应的由第一网络模型通过预测得到的字符。
[0097]
本技术实施例中，第一网络模型的线性网络对样本文本图像的视觉特征进行线性变换处理，激活网络对线性变换处理后的视觉特征进行激活处理，得到样本文本图像中各个字符属于各个参考字符的第一概率。
[0098]
对于样本文本图像中的任一个字符，从该字符属于各个参考字符的第一概率中确定第一最大概率，并确定第一最大概率所对应的参考字符。第一最大概率对应的参考字符为该字符对应的由第一网络模型通过预测得到的字符。通过这种方式，可以得到第一网络模型通过预测得到的样本文本图像中的各个字符。
[0099]
例如，对于样本文本图像中的某一个字符，该字符属于各个参考字符的第一概率分别为0.67、0.03、0.2和0.1，其中，0.67为第一最大概率，则0.67对应的参考字符为样本文本图像中的该字符对应的由第一网络模型通过预测得到的字符。
[0100]
步骤204，基于第二网络模型和样本文本图像的视觉特征，获取样本文本图像的第二预测结果，第二预测结果是由第二网络模型通过预测得到的样本文本图像中的各个字符。
[0101]
本技术实施例中，第二网络模型可以基于样本文本图像的视觉特征确定样本文本图像的第二预测结果。本技术实施例不对第二网络模型的结构和大小做限定，示例性的，第二网络模型为注意力(attention)模型。
[0102]
在一种可能的实现方式中，基于第二网络模型和样本文本图像的视觉特征，获取样本文本图像的第二预测结果，包括：基于第二网络模型和标注结果，确定样本文本图像中
各个字符的语义特征；基于第一网络模型获取样本文本图像中各个字符的位置特征；基于样本文本图像的视觉特征、样本文本图像中各个字符的语义特征和样本文本图像中各个字符的位置特征，获取样本文本图像的第二预测结果。
[0103]
本技术实施例中，第二网络模型包括语义特征提取网络，该语义特征提取网络可以将样本文本图像的标注结果映射成样本文本图像中各个字符的语义特征。任一个字符的语义特征可以称为该字符的嵌入向量(embedding)，任一个字符的语义特征的维度为dv。
[0104]
第一网络模型包括位置特征提取网络，位置特征提取网络可以提取样本文本图像中各个字符的位置特征，其中，上文已介绍了位置特征的提取方式，在此不再赘述。
[0105]
第二网络模型还包括解码器，解码器用于基于样本文本图像的视觉特征、样本文本图像中各个字符的语义特征和样本文本图像中各个字符的位置特征，获取样本文本图像的第二预测结果。
[0106]
在一种可能的实现方式中，基于样本文本图像的视觉特征、样本文本图像中各个字符的语义特征和样本文本图像中各个字符的位置特征，获取样本文本图像的第二预测结果，包括：基于样本文本图像中各个字符的位置特征和样本文本图像中各个字符的语义特征，确定样本文本图像中各个字符的第三融合特征；基于样本文本图像的视觉特征和所述样本文本图像中各个字符的第三融合特征，获取样本文本图像的第二预测结果。
[0107]
本技术实施例中，解码器包括第一层标准(layer norm)网络和第一注意力网络。第一层标准网络用于对样本文本图像中各个字符的位置特征进行标准化处理，得到标准化处理后的样本文本图像中各个字符的位置特征，同时对样本文本图像中各个字符的语义特征进行标准化处理，得到标准化处理后的样本文本图像中各个字符的语义特征。第一注意力网络用于对标准化处理后的样本文本图像中各个字符的位置特征和标准化处理后的样本文本图像中各个字符的语义特征进行融合处理，得到样本文本图像中各个字符的第三融合特征。
[0108]
可选的，基于样本文本图像中各个字符的位置特征和样本文本图像中各个字符的语义特征，确定样本文本图像中各个字符的第三融合特征，包括：对于样本文本图像中的任一个字符，将任一个字符的语义特征、任一个字符的位置特征、任一个字符之前的各个字符的语义特征、任一个字符之前的各个字符的位置特征进行融合，得到任一个字符的第三融合特征。
[0109]
本技术实施例中，解码器的第一注意力网络可以是带遮罩的多头自注意力网络。带遮罩的多头自注意力网络能够防止当前时刻之后的时序信息影响当前时刻的特征提取。也就是说，当前字符之后的各个字符的特征不影响当前字符的特征，使得当前字符的特征只依赖于当前字符的特征和当前字符之前的各个字符的特征。其中，当前字符之前的各个字符是位置位于当前字符之前的所有字符，当前字符之后的各个字符是位置位于当前字符之后的所有字符。
[0110]
可选的，对于样本文本图像中的任一个字符，带遮罩的多头自注意力网络是对将任一个字符的语义特征、任一个字符的位置特征、任一个字符之前的各个字符的语义特征、任一个字符之前的各个字符的位置特征进行融合，得到任一个字符的第三融合特征。通过这种方式，可以确定样本文本图像中各个字符的第三融合特征。
[0111]
例如，样本文本图像中包括“美味的咖啡”这五个字符。其中，第二个字符“味”的第
三融合特征是基于“美”的语义特征和位置特征、“味”的语义特征和位置特征确定的。第四个字符“咖”的第三融合特征是基于“美”的语义特征和位置特征、“味”的语义特征和位置特征、“的”的语义特征和位置特征、“咖”的语义特征和位置特征确定的。
[0112]
在确定出样本文本图像中各个字符的第三融合特征之后，基于样本文本图像的视觉特征和样本文本图像中各个字符的第三融合特征，获取样本文本图像的第二预测结果。
[0113]
可选的，基于样本文本图像的视觉特征和样本文本图像中各个字符的第三融合特征，获取样本文本图像的第二预测结果，包括：对于样本文本图像中的任一个字符，将样本文本图像的视觉特征和样本文本图像中各个字符的第三融合特征进行融合，得到任一个字符的第四融合特征；基于样本文本图像中各个字符的第四融合特征，获取样本文本图像的第二预测结果。
[0114]
本技术实施例中，解码器还包括第二层标准(layer norm)网络和第二注意力网络。第二层标准网络用于对样本文本图像中各个字符的第三融合特征进行标准化处理，得到标准化处理后的样本文本图像中各个字符的第三融合特征。第二注意力网络用于将样本文本图像的视觉特征和标准化处理后的样本文本图像中各个字符的第三融合特征进行融合，得到样本文本图像中各个字符的第四融合特征。
[0115]
可选的，第二注意力网络为多头自注意力网络。多头自注意力网络用于对样本文本图像中各个字符的特征进行全局融合，也就是说，对于样本文本图像中的任一个字符，将样本文本图像的视觉特征和标准化处理后的样本文本图像中各个字符的第三融合特征进行融合，得到任一个字符的第四融合特征。可选地，该多头自注意力网络的键向量和值向量均来自于编码器中多头自注意力网络的输出，查询向量来自与解码器中带遮罩的多头自注意力网络的输出。
[0116]
之后，基于样本文本图像中各个字符的第四融合特征，获取样本文本图像的第二预测结果。
[0117]
可选的，基于样本文本图像中各个字符的第四融合特征，获取样本文本图像的第二预测结果，包括：对于样本文本图像中的任一个字符，基于样本文本图像中各个字符的第四融合特征，确定任一个字符属于各个参考字符的第二概率；从任一个字符属于各个参考字符的第二概率中确定第二最大概率；将第二最大概率对应的参考字符，确定为任一个字符对应的由第二网络模型通过预测得到的字符。
[0118]
本技术实施例中，第二网络模型还包括第三层标准网络、前馈连接网络、第四层标准网络、线性网络和激活网络。其中，第三层标准网络用于对样本文本图像中各个字符的第四融合特征进行标准化处理，得到标准化处理后的样本文本图像中各个字符的第四融合特征。前馈连接网络用于对标准化处理后的样本文本图像中各个字符的第四融合特征进行特征处理，得到样本文本图像中各个字符的第五融合特征。第四层标准网络用于对样本文本图像中各个字符的第五融合特征进行标准化处理，得到标准化处理后的样本文本图像中各个字符的第五融合特征。线性网络用于对标准化处理后的样本文本图像中各个第五融合特征进行线性变换处理，得到线性变换处理后的样本文本图像中各个第五融合特征，可选的，线性网络为带线性激活函数的线性网络。激活网络用于对线性变换处理后的样本文本图像中各个第五融合特征进行激活处理，得到样本文本图像中各个字符属于各个参考字符的第二概率，可选的，激活网络为线性整流函数(linear rectification function，relu函数)
激活的线性网络。
[0119]
对于样本文本图像中的任一个字符，从该字符属于各个参考字符的第二概率中确定第二最大概率，并确定第二最大概率所对应的参考字符。第二最大概率对应的参考字符为该字符对应的由第二网络模型通过预测得到的字符。通过这种方式，可以得到第二网络模型通过预测得到的样本文本图像中的各个字符。
[0120]
步骤205，基于第一预测结果、第二预测结果和标注结果，对第一网络模型进行调整，得到文本识别模型。
[0121]
本技术实施例中，基于第一预测结果、第二预测结果和标注结果，确定第一网络模型的损失值，基于第一网络模型的损失值对第一网络模型进行调整，得到调整后的第一网络模型。若调整后的第一网络模型满足训练结束条件，则将调整后的第一网络模型作为文本识别模型。若调整后的第一网络模型不满足训练结束条件，则将调整后的第一网络模型作为下一次训练的第一网络模型，按照步骤201至步骤205的方式，再对第一网络模型进行训练，直至得到文本识别模型。
[0122]
需要说明的是，本技术实施例不对满足训练结束条件做限定。示例性的，满足训练结束条件为达到目标训练次数(如500次)，此时，需要按照步骤201至步骤205的方式，对初始的第一网络模型进行目标训练次数的训练处理，直至得到文本识别模型。
[0123]
可选的，基于第一预测结果、第二预测结果和标注结果，对第一网络模型进行调整，得到文本识别模型，包括：基于第一预测结果和标注结果，确定第一损失值；基于第二预测结果和标注结果，确定第二损失值；基于第一损失值和第二损失值对第一网络模型进行调整，得到文本识别模型。
[0124]
本技术实施例中，基于第一预测结果和标注结果，按照第一损失函数确定第一损失值。本技术实施例不对第一损失函数做限定。示例性的，第一损失函数为ctc损失函数。
[0125]
基于第二预测结果和标注结果，按照第二损失函数确定第二损失值。本技术实施例不对第二损失函数做限定，示例性的，第二损失函数为交叉熵损失函数。
[0126]
在得到第一损失值和第二损失值之后，基于第一损失值和第二损失值确定第一网络模型的损失值，利用第一网络模型的损失值对第一网络模型进行调整，得到调整后的第一网络模型，并基于调整后的第一网络模型确定文本识别模型。
[0127]
在一种可能的实现方式中，基于第二网络模型和样本文本图像的视觉特征，获取样本文本图像的第二预测结果之后，还包括：基于第一预测结果和标注结果，确定第三损失值；基于第二预测结果和标注结果，确定第四损失值；基于第三损失值和第四损失值对第二网络模型进行调整，得到调整后的第二网络模型。
[0128]
本技术实施例中，基于第一预测结果和标注结果，按照第三损失函数确定第三损失值。本技术实施例不对第三损失函数做限定。示例性的，第三损失函数为ctc损失函数。
[0129]
基于第二预测结果和标注结果，按照第四损失函数确定第四损失值。本技术实施例不对第四损失函数做限定，示例性的，第四损失函数为交叉熵损失函数。
[0130]
在得到第三损失值和第四损失值之后，基于第三损失值和第四损失值确定第二网络模型的损失值，利用第二网络模型的损失值对第二网络模型进行调整，得到调整后的第二网络模型。若调整后的第二网络模型满足训练结束条件，则将调整后的第二网络模型作为训练好的第二网络模型。若调整后的第二网络模型不满足训练结束条件，则将调整后的
第二网络模型作为下一次训练的第二网络模型，按照步骤201至步骤204、以及本技术实施例的调整后的第二网络模型的确定方式，再对第二网络模型进行训练，直至得到训练好的第二网络模型。
[0131]
需要说明的是，第一损失函数和第三损失函数可以相同，也可以不同。第二损失函数和第四损失函数可以相同，也可以不同。第一网络模型的损失值可以和第二网络模型的损失值相同，也可以不同，在此不做限定。
[0132]
本技术实施例利用第一网络模型和第二网络模型的进行协同训练，使得文本识别模型能够综合第一网络模型和第二网络模型各自的优势，且文本识别模型不仅能够利用当前字符之前的各字符的特征来预测当前字符的特征，还可以利用当前字符之后的各字符的特征来预测当前字符的特征，增加了样本文本图形的视觉特征的准确性。同时，协同训练第一网络模型和第二网络模型，不仅加快了网络的收敛速度，而且提高了识别性能。
[0133]
可以理解的是，自然场景下文本图像的宽度变化范围较大，最短的小于200，最长的可达到1800，标注结果的长度也不固定，部分标注结果的长度可达到180。本技术实施例在训练第一网络模型和第二网络模型的过程中，并不是直接将样本文本图像缩放到高度为目标高度(如32)后随机选择若干个样本文本图像进行训练，而是先等比例缩放多个样本文本图像，保证多个样本文本图像的高度为目标高度，然后按照宽度大小对多个样本文本图像进行排序。针对排序之后的多个样本文本图像，按照从小到大的顺序取出若干个样本文本图像，这若干个样本文本图像可以作为一个迷你批次(mini-batch)进行填充(padding)处理，以使各样本文本图像的尺寸一致。若是将单张样本文本图像输入至第一网络模型，则可以直接对样本文本图像进行缩放处理，使样本文本图像的高度为目标高度，且不做宽度的限制。
[0134]
本技术实施例使用亚当(adam)优化器，该优化器的衰减率β1和β2分别为：β1＝0.9，β2＝0.99。优化器的梯度裁剪因子为5，且学习率随着训练次数的增加而不断变化，学习率lr满足：lr＝warmup
0.5
×
min(s-0.5
，s
×
warmup-1.5
)。其中，s表示当前的训练次数，warmup为学习率控制参数，用于控制学习率先增后降。本技术实施例不限定学习率控制参数的大小，示例性的，warmup＝25000。
[0135]
上述方法在基于第一网络模型获取到样本文本图像的视觉特征之后，一方面，基于第一网络模型和该视觉特征确定样本文本图像的第一预测结果，另一方面，基于第二网络模型和该视觉特征确定样本文本图像的第二预测结果。之后，利用该第一预测结果、该第二预测结果以及样本文本图像的标注结果，训练得到文本识别模型，使得文本识别模型综合了不同模型的文本识别能力，能够提高文本识别模型对视觉特征的提取能力，从而提高文本识别模型的文本识别能力。
[0136]
基于上述实施环境，本技术实施例提供了一种文本识别方法，以图3所示的本技术实施例提供的一种文本识别方法的流程图为例，该方法可由图1中的电子设备11执行。如图3所示，该方法包括步骤301至步骤303。
[0137]
步骤301，获取目标文本图像。
[0138]
本技术实施例中，目标文本图像可以是自然场景下的文本图像，或者是自然场景下的文本图像中的图像区域。可选的，可以获取自然场景下任意的文本图像，将该文本图像作为待剪切的文本图像。由于自然场景下的文本图像的数据量较大，且不包含文本的图像
区域较大，因此，可以先确定待剪切的文本图像中包含文本的图像区域，并将包含文本的图像区域裁剪出来，该包含文本的图像区域即为目标文本图像。
[0139]
可选地，可以先对待剪切的文本图像进行预处理，得到预处理后的文本图像，再确定预处理后的文本图像中包含文本的图像区域，以将包含文本的图像区域裁剪出来。其中，预处理包括但不限于对比度增强处理、降噪处理、图像分割处理等。
[0140]
步骤302，基于文本识别模型获取目标文本图像的视觉特征，目标文本图像的视觉特征用于表征目标文本图像中各个字符的外形和位置，文本识别模型是按照上述各可选实施例提供的文本识别模型的训练方法得到的。
[0141]
本技术实施例中，文本识别模型是按照上文提及的步骤201至步骤205的方式训练得到的，在此不再赘述。将目标文本图像输入至文本识别模型中，由文本识别模型对目标文本图像进行特征提取，以提取目标文本图像的视觉特征。
[0142]
在一种可能的实现方式中，基于文本识别模型获取目标文本图像的视觉特征，包括：基于文本识别模型获取目标文本图像中各个字符的外形特征；基于文本识别模型获取目标文本图像中各个字符的位置特征；基于目标文本图像中各个字符的外形特征和目标文本图像中各个字符的位置特征，确定目标文本图像的视觉特征。
[0143]
本技术实施例中，文本识别模型包括外形特征提取网络和位置特征提取网络，将目标文本图像输入至文本识别模型之后，由外形特征提取网络对目标文本图像进行外形特征提取，得到目标文本图像中各个字符的外形特征，由位置特征提取网络对目标文本图像进行位置特征提取，得到目标文本图像中各个字符的位置特征。其中，字符的外形特征用于描述字符的外形，字符的位置特征用于描述字符的位置。其中，上文已介绍了样本文本图像的视觉特征的提取方式，目标文本图像的视觉特征的提取方式与样本文本图像的视觉特征的提取方式一致，在此不再赘述。
[0144]
步骤303，基于目标文本图像的视觉特征，获取目标文本图像的文本识别结果，文本识别结果是由文本识别模型通过预测得到的目标文本图像中的各个字符。
[0145]
本技术实施例中，文本识别模型包括线性网络和激活网络，其中，线性网络用于对目标文本图像的视觉特征进行线性变换处理，得到线性变换处理后的视觉特征，激活网络用于对线性变换处理后的视觉特征进行激活处理，得到目标文本图像的文本识别结果。
[0146]
可选的，激活网络对线性变换处理后的视觉特征进行激活处理后，得到目标文本图像中各个字符属于各个参考字符的概率。对于目标文本图像中的任一个字符，从该字符属于各个参考字符的概率中确定最大概率，并确定最大概率所对应的参考字符。最大概率对应的参考字符为该字符对应的由文本识别模型通过预测得到的字符。通过这种方式，可以得到文本识别模型通过预测得到的目标文本图像中的各个字符。
[0147]
上述方法中的文本识别模型是按照如下方式训练得到的：在基于第一网络模型获取到样本文本图像的视觉特征之后，一方面，基于第一网络模型和该视觉特征确定样本文本图像的第一预测结果，另一方面，基于第二网络模型和该视觉特征确定样本文本图像的第二预测结果。之后，利用该第一预测结果、该第二预测结果以及样本文本图像的标注结果，训练得到文本识别模型。本技术实施例中的文本识别模型综合了不同模型的文本识别能力，能够提高文本识别模型对视觉特征的提取能力，从而提高文本识别模型的文本识别能力，提高了文本识别的准确性。同时，在应用时，仅利用文本识别模型而未利用训练好的
第二网络模型获取目标文本图像的文本识别结果，降低了运算量，使得运算时间处于可控的范围内，提高了文本识别的实时性。
[0148]
上述从方法步骤的角度阐述了本技术实施例中文本识别模型的训练方法和文本识别方法，下面从一个具体实施例的角度，综合阐述本技术实施例中文本识别模型的训练方法和文本识别方法。
[0149]
请参见图4，图4是本技术实施例提供的一种文本识别模型的训练方法的流程示意图。首先对样本文本图像进行特征提取，得到样本文本图像中的各字符的外形特征、各字符的位置特征以及各字符的语义特征。其中，上文已介绍了各字符的外形特征、位置特征以及语义特征的提取方式，在此不再赘述。
[0150]
接下来，对各字符的外形特征和各字符的位置特征进行局部和全局的特征融合，得到视觉特征，之后，基于视觉特征得到第一预测结果。另外，还对各字符的语义特征和各字符的位置特征进行全局的特征融合，得到各字符的第三融合特征，接着对视觉特征和各字符的第三融合特征进行全局的特征融合，得到各字符的第四融合特征，之后，基于各字符的第四融合特征得到第二预测结果。
[0151]
接下来，请参见图5，图5是本技术实施例提供的一种网络模型的结构示意图。该网络模型包括第一网络模型和第二网络模型。其中，第一网络模型包括ne个串联的编码器，该编码器为ctc模型，上一个编码器的输出为下一个编码器的输入。第二网络模型包括nd个串联的解码器、层标准化网络(对应于上文提及的第四层标准网络)、线性网络和激活网络，该解码器为attention模型，上一个解码器的输出为下一个解码器的输入。ne、nd均为正整数。
[0152]
下面先介绍编码器的结构。编码器包括依次连接的前馈连接网络、多头自注意力网络、卷积网络、前馈连接网络。
[0153]
首先，各字符的外形特征输入至前馈连接网络进行特征处理，得到特征处理后的各字符的外形特征，接着将各字符的外形特征与特征处理后的各字符的外形特征进行融合，得到融合后的各字符的外形特征，以使各字符的外形特征更加准确。
[0154]
各字符的位置特征和融合后的各字符的外形特征一起输入至多头自注意力网络，以使多头自注意力网络进行全局的特征融合，得到各字符的第一融合特征。其中，可以将各字符的位置特征、融合后的各字符的外形特征、各字符的第一融合特征进行融合，得到融合后的各字符的第一融合特征，以使各字符的第一融合特征更加准确。
[0155]
融合后的各字符的第一融合特征输入至卷积网络，由卷积网络进行局部的特征融合，得到各字符的第二融合特征。其中，可以将各字符的第二融合特征和融合后的各字符的第一融合特征进行融合，得到融合后的各字符的第二融合特征，以使各字符的第二融合特征更加准确性。
[0156]
融合后的各字符的第二融合特征输入至前馈连接网络，由前馈连接网络进行特征处理，得到特征处理后的各字符的第二融合特征。其中，可以将融合后的各字符的第二融合特征和特征处理后的各字符的第二融合特征进行融合，得到视觉特征。其中，上一个编码器输出的视觉特征可以作为下一个编码器的输入，此时，上一个编码器输出的视觉特征为输入至下一个编码器的各字符的外形特征和位置特征。最后一个编码器输出的视觉特征用于进行以下处理。
[0157]
第一网络模型可以基于视觉特征确定并输出样本文本图像的第一预测结果。本申
请实施例中，可以获取样本文本图像的标注结果，基于标注结果和第一预测结果确定第一网络模型的损失值，并基于第一网络模型的损失值对第一网络模型进行调整。其中，视觉特征还可以输入至第二网络模型。
[0158]
下面介绍解码器的结构。解码器包括依次连接的层标准化网络(对应于上文提及的第一层标准网络)、带遮罩的多头自注意力网络、层标准化网络(对应于上文提及的第二层标准网络)、多头自注意力网络、层标准化网络(对应于上文提及的第三层标准网络)、前馈连接网络。
[0159]
首先，各字符的语义特征和各字符的位置特征均输入层标准化网络，由层标准化网络对各字符的语义特征进行标准化处理，得到标准化处理后的各字符的语义特征，且层标准化网络也可以对各字符的位置特征进行标准化处理，得到标准化处理后的各字符的位置特征。
[0160]
接着，标准化处理后的各字符的语义特征和标准化处理后的各字符的位置特征输入至带遮罩的多头自注意力网络，由带遮罩的多头自注意网络进行全局的特征融合，得到各字符的第三融合特征。其中，可以将各字符的语义特征、各字符的位置特征以及各字符的第三融合特征进行融合，得到融合后的各字符的第三融合特征，以使各字符的第三融合特征更加准确。
[0161]
然后，将融合后的各字符的第三融合特征输入至层标准化网络，由层标准化网络对融合后的各字符的第三融合特征进行标准化处理，得到标准化处理后的各字符的第三融合特征。将视觉特征和标准化处理后的各字符的第三融合特征输入至多头自注意力网络，由多头自注意力网络进行全局的特征融合，得到各字符的第四融合特征。其中，可以将各字符的第四融合特征和融合后的各字符的第三融合特征进行融合，得到融合后的各字符的第四融合特征，以使各字符的第四融合特征更加准确。
[0162]
之后，将融合后的各字符的第四融合特征输入至层标准化网络，由层标准化网络对融合后的各字符的第四融合特征进行标准化处理，得到标准化处理后的各字符的第四融合特征。将标准化处理后的各字符的第四融合特征输入至前馈连接网络，由前馈连接网络进行特征处理，得到特征处理后的各字符的第四融合特征。其中，可以将融合后的各字符的第四融合特征和特征处理后的各字符的第四融合特征进行融合，得到解码器的输出。上一个解码器的输出可以作为下一个解码器的输入，也就是说，上一个解码器的输出可以作为输入至下一个解码器的各字符的位置特征和各字符的语义特征。
[0163]
最后一个解码器可以将融合后的各字符的第四融合特征和特征处理后的各字符的第四融合特征进行融合，得到最后一个解码器的输出。之后经过层标准化网络进行标准化处理，以及经过线性网络和激活网络分别进行线性变换处理、激活处理之后，得到样本文本图像的第二预测结果。之后，基于标注结果和第二预测结果确定第二网络模型的损失值，并基于第二网络模型的损失值对第二网络模型进行调整。其中，一次训练是对第一网络模型和第二网络模型进行一次同步调整。
[0164]
本技术实施例中，可以对第一网络模型和第二网络模型进行多次同步调整，直至满足训练结束条件。其中，满足训练结束条件的第一网络模型可以作为文本识别模型。
[0165]
本技术实施例的文本识别模型是ctc模型，与传统的ctc识别器相比，本技术实施例的ctc模型利用了attention模型来辅助引导ctc模型进行文本识别的学习，使得ctc模型
能够针对自然场景下的文本图像进行更有效、更鲁棒的文本识别。与attention识别器相比，本技术实施例的ctc模型具有全局和局部的特征融合能力，且ctc模型包含多头自注意力网络，多头自注意力网络是并行的注意机制，能避免attention的串行解码结构带来的速度瓶颈和显存消耗。
[0166]
图6所示为本技术实施例提供的一种文本识别模型的训练装置的结构示意图，如图6所示，该装置包括：
[0167]
获取模块601，用于获取样本文本图像和样本文本图像的标注结果，标注结果是通过标注得到的样本文本图像中的各个字符；
[0168]
获取模块601，还用于基于第一网络模型获取样本文本图像的视觉特征，样本文本图像的视觉特征用于表征样本文本图像中各个字符的外形和位置；
[0169]
获取模块601，还用于基于第一网络模型和样本文本图像的视觉特征，获取样本文本图像的第一预测结果，第一预测结果是由第一网络模型通过预测得到的样本文本图像中的各个字符；
[0170]
获取模块601，还用于基于第二网络模型和样本文本图像的视觉特征，获取样本文本图像的第二预测结果，第二预测结果是由第二网络模型通过预测得到的样本文本图像中的各个字符；
[0171]
调整模块602，用于基于第一预测结果、第二预测结果和标注结果，对第一网络模型进行调整，得到文本识别模型。
[0172]
在一种可能的实现方式中，获取模块601，用于基于第一网络模型获取样本文本图像中各个字符的外形特征；基于第一网络模型获取样本文本图像中各个字符的位置特征；基于样本文本图像中各个字符的外形特征和样本文本图像中各个字符的位置特征，确定样本文本图像的视觉特征。
[0173]
在一种可能的实现方式中，获取模块601，用于对于样本文本图像中的任一个字符，将样本文本图像中各个字符的外形特征和样本文本图像中各个字符的位置特征进行融合，得到任一个字符的第一融合特征；基于样本文本图像中各个字符的第一融合特征，确定样本文本图像的视觉特征。
[0174]
在一种可能的实现方式中，获取模块601，用于对于样本文本图像中的任一个字符，将任一个字符对应的至少一个相邻字符的外形特征和至少一个相邻字符的位置特征进行融合，得到任一个字符的第二融合特征；基于样本文本图像中各个字符的第二融合特征，确定样本文本图像的视觉特征。
[0175]
在一种可能的实现方式中，获取模块601，用于对于样本文本图像中的任一个字符，基于第一网络模型和样本文本图像的视觉特征，确定任一个字符属于各个参考字符的第一概率；从任一个字符属于各个参考字符的第一概率中确定第一最大概率；将第一最大概率对应的参考字符，确定为任一个字符对应的由第一网络模型通过预测得到的字符。
[0176]
在一种可能的实现方式中，获取模块601，用于基于第二网络模型和标注结果，确定样本文本图像中各个字符的语义特征；基于第一网络模型获取样本文本图像中各个字符的位置特征；基于样本文本图像的视觉特征、样本文本图像中各个字符的语义特征和样本文本图像中各个字符的位置特征，获取样本文本图像的第二预测结果。
[0177]
在一种可能的实现方式中，获取模块601，用于基于样本文本图像中各个字符的位
置特征和样本文本图像中各个字符的语义特征，确定样本文本图像中各个字符的第三融合特征；基于样本文本图像的视觉特征和样本文本图像中各个字符的第三融合特征，获取样本文本图像的第二预测结果。
[0178]
在一种可能的实现方式中，获取模块601，用于对于样本文本图像中的任一个字符，将任一个字符的语义特征、任一个字符的位置特征、任一个字符之前的各个字符的语义特征、任一个字符之前的各个字符的位置特征进行融合，得到任一个字符的第三融合特征。
[0179]
在一种可能的实现方式中，获取模块601，用于对于样本文本图像中的任一个字符，将样本文本图像的视觉特征和样本文本图像中各个字符的第三融合特征进行融合，得到任一个字符的第四融合特征；基于样本文本图像中各个字符的第四融合特征，获取样本文本图像的第二预测结果。
[0180]
在一种可能的实现方式中，获取模块601，用于对于样本文本图像中的任一个字符，基于样本文本图像中各个字符的第四融合特征，确定任一个字符属于各个参考字符的第二概率；从任一个字符属于各个参考字符的第二概率中确定第二最大概率；将第二最大概率对应的参考字符，确定为任一个字符对应的由第二网络模型通过预测得到的字符。
[0181]
在一种可能的实现方式中，调整模块602，用于基于第一预测结果和标注结果，确定第一损失值；基于第二预测结果和标注结果，确定第二损失值；基于第一损失值和第二损失值对第一网络模型进行调整，得到文本识别模型。
[0182]
在一种可能的实现方式中，调整模块602，还用于基于第一预测结果和标注结果，确定第三损失值；基于第二预测结果和标注结果，确定第四损失值；基于第三损失值和第四损失值对第二网络模型进行调整，得到调整后的第二网络模型。
[0183]
在一种可能的实现方式中，获取模块601，用于获取待处理的文本图像；从待处理的文本图像中裁剪出包含文本的图像区域，得到样本文本图像。
[0184]
上述装置是在基于第一网络模型获取到样本文本图像的视觉特征之后，一方面，基于第一网络模型和该视觉特征确定样本文本图像的第一预测结果，另一方面，基于第二网络模型和该视觉特征确定样本文本图像的第二预测结果。之后，利用该第一预测结果、该第二预测结果以及样本文本图像的标注结果，训练得到文本识别模型，使得文本识别模型综合了不同模型的文本识别能力，能够提高文本识别模型对视觉特征的提取能力，从而提高文本识别模型的文本识别能力。
[0185]
应理解的是，上述图6提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0186]
图7所示为本技术实施例提供的一种文本识别装置的结构示意图，如图7所示，该装置包括：
[0187]
第一获取模块701，用于获取目标文本图像；
[0188]
第二获取模块702，用于基于文本识别模型获取目标文本图像的视觉特征，目标文本图像的视觉特征用于表征目标文本图像中各个字符的外形和位置，文本识别模型是上述任一项的文本识别模型的训练方法得到的；
[0189]
第三获取模块703，用于基于目标文本图像的视觉特征，获取目标文本图像的文本识别结果，文本识别结果是由文本识别模型通过预测得到的目标文本图像中的各个字符。
[0190]
在一种可能的实现方式中，第二获取模块702，用于基于文本识别模型获取目标文本图像中各个字符的外形特征；基于文本识别模型获取目标文本图像中各个字符的位置特征；基于目标文本图像中各个字符的外形特征和目标文本图像中各个字符的位置特征，确定目标文本图像的视觉特征。
[0191]
上述装置中的文本识别模型是按照如下方式训练得到的：在基于第一网络模型获取到样本文本图像的视觉特征之后，一方面，基于第一网络模型和该视觉特征确定样本文本图像的第一预测结果，另一方面，基于第二网络模型和该视觉特征确定样本文本图像的第二预测结果。之后，利用该第一预测结果、该第二预测结果以及样本文本图像的标注结果，训练得到文本识别模型。本技术实施例中的文本识别模型综合了不同模型的文本识别能力，能够提高文本识别模型对视觉特征的提取能力，从而提高文本识别模型的文本识别能力。
[0192]
应理解的是，上述图7提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0193]
图8示出了本技术一个示例性实施例提供的终端设备800的结构框图。该终端设备800可以是便携式移动终端，比如：智能手机、平板电脑、笔记本电脑或台式电脑。终端设备800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0194]
通常，终端设备800包括有：处理器801和存储器802。
[0195]
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用dsp(digital signal processing，数字信号处理)、fpga(field-programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0196]
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本技术中方法实施例提供的文本识别模型的训练方法或者文本识别方法。
[0197]
在一些实施例中，终端设备800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外
围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807和电源808中的至少一种。
[0198]
外围设备接口803可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0199]
射频电路804用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0200]
显示屏805用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在终端设备800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端设备800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端设备800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode，有机发光二极管)等材质制备。
[0201]
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0202]
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声
器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
[0203]
电源808用于为终端设备800中的各个组件进行供电。电源808可以是交流电、直流电、一次性电池或可充电电池。当电源808包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0204]
在一些实施例中，终端设备800还包括有一个或多个传感器809。该一个或多个传感器809包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、光学传感器814以及接近传感器815。
[0205]
加速度传感器811可以检测以终端设备800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
[0206]
陀螺仪传感器812可以检测终端设备800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端设备800的3d动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0207]
压力传感器813可以设置在终端设备800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端设备800的侧边框时，可以检测用户对终端设备800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0208]
光学传感器814用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器814采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器814采集的环境光强度，动态调整摄像头组件806的拍摄参数。
[0209]
接近传感器815，也称距离传感器，通常设置在终端设备800的前面板。接近传感器815用于采集用户与终端设备800的正面之间的距离。在一个实施例中，当接近传感器815检测到用户与终端设备800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器815检测到用户与终端设备800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
[0210]
本领域技术人员可以理解，图8中示出的结构并不构成对终端设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0211]
图9为本技术实施例提供的服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器901和一个或多个的存储器902，其中，该一个或多个存储器902中存储有至少一条程序代码，该至少一条程序代码由该一个或多
个处理器901加载并执行以实现上述各个方法实施例提供的文本识别模型的训练方法或者文本识别方法，示例性的，处理器901为cpu。当然，该服务器900还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器900还可以包括其他用于实现设备功能的部件，在此不做赘述。
[0212]
在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以使电子设备实现上述任一种文本识别模型的训练方法或者文本识别方法。
[0213]
可选地，上述计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read-only memory，cd-rom)、磁带、软盘和光数据存储设备等。
[0214]
在示例性实施例中，还提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品中存储有至少一条计算机指令，该至少一条计算机指令由处理器加载并执行，以使计算机实现上述任一种文本识别模型的训练方法或者文本识别方法。
[0215]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0216]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0217]
以上仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。