一种阿拉伯语文本识别方法及系统

1.本发明涉及识别处理技术领域，尤其涉及一种阿拉伯语文本识别方法及系统。


背景技术：

2.将图像中的文本识别出来，是计算机模式识别比较成熟的技术，比如中文、英文、西班牙等一些主流的语种，由于拥有大规模的人群使用，积累了庞大的数据资源，也得到了深入的研究，因此目前市面上的ocr技术已经能够把大部分的文字识别出来了。
3.但是对于一些小语种，尤其是那些使用人数较少的、经济不发达地区使用的“小语种”，相关的图文研究比较少，其数据资源也相对稀缺，再加上小语种所特有的符号和书写习惯，目前的ocr技术并不能有效识别出来。
4.各个国家都有各自的语言，语种也比较丰富，各民族的语言符号也差异比较大，以阿拉伯语为例，其文本方向是从右到左、每个字母在字中的不同位置具有不同的形状、字母上下的点号和读音符号、字母之间连线的延长线长度可变、垂直或水平连写、以及不同字母的大小不同(高度和宽度)等等特点，使得目前成熟的ocr识别技术几乎难以识别出来。


技术实现要素：

5.本发明为解决现有技术中存在的技术问题，本发明提供一种阿拉伯语文本识别方法，应用在阿拉伯语文本识别系统，包括步骤：
6.对输入图像进行特征提取，获取具有高级语义的特征图f；
7.从特征图f中获取每个时间步的通道注意力特征ac；
8.从特征图f中获取每个时间步的空间注意力特征as；
9.对特征图f、通道注意力特征ac以及空间注意力特征as进行融合，获得融合特征；
10.对融合特征进行识别，获得文本结果。
11.进一步地，对融合特征进行识别，获得文本结果的步骤中，还包括阿拉伯字形建模步骤：
12.构建训练数据集；
13.将阿拉伯语每个字符各个字形加入到识别单元的总类别中；
14.统计训练数据集中各连写元素出现的频率，将频率大于预设值的连写元素加入到识别单元的总类别中；
15.统计训练数据集中的特殊符号，将出现频率大于预设值的特殊符号加入到识别单元的总类别中；
16.整理分类编号，形成模型类别号。
17.本发明还提供一种阿拉伯语文本识别系统，包括特征提取单元、通道注意力网络单元、空间注意力网络单元、编码单元、识别单元，其中：
18.特征提取单元用以对输入图像进行特征提取，获取具有高级语义的特征图 f；
19.通道注意力网络单元用以从特征图f中获取每个时间步的通道注意力特征 ac；
20.空间注意力网络单元用以从特征图f中获取每个时间步的空间注意力特征 as；
21.编码单元用以对特征图f、通道注意力特征ac以及空间注意力特征as进行融合，获得融合特征；
22.识别单元用以对融合特征进行识别，获得文本结果。
23.进一步地，还包括预处理单元，用以对输入图像进行预处理后再输入给特征提取单元。
24.进一步地，所述特征提取单元包括resnet模块、fpn模块和特征融合模块，其中：
25.resnet模块由4个卷积模块串联构成，用以对输入图像提取特征，得到3个不同深度的语义层特征c2、c3和c4；
26.fpn模块用以将语义层特征c2、c3和c4融合形成对应的m2、m3和m4输出，其结构为：语义层特征c4的输出接入卷积层得到特征m4；语义层特征c3 的输出接入卷积层提取特征，再与语义层特征m4的2倍上采样特征相加得到特征m3；语义层特征c2的输出接入卷积层提取特征，再与语义层特征m3的2倍上采样特征相加得到特征m2；
27.特征融合模块用以对特征m2、m3和m4进行融合得到特征图f，其结构为：特征m4经过卷积层和上采样层得到特征m4_1；特征m3经过卷积层得到特征 m3_1，特征m2经过卷积层和下采样层得到特征m2_1，特征m4_1、m3_1和 m2_1相加得到特征图f。
28.进一步地，通道注意力网络单元包括平均池化层和多线性网络，其中：
29.平均池化层从特征图f获得与特征图f通道数相等的特征，特征尺寸大小为(1，1，c)，并输入到多线性网络，最后经过激活函数得到每个时间步的通道注意力ac，其特征尺寸大小为(t，1，1，c)。
30.进一步地，空间注意力网络单元包括一个卷积层、二个下采样卷积层和二个上采样卷积层依次串联而成，最后通过激活函数得到每个时间步的空间注意力as。
31.进一步地，编码单元获得融合特征的计算方法为：
32.选择t时刻的融合特征f_t，其中1≤t≤t；
33.取通道注意力ac(t，1，1，c)第1维第t个特征ac_t，其特征尺寸大小为(1，1，c)；
34.取空间注意力as(h/4，w/4，t)第3维第t个特征as_t，其特征尺寸大小为(h/4，w/4)，扩充第三个维度并将其尺寸大小扩充到c，最终as_t尺寸大小为(h/4，w/4，c)；
35.计算融合特征f_t＝ac_t
×
as_t
×
f。
36.进一步地，识别单元由多个lstm单元串联而成，在t时刻，将t-1时刻的隐状态s
t-1
，以及编码单元的融合特征，输入到lstm单元中，得到t时刻的字符输出，如此将每个时刻的输出结果形成的字符序列输出。
37.本发明还公开一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行任一所述的阿拉伯语文本识别方法。
38.本发明公开的方法和系统中所述模块，在实际应用中，既可以在一台目标服务器上部署多个模块，也可以每一模块独立部署在不同的目标服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群目标服务器上。
39.由此可见，本发明采取的技术方案，能够大幅度减少特殊字符漏识别以及多识别
问题，提高自然场景下的阿拉伯语图像文本识别准确率。
40.为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。
附图说明
41.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明实施例的一种阿拉伯语文本识别系统的结构示意图；
43.图2为本发明实施例的一种特征提取单元的结构示意图；
44.图3为本发明实施例的通道注意力网络单元和空间注意力网络单元结构示意图；
45.图4为本发明实施例识别单元结构示意图；
46.图5为本发明实施例识别阿拉伯文本效果示意图。
具体实施方式
47.本发明针对阿拉伯语的现状和现有技术的缺陷，提出的一种阿拉伯语文本识别方法，大大提升了阿拉伯语的识别能力，其识别步骤包括：
48.对输入图像进行特征提取，获取具有高级语义的特征图f；
49.从特征图f中获取每个时间步的通道注意力特征ac；
50.从特征图f中获取每个时间步的空间注意力特征as；
51.对特征图f、通道注意力特征ac以及空间注意力特征as进行融合，获得融合特征；
52.对融合特征进行识别，获得文本结果。
53.此外，针对阿拉伯语言的书写风格，本发明基于上述实施例的基础上，在对融合特征进行识别，获得文本结果的步骤中，还包括对阿拉伯的字形进行建模，其步骤包括：
54.构建训练数据集；
55.将阿拉伯语每个字符各个字形加入到识别单元的总类别中；
56.统计训练数据集中各连写元素出现的频率，将频率大于预设值的连写元素加入到识别单元的总类别中，比如将将频率大于300的连写元素加入到识别单元总类别中。
57.统计训练数据集中的特殊符号，将出现频率大于预设值的特殊符号加入到识别单元的总类别中，比如将出现频率大于1的特殊符号加入到识别单元的总类别中，
58.整理分类编号，形成模型类别号，在一些实际的实例中，可以形成2000 个模型类别号。
59.本发明除了适合于阿拉伯语言外，在具有类似阿拉伯语的文本特征的文本图像上，也具有很好的识别效果，除了阿拉伯语种之外，采用本发明的方案应用在其他语种均属于本发明的保护范围。为了进一步体现本发明技术方案带来的技术改进和进步，本发明以阿拉伯语作为例子，进一步展开详细的介绍。
60.目前使用阿拉伯语言的大约以西亚十二国家为主，还有非洲一些国家，阿拉伯语言的特点主要在于：其文本方向是从右到左、每个字母在字中的不同位置具有不同的形状、
字母上下的点号和读音符号、字母之间连线的延长线长度可变、垂直或水平连写、以及不同字母的大小不同(高度和宽度)等等特点。
61.请参阅图1，本发明还公开一种阿拉伯语文本识别系统，包括特征提取单元、通道注意力网络单元、空间注意力网络单元、编码单元、识别单元，其中：
62.特征提取单元用以对输入图像进行特征提取，获取具有高级语义的特征图 f；
63.通道注意力网络单元用以从特征图f中获取每个时间步的通道注意力特征 ac；
64.空间注意力网络单元用以从特征图f中获取每个时间步的空间注意力特征 as；
65.编码单元用以对特征图f、通道注意力特征ac以及空间注意力特征as进行融合，获得融合特征；
66.识别单元用以对融合特征进行识别，获得文本结果。
67.下面结合上述的阿拉伯语文本识别方法以及阿拉伯语文本识别系统，进一步展开说明本发明的技术方案。
68.首先，特征提取单元用以对输入图像进行特征提取，获取具有高级语义的特征图f。
69.请参阅图2，作为一种优选的实施方式，图2为本发明实施例的一种特征提取单元的结构示意图。特征提取单元包括resnet模块、fpn模块和特征融合模块，其中：resnet模块由4个卷积模块串联构成，即图中的卷积模块conv1、 conv2、conv3、conv4，用以对输入图像提取特征，从后面的三个卷积模块 conv2、conv3、conv4分别得到3个不同深度的语义层特征c2、c3和c4；
70.fpn模块用以将语义层特征c2、c3和c4融合形成对应的m2、m3和m4输出，其结构为：语义层特征c4的输出接入卷积层得到特征m4；语义层特征c3 的输出接入卷积层提取特征，再与语义层特征m4的2倍上采样特征相加得到特征m3；语义层特征c2的输出接入卷积层提取特征，再与语义层特征m3的2倍上采样特征相加得到特征m2，在本实施例中，fpn模块中的卷积层均选择为 1
×
1的卷积层来实现。
71.特征融合模块用以对特征m2、m3和m4进行融合得到特征图f，特征m4 经过一个卷积层和一个上采样层形成特征m4_1，特征m3经过一个卷积层形成特征m3_1，特征m2经过一个卷积层和一个下采样层形成特征m2_1，此时， m4_1、m3_1和m2_1具有同样大小的特征尺寸，将m4_1、m3_1和m2_1相加形成最终的融合特征f，在特征融合模块里使用到的卷积层，均选择3
×
3的卷积层实现。
72.本实施例中，resnet模块可以使用resnet-50作为骨干特征提取网络，后3 个卷积模块分别输出3个不同深度语义层的输出特征，对应为特征c2、c3和c4。
73.然后采用fpn结构将各个语义层的特征融合，对应得到的特征m2、m3和m4输出；使用融合模块将这三层对应输出融合形成最终的特征图f，该特征图 f大小为(h/4，w/4，c)，其中h和w为输入图像的高度和宽度。
74.本发明在研究的过程中，发现阿拉伯语字符的上方或下方有点号，和其他语言较大的差异，在特征提取单元中，如果卷积模块的下采样直接使用常规的 maxpooling模块实现，会使特征丢失重要的点号信息，因此，针对阿拉伯的特点进行研究，提出一种改进优选的方式，在卷积模块中的下采样通过步长为2、 padding为1的3
×
3卷积来实现的，从而可以获得文本信息中包含的点号信息。
75.在上述特征提取特征的基础上，本发明提出更优选的一种方式，即在每个卷积模块卷积模块conv1、conv2、conv13、conv4的后面接入cbam模块，从而可以关注到图像文本的文本区域信息。
76.作为一种优选的实施方式，在特征提取单元提取输入图像之前，可以先对输入图像进行预处理，从而增强文本识别系统的鲁棒性，针对阿拉伯语言的特征，本发明的预处理包括：
77.第一，由于阿拉伯语的音调类似于汉语的拼音，不会影响文本的语义信息，因此将标注文件中的音调字符全部去除；
78.第二，将待输入图像进行矫正，减少倾斜过大对文本识别造成的影响；
79.第三，将矫正的输入图像的尺寸进行统一，比如高度缩放至64，宽度缩放至256；
80.第四，该文本图像经过特征增强(调整对比度、亮度、灰度值和高斯噪声) 和图像归一化后，把该文本图像输入到特征提取模块。
81.其次，在获得特征图f之后，分别提取每个时间步通道注意力ac和每个时间步的空间注意力as，编码单元再对特征图f(特征尺寸为(h/4，w/4，c))、通道注意力特征ac(特征尺寸为(t，1，1，c))以及空间注意力特征as(特征尺寸为(特征尺寸为(h/4，w/4，t))进行融合，获得融合特征f_t计算方式：
82.选择t时刻的融合特征f_t，其中1≤t≤t；
83.取通道注意力ac(t，1，1，c)第1维第t个特征ac_t，其特征尺寸大小为(1，1，c)；
84.取空间注意力as(h/4，w/4，t)第3维第t个特征as_t，其特征尺寸大小为(h/4，w/4)，扩充第三个维度并将其尺寸大小扩充到c，最终as_t尺寸大小为(h/4，w/4，c)；
85.计算融合特征f_t＝ac_t
×
as_t
×
f。
86.请参阅图3，作为一种优选的实施方式，本发明的通道注意力网络单元包括平均池化层和多线性网络，其中：
87.平均池化层从特征图f获得与特征图f通道数相等的特征，特征尺寸大小为(1，1，c)，即宽度和高度均为1，通道数量不变。并输入到多层感知机 (mlp)或者多线性网络，最后经过激活函数得到每个时间步的通道注意力 ac，其特征尺寸大小变为(t，1，1，c),其中t为输出序列的最大尺寸，即产生t个高度和宽度均为1，通道数量为c的特征图，激活函数可以选择 sigmoid。
88.空间注意力网络单元包括一个卷积层(conv_0)、二个下采样卷积层 (conv_1、conv_2)和二个上采样卷积层(conv_3、conv_4)依次串联而成，并最后通过激活函数得到每个时间步的空间注意力as，具体实现的过程为：空间注意力网络单元首先经过一个卷积层(conv_0)，两个下采样卷积层 (conv_1、conv_2)降低输入特征的尺度到(h/16，w/16，c)，再由两个卷积层(conv_3、conv_4)将输入特征尺度回复到(h/4，w/4，t)，最后产生t个与输入特征图f高度和宽度相同的特征图，即每个时间步的空间注意力as。
89.最后，在获得融合特征之后，识别单元用以对融合特征进行识别，获得文本结果。
90.请参阅图4，作为一种优选的实施方式，识别单元由多个lstm单元串联而成，其实现的过程如下：
91.lstm是一个时间序列处理的网络结构，在t时刻，将t-1时刻的隐状态 s
t-1
，通道注意力网络单元中第t个线性层的输出ac_t，其尺度大小为(1，1，c)，空间注意力网络单元第t
个通道的特征as_t，其尺度大小为(h/4，w/4)，以及特征提取单元的输出f，输入到lstm单元中，得到t时刻的字符输出，如此将每个时刻的输出结果连接到一起，形成最终的预测字符串。
92.请参阅图5，图5为本发明实施例在识别阿拉伯文本效果示意图，经过实际验证，本发明能够大大提高了文本的识别能力。
93.本发明实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任一所述的阿拉伯语文本识别方法。
94.需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(rom，readonlymemory)、随机存取存储器(ram， randomaccessmemory)、磁盘或光盘等。
95.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说是轻而易举的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。