一种文本图像倾斜角度的检测方法及装置与流程

文档序号:23761398发布日期:2021-01-29 18:56阅读:303来源:国知局
一种文本图像倾斜角度的检测方法及装置与流程

[0001]
本文件涉及文本图像倾斜角度的检测领域,尤其涉及一种文本图像倾斜角度的检测方法及装置。


背景技术:

[0002]
目前,光学字符识别(optical character recognition,ocr)是指对文本图像进行处理,获取文字及版面信息的过程,也是光学理论实践应用的一个重要研究方向。不论是传统意义上ocr技术还是基于深度学习的ocr技术,均需要获得更高的文字识别精度和准确率。
[0003]
随着深度学习技术的发展,人们在文字识别方法上取得了很大的进步,已经将文本检测和文本识别集成到了一个模型中。从单一的水平直线文字行到现在的各类曲线文字行都能有很好的识别结果。然而,文字识别过程中要求单个文字方向要保持大致上的“正立”,如果出现“倒立”的文字,识别准确率就会变得很低,可见文字识别准确率除了与识别方法有关以外,还与文本图像中文字的倾斜方向和角度也密切相关。
[0004]
其中,常见的文本倾斜角度方法主要有投影法、hough变换法、k-最近邻簇法、fourier变换法及其变种方法。这些方法的基本原理都是先检测文本图像中的直线特征,利用直线的斜率来确定文本图像的倾斜角度,然后再进行倾斜校正。这些检测方法均需要文本图像中一定要有直线特征或类似于直线的特征,人们常常对文本图像进行游长平滑及细化处理来获取文本行直线。由于直线的倾斜角度范围是在
±
90
°
之间,而文本图像的倾斜角度范围是在
±
180
°
之间,因此,当文本图像旋转180
°
成为倒立图像时,利用常规的倾斜角度检测方法无法得到准确度倾斜角度。也就是说,当文本图像倾斜角度大于90
°
或小于90
°
时,利用将直线的倾斜角理解为文本图像的倾斜角都是错误的。由于文本图像倾斜程度不仅与角度有关也与方向有关,而常规的直线检测法是无法检测出旋转方向的。
[0005]
由此可知,需要一种不依赖直线特征的、更加普适的、准确度更高地文本图像倾斜角度检测的方法。


技术实现要素:

[0006]
本说明书一个或多个实施例的目的是提供一种文本图像倾斜角度的检测方法。该文本图像倾斜角度的检测方法包括:
[0007]
获取待检测的目标文本图像信息;
[0008]
基于所述目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型;其中,所述深度神经网络模型集合包括:一阶段二分类网络模型和多阶段多分类网络模型;
[0009]
利用所述目标神经网络模型,对所述目标文本图像信息进行图像倾斜角度识别处理,得到所述目标文本图像信息的图像倾斜角度数据;其中,所述图像倾斜角度数据是基于对所述目标文本图像信息执行至少一次倾斜角度类别识别所确定的。
[0010]
本说明书一个或多个实施例的目的是提供一种文本图像倾斜角度的检测装置。该文本图像倾斜角度的检测装置包括:
[0011]
文本图像获取模块,用于获取待检测的目标文本图像信息;
[0012]
目标网络选取模块,用于基于所述目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型;其中,所述深度神经网络模型集合包括:一阶段二分类网络模型和多阶段多分类网络模型;
[0013]
倾斜角度确定模块,用于利用所述目标神经网络模型,对所述目标文本图像信息进行图像倾斜角度识别处理,得到所述目标文本图像信息的图像倾斜角度数据;其中,所述图像倾斜角度数据是基于对所述目标文本图像信息执行至少一次倾斜角度类别识别所确定的。
[0014]
本说明书一个或多个实施例的目的是提供一种文本图像倾斜角度的检测设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器。
[0015]
所述计算机可执行指令在被执行时使所述处理器获取待检测的目标文本图像信息;
[0016]
基于所述目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型;其中,所述深度神经网络模型集合包括:一阶段二分类网络模型和多阶段多分类网络模型;
[0017]
利用所述目标神经网络模型,对所述目标文本图像信息进行图像倾斜角度识别处理,得到所述目标文本图像信息的图像倾斜角度数据;其中,所述图像倾斜角度数据是基于对所述目标文本图像信息执行至少一次倾斜角度类别识别所确定的。
[0018]
本说明书一个或多个实施例的目的是提供一种存储介质,用于存储计算机可执行指令。所述可执行指令在被处理器执行时获取待检测的目标文本图像信息;
[0019]
基于所述目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型;其中,所述深度神经网络模型集合包括:一阶段二分类网络模型和多阶段多分类网络模型;
[0020]
利用所述目标神经网络模型,对所述目标文本图像信息进行图像倾斜角度识别处理,得到所述目标文本图像信息的图像倾斜角度数据;其中,所述图像倾斜角度数据是基于对所述目标文本图像信息执行至少一次倾斜角度类别识别所确定的。
[0021]
本说明书实施例提供的文本图像倾斜角度的检测方法及装置,通过预先训练好包含一阶段二分类网络模型和多阶段多分类网络模型的深度神经网络模型集合,在获取到目标文本图像信息后,结合该目标文本图像信息对应的倾斜角度用途标注信息,确定对应的目标神经网络模型,再利用该目标神经网络模型识别得到目标文本图像信息的图像倾斜角度数据,这样能够提高图像倾斜角度的确定准确率,提高图像倾斜角度的识别效率,提升了图像倾斜角度的参考价值,以便作为后续文本图像处理的关键依据;另外,针对多阶段多分类网络模型,通过对目标文本图像信息执行多次倾斜角度类别识别,实现由大角度区间类别到小角度区间类别逐层细化确定最终的图像倾斜角度数据。
附图说明
[0022]
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将
对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0023]
图1为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法的第一种流程示意图;
[0024]
图2为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法的第二种流程示意图;
[0025]
图3为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法中的多阶段多分类网络模型的模型结构示意图之一;
[0026]
图4为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法中的多阶段多分类网络模型的模型结构示意图之二;
[0027]
图5为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法中的多阶段多分类网络模型的模型结构示意图之三;
[0028]
图6为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法中的一阶段二分类网络模型的模型结构示意图;
[0029]
图7为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法中的分类神经网络的网络结构示意图;
[0030]
图8为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法的第三种流程示意图;
[0031]
图9为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法的第四种流程示意图;
[0032]
图10为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法中在模型训练阶段所选取的各倾斜角度类别下原始倾斜角度标签对应的样本图像示意图;
[0033]
图11为本说明书一个或多个实施例提供的文本图像倾斜角度的检测装置的模块组成示意图;
[0034]
图12为本说明书一个或多个实施例提供的文本图像倾斜角度的检测设备的结构示意图。
具体实施方式
[0035]
为了使本技术领域的人员更好地理解本说明书一个或多个中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一个或多个一部分实施例,而不是全部的实施例。基于本说明书一个或多个中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
[0036]
需要说明的是,在不冲突的情况下,本说明书中的一个或多个实施例以及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本说明书一个或多个实施例。
[0037]
本说明书一个或多个实施例提供了一种文本图像倾斜角度的检测方法及装置,通过预先训练好包含一阶段二分类网络模型和多阶段多分类网络模型的深度神经网络模型
集合,在获取到目标文本图像信息后,结合该目标文本图像信息对应的倾斜角度用途标注信息,确定对应的目标神经网络模型,再利用该目标神经网络模型识别得到目标文本图像信息的图像倾斜角度数据,这样能够提高图像倾斜角度的确定准确率,提高图像倾斜角度的识别效率,提升了图像倾斜角度的参考价值,以便作为后续文本图像处理的关键依据;另外,针对多阶段多分类网络模型,通过对目标文本图像信息执行多次倾斜角度类别识别,实现由大角度区间类别到小角度区间类别逐层细化确定最终的图像倾斜角度数据。
[0038]
图1为本说明书一个或多个实施例提供的文本图像倾斜角度的检测方法的第一种流程示意图,图1中的方法能够由文本图像检测服务器执行,如图1所示,该方法至少包括以下步骤:
[0039]
s102,获取待检测的目标文本图像信息;具体的,客户端向文本图像检测服务器发送文本图像检测请求,其中,该文本图像检测请求携带有目标文本图像信息和相应的倾斜角度用途标注信息,其中,该倾斜角度用途标注信息可以包括:用于确定图像拍摄质量、或者用于对文本图像进行倾斜校正。
[0040]
s104,基于获取到的目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型;其中,该深度神经网络模型集合包括:一阶段二分类网络模型和多阶段多分类网络模型;
[0041]
具体的,通过预先构建并对一阶段二分类网络模型和多阶段多分类网络模型中的网络参数进行训练,实现了不同应用场景下文本图像倾斜角度类的检测,进而准确地得到了文本图像的倾斜角度范围。其中,考虑到针对识别出的倾斜角度的用途不同,所以对识别出的倾斜角度的精度要求也有所不同,精度要求越高,最终分类得到的最小倾斜角度类别的区间跨度越小。
[0042]
s106,利用选取出的目标神经网络模型,对目标文本图像信息进行图像倾斜角度识别处理,得到目标文本图像信息的图像倾斜角度数据;其中,该图像倾斜角度数据是基于对目标文本图像信息执行至少一次倾斜角度类别识别所确定的。
[0043]
其中,文本内容在文本图像信息中的倾斜角度可能是由于拍摄倾斜、或者实物放置倾斜所导致的,具体的,将文本内容存在一定倾斜角度的目标文本图像信息输入至目标神经网络模型,以利用该目标神经网络模型基于该目标文本图像信息执行一次或多次倾斜角度类别识别,得到目标文本图像信息所属的最小倾斜角度类别。
[0044]
具体的,通过设计合适的卷积神经网络(deep convolution neural network,dcnn)结构,对目标文本图像进行特征提取,再利用softmax损失函数构造最优化问题,获取图像倾斜角度所属类别,实现文本图像倾斜角度类的检测,进而进一步预估目标文本图像的实际倾斜角度。
[0045]
本说明书一个或多个实施例中,通过预先训练好包含一阶段二分类网络模型和多阶段多分类网络模型的深度神经网络模型集合,在获取到目标文本图像信息后,结合该目标文本图像信息对应的倾斜角度用途标注信息,确定对应的目标神经网络模型,再利用该目标神经网络模型识别得到目标文本图像信息的图像倾斜角度数据,这样能够提高图像倾斜角度的确定准确率,提高图像倾斜角度的识别效率,提升了图像倾斜角度的参考价值,以便作为后续文本图像处理的关键依据;另外,针对多阶段多分类网络模型,通过对目标文本图像信息执行多次倾斜角度类别识别,实现由大角度区间类别到小角度区间类别逐层细化
确定最终的图像倾斜角度数据。
[0046]
其中,上述多阶段多分类网络模型是基于预设树状网络结构所构建的;该预设树状网络结构包括:多个倾斜角度识别阶段,每个倾斜角度识别阶段包括:至少一个倾斜角度识别分支;每个倾斜角度识别分支对应两个倾斜角度类别或多个倾斜角度类别;
[0047]
对应的,下一倾斜角度识别分支对应的倾斜角度类别包括:将上一倾斜角度识别分支对应的倾斜角度类别按照预设角度间隔划分得到的至少两个倾斜角度类别;
[0048]
对应的,每个倾斜角度识别分支对应于一个分类神经网络,该分类神经网络可以包括二分类神经网络、或者多分类神经网络。
[0049]
其中,最后一个倾斜角度识别阶段对应的最小倾斜角度类别的角度跨度的大小可以根据不同应用场景下倾斜角度精度要求而设定,精度要求等级越高,则最小倾斜角度类别的角度跨度越小;
[0050]
在具体实施时,例如,若最小倾斜角度类别对应的角度跨度为30
°
,则划分得到12个最小倾斜角度类别包括:
[0051]
l1=[0,30
°
)、l2=[30
°
,60
°
)、l3=[60
°
,90
°
)、l4=[90
°
,120
°
)、
[0052]
l5=[120
°
,150
°
)、l6=[150
°
,180
°
);
[0053]
l7=[0,-30
°
)、l8=[-30
°
,-60
°
)、l9=[-60
°
,-90
°
)、l
10
=-[90
°
,-120
°
)、
[0054]
l
11
=[-120
°
,-150
°
)、l
12
=[-150
°
,-180
°
)。
[0055]
其中,若上述目标神经网络模型为多阶段多分类网络模型;即将文本图像的倾斜角度检测问题转化为由粗到细的多阶段分类检测问题,并且利用深度卷积神经网络的分类功能,为分类神经网络选取适当的损失函数;
[0056]
对应的,如图2所示,上述s106,利用选取出的目标神经网络模型,对目标文本图像信息进行图像倾斜角度识别处理,得到目标文本图像信息的图像倾斜角度数据,具体包括:
[0057]
s1062,将获取到的目标文本图像信息输入至选取出的目标神经网络模型中的首个倾斜角度识别阶段对应的分类神经网络,得到第一倾斜角度类别;
[0058]
s1064,将目标文本图像信息输入至下一倾斜角度识别阶段中的目标分类神经网络,得到第二倾斜角度类别;其中,该目标分类神经网络为与针对上一倾斜角度识别阶段所确定出的倾斜角度类别下的倾斜角度识别分支对应的分类神经网络;
[0059]
s1066,若第二倾斜角度类别不为任一最小倾斜角度类别,则继续将目标文本图像信息输入至下一倾斜角度识别阶段中的目标分类神经网络,得到第二倾斜角度类别,直到第二倾斜角度类别为任一最小倾斜角度类别;即返回执行上述s1064,直到第二倾斜角度类别为任一最小倾斜角度类别;
[0060]
s1068,若第二倾斜角度类别为任一最小倾斜角度类别,则将上述第二倾斜角度类别确定为目标文本图像信息的图像倾斜角度数据。其中,最后一个倾斜角度识别阶段对应的多个倾斜角度类别为最小倾斜角度类别。
[0061]
在具体实施时,如图3所示,基于预设树状网络结构构建得到的一个多阶段多分类网络模型的结构示意图,以预设树状网络结构包括多个2-叉树(二分类)为例,具体的,上述利用选取出的目标神经网络模型,得到目标文本图像信息的图像倾斜角度数据,具体包括:
[0062]
(1)将获取到的目标文本图像信息输入至选取出的目标神经网络模型中的第一倾斜角度识别阶段对应的分类神经网络1,得到第一倾斜角度类别;例如,第一倾斜角度类别
为a
21
,即目标文本图像信息的倾斜角度位于[0,180
°
);
[0063]
(2)将目标文本图像信息输入至第二倾斜角度识别阶段中的目标分类神经网络2,得到第二倾斜角度类别;其中,该目标分类神经网络为与针对第一倾斜角度识别阶段所确定出的第一倾斜角度类别为a
21
下的倾斜角度识别分支对应的分类神经网络2;例如,第二倾斜角度类别为b6,即目标文本图像信息的倾斜角度位于[0,90
°
);
[0064]
(3)将目标文本图像信息输入至第三倾斜角度识别阶段中的目标分类神经网络4,得到第二倾斜角度类别;其中,该目标分类神经网络为与针对第二倾斜角度识别阶段所确定出的第二倾斜角度类别为b6下的倾斜角度识别分支对应的分类神经网络4;例如,第二倾斜角度类别为c5,即目标文本图像信息的倾斜角度位于[30
°
,90
°
);
[0065]
(4)将目标文本图像信息输入至第四倾斜角度识别阶段中的目标分类神经网络8,得到第二倾斜角度类别;其中,该目标分类神经网络为与针对第三倾斜角度识别阶段所确定出的第二倾斜角度类别为c5下的倾斜角度识别分支对应的分类神经网络8;例如,第二倾斜角度类别为l3,即目标文本图像信息的倾斜角度位于[60
°
,90
°
);其中,由于第二倾斜角度类别为任一最小倾斜角度类别,则将最小倾斜角度类别l3确定为目标文本图像信息的图像倾斜角度数据。
[0066]
又如,如图4所示,上述预设树状网络结构还可以包括多个2-叉树(二分类)、3-叉树(三分类)、5-叉树(五分类);具体的,上述利用选取出的目标神经网络模型,得到目标文本图像信息的图像倾斜角度数据,具体包括:
[0067]
(1)将获取到的目标文本图像信息输入至选取出的目标神经网络模型中的第一倾斜角度识别阶段对应的分类神经网络1,得到第一倾斜角度类别;例如,第一倾斜角度类别为a
21
,即目标文本图像信息的倾斜角度位于[0,180
°
);
[0068]
(2)将目标文本图像信息输入至第二倾斜角度识别阶段中的目标分类神经网络2,得到第二倾斜角度类别;其中,该目标分类神经网络为与针对第一倾斜角度识别阶段所确定出的第一倾斜角度类别为a
21
下的倾斜角度识别分支对应的分类神经网络2;例如,第二倾斜角度类别为b6,即目标文本图像信息的倾斜角度位于[0,90
°
);
[0069]
(3)将目标文本图像信息输入至第三倾斜角度识别阶段中的目标分类神经网络4,得到第二倾斜角度类别;其中,该目标分类神经网络为与针对第二倾斜角度识别阶段所确定出的第二倾斜角度类别为b6下的倾斜角度识别分支对应的分类神经网络4;例如,第二倾斜角度类别为l3,即目标文本图像信息的倾斜角度位于[60
°
,90
°
);其中,由于第二倾斜角度类别为任一最小倾斜角度类别,则将最小倾斜角度类别l3确定为目标文本图像信息的图像倾斜角度数据。
[0070]
再如,如图5所示,上述预设树状网络结构还可以包括多个3-叉树(三分类)、4-叉树(四分类);具体的,上述利用选取出的目标神经网络模型,得到目标文本图像信息的图像倾斜角度数据,具体包括:
[0071]
(1)将获取到的目标文本图像信息输入至选取出的目标神经网络模型中的第一倾斜角度识别阶段对应的分类神经网络1,得到第一倾斜角度类别;例如,第一倾斜角度类别为a6,即目标文本图像信息的倾斜角度位于[0,90
°
);
[0072]
(2)将目标文本图像信息输入至第二倾斜角度识别阶段中的目标分类神经网络2,得到第二倾斜角度类别;其中,该目标分类神经网络为与针对第一倾斜角度识别阶段所确
定出的第一倾斜角度类别为a6下的倾斜角度识别分支对应的分类神经网络2;例如,第二倾斜角度类别为l3,即目标文本图像信息的倾斜角度位于[60
°
,90
°
);其中,由于第二倾斜角度类别为任一最小倾斜角度类别,则将最小倾斜角度类别l3确定为目标文本图像信息的图像倾斜角度数据。
[0073]
进一步的,若上述目标神经网络模型为一阶段二分类网络模型;即利用该一阶段二分类网络模型识别文本图像的倾斜角度是否属于目标倾斜角度类别,对应的,阶段二分类网络模型包括一个分类神经网络;
[0074]
对应的,上述s106,利用选取出的目标神经网络模型,对目标文本图像信息进行图像倾斜角度识别处理,得到目标文本图像信息的图像倾斜角度数据,具体包括:
[0075]
将获取到的目标文本图像信息输入至选取出的目标神经网络模型中的分类神经网络,得到第一概率值和第二概率值,其中,该第一概率值为目标文本图像信息的倾斜角度属于目标倾斜角度类别的概率,该第二概率值为目标文本图像信息的倾斜角度不属于目标倾斜角度类别的概率;
[0076]
若第一概率值大于第二概率值,则将目标倾斜角度类别确定为目标文本图像信息的图像倾斜角度数据。
[0077]
例如,如图6所示,以目标倾斜角度类别为[-30
°
,30
°
]为例,将获取到的目标文本图像信息输入至二分类神经网络,得到目标文本图像信息的倾斜角度属于目标倾斜角度类别的第一概率值、以及目标文本图像信息的倾斜角度不属于目标倾斜角度类别的第二概率值。
[0078]
其中,针对每个倾斜角度识别分支对应的分类神经网络,该分类神经网络可以包括:图像输入层、图像预处理网络层、多个多层网络单元、全局平均池化层、逻辑回归网络层(softmax)、分类结果输出层;每个上述多层网络单元包括:批量标准化处理层(batch normalization,bn层)、卷积层(conv层)、激活层(relu层)、最大池化层(max pooling层)中至少一项;
[0079]
对应的,上述s1064,将目标文本图像信息输入至下一倾斜角度识别阶段中的目标分类神经网络,得到第二倾斜角度类别,具体包括:
[0080]
步骤一,将目标文本图像信息输入至上述图像输入层,得到目标文本图像信息对应的第一图像矩阵数据;具体的,将目标文本图像信息转换为神经网络模型能够识别的二进制形式的图像矩阵数据。
[0081]
步骤二,将上述第一图像矩阵数据输入至上述图像预处理网络层,对该第一图像矩阵数据进行归一化处理,得到第二图像矩阵数据;具体的,还可以先利用图像预处理网络层对输入的目标文本图像信息进行常规的直方图增强处理,突出文本图像中的文字特征,从而提升网络识别中的激活能力;对应的,在网络模型训练阶段,也可以对利用图像预处理网络层对输入的样本文本图像进行常规的直方图增强处理,突出文本图像中的文字特征,从而提升网络训练中的激活能力。
[0082]
步骤三,将上述第二图像矩阵数据依次输入至多个多层网络单元,对该第二图像矩阵数据进行图像特征提取,得到综合图像矩阵数据;具体的,利用多个多层网络单元从文本图像中提取出能够反映文本行倾斜程度的图像特征数据。
[0083]
步骤四,将上述综合图像矩阵数据输入至上述全局平均池化层,对该综合图像矩
阵数据进行平均池化处理,得到第一图像特征向量;
[0084]
步骤五,将上述第一图像特征向量输入至上述逻辑回归网络层,对该第一图像特征向量进行逻辑回归处理,得到第二图像特征向量;
[0085]
步骤六,将上述第二图像特征向量输入至上述分类结果输出层,得到第二倾斜角度类别。
[0086]
其中,上述分类结果输出层的输出为第三图像特征向量,该第三图像特征向量中的每个向量元素表征一个倾斜角度类别下的概率值,最大的概率值对应的倾斜角度类别即为在对应的倾斜角度识别阶段下确定出的目标文本图像信息所属的倾斜角度类别,如上述在首个倾斜角度识别阶段所确定的第一倾斜角度类别、或者在非首个倾斜角度识别阶段所确定的第二倾斜角度类别,具体的,该第一倾斜角度类别的角度跨度大于第二倾斜角度类别的跨度。
[0087]
其中,由于文本图像的倾斜方向和倾斜角度与图像的大小没有必然的关系,从文本图像中心中截取一小部分包含文本的图像,该小部分的文本行的倾斜方向和角度完全可以代表原文本图像的倾斜方向和角度,因此,分类神经网络的输入可以取成相对固定的图像大小。为了减少预测参数和计算量,规定竖直向上方向为0度方向,逆时针旋转度数为正,顺指针方向为负值,整体旋转角度的范围在正负180度之间,这样只需要检测文本图像的倾斜角度所属类别即可确定文本图像的倾斜方向。
[0088]
其中,考虑到对于n分类神经网络,随着分类数量越大,该分类神经网络网络结构越复杂,特征提取网络层的层数的选取难度越大,因此,优选的,多阶段多分类网络模型中各倾斜角度识别分支对应一个二分类神经网络,这样基于多个二分类神经网络,执行多次倾斜角度类别识别分类,即可完成由粗到细的多阶段分类检测得到目标文本图像信息的最终的倾斜角度类别。
[0089]
具体的,如图7所示,上述多个多层网络单元包括:第一多层网络单元、第二多层网络单元、第三多层网络单元和第四多层网络单元,具体的,上述步骤三,将上述第二图像矩阵数据依次输入至多个多层网络单元,对该第二图像矩阵数据进行图像特征提取,得到综合图像矩阵数据,具体包括:
[0090]
将上述第二图像矩阵数据输入至第一多层网络单元,对该第二图像矩阵数据进行卷积及激活处理,得到第三图像矩阵数据;其中,该第一多层网络单元包括:卷积层(conv层)、激活层(relu层);
[0091]
将上述第三图像矩阵数据输入至第二多层网络单元,对该第三图像矩阵数据进行综合处理,得到第四图像矩阵数据;其中,上述综合处理包括:批量标准化处理、卷积处理、激活处理、池化处理;对应的,该第二多层网络单元包括:预设数量的bcrm网络单元,每个bcrm网络单元包括:批量标准化处理层(batch normalization,bn层)、卷积层(conv层)、激活层(relu层)、最大池化层(max pooling层),即bn+conv+relu+maxpooling,bcrm层;其中,该预设数量的大小与分类神经网络的分类数量正相关,且分类数量越大,预设数量的选取难度越大,例如,若分类神经网络为二分类神经网络,对应的,预设数量为k1,若分类神经网络为三分类神经网络,对应的,预设数量为k2,若分类神经网络为四分类神经网络,对应的,预设数量为k3,那么,k1小于k2,k2小于k3,以及,k1的选取难度最小,因此,优选的,多阶段多分类网络模型中各倾斜角度识别分支对应一个二分类神经网络,这样基于多个二分类神
经网络,执行多次倾斜角度类别识别分类,即可完成由粗到细的多阶段分类检测得到目标文本图像信息的最终的倾斜角度类别。
[0092]
将上述第四图像矩阵数据输入至第三多层网络单元,对该第四图像矩阵数据进行批量标准化、卷积及激活处理,得到第五图像矩阵数据;其中,该第三多层网络单元包括:批量标准化处理层(batch normalization,bn层)、卷积层(conv层)、激活层(relu层);
[0093]
将上述第五图像矩阵数据输入至第四多层网络单元,对该第五图像矩阵数据进行批量标准化、卷积处理,得到综合图像矩阵数据;其中,该第四多层网络单元包括:批量标准化处理层(batch normalization,bn层)、卷积层(conv层)。
[0094]
在具体实施时,以2-叉数结构为例,上述图7中的分类神经网络的网络参数如下表1所示:
[0095]
表1
[0096]
layersfilter sizestridepaddingconv13
×3×1×
6421conv23
×3×
64
×
6421max pooling2
×
220conv33
×3×
64
×
6421max pooling2
×
220conv43
×3×
64
×
6421max pooling2
×
220conv53
×3×
64
×
6421conv63
×3×
64
×
1021
[0097]
在本发明实施例中,为了缓解过拟合问题和减少额外连接参数,在多层网络单元中加入了多个批量标准化处理层(batch normalization,bn层),并将全局平均池化层替换为分类器中常用的完全连接层;以及为了保持图像从大到小过程中的细节特征,采用了最大池化层(max pooling层)进行池化处理;以及,卷积层(convolution,conv)后加入线性修正单元(relu函数),可以提高收敛速度,避免梯度消失;另外,考虑到损失函数是用来估量模型的预测值与真实标签值的接近程度程度,是一个非负实值函数,损失函数越小,模型的鲁棒性就越好,卷积神经网络需要选择一个合适的损失函数将卷积参数获取问题转换为一个优化问题。因此,逻辑回归网络层(softmax)中选用的损失函数为交叉熵函数(cross entropy function),其具有比方差损失函数权重更新快的优点。
[0098]
其中,针对目标神经网络模型的确定过程,如图8所示,上述s104,基于获取到的目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型,具体包括:
[0099]
s1042,基于获取到的目标文本图像信息的倾斜角度用途标注信息,确定目标文本图像信息对应的倾斜角度精度要求等级;
[0100]
具体的,预设用途-精度等级-最小角度区间跨度之间的对应关系,再根据该对应关系确定目标文本图像信息对应的倾斜角度精度要求等级,即可确定最小角度区间跨度;
[0101]
s1044,判断目标文本图像信息对应的倾斜角度精度要求等级是否小于预设阈值等级;
[0102]
若判断结果为是,则执行s1046,在预先训练好的深度神经网络模型集合中,将一阶段二分类网络模型确定为目标神经网络模型;
[0103]
例如,目标文本图像信息的倾斜角度用途标注信息为用于确定图像拍摄质量,对应的,将一阶段二分类网络模型确定为目标神经网络模型;具体的,考虑到在判断文本图像拍摄质量时,只需要判断图像倾斜角度是否某个角度范围之内,并不需要特别准确的倾斜角度,即使检测角度有些误差,也不影响对文本图像是否倾斜进行定性判断,这样的需求问题就是一个简单的二分类问题。
[0104]
若判断结果为否,则执行s1048,在预先训练好的深度神经网络模型集合中,将多阶段多分类网络模型确定为目标神经网络模型。
[0105]
又如,目标文本图像信息的倾斜角度用途标注信息为用于对文本图像进行倾斜校正,对应的,将多阶段多分类网络模型确定为目标神经网络模型;具体的,考虑到扫描文本图像、表格类文本图像等利用传统ocr技术进行文字识别前进行倾斜校正,这样的需求问题是一个文本图像倾斜方向和角度定量检测问题,也是一个复杂的回归问题。
[0106]
进一步的,考虑到最小倾斜角度类别的数量越大,其中,该最小倾斜角度类别的数量为最后一个倾斜角度识别阶段所涉及的倾斜角度分类的数量,如果预设树状网络结构仅包括2-叉树(二分类),将导致倾斜角度识别阶段的数量越大,对应的,执行倾斜角度类别识别的循环次数越多,也就是说,由于考虑到倾斜角度检测的越精细,划分的最小倾斜角度类别也就越多,进而要求特征提取网络也越深,模型训练难度也越大;因此,针对倾斜角度用途标注信息为预设用途范畴的情况,上述文本图像检测请求携带有需要识别得到的倾斜角度区间跨度,根据该倾斜角度区间跨度确定最小倾斜角度类别的数量,可以再结合最小倾斜角度类别的数量,确定目标预设树状网络结构,将基于该目标预设树状网络结构构建的多阶段多分类网络模型确定为目标神经网络模型;具体的,若最小倾斜角度类别的数量小于预设数量阈值,则将基于包含多个二叉树的目标预设树状网络结构构建的多阶段多分类网络模型确定为目标神经网络模型;若最小倾斜角度类别的数量大于或等于预设数量阈值,则将基于包含多个二叉树和多叉树的目标预设树状网络结构构建的多阶段多分类网络模型确定为目标神经网络模型,其中,该多叉树可以包括:三叉树、四叉树、五叉树中至少一项。
[0107]
进一步的,针对目标文本图像信息的倾斜角度用途标注信息为用于对文本图像进行倾斜校正的情况,在上述s106,利用选取出的目标神经网络模型,对目标文本图像信息进行图像倾斜角度识别处理,得到目标文本图像信息的图像倾斜角度数据之后,还包括:
[0108]
基于确定出的图像倾斜角度数据,对目标文本图像信息进行倾斜校正,得到校正后的目标文本图像信息;
[0109]
利用光学字符识别方法ocr对校正后的目标文本图像信息进行文本识别,得到目标文本图像信息中的文本内容信息;其中,由于利用目标神经网络模型识别的图像倾斜角度的准确度高,从而提高了图像倾斜校正的准确度,进而提高了图像文本识别精准度。
[0110]
其中,针对神经网络模型的训练过程,如图9所示,在上述s102,获取待检测的目标文本图像信息之前,还包括:
[0111]
s108,获取模型训练样本数据,其中,该模型训练样本数据包括:多个样本文本图像和原始倾斜角度标签之间的图像标签对应关系;
[0112]
s110,基于上述图像标签对应关系,对初始深度神经网络模型集合进行训练,得到训练好的深度神经网络模型集合;其中,该初始深度神经网络模型集合包括:多个初始神经网络模型,该初始神经网络模型包括:一阶段二分类网络模型、或者多阶段多分类网络模型。其中,文本图像倾斜角度类检测多段式网络结构的优点是所选取的预设树状网络结构可以根据实际需求进行设定,网络结构和参数固定;各段分类互不影响,可以单独训练后再组合训练。另外,为了避免误差累计,通过内循环的方式逐层实现分类,损失函数可以定义为各段损失函数的和。
[0113]
具体的,若上述初始神经网络模型为一阶段二分类网络模型,则初始神经网络模型即为一个二分类神经网络的训练过程。
[0114]
具体的,若上述初始神经网络模型为多阶段多分类网络模型;对应的,上述s110,基于上述图像标签对应关系,对初始深度神经网络模型集合进行训练,得到训练好的深度神经网络模型集合,具体包括:
[0115]
针对首个倾斜角度识别阶段,基于初始神经网络模型中的最小倾斜角度类别和上述原始倾斜角度标签,确定各样本文本图像对应的虚拟倾斜角度标签;
[0116]
基于各样本文本图像与虚拟倾斜角度标签之间的对应关系,对首个倾斜角度识别阶段对应的分类神经网络进行网络参数训练;具体的,利用深度学习方法对带倾斜角度标签的样本文本图像进行迭代训练,获取分类神经网络中的卷积核参数;
[0117]
针对中间倾斜角度识别阶段,基于上一倾斜角度识别阶段的虚拟倾斜角度标签和上述原始倾斜角度标签,确定各样本文本图像对应的虚拟倾斜角度标签;其中,该中间倾斜角度识别阶段为非首个倾斜角度识别阶段且非最后一个倾斜角度识别阶段;
[0118]
基于各样本文本图像与虚拟倾斜角度标签之间的对应关系,对中间倾斜角度识别阶段对应的分类神经网络进行网络参数训练;
[0119]
针对最后一个倾斜角度识别阶段,基于各样本文本图像与原始倾斜角度标签之间的对应关系,对最后一个倾斜角度识别阶段对应的分类神经网络进行网络参数训练;
[0120]
基于训练好的首个倾斜角度识别阶段对应的分类神经网络、中间倾斜角度识别阶段对应的分类神经网络和最后一个倾斜角度识别阶段对应的分类神经网络,得到训练好的深度神经网络模型集合。
[0121]
具体的,如图10所示,以最小倾斜角度类别对应的角度跨度为30
°
为例,给出了划分得到12个最小倾斜角度类别:l1=[0,30
°
)、l2=[30
°
,60
°
)、l3=[60
°
,90
°
)、l4=[90
°
,120
°
)、l5=[120
°
,150
°
)、l6=[150
°
,180
°
);
[0122]
l7=[0,-30
°
)、l8=[-30
°
,-60
°
)、l9=[-60
°
,-90
°
)、l
10
=[-90
°
,-120
°
)、
[0123]
l
11
=[-120
°
,-150
°
)、l
12
=[-150
°
,-180
°
)分别对应的一个样本文本图像。
[0124]
具体的,考虑到不同倾斜角度识别阶段对应的倾斜角度类别的角度跨度不同,因此,需要对样本文本图像的原始倾斜角度标签进行更新,确定在该倾斜角度识别阶段下的虚拟倾斜角度标签;其中,通过调整倾斜角度标签,从粗到细的逐层分类卷积神经网络,该网络可以实现在固定深度的前提下,实现更精细的倾斜角度多分类检测。其中,由于任何一个大于1的整数都可以视为小于它的正整数的某个线性组合,所以任何一个正整数倾斜角度类数都可以由小于它的小正整数倾斜角度类数线性组成。
[0125]
例如,以上述图3中所示的多阶段多分类网络模型对应的预设树状网络结构为例,
针对第一倾斜角度识别阶段(即首个倾斜角度识别阶段),若原始倾斜角度标签为l1=[0,30
°
)、l2=[30
°
,60
°
)、l3=[60
°
,90
°
)、l4=[90
°
,120
°
)、l5=[120
°
,150
°
)、或l6=[150
°
,180
°
),则将该原始倾斜角度标签更新为虚拟倾斜角度标签a
21
,即将前6个最小倾斜角度类别划分至一个倾斜角度类别a
21
=[0,180
°
);类似地,若原始倾斜角度标签为l7=[0,-30
°
)、l8=[-30
°
,-60
°
)、l9=[-60
°
,-90
°
)、l
10
=[-90
°
,-120
°
)、l
11
=[-120
°
,-150
°
)、l
12
=[-150
°
,-180
°
),则将该原始倾斜角度标签更新为虚拟倾斜角度标签a
57
,即将后6个最小倾斜角度类别划分至另一个倾斜角度类别a
57
=[0,-180
°
);
[0126]
类似的,针对第二个倾斜角度识别阶段,若原始倾斜角度标签为l1=[0,30
°
)、l2=[30
°
,60
°
)、或l3=[60
°
,90
°
),则将该原始倾斜角度标签更新为虚拟倾斜角度标签b6,即将倾斜角度类别a
21
下包含的前3个最小倾斜角度类别划分至一个倾斜角度类别b6=[0,90
°
);类似的,将该原始倾斜角度标签更新为虚拟倾斜角度标签b
15
、b
24
、b
33

[0127]
类似的,针对第三倾斜角度识别阶段,将该原始倾斜角度标签更新为虚拟倾斜角度标签c5、c
11
、c
17
、c
23
;其中,针对中间倾斜角度识别阶段包含最小倾斜角度类别的情况,将原始倾斜角度标签确定为虚拟倾斜角度标签,例如,l1、l4、l7、l
10

[0128]
其中,上述虚拟倾斜角度标签的命名方式仅是示意性命名方式,也可以采用其他虚拟倾斜角度标签的命名方式;
[0129]
需要说明的是,针对第四倾斜角度识别阶段,由于该第四倾斜角度识别阶段为最后一个倾斜角度识别阶段,可以直接基于各样本文本图像与原始倾斜角度标签之间的对应关系,对第四倾斜角度识别阶段对应的分类神经网络进行网络参数训练;其中,为了确保最后一个倾斜角度识别阶段的倾斜角度标签的完整性,针对中间倾斜角度识别阶段包含最小倾斜角度类别的情况,在最后一个倾斜角度识别阶段,也将中间倾斜角度识别阶段包含的最小倾斜角度类别考虑在内。
[0130]
本说明书一个或多个实施例中的文本图像倾斜角度的检测方法,通过预先训练好包含一阶段二分类网络模型和多阶段多分类网络模型的深度神经网络模型集合,在获取到目标文本图像信息后,结合该目标文本图像信息对应的倾斜角度用途标注信息,确定对应的目标神经网络模型,再利用该目标神经网络模型识别得到目标文本图像信息的图像倾斜角度数据,这样能够提高图像倾斜角度的确定准确率,提高图像倾斜角度的识别效率,提升了图像倾斜角度的参考价值,以便作为后续文本图像处理的关键依据;另外,针对多阶段多分类网络模型,通过对目标文本图像信息执行多次倾斜角度类别识别,实现由大角度区间类别到小角度区间类别逐层细化确定最终的图像倾斜角度数据。
[0131]
对应上述图1至图10描述的文本图像倾斜角度的检测方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种文本图像倾斜角度的检测装置,图11为本说明书一个或多个实施例提供的文本图像倾斜角度的检测装置的第一种模块组成示意图,该装置用于执行图1至图10描述的文本图像倾斜角度的检测方法,如图11所示,该装置包括:
[0132]
文本图像获取模块1102,用于获取待检测的目标文本图像信息;
[0133]
目标网络选取模块1104,用于基于所述目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型;其中,所述深度神经网络模型集合包括:一阶段二分类网络模型和多阶段多分类网络模型;
[0134]
倾斜角度确定模块1106,用于利用所述目标神经网络模型,对所述目标文本图像
信息进行图像倾斜角度识别处理,得到所述目标文本图像信息的图像倾斜角度数据;其中,所述图像倾斜角度数据是基于对所述目标文本图像信息执行至少一次倾斜角度类别识别所确定的。
[0135]
本说明书一个或多个实施例中,通过预先训练好包含一阶段二分类网络模型和多阶段多分类网络模型的深度神经网络模型集合,在获取到目标文本图像信息后,结合该目标文本图像信息对应的倾斜角度用途标注信息,确定对应的目标神经网络模型,再利用该目标神经网络模型识别得到目标文本图像信息的图像倾斜角度数据,这样能够提高图像倾斜角度的确定准确率,提高图像倾斜角度的识别效率,提升了图像倾斜角度的参考价值,以便作为后续文本图像处理的关键依据;另外,针对多阶段多分类网络模型,通过对目标文本图像信息执行多次倾斜角度类别识别,实现由大角度区间类别到小角度区间类别逐层细化确定最终的图像倾斜角度数据。
[0136]
可选地,所述多阶段多分类网络模型是基于预设树状网络结构所构建的;
[0137]
所述预设树状网络结构包括:多个倾斜角度识别阶段,每个倾斜角度识别阶段包括:至少一个倾斜角度识别分支;每个所述倾斜角度识别分支对应两个倾斜角度类别或多个倾斜角度类别;
[0138]
下一倾斜角度识别分支对应的倾斜角度类别包括:将上一倾斜角度识别分支对应的倾斜角度类别按照预设角度间隔划分得到的至少两个倾斜角度类别;
[0139]
每个所述倾斜角度识别分支对应于一个分类神经网络,所述分类神经网络包括二分类神经网络、或者多分类神经网络。
[0140]
可选地,若所述目标神经网络模型为多阶段多分类网络模型;
[0141]
所述倾斜角度确定模块1106,具体用于:
[0142]
将所述目标文本图像信息输入至所述目标神经网络模型中的首个倾斜角度识别阶段对应的分类神经网络,得到第一倾斜角度类别;
[0143]
将所述目标文本图像信息输入至下一倾斜角度识别阶段中的目标分类神经网络,得到第二倾斜角度类别;其中,所述目标分类神经网络为与针对上一倾斜角度识别阶段所确定出的倾斜角度类别下的倾斜角度识别分支对应的分类神经网络;
[0144]
若所述第二倾斜角度类别不为任一最小倾斜角度类别,则继续将所述目标文本图像信息输入至下一倾斜角度识别阶段中的目标分类神经网络;
[0145]
若所述第二倾斜角度类别为任一最小倾斜角度类别,则将所述第二倾斜角度类别确定为所述目标文本图像信息的图像倾斜角度数据。
[0146]
可选地,所述分类神经网络包括:图像输入层、图像预处理网络层、多个多层网络单元、全局平均池化层、逻辑回归网络层、分类结果输出层;每个所述多层网络单元包括:批量标准化处理层、卷积层、激活层、最大池化层中至少一项;
[0147]
所述倾斜角度确定模块1106,具体用于:
[0148]
将所述目标文本图像信息输入至所述图像输入层,得到所述目标文本图像信息对应的第一图像矩阵数据;
[0149]
将所述第一图像矩阵数据输入至所述图像预处理网络层,对所述第一图像矩阵数据进行归一化处理,得到第二图像矩阵数据;
[0150]
将所述第二图像矩阵数据依次输入至多个所述多层网络单元,对所述第二图像矩
阵数据进行图像特征提取,得到综合图像矩阵数据;
[0151]
将所述综合图像矩阵数据输入至所述全局平均池化层,对所述综合图像矩阵数据进行平均池化处理,得到第一图像特征向量;
[0152]
将所述第一图像特征向量输入至所述逻辑回归网络层,对所述第一图像特征向量进行逻辑回归处理,得到第二图像特征向量;
[0153]
将所述第二图像特征向量输入至所述分类结果输出层,得到第二倾斜角度类别。
[0154]
可选地,所述目标网络选取模块1104,具体用于:
[0155]
基于所述目标文本图像信息的倾斜角度用途标注信息,确定所述目标文本图像信息对应的倾斜角度精度要求等级;
[0156]
若所述倾斜角度精度要求等级小于预设阈值等级,则在预先训练好的深度神经网络模型集合中,将所述一阶段二分类网络模型确定为目标神经网络模型;
[0157]
若所述倾斜角度精度要求等级大于或等于预设阈值等级,则在预先训练好的深度神经网络模型集合中,将所述多阶段多分类网络模型确定为目标神经网络模型。
[0158]
可选地,上述装置还包括:网络模型训练模块,用于:
[0159]
获取模型训练样本数据,其中,所述模型训练样本数据包括:多个样本文本图像和原始倾斜角度标签之间的图像标签对应关系;
[0160]
基于所述图像标签对应关系,对初始深度神经网络模型集合进行训练,得到训练好的深度神经网络模型集合;其中,所述初始深度神经网络模型集合包括:多个初始神经网络模型,所述初始神经网络模型包括:一阶段二分类网络模型、或者多阶段多分类网络模型。
[0161]
可选地,若所述初始神经网络模型为多阶段多分类网络模型;
[0162]
所述网络模型训练模块,具体用于:
[0163]
针对首个倾斜角度识别阶段,基于所述初始神经网络模型中的最小倾斜角度类别和所述原始倾斜角度标签,确定各所述样本文本图像对应的虚拟倾斜角度标签;
[0164]
基于各所述样本文本图像与所述虚拟倾斜角度标签之间的对应关系,对所述首个倾斜角度识别阶段对应的分类神经网络进行网络参数训练;
[0165]
针对中间倾斜角度识别阶段,基于上一倾斜角度识别阶段的虚拟倾斜角度标签和所述原始倾斜角度标签,确定各所述样本文本图像对应的虚拟倾斜角度标签;
[0166]
基于各所述样本文本图像与所述虚拟倾斜角度标签之间的对应关系,对所述中间倾斜角度识别阶段对应的分类神经网络进行网络参数训练;
[0167]
针对最后一个倾斜角度识别阶段,基于各所述样本文本图像与所述原始倾斜角度标签之间的对应关系,对所述最后一个倾斜角度识别阶段对应的分类神经网络进行网络参数训练;
[0168]
基于训练好的首个倾斜角度识别阶段对应的分类神经网络、中间倾斜角度识别阶段对应的分类神经网络和最后一个倾斜角度识别阶段对应的分类神经网络,得到训练好的深度神经网络模型集合。
[0169]
本说明书一个或多个实施例中的文本图像倾斜角度的检测装置,通过预先训练好包含一阶段二分类网络模型和多阶段多分类网络模型的深度神经网络模型集合,在获取到目标文本图像信息后,结合该目标文本图像信息对应的倾斜角度用途标注信息,确定对应
的目标神经网络模型,再利用该目标神经网络模型识别得到目标文本图像信息的图像倾斜角度数据,这样能够提高图像倾斜角度的确定准确率,提高图像倾斜角度的识别效率,提升了图像倾斜角度的参考价值,以便作为后续文本图像处理的关键依据;另外,针对多阶段多分类网络模型,通过对目标文本图像信息执行多次倾斜角度类别识别,实现由大角度区间类别到小角度区间类别逐层细化确定最终的图像倾斜角度数据。
[0170]
需要说明的是,本说明书中关于文本图像倾斜角度的检测装置的实施例与本说明书中关于文本图像倾斜角度的检测方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的文本图像倾斜角度的检测方法的实施,重复之处不再赘述。
[0171]
进一步地,对应上述图1至图10所示的方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种文本图像倾斜角度的检测设备,该设备用于执行上述的文本图像倾斜角度的检测方法,如图12所示。
[0172]
文本图像倾斜角度的检测设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器1201和存储器1202,存储器1202中可以存储有一个或一个以上存储应用程序或数据。其中,存储器1202可以是短暂存储或持久存储。存储在存储器1202的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对文本图像倾斜角度的检测设备中的一系列计算机可执行指令。更进一步地,处理器1201可以设置为与存储器1202通信,在文本图像倾斜角度的检测设备上执行存储器1202中的一系列计算机可执行指令。文本图像倾斜角度的检测设备还可以包括一个或一个以上电源1203,一个或一个以上有线或无线网络接口1204,一个或一个以上输入输出接口1205,一个或一个以上键盘1206等。
[0173]
在一个具体的实施例中,文本图像倾斜角度的检测设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对文本图像倾斜角度的检测设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
[0174]
获取待检测的目标文本图像信息;
[0175]
基于所述目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型;其中,所述深度神经网络模型集合包括:一阶段二分类网络模型和多阶段多分类网络模型;
[0176]
利用所述目标神经网络模型,对所述目标文本图像信息进行图像倾斜角度识别处理,得到所述目标文本图像信息的图像倾斜角度数据;其中,所述图像倾斜角度数据是基于对所述目标文本图像信息执行至少一次倾斜角度类别识别所确定的。
[0177]
本说明书一个或多个实施例中的文本图像倾斜角度的检测设备,通过预先训练好包含一阶段二分类网络模型和多阶段多分类网络模型的深度神经网络模型集合,在获取到目标文本图像信息后,结合该目标文本图像信息对应的倾斜角度用途标注信息,确定对应的目标神经网络模型,再利用该目标神经网络模型识别得到目标文本图像信息的图像倾斜角度数据,这样能够提高图像倾斜角度的确定准确率,提高图像倾斜角度的识别效率,提升了图像倾斜角度的参考价值,以便作为后续文本图像处理的关键依据;另外,针对多阶段多分类网络模型,通过对目标文本图像信息执行多次倾斜角度类别识别,实现由大角度区间
类别到小角度区间类别逐层细化确定最终的图像倾斜角度数据。
[0178]
需要说明的是,本说明书中关于文本图像倾斜角度的检测设备的实施例与本说明书中关于文本图像倾斜角度的检测方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的文本图像倾斜角度的检测方法的实施,重复之处不再赘述。
[0179]
进一步地,对应上述图1至图10所示的方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种存储介质,用于存储计算机可执行指令,一种具体的实施例中,该存储介质可以为u盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
[0180]
获取待检测的目标文本图像信息;
[0181]
基于所述目标文本图像信息的倾斜角度用途标注信息,在预先训练好的深度神经网络模型集合中选择目标神经网络模型;其中,所述深度神经网络模型集合包括:一阶段二分类网络模型和多阶段多分类网络模型;
[0182]
利用所述目标神经网络模型,对所述目标文本图像信息进行图像倾斜角度识别处理,得到所述目标文本图像信息的图像倾斜角度数据;其中,所述图像倾斜角度数据是基于对所述目标文本图像信息执行至少一次倾斜角度类别识别所确定的。
[0183]
本说明书一个或多个实施例中的存储介质存储的计算机可执行指令在被处理器执行时,通过预先训练好包含一阶段二分类网络模型和多阶段多分类网络模型的深度神经网络模型集合,在获取到目标文本图像信息后,结合该目标文本图像信息对应的倾斜角度用途标注信息,确定对应的目标神经网络模型,再利用该目标神经网络模型识别得到目标文本图像信息的图像倾斜角度数据,这样能够提高图像倾斜角度的确定准确率,提高图像倾斜角度的识别效率,提升了图像倾斜角度的参考价值,以便作为后续文本图像处理的关键依据;另外,针对多阶段多分类网络模型,通过对目标文本图像信息执行多次倾斜角度类别识别,实现由大角度区间类别到小角度区间类别逐层细化确定最终的图像倾斜角度数据。
[0184]
需要说明的是,本说明书中关于存储介质的实施例与本说明书中关于文本图像倾斜角度的检测方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的文本图像倾斜角度的检测方法的实施,重复之处不再赘述。
[0185]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0186]
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array,fpga))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员
自行编程来把一个数字系统“集成”在一片pld上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(hardware description language,hdl),而hdl也并非仅有一种,而是有许多种,如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hd cal、jhdl(java hardware description language)、lava、lola、my hdl、palasm、rhdl(ruby hardware description language)等,目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
[0187]
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit,asic)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0188]
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0189]
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0190]
本领域内的技术人员应明白,本说明书一个或多个的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0191]
本说明书一个或多个是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编
程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0192]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0193]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0194]
在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0195]
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0196]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0197]
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0198]
本领域技术人员应明白,本说明书一个或多个的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0199]
本说明书一个或多个可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0200]
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0201]
以上所述仅为本说明书一个或多个的实施例而已,并不用于限制本说明书一个或多个。对于本领域技术人员来说,本说明书一个或多个可以有各种更改和变化。凡在本说明书一个或多个的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个的权利要求范围之内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1