文字检测方法及系统与流程

文档序号:21002885发布日期:2020-06-05 22:52阅读:来源:国知局

技术特征:

1.一种文字检测方法,包括:

对输入图像进行特征提取,得到特征图像;

利用自适应区域建议网络进行预测,得到建议框;

利用所述建议框对所述特征图像进行裁剪,得到裁剪特征图;

在两个正交方向上分别对所述裁剪特征图进行文字纹理信息建模,得到每一所述正交方向对应的轮廓点热力图;

对所述轮廓点热力图中的轮廓点进行筛选,得到轮廓点集合,以重建所述输入图像中的文字。

2.根据权利要求1所述的方法,其中,所述利用自适应区域建议网络进行预测,得到建议框,包括:

利用所述自适应区域建议网络对预置锚框的点进行局部偏置预测,得到相应的预测点;

根据所述预测点确定所述建议框。

3.根据权利要求1所述的方法,其中,所述两个正交方向为水平方向和垂直方向,所述在两个正交方向上分别对所述裁剪特征图进行文字纹理信息建模,包括:

根据第一卷积核,建立所述裁剪特征图在所述水平方向上的第一文字纹理信息模型;

根据第二卷积核,建立所述裁剪特征图在所述垂直方向上的第二文字纹理信息模型。

4.根据权利要求3所述的方法,其中,所述第一卷积核的尺寸为1×k,所述第二卷积核的尺寸为k×1,k不大于所述裁剪特征图的尺寸。

5.根据权利要求1所述的方法,其中,所述方法还包括:

根据所述裁剪特征图,利用微调网络对所述建议框进行调整,得到调整后的建议框;

利用调整后的建议框对所述特征图像进行裁剪,得到调整后的裁剪特征图;

对调整后的裁剪特征图进行上采样,得到上采样特征图。

6.根据权利要求5所述的方法,其中,所述在两个正交方向上分别对所述裁剪特征图进行文字纹理信息建模,包括:

在两个正交方向上分别对所述上采样特征图进行文字纹理信息建模。

7.根据权利要求5所述的方法,其中,所述在两个正交方向上分别对所述裁剪特征图进行文字纹理信息建模,包括:

分别利用所述两个正交方向上的文字纹理信息感知网络对所述裁剪特征图进行文字纹理信息建模;

在对输入图像进行特征提取之前,所述方法还包括:

利用随机梯度下降法,根据损失函数对所述自适应区域建议网络、文字纹理信息感知网络、微调网络进行训练,所述损失函数为:

l=larpn+λhcplhcp+λvcplvcp+λboxclasslboxclass+λboxreglboxreg

其中,l为所述损失函数,larpn为所述自适应区域建议网络的损失函数,lhcp为一正交方向上的文字纹理信息感知网络的损失函数,lvcp为另一正交方向上的文字纹理信息感知网络的损失函数,lboxclass、lboxreg为所述微调网络的损失函数,λhcp为所述一正交方向上的文字纹理信息感知网络的平衡参数,λvcp为所述另一正交方向上的文字纹理信息感知网络的平衡参数,λboxclass、λboxreg为所述微调网络的平衡参数。

8.根据权利要求1所述的方法,其中,所述根据权利要求1所述的方法,其中,所述对所述轮廓点热力图进行筛选,得到轮廓点集合,包括:

利用非极大值抑制法滤除所述轮廓点热力图中的背景像素点;

根据预设阈值对所述轮廓点热力图进行筛选,得到所述轮廓点集合。

9.根据权利要求8所述的方法,其中,所述根据预设阈值对所述轮廓点热力图进行筛选,得到所述轮廓点集合,包括:

筛选出在所述两个正交方向对应的轮廓点热力图中的响应值均大于所述预设阈值的像素点,以形成所述轮廓点集合。

10.一种文字检测系统,包括:

提取模块,用于对输入图像进行特征提取,得到特征图像;

预测模块,用于利用自适应区域建议网络进行预测,得到建议框;

裁剪模块,用于利用所述建议框对所述特征图像进行裁剪,得到裁剪特征图;

建模模块,用于在两个正交方向上分别对所述裁剪特征图进行文字纹理信息建模,得到每一所述正交方向对应的轮廓点热力图;

筛选模块,用于对所述轮廓点热力图中的轮廓点进行筛选,得到轮廓点集合,以重建所述输入图像中的文字。


技术总结
一种文字检测方法及系统,方法包括:对输入图像进行特征提取,得到特征图像;利用自适应区域建议网络进行预测,得到建议框;利用建议框对特征图像进行裁剪,得到裁剪特征图;在两个正交方向上分别对裁剪特征图进行文字纹理信息建模,得到每一正交方向对应的轮廓点热力图;对轮廓点热力图中的轮廓点进行筛选,得到轮廓点集合,以重建输入图像中的文字。自适应区域建议网络能够适应文字的尺度变化生成对应文字区域的建议框,文字纹理信息建模模块在正交方向上进行文字纹理信息建模能够抑制假阳性的轮廓点,从而提升任意形状场景文字检测的精度。

技术研发人员:张勇东;王裕鑫;谢洪涛
受保护的技术使用者:中国科学技术大学;北京中科研究院
技术研发日:2020.01.03
技术公布日:2020.06.05
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1