图像信息识别方法、装置、存储介质和电子设备与流程

本公开涉及图像识别，尤其涉及图像信息识别方法、装置、存储介质和电子设备。

背景技术：

1、在具有固定版式的材料进行业务应用时，通常需要对材料进行识别，当多种具有固定版式的材料集中进行识别时，无法自动区分多种版式材料的结构化问题，导致业务应用比较困难。

2、例如，跨境支付场景中，每笔支付都需要相应的贸易材料证明交易的真实性，贸易材料种类繁多，具有不同类型、多种版式并且没有区分类型的特点，主要是图片形式的证照、单据、合同等，比如企业注册证书、商业登记证、周年申报、报关单、海运提单、空运提单、货运清单等，不同国家同一类材料也会涉及不同的版式。无法高效、准确的从多种版式材料中提取结构化信息，影响审核质量、业务安全以及支付体验。

技术实现思路

1、为了解决上述提出的至少一个技术问题，本公开提出了图像信息识别方法、装置、存储介质和电子设备。

2、根据本公开的一方面，提供了一种图像信息识别方法，其包括：

3、获取目标图像；

4、调用预设版式分类模型对所述目标图像进行图像版式识别，得到所述目标图像的第一模板识别结果；

5、调用预设适配度计算模型，将所述目标图像与模板数据库进行适配处理，以得到所述目标图像的第二模板识别结果；

6、基于所述第一模板识别结果和所述第二模板识别结果确定目标模板；

7、基于所述目标模板的模板信息对所述目标图像进行内容识别，得到所述目标图像的内容描述信息。

8、在一些可能的实施方式中，所述调用预设适配度计算模型，将所述目标图像与模板数据库进行适配处理，以得到所述目标图像的第二模板识别结果,包括：

9、基于所述模板数据库的每一预设模板将所述目标图像进行图像变换，得到所述每一预设模板对应的第一变换图像；

10、对所述每一预设模板和所述每一预设模板对应第一变换图像进行适配处理，得到所述每一预设模板与所述目标图像的适配度；

11、基于所述适配度确定所述第二模板识别结果。

12、在一些可能的实施方式中，所述对所述每一预设模板和所述每一预设模板对应第一变换图像进行适配处理，得到所述每一预设模板与所述目标图像的适配度，包括：

13、获取所述每一预设模板的预设标注区域；

14、将所述预设标注区域与所述第一变换图像进行区域匹配，得到所述第一变换图像中与所述每一预设模板对应的待识别区域；

15、基于所述每一预设模板的预设标注区域和所述每一预设模板对应的待识别区域确定所述适配度，所述适配度表征所述预设标注区域和所述待识别区域间的重合度。

16、在一些可能的实施方式中，所述基于所述模板数据库的每一预设模板将所述目标图像进行图像变换，得到所述每一预设模板对应的第一变换图像，包括：

17、将所述目标图像进行透视变换，得到第二变换图像；

18、确定所述第二变换图像的多个第一顶点信息和所述预设模板的多个第二顶点信息；

19、基于所述多个第一顶点信息和所述多个第二顶点信息，确定所述第二变换图像和所述预设模板间的顶点距离信息；

20、若所述顶点距离信息满足第一预设条件，确定所述第二变换图像为所述预设模板对应的第一变换图像。

21、在一些可能的实施方式中，所述方法还包括：

22、若所述顶点距离信息不满足第一预设条件，重复执行上述透视变换、顶点信息确定顶点距离信息确定的步骤，得到更新的第二变换图像和更新的顶点距离信息；

23、若所述更新的顶点距离信息满足第一预设条件，确定所述更新的第二变换图像为所述预设模板对应的第一变换图像。

24、在一些可能的实施方式中，所述调用预设版式分类模型对所述目标图像进行图像版式识别，得到所述目标图像的第一模板识别结果，包括：

25、对所述目标图像进行卷积处理，得到图像特征；

26、对所述目标图像进行内容区域识别，得到待识别内容区域；

27、对所述待识别内容区域进行内容识别，得到内容描述特征；

28、将所述图像特征和所述内容描述特征进行特征融合处理，得到目标特征；

29、将所述目标特征输入到分类器，进行图像版式分类，得到所述目标图像对应的第一模板识别结果。

30、在一些可能的实施方式中，所述获取目标图像之前，还包括：

31、获取初始图像；

32、将所述初始图像进行透视投影变换，得到所述目标图像。

33、根据本公开的第二方面，提供图像信息识别装置，所述装置包括：

34、目标图像获取模块，用于获取目标图像；

35、第一模板识别结果确定模块，用于调用预设版式分类模型对所述目标图像进行图像版式识别，得到所述目标图像的第一模板识别结果；

36、第二模板识别结果确定模块，用于调用预设适配度计算模型，将所述目标图像与模板数据库进行适配处理，以得到所述目标图像的第二模板识别结果；

37、目标模板确定模块，用于基于所述第一模板识别结果和所述第二模板识别结果确定目标模板；

38、内容识别模块，用于基于所述目标模板的模板信息对所述目标图像进行内容识别，得到所述目标图像的内容描述信息。

39、根据本公开的第三方面，提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面中任意一项所述的图像信息识别方法。

40、根据本公开的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面中任意一项所述的图像信息识别方法。

41、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

42、实施本公开，具有如下有益效果：

43、获取目标图像；调用预设版式分类模型对所述目标图像进行图像版式识别，得到所述目标图像的第一模板识别结果，将目标图像通过预设版式分类模型进行第一次模板识别；调用预设适配度计算模型，将所述目标图像与模板数据库进行适配处理，以得到所述目标图像的第二模板识别结果；通过计算适配度，对目标图像进行第二次模板识别；基于所述第一模板识别结果和所述第二模板识别结果确定目标模板；将两次模板识别结果进行对比，将较优的识别结果对应的模板作为最终目标模板。基于所述目标模板的模板信息对所述目标图像进行内容识别，得到所述目标图像的内容描述信息。基于目标模板对目标图像的内容进行识别，得到结构化输出结果。通过深度学习模型与适配度模型优势互补的方式，提升模板分类的精度与效率。解决了多种版式材料未加区分时无法进行自动结构化识别的问题，节省人力和物力。

44、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。