银行场景下的文档图像分类方法、装置、介质和设备与流程

本发明涉及银行文档，尤其是涉及一种银行场景下的文档图像分类方法、装置、介质和设备。

背景技术：

1、在银行的各种业务场景中，每天都会涌入大量的电子文档，如身份证、结婚证、房产证、离婚证、银行流水证明等。而为了有效地对这些文档进行分类和整理，就需要首先对文档进行有效的归类和分类保存。

2、传统的深度学习解决方案通常包括以下步骤：收集各种文档数据；训练和优化卷积神经网络(cnn)模型；部署上线已训练完成的模型。

3、然而，这种解决方案往往都需要较长的时间，通常需要2-4个月不等。而且，如果需要增加新的文档类别，整个流程就需要重新进行，可见还缺乏良好的可扩展性。

技术实现思路

1、基于此，有必要提供银行场景下的文档图像分类方法、装置、介质和设备，以解决难以有效分类各类文档图像的问题。

2、一种银行场景下的文档图像分类方法，所述方法包括：

3、获取银行场景下的待分类文档图像，且获取所述待分类文档图像在不同预设图像类别下的基准提示描述；

4、分别将每一基准提示描述输入多个预设的描述生成模型中，以得到不同描述生成模型所生成的对应每一预设图像类别下的转述提示描述；

5、获取每一预设图像类别下的所有组合描述，并将每个组合描述分别输入多个预设的关联关系模型中，以得到每一关联关系模型下每一预设图像类别的多个关联分数；其中，一个组合描述由一个待分类文档图像和一个基准提示描述组成，或一个待分类文档图像和一个转述提示描述组成，所述关联分数用于指示提示描述与对应的待分类文档图像之间的关联程度；

6、对同一关联关系模型下每一预设图像类别的多个关联分数进行加权计算，以得到同一关联关系模型下每一预设图像类别的第一综合关联分数；

7、对不同关联关系模型下相同预设图像类别的第一综合关联分数进行加权计算，以得到每一预设图像类别的第二综合关联分数；

8、基于所有第二综合关联分数的大小进行排序，并基于得到的排序结果确定所述待分类文档图像的图像类别。

9、在其中一个实施例中，所述获取所述待分类文档图像在不同预设图像类别下的基准提示描述，包括：

10、对所述待分类文档图像内的图像内容进行内容识别，以生成对应的第一摘要；

11、对所述待分类文档图像内的文字内容进行语义识别，以生成对应的第二摘要；

12、在每一预设图像类别下，分别基于所述第一摘要与基础提示模板内关键词之间的关联程度，及所述第二摘要与基础提示模板内关键词之间的关联程度，将所述第一摘要和所述第二摘要填入不同基础提示模板中，以得到不同预设图像类别下的基准提示描述。

13、在其中一个实施例中，若预设的描述生成模型包括chatglm、chatgpt3.5及gpt3，则对同一关联关系模型下每一预设图像类别的多个关联分数进行加权计算的公式为：

14、

15、上式中，s_mi指示关联关系模型m下预设图像类别i的第一综合关联分数,指示基准提示描述在所对应的关联关系模型m下预设图像类别i的关联分数，指示chatglm生成的转述提示描述在所对应的关联关系模型m下预设图像类别i的关联分数，指示chatgpt3.5生成的转述提示描述在所对应的关联关系模型m下预设图像类别i的关联分数，指示gpt3生成的转述提示描述在所对应的关联关系模型m下预设图像类别i的关联分数，a1、a2、a3、a4为预设的加权值。

16、在其中一个实施例中，若预设的关联关系模型包括clip、blip及blip2，则所述对不同关联关系模型下相同预设图像类别的第一综合关联分数进行加权计算的公式为：

17、si＝b1*s_blip2i+b2*s_blipi+b3*s_clipi

18、上式中，si指示预设图像类别i的第二综合关联分数,s_blip2i指示关联关系模型blip2下预设图像类别i的第一综合关联分数，s_blipi指示关联关系模型blip下预设图像类别i的第一综合关联分数，s_clipi指示关联关系模型clip下预设图像类别i的第一综合关联分数，b1、b2、b3为预设的加权值。

19、在其中一个实施例中，所述基于得到的排序结果确定所述待分类文档图像的图像类别，包括：

20、在所述排序结果中，将第二综合关联分数最大的预设图像类别作为所述待分类文档图像的图像类别。

21、一种银行场景下的文档图像分类装置，在其中一个实施例中，所述装置包括：

22、提示描述生成模块，用于获取银行场景下的待分类文档图像，且获取所述待分类文档图像在不同预设图像类别下的基准提示描述；及分别将每一基准提示描述输入多个预设的描述生成模型中，以得到不同描述生成模型所生成的对应每一预设图像类别下的转述提示描述；

23、关联分数计算模块，用于获取每一预设图像类别下的所有组合描述，并将每个组合描述分别输入多个预设的关联关系模型中，以得到每一关联关系模型下每一预设图像类别的多个关联分数；其中，一个组合描述由一个待分类文档图像和一个基准提示描述组成，或一个待分类文档图像和一个转述提示描述组成，所述关联分数用于指示提示描述与对应的待分类文档图像之间的关联程度；及对同一关联关系模型下每一预设图像类别的多个关联分数进行加权计算，以得到同一关联关系模型下每一预设图像类别的第一综合关联分数；及对不同关联关系模型下相同预设图像类别的第一综合关联分数进行加权计算，以得到每一预设图像类别的第二综合关联分数；

24、分类模块，用于基于所有第二综合关联分数的大小进行排序，并基于得到的排序结果确定所述待分类文档图像的图像类别。

25、在其中一个实施例中，所述提示描述生成模块，具体用于：对所述待分类文档图像内的图像内容进行内容识别，以生成对应的第一摘要；

26、对所述待分类文档图像内的文字内容进行语义识别，以生成对应的第二摘要；

27、在每一预设图像类别下，分别基于所述第一摘要与基础提示模板内关键词之间的关联程度，及所述第二摘要与基础提示模板内关键词之间的关联程度，将所述第一摘要和所述第二摘要填入不同基础提示模板中，以得到不同预设图像类别下的基准提示描述。

28、在其中一个实施例中，若预设的描述生成模型包括chatglm、chatgpt3.5及gpt3，则对同一关联关系模型下每一预设图像类别的多个关联分数进行加权计算的公式为：

29、

30、上式中，s_mi指示关联关系模型m下预设图像类别i的第一综合关联分数,指示基准提示描述在所对应的关联关系模型m下预设图像类别i的关联分数，指示chatglm生成的转述提示描述在所对应的关联关系模型m下预设图像类别i的关联分数，指示chatgpt3.5生成的转述提示描述在所对应的关联关系模型m下预设图像类别i的关联分数，指示gpt3生成的转述提示描述在所对应的关联关系模型m下预设图像类别i的关联分数，a1、a2、a3、a4为预设的加权值。

31、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述银行场景下的文档图像分类方法的步骤。

32、一种银行场景下的文档图像分类设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述银行场景下的文档图像分类方法的步骤。

33、本发明提供了银行场景下的文档图像分类方法、装置、介质和设备，首先，通过获得待分类文档图像在不同预设图像类别下的基准提示描述，迅速捕获了各类别的关键特征，为后续分类提供了基础信息。其次，将基准提示描述输入多个描述生成模型，产生多样的转述提示描述。这丰富了对图像内容的表达，为分类提供更丰富的信息。随后，结合文本描述与图像，将组合描述输入关联关系模型，获得各模型下预设图像类别的关联分数，深化了对关联性的理解，增强了分类依据的可靠性。在加权计算阶段，对关联分数进行加权，综合多个模型的判断，提高了图像分类的准确度。继而，通过综合不同关联关系模型下相同预设图像类别的第一综合关联分数，得到第二综合关联分数，确保了分类结果的稳定性和可信度。最后，基于第二综合关联分数的排序，明确待分类文档图像的图像类别。整个过程保证了分类结果的高准确性，通过综合多源信息，提升了分类的可信度和准确性，为实际应用提供了可靠的决策支持。综上，这一流程在银行领域有效实现图像分类，为分类决策提供了强有力的指导。