信息匹配方法和存储介质与流程

本技术涉及计算机，具体而言，涉及一种信息匹配方法和存储介质。

背景技术：

1、目前，在图片类风控功能中，通常采用对比学习的双流多模态模型(contrastivelanguage-image pre-training简称为clip)进行信息检索，但是clip模型对于长文本的理解能力较差，对于文本信息中相似概念的区分能力较弱，导致信息检索的准确性低的技术问题。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种信息匹配方法和存储介质，以至少解决信息搜索准确性低的技术问题。

2、根据本技术实施例的一个方面，提供了一种信息匹配方法。该方法可以包括：监测到待匹配信息，其中，待匹配信息包括待匹配的文本信息和/或待匹配的图像信息；调用语义识别模型，其中，语义识别模型为基于将文本样本的混淆文本样本作为负样本，以及将图像样本的扰动图像样本作为正样本并结合对比学习训练得到，文本样本用于描述图像样本的图像内容；使用语义识别模型中与待匹配信息对应的特征提取模型，从待匹配信息中提取出语义特征；在数据库中，确定与语义特征相匹配的至少一目标图像，其中，数据库用于存储匹配了不同语义特征的图像。

3、根据本技术实施例的一个方面，还提供了一种信息匹配方法。该方法包括：在操作界面上显示待匹配信息，其中，待匹配信息包括待匹配的文本信息和/或待匹配的图像信息；响应作用于操作界面上的匹配操作指令，在操作界面上显示与待匹配信息的语义特征相匹配的至少一目标图像，其中，至少一目标图像为从数据库中确定，语义特征为基于语义识别模型中与待匹配信息对应的特征提取模型从待匹配信息中提取出，语义识别模型为基于将文本样本的混淆文本样本作为负样本，以及将图像样本的扰动图像样本作为正样本并结合对比学习训练得到，文本样本用于描述图像样本的图像内容。

4、根据本技术实施例的一个方面，还提供了一种信息匹配方法。该方法包括：监测到来自信息匹配平台的待匹配风险信息，其中，待匹配风险信息包括待匹配的风险文本信息和/或待匹配的风险图像信息；调用语义识别模型，其中，语义识别模型为基于将风险文本样本的混淆文本样本作为负样本，以及将风险图像样本的扰动图像样本作为正样本而训练得到，风险文本样本用于描述风险图像样本的图像内容；使用语义识别模型中与待匹配风险信息对应的特征提取模型，从待匹配风险信息中提取出风险语义特征；在数据库中，确定与风险语义特征相匹配的至少一目标图像，其中，数据库用于存储匹配了不同风险语义特征的图像；将至少一目标图像返回至信息匹配平台进行展示，其中，信息匹配平台用于将至少一目标图像传输至终端设备，目标图像对应的风险事件由终端设备进行防控。

5、根据本技术实施例的一个方面，还提供了一种语义识别模型的生成方法。该方法包括：获取文本样本和图像样本，其中，文本样本用于描述图像样本的图像内容；生成文本样本的混淆文本样本和图像样本的扰动图像样本；将混淆文本样本作为负样本，以及将扰动图像样本作为正样本，训练得到语义识别模型，其中，语义识别模型包括用于提取输入文本信息的语义特征的特征提取模型，和用于提取输入图像信息的语义特征的特征提取模型。

6、根据本技术实施例的一个方面，还提供了一种信息匹配装置。该装置包括：监测单元，用于监测到待匹配信息，其中，待匹配信息包括待匹配的文本信息和/或待匹配的图像信息；调用单元，用于调用语义识别模型，其中，语义识别模型为基于将文本样本的混淆文本样本作为负样本，以及将图像样本的扰动图像样本作为正样本并结合对比学习训练得到，文本样本用于描述图像样本的图像内容；提取单元，用于使用语义识别模型中与待匹配信息对应的特征提取模型，从待匹配信息中提取出语义特征；搜索单元，用于在数据库中，确定与语义特征相匹配的至少一目标图像，其中，数据库用于存储匹配了不同语义特征的图像。

7、根据本技术实施例的一个方面，还提供了一种信息匹配装置。该装置包括：第一显示单元，用于在操作界面上显示待匹配信息，其中，待匹配信息包括待匹配的文本信息和/或待匹配的图像信息；第二显示单元，用于响应作用于操作界面上的匹配操作指令，在操作界面上显示与待匹配信息的语义特征相匹配的至少一目标图像，其中，至少一目标图像为从数据库中确定，语义特征为基于语义识别模型中与待匹配信息对应的特征提取模型从待匹配信息中提取出，语义识别模型为基于将文本样本的混淆文本样本作为负样本，以及将图像样本的扰动图像样本作为正样本并结合对比学习训练得到，文本样本用于描述图像样本的图像内容。

8、根据本技术实施例的一个方面，还提供了一种信息匹配装置。该装置包括：监测单元，用于监测到来自信息匹配平台的待匹配风险信息，其中，待匹配风险信息包括待匹配的风险文本信息和/或待匹配的风险图像信息；调用单元，用于调用语义识别模型，其中，语义识别模型为基于将风险文本样本的混淆文本样本作为负样本，以及将风险图像样本的扰动图像样本作为正样本而训练得到，风险文本样本用于描述风险图像样本的图像内容；提取单元，用于使用语义识别模型中与待匹配风险信息对应的特征提取模型，从待匹配风险信息中提取出风险语义特征；搜索单元，用于在数据库中，确定与风险语义特征相匹配的至少一目标图像，其中，数据库用于存储匹配了不同风险语义特征的图像；展示单元，用于将至少一目标图像返回至信息匹配平台进行展示，其中，信息匹配平台用于将至少一目标图像传输至终端设备，目标图像对应的风险事件由终端设备进行防控。

9、根据本技术实施例的一个方面，还提供了一种语义识别模型的生成装置。该装置包括：获取单元，用于获取文本样本和图像样本，其中，文本样本用于描述图像样本的图像内容；生成单元，用于生成文本样本的混淆文本样本和图像样本的扰动图像样本；训练单元，用于将混淆文本样本作为负样本，以及将扰动图像样本作为正样本，训练得到语义识别模型，其中，语义识别模型包括用于提取输入文本信息的语义特征的特征提取模型，和用于提取输入图像信息的语义特征的特征提取模型。

10、根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行信息匹配方法。

11、根据本技术实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，该计算机可执行指令被处理器执行时实现语义识别模型的生成的方法步骤。

12、在本技术实施例中，在监测待匹配信息后，调用语义识别模型，并使用语义识别模型中与待匹配信息对应的特征提取模型，从待匹配信息中提取出语义特征，该待匹配信息可以包括待匹配的文本信息/或待匹配的图像信息，从待匹配信息中提取出语义特征之后，可以在数据库中，搜索出与语义特征相匹配的至少一目标图像。其中，语义识别模型为基于将文本样本的混淆样本作为负样本，以及将图像样本的扰动图像样本作为正样本而训练得到，文本样本用于描述图像样本的图像内容，混淆文本迫使模型学习更细粒度的语义，因此该语义识别模型对长文本具有较好的理解能力，对于高相似度的文本信息有更好的辨认能力，利用该语义识别模型从待匹配信息中提取出的语义特征更加准确，基于提取出的语义特征在数据库中进行搜索，可以达到搜索出的目标图像与待匹配信息之间具有较高的匹配度的目的，进而实现了提高信息搜索的准确度的技术效果，进而解决了信息搜索准确性低的技术问题。

13、容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本技术进行举例和解释，并不构成对本技术的限定。