数据筛选方法、装置、电子设备及存储介质与流程

本申请属于人工智能，具体涉及一种数据筛选方法、装置、电子设备及存储介质。

背景技术：

1、在人工智能技术领域中，可以使用标注后的图像样本训练神经网络模型，以便可以通过训练后的神经网络模型进行图像识别。其中，所选择的图像样本会影响神经网络模型的训练效果。因此，如何准确选取训练效果好的图像样本，成为待解决的问题。

技术实现思路

1、鉴于上述问题，本申请提出了一种数据筛选方法、装置、电子设备以及存储介质，以实现改善上述问题。

2、第一方面，本申请实施例提供了一种数据筛选方法，所述方法包括：获取待筛选图像数据集以及所述待筛选图像数据集中各图像对应的信息量和相对熵，其中，所述信息量用于表征预处理后的所述图像之间的相似性；所述相对熵用于表征不同模型输出所述待筛选图像数据集中各图像对应的特征向量之间的相似性；若所述待筛选图像数据集中有图像对应的信息量满足预设信息量，则将对应的信息量满足预设信息量的图像确定为参考图像；若所述参考图像中有图像对应的相对熵满足预设相对熵，则将对应的相对熵满足预设相对熵的图像确定为目标图像。

3、第二方面，本申请实施例提供了一种数据筛选装置，所述装置包括：数据集获取单元，用于获取待筛选图像数据集以及所述待筛选图像数据集中各图像对应的信息量和相对熵，其中，所述信息量用于表征预处理后的所述图像之间的相似性；所述相对熵用于表征不同模型输出所述待筛选图像数据集中各图像对应的特征向量之间的相似性；参考图像获取单元，用于若所述待筛选图像数据集中有图像对应的信息量满足预设信息量，则将对应的信息量满足预设信息量的图像确定为参考图像；目标图像获取单元，用于若所述参考图像中有图像对应的相对熵满足预设相对熵，则将对应的相对熵满足预设相对熵的图像确定为目标图像。

4、第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

5、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

6、本申请实施例提供了一种数据筛选方法、装置、电子设备及存储介质，首先获取待筛选图像数据集以及待筛选图像数据集中各图像对应的信息量和相对熵，其中，所述信息量用于表征预处理后的所述图像之间的相似性；所述相对熵用于表征不同模型输出所述待筛选图像数据集中各图像对应的特征向量之间的相似性，若待筛选图像数据集中有图像对应的信息量满足预设信息量，则将对应的信息量满足预设信息量的图像确定为参考图像，若参考图像中有图像对应的相对熵满足预设相对熵，则将对应的相对熵满足预设相对熵的图像确定为目标图像。

7、从而通过上述方式使得在选取用于对神经网络模型进行训练的图像样本的过程中，可以基于前述的信息量以及相对熵来对图像进行筛选，以便选取信息量满足预设信息量且相对熵也满足预设相对熵的图像样本作为对模型进行训练的样本，进而实现了准确的选取训练效果好的图像样本。

技术特征：

1.一种数据筛选方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，获取所述待筛选图像数据集中各图像对应的信息量，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一预设数量的第一图像和所述第二预设数量的第二图像，确定所述图像对应的信息量，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征向量集，确定所述图像对应的第一信息量，包括：

5.根据权利要求3所述的方法，其特征在于，所述基于所述第二特征向量集，确定所述图像对应的第二信息量，包括：

6.根据权利要求1所述的方法，其特征在于，获取所述待筛选图像数据集中各图像对应的相对熵，包括：

7.一种特征提取模型训练方法，其特征在于，所述方法包括：

8.一种数据筛选装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括一个或多个处理器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。

技术总结
本申请实施例公开了一种数据筛选方法、装置、电子设备及存储介质。所述方法包括：获取待筛选图像数据集以及所述待筛选图像数据集中各图像对应的信息量和相对熵；若所述待筛选图像数据集中有图像对应的信息量满足预设信息量，则将对应的信息量满足预设信息量的图像确定为参考图像；若所述参考图像中有图像对应的相对熵满足预设相对熵，则将对应的相对熵满足预设相对熵的图像确定为目标图像。使得在选取用于对神经网络模型进行训练的图像样本的过程中，可以基于前述的信息量以及相对熵来对图像进行筛选，以便选取信息量满足预设信息量且相对熵也满足预设相对熵的图像样本作为对模型进行训练的样本，进而实现了准确的选取训练效果好的图像样本。

技术研发人员：吕永春,朱徽,王洪斌,周迅溢,曾定衡,蒋宁,吴海英
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/1/15