一种基于卷积神经网络和域自适应的水果跨领域分类方法与流程

本发明属于计算机视觉和深度学习，涉及一种基于卷积神经网络和域自适应的水果跨领域分类方法。

背景技术：

1、目前我国是世界上最大的水果生产国。水果的种植面积和产量均占全世界的50％左右。鉴别水果的类别、产地、成熟度、品质等级、缺陷程度等是生产生活中常见的需求，在采摘、分选、销售、食用等方面都有重要意义。

2、传统对于水果分类任务，尤其是品质、缺陷、成熟度等差异较小的对象进行区分要靠专家经验，主观性强、效率低、准确率也不令人满意、对人工依赖度大。因此亟需引入自动化手段实现广义上的水果精确分类。当前已有借助光谱、图像等信息对水果内在和外在特性进行鉴定以辅助分类，都取得了一些积极结果，在这些信息中，图像无疑是效率最高、最易获得的信息，但是水果不同类别间相似度高，易出现背景、光照、遮挡等干扰，为算法带来了巨大挑战。

3、基于卷积神经网络的深度学习模型可以自动提取高阶特征，实现对高相似度图像的分类，然而，卷积神经网络参数极多，需要大量的带标签数据，对于一些特定的应用场景，采集并标注大量图像将耗费大量人力物力，这为深度学习模型的实施带来了限制，特别的，收集样本可以依靠拍摄设备自动完成，而标注往往无法脱离人工参与，若能利用一些公开的、易得的标注样本，提取共性信息迁移到特定的水果分类目标任务上，实现准确鉴别的同时节约时间和人力成本，是非常有学术和工程价值的问题。

技术实现思路

1、为了解决现有技术中存在的上述技术问题，本发明提出了一种基于卷积神经网络和域自适应的水果跨领域分类方法，从互联网图片库或者公开数据集收集与任务标签相同的图像，并在任务场景收集无监督的、不需要标注的图像，基于迁移学习和卷积神经网络构建跨领域多任务分类模型，对任务场景水果图像进行准确分类识别；其具体技术方案如下：

2、一种基于卷积神经网络和域自适应的水果跨领域分类方法，包括以下步骤：

3、步骤1：根据任务类别需求，获取开源标注图像并预处理，构建源域数据集；

4、步骤2：在水果图像分类应用的场景收集图像，且不作标注，构建目标域数据集；

5、步骤3：构建跨领域分类网络，并使用源域和目标域数据集进行网络训练；

6、步骤4：以无标注的目标域数据集作为测试集，在训练好的跨领域分类网络上测试，评估分类效果。

7、进一步的，所述步骤1的预处理，具体为：剔除掉类别不符的图片；将收集到的图像分辨率统一设置为224×224，并进行标准化和增强化。

8、进一步的，所述增强化包括：45°旋转、90°旋转、水平翻转、竖直翻转、添加椒盐噪声、添加高斯噪声、1：2缩放共7种，对训练集中图像则选取其中的4种，进行旋转、翻转、添加噪声、缩放的操作并保存副本，使数据量增加至原来的5倍；

9、所述标准化指的是，进行基于图像各通道均值和方差的标准化，标准化操作所采用的公式为：

10、output＝(input-mean)/std

11、其中，mean和std对应图像各通道的均值和方差，input和output对应图像每个通道像素的输入和输出值；通过标准化操作后，图像各个通道服从均值为0，方差为1的标准正态分布。

12、进一步的，，所述步骤2构建的目标域数据集的目标域图像也进行与源域数据集相同的预处理，统一调整为基本骨干网络的输入分辨率，分辨率设置为224×224，并进行标准化和增强化。

13、进一步的，所述步骤3具体为：选用轻量化卷积神经网络架构mobilenet v3作为基本骨干网络，采用imagenet预训练模型参数初始化，在分类层前面添加自适应层，根据输入图像来源差异设置为双流网络结构，从而得到跨领域分类网络；跨领域分类网输入包含源域和目标域表示的一个批次样本，其中一半来自源域，一半来自目标域，然后，经过前l层的共享权重进入自适应层，最后网络到达输出层，完成一次前向传播操作；在进行反向传播时，采用sgdm随机梯度下降进行权重更新，学习率初始值为0.01，采用指数衰减策略；跨领域分类网络采用的损失函数为包含分类损失和领域差异损失的多任务损失函数，其中，分类损失为交叉熵损失函数，网络通过源域的真实类别标签和网络预测标签计算有监督部分的交叉熵损失，领域差异损失包含基于相关领域子对齐的局部最大均值差异lmmd损失和基于二阶协方差对齐的隐式coral损失，经过约50轮训练，模型的多任务损失不再下降，达到收敛，以获得训练好的的跨领域分类网络。

14、进一步的，所述自适应层为单程线性层，输出神经元个数为256，其神经元个数少于接受输入的层。

15、本发明的有益效果是：充分利用源域数据集的信息，以卷积神经网络为基础构建跨领域分类网络，跨领域分类网络能够在目标域无监督的情况下实现对高相似度水果图像的分类，克服数据分布差异；

16、针对特定场景下的水果分类任务，该方法不依赖于在该场景下的大量标注，可以借助互联网图片、公开数据集等易得标注样本构建跨领域分类模型，省去了标注过程，节约大量人力物力；为水果种类、产地、品质、缺陷等常见分类任务提供了低成本、高效率、高精度的分类模型构建方案。

技术特征：

1.一种基于卷积神经网络和域自适应的水果跨领域分类方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于卷积神经网络和域自适应的水果跨领域分类方法，其特征在于，所述步骤1的预处理，具体为：剔除掉类别不符的图片；将收集到的图像分辨率统一设置为224×224，并进行标准化和增强化。

3.如权利要求2所述的一种基于卷积神经网络和域自适应的水果跨领域分类方法，其特征在于，所述增强化包括：45°旋转、90°旋转、水平翻转、竖直翻转、添加椒盐噪声、添加高斯噪声、1：2缩放共7种，对训练集中图像则选取其中的4种，进行旋转、翻转、添加噪声、缩放的操作并保存副本，使数据量增加至原来的5倍；

4.如权利要求3所述的一种基于卷积神经网络和域自适应的水果跨领域分类方法，其特征在于，所述步骤2构建的目标域数据集的目标域图像也进行与源域数据集相同的预处理，统一调整为基本骨干网络的输入分辨率，分辨率设置为224×224，并进行标准化和增强化。

5.如权利要求3所述的一种基于卷积神经网络和域自适应的水果跨领域分类方法，其特征在于，所述步骤3具体为：选用轻量化卷积神经网络架构mobilenet v3作为基本骨干网络，采用imagenet预训练模型参数初始化，在分类层前面添加自适应层，根据输入图像来源差异设置为双流网络结构，从而得到跨领域分类网络；跨领域分类网输入包含源域和目标域表示的一个批次样本，其中一半来自源域，一半来自目标域，然后，经过前l层的共享权重进入自适应层，最后网络到达输出层，完成一次前向传播操作；在进行反向传播时，采用sgdm随机梯度下降进行权重更新，学习率初始值为0.01，采用指数衰减策略；跨领域分类网络采用的损失函数为包含分类损失和领域差异损失的多任务损失函数，其中，分类损失为交叉熵损失函数，网络通过源域的真实类别标签和网络预测标签计算有监督部分的交叉熵损失，领域差异损失包含基于相关领域子对齐的局部最大均值差异lmmd损失和基于二阶协方差对齐的隐式coral损失，经过约50轮训练，模型的多任务损失不再下降，达到收敛，以获得训练好的的跨领域分类网络。

6.如权利要求5所述的一种基于卷积神经网络和域自适应的水果跨领域分类方法，其特征在于，所述自适应层为单程线性层，输出神经元个数为256，其神经元个数少于接受输入的层。

技术总结
本发明属于计算机视觉和深度学习技术领域，涉及一种基于卷积神经网络和域自适应的水果跨领域分类方法，包括以下步骤：步骤1：根据任务类别需求，获取开源标注图像并预处理，构建源域数据集；步骤2：在水果图像分类应用的场景收集图像，且不作标注，构建目标域数据集；步骤3：构建跨领域分类网络，并使用源域和目标域数据集进行网络训练；步骤4：以无标注的目标域数据集作为测试集，在训练好的跨领域分类网络上测试，评估分类效果。本发明充分利用源域数据集的信息，构建跨领域分类网络，在目标域无监督的情况下实现对高相似度水果图像的分类，克服数据分布差异，节约了分类任务场景大量的图像标注工作，节省了人力成本，提高了自动化程度。

技术研发人员：王进,张程,陆国栋,严婷
受保护的技术使用者：余姚市机器人研究中心
技术研发日：
技术公布日：2024/1/16