技术特征：
1.一种基于图像特征序列建模的蔬果识别方法，其特征在于，包括如下步骤：采集蔬果图像，并将蔬果图像基于预设的切块模型进行切块处理，得到图像集合；将图像集合输入深度神经网络中通过平坦化操作提取图像特征，得到图像特征集合；利用深度神经网络中的映射函数对图像特征集合进行线性映射，得到特征编码，在特征编码中增加分类字段，获得图像特征序列；将图像特征序列输入位置信息解耦的多头自注意力模块中进行计算，得到第一次激活的图像特征序列；基于第一次激活的图像特征序列，提取出图像特征序列中所有的分类字段，并对提取出的所有分类字段首位再次增加分类字段，重新构建为图像特征序列；将重新构建的图像特征序列输入多头自注意力模块中进行计算，得到第二次激活的图像特征序列；取出第二次激活的图像特征序列中的分类字段，将分类字段输入蔬果分类器中，计算出被识别图像中蔬果类别的概率分布，并根据概率分布识别出当前图像中蔬果的类别。2.根据权利要求1所述的一种基于图像特征序列建模的蔬果识别方法，其特征在于，采集蔬果图像的方法包括：在新零售场景下搭建称重场景，并设置不同照明方式对市面上多种常见蔬果进行拍摄，获得若干张拍摄的图片数据；对若干张拍摄的图片数据进行筛选，并对筛选出的图片数据进行人工标注，获得标注数据集，其中，标注数据集为用于对深度神经网络进行数据训练、测试的数据模型；所述深度神经网络采用多种常见蔬果的图像的特征序列构建而成。3.根据权利要求1所述的一种基于图像特征序列建模的蔬果识别方法，其特征在于，将蔬果图像基于预设的切块模型进行切块处理，得到图像集合的方法包括：根据新零售场景下构建的蔬果识别数据集，对图像进行筛选，得到蔬果图像；将蔬果图像导入切块模型，所述切块模型等比例将蔬果图像全局切块为方形阵列状排布的图像分块，并输出所有图像分块的图像集合，其中，切块模型通过人工进行图像分块数量的预设。4.根据权利要求1所述的一种基于图像特征序列建模的蔬果识别方法，其特征在于，所述平坦化操作为将图像集合中每个图像分块导入至相同的通道维度中，提取相同的通道维度中的图像特征。5.根据权利要求1所述的一种基于图像特征序列建模的蔬果识别方法，其特征在于，利用深度神经网络中的映射函数对图像特征集合进行线性映射，得到特征编码，在特征编码中增加分类字段，获得图像特征序列的方法为：提升通道维度对图像特征集合进行线性映射，获得特征编码；在每个特征编码的首端均添加一个分类字段，获得图像特征序列；其中，所述分类字段为一个可学习的特征节点，用于在多头自注意力模块中建立与原有特征序列中所有节点的联系；所述分类字段的通道维度和特征编码的通道维度保持一致；f＝f(x，θ)(f1，f2，...，f
n
)＝f((x1，x2，...，x
n
)，θ)
式中，x表示输入图像集合，分别为x1，x2，...，x
n
，f表示图像特征集合，分别为f1，f2，...，f
n
，n代表输入图像集合中元素的个数，f(θ)表示深度神经网络resnet18前五个阶段的映射函数，θ为f(θ)的参数。6.根据权利要求1所述的一种基于图像特征序列建模的蔬果识别方法，其特征在于，将图像特征序列输入位置信息解耦的多头自注意力模块中进行计算，得到第一次激活的图像特征序列包括：将图像特征序列输入位置信息解耦的多头自注意力模块中，通过多头自注意力模块将特征序列降维并投影至不同的特征空间中，分别得到不同特征空间中的查询特征、键特征、值特征；将不同特征空间中的每一组序列的查询特征、键特征、值特征分别代入位置解耦的注意力矩阵进行计算，得到每个特征空间中的注意力；将各个特征空间中注意力进行关联计算，得到多头特征；调用门控线单元激活多头特征；输出第一次激活的图像特征序列；其中，通过多头自注意力模块将特征序列降维并投影至不同的特征空间中为对输入的每一个特征序列均进行线性映射降维，将其投影至n个不同的特征空间中，得到投影至n个不同的特征空间中的查询特征、键特征、值特征，计算公式如下：式中，分别为对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为投影至第i个特征空间中的查询特征、键特征、值特征；并对每个一组计算位置解耦的注意力disatte，计算公式如下：式中，pe表示位置编码矩阵，head
i
为第i个特征空间计算得到注意力；将各个特征空间中的头head
i
采用下式级联到得到的多头特征，计算公式如下：multihead＝concat(head1，head2...，head
n
)w
o
式中，multihead为计算得到的多头特征，w
o
为输出权重矩阵，concat为特征维度上的级联操作，head1至head
n
分别为第1至n个特征空间中的注意力。7.根据权利要求1所述的一种基于图像特征序列建模的蔬果识别方法，其特征在于，将重新构建的图像特征序列输入多头自注意力模块中进行计算，得到第二次激活的图像特征序列方法为：对再次构建的图像特征序列进行降维并投影至不同的特征空间中，分别得出不同的特征空间中的查询特征、键特征、值特征；将不同特征空间中的每一组序列的查询特征、键特征、值特征分别代入注意力矩阵进行计算，得到每个特征空间中的注意力；将各个特征空间中注意力进行关联计算，得到多头特征；调用门控线单元激活多头特征；输出第二次激活的图像特征序列；其中，再次构建的图像特征序列中首位新增的分类字段用于在建模时体现不同图像之间的关联性；将再次构建的图像特征序列投影至n个不同的特征空间中，得到投影至n个不同的特征
空间中的查询特征、键特征、值特征，表达式如下：式中，x
cls
为输入的再次构建的图像特征序列，w
iq
、分别为映射x
cls
对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为将x
cls
投影至第i个特征空间中的查询特征、键特征、值特征；对每个一组查询特征、键特征、值特征分别代入注意力矩阵atte计算的表达式如下：对每个一组查询特征、键特征、值特征分别代入注意力矩阵atte计算的表达式如下：式中，head
i
为第i个特征空间计算得到的注意力矩阵；将各个特征空间中的头head
i
进行级联计算得到的多头特征的表达式如下：multihead＝concat(head1，head2...，head
n
)w
o
式中，multihead为计算得到的多头特征矩阵，w
o
为输出权重矩阵，concat为特征维度上的级联操作，head1至head
n
分别为第1至n个特征空间中的注意力矩阵。8.根据权利要求1所述的一种基于图像特征序列建模的蔬果识别方法，其特征在于，计算出被识别图像中蔬果类别的概率分布的方法包括：通过在蔬果分类器中设置全连接层和softmax函数对输入的分类字段进行概率类别计算，识别出分类字段蔬果的类别概率分布；其中，全连接层的计算函数表达式为：y＝wf
cls
+b式中，f
cls
表示激活输出特征序列首位的分类字段的特征信息，w为对应的映射权重矩阵，y为全连接层的输出，b为相应的偏置，y的维度为蔬果类别数；softmax函数的计算函数表达式为：式中，y
i
为第i个蔬果类别的概率，softmax函数为归一化指数函数，y
i
为第i个蔬果类别对应全连接层的输出，y
j
为第j个蔬果类别对应全连接层的输出，m为蔬果类别数。9.一种基于图像特征序列建模的蔬果识别系统，其特征在于，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1～8任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～8任一项所述方法的步骤。
技术总结
本发明公开了一种基于图像特征序列建模的蔬果识别方法及系统，包括在新零售场景下采集的蔬果图像，并对蔬果图像采取切块的方式输出图像集合，图像集合通过深度卷积神经网络提取图像特征集合，然后通过平坦化、线性变换、分类字段等操作构建图像特征序列，将图像特征序列降维至不同的子空间中计算位置解耦的注意力矩阵，将特征序列激活输出，取出激活特征序列中的分类字段，再次构建分类特征序列，并降维至子空间中计算注意力矩阵，将输出的特征序列中的分类字段取出，送入预先训练好的蔬果分类器中，得到当前图像的蔬果类别。本发明通过考虑蔬果图像块本身的特征信息和图像块之间的信息关联性，将图像特征序列化表示，提高了的蔬果识别准确率。的蔬果识别准确率。的蔬果识别准确率。
技术研发人员：白东辉
受保护的技术使用者：江苏城歌科技有限公司
技术研发日：2022.03.24
技术公布日：2022/6/28