一种用于并联机器人的堆叠串类水果主果梗识别和提取方法与流程

本发明涉及机器视觉领域，具体涉及一种用于并联机器人的基于机器视觉、图像处理和神经网络，针对堆叠串类水果的主果梗识别和提取方法。

背景技术：

近年来我国的水果产量增长迅猛，传统人工分拣方法已很难满足现代农业生产的需求，基于机器人技术实现水果的自动分拣对农业生产和农产品加工的自动化、规模化、精确化发展具有重要意义。在基于机器人的水果自动分拣过程中，水果的准确抓取检测是机器人实现准确、快速、无损抓取控制的前提条件。机器视觉由于具有非接触、强适用性、高性价比等优点，适合用于解决机器人自动分拣水果的抓取检测问题。与苹果、梨、菠萝等独立水果相比，形如葡萄、桂圆、荔枝等堆叠串类水果由于其果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等原因，其抓取检测仍是难点。在堆叠串类水果的抓取检测中，主果梗的识别和提取是其中重要的一部分，也是难点所在。

现有的基于机器视觉的主果梗识别和提取技术主要包括了固定阈值法、霍夫变换法以及图像特征分类法。较早出现的是基于区域的中心、面积、长宽等特征的固定阈值法。之后出现了针对悬挂串类水果，基于累计概率霍夫直线检测的果梗提取研究。此方法将果梗看作直线进行检测，并将果梗定位在悬挂水果果穗的上方，具有一定局限性。图像特征分类法主要针对水果串图像中的果粒、果梗、叶子、背景等对象进行分类，提取精度较高，适用于自然放置水果串的果梗提取研究。现有的基于分类的果梗提取研究主要使用的分类器为svm、pls、gmm等模型，需要实验选定多个能表征对象间区别的特征，并构建特征向量，此方法仅能实现已提取出的区域间的分类，难以实现图像上对象的直接识别和定位。因此，对于果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样的堆叠串类水果，现有的主果梗识别和提取方法并不适用。另外，由于用于本发明并联机器人水果分拣系统的抓取检测视场需覆盖整个工作空间，因此使得堆叠串类水果上的主果梗在rgb-d图像中成像较小，导致基于现有深度神经网络所提取的堆叠串类水果主果梗小区域的特征较少。同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果主果梗的识别和提取的精度更加难以提高。

技术实现要素：

本发明的目的提出了一种准确、快速的立体视觉基于改进fasterr-cnn的用于并联机器人的堆叠串类水果主果梗识别和提取方法。

本发明采用的技术方案是采用如下步骤：

步骤1，并联机器人水果分拣系统下基于kinect传感器的堆叠串类水果的立体视觉系统构建：本发明基于kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的立体视觉检测系统。将kinect传感器置于分拣系统的检测平台上方，检测平台中心轴线处，并选择kinect传感器深度检测误差最低的区域构建检测视场。同时，基于检测平面大小、水果堆叠高度范围、物距范围等设计视觉硬件参数，构建稳定可靠的堆叠串类水果的立体视觉检测系统，为实现高精度的堆叠串类水果主果梗识别和提取奠定基础。

步骤2，堆叠串类水果主果梗识别和提取的数据集构建和扩充：为深度神经网络可以学习到尽可能多而有效的图像特征，本发明采用了用于学习图像的边缘、轮廓、纹理以及角点等一般特征的具有多种对象的大数据集。并构建了用于学习堆叠串类水果的水果串特征和主果梗特征的小数据集。同时，采用图像旋转、镜像变化、尺度变化、加噪处理方法对构建的数据集进行扩充，并将基于相机标定参数配准后的图像用以进一步扩充构建的小数据集，增加数据集分布范围。

步骤3，一种能够提取小对象特征的卷积神经网络的构建：包括图像输入、特征提取和分类三部分。

由于用于本发明并联机器人水果分拣系统的抓取检测视场需覆盖整个工作空间，因此使得堆叠串类水果上的主果梗在rgb-d图像中成像较小，导致基于现有卷积神经网络所提取的堆叠串类水果主果梗小区域的特征较少。因此本发明设计无尺度变化的卷积层、较小尺度变化的池化层和多全连接层，构建一种能够提取小对象特征的卷积神经网络，以减少图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场下网络提取的主果梗小区域的特征量，为堆叠串类水果主果梗的准确识别和提取奠定基础。

图像输入部分：

基于数据集中标签框的真实值大小设计图像输入层的神经元数量，首先根据获取的堆叠串类水果数据集，统计标签框的真实值大小，根据式(1)～(2)求取数据集中标签框的真实值宽度均值wa和高度均值ha，其中wi和hi分别为第i个主果梗标签框真实值的宽度和高度，n为参与统计的主果梗标签框的数量；

为减少图像失真和保留更多的原始图像信息，基于宽度均值wa和高度均值ha设计图像输入层的神经元数量，同时通过将输入图像减去堆叠串类水果数据集的平均图像实现对图像输入层中输入数据的归一化处理；

特征提取部分：

主要包括了卷积结构和全连接结构；

卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平均池化层、relu激活函数，本发明通过三次无图像尺度变化的卷积和具有较小图像尺度变化的池化，获取原始图像上表针主果梗信息的特征图，降低原始特征信息的丢失；

对于卷积层，基于式(3)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度一致，其中osc为卷积层输出特征图的长或宽，isc为卷积层输入特征图的长或宽，fs为卷积层滤波器的大小，pc为填充大小，sc为步长，对图像进行边缘填充，降低卷积过程中边缘信息的丢失；

对于池化层，本发明包括了最大池化层和平均池化层，均基于式(4)计算池化层初始参数，使得池化层的输出特征图以2倍下采样输入特征图，其中osp为池化层输出特征图的长或宽，isp为池化层输入特征图的长或宽，ps为池化大小，pp为填充大小，sp为步长；

对于relu激活函数，本发明基于式(5)对输入的每个元素执行阈值操作，所有小于0的值均设置为0，用以减少数据冗余，保留重要特征；

对于全连接结构，主要包括了relu激活函数、全连接层和丢弃层，为防止过拟合，将网络中加入了丢弃层，在训练时随机设置某些元素权值为0，通过增加全连接层的数量，用以提高网络对提取的特征图的学习能力；

分类部分：主要包括了softmax层和分类输出层。

步骤4，基于构建的cnn架构和设计的由粗到精和参数分享策略改进现有fasterr-cnn：堆叠串类水果中果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等特征，导致基于现有fasterr-cnn难以实现高精度的堆叠串类水果主果梗识别和提取。同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果主果梗的识别和提取的精度更加难以提高。为此，本发明将所构建的cnn架构用于进一步地改进现有fasterr-cnn，并设计由粗到精和参数分享策略实现fasterr-cnn的级联，构建一种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联fasterr-cnn模型。

所改进的由粗到精级联fasterr-cnn模型包括两级深度神经网络。第一级深度神经网络用于提取图像中堆叠串类水果区域，第二级深度神经网络用于提取堆叠串类水果区域中的主果梗区域，两级深度神经网络共享cnn架构和参数。分级串联的网络模型设计，降低了图像中背景因素的干扰，提高了主果梗提取的精度和效率。

每级中的深度神经网络均采用fasterr-cnn架构。首先采用所构建的能够提取小对象特征的cnn架构中的卷积结构提取输入图像的特征图。之后采用所构建的cnn架构构建候选区域生成网络，基于候选区域生成网络从卷积架构输出的特征图中生成大量候选区域作为对象可能存在的区域。最后基于分类网络对候选区域进行筛选，获取对象所在的区域，并通过图像投影计算，获取对象区域所对应的原始图像中的位置，实现对象的识别和提取。

本发明的由粗到精级联fasterr-cnn模型中，每级中的深度神经网络将候选区域生成、特征提取、分类和位置精修四部分均统一到一个深度网络框架之内，减少了重复计算，大大提高了计算速度。同时，每级的深度神经网络中均采用了非极大值抑制，对获取到的候选区域和最终网络得到的候选区域各自采用不同的iou(intersection-over-union)阈值进行筛选，去掉重合度较高的区域，大大降低了同一串水果的主果梗对应多个候选框的可能性。

步骤5，基于多迁移学习策略的网络训练和基于可视化分析的网络精度测试：本发明采用所构建的训练数据集对改进的网络模型进行多迁移学习，实现网络模型的离线训练。同时基于构建的测试数据集对训练完成后的网络进行可视化分析和精度测试，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行多迁移学习训练，直到精度满足要求为止。具体如下：

基于多迁移学习策略的网络训练：采用多迁移学习的方法，结合多数据集对构建的网络模型进行训练；首先基于大数据集对构建的cnn架构进行预训练，学习图像的边缘、纹理、方向的一般特征，将预训练之后的cnn架构用于改进的级联fasterr-cnn模型，之后采用构建的堆叠串类水果训练集对级联fasterr-cnn模型的第一级进行再训练，学习堆叠串类水果的区域特征，之后将再训练的级联fasterr-cnn模型的第一级中的cnn架构和参数用于级联fasterr-cnn模型的第二级，作为级联fasterr-cnn模型第二级的初始训练参数，之后采用构建的堆叠串类水果主果梗训练集对级联fasterr-cnn模型的第二级进行微调，学习堆叠串类水果的主果梗区域特征；

基于可视化分析的网络精度测试：采用可视化分析，对训练后的网络学习能力进行评估；首先通过提取预训练后cnn架构的卷积层权值参数，分析预训练的cnn架构对图像的边缘、纹理、方向的一般特征的学习能力，之后对级联fasterr-cnn模型的两级中的深度神经网络进行评估，分别提取其不同卷积层和全连接层的输出特征图进行分析，评估其学习能力，最后采用堆叠串类水果测试集统计计算级联fasterr-cnn模型的检测精度，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行训练，直到精度满足要求为止。

步骤6，基于已训练网络模型的堆叠串类水果主果梗识别和提取：将满足测试精度要求的已训练的由粗到精级联fasterr-cnn模型用于实现并联机器人水果分拣系统中堆叠串类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。

本发明提出一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，通过采用上述技术方案后，其具有以下有益效果：

1、针对基于深度神经网络的堆叠串类水果主果梗识别和提取研究中，堆叠串类水果样本集不足，数据集分布范围不广泛等问题，本发明提出采用配准前后的彩色图像进行数据集构建的方法，并基于图像旋转、镜像变化、尺度变化、加噪处理方法对构建的数据集进行扩充。同时结合多迁移学习策略进行多次训练，提高网络对堆叠串类水果特征和堆叠串类水果主果梗特征的学习能力。

2、由于用于本发明并联机器人水果分拣系统的抓取检测视场需覆盖整个工作空间，使得堆叠串类水果上的主果梗在rgb-d图像中成像较小，导致基于现有卷积神经网络所提取的堆叠串类水果主果梗小区域的特征较少。因此本发明设计无尺度变化的卷积层、较小尺度变化的池化层和多全连接层，构建一种能够提取小对象特征的卷积神经网络，以减少图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场下网络提取的主果梗小区域的特征量，为堆叠串类水果主果梗的准确识别和提取奠定基础。

3、堆叠串类水果中果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等特征，导致基于现有fasterr-cnn难以实现高精度的堆叠串类水果主果梗识别和提取。同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果主果梗的识别和提取的精度更加难以提高。为此，本发明将所构建的cnn架构用于进一步地改进现有fasterr-cnn，并设计由粗到精和参数分享策略实现fasterr-cnn的级联，构建一种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联fasterr-cnn模型。

附图说明

以下结合附图和具体实施方式对本发明作进一步详细说明。

图1为本发明用于并联机器人的堆叠串类水果主果梗识别和提取方法流程图。

图2为kinect传感器检测范围示意图。

图3为本发明堆叠串类水果主果梗识别和提取的数据集构建和扩充流程图。

图4为构建的一种能够提取小对象特征的卷积神经网络的示意图。

图5为改进的由粗到精级联fasterr-cnn模型示意图。

图6为基于已训练网络模型的堆叠串类水果主果梗识别和提取流程图。

图7为kinect传感器的三维信息获取示意图。

图8为堆叠串类水果数据集。其中：图8a为原始彩色图像，图8b为添加高斯噪声后的彩色图像，图8c为添加椒盐噪声后的彩色图像，图8d为垂直镜像变换后的彩色图像，图8e为水平镜像变换后的彩色图像，图8f为中心镜像变换后的彩色图像，图8g为旋转正15度后的彩色图像，图8h为旋转负15度后的彩色图像。

图9为预训练后cnn架构的卷积层权值参数。

图10为由粗到精级联fasterr-cnn模型第一级网络的部分卷积层和全连接层的输出特征图。

图11为由粗到精级联fasterr-cnn模型第二级网络的部分卷积层和全连接层的输出特征图。

具体实施方式

下面结合附图进一步说明本发明具体实施方式。

本发明公开了一种立体视觉基于改进fasterr-cnn的用于并联机器人的堆叠串类水果主果梗识别和提取方法。首先，在并联机器人水果分拣系统下基于kinect传感器构建堆叠串类水果的立体视觉检测系统，实现堆叠串类水果三维视觉信息的获取。之后，构建堆叠串类水果数据集和堆叠串类水果主果梗数据集。并基于图像旋转、镜像变化、尺度变化、加噪处理方法对构建的数据集进行扩充，用以增加数据集分布范围。之后，设计无尺度变化的卷积层、较小尺度变化的池化层和多全连接层，构建一种能够提取小对象特征的卷积神经网络，以减少图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场下网络提取的主果梗小区域的特征量。之后，基于构建的cnn架构进一步地改进现有fasterr-cnn，设计由粗到精和参数分享策略实现fasterr-cnn的级联，以减少主果梗背景的干扰。之后，基于构建的堆叠串类水果数据集和堆叠串类水果主果梗数据集设计多迁移学习训练策略对网络进行训练，并基于测试数据集对网络进行可视化分析和精度测试。若精度不满足要求，则通过调节参数，再次进行多迁移学习训练，直到精度满足要求为止。最后将满足测试精度要求的已训练的由粗到精级联fasterr-cnn用于实现并联机器人水果分拣系统中堆叠串类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。

具体实施方式以本课题组研发的并联机器人堆叠串类水果分拣系统为例、白罗莎葡萄串为对象进行描述。

参见图1，其具体步骤如下：

步骤1、并联机器人水果分拣系统下基于kinect传感器的堆叠串类水果的立体视觉系统构建：本发明基于kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的立体视觉检测系统。将kinect传感器置于分拣系统的检测平台上方，检测平台中心轴线处。

参见图2，为减少硬件带来的测量误差，选择kinect传感器的物距为500～2000mm之间，靠近光轴中心，深度检测误差<2mm的位置作为本发明的视觉检测范围。根据并联机器人水果分拣系统中，检测平面大小900*860mm²，水果串堆叠的高度范围0～200mm，选择检测平台到kinect传感器的距离为550～750mm。根据式(1)～(6)，求得传感器在550mm和750mm时分别的视场平面大小为770.2*635.1mm²和1050.3*866.1mm²，因此选择物距为750mm的平面作为检测平面。

fovh1＝lcd＝2lcm(3)

fovv1＝lab＝2lam(4)

fovh2＝lgh＝2lgn(5)

fovv2＝lef＝2len(6)

其中，fovh1和fovv1分别为物距为550mm时的视场长和宽，fovh2和fovv2分别为物距为750mm时的视场长和宽。

基于式(7)求得在750mm物距的最大视场下，对于实际堆叠串类水果主果梗直径范围5～20mm，在获取的深度图像中，主果梗对应的像素范围为2.44～9.76像素，满足检测的像素需求。

其中，fov为视场的长或宽，pa为主果梗的实际直径，单位均为mm。dr为深度图像分辨率的长或宽，pi为主果梗映射在图像上的直径，单位均为像素。

步骤2、堆叠串类水果主果梗识别和提取的数据集构建和扩充：参见图3，为深度神经网络可以学习到尽可能多而有效的图像特征，本发明采用了用于学习图像的边缘、轮廓、纹理以及角点等一般特征的具有多种对象的大数据集。并构建了用于学习堆叠串类水果的水果串特征和主果梗特征的小数据集。同时，采用图像旋转、镜像变化、尺度变化、加噪处理方法对构建的数据集进行扩充，并将基于相机标定参数配准后的图像用以进一步扩充构建的小数据集，增加数据集分布范围。

具体如下:

首先，大数据集采用cifar-10、imagenet等现有的大型数据集，用于预训练网络。

之后，基于并联机器人堆叠串类水果分拣系统下kinect传感器获取到的rgb-d图像包括彩色图像和深度图像。为使所识别和提取的彩色图像中的主果梗区域可以与深度图像中的主果梗区域一一对应，本发明基于与深度图像配准后的彩色图像对堆叠串类水果的主果梗区域进行提取和分级。通过对kinect传感器中的彩色相机和深度相机进行双目标定，基于标定参数实现原始彩色图像与原始深度图像的配准，获取配准后的彩色图像。同时，将原始彩色图像和配准后的彩色图像共同用以构建堆叠串类水果数据集和堆叠串类水果主果梗数据集。

之后，采用图像处理方法对数据集进行变换和扩充，具体方法包括了图像多种角度的旋转、图像的水平镜像、图像的垂直镜像、图像的中心镜像、图像的多种尺度变化、图像的多种加噪处理等。以增加数据集分布范围，进一步用以提高网络对堆叠串类水果特征和堆叠串类水果主果梗特征的学习能力。

最后，对扩充后的数据集进行随机选取，随机选取60％的堆叠串类水果数据集作为堆叠串类水果训练集，随机选取40％的堆叠串类水果数据集作为堆叠串类水果测试集。并对堆叠串类水果数据集进行人工主果梗区域的剪切提取，构建堆叠串类水果主果梗训练集，用以测试网络性能和精度。

步骤3、构建一种能够提取小对象特征的卷积神经网络：由于用于本发明并联机器人水果分拣系统的抓取检测视场需覆盖整个工作空间，因此使得堆叠串类水果上的主果梗在rgb-d图像中成像较小，导致基于现有卷积神经网络所提取的堆叠串类水果主果梗小区域的特征较少。因此本发明设计无尺度变化的卷积层、较小尺度变化的池化层和多全连接层，构建一种能够提取小对象特征的卷积神经网络，以减少图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场下网络提取的主果梗小区域的特征量，为堆叠串类水果主果梗的准确识别和提取奠定基础。

参见图4，本发明构建的一种能够提取小对象特征的卷积神经网络包括图像输入、特征提取和分类三部分。

其具体如下：

(1)一种能够提取小对象特征的卷积神经网络的图像输入部分。本发明基于数据集中标签框的真实值大小设计图像输入层的神经元数量。首先根据获取的堆叠串类水果数据集，统计标记的标签框的真实值大小。根据式(8)～(9)求取数据集中标签框的真实值宽度均值wa和高度均值ha，其中wi和hi分别为第i个主果梗标签框真实值的宽度和高度，n为参与统计的主果梗标签框的数量。

为减少图像失真和保留更多的原始图像信息，基于宽度均值wa和高度均值ha设计cnn的图像输入层的神经元数量。同时通过将输入图像减去堆叠串类水果数据集的平均图像实现对图像输入层中输入数据的归一化处理。

(2)一种能够提取小对象特征的卷积神经网络的特征提取部分，主要包括了卷积结构和全连接结构。

卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平均池化层、relu(rectifiedlinearunits)激活函数。本发明通过三次无图像尺度变化的卷积层和具有较小图像尺度变化的池化层，获取原始图像上表针主果梗信息的特征图，降低原始特征信息的丢失。

对于卷积层，基于式(10)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度一致。其中osc为卷积层输出特征图的长或宽，isc为卷积层输入特征图的长或宽，fs为卷积层滤波器的大小，pc为填充大小，sc为步长。对图像进行边缘填充，降低卷积过程中边缘信息的丢失。

对于池化层，本发明包括了最大池化层和平均池化层，均基于式(11)计算池化层初始参数，使得池化层的输出特征图以2倍下采样输入特征图。其中osp为池化层输出特征图的长或宽，isp为池化层输入特征图的长或宽，ps为池化大小，pp为填充大小，sp为步长。

对于relu激活函数，本发明基于式(12)对输入的每个元素执行阈值操作，所有小于0的值均设置为0，用以减少数据冗余，保留重要特征。

对于全连接结构，主要包括了relu激活函数、全连接层和丢弃层。为防止过拟合，将网络中加入了丢弃层，在训练时随机设置某些元素权值为0，同时可提高网络训练速度。同时本发明通过增加全连接层的数量，用以提高网络对提取的特征图的学习能力。

(3)一种能够提取小对象特征的卷积神经网络的分类部分，主要包括了softmax层和分类输出层。

步骤4、参见图5，基于构建的cnn架构和设计的由粗到精和参数分享策略改进现有fasterr-cnn：堆叠串类水果中果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等特征，导致基于现有fasterr-cnn难以实现高精度的堆叠串类水果主果梗识别和提取。同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果主果梗的识别和提取的精度更加难以提高。为此，本发明将所构建的cnn架构用于进一步地改进现有fasterr-cnn，并设计由粗到精和参数分享策略实现fasterr-cnn的级联，构建一种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联fasterr-cnn模型。

具体如下：

本发明所改进的由粗到精级联fasterr-cnn模型包括两级深度神经网络。第一级深度神经网络用于提取图像中堆叠串类水果所在区域，第二级深度神经网络用于提取堆叠串类水果区域中的主果梗区域，两级深度神经网络共享cnn架构和参数。分级串联的网络模型设计，降低了图像中背景因素的干扰，提高了主果梗提取的精度和效率。

每级中的深度神经网络均采用fasterr-cnn架构。首先采用所构建的能够提取小对象特征的cnn架构中的卷积结构提取输入图像的特征图。之后采用所构建的cnn架构构建候选区域生成网络，基于候选区域生成网络从卷积架构输出的特征图中生成大量候选区域作为对象可能存在的区域。最后基于分类网络对候选区域进行筛选，获取对象所在的区域，并通过图像投影计算，获取对象区域所对应的原始图像中的位置，实现对象的识别和提取。

本发明的由粗到精级联fasterr-cnn模型中，每级中的深度神经网络将候选区域生成、特征提取、分类和位置精修四部分均统一到一个深度网络框架之内，减少了重复计算，大大提高了运行速度。同时，每级的深度神经网络中均采用了非极大值抑制，对获取到的候选区域和最终网络得到的候选区域各自采用不同的iou(intersection-over-union)阈值进行筛选，去掉重合度较高的区域，大大降低了同一串水果的主果梗对应多个候选框的可能性。

步骤5、参见图1，基于多迁移学习策略的网络训练和基于可视化分析的网络精度测试：本发明采用所构建的训练数据集对改进的网络模型进行多迁移学习，实现网络模型的离线训练。同时基于构建的测试数据集对训练完成后的网络进行可视化分析和精度测试，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行多迁移学习训练，直到精度满足要求为止。

具体步骤如下：

(1)基于多迁移学习策略的网络训练：本发明采用多迁移学习的方法，结合多数据集对构建的网络模型进行训练。首先基于大数据集对构建的cnn架构进行预训练，学习图像的边缘、纹理、方向等一般特征。将预训练之后的cnn架构用于改进的级联fasterr-cnn模型。之后采用构建的堆叠串类水果训练集对级联fasterr-cnn模型的第一级进行再训练，学习堆叠串类水果的区域特征。之后将再训练的级联fasterr-cnn模型的第一级中的cnn架构和参数用于级联fasterr-cnn模型的第二级，作为级联fasterr-cnn模型第二级的初始训练参数。之后采用构建的堆叠串类水果主果梗训练集对级联fasterr-cnn模型的第二级进行微调，学习堆叠串类水果的主果梗区域特征。

(2)基于可视化分析的网络精度测试：本发明采用可视化分析，对训练后的网络学习能力进行评估。首先通过提取预训练后cnn架构的卷积层权值参数，分析预训练的cnn架构对图像的边缘、纹理、方向等一般特征的学习能力。之后对级联fasterr-cnn模型的两级中的深度神经网络进行评估，分别提取其不同卷积层和全连接层的输出特征图进行分析，评估其学习能力。最后采用堆叠串类水果测试集统计计算级联fasterr-cnn模型的检测精度，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行训练，直到精度满足要求为止。

步骤6、参见图1和图6，基于已训练网络模型的堆叠串类水果主果梗识别和提取：将满足测试精度要求的已训练的由粗到精级联fasterr-cnn模型用于实现并联机器人水果分拣系统中堆叠串类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。

具体步骤如下：

(1)堆叠串类水果的rgb-d图像获取：基于并联机器人堆叠串类水果分拣系统下的kinect传感器获取堆叠串类水果的rgb-d图像，提取其中的原始彩色图像和深度图像。

(2)相机标定与图像配准：对kinect传感器中的彩色相机和深度相机进行双目标定，获取相机的内外参数。并基于内外参数计算彩色图像和深度图像的对应关系。基于转换关系，实现原始彩色图像与原始深度图像的配准，获取配准后的彩色图像。

(3)基于改进的由粗到精级联fasterr-cnn的堆叠串类水果的在线主果梗识别和提取：将配准后的彩色图像作为输入，基于训练后满足测试精度要求的由粗到精级联fasterr-cnn模型实现堆叠串类水果的在线主果梗识别和提取，定位主果梗在原始图像中的区域。位置参数以方框的顶点坐标进行描述。

(4)主果梗区域的剪切与分割：对网络获取的主果梗区域进行剪切，得到对应的主果梗图像，并对应标号，便于并联机器人实际抓取位置的确定。将得到的主果梗区域采用niblack局部阈值方法进行二值化，如式(6)所示，对于图像i(x,y)，在(x,y)处的阈值t(x,y)由局部均值m(x,y)和局部标准差s(x,y)决定，k表示调整系数。

t(x,y)＝m(x,y)+k*s(x,y)(6)

最终得到主果梗二值图像，其中主果梗像素值为1，其他为0，完成用于并联机器人水果分拣系统的堆叠串类水果主果梗识别和提取。

至此，用于并联机器人水果分拣系统的堆叠串类水果主果梗识别和提取已完成。

实施例

本发明着重提出了一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，解决形如葡萄、桂圆、荔枝等堆叠串类水果由于其果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等原因，导致的主果梗难以识别和提取的难题。同时针对主果梗在rgb-d图像中成像较小和主果梗的背景不单一导致的基于现有深度神经网络难以实现高精度的堆叠串类水果主果梗识别和提取的问题，构建一种能够提取小对象特征的卷积神经网络，以减少图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场下网络提取的主果梗小区域的特征量。并将所构建的cnn架构用于进一步地改进现有fasterr-cnn，并设计由粗到精和参数分享策略实现fasterr-cnn的级联，构建一种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联fasterr-cnn模型。

具体实施例以本课题组研发的并联机器人水果分拣系统为例、白罗莎葡萄为对象进行描述。其具体实施方式如下：

1、并联机器人水果分拣系统下基于kinect传感器的堆叠串类水果的立体视觉系统构建：本发明基于kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的立体视觉检测系统。将kinect传感器置于分拣系统的检测平台上方，检测平台中心轴线处。

为减少硬件带来的测量误差，选择kinect传感器的物距在500～2000mm之间，靠近光轴中心，深度检测误差<2mm的位置作为本发明的视觉检测范围。根据并联机器人水果分拣系统中，检测平面大小900*860mm²，水果串堆叠的高度范围0～200mm，选择检测平台到kinect传感器的距离为550～750mm。根据式(1)～(6)，求得传感器在550mm和750mm时分别的视场平面大小为770.2*635.1mm²和1050.3*866.1mm²，因此选择物距为750mm的平面作为检测平面。

fovh1＝lcd＝2lcm(3)

fovv1＝lab＝2lam(4)

fovh2＝lgh＝2lgn(5)

fovv2＝lef＝2len(6)

其中，fovh1和fovv1分别为物距为550mm时的视场长和宽，fovh2和fovv2分别为物距为750mm时的视场长和宽。

基于式(7)求得在750mm物距的最大视场条件下，对于实际堆叠串类水果主果梗直径范围5～20mm，在获取的深度图像中，主果梗对应的像素范围为2.44～9.76像素，满足检测的像素需求。

其中，fov为视场的长或宽，pa为主果梗的直径，单位均为mm。dr为深度图像分辨率的长或宽，pi为主果梗映射在图像上的直径，单位均为像素。

参见图7，为kinect传感器的三维信息获取示意图，其中白色实体区域为物距750mm的检测平面；白色边框区域为其他背景区域，不作为检测区域；凸起的白色块为自然放置的堆叠串类水果；红色实线区域为kinect传感器的检测范围。

2、堆叠串类水果主果梗识别和提取的数据集构建和扩充：为深度神经网络可以学习到尽可能多而有效的图像特征，本发明采用了用于学习图像的边缘、轮廓、纹理以及角点等一般特征的具有多种对象的大数据集。并构建了用于学习堆叠串类水果的水果串特征和主果梗特征的小数据集。同时，采用图像旋转、镜像变化、尺度变化、加噪处理方法对构建的数据集进行扩充，并将基于相机标定参数配准后的图像用以进一步扩充构建的小数据集，增加数据集分布范围。

具体如下:

首先，大数据集采用cifar-10、imagenet等现有的大型数据集，用于预训练网络。

之后，基于并联机器人堆叠串类水果分拣系统下kinect传感器获取到的rgb-d图像包括彩色图像和深度图像。为使所识别和提取的彩色图像中的主果梗区域可以与深度图像中的主果梗区域一一对应，本发明基于与深度图像配准后的彩色图像对堆叠串类水果的主果梗区域进行提取和分级。通过对kinect传感器中的彩色相机和深度相机进行双目标定，基于标定参数实现原始彩色图像与原始深度图像的配准，获取配准后的彩色图像。同时，将原始彩色图像和配准后的彩色图像共同用以构建堆叠串类水果数据集和堆叠串类水果主果梗数据集。

之后，参见图8，采用图像处理方法对数据集进行变换和扩充。具体方法包括了图像多种角度的旋转、图像的水平镜像、图像的垂直镜像、图像的中心镜像、图像的多种尺度变化、图像的多种加噪处理等。以增加数据集分布范围，进一步用以提高网络对堆叠串类水果特征和堆叠串类水果主果梗特征的学习能力。

最后，对扩充后的数据集进行随机选取，随机选取60％的堆叠串类水果数据集作为堆叠串类水果训练集，随机选取40％的堆叠串类水果数据集作为堆叠串类水果测试集。并对堆叠串类水果数据集进行人工主果梗区域的剪切提取，构建堆叠串类水果主果梗训练集。，用以测试网络性能和精度。

3、构建一种能够提取小对象特征的卷积神经网络：由于用于本发明并联机器人水果分拣系统的抓取检测视场需覆盖整个工作空间，因此使得堆叠串类水果上的主果梗在rgb-d图像中成像较小，导致基于现有卷积神经网络所提取的堆叠串类水果主果梗小区域的特征较少。因此本发明设计无尺度变化的卷积层、较小尺度变化的池化层和多全连接层，构建一种能够提取小对象特征的卷积神经网络，以减少图像尺度的降低，增加在并联机器人水果分拣系统中所需的视觉检测大视场下网络提取的主果梗小区域的特征量，为堆叠串类水果主果梗的准确识别和提取奠定基础。

本发明构建的一种能够提取小对象特征的卷积神经网络包括图像输入、特征提取和分类三部分。

其具体如下：

(1)一种能够提取小对象特征的卷积神经网络的图像输入部分。本发明基于数据集中标签框的真实值大小设计图像输入层的神经元数量。首先根据获取的堆叠串类水果数据集，统计标记的标签框的真实值大小。根据式(8)～(9)求取数据集中标签框的真实值宽度均值wa和高度均值ha，其中wi和hi分别为第i个主果梗标签框真实值的宽度和高度，n为参与统计的主果梗标签框的数量。

为减少图像失真和保留更多的原始图像信息，基于宽度均值wa和高度均值ha设计cnn的图像输入层的神经元数量。同时通过将输入图像减去堆叠串类水果数据集的平均图像实现对图像输入层中输入数据的归一化处理。

(2)一种能够提取小对象特征的卷积神经网络的特征提取部分，主要包括了卷积结构和全连接结构。

卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平均池化层、relu(rectifiedlinearunits)激活函数。本发明通过三次无图像尺度变化的卷积层和具有较小图像尺度变化的池化层，获取原始图像上表针主果梗信息的特征图，降低原始特征信息的丢失。

对于卷积层，基于式(10)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度一致。其中osc为卷积层输出特征图的长或宽，isc为卷积层输入特征图的长或宽，fs为卷积层滤波器的大小，pc为填充大小，sc为步长。对图像进行边缘填充，降低卷积过程中边缘信息的丢失。

对于池化层，本发明包括了最大池化层和平均池化层，均基于式(11)计算池化层初始参数，使得池化层的输出特征图以2倍下采样输入特征图。其中osp为池化层输出特征图的长或宽，isp为池化层输入特征图的长或宽，ps为池化大小，pp为填充大小，sp为步长。

对于relu激活函数，本发明基于式(12)对输入的每个元素执行阈值操作，所有小于0的值均设置为0，用以减少数据冗余，保留重要特征。

对于全连接结构，主要包括了relu激活函数、全连接层和丢弃层。为防止过拟合，将网络中加入了丢弃层，在训练时随机设置某些元素权值为0，同时可提高网络训练速度。同时本发明通过增加全连接层的数量，用以提高网络对提取的特征图的学习能力。

(3)一种能够提取小对象特征的卷积神经网络的分类部分，主要包括了softmax层和分类输出层。

4、基于构建的cnn架构和设计的由粗到精和参数分享策略改进现有fasterr-cnn：堆叠串类水果中果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等特征，导致基于现有fasterr-cnn难以实现高精度的堆叠串类水果主果梗识别和提取。同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果主果梗的识别和提取的精度更加难以提高。为此，本发明将所构建的cnn架构用于进一步地改进现有fasterr-cnn，并设计由粗到精和参数分享策略实现fasterr-cnn的级联，构建一种用于堆叠串类水果主果梗识别和提取的改进后的由粗到精级联fasterr-cnn模型。

具体如下：

本发明所改进的由粗到精级联fasterr-cnn模型包括两级深度神经网络。第一级深度神经网络用于提取图像中堆叠串类水果所在区域，第二级深度神经网络用于提取堆叠串类水果区域中的主果梗区域，两级深度神经网络共享cnn架构和参数。分级串联的网络模型设计，降低了图像中背景因素的干扰，提高了主果梗提取的精度和效率。

每级中的深度神经网络均采用fasterr-cnn架构。首先采用所构建的能够提取小对象特征的cnn架构中的卷积结构提取输入图像的特征图。之后采用所设计的cnn架构构建候选区域生成网络，基于候选区域生成网络从卷积架构输出的特征图中生成大量候选区域作为对象可能存在的区域。最后基于分类网络对候选区域进行筛选，获取对象所在的区域，并通过图像投影计算，获取对象区域所对应的原始图像中的位置，实现对象的识别和提取。

本发明的由粗到精级联fasterr-cnn模型中，每级中的深度神经网络将候选区域生成、特征提取、分类和位置精修四部分均统一到一个深度网络框架之内，减少了重复计算，大大提高了运行速度。同时，每级的深度神经网络中均采用了非极大值抑制，对获取到的候选区域和最终网络得到的候选区域各自采用不同的iou(intersection-over-union)阈值进行筛选，去掉重合度较高的区域，大大降低了同一串水果的主果梗对应多个候选框的可能性。

5、基于多迁移学习策略的网络训练和基于可视化分析的网络精度测试：本发明采用所构建的训练数据集对改进的网络模型进行多迁移学习，实现网络模型的离线训练。同时基于构建的测试数据集对训练完成后的网络进行可视化分析和精度测试，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行多迁移学习训练，直到精度满足要求为止。

具体步骤如下：

(1)基于多迁移学习策略的网络训练：本发明采用多迁移学习的方法，结合多数据集对构建的网络模型进行训练。首先基于大数据集对构建的cnn架构进行预训练，学习图像的边缘、纹理、方向等一般特征。将预训练之后的cnn架构用于改进的级联fasterr-cnn模型。之后采用构建的堆叠串类水果训练集对级联fasterr-cnn模型的第一级进行再训练，学习堆叠串类水果的区域特征。之后将再训练的级联fasterr-cnn模型的第一级中的cnn架构和参数用于级联fasterr-cnn模型的第二级，作为级联fasterr-cnn模型第二级的初始训练参数。之后采用构建的堆叠串类水果主果梗训练集对级联fasterr-cnn模型的第二级进行微调，学习堆叠串类水果的主果梗区域特征。

(2)基于可视化分析的网络精度测试：本发明采用可视化分析，对训练后的网络学习能力进行评估。首先通过提取预训练后cnn架构的卷积层权值参数，分析预训练的cnn架构对图像的边缘、纹理、方向等一般特征的学习能力。之后对级联fasterr-cnn模型的两级中的深度神经网络进行评估，分别提取其不同卷积层和全连接层的输出特征图进行分析，评估其学习能力。最后采用堆叠串类水果测试集统计计算级联fasterr-cnn模型的检测精度，并对精度进行判断，若精度不满足要求，则通过调节参数，再次进行训练，直到精度满足要求为止。

6、基于已训练网络模型的堆叠串类水果主果梗识别和提取：将满足测试精度要求的已训练的由粗到精级联fasterr-cnn模型用于实现并联机器人水果分拣系统中堆叠串类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。

具体步骤如下：

(1)堆叠串类水果的rgb-d图像获取：基于并联机器人堆叠串类水果分拣系统下的kinect传感器获取堆叠串类水果的rgb-d图像，提取其中的原始彩色图像和深度图像。

(2)相机标定与图像配准：对kinect传感器中的彩色相机和深度相机进行双目标定，获取相机的内外参数。并基于内外参数计算彩色图像和深度图像的对应关系。基于转换关系，实现原始彩色图像与原始深度图像的配准，获取配准后的彩色图像。

(3)基于改进的由粗到精级联fasterr-cnn的堆叠串类水果的在线主果梗识别和提取：将配准后的彩色图像作为输入，基于训练后满足测试精度要求的由粗到精级联fasterr-cnn模型实现堆叠串类水果的在线主果梗识别和提取，定位主果梗在原始图像中的区域。位置参数以方框的顶点坐标进行描述。

(4)主果梗区域的剪切与分割：对网络获取的主果梗区域进行剪切，得到对应的主果梗图像，并对应标号，便于并联机器人实际抓取位置的确定。将得到的主果梗区域采用niblack局部阈值方法进行二值化，如式(6)所示，对于图像i(x,y)，在(x,y)处的阈值t(x,y)由局部均值m(x,y)和局部标准差s(x,y)决定，k表示调整系数。

t(x,y)＝m(x,y)+k*s(x,y)(6)

最终得到主果梗二值图像，其中主果梗像素值为1，其他为0，完成用于并联机器人水果分拣系统的堆叠串类水果主果梗识别和提取。

本实施例基于并联机器人水果分拣系统构建堆叠串类水果图像采集的机器视觉硬件，通过平台基于kinect传感器采集白罗莎葡萄的不同形态下的可见光图像，并进行基于深度神经网络的堆叠串类水果主果梗识别和提取实验，得到彩色图像中与深度图像对应的主果梗所在的区域的位置，并转换为二值区域图像。为基于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。