本发明涉及机器人机器视觉技术领域，具体涉及一种颜色先验知识导向的草莓机器手目标定位方法。
背景技术：
草莓的采摘过去主要依赖人工方式，但在大规模草莓种植时，人工采摘具有工作效率低下、主观性强等缺点，因此目前逐渐采用机器人进行智能采摘，其主要是基于机器视觉算法对机器人采集的图像进行目标定位而后将定位结果用于引导机器手进行采摘，其核心技术是对待采摘目标的智能定位方法。目前常用的定位方法主要是通过对采集图像进行分割以得到目标区域，而后对目标区域进行特征提取，并将特征输入训练好的分类器进行分类，如支持向量机，但这些定位方法所提取的区域特征都是人工预先设计好的，难以完全适用于草莓目标，因此会出现大量的误摘，另外传统的分类器无法给出客观的目标识别分数，对于采摘机器人所“看到”的多个草莓目标无法择优采摘。
技术实现要素：
本发针对现有技术的不足，提出了一种颜色先验知识导向的草莓机器手目标定位方法，能够解决现有人工特征提取不适用于草莓目标识别的问题。
本发明提出一种颜色先验知识导向的草莓机器手目标定位方法，该方法具体包括以下步骤：
步骤一：首先将草莓机器手获取的图片转换至HSV颜色空间，对H通道图基于草莓颜色先验知识进行阈值分割并得到初始预分割二值图像，由于在该二值图像中有较多的相邻目标区域粘连，会影响后面的区域预定位，因此对该二值图像采用形态滤波，将粘连区域分离开，并取每个独立区域的外接矩形作为候选目标区域。
步骤二：为了将候选目标区域中的草莓识别出来，需要通过深度卷积网络对候选目标进行分类。由于能搜集到的草莓样本较少，可能会导致训练得到的网络模型在实际部署时过拟合，因此先基于cifar10数据集对深度卷积网络进行预训练，而后再用草莓样本对网络模型进行微调训练，使模型适用于草莓目标的识别分类。
步骤三：每个候选区域经过深度卷积网络后会输出一个客观的概率分数，因此草莓机器手所采集图像中的所有候选区域都会有相应的概率值，对所有候选区域的概率值进行排序，设定阈值，取概率大于阈值的的候选区域做为最终的草莓定位结果。
作为优选：将草莓机器手获取的图片从RGB颜色空间转换至HSV颜色空间，具体如下：
其中h为转换后的HSV颜色空间中的色度通道，r、g、b分别为RGB颜色空间中的三个通道，max为RGB三通道最大值，min为RGB三通道最小值。
作为优选：对H通道图基于草莓颜色先验知识进行阈值分割并得到初始预分割二值图像，具体如下：
作为优选：所述的微调训练中所采用的正样本都是符合采摘标准的草莓图片，而负样本是不符合采摘标准的草莓图片及其它非草莓图片。
有益效果：本发明不需要人工干预，可以自动识别符合客户预设标准的草莓目标；由于在识别之前根据颜色先验知识对草莓目标进行了候选，因此后续识别所需时间大大减少，基本可以达到实时要求，从而满足草莓机器手的实际采摘需要。
附图说明
图1为本发明实施例的机器手采集初始图像；
图2为本发明实施例经过颜色空间转换后的H通道图像；
图3为本发明实施例对H通道图像基于草莓颜色先验知识进行阈值分割后的二值图像；
图4为本发明实施例对图3进行形态滤波后的图像；
图5为本发明实施例对卷积神经网络进行微调训练时采用的部分草莓正样本；
图6为本发明实施例对卷积神经网络进行微调训练时采用的部分负样本；
图7为本发明实施例对卷积神经网络基于cifar10数据集进行训练后得到的损失曲线；
图8为本发明实施例对卷积神经网络基于草莓样本进行微调训练后得到的损失曲线；
图9为本发明实施例经过阈值分割和滤波后得到的候选目标区域；
图10为本发明实施例经过深度卷积网络识别并打分后的草莓目标区域；
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
将草莓机器手采集的图1从RGB颜色空间转换至HSV空间，根据草莓颜色的先验知识，对H通道图像进行阈值分割，得到预分割结果图3，在图3中的候选目标区域有较多空洞，另外部分相邻候选区域有粘连，因此对图3进行形态滤波，其中首先进行2次腐蚀运算，将粘连的区域分离开，而后再做3次膨胀运算以填充目标区域内部的空洞，得到候选目标区域图4，取图4中候选目标的外接矩形得到用于输入卷积神经网络进行识别的目标建议区域(图9)。
图4中包含了不符合采摘标准的草莓区域或非草莓目标区域，因此需要通过深度卷积网络对图4中的候选目标区域进行识别分类。但由于草莓样本较少，直接对神经网络进行训练可能会导致模型过拟合，因此先采用cifar10数据集对模型进行训练，得到损失曲线图7，而后再基于符合采摘标准的草莓正样本(图5)和不符合采摘标准的负样本(图6)对模型进行微调训练，得到微调后的损失函数曲线图8。由于在对模型进行微调训练时采用的草莓正样本(图5)是符合主观采摘标准的，因此在使用模型进行识别时，对符合采摘标准的候选目标输出高概率分值，而对不符合采摘标准的候选目标，如未成熟草莓、非草莓等区域，输出低概率分值，从而达到自动识别符合采摘标准草莓的目的。
图10输出对机器手采集图像进行阈值分割并基于卷积神经网络进行识别分类的结果，其中每个候选目标都给出了相应的概率分值，对候选目标的概率分值进行降序排序，取具有最高概率值的目标区域作为最终的定位对象，从而达到智能化采摘的目的。