本发明涉及机器视觉领域，尤其涉及基于机器视觉和图像处理、针对自然放置葡萄串的抓取点定位方法，用于机器人实现自动分拣。
背景技术：
近年来我国的水果产量增长迅猛，传统人工分拣方法已很难满足现代农业生产的需求，基于机器人技术实现水果的自动分拣对农业生产和农产品加工的自动化、规模化、精确化发展具有重要意义。在基于机器人的水果自动分拣过程中，抓取点的准确定位是机器人实现准确、快速、无损抓取控制的前提条件。机器视觉由于具有非接触、强适用性、高性价比等优点，适合用于解决机器人自动分拣水果的抓取点定位问题。与苹果、梨、菠萝等独立水果相比，形如葡萄、桂圆、荔枝等串类水果由于其形态多样、果粒较多且易损、图像边缘复杂等原因，其抓取点定位仍是难点。
文献《自然环境下葡萄采摘机器人采摘点的自动定位》(罗陆锋,邹湘军等.农业工程学报，2015，31(02)：14-21)提出了一种基于改进聚类图像分割和点线最小距离约束的采摘点定位方法。即在葡萄上方的固定区域进行直线检测，并以重心到检测到的直线的最小距离作为约束条件求解葡萄抓取点或采摘点。该方法的检测精度受质心检测精度的影响，同时对主果梗周围的其他果梗或果蒂敏感。
文献《非结构环境中扰动葡萄采摘点的视觉定位技术》(熊俊涛,何志良等.农业机械学报，2017，48(04)：29-33+81)提出了一种基于霍夫直线拟合和角度约束法的扰动葡萄采摘点的定位方法。即采用以直线与y轴夹角、直线与直线中心和质心形成直线的夹角为选择条件，选取得到主果梗直线。该方法的检测精度同样受质心检测精度影响，且算法的鲁棒性和适用性较差。
现有基于机器视觉的葡萄串抓取点定位研究多针对采摘问题，即葡萄串处于自然环境悬挂生长状态下，其主果梗具有位于葡萄串上方、外形近似直线等特征，相应地，现有基于机器视觉的葡萄串采摘抓取点定位方法多采用基于上述特征的直线检测方法、质心判断方法等。在与葡萄类似的其他串类水果的抓取点定位研究中，也多采用上述方法获取主果梗抓取区域。与自然环境悬挂生长状态下的葡萄串相比，自然放置葡萄串由于放置的随机性，其抓取点所在的主果梗无形状和位置约束，并且果梗和果粒分布无规律、葡萄串形态多样，因此针对自然环境悬挂生长的葡萄、荔枝等串类水果的现有抓取点定位方法并不适用。本发明提出了一种机器视觉基于多特征和梯度方向轮廓分析的自然放置葡萄串抓取点定位方法，构建t-10-2的bp神经网络对降维和解耦后的多维特征向量进行分类，实现主果梗区域的准确快速提取。同时构建主果梗边缘梯度方向分布图和梯度方向上的主果梗直径分布图，根据分布规律，选择自然放置葡萄串中最粗壮的位置作为优先抓取点，能够实现机器视觉对自然放置葡萄串抓取点的准确快速定位。
技术实现要素：
针对自然放置葡萄串的主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分，同时主果梗提取精度和速度受特征量大小和特征之间的耦合性的影响较大，以及难以直接对主果梗轮廓进行几何拟合和直径计算的问题，本发明提出了一种机器视觉基于多特征和梯度方向轮廓分析的自然放置葡萄串抓取点定位方法。首先根据串类水果分拣机器人的空间可抓取范围、抓取精度和速度等要求，构建获取葡萄串图像的硬件平台，得到基于机器视觉的自然放置葡萄串彩色图像，并对图像进行预处理，得到含有主果梗、次果梗、果蒂等区域的葡萄串二值图像。接着，针对自然放置葡萄串主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分的问题，构建能表征主果梗和非主果梗区别特征的多个描述子，并根据描述子构建表征较全面信息的多维特征向量。同时，针对特征量较多、特征之间的耦合性较高的问题，提出一种葡萄串多特征的主要信息提取方法，实现多维特征向量的降维和解耦。构建bp神经网络对降维和解耦后的多维特征向量进行分类，实现主果梗区域的准确快速提取。接着，针对难以直接对主果梗轮廓进行几何拟合和直径计算，主果梗上抓取点难以直接定位的问题，对主果梗边缘进行统计分析，根据区域轮廓上像素点的梯度和像素变化，构建主果梗边缘梯度方向分布图和梯度方向上的主果梗直径分布图，根据分布规律，选择葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，实现葡萄串抓取点的准确定位。最后，基于双目视觉标定参数，将抓取点的图像坐标转换为空间三维坐标点，最终得到自然放置葡萄串抓取点的空间三维坐标，以实现机器人对自然放置葡萄串的自动抓取。
本发明采用的技术方案是采用如下步骤：
(1)基于双目视觉的图像获取与预处理：本发明根据串类水果分拣机器人设计构建图像采集系统。通过多自由度支架将两个相机分别安置在不影响机器手移动和抓取操作，并且相机视场包含机器人工作空间的不同位置。同时将漫反射平板光源不直接照射葡萄串，以相互对射并采用暗室白色内壁反射的方式，实现操作空间光源均匀的漫反射，以提高图像质量。同时，对原始图像进行阈值分割，得到含有主果梗、次果梗、果蒂等区域的葡萄串二值图像。
(2)构建葡萄串多维特征向量和bp神经网络提取主果梗区域：针对自然放置葡萄串主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分的问题，构建能表征主果梗和非主果梗区别特征的多个描述子，并采用描述子构建表征较全面信息的多维特征向量。同时，针对特征量较多、特征之间的耦合性较高对区域分类的精度和速度影响较大的问题，提出一种葡萄串多特征的主要信息提取方法，实现多维特征向量的降维和解耦。最后，构建t-10-2的bp神经网络对降维和解耦后的多维特征向量进行分类，实现主果梗区域的准确快速提取。
(3)采用梯度方向轮廓分析定位抓取点：针对自然放置葡萄串主果梗轮廓外形不规律，难以直接对其进行几何拟合和直径计算，主果梗上抓取点难以直接定位的问题，对主果梗边缘进行统计分析，根据区域轮廓上像素点的梯度和像素变化，构建主果梗边缘梯度方向分布图和梯度方向上的主果梗直径分布图，根据分布规律，选择自然放置葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，以实现自然放置葡萄串抓取点的准确定位。
(4)采用双目标定获取抓取点的空间三维坐标：根据获取的抓取点图像坐标，采用双目视觉和双目标定技术，将抓取点的图像坐标转换为空间三维坐标点，最终得到自然放置葡萄串抓取点的空间三维坐标，以实现机器人对自然放置葡萄串的自动抓取。
本发明提出一种机器视觉基于多特征和梯度方向轮廓分析的自然放置葡萄串抓取点定位方法，通过采用上述技术方案后，其具有以下有益效果：
1、针对自然放置葡萄串主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分的问题，构建能表征主果梗和非主果梗区别特征的多个描述子，并采用描述子构建表征较全面信息的多维特征向量。
2、针对主果梗提取精度和速度受特征量大小和特征之间的耦合性的影响较大的问题，提出一种葡萄串多特征的主要信息提取方法，实现多维特征向量的降维和解耦。并构建t-10-2的bp神经网络对降维和解耦后的多维特征向量进行分类，实现主果梗区域的准确快速提取。
3、针对难以直接对主果梗轮廓进行几何拟合和直径计算，主果梗上抓取点难以直接定位的问题，对主果梗边缘进行统计分析，根据区域轮廓上像素点的梯度和像素变化，构建主果梗边缘梯度方向分布图和梯度方向上的主果梗直径分布图，根据分布规律，选择葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，实现葡萄串抓取点的准确定位。
附图说明
以下结合附图和具体实施方式对本发明作进一步详细说明。
图1为获取自然放置葡萄串图像的机器视觉硬件平台。
图2为自然放置葡萄串原始图像。
图3为本发明机器视觉基于多特征和梯度方向轮廓分析的自然放置葡萄串抓取点定位方法流程图。
图4为自然放置葡萄串果梗区域二值图。
图5为果梗区域集。其中：图5a为葡萄串非主果梗区域，图5b为葡萄串主果梗区域。
图6为bp神经网络结构图。
图7为边缘梯度方向求取示意图。
图8为主果梗示意图。其中：图8a为主果梗采摘端dp和主果梗分支a距离较近的示意图，图8b为主果梗采摘端dp和主果梗分支a距离较远的示意图，图8c为主果梗没有分支a的示意图。
图9为主果梗边缘梯度方向分布图。其中：图9a为主果梗采摘端dp和主果梗分支a距离较近的主果梗边缘梯度方向分布图，图9b为主果梗采摘端dp和主果梗分支a距离较远的主果梗边缘梯度方向分布图，图9c为主果梗没有分支a的主果梗边缘梯度方向分布图。
图10为主果梗直径分布图。图10a为主果梗采摘端dp和主果梗分支a距离较近的主果梗直径分布图，图10b为主果梗采摘端dp和主果梗分支a距离较远的主果梗直径分布图，图10c为主果梗没有分支a的主果梗直径分布图。
图11为抓取点受力示意图。
图12为方差贡献率。其中：图12a为方差贡献率，图12b为累计方差贡献率。
图13为自然放置葡萄串抓取点定位结果。
具体实施方式
下面结合附图进一步说明书本发明具体实施方式。
针对自然放置葡萄串的主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分，同时主果梗提取精度和速度受特征量大小和特征之间的耦合性的影响较大，以及难以直接对主果梗轮廓进行几何拟合和直径计算的问题，本发明提出了一种机器视觉基于多特征和梯度方向轮廓分析的自然放置葡萄串抓取点定位方法。首先根据串类水果分拣机器人的空间可抓取范围、抓取精度和速度等要求，构建获取葡萄串图像的硬件平台，得到基于机器视觉的自然放置葡萄串彩色图像，并对图像进行预处理，得到含有主果梗、次果梗、果蒂等区域的葡萄串二值图像。接着，针对自然放置葡萄串主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分的问题，构建能表征主果梗和非主果梗区别特征的多个描述子，并根据描述子构建表征较全面信息的多维特征向量。同时，针对特征量较多、特征之间的耦合性较高的问题，提出一种葡萄串多特征的主要信息提取方法，实现多维特征向量的降维和解耦。构建bp神经网络对降维和解耦后的多维特征向量进行分类，实现主果梗区域的准确快速提取。接着，针对难以直接对主果梗轮廓进行几何拟合和直径计算，主果梗上抓取点难以直接定位的问题，对主果梗边缘进行统计分析，根据区域轮廓上像素点的梯度和像素变化，构建主果梗边缘梯度方向分布图和梯度方向上的主果梗直径分布图，根据分布规律，选择葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，实现葡萄串抓取点的准确定位。最后，基于双目视觉标定参数，将抓取点的图像坐标转换为空间三维坐标点，最终得到自然放置葡萄串抓取点的空间三维坐标，以实现机器人对自然放置葡萄串的自动抓取。
具体实施方式以本课题组研发的串类水果分拣机器人为例、白罗莎葡萄为抓取对象进行描述。参见图1，本发明根据机器人分拣要求构建自然放置葡萄串图像获取的视觉硬件平台。
其具体步骤如下：
1.参见图3，基于双目视觉的图像获取与预处理：参见图1，基于串类水果分拣机器人设计自然放置葡萄串图像采集的机器视觉硬件。根据串类水果分拣机器人的空间可抓取范围设定视觉检测视场fovl*fovw和特征分辨率δwl*δww。基于式(1)求得相机的传感器像素尺寸pl*pw，并基于pl*pw选择满足要求的cmos相机。根据串类水果分拣机器人的可安装高度范围，设计视觉检测的物距范围。并基于式(2)(3)进行计算，求得物距在可设置范围内，同时满足镜头焦距标准的焦距标准值，得到有效焦距f，并选择对应焦距的镜头。
其中fovi为视场的长或宽，δwi为长或宽方向上的特征分辨率，wd为物距，md为像距，f为焦距，csi为传感器靶面尺寸的长或宽，单位均为mm；pi为传感器像素尺寸的长或宽，单位为像素。
根据串类水果分拣机器人的空间可抓取范围，设定自然放置葡萄串抓取点定位视场为400*300mm2，并设计特征分辨率为0.2mm，物距范围为800～900mm。基于式(1)、(2)、(3)计算视觉硬件参数，选择传感器像素尺寸为2592*1944、实际尺寸为1/2.5”的cmos相机，焦距为12mm的basler镜头。同时根据自然放置葡萄串的表面特征，葡萄颜色分为红色、紫色、暗紫色、绿色等多种，因此，选择白色漫反射平板光源。
参见图2：基于串类水果分拣机器人采集的自然放置葡萄串的彩色图像，葡萄串分为果粒和果梗两部分，其中果梗部分包括了主果梗、次果梗、果蒂等。根据葡萄的生长特性，其主果梗具有较好的韧性，对主果梗进行抓取，可以使葡萄串受到的损伤最小，实现稳定有效的葡萄串自动抓取。
参见图4：对原始图像进行阈值分割，得到含有主果梗、次果梗、果蒂等区域的葡萄串二值图像。
2.参见图3，构建葡萄串多维特征向量和bp神经网络提取主果梗区域：针对自然放置葡萄串主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分的问题，构建能表征主果梗和非主果梗区别特征的多个描述子，并采用描述子构建表征较全面信息的多维特征向量。同时，针对特征量较多、特征之间的耦合性较高对区域分类的精度和速度影响较大的问题，提出一种葡萄串多特征的主要信息提取方法，实现多维特征向量的降维和解耦。最后，构建t-10-2的bp神经网络对降维和解耦后的多维特征向量进行分类，实现主果梗区域的准确快速提取。
具体步骤如下:
(1)构建区域描述子和多维特征向量：参见图5，在果梗区域集中，主果梗和其他葡萄部位区域的形状、轮廓、大小等具有一定的差异性，基于区域的这些特征，设计选择区域面积、轮廓长度、区域宽度和高度、面积归一化二阶矩、位置归一化二阶矩、等效椭圆偏心度、等效椭圆蓬松度、等效椭圆结构因素、凸性、矩形度、最小外接圆半径、最大内接圆半径、最大内接矩形宽度和高度、圆形度、区域边界到区域中心的平均距离和距离偏差、圆度、紧密度20种区域的描述子对区域进行描述，并组成特征向量mf＝(x1,x2,x3,...,x20)，其中xi为列向量，每一个xi代表一个特征描述子，xi向量中的每一个元素对应此特征描述子下的某一个样本的特征值，xi的行数由葡萄区域分类样本的数量决定。
(2)采用提出的葡萄串多特征主信息提取方法降维和解耦多维特征向量：多维特征向量在一定程度上可以提高区域分类精度，但是时间消耗较大，同时其变量之间相互的关联性，对区域分类的精度也会造成一定的影响。为解决上述问题，本发明提出一种葡萄串多特征的主要信息提取方法，实现特征向量mf的降维和解耦。首先基于式(4)求取特征向量mf的协方差矩阵cov＝(sij)p×p。
其中，
之后求取协方差矩阵的特征值λi和对应的矩阵单位特征向量bi，将特征值按照大小进行排序，λ1≥λ2≥λ3≥...≥λp，并根据式(5)求取其信息的表征量αi。
本发明选择保留95％以上的多特征的主要信息，设前t个特征值对应的信息量满足分类需求，其特征值为λi以及矩阵单位特征向量为bi，基于式(6)最终得到降维和解耦后新的区域特征向量nfi。
nfi＝bi*mfi＝1,2,…,t(6)
(3)构建bp神经网络提取主果梗区域：参见图6，本发明构建t-10-2的bp神经网络对降维和解耦后的特征向量进行分类，实现主果梗的分类提取。输入层的神经元数量由降维和解耦之前的p下降到了t。将区域分为主果梗类和非主果梗类，输出层神经元的数量为2，隐含层数量选择10。本发明将隐藏层和输出层的激活函数分开设置，如式(7)所示，隐藏层的激活函数采用双曲正切函数。如式(8)所示，输出层采用softmax激活函数，将输出值映射到(0,1)的范围内，输出值累计求和为1。同时将初始权值设置为[-1,1]之间的随机数。
完成神经网络结构的设计后，采用样本进行训练，最速下降法进行学习，基于反向传播不断调整神经网络的权值和阈值参数，使得网络的误差达到最小。采用训练好的bp神经网络即可实现对数据的分类，实现区域集中主果梗的准确快速的提取。
3.参见图3，采用梯度方向轮廓分析定位抓取点：针对自然放置葡萄串主果梗轮廓外形不规律，难以直接对其进行几何拟合和直径计算，主果梗上抓取点难以直接定位的问题，对主果梗边缘进行统计分析，根据区域轮廓上像素点的梯度和像素变化，构建主果梗边缘梯度方向分布图和梯度方向上的主果梗直径分布图，根据分布规律，选择自然放置葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，实现自然放置葡萄串抓取点的准确定位。
具体步骤如下:
(1)首先提取主果梗区域的边缘轮廓，并按照轮廓走势将其排序并标号，li，i＝0,1,2,…,g。
(2)每间隔δpi个像素对li进行采样，考虑到机器人手爪尺寸si一般大于等于5mm，基于式(9)计算，轮廓处理间隔δpi最大可以取值为25。为实现高精度测量，同时降低数据计算量，将δpi取值为10，得到采样后的主果梗区域轮廓点集li'，i＝0,1,2,…,g'。g'取g/10的商。
其中δf和si的单位为mm，δpi单位为像素。
(3)参见图7，对采样后的轮廓点集逐点进行计算，基于式(10)求取每一点li'处边缘轮廓的梯度向量gi，以横轴x度量梯度的方向，基于式(11)求取梯度方向。
(4)参见图8，本发明将主果梗的边缘轮廓分为3种基本形状：(1)主果梗采摘端dp和主果梗分支a距离较近；(2)主果梗采摘端dp和主果梗分支a距离较远；(3)主果梗没有分支a。其中，d1和d2为主果梗和果穗接触的边缘轮廓端部。沿主果梗边缘进行标号，以点集的标号为横坐标，边缘点梯度方向作为纵坐标，构建边缘梯度方向的分布图，参见图9，方向变化剧烈的点区间对应主果梗分支和端部。因此，根据分布图方向变化的上升沿或下降沿可求取主果梗分支a和主果梗采摘端dp的边缘位置。
若分布图中具有的上升沿或下降沿数量小于3，则主果梗没有分支。否则，主果梗具有分支，需要求取主果梗分支a和主果梗采摘端dp的位置：由于端部的方向变化明显大于主果梗分支方向的变化，可利用阈值对区间进行选择，将最小变化的上升沿或下降沿作为主果梗的分支区域a。同时，由于分支区域的特征，分支区域a的前一个和后一个上升沿或下降沿对应于d1和d2。其余的最后一个上升沿或下降沿对应于dp。
(5)以点li'为起始点，沿着边缘梯度方向β求取区域轮廓像素的变化，得到边缘点对。由于主果梗形状多样，主果梗上果梗的直径并不能直接通过检测轮廓之间距离而求得。本发明根据边缘像素值的变化进行计算，当沿检测点边缘梯度方向β第一次检测到像素变化上升沿时，将此点标记为ki'，循环检测每一个点li'所对应的梯度方向边缘点ki'，将li'和ki'组成边缘点对集合j。
(6)求取每对边缘点的欧几里得距离，得到轮廓在不同部位的直径信息hi，以边缘点标号li'为横坐标，边缘点梯度方向上直径信息hi为纵坐标，参见图10，构建主果梗的直径分布图。
(7)求取抓取点：若主果梗没有分支，则根据主果梗直径分布图求取直径最大值对应的点作为抓取点。若主果梗具有分支，则选择分支与主果梗采摘端部之间的区域中的直径最大值对应的点作为抓取点。
参见图11，本发明方法考虑到了抓取状态下葡萄串重力以及葡萄分布的特点，使得多分支的葡萄串的每一分支的受力点均集中在主分支部分，避免不同分支葡萄之间受力不同导致的抓取时葡萄分支之间分离的问题。同时，选择葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，实现葡萄串抓取点的准确定位。
4.参见图3，采用双目标定获取抓取点的空间三维坐标：对双目视觉获取到的左右相机图像进行处理，得到实际抓取点pw的投影点pl和pr。并基于式(12)～(14),求得抓取点pw的三维空间坐标。
pw＝(ata)-1atb(12)
式中(ul,vl,1)，(ur,vr,1)分别表示投影点pl和pr的齐次坐标；(x,y,z,1)为抓取点在世界坐标系下的齐次坐标；
至此，自然放置葡萄串抓取点定位已完成。
实施例
本发明着重提出一种机器视觉基于多特征和梯度方向轮廓分析的葡萄串抓取点定位方法，解决自然放置葡萄串的主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分，同时主果梗提取精度和速度受特征量大小和特征之间的耦合性的影响较大，以及难以直接对主果梗轮廓进行几何拟合和直径计算的问题。
具体实施例以本课题组研发的串类水果分拣机器人为例、白罗莎葡萄为抓取对象进行描述。其具体实施方式如下：
1.基于双目视觉的图像获取与预处理：基于串类水果分拣机器人设计自然放置葡萄串图像采集的机器视觉硬件。根据串类水果分拣机器人的空间可抓取范围设定视觉检测视场fovl*fovw和特征分辨率δwl*δww。基于式(1)求得相机的传感器像素尺寸pl*pw，并基于pl*pw选择满足要求的cmos相机。根据串类水果分拣机器人的可安装高度范围，设计视觉检测的物距范围。并基于式(2)(3)进行计算，求得物距在可设置范围内，同时满足镜头焦距标准的焦距标准值，得到有效焦距f，并选择对应焦距的镜头。
其中fovi为视场的长或宽，δwi为长或宽方向上的特征分辨率，wd为物距，md为像距，f为焦距，csi为传感器靶面尺寸的长或宽，单位均为mm；pi为传感器像素尺寸的长或宽，单位为像素。
根据串类水果分拣机器人的空间可抓取范围，设定自然放置葡萄串抓取点定位视场为400*300mm2，并设计特征分辨率为0.2mm，物距范围为800～900mm。基于式(1)、(2)、(3)计算视觉硬件参数，选择传感器像素尺寸为2592*1944、实际尺寸为1/2.5”的cmos相机，焦距为12mm的basler镜头。同时基于自然放置葡萄串的表面特征，葡萄颜色分为红色、紫色、暗紫色、绿色等多种，因此，选择白色漫反射平板光源。
基于串类水果分拣机器人采集的自然放置葡萄串的彩色图像，葡萄串分为果粒和果梗两部分，其中果梗部分包括了主果梗、次果梗、果蒂等。根据葡萄的生长特性，其主果梗具有较好的韧性，对主果梗进行抓取，可以使葡萄串受到的损伤最小，实现稳定有效的葡萄串自动抓取。因此，将主果梗区域从图像中进行提取，同时在主果梗区域中定位抓取点，是实现自然放置葡萄串的抓取点定位以及进一步实现基于机器视觉和机器人的葡萄串自动抓取研究所需解决的关键问题。
对原始图像进行阈值分割，得到含有主果梗、次果梗、果蒂等区域的葡萄串二值图像。
2.构建葡萄串多维特征向量和bp神经网络提取主果梗区域：针对自然放置葡萄串主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分的问题，构建能表征主果梗和非主果梗区别特征的多个描述子，并采用描述子构建表征较全面信息的多维特征向量。同时，针对特征量较多、特征之间的耦合性较高对区域分类的精度和速度影响较大的问题，提出一种葡萄串多特征的主要信息提取方法，实现多维特征向量的降维和解耦。最后，构建t-10-2的bp神经网络对降维和解耦后的多维特征向量进行分类，实现主果梗区域的准确快速提取。
具体步骤如下:
(1)构建区域描述子和多维特征向量：在果梗区域集中，主果梗和其他葡萄部位区域的形状、轮廓、大小等具有一定的差异性，基于区域的这些特征，设计选择区域面积、轮廓长度、区域宽度和高度、面积归一化二阶矩、位置归一化二阶矩、等效椭圆偏心度、等效椭圆蓬松度、等效椭圆结构因素、凸性、矩形度、最小外接圆半径、最大内接圆半径、最大内接矩形宽度和高度、圆形度、区域边界到区域中心的平均距离和距离偏差、圆度、紧密度20种区域的描述子对区域进行描述，并组成特征向量mf＝(x1,x2,x3,...,x20)，其中xi为列向量，每一个xi代表一个特征描述子，xi向量中的每一个元素对应此特征描述子下的某一个样本的特征值，xi的行数由葡萄区域分类样本的数量决定。
(2)采用提出的葡萄串多特征主信息提取方法降维和解耦多维特征向量：多维特征向量在一定程度上可以提高区域分类精度，但是时间消耗较大，同时其变量之间相互的关联性，对区域分类的精度也会造成一定的影响。为解决上述问题，本发明提出一种葡萄串多特征的主要信息提取方法，实现特征向量mf的降维和解耦。首先基于式(4)求取特征向量mf的协方差矩阵cov＝(sij)p×p。
其中，
之后求取协方差矩阵的特征值λi和对应的矩阵单位特征向量bi，将特征值按照大小进行排序，λ1≥λ2≥λ3≥...≥λp，并根据式(5)求取其信息的表征量αi。
如图12所示，本发明选择保留95％以上的多特征的主要信息，设前t个特征值对应的信息量满足分类需求，其特征值为λi以及矩阵单位特征向量为bi，基于式(6)最终得到降维和解耦后新的区域特征向量nfi。
nfi＝bi*mfi＝1,2,…,t(6)
(3)构建bp神经网络提取主果梗区域：本发明构建t-10-2的bp神经网络对降维和解耦后的特征向量进行分类，实现主果梗的分类提取。输入层的神经元数量由降维和解耦之前的p下降到了t。将区域分为主果梗类和非主果梗类，输出层神经元的数量为2，隐含层数量选择10。本发明将隐藏层和输出层的激活函数分开设置，如式(7)所示，隐藏层的激活函数采用双曲正切函数。如式(8)所示，输出层采用softmax激活函数，将输出值映射到(0,1)的范围内，输出值累计求和为1。同时将初始权值设置为[-1,1]之间的随机数。
完成神经网络结构的设计后，采用样本进行训练，最速下降法进行学习，基于反向传播不断调整神经网络的权值和阈值参数，使得网络的误差达到最小。采用训练好的bp神经网络即可实现对数据的分类，实现区域集中主果梗的准确快速的提取。
3.采用梯度方向轮廓分析定位抓取点：针对自然放置葡萄串主果梗轮廓外形不规律，难以直接对其进行几何拟合和直径计算，主果梗上抓取点难以直接定位的问题，对主果梗边缘进行统计分析，根据区域轮廓上像素点的梯度和像素变化，构建主果梗边缘梯度方向分布图和梯度方向上的主果梗直径分布图，根据分布规律，选择自然放置葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，实现自然放置葡萄串抓取点的准确定位。
具体步骤如下:
(1)首先提取主果梗区域的边缘轮廓，并按照轮廓走势将其排序并标号，li，i＝0,1,2,…,g。
(2)每间隔δpi个像素对li进行采样，考虑到机器人手爪尺寸si一般大于等于5mm，基于式(9)计算，轮廓处理间隔δpi最大可以取值为25。为实现高精度测量，同时降低数据计算量，将δpi取值为10，得到采样后的主果梗区域轮廓点集li'，i＝0,1,2,…,g'。g'取g/10的商。
其中δf和si的单位为mm，δpi单位为像素。
(3)对采样后的轮廓点集逐点进行计算，基于式(10)求取每一点li'处边缘轮廓的梯度向量gi，以横轴x度量梯度的方向，基于式(11)求取梯度方向。
(4)本发明将主果梗的边缘轮廓分为3种基本形状：(1)主果梗采摘端dp和主果梗分支a距离较近；(2)主果梗采摘端dp和主果梗分支a距离较远；(3)主果梗没有分支a。其中，d1和d2为主果梗和果穗接触的边缘轮廓端部。沿主果梗边缘进行标号，以点集的标号为横坐标，边缘点梯度方向作为纵坐标，构建边缘梯度方向的分布图，其中，方向变化剧烈的点区间对应主果梗分支和端部。因此，根据分布图方向变化的上升沿或下降沿可求取主果梗分支a和主果梗采摘端dp的边缘位置。
若分布图中具有的上升沿或下降沿数量小于3，则主果梗没有分支。否则，主果梗具有分支，需要求取主果梗分支a和主果梗采摘端dp的位置：由于端部的方向变化明显大于主果梗分支方向的变化，可利用阈值对区间进行选择，将最小变化的上升沿或下降沿作为主果梗的分支区域a。同时，由于分支区域的特征，分支区域a的前一个和后一个上升沿或下降沿对应于d1和d2。其余的最后一个上升沿或下降沿对应于dp。
(5)以点li'为起始点，沿着边缘梯度方向β求取区域轮廓像素的变化，得到边缘点对。由于主果梗形状多样，主果梗上果梗的直径并不能直接通过检测轮廓之间距离而求得。本发明根据边缘像素值的变化进行计算，当沿检测点边缘梯度方向β第一次检测到像素变化上升沿时，将此点标记为ki'，循环检测每一个点li'所对应的梯度方向边缘点ki'，将li'和ki'组成边缘点对集合j。
(6)求取每对边缘点的欧几里得距离，得到轮廓在不同部位的直径信息hi，以边缘点标号li'为横坐标，边缘点梯度方向上直径信息hi为纵坐标，构建主果梗的直径分布图。
(7)求取抓取点：若主果梗没有分支，则根据主果梗直径分布图求取直径最大值对应的点作为抓取点。若主果梗具有分支，则选择分支与主果梗采摘端部之间的区域中的直径最大值对应的点作为抓取点。
本发明方法考虑到了抓取状态下葡萄串重力以及葡萄分布的特点，使得多分支的葡萄串的每一分支的受力点均集中在主分支部分，避免不同分支葡萄之间受力不同导致的抓取时葡萄分支之间分离的问题。同时，选择葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，实现葡萄串抓取点的准确定位。
4.采用双目标定获取抓取点的空间三维坐标：对双目视觉获取到的左右相机图像进行处理，得到实际抓取点pw的投影点pl和pr。并基于式(12)～(14),求得抓取点pw的三维空间坐标。
pw＝(ata)-1atb(12)
式中(ul,vl,1)，(ur,vr,1)分别表示投影点pl和pr的齐次坐标；(x,y,z,1)为抓取点在世界坐标系下的齐次坐标；
本实施例基于串类水果分拣机器人构建自然放置葡萄串图像采集的机器视觉硬件，通过平台采集白罗莎葡萄的不同形态下的200幅可见光彩色图像。采用本发明提出的机器视觉基于多特征和梯度方向轮廓分析的自然放置葡萄串抓取点定位方法对获取的200幅图像进行抓取点定位实验，如图13所示，得到自然放置葡萄串的抓取位置均在主果梗直径最大处，提高了自然放置葡萄串抓取点定位的精度和效率，为葡萄串的稳定、准确、无损抓取奠定基础。
综上，本发明的一种机器视觉基于多特征和梯度方向轮廓分析的自然放置葡萄串抓取点定位方法，以解决自然放置葡萄串的主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分，同时主果梗提取精度和速度受特征量大小和特征之间的耦合性的影响较大，以及难以直接对主果梗轮廓进行几何拟合和直径计算的问题，可运用于对精度和速度要求较高的机器人对自然放置串类水果的自动抓取。首先根据串类水果分拣机器人的空间可抓取范围、抓取精度和速度等要求，构建获取葡萄串图像的硬件平台，得到基于机器视觉的自然放置葡萄串彩色图像，并对图像进行预处理，得到含有主果梗、次果梗、果蒂等区域的葡萄串二值图像。接着，针对自然放置葡萄串主果梗无形状和位置约束，难以直接通过特征阈值将图像中主果梗与次果梗、果蒂区分的问题，构建能表征主果梗和非主果梗区别特征的多个描述子，并根据描述子构建表征较全面信息的多维特征向量。同时，针对特征量较多、特征之间的耦合性较高的问题，提出一种葡萄串多特征的主要信息提取方法，实现多维特征向量的降维和解耦。采用所构建的bp神经网络对降维和解耦后的多维特征向量进行分类，实现主果梗区域的准确快速提取。接着，针对难以直接对主果梗轮廓进行几何拟合和直径计算，主果梗上抓取点难以直接定位的问题，对主果梗边缘进行统计分析，根据区域轮廓上像素点的梯度和像素变化，构建主果梗边缘梯度方向分布图和梯度方向上的主果梗直径分布图，根据分布规律，选择葡萄串中最粗壮的位置作为优先抓取点，与是否有分支的判断进行结合，以主果梗主分支和最粗壮双重约束定位抓取点，以实现葡萄串抓取点的准确定位。最后，基于双目视觉标定参数，将抓取点的图像坐标转换为空间三维坐标点，最终得到自然放置葡萄串抓取点的空间三维坐标，以实现机器人对自然放置葡萄串的自动抓取。
应理解上述实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。