一种农作物果实采摘的果实识别定位方法

1.本发明涉及一种果实识别定位方法，特别是一种农作物果实采摘的果实识别定位方法。


背景技术：

2.当前采摘机器人广泛应用于农业领域，作为采摘机器人的关键技术，研究人员对农作物的果实目标检测与定位开展了大量研究。目标检测与定位的功能使采摘机器人能够对环境进行感知并指导采摘机器人末端执行器运动，从而完成采摘任务。
3.然而，现有的目标检测与定位方法在农业领域的应用存在以下缺陷。一是现有的目标检测模型比较复杂，存在参数量较多，计算量大等问题。因此，现有模型对硬件要求较高，可移植性较差，难以部署到算力有限的嵌入式平台。同时，目前采摘机器人的采摘效率还不够高，主要原因是在目标检测过程中，对图像处理的速度不够；二是自然环境下大多数农作物的果实呈类球形，果实比较密集，受树枝遮挡、果实重叠的现象普遍存在，常规果实识别算法是利用果实的颜色空间将果实与背景进行区分，经过进一步处理，识别出完整的果实，但这种算法无法准确的识别密集型果实；三是目前应用于农业领域的目标检测算法缺乏同时检测与定位的能力。
4.所以针对以上技术问题，本发明提出一种农作物果实采摘的果实识别定位方法。


技术实现要素：

5.本发明的目的在于，提供一种农作物果实采摘的果实识别定位方法。本发明具有能够降低网络复杂度，提升检测效率，使其能够部署到算力较小的嵌入式平台，并获得农作物密集果实的定位信息，为采摘机器人后续的动作规划奠定基础的特点。
6.本发明的技术方案：一种农作物果实采摘的果实识别定位方法，包括有以下步骤：
7.步骤一、对农作物果实进行图像采集，建立果实数据集，为后续农作物果实识别奠定基础；
8.步骤二、将原始yolov5s模型中的c3_x结构替换为ghostnet模块，得到gn-yolov5s模型，降低模型的参数量和计算量；
9.步骤三、将步骤二中得到的gn-yolov5s模型进行稀疏训练，得到gs-yolov5s模型，且稀疏训练首先以bn层的缩放因子γ作为评价通道重要性指标，为gs-yolov5s模型剪枝提供依据；
10.步骤四、设置剪枝率，将步骤三得到的gs-yolov5s模型中γ值为0-0.005的通道进行剪枝，移除被剪枝的通道的输入输出，然后对剪枝后的模型权重进行调整，最后调整剪枝率训练并重复这个过程，得到gp-yolov5s模型，进一步降低了模型参数量；
11.步骤五、将步骤二中的原始yolov5s检测模型作为教师模型，将步骤四得到的gp-yolov5s模型作为学生模型，通过步骤一中的原始yolov5s模型的完整输出，让步骤四得到的gp-yolov5s模型掌握步骤一中原始yolov5s模型的推理方式，步骤四得到的gp-yolov5s
模型的分类损失函数如式(4)所示,坐标框损失函数如式(5)所示.最终蒸馏总体损失函数如式(6)所示；
[0012][0013][0014][0015]
其中，式4中为步骤四得到的gp-yolov5s模型模型对应的目标、类别概率、坐标框,为各自的真实值,f
obj
、f
class
、f
bb
分别为目标、分类以及坐标框的损失函数；
[0016]
其中，式5中为目标损失,为蒸馏损失,λd为权重系数,为教师模型预测目标；
[0017]
其中，式6中:对应原始分类损失,为蒸馏分类损失,λd为权重系数,为更新后的教师模型预测目标，得到pd-yolov5s模型，使得最终得到的pd-yolov5s模型识别精度高于剪枝后的gp-yolov5s模型，降低替换原始yolov5s模型中的c3_x结构与剪枝对识别精度的影响，并且得到的gp-yolov5s模型能够部署到算力较小的嵌入式平台；
[0018]
步骤六；相机标定：将双目相机水平固定，确保标定板在相机视野内，不断的改变标定板的位置和姿态，采集40-50组标定图片，选择不同角度的14-20组图片，使用matlab标定工具箱进行标定，得到双目相机参数，为农作物果实能够准确定位提供硬件支持；
[0019]
步骤七、完成步骤六的相机标定后，利用步骤五中得到的pd-yolov5s模型输入双目相机，使双目相机的左右摄像头分别识别出的农作物果实检测框，将农作物检测框中心点作为目标点，记为p点，左相机的在像素坐标系下目标点p的坐标(x
l
,y
l
)，记为p
l
(x
l
,y
l
)；右相机的在像素坐标系下目标点p的坐标(xr,yr)，记为pr(xr,yr)；
[0020]
步骤八、将步骤七中得到农作物果实目标点p的二维坐标使用sgbm立体匹配算法对双目相机左右摄像头获取的图片逐行进行匹配；步骤七中得到的p点在左右相机的投影平面上的像素坐标分别为p
l
(x
l
,y
l
)和pr(xr,yr)，两相机的图像平面在同一水平面上，步骤七中得到的p点的坐标中y＝y
l
＝yr，由三角关系可以得到如式(9)所示：
[0021][0022]
其中：f为相机焦距，b为左右相机光心距离，(xc,yc,zc)为世界坐标系下点p的坐标；
[0023]
将步骤七中得到的p点的视差x
l-xr记为d，以左相机的坐标系作为世界坐标系，利用视差值，计算得到p点在左相机坐标系下的坐标，如式(10)所示为：
[0024][0025]
其中：b为左右相机光心距离,d为p点的视差，x
l
为左相机中目标点p在像素坐标系下的横坐标，y为左相机与相机中目标点p在像素坐标系下的纵坐标；
[0026]
根据式(10)计算得到的坐标(xc,yc，zc)即为步骤七中得到的p点的三维坐标，因此解决了对农作物果实研究缺乏空间定位能力的问题。
[0027]
前述的农作物果实采摘的果实识别定位方法中，所述步骤一中，对农作物果实进行图像采集后，然后对果实图像进行人工标注，绘制果实目标的外接矩形框，并标注被遮挡果实与未被遮挡果实两类，标注后完成后，建立果实数据集。
[0028]
前述的农作物果实采摘的果实识别定位方法中，所述步骤二中，ghostnet模块首先将果实数据集通过常规卷积，得到常规卷积特征图，然后由已生成的常规卷积特征图进行线性变换，生成新的相似特征图，最后将两组特征图中的信息进行组合，作为全部特征信息。
[0029]
前述的农作物果实采摘的果实识别定位方法中，所述步骤三中，稀疏训练首先以bn层的缩放因子γ作为评价通道重要性指标,γ大小与通道重要性呈正相关，bn层的计算公式如下所示：
[0030]zout
＝γ
·z^
+β
ꢀꢀ
(1)
[0031][0032]
其中γ、β为bn层的归一化参数，zm、z
out
分别表示bn层的输入和输出，μ、δ分别代表bn层的均值和方差，ε表示一个范围为0-0.001的常量；
[0033]
然后对bn层的γ参数引入式(3)中的正则惩罚项∑
γ
g(γ)，同时构建稀疏训练损失函数，稀疏训练损失函数如下所示：
[0034]
l＝∑
(x,y)
l(f(x,w),y)+λ∑
γ
g(γ)
ꢀꢀ
(3)
[0035]
其中∑
(x,y)
l(f(x,w),y)为步骤二中gn-yolov5s模型定义的损失函数，x表示输入矩阵、y表示输入标签、w表示模型的权重；λ∑
γ
g(γ)是用来约束γ的正则项惩罚，其中λ＝0.01用于平衡下两项损失，称为稀疏率。
[0036]
前述的农作物果实采摘的果实识别定位方法中，所述步骤四中，设置65-75％的剪枝率，将步骤三得到的gs-yolov5s模型中γ值为0-0.005的通道进行剪枝，移除被剪枝的通道的输入输出，然后对剪枝后的模型权重进行调整，最后调整剪枝率训练并重复5-10次这个过程，得到gp-yolov5s模型。
[0037]
前述的农作物果实采摘的果实识别定位方法中，所述步骤四中，gp-yolov5s模型检测精度不低于步骤(2)中gn-yolov5s模型的0.98倍，模型大小不高于步骤二中gn-yolov5s模型大小的0.5倍。
[0038]
前述的农作物果实采摘的果实识别定位方法中，所述步骤七中，双目相机的左相机的透镜光心定义为o
l
，右相机的透镜光心定义为or，o
l
用作左相机的相机坐标系的原点、or用作右相机的相机坐标系的原点；将左右光心之间的距离为基线距离用b表示，两个相机
的焦距用f表示。
[0039]
前述的农作物果实采摘的果实识别定位方法中，所述步骤七中，通过式(7)计算出左相机的在像素坐标系下目标点p的坐标(x
l
,y
l
)，记为p
l
(x
l
,y
l
)，
[0040][0041]
其中：(x
min
,y
min
)表示左相机中果实检测框在像素坐标系下左上角图像坐标；(x
max
,y
max
)表示左相机中果实检测框在像素坐标系下右下角图像坐标；
[0042]
通过式(8)计算出右相机的在像素坐标系下目标点p的坐标(xr,yr)，记为pr(xr,yr)；
[0043][0044]
其中：(x
min
,y
min
)表示右相机中果实检测框在像素坐标系下左上角图像坐标；(x
max
,y
max
)表示右相机中果实检测框在像素坐标系下右下角图像坐标。
[0045]
前述的农作物果实采摘的果实识别定位方法中，所述步骤八中，sgbm立体匹配算法的主要流程分为四个部分，首先是预处理，对输入的图像进行预处理，获取梯度信息，用于后续成本计算，然后是将原图像和预处理得到的信息进行代价融合，接着从8-16个方向进行一维动态规划求解，每个方向都求出解，然后进行能量累积，将各个方向相加得到最终代价，最后是进行优化处理，将计算出的最终代价中最小的值作为匹配代价，具有匹配代价的视差作为最终视差，将获得的深度信息归一化得到视差图。
[0046]
与现有技术相比，本发明具有以下有益效果：
[0047]
农作物果实识别算法是采摘机器人的核心技术之一，然而，在自然环境下，大多农作物生长比较密集，现有的目标检测算法无法区分被枝叶遮挡或被其他目标果实遮挡的情况，如果将该算法直接应用到采摘机器人，采摘机器人无法准确地采集到农作物，甚至会损坏采摘机器人地机械臂或末端执行器。因此，本发明构建密集型农作物果实数据集，为后续农作物果实识别奠定基础。
[0048]
其次，现有地目标检测算法比较复杂，存在参数量较多，计算量大等问题。因此，现有模型对硬件要求较高，可移植性较差，难以部署到算力有限的嵌入式平台。所以，本发明引入ghostnet轻量化模块，得到gn-yolov5s模型，由深度可分离卷积代替原始卷积层提取特征,减少网络计算量；再次,为进一步精简模型大小,在bn层引入关于缩放系数的正则化项进行稀疏训练,筛选出缩放因子γ为0-0.005的通道,做出剪枝处理得到gs-yolov5s模型；最后,为使剪枝后的模型保持较高的检测精度,采用知识蒸馏方法,以教师网络辅助剪枝后的模型微调得到pd-yolov5s，降低硬件成本,同时在低算力平台便于部署。
[0049]
本发明使用知识蒸馏并改进损失函数，最终得到pd-yolov5s模型，使模型在经过轻量化之后，能够提升pd-yolov5s的准确度。使用双目立体定位，解决密集型农作物果实缺乏定位信息的问题。
[0050]
综上所述，本发明能够降低网络复杂度，提升检测效率，使其能够部署到算力较小的嵌入式平台，并获得农作物密集果实的定位信息，为采摘机器人后续的动作规划奠定基础的有益效果。
附图说明
[0051]
图1是本发明农作物果实(辣椒)数据集的部分图片；
[0052]
图2是本发明gn-yolov5s模型的结构示意图；
[0053]
图3是本发明对gs-yolov5s模型的剪枝示意图，其中c
i1
，c
i2
，
……
，c
i2
为gs-yolov5s模型的输入与输出；
[0054]
图4为本发明pd-yolov5s模型的示意图；
[0055]
图5为本发明农作物果实定位的流程图；
[0056]
图6为本发明双目相机左相机在像素坐标系下果实目标点的二维坐标p
l
(x
l
,y
l
)；
[0057]
图7为本发明双目相机从像素坐标系的二维坐标到世界坐标系的三维坐标转换图；
[0058]
图8是本发明对gn-yolov5s模型进行稀疏训练时，稀疏率为0.005时的缩放因子分布图；
[0059]
图9是本发明对gn-yolov5s模型进行稀疏训练时，稀疏率为0.01时的缩放因子分布图；
[0060]
图10是本发明pd-yolov5s识别农作物果实(辣椒)时的平均精度曲线；
[0061]
图11是本发明pd-yolov5s识别农作物果实(辣椒)实时的检测图；
[0062]
图12是本发明原始yolov5s的农作物果实(辣椒)实时检测图；
[0063]
图13是本发明pd-yolov5模型的农作物果实(辣椒)实时检测图。
具体实施方式
[0064]
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
[0065]
实施例1、一种农作物果实采摘的果实识别定位方法，包括有以下步骤：
[0066]
步骤一、对农作物果实进行图像采集后，然后对果实图像进行人工标注，绘制果实目标的外接矩形框，并标注被遮挡果实与未被遮挡果实两类，标注后完成后，建立果实数据集；
[0067]
步骤二、将原始yolov5s模型中的c3_x结构替换为ghostnet模块，得到gn-yolov5s模型；
[0068]
其中ghostnet模块首先将果实数据集通过常规卷积，得到常规卷积特征图，然后由已生成的常规卷积特征图进行线性变换，生成新的相似特征图，最后将两组特征图中的信息进行组合，作为全部特征信息；
[0069]
步骤三、将步骤二中得到的gn-yolov5s模型进行稀疏训练，得到gs-yolov5s模型，且稀疏训练首先以bn层的缩放因子γ作为评价通道重要性指标，γ大小与通道重要性呈正相关，bn层的计算公式如下所示：
[0070]zout
＝γ
·z^
+β
ꢀꢀ
(1)
[0071][0072]
其中γ、β为bn层的归一化参数，zm、z
out
分别表示bn层的输入和输出，μ、δ分别代表bn层的均值和方差，ε表示一个范围为0-0.001的常量；
[0073]
然后对bn层的γ参数引入式(3)中的正则惩罚项∑
γ
g(γ)，同时构建稀疏训练损失函数，稀疏训练损失函数如下所示：
[0074]
l＝∑
(x,y)
l(f(x,w),y)+λ∑
γ
g(γ)
ꢀꢀ
(3)
[0075]
其中∑
(x,y)
l(f(x,w),y)为步骤二中gn-yolov5s模型定义的损失函数，x表示输入矩阵、y表示输入标签、w表示模型的权重；λ∑
γ
g(γ)是用来约束γ的正则项惩罚，其中λ＝0.01用于平衡下两项损失，称为稀疏率。
[0076]
步骤四、设置65-75％的剪枝率，将步骤三得到的gs-yolov5s模型中γ值为0-0.005的通道进行剪枝，移除被剪枝的通道的输入输出，然后对剪枝后的模型权重进行调整，最后调整剪枝率训练并重复5-10次这个过程，得到gp-yolov5s模型，且gp-yolov5s模型检测精度不低于步骤(2)中gn-yolov5s模型的0.98倍，模型大小不高于步骤二中gn-yolov5s模型大小的0.5倍；
[0077]
步骤五、将步骤二中的原始yolov5s检测模型作为教师模型，将步骤四得到的gp-yolov5s模型作为学生模型，通过步骤一中的原始yolov5s模型的完整输出，让步骤四得到的gp-yolov5s模型掌握步骤一中原始yolov5s模型的推理方式，步骤四得到的gp-yolov5s模型的分类损失函数如式(4)所示,坐标框损失函数如式(5)所示.最终蒸馏总体损失函数如式(6)所示；
[0078][0079][0080][0081]
其中，式4中为步骤四得到的gp-yolov5s模型模型对应的目标、类别概率、坐标框,为各自的真实值,f
obj
、f
class
、f
bb
分别为目标、分类以及坐标框的损失函数；
[0082]
其中，式5中为目标损失,为蒸馏损失,λd为权重系数,为教师模型预测目标；
[0083]
其中，式6中:对应原始分类损失,为蒸馏分类损失,λd为权重系数,为更新后的教师模型预测目标，得到pd-yolov5s模型；
[0084]
步骤六；相机标定：将双目相机水平固定，确保标定板在相机视野内，不断的改变标定板的位置和姿态，采集40-50组标定图片，选择不同角度的14-20组图片，使用matlab标定工具箱进行标定，得到双目相机参数；
[0085]
步骤七、完成步骤六的相机标定后，利用步骤五中得到的pd-yolov5s模型输入双目相机，使双目相机的左右摄像头分别识别出的农作物果实检测框，将农作物检测框中心点作为目标点，记为p点，左相机的在像素坐标系下目标点p的坐标(x
l
,y
l
)，记为p
l
(x
l
,y
l
)；右相机的在像素坐标系下目标点p的坐标(xr,yr)，记为pr(xr,yr)；
[0086]
双目相机的左相机的透镜光心定义为o
l
，右相机的透镜光心定义为or，o
l
用作左相机的相机坐标系的原点、or用作右相机的相机坐标系的原点；将左右光心之间的距离为基
线距离用b表示，两个相机的焦距用f表示；
[0087]
通过式(7)计算出左相机的在像素坐标系下目标点p的坐标(x
l
,y
l
)，记为p
l
(x
l
,y
l
)，
[0088][0089]
其中：(x
min
,y
min
)表示左相机中果实检测框在像素坐标系下左上角图像坐标；(x
max
,y
max
)表示左相机中果实检测框在像素坐标系下右下角图像坐标；
[0090]
通过式(8)计算出右相机的在像素坐标系下目标点p的坐标(xr,yr)，记为pr(xr,yr)；
[0091][0092]
其中：(x
min
,y
min
)表示右相机中果实检测框在像素坐标系下左上角图像坐标；(x
max
,y
max
)表示右相机中果实检测框在像素坐标系下右下角图像坐标。
[0093]
步骤八、将步骤七中得到农作物果实目标点p的二维坐标使用sgbm立体匹配算法对双目相机左右摄像头获取的图片逐行进行匹配；sgbm立体匹配算法的主要流程分为四个部分，首先是预处理，对输入的图像进行预处理，获取梯度信息，用于后续成本计算，然后是将原图像和预处理得到的信息进行代价融合，接着从8-16个方向进行一维动态规划求解，每个方向都求出解，然后进行能量累积，将各个方向相加得到最终代价，最后是进行优化处理，将计算出的最终代价中最小的值作为匹配代价，具有匹配代价的视差作为最终视差，将获得的深度信息归一化得到视差图；
[0094]
步骤七中得到的p点在左右相机的投影平面上的像素坐标分别为p
l
(x
l
,y
l
)和pr(xr,yr)，两相机的图像平面在同一水平面上，步骤七中得到的p点的坐标中y＝y
l
＝yr，由三角关系可以得到如式(9)所示：
[0095][0096]
其中：f为相机焦距，b为左右相机光心距离，(xc,yc,zc)为世界坐标系下点p的坐标；
[0097]
将步骤七中得到的p点的视差x
l-xr记为d，以左相机的坐标系作为世界坐标系，利用视差值，计算得到p点在左相机坐标系下的坐标，如式(10)所示为：
[0098][0099]
其中：b为左右相机光心距离,d为p点的视差，x
l
为左相机中目标点p在像素坐标系下的横坐标，y为左相机与相机中目标点p在像素坐标系下的纵坐标；
[0100]
根据式(10)计算得到的坐标(xc,yc,zc)即为步骤七中得到的p点的三维坐标。
[0101]
实验证明：
[0102]
本发明训练过程在ubuntu18.0、cuda11.0环境下进行，gpu配置：nvidia geforce rtx 3090，24gb显存，调用gpu进行训练。
[0103]
所有实验训练参数设置：输入图片大小为640
×
640，优化器采用带动量的sgd优化器，初始学习率设置为0.001、批大小为16，共训练200轮，为了客观的评价对比改进的轻量化模型性能，从模型复杂度与精度两个方面对模型性能进行评估。评价指标包括模型参数量、浮点运算数、模型规模、平均准确度map、模型推理速度fps。
[0104]
1、实验所需图像均采集于贵州省农业科学院农作物种植基地，农作物果实处于绿熟成长期，为了正确反映农作物果实生长姿态及环境的复杂性，区分有遮挡及采集不同光照、不同角度条件下的图像，包括：无遮挡、无重叠农作物果实图像，果实部分重叠图像，叶片遮挡农作物果实(辣椒)图像，枝干遮挡农作物果实图像和叶片枝干混合遮挡农作物果实图像。采集设备为手机自带摄像头，对比度、饱和度、锐度设置为标准模式。所采集图像共2000张，俯视图片785张(正光462张，背光323张)，平视图片1215张(正光871张，背光344张)，部分原始图像如图1所示。利用“labelling”的图像标注软件，绘制农作物果实目标的外接矩形框，实现农作物果实的人工标注，构建农作物果实数据集。
[0105]
2、图2为步骤二中的gn-yolov5s模型图，图中gn-yolov5s模型骨干网络为ghost模块、conv卷积结构和spp结构的组合，头部网络是由头部网络是由fpn结构和pan结构所组成。步骤二中的gn-yolov5s模型与步骤二中的原始yolov5s模型对比如表1所示：
[0106]
表1
[0107][0108]
通过表1可以看出，将原始yolov5s模型中的c3_x结构替换为ghostnet模块后，得到的gn-yolov5s模型参数量比原始yolov5s模型降低了比原始yolov5s模型降低了6.8％，浮点运算数降低了15.1％，模型规模降低了12.7％，有效降低了参数量与计算量。
[0109]
3、将gn-yolov5s模型进行稀疏训练，得到gs-yolov5s模型，稀疏训练缩放因子分布图如图8和图9所示，图8为将稀疏率设置为0.005时bn层缩放因子的分布情况，图9为将稀疏率设置为0.01时bn层缩放因子的分布情况，从图8和9中可以看出，当稀疏率为0.005时，分布在0-0.005的缩放因子的值较少，达不到稀疏训练的效果，当稀疏率为0.01时，有更多的缩放因子值分布在0-0.005，这表示模型中有更多重要性较低的通道可以被剪裁，可以达到稀疏训练的目的。综合模型的λ稀疏度以及精度最终设定了稀疏率为0.01。
[0110]
4、图3是对gs-yolov5s模型剪枝示意图，其中c
i1
，c
i2
，
……
，c
in
为gs-yolov5s模型的输入，c
j1
，c
j1
为gs-yolov5s模型的输出，移除gs-yolov5s模型bn层缩放因子γ值为0-0.005的输入输出通道后，得到的gp-yolov5s模型与原始yolov5s模型的对比如表2所示：
[0111]
表2
[0112][0113]
由表2可以看出，gp-yolov5s模型比原始yolov5s模型的参数量减少了4952219，浮点运算数降低了9.4gflops。模型规模降低了6.9mb，模型得到了有效压缩。
[0114]
5、图4是pd-yolov5s模型图,图中将原始yolov5s检测模型作为教师模型，将gp-yolov5s模型作为学生模型，通过原始yolov5s模型的完整输出，让gp-yolov5s模型掌握原始yolov5s模型的推理方式，得到的gp-yolov5s模型与原始yolov5s模型性能对比如表3：
[0115]
表3
[0116][0117]
图10为是本发明pd-yolov5s识别农作物果实(辣椒)时的平均精度曲线，模型迭代150次后，平均精度值为92.9％，有效提高了模型的准确度，使模型得到轻量化后，仍能使精度不低于原始yolov5s模型精度的98％。
[0118]
图11pd-yolov5s识别农作物果实(辣椒)时的检测图，图中可以看出，pd-yolov5s能准确识别出农作物果实(辣椒)。图12和13分别展示了原始yolov5s农作物果实识别模型与pd-yolo5s模型的识别模型对比。图12为原始yolov5s模型对农作物果实(辣椒)的识别结果，图13为pd-yolov5s模型对农作物果实(辣椒)的识别结果，从图12与图13可以看出，经过压缩后的pd-yolov5s模型仍能保持较高的识别精度。
[0119]
6、图6为双目相机左相机在像素坐标系下果实目标点的二维坐标p
l
(x
l
,y
l
)，，表示农作物果实目标点p在左相机像素坐标系下的二维坐标为(x
l
,y
l
)。图7为农作物果实目标点从像素坐标系的二维坐标到世界坐标系的三维坐标转换图，图中o
l
为左相机的透镜光心，or为右相机的透镜光心，o
l
用作左相机的相机坐标系的原点、or用作右相机的相机坐标系的原点，p
l
(x
l
,y
l
)表示左相机的在像素坐标系下目标点p的坐标(x
l
,y
l
)，pr(xr,yr)表示右相机的在像素坐标系下目标点p的坐标(xr,yr)。采用研究算法对该农作物果实进行定位，试验过程中，农作物果实每次会向远离摄像头的方向移动20mm，对其定位一次，主要以(辣椒)空间深度为参照。(辣椒)初始位置为(100mm，100mm，100mm)，8次定位的结果如表4所示。
[0120]
表4
[0121][0122][0123]
通过表4可以看出，在8次定位过程中，定位误差不超过1.84，且在0附近波动多次，证明本发明的定位方法具有一定准确性和稳定性。