一种多角度草莓采摘系统及方法与流程

1.本发明涉及智能控制技术领域，尤其涉及一种多角度草莓采摘系统及方法。


背景技术：

2.果蔬果实收获的劳动强度很大，自动化收获是一个难度很大的课题，各地的学者开发出了多种收获型机器人，然而对于草莓收获果实型的自动化产品却是少之又少，这不仅是因为草莓需求量在近几年才膨胀起来，也是因为草莓果实的“娇小”性质，草莓丛是比较低矮的草丛性植株，能供给自动化产品活动的空间不足，同时草莓果实柔软多汁，容易受伤，并且外型独特，如果单纯采用机械爪类型或机器人的采摘方式，可能会伤害到草莓果实的完整性。
3.目前，日本学者设计了用高度灵活的机械手指直接抓取草莓果柄来进行摘取的机器人，中国农业大学建立了桥梁式直角坐标机械手来收获垂直于地面的草莓。对于温室栽培的草莓，因其垄沟较窄，草莓果实又生长在倾斜的垄坡斜面上，因而窄垄沟要求机械体积小，实现自动采摘双排垄作栽培草莓的难度则较大。当前已有的草莓采摘机器只采摘悬挂在草莓陇上的草莓，对生长在草莓植株上或趟在草莓植株上的草莓无法有效摘取。随着智慧农业的开展和推广，当前成熟技术方案比如机器视觉、智能控制等技术可以逐渐运用到草莓采摘领域，相关设备也可以运用到类似的农作物的采摘。


技术实现要素：

4.本发明针对目前已有的草莓采摘设备只采摘悬挂在草莓陇上的草莓，对生长在草莓植株上或趟在草莓植株上的草莓无法有效摘取的情况，提供一种多角度草莓采摘系统及方法，本发明通过确定初始位置和计算采摘机械爪与草莓的位置、角度，控制机械爪的移动和旋转，实现多角度的草莓采摘。
5.本发明通过以下技术方案来实现上述目的：
6.一种多角度草莓采摘系统，包括图像采集单元、图像处理单元、机械移动单元、末端采摘单元；
7.所述图像采集单元由深度相机构成，深度相机用于输出像素点位置到相机的距离，从而计算两个像素点之间的距离；
8.所述图像处理单元计算草莓位置和角度信息，控制机械移动单元、末端采摘单元实现多角度草莓摘取；
9.所述机械移动单元为机械臂，从图像处理单元获取控制指令，并根据草莓中心点到相机的位置信息和草莓与机械爪的夹角，进行移动和末端旋转到指定位置；
10.所述末端采摘单元为二指机械爪；
11.所述图像采集单元和末端采摘单元固定在机械移动单元上，所述图像采集单元和末端采集单元保持水平。
12.进一步方案为，所述图像处理单元功能包括：从图像采集单元获取图像数据；
13.集成图像处理算法，检测草莓的外接2d框；
14.根据草莓2d框计算草莓中心像素点，草莓长、宽的像素顶点；
15.结合深度图像数据，计算得到中心点到相机的位置信息，草莓的真实长和宽；
16.根据长和宽，计算草莓与末端采摘单元的夹角。
17.进一步方案为，所述末端采摘单元功能包括：从图像处理单元获取控制指令；
18.根据草莓宽度，张开末端采摘单元到相应尺寸；
19.当机械运动单元运动到指定位置后，闭合末端采摘单元，抓取草莓。
20.本发明另一方面还提供了上述的一种多角度草莓采摘系统的采摘方法，包括以下步骤：
21.步骤1、机械运动单元运动到初始位置；
22.步骤2、图像处理单元从图像采集单元采集当前图像数据，依次执行以下步骤；
23.步骤2-l图像处理单元根据图像数据检测图像中的草莓信息；
24.步骤2-2图像处理单元根据草莓信息，确定各草莓中心点；
25.步骤2-3根据2-2结果结合深度图像数据，确定得到各个草莓到相机的位置；
26.步骤2-4根据2-3结果，选择绝对距离最新的草莓进行摘取确定；
27.步骤2-5根据2-4选择的草莓信息，确定草莓与相机/机械爪夹角；
28.步骤3、图像处理单元草莓宽度给末端摘取单元，末端摘取单元根据宽度，将摘取爪张开到摘取的宽度；
29.步骤4、图像处理单元草莓位置和旋转角度发送给机械运动单元，运动单元运动到指定位置，并将末端关节旋转指定角度；
30.步骤5、摘取单元收拢爪，进行摘取；
31.步骤6、重复步骤1，直到区域内草莓采摘完成。
32.进一步方案为，所述步骤1中，初始位置确定方法如下：
33.选取了垂直方向和水平方向两个初始点进行草莓识别和采摘控制信息计算；规避欧拉角度(roll、pitch、yaw)中的pitch和yaw，只需要计算roll角一个变量。
34.进一步方案为，所述步骤2中，草莓位置确定过程如下：
35.通过图像处理单元在图像中检测出草莓的外界2d框，根据草莓2d框顶点，计算出草莓中心点，通过深度相机的深度图像，得到像素点距离相机的位置信息。
36.进一步方案为，所述步骤2中，草莓与相机/机械爪夹角确定如下：
37.计算相邻两个顶点的距离，dis(p1，p2)，dis(p2，p3)，计算得到草莓宽度的顶点p1，p2；
38.根据p1(x1，y1)，p2(x2，y2)计算草莓的斜率k，即tanθ：(y2-y1)/(x2-x1)；
39.图像相对于相机是水平的，所以斜率k对应的夹角θ，为草莓相对于相机和机械爪的夹角。
40.进一步方案为，所述步骤3中，抓取宽度为末端采摘单元张开的宽度，采用2倍草莓宽度进行采摘。
41.本发明的有益效果在于：
42.本发明的一种多角度草莓采摘系统及方法，通过调整初始采摘位置，规避机械爪与草莓pitch和yaw角度，只需要计算roll角；在计算roll角时计算图像上草莓外接矩形框
的宽度边顶点，然后根据顶点，计算得到草莓的斜率，最后计算得到草莓相对于相机和机械爪的夹角；通过图像处理单元在图像中检测出草莓的外界2d框，计算出草莓中心点，然后通过深度相机的深度图像，计算得到像素点距离相机的位置信息；通过以上草莓位置和角度信息，可以控制机械爪的移动和旋转，实现多角度的草莓采摘。
附图说明
43.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明系统架构图；
45.图2为本发明设备组装图；
46.图3为本发明草莓中心点和夹角示意图；
47.图4为本发明草莓与相机空间位置示意图；
48.图5为本发明采摘初始位置示意图；
49.图6为本发明采摘处理流程图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
51.在任一实施例中，如图1-3所示，本发明的一种多角度草莓采摘系统，包括图像采集单元、图像处理单元、机械移动单元、末端采摘单元；
52.所述图像采集单元由深度相机构成，深度相机用于输出像素点位置到相机的距离，从而计算两个像素点之间的距离；
53.所述图像处理单元计算草莓位置和角度信息，控制机械移动单元、末端采摘单元实现多角度草莓摘取；
54.所述图像处理单元功能包括：从图像采集单元获取图像数据；
55.如图3所示，集成图像处理算法，检测草莓的外接2d框；
56.根据草莓2d框计算草莓中心像素点，草莓长、宽的像素顶点；
57.结合深度图像数据，计算得到中心点到相机的位置信息，草莓的真实长和宽；
58.根据长和宽，计算草莓与末端采摘单元的夹角；
59.所述机械移动单元为机械臂，从图像处理单元获取控制指令，并根据草莓中心点到相机的位置信息和草莓与机械爪的夹角，进行移动和末端旋转到指定位置；
60.所述末端采摘单元为二指机械爪；
61.如图2所示，所述图像采集单元和末端采摘单元固定在机械移动单元上，所述图像采集单元和末端采集单元保持水平；
62.所述末端采摘单元功能包括：从图像处理单元获取控制指令；
63.根据草莓宽度，张开末端采摘单元到相应尺寸；
64.当机械运动单元运动到指定位置后，闭合末端采摘单元，抓取草莓。
65.在一个具体实施例中，如图4-6所示，本发明的一种多角度草莓采摘系统的采摘方法，包括以下步骤：
66.步骤1、机械运动单元运动到初始位置；
67.初始位置确定方法如下：由于草莓是三维空间中的一个物体，抓取草莓需要草莓在空间的位置和末端机械爪与草莓的欧拉角度(roll、pitch、yaw)，如图4所示，单从草莓距离和宽高尺寸，无法计算这三个角度，但是，当相机与草莓平面垂直时，可以规避pitch和yaw，只需要计算roll角一个变量。所以方案选取了垂直方向和水平方向两个初始点进行草莓识别和采摘控制信息计算，如图5所示。
68.步骤2、图像处理单元从图像采集单元采集当前图像数据，依次执行以下步骤；
69.步骤2-1图像处理单元根据图像数据检测图像中的草莓信息；
70.步骤2-2图像处理单元根据草莓信息，确定各草莓中心点；
71.步骤2-3根据2-2结果结合深度图像数据，确定得到各个草莓到相机的位置；
72.草莓位置确定过程如下：
73.通过图像处理单元在图像中检测出草莓的外界2d框，根据草莓2d框顶点，计算出草莓中心点，通过深度相机的深度图像，得到像素点距离相机的位置信息；
74.步骤2-4根据2-3结果，选择绝对距离最新的草莓进行摘取确定；
75.步骤2-5根据2-4选择的草莓信息，确定草莓与相机/机械爪夹角；
76.草莓夹角如图3所示，计算方法如下：
77.计算相邻两个顶点的距离，dis(p1，p2)，dis(p2，p3)，计算得到草莓宽度的顶点p1，p2；
78.根据p1(x1，y1)，p2(x2，y2)计算草莓的斜率k，即tanθ：(y2-y1)/(x2-x1)；
79.图像相对于相机是水平的，所以斜率k对应的夹角θ，为草莓相对于相机和机械爪的夹角。
80.步骤3、图像处理单元草莓宽度给末端摘取单元，末端摘取单元根据宽度，将摘取爪张开到摘取的宽度；
81.抓取宽度为末端采摘单元张开的宽度，采用2倍草莓宽度进行采摘。
82.步骤4、图像处理单元草莓位置和旋转角度发送给机械运动单元，运动单元运动到指定位置，并将末端关节旋转指定角度；
83.步骤5、摘取单元收拢爪，进行摘取；
84.步骤6、重复步骤1，直到区域内草莓采摘完成。
85.本发明通过以上草莓位置和角度信息，可以控制机械爪的移动和旋转，实现多角度的草莓采摘。
86.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合
方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。