一种共享单车分拣系统及方法与流程

1.本发明涉及一种用于分拣不同品牌类型共享单车的系统及方法。


背景技术：

2.共享单车的出现，无疑是很好解决了城市交通最后一公里的路途，是众多出行者的理想选择。各大城市出现的大量共享单车就是其很好的说明。
3.由于共享单车数量巨大，停车不规范等现象容易导致城市拥堵，影响市容市貌，甚至发生严重事故。尤其是客流量大的地铁口，更是拥挤不堪。
4.为了规范共享单车的停靠，一些城市兴修了共享单车停车库用于专门停靠共享单车。然而现有的共享单车品牌类型繁多，还是需要人工将不同品牌类型的共享单车进行分类后停靠在相应的区域。这样增加了停车场的运营成本。


技术实现要素：

5.有鉴于此，本发明提供一种共享单车分拣系统及方法，用于自动对各种不同类型摆放姿态各一的共享单车进行识别并输送到相应的接驳处，无需人工干预。
6.为解决以上技术问题，本发明的技术方案为采用一种共享单车分拣系统，包括：支撑框架，用于界定分拣区域；所述支撑框架包括顶框以及支撑顶框的若干立柱；所述顶框的投影区域为分拣区域；视觉分类定位单元，用于识别停靠在分拣区域内的共享单车类型并确定共享单车的位姿；所述视觉分类定位单元包括彩色2d图像采集单元、3d图像采集单元以及分析处理服务器；所述分析处理服务器根据彩色2d图像采集单元采集的彩色2d图像识别共享单车类型，并根据3d图像采集单元采集的3d图像识别共享单车的位姿；拾取单元，用于抓取共享单车并调整共享单车姿态；所述拾取单元包括设置在支撑框架上的轨道、连接在轨道上可沿轨道运动的移动横梁、可沿移动横梁运动的升降柱；所述升降柱利用扭转电机连接拾取横梁；所述拾取横梁上设置有机械臂；所述机械臂末端安装有夹爪。
7.转运单元，用于将拾取单元抓取的共享单车转运到该类型共享单车停放接驳处；所述转运单元为设置在支撑框架上的环形输送带，所述环形输送带上设置有用于支撑共享单车的挂架；所述挂架上设置有用于感知共享单车的压力传感器。
8.作为一种优选，所述彩色2d图像采集单元为高清彩色相机，所述3d图像采集单元为激光雷达；所述高清彩色相机和激光雷达均为两个，呈对角线布置在支撑框架上。
9.作为一种改进，所述视觉分类定位单元还包括标定装置，所述标定装置为尺寸已知且表面为黑白棋盘格的立方体。
10.作为一种改进，所述机械臂为两根，且均为六轴机械臂；所述夹爪为柔性夹爪。
11.作为一种改进，所述分拣区域的地面上开有容纳共享单车车轮的引导槽。
12.本发明还提供共享单车分拣方法，应用于上述共享单车分拣系统，包括：
采集分拣区域内共享单车的彩色2d图像和3d图像；对彩色2d图像中的共享单车进行实例分割并识别共享单车类型；加载识别出来的该类型共享单车的基准三维模型，并提取所述基准三维模型中共享单车若干刚性部位作为配准模板；将彩色2d图像实例分割区域贴图到3d图像中以划分该共享单车点云所在区域；利用配准模板遍历该区域点云进行配准，从而获得共享单车的位姿；提取共享单车当前位姿的2个固定点的空间坐标作为抓取点；将抓取点的空间坐标发送至拾取单元，拾取单元根据抓取点的空间坐标运动至抓取位置；拾取单元通过抓取点的空间坐标规划抓取路径进行抓取并输送到转运单元；转运单元将被抓取的共享单车输送至该类型共享单车接驳处。
13.作为一种改进，采用yolo v5深度学习对彩色2d图像中的共享单车进行实例分割并识别共享单车类型。
14.作为一种改进，所述利用配准模板遍历该区域进行配准，从而获得共享单车的位姿的方法包括：对所述区域内的点云进行边缘腐蚀；对边缘腐蚀后的点云进行滤波；对滤波后的点云进行下采样；对采样后的点云进行矩阵变化计算，向配准模板进行匹配以获得共享单车的位姿。
15.作为一种改进，所述两个抓取点分别为共享单车车把手中部的点和坐管上的点。
16.作为一种改进，所述拾取单元通过抓取点的空间坐标规划抓取路径进行抓取的方法包括：对抓取点的空间坐标进行膨胀；利用空间变换矩阵将抓取点的坐标从世界坐标系转换到拾取单元坐标系下；规划拾取单元抓取部到抓取点的路径，使得拾取单元避开障碍物到达抓取点进行抓取。
17.作为一种改进，所述规划拾取单元到抓取点的路径的方法包括：将拾取单元抓取部的起始点和目标点初始化为两颗随机树的根节点；在抓取部的可达范围内随机生成若干采样点；从两颗随机树的根节点同时出发，向采用点扩散，直至连通；若无法连通，则增加采样点后再从两颗随机树的根节点同时出发向采样点扩散，直到连通为止；在连通的节点和节点之间筛选父节点构成随机树；若某个节点与目标点的距离小于阈值，则该节点到目标点为最佳路径；将具有最佳路径的节点组合成从起始点到目标点的最佳路径。
18.作为一种改进，拾取单元通过抓取点的空间坐标规划抓取路径进行抓取之后，拾取单元执行预设动作使得被抓取的共享单车呈预设姿态。
19.本发明的有益之处在于：本发明可对任意摆放在分拣区域内的多种类型单车进行分拣，解决了现有的共享
单车停车场需要人工分拣摆放后才能分类存放的弊端。减小了停车场的人工投入，无需依靠停放者的个人素质，大大提高了共享单车停车场的自动化过程，解决了现有共享单车停放的问题。
附图说明
20.图1为本发明的结构示意图。
21.图2为本发明的流程图。
22.图中标记：1顶框、2立柱、3高清彩色相机、4激光雷达、5轨道、6移动横梁、7升降柱、8拾取横梁、9扭转电机、10机械臂、11夹爪、12环形输送带、13挂架、14引导槽。
具体实施方式
23.为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。
24.现有共享单车停车库的痛点在于：首先共享单车种类繁多，需要进行识别后分类存放。更为重要的是，现有的机械设备只能对指定姿态的共享单车进行抓取，而共享单车停放的姿态是各一的，并没有统一的位置和姿态。因此只能依靠人工调整后才能使用机械设备进行下一步的存放工作。
25.针对上述问题，如图1所示，本发明提供一种共享单车分拣系统，能够对分拣区域内任意姿态停靠的共享单车进行抓取，其具体结构包括：支撑框架，用于界定分拣区域，同时作为下述几个单元的支撑，包括顶框1以及支撑顶框1的若干立柱2；所述顶框1的投影区域为分拣区域；下述的转运单元、拾取单元均设置在支撑框架上。
26.本实施例中，顶框1为矩形，立柱设置有4根。整个支撑框架由高性能碳钢材料构成，尺寸为4m*3m*4m（长*宽*高）。当然尺寸和形状均可以根据需要进行适应性调整，本发明不做限制。
27.另外，当分拣区域内的共享单车停放得过于紧密有可能会导致共享单车之间相互纠缠，此时会造成拾取单元分拣困难。为了解决这个问题，在一些实施例中，还可以在分拣区域的地面上设置若干引导槽14。引导槽14之间具有适当的间歇，停放者把共享单车前轮或/和后轮放置在引导槽14内，能够让共享单车之间保持一定的间距便于后期分拣。
28.视觉分类定位单元，用于识别停靠在分拣区域内的共享单车类型并确定共享单车的位姿。所述视觉分类定位单元包括彩色2d图像采集单元、3d图像采集单元以及分析处理服务器；所述分析处理服务器根据彩色2d图像采集单元采集的彩色2d图像识别共享单车类型，并根据3d图像采集单元采集的3d图像识别共享单车的位姿。
29.具体地，所述彩色2d图像采集单元为高清彩色相机3，所述3d图像采集单元为激光雷达4；所述高清彩色相机3和激光雷达4均为两个，呈对角线布置在支撑框架的顶框1上。从多个角度获取分拣区域内的共享单车图像，从而做到无死角探测。
30.2d彩色图像能够从共享单车的颜色以及标识对共享单车进行分类。而3d图像则可以对共享单车进行3d建模，从而为后续的抓取提供空间坐标。
31.为更好的将上述4图像采集单元有机的结合起来，系统还设置了一个标定装置，用
于标定2d图像采集单元、3d图像采集单元的安装位姿，以便于分析处理服务器可以将其采集到的数据进行有效的拼接、整合。
32.本实施例中，标定装置是一个已知外形尺寸的，外表面为黑白棋盘格的立方体。标定流程是将标定装置放在分拣区域内，放在至少9个不同高度、不同水平位置上，在无其他物体遮挡情况下，完成4个图像采集单元对标定物的信息采集。并且结合标定信息，可以将2d图像采集单元采集到的2d图像贴图到3d图像采集单元采集的3d点云数据上。
33.拾取单元，用于抓取共享单车并调整共享单车姿态；具体包括设置在支撑框架上的轨道5、连接在轨道5上可沿轨道5运动的移动横梁6、可沿移动横梁6运动的升降柱7；所述升降柱7利用扭转电机9连接拾取横梁8；所述拾取横梁8上设置有机械臂10；所述机械臂10末端安装有夹爪11。作为优选，机械臂10为两根，且均为六轴机械臂；所述夹爪11为柔性夹爪。
34.转运单元，用于将拾取单元抓取的共享单车转运到该类型共享单车停放接驳处。所述转运单元为设置在支撑框架上的环形输送带12，所述环形输送带12上设置有用于支撑共享单车的挂架13；所述挂架13上设置有用于感知共享单车的压力传感器。本实施例中，环形输送带12一部分位于分拣区域内，另一份位于分拣区域外方便与后续停放机构进行接驳。不同类型的共享单车接驳位置不同。
35.工作的时候，使用者将共享单车随意停靠在分拣区域内即可。视觉分类定位单元对分拣区域内的共享单车进行分类并且确定其位姿。拾取单元根据共享单车的位姿对共享单车进行抓取并将其恢复到预设的姿态后放置到转运单元的挂架13上。输送单元感知到共享单车后根据共享单车的类型输送至指定的接驳处即可。
36.如图2所示，本发明还提供共享单车分拣方法，应用于上述共享单车分拣系统，包括：s1采集分拣区域内共享单车的彩色2d图像和3d图像。
37.本实施例中，3d图像配准到世界坐标系下，并以某个激光雷达的安装中心作为坐标系的原点。
38.由于本实施例中2d图像和3d图像分别由两个图像采集单元采集，为了便于拼接，需要对图像采集单元进行标定。本实施例中通过将标定装置放在分拣区域内，放在至少9个不同高度、不同水平位置上，在无其他物体遮挡情况下，完成4个图像采集单元对标定物的信息采集。然后通过配准可将分别由两个彩色2d图像采集单元采集到的2d图像拼合成一幅图，同理也可以将两个3d图像采集单元采集到的3d图像拼合成一幅图。
39.s2对彩色2d图像中的共享单车进行实例分割并识别共享单车类型。
40.本实施例中，通过利用yolo v5深度学习的分类算法实现对彩色2d图像中的共享单车进行实例分割（所谓实例分割是指将共享单车从图像中框选出来）并分类，具体为：s21基于classifier开源算法开发模型；s22搜集不同类型的共享单车图样；包括各种姿态、各种角度拍摄的图样。
41.s23利用搜集到的图样对模型进行训练。
42.s24将采集的彩色2d图片输入训练好的模型中，模型即可对图片中的共享单车进行实例分割并标注出单车类型。分类的依据主要是颜色以及单车上的标识。
43.s3加载识别出来的该类型共享单车的基准三维模型，并提取所述基准三维模型中
共享单车若干刚性部位作为配准模板。
44.基准三维模型是提前扫描好的，包括市面上所有类型的共享单车，其同样位于世界坐标系下。通过上个步骤中对共享单车的识别结果，加载相应的基准三维模型即可。为了减小系统开销，只需要选取共享单车几个关键部位的点云数据作为配准模板，例如把手、横梁、前叉等，其具有丰富的结构特征，使得配准结果更加的精确。
45.s4将彩色2d图像实例分割区域贴图到3d图像中以划分该共享单车点云所在区域；利用配准模板遍历该区域点云进行配准，从而获得共享单车的位姿。
46.由于共享单车的外形比较复杂，直接从3d点云图像中提取共享单车的点云是比较困难的，很难去确定其边界。因此本发明中，通过2d、3d相结合的方式划分共享单车所在区域。
47.在共享单车识别步骤中已经对彩色2d图像进行过实例分割，因此只需要将分割出来的2d图像贴于3d图像相应位置的表面即可确定共享单车点云所在区域，从而将共享单车的点云筛选出来。由于本发明中2d图像采集单元和3d图像采集单元依照同一个标定装置进行了统一标定，因此可以采用像素映射的方法将上述拼合后的2d图像贴图到3d点云数据的表面。
48.另外，利用配准模板遍历该区域点云进行配准的方法具体包括：s41对所述区域内的点云进行边缘腐蚀去除噪点使得整个共享单车的点云外形更加平滑，本发明采用的是基于形态学的腐蚀算子。
49.s42对边缘腐蚀后的点云进行滤波，进一步降噪。本发明采用基于高斯分布去除噪声的方法。
50.s43对滤波后的点云进行下采样，在保留基本信息的前提下减少点云的数量降低系统开销。本发明中采用的是均匀采样的方法。
51.s44对采样后的点云进行矩阵变化计算，向配准模板进行匹配以获得共享单车的位姿。本发明中，采用的是icp（迭代最近点）算法将配准模板与共享单车点云进行配准，从而计算出配准模板到共享单车点云之间的转换矩阵。由于配准模板的位姿是已知的，只要将其与共享单车点云相应部位进行重合，通过此时配准模板的转换矩阵即可反推出共享单车相应部位点云的位姿。由于配准模板是多个，并且为单车的关键部位，因此整个单车的位姿也可以推测出来。
52.s5提取共享单车当前位姿的2个固定点的空间坐标作为抓取点。
53.为了让抓取更加的稳固，本发明采用的是两点抓取的方式。两点抓取不仅更加稳固还更加便于调整共享单车的姿态，便于后续放置到转运单元的挂架上。
54.本实施例中，抓取点选择的是共享单车车把手中部的点和坐管上的点。共享单车的姿态最大的变化就是由于把手与车身之间是活动的，通过抓取把手和车身上的座管，可以将共享单车调整到一个预设的姿态上。如果两个抓取点都设置在把手或者都设置在车身上，则抓取的时候活动部位容易晃动。
55.s6将抓取点的空间坐标发送至拾取单元，拾取单元根据抓取点的空间坐标运动至抓取位置。
56.确定好抓取点后，将抓取点的世界坐标系下的空间坐标发送给拾取单元。拾取单元根据坐标通过移动横梁在轨道上滑动以及升降柱在移动横梁上滑动调整机械臂的平面
位置，从而来到需要抓取的共享单车的上方。
57.s7拾取单元通过抓取点的空间坐标规划抓取路径进行抓取并输送到转运单元，具体包括：s71对抓取点的空间坐标进行膨胀。
58.由于夹爪具有一定的宽度，而抓取点的空间坐标仅为一个点，因此需要对抓取点进行膨胀，通常膨胀后的宽度为夹爪宽度的1.1倍即可。
59.s72利用空间变换矩阵将抓取点的坐标从世界坐标系转换到拾取单元坐标系下。
60.由于抓取点属于共享单车的点云，因此抓取点实际上是在世界坐标系下。为了指导机械臂工作，还需要将坐标信息从世界坐标系下转换到机械臂坐标系上。
61.s73规划拾取单元抓取部到抓取点的路径，使得拾取单元避开障碍物到达抓取点进行抓取。
62.本发明中规划拾取单元抓取部到抓取点的路径的方法具体包括：s731将拾取单元抓取部即夹爪的起始点和目标点初始化为两颗随机树的根节点；s732在抓取部的可达范围内随机生成若干采样点。夹爪的可达范围需要扣除已经被共享单车3d点云占领的部分，避免在抓取的时候发生干涉。
63.s733从两颗随机树的根节点同时出发，向采用点扩散，直至连通；若无法连通，则增加采样点后再从两颗随机树的根节点同时出发向采样点扩散，直到连通为止；s734在连通的节点和节点之间筛选父节点构成随机树；若某个节点与目标点的距离小于阈值，则该节点到目标点为最佳路径；s735将具有最佳路径的节点组合成从起始点到目标点的最佳路径。
64.上述方法能够快速且高效地搜索高位空间，从而实现有效的单一路径规划，使得机械臂带动夹爪顺利达到抓取点处进行抓取。
65.另外抓取之后，拾取单元执行预设动作使得被抓取的共享单车呈预设姿态。首先需要回缩升降柱，将单车提离地面，然后通过两个机械臂姿态的变化将单车形成预设姿态。本实施例中，预设姿态为单车的前后轮在一条直线上，且整个共享单车竖向放置。设置此预设姿态的目的在于便于将单车放置到转运单元的挂架上。
66.s8转运单元将被抓取的共享单车输送至该类型共享单车接驳处。
67.挂架上的压力传感器感应到共享单车后，环形输送带开始运行，根据共享单车的类型，将其送至相应的接驳处，由下一道工序的机构将共享单车接管。
68.以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。