基于机器视觉的水果外观品质分级方法及自动分选装置

本发明涉及水果无损检测和分拣，具体是一种基于机器视觉的水果外观品质分级方法及自动分选装置。

背景技术：

1、水果分选是水果销售前的重要环节，其主要内容是根据外观品质对水果进行分级，并根据分级结果进行分装或者分类放置。目前，在水果店、商超、小型果园等场合大多数采用人工挑选的方式进行分级，效率低的同时还存在较大的主观因素影响。随着工业相机的出现以及机器视觉技术的发展，基于机器视觉的水果分拣装置被广泛运用到果园、工厂等。

2、申请号为201921423127.9的实用新型提出一种基于机器视觉和plc控制的水果分拣与大小分级包装系统，包括上位机、视觉检测单元、下位机、视觉筛选处理单元、大小分级单元和若干个包装单元；视觉检测单元的摄像头与上位机电连接，摄像头与视觉检测单元的滚动件相配合，在水果被滚动件带动滚动过程中，摄像头采集不同位置的图像，但该装置无法保证采集的图像包含完整的水果表面，可能出现瑕疵遗漏的情况。此外，现有的大多数水果分拣装置依靠长距离传输、多相机拍摄实现全表面检测，多级分拣也依靠较长的传送区间实现，而面向小型果园、商超等场合的水果分选装置的需求是尺寸小、检测完整。因此，本申请提出一种基于机器视觉的水果外观品质分级方法及自动分选装置。

技术实现思路

1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于机器视觉的水果外观品质分级方法及自动分选装置。

2、本发明解决所述技术问题采用如下的技术方案：

3、一种基于机器视觉的水果外观品质分级方法，其特征在于，该方法包括以下步骤：

4、步骤一，从俯视和仰视两个方向采集水果上半部分的外观图像和下半部分的外观图像，并对图像的目标区域进行裁剪；

5、步骤二，提取图像的特征点；

6、步骤三，对每张图像进行网格划分，将水果上半部分的外观图像的最后一行与水果下半部分的外观图像的第一行对应网格内的特征点进行匹配，得到若干个特征点对，若干个特征点对组成特征点集，完成特征点的粗匹配；

7、对粗匹配的特征点对进行筛选，并根据筛选得到的特征点对，采用svd分解算法对两张图像进行拼接，得到拼接图像；

8、步骤四，基于拼接图像进行外观缺陷识别，同时计算待分级水果的hsv色度值、最大果径；根据hsv色度值、最大果径以及是否有缺陷对待分级水果进行分级。

9、进一步的，在步骤三中，从特征点集中随机采样两个特征点对，利用最小二乘法计算局内外点划分阈值t；继续从特征点集中采样特征点对，并计算特征点对的两个特征点之间的欧式距离t，若t大于t，则重新采样，否则将特征点对加入局内点集合q；若局内点集合q中的特征点对数量小于设置值，则继续采样，直至局内点集合q中的特征点对数量满足要求，局内点集合q中的特征点对即为筛选得到的特征点对。

10、进一步的，在步骤四中，若外观存在缺陷，无论hsv色度值、最大果径，均为四等果；若外观不存在缺陷，则根据hsv色度值判断待分级水果的成熟度，若未完全成熟，无论最大果径大小，均为三等果；若完全成熟，则根据最大果径划分为一、二等果，若最大果径小于同类水果的平均果径，则为二等果，否则为一等果。

11、本发明还提供一种基于机器视觉的水果自动分选装置，包括水果传送组件、视觉检测组件和水果分选组件；其特征在于，水果传送组件将待分选水果传送至水果分选组件，在传送过程中视觉检测组件采集待分选水果上半部分的外观图像和下半部分的外观图像；其中，水果分选组件包括分选滚筒、滚筒外壳和三号步进电机，滚筒外壳上设有不同等级果出口，分选滚筒上设有不同分选区；分选滚筒转动安装在滚筒外壳内，分选滚筒电机通过链传动驱动分选滚筒转动，根据等级使待分选水果从滚筒外壳相应的出口倒出。

12、进一步的，所述水果传送组件包括一号支架、二号支架、托盘滑轨、传送带、透明水果托盘和限位撞块；两个托盘滑轨对称设置在一号支架和二号支架的两侧，两个传送带位于托盘滑轨的两端；多个透明水果托盘滑动安装在两个托盘滑轨上，透明水果托盘与传送带接触，通过摩擦力实现透明水果托盘的滑动；两个限位撞块对称安装在一号支架中部，用于透明水果托盘的限位。

13、进一步的，所述视觉检测组件包括同轴光源和工业相机；两个工业相机对称安装在一号支架的上、下部，每个工业相机的两侧对称设置有同轴光源，位于一号支架同侧的两个同轴光源对射。

14、进一步的，所述托盘滑轨表面设有整周的滑槽，透明水果托盘的两侧设有与滑槽配合的滚轮。

15、与现有技术相比，本发明的有益效果在于：

16、1.该装置从俯视和仰视两个角度分别采集水果上半部分和下半部分的外观图像，保证采集的图像完全覆盖水果表面，实现无死角的水果外观缺陷检测。将短距离传输、图像采集、水果分级和分选集为一体，精简了装置结构，使得装置的整体体积较小，便于分解与组装，实现小型化运作，尤其适用于水果店、商超、小型果园等场合。

17、2.托盘滑轨上设有整周的滑槽，实现水果托盘在竖直面内的环形运动，而非水平面内的环形运动，进一步精简了装置结构。水果托盘依靠其与传送带之间的摩擦力运动，同时通过后一个水果托盘的推力实现前一个水果托盘在两个传送带之间的衔接，缩短了传输距离。

18、3.为了保证分级是基于水果的整个表面，需要对两张图像进行拼接，为了提高拼接精度，在图像处理过程中，不是对图像中的所有特征点都进行匹配，而是对两张图像划分网格，只对相应网格内的特征点进行匹配，减少了误匹配率，同时提高了特征点匹配效率，同时有利于实现快速分级。

19、4.综合考虑成熟度、大小和外观缺陷(刺伤、碰伤、磨伤、果锈等)这三种因素对水果进行分级，克服了人工分选不准确的弊端。

技术特征：

1.一种基于机器视觉的水果外观品质分级方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于机器视觉的水果外观品质分级方法，其特征在于，在步骤三中，从特征点集中随机采样两个特征点对，利用最小二乘法计算局内外点划分阈值t；继续从特征点集中采样特征点对，并计算特征点对的两个特征点之间的欧式距离t，若t大于t，则重新采样，否则将特征点对加入局内点集合q；若局内点集合q中的特征点对数量小于设置值，则继续采样，直至局内点集合q中的特征点对数量满足要求，局内点集合q中的特征点对即为筛选得到的特征点对。

3.根据权利要求1所述的基于机器视觉的水果外观品质分级方法，其特征在于，在步骤四中，若外观存在缺陷，无论hsv色度值、最大果径，均为四等果；若外观不存在缺陷，则根据hsv色度值判断待分级水果的成熟度，若未完全成熟，无论最大果径大小，均为三等果；若完全成熟，则根据最大果径划分为一、二等果，若最大果径小于同类水果的平均果径，则为二等果，否则为一等果。

4.一种根据权利要求1～3任一所述方法进行水果分级的基于机器视觉的水果自动分选装置，包括水果传送组件、视觉检测组件和水果分选组件；其特征在于，水果传送组件将待分选水果传送至水果分选组件，在传送过程中视觉检测组件采集待分选水果上半部分的外观图像和下半部分的外观图像；其中，水果分选组件包括分选滚筒、滚筒外壳和三号步进电机，滚筒外壳上设有不同等级果出口，分选滚筒上设有不同分选区；分选滚筒转动安装在滚筒外壳内，分选滚筒电机通过链传动驱动分选滚筒转动，根据等级使待分选水果从滚筒外壳相应的出口倒出。

5.根据权利要求4所述的基于机器视觉的水果自动分选装置，其特征在于，所述水果传送组件包括一号支架、二号支架、托盘滑轨、传送带、透明水果托盘和限位撞块；两个托盘滑轨对称设置在一号支架和二号支架的两侧，两个传送带位于托盘滑轨的两端；多个透明水果托盘滑动安装在两个托盘滑轨上，透明水果托盘与传送带接触，通过摩擦力实现透明水果托盘的滑动；两个限位撞块对称安装在一号支架中部，用于透明水果托盘的限位。

6.根据权利要求5所述的基于机器视觉的水果自动分选装置，其特征在于，所述视觉检测组件包括同轴光源和工业相机；两个工业相机对称安装在一号支架的上、下部，每个工业相机的两侧对称设置有同轴光源，位于一号支架同侧的两个同轴光源对射。

7.根据权利要求5所述的基于机器视觉的水果自动分选装置，其特征在于，所述托盘滑轨表面设有整周的滑槽，透明水果托盘的两侧设有与滑槽配合的滚轮。

技术总结
本发明为基于机器视觉的水果外观品质分级方法及自动分选装置。装置包括水果传送组件、视觉检测组件和水果分选组件；水果传送组件将待分选水果传送至水果分选组件，在传送过程中视觉检测组件从俯视和仰视两个方向采集待分选水果上、下部分的外观图像。方法对图像的目标区域进行裁剪，提取图像的特征点；然后，对每张图像进行网格划分，将水果上半部分的外观图像的最后一行与水果下半部分的外观图像的第一行对应网格内的特征点进行匹配，得到若干个特征点对，并对特征点对进行筛选，根据筛选得到的特征点对拼接两张图像；最后，根据拼接得到的图像进行外观缺陷识别，计算HSV色度值和最大果径，根据检测结果和计算结果进行分级。将短距离传输、图像采集、水果分级和分选集为一体，实现了水果表面的无死角检测。

技术研发人员：杨泽青,张杰,胡宁,乔凯帆,李宾,秦德运,张佳辉,孙凌宇,丁湘燕
受保护的技术使用者：河北工业大学
技术研发日：
技术公布日：2024/1/16