用于实现水果分级分拣的水果动态跟踪方法与流程

本发明涉及计算机图像处理、计算机视觉技术领域，具体为用于实现水果分级分拣的水果动态跟踪方法。

背景技术：

水果的分级分拣是水果生产销售中的一个重要环节，用于对水果的品质分级为多个级别，然后再进行销售，从而增加水果的附加值。近年来，水果的分级分拣已经从简单的机械分级分拣向基于图像处理和计算机视觉的精确分级分拣方向发展。

目前，虽然基于计算机视觉的水果分级分拣装备的规模不同，但是，基于图像处理技术和计算机视觉技术的水果分级分拣设备的典型结构基本类似，一般包括：一个或多个相机、一条水果传送带、一个用于对水果等级进行分析的计算机、根据水果分级结果进行分拣的机电装置。在这样的设备中，水果以预先设定的空间间隔在传送带上以连续的顺序传送，而且对水果之间的空间间隔大小的选取，需要能够保证在相机的可视范围内最多只能存在一个水果。由于设备中的相机以预先设定的时间间隔拍照，所以，会导致传送带上连续传送的一个水果被拍摄出多张照片。因此，需要寻找一种可以对出现在多张图像中的同一个水果进行图像跟踪进而获取唯一一张完整图像的方法。

技术实现要素：

为解决现有技术所存在的问题，本发明提供用于实现水果分级分拣的水果动态跟踪方法，该方法实现对传送带上以一定的空间间隔分隔并连续传送的水果进行跟踪，解决了对连续水果个体进行准确跟踪的问题。

本发明采用以下技术方案来实现：用于实现水果分级分拣的水果动态跟踪方法，包括以下步骤：

s1、对水果特性进行自动学习，得到图像中水果的最小平均面积值；

s2、对待分级分拣的水果进行图像采集，并利用图像中水果的最小平均面积值，对图像中水果的面积变化的特征值进行跟踪，进而对出现在多张图像中的同一个水果，获取一张完整的水果图像。

优选地，步骤s1包括以下步骤：

s11、设定图像中存在水果的最小面积阈值初值；

s12、采集水果图像，将水果在传送带上以预设的空间间距进行传送；所预设的空间间距使得在相机的拍摄范围内，任何时刻最多只能出现一个水果；当载有水果的传送带经过相机拍摄范围时，相机以预先设定的时间间隔不断拍摄传送带上的水果图像；

s13、计算所采集的所有水果图像中水果面积，结合图像中水果面积和最小面积阈值初值计算得到水果最小平均面积值；

s14、输出水果最小平均面积值。

优选地，步骤s2包括以下步骤：

s21、获取图像中水果的最小平均面积值；

s22、采集待分级分拣的水果图像，形成图像序列；

s23、根据图像中水果面积的变化，从图像序列中对出现在多张图像中的同一个水果，获取一张完整的水果图像；

s24、输出完整的水果图像。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明创新性地对水果跟踪前进行自学习，对连续传送的每个水果，保证有且只有一张水果图像被送到后续处理模块中进行分析处理，解决了对连续水果个体进行准确跟踪的问题，可应用于对橘子、苹果、梨子在内的多种水果进行跟踪。

2、本发明跟踪效果好，抗干扰能力强；实现方式简单且容易实现。

附图说明

图1是本发明水果动态跟踪方法的流程图；

图2是连续拍摄的在传送带上经过的第一个水果图像；

图3是连续拍摄的在传送带上经过的第二个水果图像；

图4是连续拍摄的图像的面积特征值变化规律示意图；

图5是获取第一个水果图像的方法示意图；

图6是用于参数学习的橘子视频图像；

图7是用于橘子跟踪的视频图像；

图8是橘子图像的跟踪结果图像；

图9是用于参数学习的苹果视频图像；

图10是用于苹果跟踪的视频图像；

图11是苹果图像的跟踪结果图像。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例用于实现水果分级分拣的水果动态跟踪方法，首先对水果特性进行自动学习，获得图像中水果的最小平均面积值；再对待分级分拣的水果进行图像采集，并利用图像中水果的最小平均面积值，对图像中水果的面积变化的特征值进行跟踪，进而对出现多张图像中的同一个水果，获取一张完整的水果图像。

为了便于描述本发明的技术方案，将水果在图像中的像素个数，称为图像中水果的面积。本实施例中，水果动态跟踪方法具体包括如下步骤：

一、对水果特性进行自动学习，得到图像中水果的最小平均面积值；

(1)设定图像中存在水果的最小面积阈值初值；

设定相机拍摄图像的分辨率：设相机的拍摄宽度为width个像素，高度为height个像素。将(width*height)/20设定为图像中存在水果的最小面积阈值初值，记这个阈值初值为threshold。也就是说，对于任一张图像，若水果在图像中的有效像素个数小于最小面积阈值初值threshold，则判定图像中不存在水果，否则，判定图像中存在水果。

本步骤针对不同类型的水果，均可相应地设定图像中存在水果的最小面积阈值初值，从而根据水果的类型对图像中是否存在水果做出合适的判断。

(2)采集水果图像；

将一定数量的水果在传送带上以预设的空间间距进行传送。所预设的空间间距，要保证在相机的拍摄范围内，任何时刻最多只能出现一个水果，从而为后续步骤自动计算出图像中存在水果的最小平均面积值min_avg_fruit_area做准备。

当载有水果的传送带经过相机拍摄范围时，相机以预先设定的时间间隔不断拍摄传送带上的水果图像，直到停止拍摄。

(3)计算所采集的所有水果图像中的水果面积，结合图像中水果面积和最小面积阈值初值threshold计算得到水果最小平均面积值；

对拍摄到的每一张图像，将水果图像从rgb颜色空间转换到hsv颜色空间，获取亮度v平面的值；然后对亮度v平面进行二值化处理：将v平面中所有大于等于0.5的值修正为1，所有小于0.5的值修正为0；将亮度v平面所有值相加的和记为图像中存在水果的面积，也称为图像中水果面积。

设图像中水果面积大于最小面积阈值初值threshold的图像共有m张，将这些图像中的水果面积值相加，将相加的结果除以m，再将得到的结果除以2，得到的结果作为水果最小平均面积值，记为min_avg_fruit_area。

(4)停止拍摄，并输出水果的最小平均面积值，即min_avg_fruit_area的值。

二、对待分级分拣的水果进行图像采集，并利用图像中水果的最小平均面积值，对图像中水果的面积变化的特征值进行跟踪，进而对出现多张图像中的同一个水果，获取一张完整的水果图像。

(1)获取图像中水果的最小平均面积值；

如果所拍摄的这批待分级分拣的水果，没有相应的最小平均面积值，则通过前述步骤一的自动学习，获得水果的最小平均面积值；如果所拍摄的这批拟分级分拣的水果，已经有相应的最小平均面积，则直接读取，进入下一步。

(2)采集待分级分拣的水果图像，形成图像序列；

在本步骤中，水果在传送带上以预设的空间间距进行传送；所预设的空间间距，要保证在相机的拍摄范围内，任何时刻最多只能出现一个水果。且当载有水果的传送带经过相机拍摄范围时，相机以预先设定的时间间隔不断拍摄传送带上的水果图像，形成图像序列。

(3)根据图像中水果面积的变化规律对水果进行跟踪，进而对出现在多张图像中的同一个水果，从图像序列中获取一张完整的水果图像；

由于水果在传送带上以一定的空间间距传送，相机以设定的时间间隔进行连续拍摄时，所拍摄的图像序列中水果面积将出现这样的变化特征：不包含水果的图像→包含部分水果的图像→包含完整水果的图像→包含部分水果的图像→不包含水果的图像。图2、3显示了第一个水果和第二个水果经过传送带时相机拍摄的图像序列。

基于这样的变化特征，对图像中水果面积做如下处理：对拍摄到的每一张水果图像，将水果图像从rgb颜色空间转换到hsv颜色空间，获取亮度v平面的值；然后对亮度v平面进行二值化修正：将亮度v平面中所有大于等于0.5的值修正为1，所有小于0.5的值修正为0；将修正后的亮度v平面所有值相加的和记为图像中存在水果的面积，也称为图像中水果面积。

将图像中水果面积和水果最小平均面积值进行比较，得出相机所连续拍摄的图像序列的特征值变化规律，对出现在多张图像中的同一个水果，获得一张完整的水果图像。具体来说，当图像中水果面积大于等于水果最小面积值min_avg_fruit_area时，设置该图像的特征值为1；当图像中水果面积小于水果最小面积值min_avg_fruit_area时，设置该图像的特征值为0。为此，相机所连续拍摄的图像序列的特征值具有如图4所示的变化规律：

对图像序列的特征值进行跟踪，保存特征值为1的图像序列，假设图像特征值从0变化到1的图像的序列编号为start，图像特征值从1变化到0的图像的序列编号为end，对(start+end)/2进行取整运算操作，并将图像序列编号等于取整运算操作结果的图像，作为第一个完整水果图像，并输出。第一个完整水果图像的获取方法如图5所示。采用同样的方法获取后续所有的完整水果图像。

(4)输出完整水果图像，停止拍摄。

以一定的空间间距在传送带上连续传送的橘子进行跟踪并输出各个水果的完整图像为例，本实施例拍摄了一段有4个橘子在传送带上以一定的空间间距传送的橘子视频录像，逐一地从视频中获取图像，以模拟连续拍摄照片的效果。拍摄视频中的部分图像帧分别如图6、7所示。图6的视频用于对水果图像面积的学习，图7的视频用于对水果图像进行跟踪。在图6的视频中，拍摄时间为8秒左右，帧速率为27帧每秒，帧尺寸为960*544像素，共238帧。在图7的视频中，拍摄时间为9秒左右，帧速率为27帧每秒，帧尺寸为544*960像素，共247帧；计算得到橘子的最小平均面积值为35856。以这个值为参数，对橘子进行跟踪，得到如图8所示的跟踪结果图像，为视频中4个橘子的完整图像帧。

对以一定的空间间距在传送带上连续传送的苹果进行跟踪并输出每个苹果个体的完整图像为例。本实施例还拍摄了一段有4个苹果在传送带上以一定的空间间隔传送的苹果视频录像，逐一地从视频中获取图像，以模拟连续拍摄照片的效果。拍摄视频中的部分图像帧如图9、10所示。图9的视频用于对苹果图像面积的学习，图10的视频用于对苹果图像进行跟踪。在图9的视频中，拍摄时间为9秒左右，帧速率为27帧每秒，帧尺寸为544*960像素，共253帧。在图10的视频中，拍摄时间为9秒左右，帧速率为27帧每秒，帧尺寸为544*960像素，共261帧；计算得到苹果的最小平均面积值为51399。以这个值为参数，对苹果进行跟踪，得到如图11所示的跟踪结果图像，为视频中4个苹果的完整图像帧。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。