用闪光灯、相机、借助尺度不变性和局部遮挡的自动化图像分析检测曲面水果的方法和系统与流程

本申请根据美国法典第35条119款要求2014年6月30日提交的美国临时申请第61/998503号的优先权，该申请的全部内容通过参考结合于此。

关于联邦赞助研究的声明

本发明利用2012-67021-19958号USDA/NIFA拨款进行，得到部分政府支持。政府在本发明中享有某些权利。

背景技术：

本发明大体上涉及一种检测水果的系统和方法。更具体地，本发明涉及一种利用闪光灯照亮水果，并利用相机捕捉图像来检测生长中的水果的系统和方法，其中所述图像被分析，以基于曲面水果上出现的照明图案来是识别所述水果。

高价值的农产品(特别是诸如水果和坚果这样的商品)的生产需要在生长季节期间对农作物进行高分辨率测量和管理，从而提高效率。目前，能够在生长季节期间在田间测量农作物体积，密度和其他度量的自动化技术有限，但是，对精确、高分辨率测量存在较大需求。种植户可以利用农作物体积和其他信息使他们的管理实践更精确、有效，从而在收获时提高产量。此外，高分辨率、精确的水果检测系统是自动化收割系统的基本要求。

其他的自动化水果检测方法具有明显缺点，例如对比例和颜色敏感，只能检测单一尺寸或有限尺寸范围的水果，不能检测被局部遮挡的水果，以及不能在存有田间背景杂斑的情况下检测水果。所有这些缺点限制了(举例来说，在果园或葡萄园中)应用这些方法进行现场操作的能力。因此，开发出能够在户外环境中，在存在背景杂斑的情况下检测多种尺寸水果的方法是有利的。

技术实现要素：

根据本发明的一种实施方式，提供了一种通过成像来检测水果的系统和方法。在一些实施方式中，所述系统和方法被用于对数字图像中的水果进行自主检测以实现自动化农作物测量，或者与自动化操作系统(例如，机器人收割机或精密稀疏机构)一起使用。在一种实施方式中，使用闪光灯、相机和自动化图像分析以在图像中的背景杂斑中找到曲面水果。利用设置在相机旁边的一个或多个闪光灯控制水果照明，从而对水果进行照明。这会在曲面水果(例如苹果，葡萄，牛油果，或具有曲面外型的许多其他水果)的中心处产生强烈的镜面反射。从该中心点开始(此处的镜面反射率最大)，像素光强值朝着曲面水果的边缘持续地降低。因此，在图像内，在和水果相对应的位置上找到被像素光强值逐渐下降的曲面阴影区域所包围的镜面反射点。接下来评价所述区域的一致性几何结构，由此从杂乱的叶子背景中分辨出曲面水果。由于所述系统和方法足够强健，能够在现场应用，因此可以利用安装在车辆上的移动平台对一排农作物进行成像和分析。

附图说明

图1是根据本发明一种实施方式的方法的流程图。

图2是根据本发明一种可替代的实施方式的方法的流程图。

图3显示了根据本发明一种实施方式的方法来检测曲面水果上的阴影的重复的过程。

图4是一对图像，显示了葡萄藤(上)以及具有所识别出的各个浆果的相同的葡萄藤(下)。

图5是一对图像，显示了葡萄串(左)以及具有所识别出的各个浆果的相同的葡萄串(右)。

图6显示了检测方法的可视化呈现。

图7是一系列图像，显示了用于水果检测的某些度量。

图8是根据一种实施方式的系统的框图。

图9是作为检测系统和方法的结果而创建的产量密度图。

具体实施方式

通过参考附图，可以最好地理解本发明的实施方式及其优点。图1为流程图，显示了根据一种实施方式的方法识别水果的方法。在步骤101中，照亮水果。来自照射源801的光线从水果表面反射，并在步骤102中被相机802捕捉为数字图像。所述系统能够捕捉并分析田间生长的水果的图像，不管是否存在背景杂斑也不管水果的呈现是否不均匀。或者，图像可以在采摘过程后捕获，例如果农场主想知道所收获的水果的准确个数。

在步骤103中，在图像中检测局部极大点501。局部极大点501是高光强值的像素，表明来自于闪光灯的反射，其通过首次搜索图像光强值分布被找到。通过相对于每个像素在光强值分布中的相邻像素对所述每个像素进行分析，找到极大点501。如果一个像素比它所有的相邻像素的光强值都要大，则将其添加到候选像素集合中。也就是说，局部极大点501是能够通过进一步分析表明水果位置的像素的子集。

几乎所有与图像中水果位置相对应的图像区域都包括反射区域。通过检测局部极大点501，所述系统和方法使需要进一步分析以检测水果的像素数量最小化，极大地提高了效率和速度。例如，在1000万像素的数字图像中，存在1000万个像素。需要使用大量资源来分析这1000万个像素中每一个像素的图像数据中包含的特征。相比之下，举例来说，葡萄树的图像可能含有数千个局部极大点501，这意味着只有这数千个候选像素将被进一步分析。由这几千个候选像素可检测出数百个水果。借助于这样的效率改进，本发明所述的系统和方法能够在捕获图像时实时分析农作物。

检测局部极大点501的另一个好处是能够检测尺寸或直径未知的水果。对于任何尺寸的水果，局部极大点501都将是靠近水果中心的点。相比之下，利用边缘检测的方法在图像分析之前必须使用与水果的预期尺寸有关的信息。本方法的优点是可以在整个生长季节随着尺寸变化对水果进行检测，或者能够检测具有不同尺寸的不同品种水果，而无需改编程序或重新校准。

在步骤104中，一旦检测到局部极大点501，对每个单独局部极大点501周围的区域进行分析以检测图案。在该步骤中，搜索每个极大点周围的区域，以找到对应于某个光强值水平的带或环。例如，第一环可能包括局部极大点501光强值95％至99.9％的像素。第二环可能包括局部极大点501光强值90％至94.9％的像素。因此，第一环包括光强值低于最大值，但高于局部极大点501光强值的95％的临界值的像素，第二环包括光强值低于第一环，但高于局部极大点501光强值的95％的第二光强临界值的像素。虽然在该实施例中对于每个带使用固定的下降，但是每个带的下降可能不同。此外，有光泽的水果可能具有更窄的带，而粗糙的水果可能具有较大的带。

由于图像中每个单独的像素只属于单个水果，所以每个像素只相对于一个局部极大点501进行分析。也就是说，一旦找到围绕极大点501的第一环或一系列环，相邻的极大点501就不能再包含相同的像素。因此，消除了重叠的极大点。

在替代实施方式中，为获得对于局部遮挡(水果部分地被叶子或其他植物体遮蔽)的抗干扰性，对极大点501周围的区域的分析是在各个角度扇区中单独进行的。在该实施方式中，具有确定光强值的邻近局部极大点501的像素区域被找到。但是，不再是找到围绕该局部极大点501的所有像素，而是只找到邻近局部极大点501的角度扇区内的那些像素。角度扇区中光强值分布的一个示例如图6中第二列所示。

对于每个角度扇区，找到和极大点501的光强值相比具有确定光强值的第一像素带。接下来，通过找到光强值低于第一像素带的第二像素带进行第二次重复。该步骤重复，直到找到预定数量的带，每个带的像素的光强值都低于前一个带。

在步骤105中，确定多个环(或角度扇区中的带)的几何特征和外观特征。从广义上讲，从曲面水果的表面反射的光线会形成均匀的圆形图案。为检测该图案，计算由局部极大点501到光强值环边界上的每个像素之间的距离。如果环或带为弧形，则环或带的边缘上的每个像素应具有相似的距离。细长的带可能表示水果之外的物体。例如，线性带会出现在藤茎上。在步骤105中，如果每个环的光强值落入预定的范围内，并且多个环大体上符合几何学，则局部极大点501被识别为包含水果的区域。

图2是流程图，显示了根据可替换的实施方式的方法，所述实施方式对于局部遮挡的水果更为敏感。在该方法中，极大点501周围的区域在步骤201中被划分为多个角度扇区。在步骤202中，对于每个角度扇区，识别光强值降低的像素带。第一带的像素光强值低于极大点501，但是高于临界值，该临界值是最大强度的一部分。第二带的像素光强值低于第一带，但是高于第二临界值。重复该过程以在角度扇区中找到一组光强值逐渐下降的带。

接下来，在步骤203中，描述角度扇区的几何特征和外观特征，以将图像中的水果与其他物质区分开。例如，该分析可包括确定光强值带中的像素和极大点501之间的距离，与相邻扇区比较光强值环的相似性，计算光强值分布梯度的平滑度和其他特征，以及找到光强值带中的像素和极大点501所形成的角度和该点处光强值分布的角度之间的区别。在步骤204中，利用以经验为主设置的简单临界值，或者利用机器学习算法将所述扇区的这些几何特征和外观特征分类为水果，所述机器学习算法利用预先收集的水果和非水果区域的数据对特征的集合进行分类。但是，对于将被分类为水果的位置，应该存在最小数量的被分类为水果的类似相邻扇区。该扇区数量可随着对局部遮挡的抗干扰性性与对虚假检测的敏感性之间的平衡而变化。

图3是一系列图像，其示出了识别水果弯曲表面的循环过程，如步骤103和104所描述。在第一个图像中，在水果的中心处识别出反射极大点501，其对应于步骤103。在下一个图像中，在中心极大点501周围识别出具有光强值降低的像素的环，对应于步骤104。在下一个图像中，定位出具有光强值降低的像素的第二环。第四和第五个图像重复该过程，定位出光强值降低的第三环和第四环。

取决于应用或所期待的精度水平，可以调整识别出的光强值降低的环的数量。例如，反射背景杂斑较少的水果可能只需要两个环就可以精确地识别出水果，但是反射背景杂斑或在野外环境下可能需要五个环来减少误报。

图4是葡萄藤的样图。如上方图像所示，藤上呈现有多个水果串，每个水果串包括多个浆果。此外，在图像中呈现有叶、茎和颜色与葡萄串类似的其他物体。图4进一步显示出浆果的尺寸不一致。图4下方图像显示了利用本发明的实施方式识别出的浆果和勾勒出的葡萄串的轮廓。其他的极大发射点501也得以标示，但是它们并没有被识别为水果，这是因为这些点501并不具有围绕极大点501的光强值递减的环。例如，由于叶子的平坦表面轮廓，叶子具有跟随线性路径的阴影。

图5是由系统捕捉的这类图像的另一个示例，其显示了在葡萄藤上生长的葡萄。在图5中，呈现了单个葡萄串的一对图像。左侧图像显示了本发明相机802所捕捉的原始图像。右侧图像显示了利用正方形覆盖识别出的个体浆果。此外，图像中还显示了背景中的浆果，位于主葡萄串后面，也被正确识别出来。

图6显示了在图2所述方法中使用的检测算法的多个步骤。第一列显示了水果的不同图像，由第一列顶部的人工描绘的完美圆形水果开始，下一排是葡萄，接下来是苹果，然后是局部遮挡的苹果。在第一列中显示的水果上可以看到局部极大点501，显示为水果中心处的亮斑。从该极大光强值点501开始，光强值从中心朝水果边缘逐渐降低。

图6中的第二列显示了围绕局部极大点501的光强值逐渐降低的带。取决于特定应用，环的临界值可以设置为最大值的一部分。例如，如图6中的第二列所示，围绕极大点的第一环是光强值在最大值的90％到稍小于最大值之间的像素的区域。在顶排，环是完美的圆形。但是，对于真实水果的图像，环稍有不规则。例如，在底排中，局部遮挡的水果显示出新月形的光强值图案，这是由于苹果的上半部被叶子遮挡。由于该原因，可以使用角度分区(angular segments)来检测局部遮挡的水果，而不是使用环状区域。

图6中间列的顶排显示了如何将围绕水果的区域分割为角度分区。对于扇区中的每个光强值带，计算形成带的端界的每个像素与中心之间的半径的平均值。如果周界上每个点到中心的距离相似，则带的周界上每个点的标准差应该较小。此外，如果带为弧形，则光强值带的平均半径应该几乎和相邻扇区相同。

在水果表面上形成，并且中心位于极大点501上的方向图案(orientation pattern)也可以分割为角度扇区。计算扇区中每个点上形成的梯度方向与所述点和中心之间形成的角度之间的差异。对于平滑的圆形水果，差异非常小。

图7是一系列图像，描述了如何使用某些类型的图像数据将水果从背景杂斑中区分开。在右上方的图像中，其显示了梯度幅值(gradient magnitude)，精确捕捉了叶子的轮廓，但是水果的轮廓并没有捕捉到。左下方的图像描述了梯度方向，并显示了位于图像中心的水果。通过测量梯度方向的导数，能够确切地识别出水果的平滑度。梯度方向图像的导数在右下角显示。在图像中被捕捉到的，并形成图像数据的一部分的该特征信息可用于将水果从杂乱的背景区分开，特别是当水果的颜色和背景相似时。

图8是系统的框图。图像中显示了相机802，或优选实施方式中的一对相机802，以及闪光灯系统801。闪光灯801位于相机802旁边，和相机的光轴平行。在该方向上，反射率的极大值非常接近图像中所呈现的水果的中心。如果水果只被环境光照亮，则极大值可能位于水果顶部，这取决于太阳或其他灯光的位置。由于极大值接近中心，因此找到中心周围的逐渐降低的灯光强度值的重复过程可以完成。

在一种实施方式中，在检测葡萄的示例中，相机802安装在距离结果区域大约0.9至1.5m的位置，取决于特定葡萄园的结实区域的大小。就检测树上生长的苹果而言，相机802到苹果树的距离要大得多，因为结果区域所覆盖的面积要大得多。照明801直接设置在相机的边上以减少遮蔽。

例如，合适的设备可包括和PROSILICA CE4000相机802一起使用的24MM F/2.8D AF NIKKOR镜头。在该示例中，在观察水果的车辆上安装面向侧面的一对相机802。在相机802的两侧安装两个Einstein^TM 640单体闪光灯801。

在一个实施方式中，水果检测系统通过悬架808安装在车辆上。在该实施方式中，农场主可以沿着一排农作物行驶，捕捉成长中的水果的一系列图像。自动图像配准解决了水果重复计数或少算的问题。例如，第一图像可以显示五串葡萄。接下来的图像可在新的四串葡萄之外显示第一图像中的两串葡萄。因此，第一图像显示了五串葡萄，第二图像显示了六串葡萄，一共十一串葡萄。但是，有两串葡萄被重复计数，意味着在两张连续的图像中只有九串葡萄。

为防止可能在计数和产量预估时引起错误的该问题，所述系统和方法对每个图像的位置进行配准。从配准信息中，可以通过以下过程识别出各个水果。首先，来自于作物行的每个图像所产生的检测结果被逆投影到本地水果墙上，所述水果墙是根据图像数据创建的作物行的虚拟显示。接下来将作物行的整个长度分割为较短的分段，例如，长度为0.5m。包含来自多于一张图像的投影水果检测结果的分段是相机视图重叠的区域。保留来自于分段中的检测结果最多的图像的检测结果，丢弃分段中来自其他图像的检测结果。使用该启发法来选择受遮挡影响最小的图像。采取最大限度的图像测量而不是试图将所有图像测量合并在一起，避免了当水果被风吹动或车辆拉扯葡萄藤时试图进行精细配准的问题。每个分段现在具有和其关联的可视水果计数，可以逐行合计。

配准每个图像的位置的另一个好处是可以估算田间特定位置的产量。可以利用GPS估计位置。或者，可以利用视觉测程法确定位置。视觉测程法估算和PointGrey2立体视觉相机一起使用，所述相机安装在车辆上，向下朝着作物行。立体视觉相机收集的数据和视觉测程算法一起使用，从而估算车辆沿着作物行的位置。为了保持相机和闪光灯同步，通过外部脉冲触发相机。对于以5.4km/h的速度行驶的车辆，以5Hz的频率捕捉图像，该速度类似于杀虫剂喷洒拖拉机的速度，比机械收割机的速度快。图9是本发明的系统和方法生成的样品作物产量密度图。

虽然参考本发明的特定实施方式详细描述了本发明，但是，对于本领域技术人员而言，很显然可以在不偏离实施方式的精神和范围的前提下做出各种改动和修改。因此，如果本发明的修改和变化落入权利要求和其等价物的范围内，则本发明涵盖这些修改和变化。