专利名称：一种基于机器视觉的苹果检测分级方法
技术领域：
本发明涉及一种按照水果的品质检测分级的方法，尤其涉及一种基于机器视觉效果检测分级方法。
背景技术：
苹果是世界上被食用最广泛的水果之一，同时也是重要的外贸果品。但是由于采摘后检测、分级技术落后，目前很多苹果在采摘后不经过分级处理就直接上市，造成等级混杂，良莠不齐，影响了其商品价值，特别是在国际市场上缺乏竞争力。
苹果的采后商品化处理的主要技术环节包括挑选、清洗、打蜡、分级和包装等，其中分级是商品化处理中的核心环节。目前我国的苹果分级主要还是依靠人工完成，需要的劳动力多，劳动强大，而且分级的结果因劳动者的个体差异而差别较大，分级的一致性较差，效率较低。利用机器视觉进行机器视觉的分级具有很大的优势，可以对苹果实现单个标准分级，或者同时对多个标准，包括水果的尺寸大小、颜色、形状、表面缺陷等外观品质一次性进行综合分级。分级的客观性强、标准稳定、一致性好、效率高，而且非接触无伤害，因而具有很好的应用前景。
苹果的视觉分级主要是通过对苹果的图像利用计算机进行数字图像处理，提取苹果特征值，进而判别水果的等级。因而苹果图像处理技术和特征值的计算是整个视觉分级中最关键的核心技术，直接关系到分级的可行性和准确性。
发明内容
(一)要解决的技术问题 本发明的目的是要克服现有技术的不足，提供一种基于机器视觉的苹果检测分级方法，该方法通过对苹果的大小、颜色和纹理三项指标参数的检测，结合设定的分级标称值，对苹果进行分级。
(二)技术方案 针对以上问题，本发明提出的一种基于机器视觉效果检测分级方法，包括以下步骤 一种基于机器视觉的苹果检测分级方法，其中所述苹果检测的检测参数包括苹果的大小、颜色和纹理，其特征在于，所述方法包括以下步骤 1)使苹果连续滚动通过采集区域，并连续采集至少3幅不同表面图像，使图像覆盖苹果表面的绝大部分面积； 2)将步骤1)中取得的图像的面积视为圆面积，并计算该圆面积对应的平均直径，该平均直径即为苹果的大小参数； 3)分别计算步骤1)中取得图象的表面红区比例、表面平均色度和表面着色均匀度的平均值，根据不同品种苹果的表面颜色特点对上述三项平均值，进行加权综合计算后，得到苹果的颜色参数； 4)对计算步骤1)中取得图象的进行背景分割、灰度化、锐化处理和滤波去噪处理后，得到苹果的纹理突出显示图像，然后，计算该图像的平均梯度值，该梯度值即为苹果的纹理参数； 5)根据苹果的品种类型设定上述三个参数的分级标称值范围，并将测得值与分级标称值范围进行比较，根据比较结果对苹果进行分级。
优选地，上述方案步骤1)还可包括对采集的原图像进行邻域滤波预处理，提取其R通道图像，对其进行阈值分割，提取目标图像。
更优选地，上述方案步骤2)中，根据红色区域形心或步骤1)得到的各图片的平均色度最大差值来计算机苹果的表面着色均匀度。
(三)有益效果 采用本发明的方法对苹果进行实时分级时，当对每个苹果采集的图像分辨率为195×195像素时，分级速度能达到每秒9个苹果。从试验结果可以看到对于表面颜色单一的黄香蕉苹果和王林苹果综合分级时，识别精度达到95％以上，表面颜色红绿相间的苹果综合分级时，识别精确度达到91％以上，本发明方法的计算复杂度低，易于实现，适于苹果的快速实时分级；并且实现了5中苹果的检测分级，实用面广。
图1为本发明实施例2的表面红区比例检测的苹果样本； 图2为本发明实施例2的苹果的四个等级的色相分布图； 图3为与图2对应的苹果的四个等级的累计色相频度分布图； 图4为本发明实施例2计算平均色度H值的过程示意图； 图5为本发明实施例2检测着色不均匀苹果两形心的过程示意图； 图6为本发明实施例2中表面相差较大苹果的表面对照图； 图7为本发明实施例3的纹理鲜明果和纹理不鲜明果对照图； 图8为本发明实施例3的图像预处理流程框图； 图9为本发明实施例3的图像预处理效果图。
具体实施例方式 本发明提出的一种基于机器视觉的苹果检测分级方法结合附图和实施例说明如下。以下实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由各权利要求限定。
水果的外部品质主要包括大小、形状、颜色、纹理和缺陷特征。重量和尺寸可以反映苹果的大小。外形的规整性直接影响苹果的美观，进而影响苹果的市场价值。颜色是水果的外在品质的重要指标，高品质的苹果一般着色均匀而且色泽好。颜色反映苹果的成熟度，间接地反映了水果地糖度、酸度及口感等内部品质，成熟的苹果果面上鲜红或深红应占50％以上。根据不同品种固有的颜色特点，按果实的不同用途，以果皮的着色程度为主要依据，可以确定其销售价格。纹理是水晶富士特有的特征，在水晶富士中，纹理鲜明的苹果口感比纹理不鲜明的苹果好，市场价值也较高，所以进行纹理分级是非常重要的。本发明基于机器视觉主要对苹果的大小、颜色、纹理三个特征进行了分级研究。
在利用机器视觉进行苹果的分级时，图像是二维信号，苹果的每幅图像只含有一个方向上的视觉信息，而分级需要利用水果在空间立体各个方向上的最大果径来表示大小，利用水果的整个表面颜色信息来综合判断水果的颜色等级，所以一副图像无法包含分级所需的全部信息。本发明分别对每个苹果采集三次图像，要求每次采集不同的表面，并且三次采集的表面能覆盖整个水果表面的95％以上。
按照苹果大小、颜色、纹理进行检测分级的具体算法分为3个实施例，如下 实施例1 每个苹果经过采集区域的过程中不停滚动，并被连续采集到3幅不同表面图像，覆盖整个果面的90％以上，可以较完整地反映苹果表面信息，且每幅图像中苹果的面积即苹果最大横截面面积。由于苹果属于圆形果种类，可以把图像中苹果近似看作圆形，带入圆的面积公式计算半径r。r为苹果最大横截面半径，对每个苹果的三幅图像求取三个r值，再求平均，即得到苹果的平均半径R。由于在鲜苹果的国家标准GB 10654-89讨论稿中，大小用最大横切面积直径来表示，因此使R乘以2得到苹果平均直径D，并把D作为大小特征值，这就是改进的投影面积法。具体方法如下 在动态下对苹果进行检测分级，每个苹果在经过采集区域的过程中被采集到3幅不同表面的投影图像S1、S2和S3。带入圆的面积公式计算半径r1，r2和r3，如公式(1)所示。
i＝1，2，3(1) ri为通过三个投影面积求出的水果半径，再求平均半径R，如公式(2)，那么直径D等于R的2倍，并用D代替苹果平均直径来判别苹果的尺寸大小，计算公式如(3)。
D＝2×R(3) 实施例2 选取大量苹果样本，对其表面颜色特性进行分析，得到三个表面颜色特征参数表面红区比例(表面红色区域所占整个果面的比例)、表面平均色度、表面着色均匀度。下面分别介绍这三个特征参数的计算方法。
表面红区比例的检测方法如下 如图1所示为代表四个等级的4个苹果样本。利用HIS颜色模型对其进行颜色特性分析。计算步骤为首先，图像分割提取苹果目标；然后，将RGB颜色模型转换为HIS颜色模型；最后，求出目标图像内每一象素点的色度值，得到分别代表四个等级苹果颜色的色度分布如图2所示。
从图2中可得红富士苹果色度范围在0°～100°左右，随着色度的减小，色相曲线向右偏移。优等红富士苹果色度值集中在0°～25°左右；一等红富士苹果色度值集中在15°～40°左右；二等红富士苹果色度值集中在30°～65°左右，且分布比较分散；等外红富士苹果色度值集中在60°～80°左右。但是各个等级苹果图像的色相分布范围有重叠部分，很难找到区分各级的色相阈值。根据色相分布图2，计算每个色相值下的频度累计(即不大于该色度值的频度累加和)，得到相对应的色相累计频度分布如图3。由图3可知，随着苹果由红变绿，其色相累计频度图明显右移，且曲线陡度变小。那么把合适色相值下所对应的累计频度(即表面红区比例)作为特征值，可以把四个等级区分开来。
表面平均色度的检测方法 对于黄香蕉、王林等种类的苹果表面着色单一，多为绿色或黄绿色。只需提取其表面颜色的平均色度即可进行颜色分级。如图4所示，在动态检测条件下获取苹果图像，再对每一幅图像进行图像分割，RGB颜色模型转换到HIS颜色模型，最后在HIS颜色模型下求出目标图像内每一象素点的色度值，进而计算整个苹果的平均色度值H，如式(1) 式中，n表示图像中苹果目标的象素点个数，Hi表示每一象素点的色度值。
表面着色均匀度的检测方法 对大量的苹果表面颜色特性进行分析可得，表面着色不均匀分为两种情况。
第一种情况苹果某个表面着色不均匀，颜色呈块状分布，如图5中第一个苹果，首先背景分割，提取苹果目标；然后利用红色区域与绿色区域的R值不同，找到合适阈值，提取红色区域，并计算其形心；求红色区域形心与整个苹果形心的距离L，利用L值判断苹果表面着色均匀度。如图5中苹果，红色区域形心坐标为(89，83)，整个苹果形心坐标为(97，86)。进而计算两点距离为8.5个象素点。
第二种情况同一个苹果某个表面与另外一个表面颜色相差较大，如图6中的苹果a和苹果b，是同一苹果的不同表面，显然颜色差别很大。本课题分别求取同一个苹果被拍三幅图像中每幅图像中苹果的平均色度H1、H2、H3，再求参数值dif，公式如(2)所示。进而以参数dif来判别苹果表面着色均匀度。
dif＝max(|H1-H2|，|H1-H3|，|H2-H3|)(2) 实施例3 如图7示，苹果1和2底色淡黄，表面有大量纹理，口感甘甜，市场价格较高，为纹理鲜明A级果；苹果3和4底色分别为红色和绿色，表面颜色成块状分布，口感次之，市场价格较低，为纹理不鲜明B级果。
为便于下面说明，对应上图7，其中苹果3表面几乎全红，把与其类似的苹果定义为全红果，反之为非全红果。
图像处理流程框图如图8所示，方法叙述如下 1)采用邻域滤波方法对原图像去除噪声，设定合适阈值进行图像分割，提取苹果目标； 2)通过大量试验可知，全红果与背景颜色难以用单个颜色通道进行分割，需要单独把其分离出来进行图像处理。在此，结合R和B通道信息提出分离算法为计算图像中所有像素点的R值和B值之差的绝对值的平均值D，即 通过大量试验，找到最能区分以上两种苹果的阈值为55，D值大于55为全红果，反之为其余类苹果。全红果和非全红果分别按照公式L＝(3.5G-1.5R-B)和L＝(R-G)得到相应灰度图，其中L为灰度值。
3)由于纹理区域位于灰度突变的地方，可以用灰度差分提取。由于苹果表面纹理在一幅图像中常常具有任意方向，因此选取各向同性的锐化方法梯度法。如图5-3中点(x，y)的梯度，方向是f(x，y)在这点变化率最大的方向，而其模为G(f(x，y)))则等于f(x，y)的最大变化率，即 典型梯度算法 G(f(x，y)＝[(f(x，y)-f(x+1，y))2+(f(x，y)-f(x，y+1))2]1/2。
利用典型梯度算法对图像进行锐化，计算每个像素点的梯度值G(f(x，y))，设定阈值50，梯度值大于50的像素点置为黑色，其余点置为白色。连续两次对图像进行梯度法锐化处理。然后对图像进行滤波去噪，使得纹理突出显示，算法描述为当图像中像素点为白色，计算其周围8个像素点的灰度值之和sum，如果sum小于1020(255×4)，把此像素显示为黑色，否则依然显示白色；当图像中像素点为黑色，计算其周围8个像素点的灰度值之和sum，如果sum大于1785(255×7)，把此象素显示为白色，否则依然显示黑色。图7中的苹果2和苹果3经上述处理后的效果分别对应图9所示，这样纹理就突出显示出来。
纹理被清晰地显示出后，计算该图像的分级特征值平均梯度S。对典型梯度算法进行改进，提高速度，得到以下梯度算法，如式(6)。平均梯度S则为梯度值G(f(x，y))的和与苹果直径d的比值，如式(7)。
G(f(x，y))＝|f(x，y)-f(x+1，y)|+|f(x，y)-f(x，y+1)|(6) 其中d代表苹果的直径。
最后，对于特征值平均梯度，选取合适阈值，按照纹理特征将苹果分为纹理鲜明果和纹理不鲜明果。
计算出以上三个表面特征之后，得到苹果的大小级别、颜色级别和纹理级别，再通过不同组合的加权值得到苹果的综合级别，完成苹果的综合分级。
根据上述实施1、2、3的操作方式，对苹果的优等品、一等品、二等品和等外品分别用A、B、C和D表示。如式(8)所示得出A级苹果的分级正确率。
上式中，p(A)表示检测优等品时的苹果检测正确率；Ai代表优等品检测中每次试验检到苹果个数；A代表人工检测优等品苹果个数；n代表试验次数；P代表试验总体分级正确率。
由于五种苹果表面特征不同，其中水晶富士表面颜色红绿相间，颜色分布复杂，需按照大小、颜色、纹理、综合分级；工藤富士、黄香蕉和红香蕉需要按大小、颜色、综合分级；而王林颜色单一，多为绿色，只需按大小分级即可。五种苹果分级试验数据如下 表1大小分级试验结果 表2颜色分级试验结果 表3纹理分级试验结果 表4综合分级试验结果 本发明在应用于苹果的实际实时分级时，对每个水果采集的图像分辨率为195×195像素，分级速度能达到每秒9个苹果。从试验结果可得1)表面颜色单一的黄香蕉苹果和王林苹果综合分级时，识别精度达到95％以上。2)表面颜色红绿相间的苹果综合分级时，识别精确度达到91％以上。
权利要求
1.一种基于机器视觉的苹果检测分级方法，其中所述苹果检测的检测参数包括苹果的大小、颜色和纹理，其特征在于，所述方法包括以下步骤
1)使苹果连续滚动通过采集区域，并连续采集至少3幅不同表面图像，使图像覆盖苹果表面的绝大部分面积；
2)将步骤1)中取得的图像的面积视为圆面积，并计算该圆面积对应的平均直径，该平均直径即为苹果的大小参数；
3)分别计算步骤1)中取得图像象的表面红区比例、表面平均色度和表面着色均匀度的平均值，根据不同品种苹果的表面颜色特点对上述三项平均值，进行加权综合计算后，得到苹果的颜色参数；
4)对计算步骤1)中取得图像的进行背景分割、灰度化、锐化处理和滤波去噪处理后，得到苹果的纹理突出显示图像，然后，计算该图像的平均梯度值，该梯度值即为苹果的纹理参数；
5)根据苹果的品种类型选定上述三个检测参数中的一个或多个作为分级标称参数，并设定相应的分级标称值范围，将测得值与分级标称值范围进行比较后，根据比较结果对苹果进行分级。
2.如权利要求1所述的检测苹果品质特征参数的方法，其特征在于在所述步骤1)还包括对采集的原图像进行邻域滤波预处理，提取其R通道图像，对其进行阈值分割，提取目标图像。
3.如权力要求2所述的苹果检测分级方法，其特征在于，所述步骤2)中，根据红色区域形心或步骤1)得到的各图片的平均色度最大差值来计算机苹果的表面着色均匀度。
全文摘要
本发明涉及一种基于机器视觉的苹果检测分级方法，检测方法包括以下步骤使苹果连续滚动通过采集区域，并连续采集至少3幅不同表面图像，使图像覆盖苹果表面的绝大部分面积；将中取得的图像的面积视为圆面积，并计算该圆面积对应的平均直径，该平均直径即为苹果的大小参数；同时计算取得图像的表面红区比例、表面平均色度和表面着色均匀度的平均值，得到苹果的颜色参数；对取得图像的进行背景分割、灰度化、锐化处理和滤波去噪处理后，计算该图像的平均梯度值。本发明的方法能有效降低扫描仪的成像线性误差、快速准确、通用于各类扫描仪。本发明方法的计算复杂度低，易于实现，适于苹果的快速实时分级；并且实现了5种苹果的检测分级，适用面广。
文档编号G01N21/85GK101153851SQ20071011897
公开日2008年4月2日 申请日期2007年6月15日 优先权日2007年6月15日
发明者伟 李, 康晴晴, 一 荀, 张俊雄 申请人:中国农业大学