一种用于果蔬识别算法性能评价的数据质量分析方法
【专利摘要】本发明公开了一种用于果蔬识别算法性能评价的数据质量分析方法，其中用于评价果蔬识别算法性能的数据为对果蔬图像应用果蔬识别算法后得到的果蔬识别结果图像中的果蔬识别正确数，将用于获得果蔬识别结果图像中的果蔬识别正确数的统计系统作为一种软测量系统，使用一种基于属性一致性分析的软测量系统分析方法对果蔬识别正确数的数据质量进行分析。应用本发明可确定用于评价果蔬识别算法性能的数据能够真实地反映果蔬识别算法性能的程度，进而确定基于所用数据得到的果蔬识别算法性能评价结论的有效程度。
【专利说明】
一种用于果蔬识别算法性能评价的数据质量分析方法
技术领域
[0001] 本发明涉及一种用于果蔬识别算法性能评价的数据质量分析方法。
【背景技术】
[0002] 果蔬生产费时费力，而农业机器人是实现果蔬生产自动化的一种非常好的解决方 案。作为农业机器人的重要组成部分，视觉系统的主要任务之一是实现果蔬的机器视觉自 动识别。因此，基于机器视觉的果蔬识别算法是目前农业机器人研究领域的热点。在当前基 于机器视觉的果蔬识别算法研究中，果蔬识别正确率是用于评价果蔬识别算法性能的主要 评价指标。果蔬识别正确率为果蔬识别正确数占被识别果蔬总数的比例。所以，果蔬识别正 确率的计算需以获得果蔬识别正确数为前提。现有研究中，果蔬识别正确数主要依靠肉眼 对已经过果蔬识别算法处理后得到的果蔬识别结果图像进行人工统计获得。果蔬识别正确 数的统计结果容易受到诸如统计人员、统计方法、统计环境等多种因素的影响，因此具有一 定的变差。事实上，不同统计人员对同一果蔬识别结果图像使用同一统计方法进行多次统 计，果蔬识别正确数的统计结果可能存在一定变差。即使同一统计人员，对同一果蔬识别结 果图像使用同一统计方法进行多次重复统计，果蔬识别正确数的统计结果同样可能存在一 定变差。若统计得到的果蔬识别正确数变差过大，则统计所得的果蔬识别正确数并不能真 实地反映果蔬识别算法的性能，即果蔬识别正确数的数据质量较差，因此基于这样的果蔬 识别正确数得到的果蔬识别算法性能评价的结果也是不可靠的。然而，在当前果蔬识别算 法的研究中，在统计获得果蔬识别正确数后，果蔬识别正确数被直接用于评价果蔬识别算 法的性能，而没有经过果蔬识别正确数的数据质量分析。另外，目前也没有用于果蔬识别算 法性能评价的数据质量分析方法。因此，在果蔬识别算法研究中，非常需要一种能够用于果 蔬识别算法性能评价的数据质量分析方法，以确保使用高数据质量的数据进行果蔬识别算 法性能的正确评价。
【发明内容】
[0003] 本发明的目的在于提供一种用于果蔬识别算法性能评价的数据质量分析方法，以 确定用于果蔬算法性能评价的数据能够真实地反映果蔬识别算法性能的程度以及基于所 用数据得到的果蔬识别算法性能评价结论的有效程度。
[0004] 本发明采用的技术方案是：
[0005] 1.-种用于果蔬识别算法性能评价的数据质量分析方法，其中用于评价果蔬识别 算法性能的数据为对果蔬图像应用果蔬识别算法后得到的果蔬识别结果图像中的果蔬识 别正确数;将用于获得果蔬识别结果图像中的果蔬识别正确数的统计系统作为一种软测量 系统;使用一种基于属性一致性分析的软测量系统分析方法对果蔬识别正确数的数据质量 进行分析。
[0006] 2.所述的一种软测量系统的组成如下:将对果蔬图像应用果蔬识别算法后得到的 果蔬识别结果图像作为软测量系统中的被测对象;将统计果蔬识别结果图像中的果蔬识别 正确数的统计方法作为软测量系统中的软量具；将统计人员作为软测量系统中的测量人 员;将统计人员的工作环境作为软测量系统中的测量环境。
[0007] 3.所述的一种基于属性一致性分析的软测量系统分析方法包含如下步骤：
[0008] ①设置变量P的值为0;
[0009] ②确定m幅应用果蔬识别算法后得到的果蔬识别结果图像，并对这m幅果蔬识别结 果图像从1至m顺序编号，其中m为实际用于果实识别算法性能试验的果蔬识别结果图像幅 数；
[00? 0]③选择n位统计人员，编号分另lj为1至n，其中n由式⑴计算得到:
[0011]
[0012] ④由统计人员η将m幅果蔬识别结果图像的编号随机排列，然后由统计人员η将m幅 果蔬识别结果图像按随机排列后的编号顺序逐幅交给统计人员1，统计人员1使用果蔬识别 正确数统计方法逐幅进行一次果蔬识别正确数的统计，并由统计人员η记录统计结果，统计 人员1不知道m幅果蔬识别结果图像的统计顺序及统计结果；
[0013] ⑤由统计人员1将m幅果蔬识别结果图像的编号随机排列，然后由统计人员1将m幅 果蔬识别结果图像按随机排列后的编号顺序逐幅交给统计人员2,统计人员2使用果蔬识别 正确数统计方法逐幅进行一次果蔬识别正确数的统计，并由统计人员1记录统计结果，统计 人员2不知道m幅果蔬识别结果图像的统计顺序及统计结果；
[0014] ⑥若η大于2,则跳转到步骤⑦;若η等于2,则p加1，然后跳转到步骤⑧；
[0015] ⑦则统计人员3至统计人员η分别取代步骤⑤中的统计人员2后均重复步骤⑤一 遍，Ρ加1;
[0016] ⑧判断ρ是否等于2;若ρ等于2,则跳转到步骤⑨;若ρ不等于2,则间隔7天后，跳转 到步骤④；
[0017] ⑨应用测量系统分析中属性一致性分析中的Fleiss Kappa值的计算方法计算统 计人员1和统计人员η所记录的全部统计结果对应的表征果蔬识别正确数的数据质量的重 复性和再现性的Fleiss Kappa值；
[0018] ⑩对步骤⑨得到的表征果蔬识别正确数的数据质量的重复性和再现性的Fleiss Kappa值应用测量系统分析中属性一致性分析中的基于FIeiss Kappa值的评价准则，最终 得到果蔬识别正确数的数据质量分析结果，即得到表征果蔬识别正确数的数据质量的重复 性和再现性的分析结果。
[0019] 4.所述的一种软量具，不同于具有物理实体的量具，是一种统计果蔬识别结果图 像中的果蔬识别正确数的统计方法，这种软量具的测量对象为果蔬识别结果图像，测量结 果为果蔬识别结果图像的果蔬识别正确数，其中果蔬识别结果图像为对果蔬图像应用果蔬 识别算法后得到的结果。
[0020] 5.所述的测量人员为经过培训，已正确掌握果蔬识别正确数统计方法的统计人 员。
[0021 ]本发明具有的有益效果是：
[0022]本发明通过对用于评价果蔬识别算法的数据的数据质量进行分析，确定用于评价 果蔬识别算法的数据的数据质量，从而能够确定用于评价果蔬识别算法性能的数据能够真 实地反映果蔬识别算法性能的程度以及基于所用数据得到的果蔬识别算法性能评价结论 的有效程度，进而可通过使用高数据质量的数据进行果蔬识别算法真实性能的正确评价， 确保果蔬识别算法性能评价结论的有效性。
【附图说明】
[0023]图1是软测量系统组成示意图。
[0024]图2是基于属性一致性分析的软测量系统分析方法图。
[0025]图3是软量具测量原理示意图。
[0026]图4是软量具输入输出示意图。
【具体实施方式】
[0027]下面结合附图和实施例对本发明作进一步说明。
[0028] -种用于被遮挡番茄识别算法性能评价的数据质量分析方法的具体实现如下：
[0029] 1.-种用于被遮挡番茄识别算法性能评价的数据质量分析方法，用于评价被遮挡 番茄识别算法性能的数据为对被遮挡番茄图像应用被遮挡番茄识别算法后得到的被遮挡 番茄识别结果图像中的被遮挡番茄识别正确数;将用于获得被遮挡番茄识别结果图像中的 被遮挡番茄识别正确数的统计系统作为一种软测量系统;使用一种基于属性一致性分析的 软测量系统分析方法对被遮挡番茄识别正确数的数据质量进行分析。
[0030] 2.所述的一种软测量系统的组成如图1所示，如下:将对被遮挡番茄图像应用被遮 挡番茄识别算法后得到的被遮挡番茄识别结果图像作为软测量系统中的被测对象;将统计 被遮挡番茄识别结果图像中的被遮挡番茄识别正确数的统计方法作为软测量系统中的软 量具;将统计人员作为软测量系统中的测量人员；将统计人员的工作环境作为软测量系统 中的测量环境。
[0031] 3.所述的一种基于属性一致性分析的软测量系统分析方法如图2所示，包含如下 步骤：
[0032]①设置变量p的值为0;
[0033] ②确定m=300幅应用被遮挡番茄识别算法后得到的被遮挡番茄识别结果图像，并 对这300幅被遮挡番茄识别结果图像从1至300顺序编号；
[0034] ③选择η = 3位统计人员，编号分别为1至3;其中η由式⑴计算得到：
[0035]
[0036] ④由统计人员3将300幅被遮挡番茄识别结果图像的编号随机排列，然后由统计人 员3将300幅被遮挡番茄识别结果图像按随机排列后的编号顺序逐幅交给统计人员1，统计 人员1使用被遮挡番茄识别正确数统计方法逐幅进行一次被遮挡番茄识别正确数的统计， 并由统计人员3记录统计结果，统计人员1不知道300幅被遮挡番茄识别结果图像的统计顺 序及统计结果；
[0037] ⑤由统计人员1将300幅被遮挡番茄识别结果图像的编号随机排列，然后由统计人 员1将300幅被遮挡番茄识别结果图像按随机排列后的编号顺序逐幅交给统计人员2,统计 人员2使用被遮挡番茄识别正确数统计方法逐幅进行一次被遮挡番茄识别正确数的统计， 并由统计人员1记录统计结果，统计人员2不知道300幅被遮挡番茄识别结果图像的统计顺 序及统计结果；
[0038]⑥因为η大于2,所以跳转到步骤⑦；
[0039] ⑦由统计人员1将300幅被遮挡番茄识别结果图像的编号随机排列，然后由统计人 员1将300幅被遮挡番茄识别结果图像按随机排列后的编号顺序逐幅交给统计人员3,统计 人员3使用被遮挡番茄识别正确数统计方法逐幅进行一次被遮挡番茄识别正确数的统计， 并由统计人员1记录统计结果，统计人员3不知道300幅被遮挡番茄识别结果图像的统计顺 序及统计结果;Ρ加1;
[0040] ⑧判断ρ是否等于2;若Ρ等于2,则跳转到步骤⑨;若Ρ不等于2,则间隔7天后，跳转 到步骤④；
[0041 ]⑨应用测量系统分析中属性一致性分析中的F1 e i ss Kappa值的计算方法，如式 (2)所示，计算统计人员1和统计人员3所记录的全部统计结果对应的表征被遮挡番茄识别 正确数的数据质量的重复性和再现性的Fleiss Kappa值;其中重复性是表征每位统计人员 各自对300幅被遮挡番茄识别结果图像重复统计2次，2次统计结果间的一致性;计算重复性 的F1 e i s s Kappa值，需计算每个统计人员的重复性F1 e i s s Kappa值;计算所用数据分别为 每位统计人员各自对300幅被遮挡番茄识别结果图像重复统计2次的统计结果;再现性是表 征3个统计人员对300幅被遮挡番茄识别结果图像进行统计后，3个统计人员之间的统计结 果的一致性;计算再现性的Fleiss Kappa值需使用3个统计人员的统计结果；
[0043]式中：kFt是Fleiss Kappa;n是被遮挡番前识别结果图像数量;m是每幅被遮挡番前 识别结果图像被统计总次数;a是单幅被遮挡番茄识别结果图像中出现的被遮挡番茄个数 可能值的数量;Xlk是第i幅且其中被遮挡番茄个数为k个的被遮挡番茄识别结果图像的被统 计次数;Xk是被遮挡番茄个数为k个的被遮挡番茄识别结果图像的被统计次数；
[0044]⑩对步骤⑨得到的表征被遮挡番茄识别正确数的数据质量的重复性和再现性的 FIeiss Kappa值应用测量系统分析中属性一致性分析中的基于FIeiss Kappa值的评价准 贝1J，最终得到被遮挡番茄识别正确数的数据质量分析结果，即得到表征被遮挡番茄识别正 确数的数据质量的重复性和再现性的分析结果;其中，基于Fleiss Kappa值的评价准则为： 若Fleiss Kappa值小于0.4,统计结果一致性差;若Fleiss Kappa值大于或等于0.4且小于 或等于0.75,统计结果一致性较好;若Fleiss Kappa值大于0.75,统计结果一致性非常好。 [0045] 4.所述的一种软量具，不同于具有物理实体的量具，是一种统计被遮挡番茄识别 结果图像中的被遮挡番茄识别正确数的统计方法，具体实现原理为:统计人员肉眼定性观 察每幅被遮挡番茄识别结果图像中所有被遮挡番茄的识别结果，即通过观察被遮挡番茄识 别算法获得的被遮挡番茄拟合圆与番茄边缘拟合的紧密程度判断识别结果的正确性;若拟 合得非常紧密(如图3中1所示），则该被遮挡番茄识别正确，被遮挡番茄识别正确数加1;若 被遮挡番茄拟合圆偏大（如图3中2所示）、或偏小（如图3中3所示）、或被遮挡番茄拟合圆位 置存在偏差(如图3中4所示），则该被遮挡番茄识别错误，被遮挡番茄识别正确数保持不变； 统计得到每幅被遮挡番茄识别结果图像中被遮挡番茄识别正确数;软量具的输入和输出如 图4所示:这种软量具的输入即测量对象为被遮挡番茄识别结果图像，这种软量具输出即测 量结果为被遮挡番茄识别结果图像的被遮挡番茄识别正确数，用于进行数据质量分析，其 中被遮挡番茄识别结果图像为对被遮挡番茄图像应用被遮挡番茄识别算法后得到的结果。 [0046] 5.所述的测量人员为经过培训，已正确掌握被遮挡番茄识别正确数统计方法的统 计人员。
[0047] 试验结果显示：统计人员1、2、3各自的重复性Fleiss Kappa值分别为0.7084， 0.8743,和0.8359,表明统计人员1和统计人员2的重复性非常好，统计人员3的重复性较好。 再现性的Fleiss Kappa值为0.5915，表明再现性较好。即3个统计人员对应的所有被遮挡番 茄识别正确数统计结果的再现性数据质量较好，统计人员1和统计人员2的被遮挡番茄识别 正确数统计结果的重复性数据质量非常好，统计人员3的被遮挡番茄识别正确数统计结果 的重复性数据质量较好。为保证所统计的被遮挡番茄识别正确数高度反映被遮挡番茄识别 算法的真实性能，进而确保基于所统计的被遮挡番茄识别正确数得到的被遮挡番茄识别算 法性能评价结果的有效性，建议使用统计人员2或者统计人员3统计所得的具有非常好的数 据质量的被遮挡番茄识别数进行被遮挡番茄识别算法性能评价。
【主权项】
1. 一种用于果蔬识别算法性能评价的数据质量分析方法，其特征在于，用于评价果蔬 识别算法性能的数据为对果蔬图像应用果蔬识别算法后得到的果蔬识别结果图像中的果 蔬识别正确数;将用于获得果蔬识别结果图像中的果蔬识别正确数的统计系统作为一种软 测量系统;使用一种基于属性一致性分析的软测量系统分析方法对果蔬识别正确数的数据 质量进行分析。2. 如权利要求1所述的一种用于果蔬识别算法性能评价的数据质量分析方法，其特征 在于，所述的一种软测量系统的组成如下：将对果蔬图像应用果蔬识别算法后得到的果蔬 识别结果图像作为软测量系统中的被测对象;将统计果蔬识别结果图像中的果蔬识别正确 数的统计方法作为软测量系统中的软量具;将统计人员作为软测量系统中的测量人员；将 统计人员的工作环境作为软测量系统中的测量环境。3. 如权利要求1所述的一种用于果蔬识别算法性能评价的数据质量分析方法，其特征 在于，所述的一种基于属性一致性分析的软测量系统分析方法包含如下步骤： ① 设置变量P的值为0; ② 确定m幅应用果蔬识别算法后得到的果蔬识别结果图像，并对运m幅果蔬识别结果图 像从1至m顺序编号，其中m为实际用于果实识别算法性能试验的果蔬识别结果图像幅数； ③ 选择η位统计人员，编号分别为1至n，其中η由式(1)计算得到：(1) ④ 由统计人员η将m幅果蔬识别结果图像的编号随机排列，然后由统计人员η将m幅果蔬 识别结果图像按随机排列后的编号顺序逐幅交给统计人员1，统计人员1使用果蔬识别正确 数统计方法逐幅进行一次果蔬识别正确数的统计，并由统计人员η记录统计结果，统计人员 1不知道m幅果蔬识别结果图像的统计顺序及统计结果； ⑤ 由统计人员1将m幅果蔬识别结果图像的编号随机排列，然后由统计人员1将m幅果蔬 识别结果图像按随机排列后的编号顺序逐幅交给统计人员2,统计人员2使用果蔬识别正确 数统计方法逐幅进行一次果蔬识别正确数的统计，并由统计人员1记录统计结果，统计人员 2不知道m幅果蔬识别结果图像的统计顺序及统计结果； ⑥ 若η大于2，则跳转到步骤⑦;若η等于2，则P加1，然后跳转到步骤⑧； ⑦ 则统计人员3至统计人员η分别取代步骤⑤中的统计人员2后均重复步骤⑤一遍，Ρ加 1; ⑧ 判断Ρ是否等于2;若Ρ等于2,则跳转到步骤⑨;若Ρ不等于2,则间隔7天后，跳转到步 骤④； ⑨ 应用测量系统分析中属性一致性分析中的Fleiss Kappa值的计算方法计算统计人 员1和统计人员η所记录的全部统计结果对应的表征果蔬识别正确数的数据质量的重复性 和再现性的Fleiss Ka卵a值； ⑩ 对步骤⑨得到的表征果蔬识别正确数的数据质量的重复性和再现性的Fieiss Kappa值应用测量系统分析中属性一致性分析中的基于F1 eiSS Kappa值的评价准则，最终 得到果蔬识别正确数的数据质量分析结果，即得到表征果蔬识别正确数的数据质量的重复 性和再现性的分析结果。4. 如权利要求2所述的一种软测量系统，其特征在于，所述的一种软量具，不同于具有 物理实体的量具，是一种统计果蔬识别结果图像中的果蔬识别正确数的统计方法，运种软 量具的测量对象为果蔬识别结果图像，测量结果为果蔬识别结果图像的果蔬识别正确数， 其中果蔬识别结果图像为对果蔬图像应用果蔬识别算法后得到的结果。5. 如权利要求2所述的一种软测量系统，其特征在于，所述的测量人员为经过培训，已 正确掌握果蔬识别正确数统计方法的统计人员。
【文档编号】G06F19/00GK106096219SQ201610087127
【公开日】2016年11月9日
【申请日】2016年1月29日 公开号201610087127.0, CN 106096219 A, CN 106096219A, CN 201610087127, CN-A-106096219, CN106096219 A, CN106096219A, CN201610087127, CN201610087127.0
【发明人】项荣, 段鹏飞
【申请人】中国计量学院