一种青贮异物检测和处理方法及系统与流程

1.本发明涉及机械工程和计算机视觉领域，尤其涉及一种青贮异物检测和处理方法及系统。


背景技术：

2.一直以来，我国农、牧业始终属于低端的基础产业，智慧化农机应用水平不高，生产环境差是它的第一印象，而作为国家的第一产业也是最重要的一个行业，其重要性是毋庸置疑，让农业、牧业插上科技的翅膀，积极推进物联网、大数据、人工智能、机器人等新一代信息技术在农业、牧业生产加工及各环节融合应用，加快农业、牧业全产业链数字化转型变得尤为重要。
3.随着计算机领域的不断发展，以计算机、相机、机器臂、自导航移动平台等硬件装置为载体，以人工智能算法为核心的生产方式，使得智慧农、牧业成为现实，并具有巨大发展前景。近年来，奶牛规模化养殖技术倍受重视并飞速发展并快速向全自动、自识别生产模式进发。tmr(total mixed ration，全混合日粮)喂养技术在奶牛规模化养殖过程中起着至关重要的作用，tmr是指根据奶牛泌乳期的营养需要，按科学的比例将粗饲料、精饲料、各种添加剂配制成的一种营养平衡的混合饲料。在tmr中，青贮饲料的占比最大，它是一项能降低营养流失和促进消化吸收的优良储藏技术，但其也存在问题，在制作过程中用于封闭青贮的塑料膜容易混杂在成品中，引起奶牛误食，大大降低tmr质量。目前，常规的青贮检测方法是通过流水线上的工人进行观测并手动将异物从青贮中分离出来。这种方法虽然简单，但严重依赖相关人员的主观决策，耗时且准确度低。为改善这一问题，提高tmr质量，设计一种无人化、全自动、响应快、精度高、定位准、识别范围广用于识别异物图像的异常检测方法迫在眉睫。
4.鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。


技术实现要素：

5.本发明针对传统人工方式对青贮异物检测和处理所导致的耗时长、准确度低的技术问题提一种解决方案。
6.为了解决上述技术问题，本发明采用如下技术方案：
7.第一方面，本发明提供一种青贮异物检测和处理方法，包括：
8.通过输送模块将发酵好的青贮输送至图像采集模块；
9.控制模块控制图像采集模块开始对青贮进行图像采集，并将采集的图像传输至分析处理模块；
10.分析处理模块对采集的图像进行分析和处理，并识别图像中是否存在异物，如果存在异物，在标记异物的位置信息后回传至控制模块；
11.控制模块将异物的位置信息传输至异物处理模块，通过异物处理模块对青贮中的异物进行剔除。
12.优选的，所述分析处理模块包括：图像质量检测单元与异物识别标记单元；
13.其中，通过图像质量检测单元对采集的图像是否为标准图像进行判定，通过异物识别标记单元对采集的图像中的异物进行识别和标记。
14.优选的，所述通过图像质量检测单元对采集的图像是否为标准图像进行判定，方法包括：
15.对采集的图像进行直方图分析，分别计算图像的灰度低值、中值和高值；
16.将计算得到的灰度低值、中值和高值与预设的灰度低值、中值和高值的取值范围进行比较；若在预设的取值范围内，则判定图像为标准图像，并将标准图像输入至异物识别标记单元；若不在预设的取值范围内，则在调整光源角度与亮度后重新进行图像采集和判定，直至图像为标准图像。
17.优选的，所述异物识别标记单元包括：颜色矩特征提取算法、异物识别算法和异物标记算法；
18.其中，通过颜色矩特征提取算法提取图像的颜色矩特征，通过异物识别算法对图像中的异物进行分类识别，通过异物标记算法对图像中的异物进行标记。
19.优选的，所述通过颜色矩特征提取算法提取图像的颜色矩特征，方法包括：
20.依据标准图像的像素点数量，将输入的标准图像分割成均分的小图块；
21.在hsv空间内分别提取每个小图块在h、s、v三通道的一、二、三阶颜色矩特征，最终提取出图像的9维特征数据。
22.优选的，所述小图块宽为9个像素点，高为15个像素点。
23.优选的，所述异物识别算法基于svdd对采集的图像建立超球模型，实现对异物的分类识别。
24.优选的，所述通过异物识别算法对图像中的异物进行分类识别，方法包括：
25.将提取的特征数据输入至超球模型中；
26.计算各特征数据点与超球中心之间的距离；
27.将计算的结果与超球半径进行比较，距离大于超球半径则识别为异物数据。
28.优选的，所述通过异物标记算法对图像中的异物进行标记，方法包括：
29.使用cv2.rectangle函数对识别出的异物小图块进行纯黑覆盖；
30.使用cv2.cvtcolor函数将图像转换为灰度图像；
31.将转换后的图像使用cv2.threshold函数进行二值化处理；
32.使用cv2.connectedcomponentswithstats函数对二值化图像进行连通域计算，将相邻的小矩形拼接为一个大矩形；
33.根据设置的初始阈值与大矩形的大小关系，确定异物的过滤和标记策略。
34.第二方面，本发明提供一种青贮异物检测和处理系统，使用第一方面所述的青贮异物检测和处理方法，系统包括：
35.输送模块、图像采集模块、异物处理模块、控制模块和分析处理模块，控制模块分别与异物处理模块、图像采集模块和分析处理模块通信连接；
36.其中，输送模块用于将发酵好的青贮输送至图像采集模块和异物剔除模块，图像采集模块用于对青贮进行图像采集，异物剔除模块用于对青贮中的异物进行剔除，分析处理模块用于分析图像采集模块所采集的图像是否为标准图像，并识别标准图像中是否存在
异物，以及，对异物的位置信息进行标注。
37.针对现有技术中的不足，本发明所能取得的有益效果为：
38.本发明可实现无人化、全自动的青贮异物检测和处理，解决了传统方法耗时长、效率低的不足，检测和处理过程精度高、响应快，还可以结合异物的大小进行灵活调整，可满足不同的应用场景。
附图说明
39.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明实施例1提供的一种青贮异物检测和处理方法流程示意图；
41.图2是本发明实施例1提供的一种青贮异物检测和处理方法中的图像质量检测流程示意图；
42.图3是本发明实施例1提供的一种青贮异物检测和处理方法中的颜色矩特征提取流程示意图；
43.图4是本发明实施例1提供的一种青贮异物检测和处理方法中的测试结果示意图；
44.图5是本发明实施例1提供的一种青贮异物检测和处理方法中的异物标记流程示意图；
45.图6是本发明实施例1提供的一种青贮异物检测和处理方法中的异物标记测试结果示意图；
46.图7是本发明实施例2提供的一种青贮异物检测和处理系统结构示意图。
47.在附图中，相同的附图标记用来表示相同的部件或结构，其中：
48.1-进料口；2-传送带；3-cmos相机；4-led灯光；5-黑箱；6-总线；7-边缘计算终端；8-pc端；9-机械手；10-异物储存容器。
具体实施方式
49.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
50.实施例1：
51.为了解决传统人工方式对青贮异物检测和处理所导致的耗时长、准确度低的技术问题提，本实施例1提供一种青贮异物检测和处理方法，该方法能实现无人化和全自动化的青贮异物检测和处理，如图1所示，方法包括：
52.s100，通过输送模块将发酵好的青贮输送至图像采集模块。
53.在本步骤中，所述输送模块可通过电机来驱动，所述图像采集模块则带有拍摄功能，可实时对发酵好的青贮进行图像拍摄，其中，发酵好的青贮中混有一定数量的异物，例如，塑料膜等。
54.s200，控制模块控制图像采集模块开始对青贮进行图像采集，并将采集的图像传输至分析处理模块。
55.在本步骤中，所述控制模块分别与所述图像采集模块和所述分析处理模块通信连接，所述控制模块发送控制指令给所述图像采集模块后，所述图像采集模块开始对青贮进行图像采集，在图像采集完成后，进一步的，将采集的图像传输至所述分析处理模块。
56.s300，分析处理模块对采集的图像进行分析和处理，并识别图像中是否存在异物，如果存在异物，在标记异物的位置信息后回传至控制模块。
57.在本步骤中，所述分析处理模块包括：图像质量检测单元与异物识别标记单元；其中，通过图像质量检测单元对采集的图像是否为标准图像进行判定，通过异物识别标记单元对采集的图像中的异物进行识别和标记。
58.具体实现时，所述通过图像质量检测单元对采集的图像是否为标准图像进行判定，如图2所示，方法包括：
59.对采集的图像进行直方图分析，分别计算图像的灰度低值、中值和高值。
60.将计算得到的灰度低值、中值和高值与预设的灰度低值、中值和高值的取值范围进行比较；若在预设的取值范围内，则判定图像为标准图像，并将标准图像输入至异物识别标记单元；若不在预设的取值范围内，则在调整光源角度与亮度后重新进行图像采集和判定，直至图像为标准图像。
61.实际实现过程中，可通过对一定数量的图像(例如，100张)进行训练得到标准图像库，将实时采集的图像与标准图像库进行快速比对，即可判定所采集的图像是否为标准图像，需要说的是，所采集的图像为标准图像，是后续判定图像中是否有异物以及对异物位置进行标注的一个重要前提，一旦所采集的图像为非标准图像，则需要按上述过程重新采集和再判定。
62.在本步骤中，所述异物识别标记单元包括：颜色矩特征提取算法、异物识别算法和异物标记算法；其中，通过颜色矩特征提取算法提取图像的颜色矩特征，通过异物识别算法对图像中的异物进行分类识别，通过异物标记算法对图像中的异物进行标记。
63.具体实现时，所述通过颜色矩特征提取算法提取图像的颜色矩特征，如图3所示，方法包括：
64.依据标准图像的像素点数量，将输入的标准图像分割成均分的小图块。
65.实际实现过程中，标准图像的像素点数量为555
×
792个，依据标准图像的像素点数量，可将标准图像平均分割成37
×
88＝3256个小图块，即：所述小图块宽为9个像素点，高为15个像素点。
66.在hsv空间内分别提取每个小图块在h、s、v三通道的一、二、三阶颜色矩特征，最终提取出图像的9维特征数据。
67.所述h、s、v，分别为色调(hue)、饱和度(saturation)和明度(value)。
68.其中：颜色矩计算公式分别为：
69.一阶颜色矩计算公式为：
[0070][0071]
二阶颜色矩计算公式为：
[0072][0073]
三阶颜色矩计算公式为：
[0074][0075]
式中，p
ij
为图像中第i个颜色通道分量中第j个像素的值；n为图像中的像素点总数。
[0076]
具体实现时，所述异物识别算法基于svdd对采集的图像建立超球模型，实现对异物的分类识别，所述svdd(support vector data description，支持向量数据描述)，能够对采集的图像数据集进行超球形描述，在本实施例中，主要应用了基于引入高斯核的svdd算法，从而实现对异物的分类识别。
[0077]
所述通过异物识别算法对图像中的异物进行分类识别，方法包括：
[0078]
将提取的特征数据输入至超球模型中。
[0079]
计算各特征数据点与超球中心之间的距离。
[0080]
将计算的结果与超球半径进行比较，距离大于超球半径则识别为异物数据。
[0081]
实际应用过程中，所述异物识别算法预设的超球半径为0.9874923501778844，超球圆心为[[16.52470963,107.91493927,138.74399363,10.91381976,31.84808423,32.76481671,16.29722289,36.76285974,37.17396502]]。
[0082]
如图4所示，是本发明实施例1提供的一种青贮异物检测和处理方法中的测试结果示意图，对所述异物识别算法进行了测试，使用2460组测试数据，其中2100组青贮颜色特征数据(正类样本)，360组异物颜色特征数据(负类数据)，其混淆矩阵、识别结果的可视化与识别算法的性能分别与如图4所示，其运行时间为0.231s，准确率(accuracy)为96.22％，精确率(precision)为97.81％，召回率(recall)为97.76％，f1_score为97.79％，算法泛化能力较高，运行速度较快，且具备良好的实时性。
[0083]
所述通过异物标记算法对图像中的异物进行标记，如图5所示，方法包括：
[0084]
使用cv2.rectangle函数对识别出的异物小图块进行纯黑覆盖；
[0085]
使用cv2.cvtcolor函数将图像转换为灰度图像；
[0086]
将转换后的图像使用cv2.threshold函数进行二值化处理；
[0087]
使用cv2.connectedcomponentswithstats函数对二值化图像进行连通域计算，将相邻的小矩形拼接为一个大矩形；
[0088]
根据设置的初始阈值与大矩形的大小关系，确定异物的过滤和标记策略。
[0089]
在本实施例中，所述异物标记算法是在opencv库下基于连通域计算与设定阈值完成异物的标记功能，其中，所述初始阈值设置时，若宽小于30像素，高小于50像素，则不进行异物标记，即过滤掉该异物信息，可根据异物大小对阈值进行灵活调整，以适应不同的应用场景的需要。
[0090]
如图6所示，是本发明实施例1提供的一种青贮异物检测和处理方法中的异物标记测试结果示意图，其中，对所述异物标记算法进行了测试，测试结果显示，该方法可精确的完成对异物的标记功能。
[0091]
s400，控制模块将异物的位置信息传输至异物处理模块，通过异物处理模块对青贮中的异物进行剔除。
[0092]
在本步骤中，所述控制模块还与所述异物处理模块通信连接，当所述异物处理模块收到来自所述控制模块发送过来的异物的位置信息后，所述异物处理模块将自动对异物进行清理和剔除。
[0093]
实施例2：
[0094]
基于与实施例1同一个总的技术构思，本实施例2提供一种青贮异物检测和处理系统，使用实施例1所述的青贮异物检测和处理方法，系统包括：
[0095]
输送模块、图像采集模块、异物处理模块、控制模块和分析处理模块，控制模块分别与异物处理模块、图像采集模块和分析处理模块通信连接；
[0096]
其中，输送模块用于将发酵好的青贮输送至图像采集模块和异物剔除模块，图像采集模块用于对青贮进行图像采集，异物剔除模块用于对青贮中的异物进行剔除，分析处理模块用于分析图像采集模块所采集的图像是否为标准图像，并识别标准图像中是否存在异物，以及，对异物的位置信息进行标注。
[0097]
具体实现时，如图7所示，输送模块主要包括进料口1与传送带2，图像采集模块主要包括cmos相机3、led灯光4和黑箱5，控制模块主要包括总线6和pc端8，分析处理模块主要包括边缘计算终端7，异物处理模块主要包括机械手9和异物储存容器10。
[0098]
综上所述，本发明提供一种青贮异物检测和处理方法及系统，可实现无人化、全自动的青贮异物检测和处理，解决了传统方法耗时长、效率低的不足，检测和处理过程精度高、响应快，还可以结合异物的大小进行灵活调整，可满足不同的应用场景。
[0099]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0100]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、电子设备、或计算机软件程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0101]
本发明是参照根据本发明实施例的方法、系统、电子设备、或计算机软件程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理
器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
[0102]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0103]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0104]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。