一种螺旋输送装置物料状态检测方法及装置与流程

1.本发明涉及检测技术领域，具体涉及一种螺旋输送装置物料状态检测方法及装置。


背景技术：

2.螺旋输送器是一种物料传送设备，主要用于均匀传送粉末、小颗粒状零件等，通常传送管道是封闭的，通过观察窗可以查看内部输送情况和检查物料状态。当物料输入充足时，螺旋输送器能源源不断的向下游节点输送物料，但当物料输入缺失时，现有的螺旋输送器并不能及时上报物料缺失信息，导致问题不能及时发现和解决，影响生产效率。
3.现有技术中，监管人员通过螺旋输送器的观察窗判断传送管道上是否有物料，过程需要消耗额外的人力成本，并且，依赖于人的经验以及其他主观因素，对物料状态检测结果标准差异较大；此外，还可以采用压力传感器对螺旋输送装置的传送管道的压力数据进行采集，通过分析压力数据，对传送管道的物料状态进行检测，压力传感器直接或者间接与物料接触，寿命较低。并且，压力传感器是接触式检测，只能稀疏式分布，无法实现密集型的全面监测。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种螺旋输送装置物料状态检测方法，其目的在于实时地、稳定地对螺旋输送装置的物料状态进行跟踪检测，由此解决无法全面、快速进行螺旋输送装置物料状态检测并稳定跟踪的技术问题。
5.第一方面，本发明提供一种螺旋输送装置物料状态检测方法，具体包括以下步骤：
6.s1、视频采集：采集螺旋输送装置的观察窗区域的视频；
7.s2、获取感兴趣区域图像序列：将所述视频转化为帧序列图像，截取所述帧序列图像中感兴趣区域，得到感兴趣区域图像序列；
8.s3、计算第i帧图像的变化图像：从所述感兴趣区域图像序列中提取连续的包括第i帧图像及第i帧图像之前的至少2帧图像，计算第i帧图像的变化图像；
9.s4、计算第i帧图像的变化特征值：根据第i帧图像的变化图像计算第i帧图像的变化特征值；
10.s5、判断第i帧图像的物料状态结果：根据第i帧图像的变化特征值，得到第i帧图像的物料状态结果；
11.s6、判断螺旋输送装置的物料状态：统计至少两帧感兴趣区域图像的物料状态结果，得到螺旋输送装置的物料状态。
12.进一步地，步骤s2，所述感兴趣区域包括参考区域及物料区域。
13.进一步地，所述物料区域为所述螺旋输送装置的传送管道上物料所在区域，所述物料区域为矩形，所述参考区域位于所述物料区域的外围与所述物料区域的对称设置。
14.进一步地，步骤s3，从所述感兴趣区域图像序列中提取第i帧图像、第i-1帧图像、
第i-2帧图像，计算第i帧图像与第i-1帧的差值图像，得到第一差值图像，计算第i帧图像与第i-2帧的差值图像得到第二差值图像，计算所述第一差值图像与所述第二差值图像之和，得到所述第i帧的变化图像。
15.进一步地，步骤s4，设定像素变化阈值、帧级像素变化阈值，计算所述第i帧图像的变化特征值，所述第i帧图像的变化特征值包括第i帧图像的时间域变化特征值、第i帧图像的物料区域的空间域变化特征值。
16.进一步地，所述第i帧图像的时间域变化特征值的计算步骤为：
17.统计所述第i帧的变化图像中像素值大于所述像素变化阈值的所有像素点的数量，得到帧级像素变化数量；
18.当所述帧级像素变化数量＜所述帧级像素变化阈值时，所述第i帧图像的时间域变化特征值为0；
19.当所述帧级像素变化数量≥所述帧级像素变化阈值时，统计所述第i帧的变化图像中像素值大于所述像素变化阈值的所有像素点的像素均值，得到帧级像素变化率，所述第i帧图像的时间域变化特征值等于所述帧级像素变化率。
20.进一步地，所述第i帧图像的物料区域的空间域变化特征值的计算步骤为：
21.统计所述第i帧的变化图像中的物料区域中像素值大于所述像素变化阈值的所有像素点数量，得到物料区域的帧级像素变化数量；
22.当所述帧级像素变化数量＜所述帧级像素变化阈值，则所述第i帧图像的物料区域的空间域变化特征值为所述物料区域的帧级像素变化数量除以所述帧级像素变化阈值。
23.当所述帧级像素变化数量≥所述帧级像素变化阈值，则所述第i帧图像的物料区域的空间域变化特征值为所述物料区域的帧级像素变化数量除以所述帧级像素变化数量；
24.进一步地，步骤s5，所述第i帧图像的物料状态结果的判断步骤为：
25.设定时间域变化阈值、空间域变化阈值；
26.当所述第i帧图像的时间域变化特征值＞时间域变化阈值且所述第i帧图像的物料区域的空间域变化特征值＞空间域变化阈值时，得到第i帧图像的物料状态结果为“正常”；
27.当所述第i帧图像的时间域变化特征值≤时间域变化阈值或所述第i帧图像的物料区域的空间域变化特征值≤空间域变化阈值时，得到第i帧图像的物料状态结果为“异常”。
28.进一步地，步骤s6，所述螺旋输送装置的物料状态判断步骤为
29.统计至少两帧所述感兴趣区域图像的物料状态结果；
30.当至少有一帧所述感兴趣区域图像的物料状态结构为“正常”，则所述螺旋输送装置的物料状态为“正常”；
31.当所述感兴趣区域图像的物料状态结果都是“异常”，则所述螺旋输送装置的物料状态为“异常”。
32.第二方面，本发明提供一种螺旋输送装置物料状态检测装置，包括：
33.视频采集模块：用于采集螺旋输送装置的观察窗区域的视频；
34.感兴趣区域图像序列获取模块：将所述视频转化为帧序列图像，截取所述帧序列图像中感兴趣区域，得到感兴趣区域图像序列；
35.变化图像计算模块：从所述感兴趣区域图像序列中提取连续的包括第i帧图像及第i帧图像之前的至少2帧图像，计算第i帧图像的变化图像；
36.变化特征计算模块：根据第i帧图像的变化图像计算第i帧图像的变化特征值；
37.物料状态单帧分析模块：用于根据所述第i帧图像的变化特征值，得到第i帧图像的物料状态结果；
38.物料状态多帧统计分析模块：用于统计分析至少两帧所述感兴趣区域图像的物料状态结果，得到螺旋输送装置的物料状态。
39.本发明的有益效果在于：
40.(1)本发明利用机器视觉实时采集螺旋输送装置观察窗区域的图像集，通过分析感兴趣区域的图像特征对物料状态进行判断；将感兴趣区域设计为物料区域及参考区域，正常情况下，参考区域像素值几乎不变化，感兴趣区域(参考区域+物料区域)的变化主要由“物料区域的像素值变化”贡献；如果参考区域发生“大量像素值改变”，原因可能是光照环境发生了剧烈变化，通过参考区域设置“平衡/降低”物料区域像素值变化的贡献，提升了系统对环境变化的鲁棒性，降低了环境变化对识别精度的影响；通过综合“时间维度”和“空间维度”的情况，更准确的评估“物料区域”的变化情况，实现了实时地、稳定地对螺旋输送装置的物料状态进行跟踪检测。
41.(2)针对单帧图像检测的准确度不高的问题，统计多帧感兴趣区域图像的物料状态结果，可以提高物料状态判断的准确度，减少误报。
附图说明
42.图1为本发明实施例提供的一种螺旋输送装置物料状态检测方法的流程图；
43.图2为本发明实施例提供的一种螺旋输送装置物料状态检测方法中步骤s2获得的感兴趣区域图像；
44.图3为本发明实施例提供的一种螺旋输送装置物料状态检测方法中步骤s3获得的变化图像；
45.图4本发明实施例提供的一种螺旋输送装置物料状态检测装置组成框图。
具体实施方式
46.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合，下面结合附图对本发明方法进行进一步详细说明。
47.如图1所示一种螺旋输送装置物料状态检测方法，具体包括以下步骤：
48.s1、视频采集：采集螺旋输送装置的观察窗区域的视频；
49.s2、获取感兴趣区域图像序列：将所述视频转化为帧序列图像，截取所述帧序列图像中感兴趣区域，得到感兴趣区域图像序列；
50.s3、计算第i帧图像的变化图像：从所述感兴趣区域图像序列中提取连续的包括第i帧图像及第i帧图像之前的至少2帧图像，计算第i帧图像的变化图像；
51.s4、计算第i帧图像的变化特征值：根据第i帧图像的变化图像计算第i帧图像的变化特征值；
52.s5、判断第i帧图像的物料状态结果：根据第i帧图像的变化特征值，得到第i帧图
像的物料状态结果；
53.s6、判断螺旋输送装置的物料状态：统计至少两帧感兴趣区域图像的物料状态结果，得到螺旋输送装置的物料状态。
54.具体地，步骤s1、采集目标区域视频：针对螺旋输送装置的观察窗区域可对物料状态进行观察，采集采集螺旋输送装置的观察窗区域的视频。本步骤中可使用网络摄像机拍摄螺旋输送装置的观察窗，保证光照正常，通过摄像机能获取到清晰的图像，为了减少透明观察窗盖的反光影响，可以移除观察窗盖。计算设备为一台算力较强的pc或嵌入式开发板，计算设备与网络摄像机通过局域网连接，保证带宽和图像质量，同时减少延时。计算设备可上报结果到管理软件/设备。
55.网络摄像机与计算设备同时通过有线网络接入路由器，视频编码可采用h.264协议，传输采用rtsp协议。网络摄像机负责图像获取和编码，计算设备接收编码数据，解码得到图像并进行图像处理。
56.s2、获取感兴趣区域图像序列：将所述视频转化为帧序列图像，截取所述帧序列图像中感兴趣区域，得到感兴趣区域图像序列；
57.将螺旋输送装置的观察窗区域的视频转化为帧序列图像，序列图像中感兴趣区域为需要观察的物料在图像中的一小块区域，可通过人机交互工具通过在监控画面上选择并测试效果，可使用opencv图像处理算法库，通过鼠标选取感兴趣区域的左上角、区域的宽度和高度进行试验，选取合适的值。
58.在本发明的一个实施例中，感兴趣区域包含物料区域和参考区域，参考区域可以选择物料区域以外的其他区域，选择为物料区域外围区域，参考区域和物料区域可在一起形成一个roi(感兴趣区域)，方便计算。参考区域的大小影响后面空间域变化特征阈值的选择，参考区域位置和大小的选择，理论上来说没有限制，只要求参考区域的图像只随光照变化而变化，无其他机械变化；如果大小的选择有变化，空间域变化特征阈值需要对应调整，实际处理时，参考区域大小设定为物料区域相当的大小。
59.物料区域为螺旋输送装置的传送管道上物料所在区域，物料区域为矩形，参考区域位于物料区域的外围与物料区域的对称设置。
60.本步骤的另一个实施例中，图2为感兴趣区域图像序列中选取的2帧图像，图像a和图像b，图像是从原始图像中截取的感兴趣区域，图2所示的感兴趣图像中，以图中白色实线为界，上半部分矩形区域为参考区域，下半部分矩形区域为物料区域，参考区域与物料区域对称设置，大小相等。
61.s3、计算第i帧图像的变化图像：从所述感兴趣区域图像序列中提取连续的包括第i帧图像及第i帧图像之前的至少2帧图像，计算第i帧图像的变化图像；
62.为了计算第i帧图像的变化图像，从可以感兴趣图像中提取包含了第i帧图像和第i帧图像前面时刻的至少一张图像，计算第i帧图像相对于前面时刻图像的差值图像，得到第i帧的变化图像。
63.本步骤的另一个实施例中，从感兴趣区域图像序列中提取第i帧图像、第i-1帧图像、第i-2帧图像，计算第i帧图像与第i-1帧的差值图像，得到第一差值图像，计算第i帧图像与第i-2帧的差值图像得到第二差值图像，计算所述第一差值图像与所述第二差值图像之和，得到第i帧的变化图像。
64.具体地，如图2中所示感兴趣区域图像a即为第i帧图像，为了计算感兴趣区域图像a的变化图像，提取了感兴趣区域图像a前面时刻的2张图像(第i-1帧图像、第i-2帧图像)，根据第i帧图像(fi)与第i-1帧图像(f
i-1
)的差值计算得到第一差值图像d1，根据第i帧图像(fi)与第i-2帧图像(f
i-2
)的差值计算得到第二差值图像d2，计算第一差值图像d1和第二差值图像d2之和，得到感兴趣区域图像a的变化图像a'。
65.d1＝|f
i-f
i-1
|
66.d2＝|f
i-f
i-2
|
67.d＝d1+d268.感兴趣区域图像a的变化图像a'如图3中a'所示，感兴趣区域图像b的变化图像b'如图3中b'所示。
69.变化图像以图中白色实线为界，上半部分矩形区域为参考区域，下半部分矩形区域为物料区域，参考区域与物料区域大小相等。
70.针对不同处理情况选用4帧或以上是可以的，在螺旋输送装置实际应用中，3帧即满足了检测要求，通过三张计算差值图像之和作为变化图像，物料变化区是一个移动的区域，相隔2帧的变化一般比相隔1帧的变化要大，更能反映真实的变化。
71.s4、计算第i帧图像的变化特征值：根据第i帧图像的变化图像计算第i帧图像的变化特征值；
72.步骤s4，设定像素变化阈值、帧级像素变化阈值，计算所述第i帧图像的变化特征值，所述第i帧图像的变化特征值包括第i帧图像的时间域变化特征值、第i帧图像的物料区域的空间域变化特征值。
73.像素变化阈值代表了变化图像对于第i帧图像，像素点的像素值变化大小，其“像素值变化多大程度”认为是有效变化，阈值可以根据实际情况观察、微调，通常设定为50，与现场的光照条件、摄像机、图像压缩算法有一定关系，可结合实际场景微调。
74.帧级像素变化阈值代表了变化图像对于第i帧图像，有多少像素点发生了变化，其“变化多大程度”可认为是有效变化，通常设定为40，与现场光照、摄像机、物料变化区和参考区域的大小相关，可结合实际场景微调。
75.步骤s4的计算步骤为：
76.首先，设定像素变化阈值、帧级像素变化阈值；
77.根据第i帧图像的变化图像的像素变化特征计算第i帧图像的变化特征值，变化特征值包括第i帧图像的时间域变化特征值、第i帧图像的物料区域的空间域变化特征值；
78.第i帧图像的时间域变化特征值的计算步骤为：
79.统计第i帧的变化图像中像素值大于像素变化阈值的所有像素点的数量，得到帧级像素变化数量；
80.当帧级像素变化数量＜帧级像素变化阈值时，第i帧图像的时间域变化特征值为0。
81.当帧级像素变化数量≥帧级像素变化阈值时，统计第i帧的变化图像中像素值大于像素变化阈值的所有像素点的像素均值，得到帧级像素变化率，第i帧图像的时间域变化特征值等于帧级像素变化率。
82.第i帧图像的物料区域的空间域变化特征值的具体计算步骤为：
83.统计第i帧的变化图像中的物料区域中像素值大于像素变化阈值的所有像素点数量，得到物料区域的帧级像素变化数量；
84.当帧级像素变化数量＜帧级像素变化阈值，则第i帧图像的物料区域的空间域变化特征值为物料区域的帧级像素变化数量除以帧级像素变化阈值；
85.当帧级像素变化数量≥帧级像素变化阈值，则第i帧图像的物料区域的空间域变化特征值为物料区域的帧级像素变化数量除以帧级像素变化数量。
86.当“物料区域的变化”代表了“感兴趣区域(参考区域+物料区域)”的变化，说明参考区域没什么“大的变化”，即没有发生外界光照变化，第i帧对物料区域的变化的评估是可信的。当“物料区域的变化”代表不了“感兴趣区域(参考区域+物料区域)”，说明光照、等外界环境发生了变化。本帧对物料区域的变化的评估的可信度会下降，物料区域的实际变化情况要更小，步骤s4通过“参考区域”来评估和调节“物料区域”的“时间域变化特征”的可信度，实现更准确的评估“物料区域”的变化情况。
87.s5、判断第i帧图像的物料状态结果：根据第i帧图像的变化特征值，得到第i帧图像的物料状态结果。
88.通过对比时间域变化特征与时间域变化阈值、空间域变化特征与空间域变化阈值得到当前帧子图像的识别结果。
89.步骤s5中，第i帧图像的物料状态结果的判断步骤为：
90.设定时间域变化阈值、空间域变化阈值；
91.本实施例中，时间域变化阈值可设置为0.27，空间域变化阈值可设置为0.85，这两个阈值可根据实际场景的观察值进行调整。
92.当第i帧图像的时间域变化特征值＞时间域变化阈值且第i帧图像的物料区域的空间域变化特征值＞空间域变化阈值时，得到第i帧图像的物料状态结果为“正常”；
93.当第i帧图像的时间域变化特征值≤时间域变化阈值或述第i帧图像的物料区域的空间域变化特征值≤空间域变化阈值时，得到第i帧图像的物料状态结果为“异常”。
94.s6、判断螺旋输送装置的物料状态：统计至少两帧感兴趣区域图像的物料状态结果，得到螺旋输送装置的物料状态。
95.步骤s6具体为：
96.统计至少两帧感兴趣区域图像的物料状态结果，当至少有一帧感兴趣区域图像的物料状态结构为“正常”，则螺旋输送装置的物料状态为“正常”；
97.当感兴趣区域图像的物料状态结果都是“异常”，则螺旋输送装置的物料状态为“异常”。
98.统计感兴趣区域图像的个数可根据实际场景的观察值进行调整。
99.本实施例中利用机器视觉实时采集螺旋输送装置观察窗区域的图像集，通过分析感兴趣区域的图像特征对物料状态进行判断；将感兴趣区域设计为物料区域及参考区域，正常情况下，参考区域像素值几乎不变化，感兴趣区域(参考区域+物料区域)的变化主要由“物料区域的像素值变化”贡献；如果参考区域发生“大量像素值改变”，原因可能是光照环境发生了剧烈变化，通过参考区域设置“平衡/降低”物料区域像素值变化的贡献，提升了系统对环境变化的鲁棒性，降低了环境变化对识别精度的影响；通过综合“时间维度”和“空间维度”的情况，更准确的评估“物料区域”的变化情况，实现了实时地、稳定地对螺旋输送装
置的物料状态进行跟踪检测。
100.另一方面，针对单帧图像检测的准确度不高的问题，统计多帧感兴趣区域图像的物料状态结果，可以提高物料状态判断的准确度，减少误报。
101.为了有效提高螺旋输送装置物料状态检测过程的准确性及可靠性，且能够有效提高识别过程的自动化程度及效率，本技术提供一种螺旋输送装置物料状态检测方法中全部或部分内容的一种螺旋输送装置物料状态检测装置的实施例，参见图4，该装置包含有如下内容：
102.视频采集模块：用于采集螺旋输送装置的观察窗区域的视频；
103.感兴趣区域图像序列获取模块：将所述视频转化为帧序列图像，截取所述帧序列图像中感兴趣区域，得到感兴趣区域图像序列；
104.变化图像计算模块：从所述感兴趣区域图像序列中提取连续的包括第i帧图像及第i帧图像之前的至少2帧图像，计算第i帧图像的变化图像；
105.变化特征计算模块：根据第i帧图像的变化图像计算第i帧图像的变化特征值；
106.物料状态单帧分析模块：用于根据所述第i帧图像的变化特征值，得到第i帧图像的物料状态结果；
107.物料状态多帧统计分析模块：用于统计分析至少两帧所述感兴趣区域图像的物料状态结果，得到螺旋输送装置的物料状态。
108.本例提供的装置，通过计算机视觉技术分析螺旋输送器的物料状态。
109.为了提升装置检测精度，感兴趣区域图像序列获取模块，截取的帧序列图像中感兴趣区域包括物料区域及参考区域；变化特征计算模块：根据第i帧图像的变化图像计算第i帧图像的变化特征值，第i帧图像的变化特征值包括第i帧图像的时间域变化特征值、第i帧图像的物料区域的空间域变化特征值。
110.通过参考区域设置“平衡/降低”物料区域像素值变化的贡献，提升了系统对环境变化的鲁棒性，降低了环境变化对识别精度的影响；通过综合“时间维度”和“空间维度”的情况，更准确的评估“物料区域”的变化情况，实现了实时地、稳定地对螺旋输送装置的物料状态进行跟踪检测，使得用户能及时发现异常，及时处理，提升生产效率和生产线智能化水平。
111.以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。