一种基于视频分析的堵塞检测及自动破碎处理系统的制作方法

本发明涉及图像数据处理领域，特别涉及一种基于视频分析的堵塞检测及自动破碎处理系统。

背景技术：

1、大块矿石对后续流程的主溜井放矿机、颚式破碎机和运输皮带都带来潜在的危害，因此需要设置格筛来降低大块矿石的冲击伤害。受到溜井口格筛口的尺寸限制，经常出现大块矿石卡滞、卡堵现象，造成格筛口出料不畅的问题，因此需要利用破碎机械臂对堵塞溜井口格筛的矿石进行二次破碎或疏通。现有技术中，通常使用人工操作破碎机械臂进行二次破碎或疏通工作，由于堵塞频发，每日清堵工作量较大，专职人员不足，工人一天下来操作强度大，工作时间长，严重影响生产效率。

2、因此，需要提供一种基于视频分析的堵塞检测及自动破碎处理系统，用于进行自动化堵塞检测及破碎工作，解放人力的同时提高生产效率，并保证自动化安全防范，提升现代化矿山智能化水平。

技术实现思路

1、本发明提供一种基于视频分析的堵塞检测及自动破碎处理系统，包括：图像获取模块，用于获取溜井口格筛的视频；堵塞检测模块，用于基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息；自动破碎模块，用于基于所述溜井口格筛的堵塞信息进行破碎操作。

2、进一步地，所述图像获取模块包括图像采集单元及位姿调整单元，其中，所述位姿调整单元用于调整所述图像采集单元的位姿；所述图像获取模块获取溜井口格筛的视频，包括：在所述溜井口格筛设置多个标记物； 所述图像采集单元在初始位姿下获取包含所述多个标记物的溜井口格筛的图像信息；基于所述图像采集单元在初始位姿下获取的包含所述多个标记物的溜井口格筛的图像信息，判断是否需要进行位姿调整；当判断需要进行位姿调整时，基于所述图像采集单元在初始位姿下获取的溜井口格筛的图像信息，重复执行控制所述位姿调整单元调整所述图像采集单元的位姿，所述图像采集单元在调整后的位姿下获取包含所述多个标记物的溜井口格筛的图像信息，直至所述图像采集单元在调整后的位姿下获取的包含所述多个标记物的溜井口格筛的图像信息满足预设条件，将所述调整后的位姿标记为目标位姿；所述图像采集单元在所述目标位姿获取溜井口格筛的视频。

3、进一步地，所述图像获取模块基于所述图像采集单元在初始位姿下获取的溜井口格筛的图像信息，判断是否需要调整所述图像采集单元的位姿，包括：对所述图像采集单元在初始位姿下获取的溜井口格筛的图像信息进行预处理，获取第一图像信息；对所述第一图像信息进行特征提取，确定所述多个标记物的位置信息；基于所述多个标记物的位置信息，确定至少一个格筛孔的形状信息及尺寸信息；基于所述至少一个格筛孔的形状信息及尺寸信息，判断是否需要调整所述图像采集单元的位姿。

4、进一步地，所述堵塞检测模块基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息，包括：所述图像采集单元在所述目标位姿获取所述溜井口格筛的堵塞对比图像；基于所述溜井口格筛的堵塞对比图像，其中，所述溜井口格筛的堵塞对比图像为所述图像采集单元在目标位姿获取的溜井口格筛未发生堵塞时的图像，生成所述溜井口格筛的第一格筛孔分布特征；基于所述溜井口格筛的视频，获取所述溜井口格筛的实时图像；基于所述溜井口格筛的实时图像，生成所述溜井口格筛的第二格筛孔分布特征；基于所述溜井口格筛的第一格筛孔分布特征及第二格筛孔分布特征，确定所述溜井口格筛的堵塞区域，其中，所述溜井口格筛的堵塞信息包括所述溜井口格筛的堵塞区域。

5、进一步地，所述堵塞检测模块包括点云获取单元及超声波检测单元，其中，所述点云获取单元用于获取所述溜井口格筛的点云信息；所述堵塞检测模块基于所述溜井口格筛的视频，确定所述溜井口格筛的堵塞信息，还包括：所述点云获取单元获取所述溜井口格筛的点云信息；基于所述溜井口格筛的堵塞区域，从所述溜井口格筛的点云信息中提取所述堵塞区域的点云信息；基于所述堵塞区域的点云信息，确定至少一个堵塞物的位置信息、形状信息及尺寸信息，其中，所述溜井口格筛的堵塞信息包括所述至少一个堵塞物的位置信息、形状信息及尺寸信息；对于每个所述堵塞物，基于所述堵塞物的位置信息、形状信息及尺寸信息，确定所述堵塞物对应的超声波检测位姿，所述超声波检测单元在超声波检测位姿获取所述堵塞物的超声波检测信息，其中，所述溜井口格筛的堵塞信息包括所述堵塞物的超声波检测信息。

6、进一步地，所述自动破碎模块基于所述溜井口格筛的堵塞信息进行破碎操作，包括：基于所述至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，进行破碎操作。

7、进一步地，所述自动破碎模块基于所述至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，进行破碎操作，包括：对于每个所述堵塞物，基于所述堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，确定所述堵塞物对应的破碎参数及破碎位置；基于每个所述堵塞物对应的破碎参数及破碎位置，进行破碎操作。

8、进一步地，所述自动破碎模块基于每个所述堵塞物对应的破碎参数及破碎位置，进行破碎操作，包括：基于每个所述堵塞物对应的破碎参数及破碎位置，生成多个候选破碎路径；通过路径长度指标及参数变化指标，对所述多个候选破碎路径进行筛选，生成最优破碎路径；基于所述最优破碎路径，进行破碎操作。

9、进一步地，所述自动破碎模块包括破碎机；所述自动破碎模块基于所述溜井口格筛的堵塞信息进行破碎操作，包括：通过轨迹确定模型基于所述最优破碎路径、所述至少一个堵塞物的位置信息、形状信息及尺寸信息，确定最优破碎轨迹；控制所述破碎机按照所述最优破碎轨迹，进行破碎操作。

10、进一步地，所述自动破碎模块控制所述破碎机按照所述最优破碎轨迹，进行破碎操作，包括：在所述破碎机按照所述最优破碎轨迹，进行破碎操作中，基于图像获取模块获取的溜井口格筛的视频，获取破碎机的实时图像，基于破碎机的实时图像确定破碎机各个组件的实时坐标信息，计算破碎机各个组件的实时坐标信息与最优破碎轨迹中对应的各个组件的坐标信息的差值，作为破碎机的位姿偏差；基于所述破碎机的位姿偏差，对所述破碎机的位姿进行实时校准。

11、相比于现有技术，本发明提供的一种基于视频分析的堵塞检测及自动破碎处理系统，至少具备以下有益效果：

12、1、通过获取溜井口格筛的视频，实现定位堵塞的格筛孔并联动破碎机进行自动化清堵工作，解放人力的同时提高生产效率，提升现代化矿山智能化水平。

13、2、通过重复执行控制位姿调整单元调整图像采集单元的位姿，图像采集单元在调整后的位姿下获取包含多个标记物的溜井口格筛的图像信息，直至图像采集单元在调整后的位姿下获取的包含多个标记物的溜井口格筛的图像信息满足预设条件，使得图像采集单元获取的溜井口格筛的视频的格筛孔的畸变更小，提高后续堵塞检测及自动破碎的准确度及效率。

14、3、通过先基于溜井口格筛的堵塞对比图像，生成溜井口格筛的第一格筛孔分布特征，再基于溜井口格筛的实时图像，生成溜井口格筛的第二格筛孔分布特征，实现较为快速且准确地确定溜井口格筛的堵塞区域。

15、4、通过获取至少一个堵塞物的位置信息、形状信息、尺寸信息和超声波检测信息，实现堵塞物对应的破碎参数的确定，并且，可以确定破碎效果更好的破碎位置，保证堵塞物破碎的有效进行，进一步地，通过对多个候选破碎路径进行筛选进行筛选，确定最优破碎路径，使得较为快速地完成多个堵塞物破碎工作的同时，使得多个破碎位置的破碎参数进行平缓过渡，提高破碎机的寿命，并且保证了多个破碎位置连续破碎的效果。