采煤作业中异常事件的检测方法、装置及设备与流程

文档序号:31053303发布日期:2022-08-06 09:02阅读:84来源:国知局
采煤作业中异常事件的检测方法、装置及设备与流程

1.本公开涉及图像识别技术领域,尤其涉及一种采煤作业中异常事件的检测方法、装置及设备。


背景技术:

2.在采煤作业过程中,存在诸多的安全隐患。比如,采煤机的滚筒在割煤的过程中,可能出现煤壁片帮的现象,如果此时工作人员或需要避免被损毁的其他对象位于滚筒周围的区域,可能会被片帮煤砸伤或损坏。或者采煤机滚筒旋转割煤的过程中,滚筒甩出的煤也可能会击中工作人员,造成人员伤亡。因而,在采煤作业过程中,可以通过采集采煤工作面的图像,基于图像检测是否存在工作人员或需要避免被损毁的其他对象位于危险区域等异常事件,并及时发出告警。但是由于采煤环境下,摄像头通常会被污染,导致采集的图像比较模糊,造成识别结果不够准确。


技术实现要素:

3.本公开提供一种采煤作业中异常事件的检测方法、装置及设备。
4.根据本公开实施例的第一方面,提供一种采煤作业中异常事件的检测方法,所述方法包括:
5.获取采煤工作面的视频帧;
6.从所述视频帧中识别所述采煤工作面中采煤机的滚筒的位置,以及所述采煤工作面的状态信息;所述状态信息包括以下至少一种:所述采煤工作面中液压支架的工作状态、以及所述采煤工作面中煤壁的厚薄状态;
7.基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域,以基于所述视频帧中的危险区域确定是否存在异常事件。
8.在一些实施例中,所述基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域,包括:
9.在基于所述状态信息确定所识别到的滚筒的位置准确的情况下,基于所述滚筒的位置从所述视频帧中确定危险区域。
10.在一些实施例中,所述液压支架包括位于所述滚筒附近的多个液压支架,所述状态信息包括所述多个液压支架的工作状态,所述基于所述状态信息确定所识别到的滚筒的位置准确,包括:
11.基于所述视频帧从所述多个液压支架中确定护帮板处于关闭状态的第一液压支架,在所述第一液压支架的位置与所述滚筒的位置符合预设的第一位置关系的情况下,确定所识别到的滚筒的位置准确;和/或
12.基于所述视频帧从多个液压支架中确定处于推溜状态的第二液压支架,在所述第二液压支架的位置与所述滚筒的位置符合预设的第二位置关系的情况下,确定所识别到的滚筒的位置准确;和/或
13.基于所述视频帧从多个液压支架中确定处于移架状态的第三液压支架,在所述第三液压支架的位置与所述滚筒的位置符合预设的第三位置关系的情况下,确定所识别到的滚筒的位置准确。
14.在一些实施例中,所述状态信息包括所述煤壁的厚薄状态,所述基于所述状态信息确定所识别到的滚筒的位置准确,包括:
15.在基于所述视频帧确定位于所述滚筒第一侧的煤壁的厚度大于位于所述滚筒第二侧的煤壁的厚度的情况下,确定所识别到的所述滚筒的位置准确,其中,所述第二侧指向所述第一侧的方向为所述采煤机的移动方向。
16.在一些实施例中,在基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域之后,所述方法还包括:
17.获取所述视频帧的下一帧视频帧;
18.确定所述采煤机在所述视频帧以及所述下一帧视频帧中的位置偏移量;
19.基于所述视频帧中的危险区域以及所述位置偏移量确定所述下一帧视频帧中的危险区域。
20.在一些实施例中,所述采煤工作面上方间隔地分布多个图像采集装置,所述视频帧由所述多个图像采集装置中的第一图像采集装置采集,所述方法还包括:
21.基于所述多个图像采集装置中除所述第一图像采集装置以外的其他图像采集装置,与所述第一图像采集装置的相对位置关系,将所述视频帧中的危险区域映射到所述其他图像采集装置采集的视频帧中,以确定所述其他图像采集装置采集的视频帧中的危险区域。
22.在一些实施例中,所述方法还包括:
23.基于所述视频帧中各对象的位置、以及采集所述视频帧的图像采集装置在采煤工作面的位置,确定所述各对象在采煤工作面的位置,并基于所确定的位置确定所述各对象在采煤工作面的动画中对应的动画形象,其中,所述动画用于展示所述采煤工作面的实时状态;
24.基于从所述视频帧识别到的所述各对象的状态更新所述动画中所述各对象对应的动画形象的状态,并将更新后的动画展示给用户。
25.在一些实施例中,所述基于所述危险区域确定是否存在异常事件,包括:
26.从所述视频帧中检测目标对象,得到所述目标对象对应的检测框;
27.在所述目标对象对应的检测框左下角的顶点位于所述危险区域内的情况下,则确定出现异常。
28.根据本公开实施例的第二方面,提供一种采煤作业中异常事件的检测装置,所述装置包括:
29.获取模块,用于获取采煤工作面的视频帧;
30.识别模块,用于从所述视频帧中识别所述采煤工作面中采煤机的滚筒的位置,以及所述采煤工作面的状态信息;所述状态信息包括以下至少一种:所述采煤工作面中液压支架的工作状态、以及所述采煤工作面中煤壁的厚薄状态;
31.检测模块,用于基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域,以基于所述视频帧中的危险区域确定是否存在异常事件。根据本公开实施例
的第三方面,提供一种电子设备,所述电子设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令,所述处理器执行所述计算机指令时,可实现上述第一方面提及的方法。
32.根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述存储介质上存储有计算机指令,所述计算机指令被执行时实现上述第一方面提及的方法。
33.本公开实施例中,在基于采集的视频图像确定危险区域时,除了检测采煤机滚筒的位置,还可以进一步识别采煤工作面的状态信息,其中,该状态信息可以是视频图像中可以用于辅助判定采煤机滚筒的位置的各类信息,比如,可以是液压支架的工作状态、煤壁的厚薄状态中的一种或多种,然后可以结合识别到的滚筒的位置和这些状态信息共同确定危险区域,以基于危险区域判定采煤作业中是否存在异常事件。通过从视频图像中识别采煤机滚筒的位置,以及液压支架的工作状态和/或煤壁的厚薄状态等,然后结合上述信息共同确定危险区域所在的位置,相比于直接基于识别的滚筒位置确定危险区域,确定的危险区域更加准确,在基于危险区域判定是否出现异常事件时,也可以得到更加准确的判定结果,降低误告警或漏告警的概率。
34.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
35.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
36.图1(a)是本公开实施例的一种采煤工作面的示意图。
37.图1(b)是本公开实施例的一种采煤工作面中设置摄像头的示意图。
38.图2是本公开实施例的一种采煤作业中异常事件的检测方法的流程图。
39.图3(a)是本公开实施例的一种液压支架的工作状态的示意图。
40.图3(b)是本公开实施例的一种液压支架的工作状态的示意图。
41.图4是本公开实施例的一种液压支架的工作状态的示意图。
42.图5是本公开实施例的一种滚筒两侧煤壁厚薄状态的示意图。
43.图6是本公开实施例的一种基于采煤机在前后两帧视频帧中位置偏移量确定下一帧视频帧中危险区域的示意图。
44.图7是本公开实施例的一种采煤工作面的动画示意图。
45.图8是本公开实施例的一种采煤作业中异常事件的检测装置的逻辑结构示意图。
46.图9是本公开实施例的一种电子设备的逻辑结构示意图。
具体实施方式
47.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
48.在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。
在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
49.应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
50.为了使本技术领域的人员更好的理解本公开实施例中的技术方案,并使本公开实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
51.在采煤作业过程中,存在诸多的安全隐患。如图1(a)所示,为一个采煤工作面的简单的示意图。采煤工作面中包括采煤机11,采煤机11一般包括2个滚筒111,分别称为前滚筒和后滚筒,采煤机11沿着工作面移动的过程中,前滚筒可以用于将煤壁上部分的煤割下来,后滚筒用于将煤壁下部分的煤割下来,然后由刮板机12运走。采煤工作面上成排分布着多个液压支架13,液压支架13中包括护帮板,护帮板用于在液压支架前方顶住煤壁,防止煤壁片帮。同时液压支架的另一个作用是推溜和移架,当采煤机割煤后利用液压支架与顶底板的摩擦力,把刮板机12向前推一个步距,叫推溜。然后液压支架可以降架,降架后液压支架没了摩擦力,刮板机12再把液压支架往煤壁方向拉进,这个过程叫移架。液压支架13和刮板机12之间用一个千斤顶连接,这些操作都由控制这个千斤顶的阀来操作。
52.采煤机的滚筒在割煤的过程中,可能出现煤壁片帮的现象,如果此时工作人员或其他对象位于滚筒周围的区域,可能会被片帮煤砸伤或损毁。或者在采煤机滚筒旋转割煤的过程中,滚筒甩出的煤也可能会击中工作人员,造成人员伤亡。因而,如图1(a)所示,通常采煤机滚筒前后一定范围内的区域都是存在安全隐患的危险区域,在采煤机工作过程中,一般不允许工作人员或需要避免被损坏的其他对象进入该危险区域。
53.目前,可以通过在采煤工作面中设置图像采集装置,用于采集采煤工作面的视频,然后可以基于视频确定危险区域中是否存在工作人员或其他需要避免被损毁的对象,以确定是否存在不符合工作规范的异常事件,并及时告警。比如,有些技术可以通过目标检测算法识别图像中滚筒的位置,然后基于滚筒的位置确定危险区域,并判定危险区域是否存在工作人员。但是,由于采煤环境下灰尘较多,会污染图像采集装置的摄像头,导致采集的图像比较模糊,可能识别到的滚筒位置不够准确,进而基于滚筒位置确定的危险区域也不够准确,导致无法及时发现采煤作业过程中的异常事件,出现误告警或者漏告警的问题,无法保证采煤作业过程中的安全。
54.基于此,本公开实施例提供了一种采煤作业中异常事件的检测方法,考虑到采煤环境中摄像头可能存在污染,采集的视频图像较模糊,基于视频图像检测到的采煤机的滚筒位置可能不准确,进而确定的危险区域也不准确。因此,在基于采集的视频图像确定危险区域时,除了检测采煤机滚筒的位置,还可以进一步识别采煤工作面的状态信息,其中,该状态信息可以是视频图像中可以用于辅助判定采煤机滚筒的位置的各类信息,比如,可以
是液压支架的工作状态、煤壁的厚薄状态中的一种或多种,然后可以结合识别到的滚筒的位置和这些状态信息共同确定危险区域,以基于危险区域判定采煤作业中是否存在异常事件。通过从视频图像中识别采煤机滚筒的位置,以及液压支架的工作状态和/或煤壁的厚薄状态等,然后结合上述信息共同确定危险区域所在的位置,相比于直接基于识别的滚筒位置确定危险区域,确定的危险区域更加准确,在基于危险区域判定是否出现异常事件时,也可以得到更加准确的判定结果,可以降低少误告警或漏告警的概率。
55.本公开实施例提供的采煤作业中异常事件的检测方法可以由服务器、电脑、手机等各种电子设备执行,该电子设备可以与采煤工作面中设置的图像采集装置通信连接,用于接收图像采集装置采集的采煤工作面的视频流,并基于视频流判定是否存在异常事件。如图1(b)所示,在一些场景,由于采煤工作面距离较长,因而可以在采煤工作面设置多个图像采集装置(如图中的摄像头1-摄像头3,当然摄像头的数量不局限于图中所示出的),以全面覆盖采煤工作面的各个区域。
56.如图2所示,为本公开实施例提供的采煤作业中异常事件的检测方法的流程图,该方法可以包括以下步骤:
57.s202、获取采煤工作面的视频帧;
58.在步骤s202中,可以获取图像采集装置采集的采煤工作面的视频流,然后从视频流中逐一获取视频帧进行异常事件的检测。其中,可以对视频流中的每帧视频帧进行检测,或者也可以间隔地获取视频帧并进行检测,比如,间隔两帧后再获取下一帧视频帧,本公开实施例不做限制。
59.s204、从所述视频帧中识别所述采煤工作面中采煤机的滚筒的位置,以及所述采煤工作面的状态信息;所述状态信息包括以下至少一种:所述采煤工作面中液压支架的工作状态、以及所述采煤工作面中煤壁的厚薄状态;
60.由于危险区域通常是采煤机滚筒附近的区域,在步骤s204中,针对当前获取的视频帧,可以从视频帧中识别采煤工作面中的采煤机的滚筒的位置。比如,可以利用目标检测算法检测视频帧中的滚筒。当然,由于采煤工作面中粉尘较多,导致图像采集装置被污染,因而,识别到的滚筒位置可能不一定是准确的,所以,可以进一步从视频帧中识别采煤工作面的状态信息,这些状态信息可以是能够辅助判定采煤机滚筒位置的信息,比如,该状态信息可以是液压支架的工作状态、煤壁的厚薄状态中的一种或多种。其中,液压支架的工作状态和煤壁的厚薄状态可以基于预先训练的模型确定。
61.在一些场景,在识别之前,也可以先判断图像的质量,比如,图像的清晰度等,如果图像质量较差,说明摄像头污染较为严重,此时,可以开启雨刷对摄像头进行清洗,然后再利用清洗后的摄像头采集图像。
62.s206、基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域,以基于所述视频帧中的危险区域确定是否存在异常事件。
63.在步骤s206中,在识别到滚筒的位置,以及上述状态信息后,可以结合滚筒的位置和该状态信息从视频帧中确定危险区域。比如,可以基于状态信息来辅助判定识别到的滚筒位置是否准确,或者基于状态信息调整识别到的滚筒的位置,进而再基于准确的滚筒的位置确定危险区域。在确定视频帧中的危险区域后,可以进一步基于该危险区域确定是否存在异常事件。异常事件可以是各种存在安全隐患的事件,比如,危险区域存在目标对象
时,则认为存在异常事件。目标对象可以是人体、人体的某个部位、或者是其他需要避免被煤矿损毁的对象。
64.在一些实施例中,在基于所识别到的滚筒的位置以及该状态信息从视频帧中确定危险区域时,可以先结合该状态信息判定所识别到的滚筒的位置是否准确,在确定识别到的滚筒的位置准确的情况下,再基于滚筒的位置确定危险区域,以便确定危险区域准确。比如,在一些情况下,由于图像采集装置被污染,导致采集的图像比较模糊,因而容易将一些不是滚筒的图像区域识别为滚筒,此时,由于识别得到的滚筒位置不准确,进而确定的危险区域也不准确,则会出现误告警的问题。或者将原本是滚筒的区域识别成了非滚筒,则可能出现漏告警的问题。因此,在识别到滚筒的位置后,可以进一步结合液压支架的工作状态、煤壁的厚薄状态中的一种或多种辅助判定识别到的滚筒位置是否准确,如果准确,再基于滚筒的位置确定危险区域。当然,如果基于液压支架的工作状态、煤壁的厚薄状态确定识别到的滚筒的位置不准确,则可以基于液压支架的工作状态、煤壁的厚薄状态修正滚筒的位置,或者舍弃当前帧,获取下一帧再进行检测。
65.采煤机在移动的过程中,采煤工作面的液压支架的工作状态是在不断变化的,因而,可以结合液压支架的工作状态的变化规律判定识别到的滚筒的位置是否准确。其中,液压支架可以是位于该滚筒附近的多个液压支架。比如,如图3(a)所示,当采煤机滚筒还未到达位置a(即液压支架l3所在的位置)时,该位置a附近的液压支架的护帮板处于开启状态,以顶住煤壁上方,避免出现片帮。而随着采煤机移动,滚筒到达位置a时,如图3(b)所示,此时该位置a附近的几个液压支架(l1-l5)的护帮板则处于关闭状态,即不再顶住煤壁,方便滚筒从煤壁中割煤,可见,采煤机滚筒的位置通常为护帮板处于关闭状态的液压支架所在位置的周围。更准确地,通常采煤机的滚筒位于位置a时(即液压支架l3所在的位置),可以提前将采煤机移动方向上液压支架l3的前两个(此处仅以2个举例说明,实际不局限于2个,可以根据实际情况变化)液压支架(l4和l5)的护帮板关闭。即如果沿着采煤机移动方向的反方向对护帮板处于关闭状态的液压支架进行计数(比如,从l5开始计数),第三个护帮板处于关闭状态的液压支架(比如l3)与滚筒在采煤机移动方向上的位置坐标是一致或者非常接近的。比如,假设采煤机从左往右移动,从右往左对护帮板处于关闭状态的液压支架进行计数,第三个护帮板处于关闭状态的液压支架在采煤机移动方向上的位置坐标与滚筒在采煤机移动方向上的位置坐标通常是一致的或很接近。
66.其中,采煤机的移动方向可以根据两个滚筒的高低程度确定,通常前滚筒的高度低于后滚筒,因而,可以将高度较低的滚筒指向高度较高的滚筒的方向确定为采煤机的移动方向。
67.所以,在一些实施例中,可以基于视频帧从所识别到的滚筒附近的多个液压支架中确定护帮板处于关闭状态的液压支架,以下称为第一液压支架,然后可以判定第一液压支架与滚筒的位置关系,在第一液压支架的位置与滚筒的位置符合预设的第一位置关系的情况下,确定所识别到的滚筒的位置准确。其中,预设的第一位置关系可以基于采煤作业过程中液压支架的实际控制情况确定,比如,如果是采煤机滚筒到达某个液压支架所在的位置时,将其移动方向的前2个液压支架的护帮板提前关闭,则第一位置关系可以是滚筒在采煤机移动方向的位置坐标和指定的第一液压支架在采煤机移动方向的位置坐标一致,指定的第一液压支架为沿着采煤机移动方向的反方向对护帮板处于关闭状态的液压支架进行
计数,第三个护帮板处于关闭状态的液压支架。
68.此外,随着采煤机在移动的过程中,滚筒将某个位置b处的煤壁中的煤割下来,导致该位置b处的煤壁变薄,此时,液压支架需要将该位置处b的刮板机往煤壁方向推一步,以便和当前煤壁的位置适配,该过程称为推溜。同时,液压支架也需要往前移动一定的距离,以便和当前煤壁的位置适配,该过程称为移架。一般而言,如图4所示,位于采煤机中间一段位置的液压支架是处于推溜状态的,从采煤机中间位置沿着采煤机前进方向的反方向上分布的液压支架则处于移架状态,因而,也可以基于处于推溜状态的液压支架的位置和移架状态的液压支架的位置来辅助判定滚筒的位置。
69.在一些实施例中,可以基于视频帧从多个液压支架中确定处于推溜状态的液压支架,以下称为第二液压支架;在第二液压支架的位置与滚筒的位置符合预设的第二位置关系的情况下,确定所识别到的滚筒的位置准确。其中,第二位置关系可以基于采煤作业过程中液压支架的实际控制情况设置,比如,第二位置关系可以是滚筒的位置和第二液压支架的位置在沿着采煤机移动方向上的距离均在预设的长度范围内。
70.在一些实施例中,可以基于视频帧从多个液压支架中确定处于移架状态的液压支架,以下称为第三液压支架;在第三液压支架的位置与滚筒的位置符合预设的第三位置关系的情况下,确定所识别到的滚筒的位置准确。其中,第三位置关系可以基于采煤作业过程中液压支架的实际控制情况设置,比如,第三位置关系可以是滚筒的位置和第三液压支架的位置在沿着采煤机移动方向上的距离均大于预设的距离等。
71.由于采煤机在割煤到的过程中,滚筒经过和未经过的位置的煤壁厚薄状态是不一样的,因此,在一些实施例中,该状态信息可以是煤壁的厚薄状态,在基于状态信息确定所识别到的滚筒的位置是否准确时,可以通过视频帧识别位于滚筒第一侧的煤壁的厚度是否大于位于滚筒第二侧的煤壁的厚度,如果大于,则确定所识别到的滚筒的位置准确,其中,该第二侧指向该第一侧的方向为采煤机的移动方向。如图5所示,采煤移动方向为从左往右,在识别到滚筒的位置后,可以确定滚筒右侧的煤壁厚度是否大于滚筒左侧煤壁的厚度,如果是,则认为识别到的滚筒的位置准确。
72.在一些场景,可以仅结合上述状态信息中的一种判定识别到的滚筒位置是否准确。在一些场景,为了可以得到更加准确的滚筒位置,也可以同时结合上述所有状态信息判定识别到的滚筒位置是否准确,比如,在识别到的滚筒位置满足上述所有的判定条件,才认为识别到的滚筒位置准确。
73.在一些实施例中,在基于视频帧中的危险区域确定是否存在异常事件时,可以从该视频帧中检测目标对象,得到目标对象对应的检测框;其中,目标对象可以是人体、人体的某个部位(比如,手臂、脚等)、需要避免被片帮损毁的设备等。在确定目标对象对应的检测框后,可以检测该检测框的左下角的顶点所在的位置是否位于危险区域内,如果是,则确定发生异常事件。由于检测框的左下角的顶点处于危险区域,说明此时该目标对象大部分区域都处在危险区域内,即目标对象处在危险区域内的概率较大,从而可以避免将目标对象只在危险区域边缘的场景也被识别为异常。
74.当然,也可以是在检测到目标对象的检测框和危险区域存在重叠区域,则确定发生异常事件。在确定发生异常事件后,可以发出告警信息,以提示工作人员存在违规操作。或者也可以将出现异常事件的图像区域标识出来,并存储,以便后期用户查看。
75.针对获取的采煤工作面的视频流,如果每一帧都采用上述方法去检测危险区域,计算量会比较大,比较消耗处理资源。由于采煤机在作业过程中是不断移动的,危险区域也是在动态变化的(危险区域的位置也移动,但是面积不变)。考虑到在一些场景,图像采集装置的位置和拍摄角度是固定的,因此,可以结合采煤机在前后两帧图像上的位置偏移,来确定采煤机移动的距离,进而可以确定危险区域移动的距离。所以,在一些实施例中,在基于所识别到的滚筒的位置以及状态信息从当前视频帧中确定危险区域之后,还可以获取该视频帧的下一帧视频帧,然后确定采煤机在该视频帧以及该视频帧的下一帧视频帧中的位置偏移量,并基于该视频帧中的危险区域的位置以及位置偏移量确定下一帧视频帧中的危险区域的位置。如图6所示,假设在视频帧p1为t1时刻图像采集装置采集的视频帧,基于该视频帧确定危险区域为r1,然后可以获取t2时刻该图像采集装置采集的视频帧p2,从视频帧p1确定采煤机某个部位的位置o1,从视频帧p2确定采煤机同一部位的位置o2,然后确定o1和o2的位置偏移量x,基于该位置偏移量x和r1的位置,可以确定视频帧p2中的危险区域r2。
76.在一些实施例中,为减少计算量,提高处理速度。在获取到视频帧后,也可以先确定视频帧中是否存在目标对象,可以只在视频帧中存在目标对象的情况下,才进一步检测危险区域,进而判定目标对象是否在危险区域内。如果视频帧中不存在目标对象,则无需进一步检测。
77.在一些场景,如图1(b)所示,为了让图像采集装置的拍摄范围可以覆盖整个采煤工作面,可以在采煤工作面上方间隔的设置多个图像采集装置。其中,在一些场景,可以针对每个图像采集装置采集的视频流设置一个算法模块,用于确定该视频流中是否出现异常。在一些场景,为了提高处理效率,针对任一图像采集装置,也可以结合其他图像采集装置中危险区域的判定情况来辅助该图像采集装置采集的视频流中危险区域的判定。比如,采煤工作面中设置的各图像采集装置的相对位置关系可以预先标定,然后可以由多个图像采集装置中确定一个第一图像采集装置,该第一图像采集装置可以拍摄到采煤机,然后可以利用上述方法确定第一图像采集装置采集的视频帧中的危险区域,针对其他的图像采集装置,可以基于其他图像采集装置与该第一图像采集装置的相对位置关系,将该第一图像采集装置采集的该视频帧中的危险区域映射到其他图像采集装置采集的视频帧中,以确定其他图像采集装置采集的视频帧中的危险区域,其中,其他图像采集装置采集的视频帧与该视频帧在同一时间采集,或者采集时间间隔很短,在该时间间隔内采煤机未发生移动。通过这种方式,可以基于图像采集装置之间位置关系,确定两个图像采集装置采集的图像中像素点的映射关系,基于映射关系确定危险区域,可以无需针对每个图像采集装置采集的视频流分别检测,提高处理效率。
78.在一些实施例中,为了方便向用户展示采煤工作面的状态,也可以通过采煤工作面的动画展示采煤工作面的实时情况,该动画可以模拟采煤工作面的二维动画,也可以是三维动画,具体根据实际需求设置。该动画可以通过一些动画形象展示采煤工作面的各个对象的状态,比如,液压支架、刮板机、采煤机、工作人员等均可以通过相应的动画形象表示。如图7所示,为整个采煤工作面的一种二维动画示意图,该动画示意图可以通过一些动画形象展示采煤工作面中所有的液压支架的位置和状态、采煤机的位置和状态、刮板机的位置和状态、以及采煤工作面的工作人员的位置和状态等。用户通过观看该动画,则可以知道当前整个采煤工作面的实时状态。其中,该动画可以基于图像采集装置采集的视频帧生
成和更新,比如,在获取到一帧视频帧后,除了可以基于视频帧确定危险区域,以进行异常事件的判断,同时,也可以从视频帧中识别各对象的位置和状态,比如,可以识别视频帧中采煤机的位置和状态、液压支架的位置和状态、刮板机的位置和状态、工作人员的位置和状态,以及其他用户关心的对象的位置和状态,在识别到这些对象的位置和状态后,可以基于这些对象在视频帧中的位置(或者相对于视频帧中某个液压支架的位置)、以及采集该视频帧的图像采集装置在采煤工作面的位置(图像采集装置和液压支架等在采煤工作面的位置可以预先标定),确定这些对象在实际采煤工作面的位置,进而可以基于这些对象在实际采煤工作面的位置确定其在动画中对应的动画形象。然后可以基于这些对象的状态更新动画中与之对应的动画形象的状态,以便动画展示的内容和采煤工作面的实际情况一致。同时,在确定危险区域后,也可以在动画中标识出危险区域,以展示给用户。
79.通过基于采集的视频帧中的信息实时更新采煤工作面的动画,并展示给用户,可以从更加形象和直观的角度向用户呈现采煤工作面的实时状态。
80.其中,不难理解,上述各实施例中的描述的方案在不存在冲突的情况,可以进行组合,本公开实施例中不一一例举。
81.相应的,本公开实施例还提供了一种采煤作业中异常事件的检测装置,如图8所示,所述装置80包括:
82.获取模块81,用于获取采煤工作面的视频帧;
83.识别模块82,用于从所述视频帧中识别所述采煤工作面中采煤机的滚筒的位置,以及所述采煤工作面的状态信息;所述状态信息包括以下至少一种:所述采煤工作面中液压支架的工作状态、以及所述采煤工作面中煤壁的厚薄状态;
84.检测模块83,用于基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域,以基于所述视频帧中的危险区域确定是否存在异常事件。
85.其中,上述装置执行采煤作业中异常事件的检测方法的具体步骤可以参考上述方法中各实施例的描述,在此不再赘述。
86.进一步的,本公开实施例还提供一种设备,如图9所示,所述设备包括处理器91、存储器92、存储于所述存储器92可供所述处理器91执行的计算机指令,所述处理器执行所述计算机指令时实现上述实施例中任一项所述的方法。
87.本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一实施例所述的方法。
88.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
89.通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施
例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
90.上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
91.本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
92.以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1