煤堆检测方法、装置、设备及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及一种煤堆检测方法、装置、设备及存储介质。


背景技术：

2.在采煤工作面中，通常需要将煤矿从一个运输设备转载到另一个运输设备上，以通过转载后的运输设备将煤矿运走。比如，在一些采煤工作面中，需要将刮板机从采煤机的滚筒上刮下来的煤矿转运到皮带上，以通过皮带将煤矿运走。或者在有些采煤工作面中，需要将皮带上的煤矿转载到运输机上，以通过运输机将煤矿运走。在将煤矿从一个运输设备转载到另一个运输设备时，两个设备的对接点通常称为转载点，由于长时间运煤，转载点通常会出现煤矿堆积的情况下，如果煤堆中堆积的煤矿数量过多，可能会对运输设备造成影响，导致运输设备无法正常运行或被损坏。


技术实现要素：

3.本公开提供一种煤堆检测方法、装置、设备及存储介质。
4.根据本公开实施例的第一方面，提供一种煤堆检测方法，所述方法包括：
5.获取采煤工作面中的煤矿转载点的图像，所述煤矿转载点包括将煤矿从一个运输设备转运到另一个运输设备时两个运输设备之间的对接点；
6.从所述图像中识别所述煤矿转载点中堆积的煤堆，并确定所述煤堆的状态信息，所述状态信息用于指示所述煤堆的大小；
7.在基于所述状态信息确定所述煤堆的大小超出预设大小情况下，执行相应的控制策略，所述控制策略用于减少所述转载点中堆积的煤矿的数量。
8.在一些实施例中，所述基于所述状态信息确定所述煤堆的大小超出预设大小，包括：
9.所述状态信息包括所述图像中煤堆在垂直地面方向上的最高点的位置，在所述最高点的位置位于预先设置的限位线远离地面一侧的情况下，确定所述煤堆的大小超出预设大小；和/或
10.所述状态信息包括所述煤堆在所述图像中对应的检测框，在判定所述检测框覆盖的区域超出预先在图像中标注的目标区域的情况下，确定所述煤堆的大小超出预设大小；和/或
11.所述状态信息包括所述煤堆的真实高度，在判定所述煤堆的真实高度高于预设高度的情况下，确定所述煤堆的大小超出预设大小；和/或
12.所述状态信息包括所述煤堆的真实体积，在判定所述煤堆的真实体积大于预设体积的情况下，确定所述煤堆的大小超出预设大小。
13.在一些实施例中，所述控制策略包括以下一种或多种：
14.发出告警信息；
15.减小所述采煤工作面中的采煤机滚筒的转速；
16.减小源运输设备运输煤矿的速度，所述源运输设备为煤矿转载前所在的运输设备；
17.增大目标运输设备运输煤矿的速度，所述目标运输设备为煤矿转载后所在的运输设备；
18.控制设置在所述转载点附近的清理装置自动清理所述煤堆。
19.在一些实施例中，所述煤堆的真实高度基于以下方式确定：
20.从所述图像中识别预先设置的目标对象，基于所述目标对象的像素尺寸、所述目标对象的实际尺寸以及所述煤堆在图像中的高度确定所述煤堆的真实高度；和/或
21.所述图像包括从不同角度采集的所述煤矿转载点的多帧图像，基于所述多帧图像对所述煤堆进行三维重建，得到所述煤堆的三维点云模型，基于所述煤堆的三维点云模型确定所述煤堆的真实高度。
22.在一些实施例中，所述煤堆的真实体积基于以下方式确定：
23.从所述图像中识别预先设置的目标对象，确定所述目标对象的像素尺寸、所述目标对象的实际尺寸以及所述煤堆在各个方向上的像素尺寸确定所述煤堆在各个方向的实际尺寸；识别所述煤堆的形状，基于所述煤堆的形状以及所述煤堆在各个方向的实际尺寸确定所述煤堆的真实体积；和/或
24.所述图像包括从不同角度采集的所述煤矿转载点的多帧图像，基于所述多帧图像对所述煤堆进行三维重建，得到所述煤堆的三维点云模型，基于所述煤堆的三维点云模型确定所述煤堆的真实体积。
25.在一些实施例中，所述方法还包括：
26.获取从不同角度采集的所述采煤工作面的图像；
27.对所采集的图像进行语义分割，确定所述采煤工作面中的各对象在各图像中对应的图像区域，其中，所述对象至少包括所述煤堆；
28.基于各对象在各图像中对应的图像区域对各对象进行三维重建，得到各对象的三维点云模型；
29.基于各对象的三维点云模型生成所述采煤工作面中的三维动画，并展示给用户。
30.在一些实施例中，所述从所述图像中识别所述煤矿转载点中堆积的煤堆，包括：
31.基于预先设置的标注信息从所述图像中确定检测区域，所述标注信息用于指示所述转载点在图像中的位置；
32.从所述检测区域识别所述煤矿转载点中堆积的煤堆。
33.在一些实施例中，所述方法包括：
34.基于所述转载点的视频确定所述煤堆的体积和/或高度的增长速度，基于所述煤堆的体积和/或高度的增长速度调节以下任一项：
35.所述运输设备运输煤矿的速度、所述采煤机滚筒的转速。
36.根据本公开实施例的第二方面，提供一种煤堆检测装置，所述装置包括：
37.获取模块，用于获取采煤工作面中的煤矿转载点的图像，所述煤矿转载点包括将煤矿从一个运输设备转运到另一个运输设备时两个运输设备之间的对接点；
38.识别模块，用于从所述图像中识别所述煤矿转载点中堆积的煤堆，并确定所述煤
堆的状态信息，所述状态信息用于指示所述煤堆的大小；
39.控制模块，用于在基于所述状态信息确定所述煤堆的大小超出预设大小情况下，执行相应的控制策略，所述控制策略用于减少所述转载点中堆积的煤矿的数量。
40.根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时，可实现上述第一方面提及的方法。
41.根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述存储介质上存储有计算机指令，所述计算机指令被执行时实现上述第一方面提及的方法。
42.本公开实施例中，可以获取采煤工作面中转载点的图像，然后从图像中识别煤堆，并确定用于指示煤堆大小情况的状态信息，然后可以基于煤堆状态信息评估煤堆的大小是否超过预设大小，即煤堆是否过大，会对运输设备造成影响，如果是，则执行相应的控制策略，以减少转载点中堆积煤矿的数量。通过自动检测煤堆的大小，并在煤堆过大时，自动执行相应的控制策略，以减少转载点堆积煤矿的数量，从而可以减少由于转载点堆积煤矿过多，导致运输设备无法正常工作或造成运输设备损坏的现象。
43.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
44.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
45.图1是本公开实施例的一种采煤工作面中转载点的示意图。
46.图2是本公开实施例的一种煤堆检测方法的流程图。
47.图3是本公开实施例的一种煤堆超高的示意图。
48.图4是本公开实施例的一种煤堆的检测框大于目标区域的示意图。
49.图5是本公开实施例的一种对煤堆进行三维重建的示意图。
50.图6是本公开实施例的一种采煤工作面的摄像头分布的示意图。
51.图7是本公开实施例的一种采煤工作面的二维动画的示意图。
52.图8是本公开实施例的一种煤堆检测装置的逻辑结构示意图。
53.图9是本公开实施例的一种设备的逻辑结构示意图。
具体实施方式
54.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
55.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表
示多种中的任意一种或多种中的至少两种的任意组合。
56.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
57.为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
58.在采煤工作面中，通常需要将煤矿从一个运输设备转载到另一个运输设备上，以通过转载后的运输设备将煤矿运走。比如，在一些采煤工作面中，需要将刮板机从采煤机的滚筒上刮下来的煤矿转运到皮带上，以通过皮带将煤矿运走。或者在有些采煤工作面中，需要将皮带上的煤矿转载到运输机上，以通过运输机将煤矿运走。在将煤矿从一个运输设备转载到另一个运输设备时，两个运输设备的对接点通常称为转载点，由于长时间运煤，转载点通常会出现煤矿堆积的情况下，如果煤矿堆积过多，形成过大的煤堆，可能会对运输设备造成影响，导致运输设备无法正常运行，甚至被损坏。比如，如图1所示，将刮板机运输的煤矿转载到皮带的示意图，采煤机的滚筒从煤壁将煤割下来后，可以通过刮板机将滚筒中的煤刮下来，并运输至皮带所在的位置，然后将煤矿转运到皮带处，通过皮带运走。在将刮板机运过来的煤矿转载到皮带上的场景，如果转载点积累过多的煤形成较大的煤堆，可能会导致皮带的卡顿影响转速，甚至可能会损坏皮带或者损坏刮板机。
59.基于此，本公开实施例提供了一种煤堆检测方法，可以获取采煤工作面中转载点的图像，然后从图像中识别煤堆，并确定用于指示煤堆大小情况的状态信息，然后可以基于煤堆状态信息评估煤堆的大小是否超过预设大小，即煤堆是否过大，会对运输设备造成影响，如果是，则执行相应的控制策略，以减少转载点中堆积煤矿的数量。通过自动检测煤堆的大小，并在煤堆过大时，自动执行相应的控制策略，以减少转载点堆积煤矿的数量，从而可以减少由于转载点堆积煤矿过多，导致运输设备无法正常工作或造成运输设备损坏的现象。
60.本公开实施例提供的煤堆检测方法可以由各种电子设备执行，比如，手机、电脑、云端服务器等。
61.如图2所示，本公开实施例提供的煤堆检测方法包括以下步骤：
62.s202、获取采煤工作面中的煤矿转载点的图像，所述煤矿转载点包括将煤矿从一个运输设备转运到另一个运输设备时两个运输设备之间的对接点；
63.通常可在采煤工作面中煤矿转载点附近设置一个或多个摄像头，利用这一个或多个摄像头转载点的图像或者视频。其中，转载点可以是采煤工作面中将煤矿由一个运输设备转运到另一个运输设备时，两个运输设备之间对接点，该对接点可以是具有一定大小的位置区域。比如，如图1所示，采煤机的滚筒从煤壁将煤割下来后，可以通过刮板机将滚筒中的煤刮下来，并运输至皮带所在的位置，然后将煤矿转运到皮带中，通过皮带运走，所以转载点可以是刮板机和皮带之间的对接点。在一些场景，皮带将煤矿运输一段距离后，可以转运到运输机，通过运输机运走，这种情况下，转载点可以是皮带和运输机之间的对接点。
64.在步骤s202中，可以获取采煤工作面中的煤矿转载点的图像，其中，该图像可以一帧图像，也可以多帧图像，或者是一段视频中的视频帧。
65.s204、从所述图像中识别所述煤矿转载点中堆积的煤堆，并确定所述煤堆的状态信息，所述状态信息用于指示所述煤堆的大小；
66.在步骤s204中，可以从图像中识别煤矿转载点中堆积的煤堆，比如，可以通过目标检测算法识别煤堆，或者也可以通过预先训练的神经网络识别煤堆。在识别到煤堆后，可以确定煤堆的状态信息，该状态信息可以是用于指示煤堆的大小的各种信息，比如，煤堆的体积、高度、在图像中覆盖的区域等等。
67.s206、在基于所述状态信息确定所述煤堆的大小超出预设大小情况下，执行相应的控制策略，所述控制策略用于减少所述转载点中堆积的煤矿的数量。
68.在步骤s206中，可以基于确定的状态信息判定煤堆的大小是否超出预设大小，其中，针对每一种状态信息，可以设置当煤堆的该状态信息满足一定的条件时，则认为煤堆的大小超出预设大小。在根据状态信息确定煤堆的大小超出预设大小的情况下，则可以执行相应的控制策略，以减小转载点堆积的煤框的数量。其中，这些控制策略可以是用于减少转载点中堆积的煤矿的数量的各种策略。
69.在一些实施例中，该状态信息可以是图像中煤堆在垂直地面方向上的最高点的位置信息。比如，如图3所示，在图像中识别到煤堆后，可以图像中识别煤堆在垂直地面方向上的最高点的位置，然后判定该最高点的位置是否位于预先在图像中标注的限位线远离地面的一侧，其中，该限位线可以是在图像中预先标注的与地面平行的一条直线，如果该最高点位于该限位线远离地面的一侧，即认为该煤堆的高度超高，并判定该煤堆的大小超出预设大小。
70.当然，在一些场景，煤堆的形状可以接近一个长方体，这种情况下，也可以从图像中识别煤堆在左上角的顶点，以及在右上角的顶点，然后将两个顶点连接构成一条线段，如果该线段位于预先在图像中标注的限位线远离地面的一侧，则也认为该煤堆的高度超高，并判定该煤堆的大小超出预设大小。
71.在一些实施例中，该状态信息可以是煤堆在图像中对应的检测框，在判定该检测框的覆盖的区域超出预先在图像中设置的目标区域的情况下，确定煤堆的大小超出预设大小。比如，如图4所示，在一些场景，采集转载点的图像的摄像头的位置可以是固定的，因而可以预先在图像中设置一个目标区域，当煤堆的检测框超出该目标区域时，则认为此时煤堆较大，并判定该煤堆的大小超出预设大小。其中，检测框可以是对煤堆进行目标检测时确定的检测框，或者也可以煤堆的最小外接矩形。
72.在一些场景，该图像可以是从某个角度采集的转载点的一帧图像，该检测框可以是煤堆在该帧图像中的对应的检测框，该目标区域也可以是基于该角度采集的图像设置的区域。当然，在一些场景，该图像也可以是从不同角度采集的多帧煤堆图像，检测框也可以是煤堆在多帧图像中对应的多个检测框，针对每个角度采集的图像都可以设置一个目标区域，可以是只要其中一帧图像对应的检测框超过其对应的目标区域，则并判定该煤堆的大小超出预设大小，或者也可以是所有图像中煤堆对应的检测框均超出其对应的目标区域，则判定煤堆超出预设大小。通过从不同角度采集煤堆的图像，并判定煤堆在各图像中的检测框是否超出各图像对应的目标区域，可以从多角度对煤堆大小进行判定，更加准确的判
定煤堆的大小。
73.在一些实施例中，该状态信息可以是煤堆在三维空间中的真实高度，在判定煤堆的真实高度高于预设高度的情况下，判定煤堆的大小超出预设大小。
74.在一些实施例中，该状态信息也可以是煤堆在三维空间中的真实体积，在判定煤堆的真实体积大于预设体积的情况下，确定煤堆的大小超出预设大小。
75.在一些实施例中，在确定煤堆的高度时，可以从图像中识别预先设置的目标对象，该目标对象可以是大概率会出现在该转载点附近的一个对象，即在采集转载点的图像时，通常可以采集到该目标对象。比如，该目标对象可以是刮板机、皮带、液压支架或者采煤机等。然后可以基于该目标对象的像素尺寸、该目标对象的实际尺寸以及煤堆在图像中的高度确定煤堆的真实高度。可以预先测量目标对象某个部位的尺寸，然后存储。当然采集到煤堆的图像后，可以从图像中识别煤堆，以及该目标对象，然后确定该目标对象的像素尺寸(即在图像中的长度或宽度)或者某个部分的像素尺寸，基于该目标对象的实际尺寸和像素尺寸，即可以确定图像中各对象的尺寸和三维空间中实际对象的尺寸的比例，进而可以基于该比例和煤堆在图像中的高度确定煤堆的真实高度。
76.在一些实施例中，可以从转载点的不同角度对其进行图像采集，得到多帧图像，然后可以利用这多帧图像进行三维重建，得到煤堆的三维点云模型，进而可以基于该三维点云模型确定煤堆的真实高度。比如，如图5所示，对转载进行图像采集的摄像头可以设置在云台上，然后可以控制云台旋转，从多个角度采集煤堆的多帧图像，或者也可以在转载点不同位置处设置多个摄像头，通过多个摄像头从不同角度采集煤堆的多帧图像，这多帧图像中存在重叠区域，然后从各帧图像中提取特征点，对各帧图像中的特点进行匹配，并基于匹配的特征点确定摄像头的内外参数，进而基于内外参数确定各帧图像中像素点的深度信息，得到各像素点对应的三维点的三维坐标，从而可以得到煤堆的三维点云模型。然后基于三维点云模型即可以确定煤堆的高度。
77.在一些实施例中，在确定煤堆的体积时，也可以从图像中识别预先设置的目标对象，然后可以该目标对象的像素尺寸、该目标对象的实际尺寸以及煤堆在各个方向上的像素尺寸确定煤堆的实际尺寸，并且可以进一步识别煤堆的形状，基于煤堆的形状和其在各个方向上的实际尺寸确定煤堆的体积。比如，如果煤堆是近似锥形的，则可以基于上述方式确定该锥形的实际高度，和半径，进而确定煤堆的体积。如果该煤堆是近似立方体形状的，则可以基于上述方式确定立方体的边长，进而确定煤堆的体积。
78.在一些实施例中，在确定煤堆的体积时，也可以从转载点的不同角度对其进行图像采集，得到多帧图像，然后可以利用这多帧图像进行三维重建，得到煤堆的三维点云模型，进而可以基于该三维点云模型确定煤堆的实际体积。具体的三维重建方式可以参考上述实施例中的描述，在此不再赘述。
79.在一些实施例中，当基于状态信息确定煤堆的大小大于预设大小的情况下，为了避免对运输设备造成损坏或影响其正常运行，可以采用一些控制策略来减小煤堆的大小。控制策略可以是以下一种或多种，比如，在一些实施例中，该控制策略可以是发出告警信息，以提醒工作人员过来清理转载点的煤堆。
80.在一些实施例中，如果该转载点是刮板机和皮带之间的对接点，该控制策略也可以是减小采煤工作面中的采煤机滚筒的转速，以减少刮板机运输到该转载点的煤矿数量，
避免煤矿继续堆积，导致煤堆数量过多。
81.在一些实施例中，该控制策略可以是增大目标运输设备运输煤矿的速度，其中，该目标运输设备为煤矿转载后所在的运输设备。
82.在一些实施例中，该控制策略可以是减小源运输设备运输煤矿的速度，其中，该源运输设备为煤矿转载前所在的运输设备。
83.比如，如果是将煤矿由刮板机转运到皮带中，该转载点为刮板机和皮带之间的对接点，其中，源运输设备为刮板机，目标运输设备为皮带，因而可以增大皮带的速度，以便皮带可以快速将煤矿运走，减少堆积的煤堆的数量。或者也可以减少刮板机运输到该转载点的煤矿的数量，避免煤矿继续堆积，导致煤堆数量过多。或者，也可以同时执行上述两者控制策略，以达到更好的效果。
84.在一些实施例中，也可以在转载点附近设置一个自动清理装置，该自动清理装置可以是一个机械臂，或者是类似的装置。在检测到转载点堆积的煤堆过大时，可以控制该清理装置自动清理煤堆，比如，将煤堆中的煤矿移动至别的位置，或者移动至皮带上，以减小煤堆的大小。
85.在一些实施例中，可以从转载点的不同角度对其进行图像采集，得到多帧图像，然后可以利用这多帧图像进行三维重建，得到煤堆的三维点云模型，进而可以基于煤堆的三维点云模型得到煤堆的三维动画，并将该三维动画展示给用户，以便用户可以基于该三维动画直观的知道当前转载点的煤堆的实时情况。
86.在一些实施例中，可以获取从不同角度采集的采煤工作面的图像，然后可以对采集的各帧图像进行语义分割，确定采煤工作面中的各对象在各图像中对应的图像区域，其中，这些对象至少包括煤堆，当然，也可以包括刮板机、采煤机、液压支架、皮带等其他对象。然后可以基于各对象在各图像中对应的图像区域对各对象进行三维重建，得到各对象的三维点云模型，并基于各对象的三维点云模型生成采煤工作面中的三维动画，并通过交互界面展示给用户。比如，如图6所示，可以在采煤工作面中间隔的设置多个摄像头，各摄像头搭载于云台上，在控制云台转动的过程中，可以获取多个摄像头从不同角度对采煤工作面进行图像采集得到的多帧图像，这多帧图像中存在重叠区域，然后利用这多帧图像进行三维重建，得到采煤工作面中各对象的三维点云模型。进而，在可以基于各对象的实际外观形象对三维点云模型进行渲染，生成采煤工作面的三维动画。可以通过利用不同时间段采集的图像进行三维重建，更新构建的三维模型，进而得到动态的三维动画。从而用户可以基于三维动画查看三维点云模型中的实时概况，以及转载点煤堆的大小。
87.当然，由于三维重建的过程比较耗时，涉及到的计算量也比较大，在一些实施例中，为了更加及时地向用户展示采煤工作面的实时状态，也可以通过采煤工作面的动画展示采煤工作面的实时情况，该动画可以模拟采煤工作面的二维动画，也可以是三维动画，具体根据实际需求设置。该动画可以通过一些动画形象展示采煤工作面的各个对象的状态，比如，转载点的煤堆、液压支架、刮板机、采煤机、皮带等均可以通过相应的动画形象表示。比如，可以基于采集的采煤工作面的视频帧中各对象的位置、以及采集该视频帧的摄像头在采煤工作面的位置，确定各对象在采煤工作面的位置，并基于所确定的位置确定各对象在采煤工作面的动画中对应的动画形象，其中，动画用于展示采煤工作面的实时状态；然后可以基于从视频帧识别到的各对象的状态更新动画中各对象对应的动画形象的状态，并将
更新后的动画展示给用户。
88.如图7所示，为整个采煤工作面的一种二维动画示意图，该动画示意图可以通过一些动画形象展示采煤工作面中所有的液压支架的位置和状态、采煤机的位置和状态、刮板机的位置和状态、以及采煤工作面的工作人员的位置和状态等。用户通过观看该动画，则可以知道当前整个采煤工作面的实时状态。其中，该动画可以基于采煤工作面中各摄像头采集的各视频帧生成和更新，比如，在获取到一帧视频帧后，也可以从视频帧中识别各对象的位置和状态，比如，可以识别视频帧中采煤机的位置和状态、液压支架的位置和状态(比如，护帮板处于开启状态还是关闭状态)、刮板机的位置和状态、煤堆的位置和状态，皮带的位置和状态等在识别到这些对象的位置和状态后，可以基于这些对象在视频帧中的位置(或者相对于视频帧中某个液压支架的位置)、以及采集该视频帧的图像采集装置在采煤工作面的位置(图像采集装置和液压支架等在采煤工作面的位置可以预先标定)，确定这些对象在实际采煤工作面的位置，进而可以基于这些对象在实际采煤工作面的位置确定其在动画中对应的动画形象。然后可以基于这些对象的状态(比如，煤堆的形状、体积、高度等)更新动画中与之对应的动画形象的状态，以便动画展示的内容和采煤工作面的实际情况一致。通过基于采集的视频帧中的信息实时更新采煤工作面的动画，并展示给用户，可以从更加形象和直观的角度向用户呈现采煤工作面的实时状态。
89.在一些实施中，在从图像中识别煤矿转载点中堆积的煤堆时，为了可以更加准确的识别煤堆，同时也可以提高处理效率。可以预先设置用于指示转载点在图像中的位置的标注信息，然后可以基于标注信息从图像中确定检测区域，并从该检测区域识别煤堆。比如，可以将转载点在图像的位置区域设置为检测区域，该标注信息可以是预先标注的检测区域在图像中的位置信息。在一些场景，假设摄像头的位置固定，因而转载点在图像中的位置也是固定的，从而可以将图像中该位置对应的区域标注为检测区域。当然，如果摄像头搭载于云台上，可以转动，则可以在某个特定的角度采集的图像a中标注该检测区域，针对在其他角度采集的图像b，则可以基于摄像头采集图像a和图像b时的位姿确定图像a和图像b的映射关系，进而将图像a中的检测区域映射到图像b中，然后从图像b中的检测区域识别煤堆。
90.在一些实施例中，也可以实时采集煤堆的视频流，基于视频流中各视频帧确定煤堆在各视频帧中的体积和/或高度，然后可以基于各视频帧中煤堆的体积和/或高度，确定煤堆的体积的增长速度和/或煤堆的高度的增长速度，并根据煤堆的体积的增长速度和/或煤堆的高度的增长速度，实时调节采煤机滚筒的转速、运输设备运输煤矿的速度等，从而可以基于煤堆的视频实时调整滚筒的转速、和皮带的速度，对煤堆的大小进行动态控制，避免转载点堆积的煤堆过多。
91.其中，不难理解，上述各实施例中的描述的方案在不存在冲突的情况，可以进行组合，本公开实施例中不一一例举。
92.相应的，本公开实施例还提供了一种装置，如图8所示，所述装置包括：
93.获取模块81，用于获取采煤工作面中的煤矿转载点的图像，所述煤矿转载点包括将煤矿从一个运输设备转运到另一个运输设备时两个运输设备之间的对接点；
94.识别模块82，用于从所述图像中识别所述煤矿转载点中堆积的煤堆，并确定所述煤堆的状态信息，所述状态信息用于指示所述煤堆的大小；
95.控制模块83，用于在基于所述状态信息确定所述煤堆的大小超出预设大小情况下，执行相应的控制策略，所述控制策略用于减少所述转载点中堆积的煤矿的数量。
96.在一些实施例中，所述控制模块用于基于所述状态信息确定所述煤堆的大小超出预设大小时，具体用于：
97.所述状态信息包括所述图像中煤堆在垂直地面方向上的最高点的位置，在所述最高点的位置位于预先设置的限位线远离地面一侧的情况下，确定所述煤堆的大小超出预设大小；和/或
98.所述状态信息包括所述煤堆在所述图像中对应的检测框，在判定所述检测框覆盖的区域超出预先在图像中标注的目标区域的情况下，确定所述煤堆的大小超出预设大小；和/或
99.所述状态信息包括所述煤堆的真实高度，在判定所述煤堆的真实高度高于预设高度的情况下，确定所述煤堆的大小超出预设大小；和/或
100.所述状态信息包括所述煤堆的真实体积，在判定所述煤堆的真实体积大于预设体积的情况下，确定所述煤堆的大小超出预设大小。
101.在一些实施例中，所述控制策略包括以下一种或多种：
102.发出告警信息；
103.减小所述采煤工作面中的采煤机滚筒的转速；
104.减小源运输设备运输煤矿的速度，所述源运输设备为煤矿转载前所在的运输设备；
105.增大目标运输设备运输煤矿的速度，所述目标运输设备为煤矿转载后所在的运输设备；
106.控制设置在所述转载点附近的清理装置自动清理所述煤堆。
107.在一些实施例中，所述煤堆的真实高度基于以下方式确定：
108.从所述图像中识别预先设置的目标对象，基于所述目标对象的像素尺寸、所述目标对象的实际尺寸以及所述煤堆在图像中的高度确定所述煤堆的真实高度；和/或
109.所述图像包括从不同角度采集的所述煤矿转载点的多帧图像，基于所述多帧图像对所述煤堆进行三维重建，得到所述煤堆的三维点云模型，基于所述煤堆的三维点云模型确定所述煤堆的真实高度。
110.在一些实施例中，所述煤堆的真实体积基于以下方式确定：
111.从所述图像中识别预先设置的目标对象，确定所述目标对象的像素尺寸、所述目标对象的实际尺寸以及所述煤堆在各个方向上的像素尺寸确定所述煤堆在各个方向的实际尺寸；识别所述煤堆的形状，基于所述煤堆的形状以及所述煤堆在各个方向的实际尺寸确定所述煤堆的真实体积；和/或
112.所述图像包括从不同角度采集的所述煤矿转载点的多帧图像，基于所述多帧图像对所述煤堆进行三维重建，得到所述煤堆的三维点云模型，基于所述煤堆的三维点云模型确定所述煤堆的真实体积。
113.在一些实施例中，所述装置还用于：
114.获取从不同角度采集的所述采煤工作面的图像；
115.对所采集的图像进行语义分割，确定所述采煤工作面中的各对象在各图像中对应
的图像区域，其中，所述对象至少包括所述煤堆；
116.基于各对象在各图像中对应的图像区域对各对象进行三维重建，得到各对象的三维点云模型；
117.基于各对象的三维点云模型生成所述采煤工作面中的三维动画，并展示给用户。
118.在一些实施例中，所述从所述图像中识别所述煤矿转载点中堆积的煤堆，包括：
119.基于预先设置的标注信息从所述图像中确定检测区域，所述标注信息用于指示所述转载点在图像中的位置；
120.从所述检测区域识别所述煤矿转载点中堆积的煤堆。
121.在一些实施例中，所述装置还用于：
122.基于所述转载点的视频确定所述煤堆的体积和/或高度的增长速度，基于所述煤堆的体积和/或高度的增长速度调节以下任一项：
123.所述运输设备运输煤矿的速度、所述采煤机滚筒的转速。
124.其中，上述装置执行上述煤堆检测方法的具体步骤可以参考上述方法实施例中的描述，在此不再赘述。
125.进一步的，本公开实施例还提供一种设备，如图9所示，所述设备包括处理器91、存储器92、存储于所述存储器92可供所述处理器91执行的计算机指令，所述处理器91执行所述计算机指令时实现上述实施例中任一项所述的方法。
126.本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
127.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
128.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本公开实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例各个实施例或者实施例的某些部分所述的方法。
129.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
130.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部
分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本公开实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
131.以上所述仅是本公开实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开实施例的保护范围。