堆石图像数据提取方法、装置、电子设备及存储介质

1.本公开属于堆石混凝土中堆石检测分析领域，特别涉及一种堆石图像数据提取方法、装置、电子设备及存储介质。


背景技术：

2.堆石混凝土是利用大粒径的块石直接堆放入仓，然后从堆石体的表面浇筑无需任何振捣的自密实混凝土，并利用自密实混凝土高流动性、高穿透性的特点，依靠自重完全填充堆石的空隙，从而形成的完整、密实、水化热低和满足强度要求的大体积混凝土。由于堆石混凝土的施工工艺简单，综合单价低，水化温升小，易于现场质量控制，施工效率高，且工期短，在水利、电力、公路、铁路、市政、港口和能源等领域的大体积混凝土工程中具有广阔的发展前景。
3.堆石混凝土的施工质量、施工成本及堆石混凝土的工作质量高度依赖于堆石体的相关参数。目前，对于堆石体的参数测量多通过人工测量，存在效率低、耗时长，且受检测人员经验影响等问题，


技术实现要素：

4.针对上述背景技术中的不足，本公开提出一种堆石粒径级配图像识别方法、装置、电子设备及存储介质，通过目标检测算法实现堆石图像的数据快速、准确地提取。
5.为此，本公开第一方面的实施例提出了一种堆石图像数据提取方法，包括：
6.获取工地现场堆石图像，所述工地现成堆石图像中包含比例尺信息；
7.对获得的工地现场堆石图像中各块石的边缘进行标记，得到堆石标注图像，由所述堆石标注图像及其对应的工地现场堆石图像构成样本集；
8.将所述样本集输入到初始神经网络模型中进行训练，检测堆石图像中的块石边缘信息，直至神经网络模型收敛，得到训练完毕的神经网络模型；
9.将需要检测的包含有所述比例尺信息的堆石图像输入到训练完毕的神经网络模型中，识别堆石图像中各块石的边缘信息；
10.根据所述比例尺信息，将识别到的堆石图像中各块石的边缘信息分别转化为各块石的粒径信息，以此统计堆石图像相应的堆石级配信息。
11.本公开的堆石图像数据提取方法，具有以下特点及有益效果：
12.本公开属于堆石混凝土信息化施工的一个重要部分，涉及利用深度学习模型提取堆石图像堆石图片中的堆石数据，以此作为堆石混凝土坝工程监测的重要手段。具体体现为：
13.1、识别效果好，适应性强。利用神经网络模型，适用于不同颜色、材质、光滑度的堆石的识别，并且只要有足够的训练样本，且可以适用于施工现场复杂的光照和气候情况。
14.2、操作简便，大大降低了堆石质量的监测成本。通过从堆石图像中快速地提取堆石数据，实现了对堆石的远程监测，大大降低了堆石质量的监测成本；识别得到的堆石粒径
数据为堆石混凝土质量监控提供基础堆石数据，而堆石体的孔隙数据可以为进一步细化堆石混凝土质量规范提供参考。
15.在一些实施例中，本公开的堆石图像数据提取方法，还包括：
16.根据所述堆石级配信息通过数学形态学方法确定堆石特征参数，利用所述堆石特征参数表征堆石对混凝土流动的阻力，为堆石与混凝土间的相互作用分析提供输入变量。
17.在一些实施例中，所述堆石特征参数包括堆石中各块石的面积、球度和圆度。
18.在一些实施例中，本公开的堆石图像数据提取方法，还包括：
19.将所述需要检测的堆石图像减去所述识别得到堆石图像中各块石的边缘信息，得到所述需要检测的堆石图像中在各块石间形成的孔隙信息，对所述孔隙信息进行通过数学形态学方法确定孔隙特征参数，利用所述孔隙特征参数表征孔隙的大小、连通性和光滑程度，所述孔隙的大小包括孔隙的长度、直径、孔喉和孔腹。
20.在一些实施例中，所述工地现场堆石图像是在现场或者通过远程利用人工拍摄或工地摄像头拍摄的方式获得。
21.在一些实施例中，所述堆石标注图像是通过目测或者利用图像标注工具获得。
22.在一些实施例中，所述神经网络模型为基于fast r-cnn的新建以图形具体形状为参数的训练分支的神经网络。
23.本公开第二方面的实施例提出了一种堆石图像数据提取装置，包括：
24.工地现场堆石图像获取模块，用于获取工地现场堆石图像，所述工地现成堆石图像中包含比例尺信息；
25.样本集构建模块，用于所述工地现场堆石图像中各块石的边缘进行标记，得到堆石标注图像，利用所述堆石标注图像及其对应的工地现场堆石图像构建样本集；
26.神经网络模型训练模块，用于根据所述样本集对神经网络模型进行训练，检测堆石图像中的块石边缘信息，直至神经网络模型收敛，得到训练完毕的神经网络模型；和
27.数据提取模块，用于利用训练完毕的神经网络模型识别需要检测的包含有所述比例尺信息的堆石图像中各块石的边缘信息；将识别到的堆石图像中各块石的边缘信息分别转化为各块石的粒径信息，以此统计堆石图像相应的堆石级配信息。
28.本公开第三方面的实施例提出了一种电子设备，包括：
29.至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；
30.其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述堆石图像数据提取方法。
31.本公开第四方面的实施例提出了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述堆石图像数据提取方法。
附图说明
32.图1是本公开第一方面实施例提供的一种堆石图像数据处理方法的整体流程图。
33.图2是本公开第一方面实施例中涉及的部分训练样本的标注效果图。
34.图3是本公开第一方面实施例的测试效果图。
35.图4为本公开第二方面实施例提供的一种堆石图像数据处理装置的结构框图。
36.图5是本公开第三方面实施例提供的电子设备的结构框图。
具体实施方式
37.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本技术，并不用于限定本技术。
38.相反，本技术涵盖任何由权利要定义的在本技术精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本技术有更好的了解，在下文对本技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本技术。
39.参见图1，本公开第一方面实施例提出的一种堆石图像数据提取方法，包括以下步骤：
40.在施工过程中获取足够数量的工地现场堆石图像；图像中应包括已知实际长度的参照物作比例尺；
41.对获得的工地现场堆石图像中各块石的边缘进行标记，得到堆石标注图像，由足够数量的堆石标注图像及其对应的工地现场堆石图像构成样本集；
42.将样本集输入到初始神经网络模型中进行训练，检测图像中的块石边缘信息，直至神经网络模型收敛，得到训练完毕的神经网络模型；
43.将需要检测的包含有比例尺信息的堆石图像输入到训练完毕的神经网络模型中，识别堆石图像中各块石的边缘信息；根据比例尺信息，将识别到的堆石图像中各块石的边缘信息分别转化为各块石的粒径信息，以此统计堆石图像相应的堆石级配信息。
44.在一些实施例中，本公开的堆石图像数据提取方法，还包括：
45.根据统计得到的堆石级配信息通过数学形态学方法确定堆石特征参数，利用该堆石特征参数表征堆石对混凝土流动的阻力，为堆石与混凝土间的相互作用分析提供输入变量。
46.在一些实施例中，堆石特征参数包括堆石中各块石的面积、球度和圆度。
47.在一些实施例中，本公开的堆石图像数据提取方法，还包括：
48.将所述需要检测的堆石图像减去所述识别得到堆石图像中各块石的边缘信息，得到所述需要检测的堆石图像中在各块石间形成的孔隙信息，对所述孔隙信息进行通过数学形态学方法确定孔隙特征参数，利用所述孔隙特征参数表征孔隙的大小、连通性和光滑程度，所述孔隙的大小包括孔隙的长度、直径、孔喉和孔腹。
49.在一些实施例中，工地现场堆石图像是在现场或者通过远程利用人工拍摄或工地摄像头拍摄的方式获得。
50.在一些实施例中，对获得的工地现场堆石图像通过人工目测的方法或利用图像标注工具对其中各块石的边缘进行标记，得到堆石标注图像。
51.在一个实施例中，对获得的工地现场堆石图像中各块石的边缘进行标记，包括以下步骤：
52.使用图像标注软件labelme对获得的各种格式(例如bmp，jpg，jpeg，gif，png等格式)的工地现场堆石图像进行标注，用多边形勾勒图像中块石的边缘，参见图2中位于各块
石边缘由虚线示意出的多边形，同时这些边缘信息会自动生成mask r-cnn模型可处理的堆石边缘数据并保存为同名的json文件。将获取的足够的堆石标注图像构成样本集，将样本集按照9:1的比例分为训练集与测试集，用于后续神经网络模型的训练与进一步优化。
53.在一个实施例中，利用mask r-cnn模型作为神经网络模型，该mask r-cnn模型是基于fast r-cnn的新建以图形具体形状为参数的训练分支的神经网络模型。将训练集输入到初始mask r-cnn模型中进行训练，检测图像中的块石边缘信息，然后利用测试集对mask r-cnn模型进行测试并调整模型参数，直至mask r-cnn模型收敛，得到训练完毕的mask r-cnn模型。具体地，利用以块石轮廓形状为训练参数的mask r-cnn模型，将训练标注后的堆石图像作为训练样本，对初始mask r-cnn模型进行训练和测试。在本过程中mask r-cnn模型可以调节的参数包括初始化权重、学习率和优化器参数等。
54.在一个实施例中，将需要检测的包含有比例尺信息的堆石图像输入到训练完毕的神经网络模型中，识别图像中各块石的边缘信息，包括以下步骤：
55.将需要检测的堆石图像中输入到训练完毕的mask r-cnn模型中，在弹出的窗口中画一条线段，并输入该线段的像素大小，利用mask r-cnn模型识别图像中各块石的边缘信息。得到测试图片中块石轮廓区识别图，参见图3，图中用不同颜色(如深灰、中灰和浅灰)的区域示意出了识别到的块石轮廓。
56.在一些实施例中，当利用神经网络模型识别的块石边缘信息误差较大时，重样获取本集新并利用其对神经网络模型进行训练，来优化神经网络模型，直至识别结果达到误差要求，得到训练完毕的神经网络模型。本公开第二方面实施例提出了一种堆石图像数据提取装置，其结构参见图4，该装置包括：
57.工地现场堆石图像获取模块，用于在施工过程中获取工地现场堆石图像，工地现成堆石图像中包含比例尺信息；
58.样本集构建模块，用于对获得的工地现场堆石图像中各块石的边缘进行标记，得到堆石标注图像，利用堆石标注图像及其对应的工地现场堆石图像构建样本集；
59.神经网络模型训练模块，用于根据样本集构建模块得到的样本集对神经网络模型进行训练，检测堆石图像中的块石边缘信息，直至神经网络模型收敛，得到训练完毕的神经网络模型；
60.数据提取模块，用于利用训练完毕的神经网络模型识别需要检测的包含有所述比例尺信息的堆石图像中各块石的边缘信息；将识别到的堆石图像中各块石的边缘信息分别转化为各块石的粒径信息，以此统计堆石图像相应的堆石级配信息。
61.在一些实施例中，数据提取模块还用于：根据所述堆石级配信息通过数学形态学方法确定堆石特征参数，利用所述堆石特征参数表征堆石对混凝土流动的阻力，为堆石与混凝土间的相互作用分析提供输入变量。
62.在一些实施例中，数据提取模块还用于：将所述需要检测的堆石图像减去所述识别得到堆石图像中各块石的边缘信息，得到所述需要检测的堆石图像中在各块石间形成的孔隙信息，对所述孔隙信息进行通过数学形态学方法确定孔隙特征参数，利用所述孔隙特征参数表征孔隙的大小、连通性和光滑程度，所述孔隙的大小包括孔隙的长度、直径、孔喉和孔腹。
63.为了实现上述实施例，本公开实施例还提出一种计算机可读存储介质，其上存储
有计算机程序，该程序被处理器执行，用于执行上述实施例的堆石图像数据提取方法。
64.下面参考图5，其示出了适于用来实现本公开实施例的电子设备100的结构示意图。其中，需要说明的是，该电子设备100中包括堆石图像数据提取系统，其中，本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机、服务器等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
65.如图5所示，电子设备100可以包括处理装置(例如中央处理器、图形处理器等)101，其可以根据存储在只读存储器(rom)102中的程序或者从存储装置108加载到随机访问存储器(ram)103中的程序而执行各种适当的动作和处理。在ram 103中，还存储有电子设备100操作所需的各种程序和数据。处理装置101、rom 102以及ram 103通过总线104彼此相连。输入/输出(i/o)接口105也连接至总线104。
66.通常，以下装置可以连接至i/o接口105：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置106；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置107；包括例如磁带、硬盘等的存储装置108；以及通信装置109。通信装置109可以允许电子设备100与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
67.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图中所示方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置109从网络上被下载和安装，或者从存储装置108被安装，或者从rom 102被安装。在该计算机程序被处理装置101执行时，执行本公开实施例的方法中限定的上述功能。
68.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
69.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
70.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取工地现场堆石图像，工地现成堆石图像中包含比例尺信息；对获得的工地现场堆石图像中各块石的边缘进行标记，得到堆石标注图像，由堆石标注图像及其对应的工地现场堆石图像构成样本集；将样本集输入到初始神经网络模型中进行训练，检测堆石图像中的块石边缘信息，直至神经网络模型收敛，得到训练完毕的神经网络模型；将需要检测的包含有所述比例尺信息的堆石图像输入到训练完毕的神经网络模型中，识别堆石图像中各块石的边缘信息；根据比例尺信息，将识别到的堆石图像中各块石的边缘信息分别转化为各块石的粒径信息，以此统计堆石图像相应的堆石级配信息。
71.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++、python，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
72.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
73.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
74.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
75.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传
输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
76.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
77.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤，可以通过程序来指令相关的硬件完成，所开发的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
78.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
79.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。