一种基于CNN的图像分割算法实现渣土车土方量的计算方法与流程

一种基于cnn的图像分割算法实现渣土车土方量的计算方法
技术领域
1.本发明涉及一种渣土识别技术领域具体，具体涉及一种基于cnn的图像分割算法实现渣土车土方量的计算方法。


背景技术：

2.卷积神经网络(convolutional neural networks,cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(shift-invariant artificial neural networks,siann)”。
3.卷积神经网络仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。邻近算法，或者说k最近邻(knn，k-nearestneighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓k最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。
4.knn算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。knn方法在类别决策时，只与极少量的相邻样本有关。由于knn方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，knn方法较其他方法更为适合。
5.随着国家经济快速增长，大力加强新区开发以及振兴乡村建设，建筑工程项目与日俱增，施工项目组对弃土土方量的统计越来越重视，建筑工程项目普遍存在弃土的转运，渣土车载土离开始发地至目的地卸土时需要对土石方进行统计，目前大部分施工项目组采用传统的人工测量方式进行统计，但传统计算模式易受限于项目组管理人员学识和设备操作人员素质等多方面因素影响造成各类逃票违规行为、缺乏规范化施工和计数误差等现象。
6.公开号cn112232435a的发明专利公开了基于卷积神经网络的渣土车土石方体积计算方法，包括以下步骤：步骤1：对装载土石方的渣土车的后轮进行称重；步骤2：对渣土车的型号选择对应神经网络模型，输入后轮称重数值得到整车质量；步骤3：根据渣土车装载状态下的质量和渣土车空载的质量计算渣土质量；步骤4：采集渣土车运载的渣土图像，输入神经网络模型得到渣土的密度；步骤5：根据步骤3得到的渣土质量和步骤4得到的渣土密度计算渣土车运载的土石方。该方法明确需要对渣土车的型号选择对应神经网络模型，考
虑到之后施工项目的新增，对渣土车型号的限制、神经网络模型不统一以及低扩展性等因素，不适合多变的应用场景。
7.公开号cn208795315u的发明专利公开了一种用于工程运输土石方计量的手持装备，它包含装备主体、手持柄、电源件、操作按钮组、透明窗、出票口、摄像头、识卡装置、打印设备、储纸箱、处理器、存储装置、数据传输模块。此方法不适用于大型复杂的土石方系统，仍然需要增设员工进行打卡操作，实用性成问题。现有的图像分割处理往往都是直接使用经过大量原始图像训练的模型进行识别，其识别结果偏差较大。


技术实现要素：

8.本发明的目的在于提供一种基于cnn的图像分割算法实现渣土车土方量的计算方法，其解决了现有技术中识别结果偏差较大的技术问题。
9.为解决上述技术问题，本发明所采用的技术方案是：
10.一种基于cnn的图像分割算法实现渣土车土方量的计算方法，其特征在于：包括使用rgb颜色空间分割图像方法的特征阈值选取、图像特征值的图像二值化、cnn的knn分类方法进行计算；
11.其具体步骤如下：
12.步骤1：对渣土车载土到达目的地入场时，通过车辆后轮压力传感器对载土状态的渣土车的质量进行取值；
13.步骤2：当渣土车驶入取像区时，通过高清取像球机对渣土车正上方拍摄载土状态图像；
14.步骤3：对渣土车载土驶出取像区时，通过车辆后轮压力传感器对卸完土状态的渣土车的质量进行取值；
15.步骤4：对渣土车载土彩色图像进行rgb颜色空间分割图像，并选取具有该土质特征颜色的阈值，通过图像特征值的图像二值化将彩色图像进行降噪，对降噪后的二值化图像基于cnn的knn算法进行分类，分类识别出该渣土车所在渣土的土质种类；
16.步骤5：根据车辆后轮压力传感器所得载土状态质量与卸土状态质量的差值和经过图像分割以及卷积神经网络分类识别出土质种类，依据土质密度计算出土方量。
17.其中，步骤4中，图像二值化包括选择阈值t和用阈值t对图像进行分割。
18.进一步优化，阈值选取计数为全局的或局部的阈值选取方法，通过rgb色彩空间分割输出灰度图像和二值图像，特征阈值的选取决定了图像二值化后的结果，需要先对彩色图像需转换成黑白图像，再对黑白图像进行上述处理。
19.其中，步骤4中，图像特征值根据图像上的一个点p(x，y)或者该点与其周围相邻分量(红r、绿g、蓝b)，记为度量值e；
20.图像上同类颜色的度量相近，图像上不同类颜色的度量值与目标颜色的度量值相差较大，度量值e定义为图像的特征值，对于同一图像，需对图像的像素区域或每个像素的颜色进行统计，然后根据特点确定特征表达式。
21.由于图像颜色分量r、g、b的地位相同，假定特征表达式中三分量的系数绝对值相等，由此确定特征表达式为ar+bg+cb；
22.其中暂取a＝
±
1；
23.b＝
±
1；
24.c＝
±
1，
25.确定4个特征表达式，具体提为：f1＝r+g+b；f2＝r+g-b；f3＝r-g+b；f4＝r-g-b，统计待处理图像，分别计算以上4个特征表达式的方差，方差较大即为适宜的标准特征表达式，根据标准特征表达式将同一图像所规划的不同像素组成集合的每个集合中的成员的特征表达式构架当前图像特征值的矩阵记为通过矩阵计算该矩阵的特征值，即为图像二值化的图像特征值。
26.其中，根据图像二值化的图像特征值，进行cnn的knn分类，是cnn对于各土质种类的训练识别模型，之后通过knn最邻近算法进行归类；然后将图像二值化的图像特征值替换为knn算法中k的值，根据cnn中各土质种类的模型中的特征值点位与替换后的k值进行欧式距离计算，计算出的值越小说明该图像二值化的特征值更接近与模型中某种类土质，即可得出该图像中土质的种类；最后依据上述土质种类对应密度范围可计算出该渣土车所载土方量。
27.其中，土质种类具体如下：
28.一类土：松软土，主要包括砂土、粉土、冲积砂土层，疏松的种植土、淤泥(泥炭)；密度600～1500
㎏
/m3；
29.二类土：普通土，包括粉质粘土、潮湿的黄土、夹有碎石、卵石的砂、粉质混卵(碎)石、种植土、填土；密度1100～1600
㎏
/m3；
30.三类土：坚土、软及中等密实粘土、重粉质粘土、砾石土、干黄土、含有碎石卵石的黄土、粉质粘土，压实的填土；密度1750～1900
㎏
/m3；
31.四类土：砂砾坚土；坚硬密实的粘性土或黄土、汗碎石、卵石的中等密实是粘性土或黄土、粗卵石、天然级配砾石、软泥灰岩；密度1900
㎏
/m3。
32.与现有技术相比，本发明具有以下有益效果：
33.本发明通过rgb颜色空间先粗略分割图像得到二值化图像再通过对二值化后的图像划分像素组进行细分用得到的该图像的特征表达式的rgb系数构建特征矩阵计算出图像的特征值，最后通过把上述得到的特征值替换为knn最邻近算法中k的值，依据欧式距离公式的最小值判断该图像的特征值与卷积神经模型中各土质的特征值进行分类并识别该图像中渣土车所载土质种类。
34.本发明使用了rgb颜色空间分割图像方法、图像特征值的彩色图像二值化，其中将图像以r、g、b为分向量进行空间划分并对图像二值化，选取适当的目标阈值划分像素组，每个像素组根据图像的特征表达式的rgb系数构建的矩阵计算出该矩阵的特征值，通过该特征值对knn最邻近算法中的k值进行替换，完成对该图像中土质种类的分类识别，本发明在实际的使用中大大减小了噪声的影响，降低了其识别结果的偏差。
附图说明
35.为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
36.图1为本发明整体原理框图。
具体实施方式
37.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明实施例的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
38.实施例一
39.本实施例公开了一种基于cnn的图像分割算法实现渣土车土方量的计算方法，包括使用rgb颜色空间分割图像方法的特征阈值选取、图像特征值的图像二值化、cnn的knn分类方法进行计算；
40.其具体步骤如下：
41.步骤1：对渣土车载土到达目的地入场时，通过车辆后轮压力传感器对载土状态的渣土车的质量进行取值；
42.步骤2：当渣土车驶入取像区时，通过高清取像球机对渣土车正上方拍摄载土状态图像；
43.步骤3：对渣土车载土驶出取像区时，通过车辆后轮压力传感器对卸完土状态的渣土车的质量进行取值；
44.步骤4：对渣土车载土彩色图像进行rgb颜色空间分割图像，并选取具有该土质特征颜色的阈值，通过图像特征值的图像二值化将彩色图像进行降噪，对降噪后的二值化图像基于cnn的knn算法进行分类，分类识别出该渣土车所在渣土的土质种类；
45.步骤5：根据车辆后轮压力传感器所得载土状态质量与卸土状态质量的差值和经过图像分割以及卷积神经网络分类识别出土质种类，依据土质密度计算出土方量。
46.其中，步骤4中，图像二值化包括选择阈值t和根据阈值t对图像进行分割。
47.进一步优化，阈值选取计数为全局的或局部的阈值选取方法，通过rgb色彩空间分割输出灰度图像和二值图像，特征阈值的选取决定了图像二值化后的结果，需要先对彩色图像需转换成黑白图像，再对黑白图像进行上述处理。
48.其中，步骤4中，图像特征值根据图像上的一个点p(x，y)或者该点与其周围相邻分量(红r、绿g、蓝b)，记为度量值e；
49.图像上同类颜色的度量相近，图像上不同类颜色的度量值与目标颜色的度量值相差较大，度量值e定义为图像的特征值，对于同一图像，需对图像的像素区域或每个像素的颜色进行统计，然后根据特点确定特征表达式。
50.需要说明的是，由于图像颜色分量r、g、b的地位相同，假定特征表达式中三分量的系数绝对值相等，由此确定特征表达式为ar+bg+cb；
51.其中暂取a＝
±
1；
52.b＝
±
1；
53.c＝
±
1，
54.确定4个特征表达式，因此可以确定8个特征表达式，但是8个特征表达式中有4个与另外4个互为相反数的关系，故而可以确定4个特征表达式，如下f1＝r+g+b；f2＝r+g-b；f3＝r-g+b；f4＝r-g-b，
55.，统计待处理图像，分别计算以上4个特征表达式的方差，方差较大即为适宜的标准特征表达式，根据标准特征表达式将同一图像所规划的不同像素组成集合的每个集合中的成员的特征表达式构架当前图像特征值的矩阵记为通过矩阵计算该矩阵的特征值，即为图像二值化的图像特征值。
56.其中，根据图像二值化的图像特征值，进行cnn的knn分类，是cnn对于各土质种类的训练识别模型，之后通过knn最邻近算法进行归类；然后将图像二值化的图像特征值替换为knn算法中k的值，根据cnn中各土质种类的模型中的特征值点位与替换后的k值进行欧式距离计算，计算出的值越小说明该图像二值化的特征值更接近与模型中某种类土质，即可得出该图像中土质的种类；最后依据上述土质种类对应密度范围可计算出该渣土车所载土方量。
57.其中，土质种类具体如下：
58.一类土：松软土，主要包括砂土、粉土、冲积砂土层，疏松的种植土、淤泥(泥炭)；密度600～1500
㎏
/m3；由于每类土质对应的土质密度为不同数值范围，根据有关数据各类土质密度只能是一个范围，所以计算出的方量也是有误差的预估值，因此确定一个密度范围值；
59.二类土：普通土，包括粉质粘土、潮湿的黄土、夹有碎石、卵石的砂、粉质混卵(碎)石、种植土、填土；密度1100～1600
㎏
/m3；
60.三类土：坚土、软及中等密实粘土、重粉质粘土、砾石土、干黄土、含有碎石卵石的黄土、粉质粘土，压实的填土；密度1750～1900
㎏
/m3；
61.四类土：砂砾坚土；坚硬密实的粘性土或黄土、汗碎石、卵石的中等密实是粘性土或黄土、粗卵石、天然级配砾石、软泥灰岩；密度1900
㎏
/m3。
62.参看图1，本发明在车辆驶入取像点后，取正上方载土高清图像及记录压力传感器载重数值，然后对图像色彩分割，并进行图像二值化特征值算法，进行卷积神经网络临近值分类，进行土质种类及密度识别；根据土质种类及密度和压力传感器载重数值进行计算土方量。
63.本发明通过rgb颜色空间先粗略分割图像得到二值化图像再通过对二值化后的图像划分像素组进行细分用得到的该图像的特征表达式的rgb系数构建特征矩阵计算出图像的特征值，最后通过把上述得到的特征值替换为knn最邻近算法中k的值，依据欧式距离公式的最小值判断该图像的特征值与卷积神经模型中各土质的特征值进行分类并识别该图像中渣土车所载土质种类。
64.本发明使用了rgb颜色空间分割图像方法、图像特征值的彩色图像二值化，其中将图像以r、g、b为分向量进行空间划分并对图像二值化，选取适当的目标阈值划分像素组，每个像素组根据图像的特征表达式的rgb系数构建的矩阵计算出该矩阵的特征值，通过该特征值对knn最邻近算法中的k值进行替换，完成对该图像中土质种类的分类识别，本发明以这种方法大大减小了噪声的影响，降低了其识别结果的偏差。
65.实施例二
66.本实施例公开了一种基于cnn的图像分割算法实现渣土车土方量的计算方法，使用rgb颜色空间分割图像方法的特征阈值选取、图像特征值的图像二值化、cnn卷积神经网络的knn分类方法，适用于多变的、高扩展的应用场景，技术方案具体流程如下：
67.a1：对渣土车载土到达目的地入场时，通过车辆后轮压力传感器对载土状态的渣土车的质量进行取值；
68.a2：当渣土车驶入取像区时，通过一定高度的高清取像球机对渣土车正上方拍摄载土状态图像；
69.a3：对渣土车载土驶出取像区时，通过车辆后轮压力传感器对卸完土状态的渣土车的质量进行取值；
70.a4：对渣土车载土彩色图像进行rgb颜色空间分割图像并选取具有该土质特征颜色的阈值，通过图像特征值的图像二值化将彩色图像进行降噪，对降噪后的二值化图像基于cnn卷积神经网络的knn算法进行分类，分类识别出该渣土车所在渣土的土质种类。
71.其中，根据识别后的土质种类依据工程土质分类表相关数据：
72.一类土：松软土；主要包括砂土、粉土、冲积砂土层；疏松的种植土、淤泥(泥炭)；密度600～1500
㎏
/m3；
73.二类土：普通土；主要包括粉质粘土、潮湿的黄土、夹有碎石、卵石的砂、粉质混卵(碎)石、种植土、填土；密度1100～1600
㎏
/m3；
74.三类土：坚土；软及中等密实粘土、重粉质粘土、砾石土、干黄土、含有碎石卵石的黄土、粉质粘土，压实的填土；密度1750～1900
㎏
/m3；
75.四类土：砂砾坚土；坚硬密实的粘性土或黄土、汗碎石、卵石的中等密实是粘性土或黄土、粗卵石、天然级配砾石、软泥灰岩；密度1900
㎏
/m3；
76.五类土-八类土主要以石为主，在建筑工程项目的土方量计算中占比少。
77.a5：根据车辆后轮压力传感器所得载土状态质量与卸土状态质量的差值和经过图像分割以及卷积神经网络分类识别出土质种类，依据土质密度计算出土方量。
78.本实施例需对载土彩色图像进行rgb色彩空间分割图像并将图像二值化，图像二值化包括两步，选择阈值t和用阈值t对图像进行分割。阈值选取计数可以为全局的和局部的阈值选取方法。通过rgb色彩空间分割输出灰度图像和二值图像，特征阈值的选取决定了图像二值化后的结果，首先彩色图像需转换成黑白图像，在对黑白图像进行上述处理。
79.在实际的使用中，图像特征值根据图像上的一个点p(x，y)或者该点与其周围相邻分量(红r、绿g、蓝b)，记为度量值e。
80.图像上同类颜色的度量相近，图像上不同类颜色的度量值与目标颜色的度量值相差较大。度量值e定义为图像的特征值，表达式则为特征表达式。根据特征值的特性，同类颜色特征相差小，不同类颜色特征值相差大，所有特征值阈值满足在两端不同的颜色特征值范围内。欲求得目标特性值，特征表达式是基于图像特征值的彩色图像二值化方法的关键，而最优的特征表达式往往与具体待处理的图像密不可分。
81.对于同一图像，特征表达式的选择并不唯一，欲取得较好的特征表达式，需对图像的像素区域或每个像素的颜色进行统计，找出其特点，然后根据特点确定特征表达式。
82.由于图像颜色分量r、g、b的地位相同，因此假定特征表达式中三分量的系数绝对值相等，由此确定特征表达式为ar+bg+cb,其中暂取a＝
±
1；b＝
±
1；c＝
±
1，可以确定4个特征表达式，统计待处理图像，分别计算以上4个特征表达式的方差，方差较大即为比较适宜的标准特征表达式，根据标准特征表达式将同一图像所规划的不同像素组成集合的每个集合中的成员的特征表达式构架当前图像特征值的矩阵记为通过矩阵计算该矩阵的
特征值，即为图像二值化的图像特征值。
83.根据图像二值化的图像特征值，进行cnn卷积神经网络的knn分类，主要是cnn卷积神经网络对于各土质种类的训练识别模型，之后通过knn最邻近算法进行归类，本提案中需将图像二值化的图像特征值替换为knn算法中k的值，根据cnn卷积神经网络中各土质种类的模型中的特征值点位与替换后的k值进行欧式距离计算，计算出的值越小说明该图像二值化的特征值更接近与模型中某种类土质，因此可得出该图像中土质的种类。依据上述土质种类对应密度范围可计算出该渣土车所载土方量。
84.在现有的技术方案中，往往都是通过图像中土质颜色直接提取特征之后的原始特征值，本发明主要以先粗分后细分的方法，首先对彩色图像进行rgb颜色空间分割图像得到二值化的图像，然后划分像素区域进行二值化图像的特征值计算；传统二值化方法，处理结果的优劣取决于阈值选择的优劣；而本实施例中特征值的二值化方法，则不在局限于阈值的选择，而是可以选择更能突出图片特点的特征表达式，之后所得的二值化效果也更好。
85.而且传统二值化方法，都是只对图片像素进行一次划分；而本发明特征值的二值化方法进行了先粗分后细分的方法，能够得到更好的分类结果，能够降低噪声的影响，为之后土质种类的识别打下基础。
86.同时，现有技术方案中一般将图像直接通过深度学习模型进行识别分类，其结果偏差较大，本提案通过图像分割以及卷积神经网络的knn分类方法解决了该问题。
87.为了便于本领域技术人员进一步理解本发明，下面结合具体的实施案例进一步阐述本发明。
88.案例一：
89.本项目对每辆驶入项目施工点所在正上方高清取像球机进行图像采集，获取采集后的图像进行rgb色彩空间分割图像并将结果继续二值化，图像二值化首先选择选取阈值再对阈值进行分割，依据阈值分割结果选取全局或局部，通过rgb色彩空间分割输出结果灰度图像和二值图像，特征阈值选取决定了图像二值化后的结果，彩色图像需转换成黑白图像，在对黑白图像进行上述处理。
90.在处理过程进行中，图像特征值根据图像上的一个点p(x，y)或者该点与其周围相邻分量(红r、绿g、蓝b)，记为度量值e。
91.图像上同类颜色的度量相近，图像上不同类颜色的度量值与目标颜色的度量值相差较大。度量值e定义为图像的特征值，表达式则为特征表达式。根据特征值的特性，同类颜色特征相差小，不同类颜色特征值相差大，所有特征值阈值满足在两端不同的颜色特征值范围内。
92.根据图像颜色分量r、g、b的地位相同，因此假定特征表达式中三分量的系数绝对值相等，由此确定特征表达式为ar+bg+cb,其中暂取a＝
±
1；b＝
±
1；c＝
±
1，可以确定4个特征表达式，统计待处理图像，分别计算以上4个特征表达式的方差，方差较大即为比较适宜的标准特征表达式，根据标准特征表达式将同一图像所规划的不同像素组成集合的每个集合中的成员的特征表达式构架当前图像特征值的矩阵记为通过矩阵计算该矩阵的特征值，即为图像二值化的图像特征值。
93.根据cnn卷积神经网络中各土质种类的模型中的特征值点位与替换后的k值进行欧式距离计算，计算出的值越小说明该图像二值化的特征值更接近与模型中某种类土质，
因此可得出该图像中土质的种类。依据上述土质种类对应密度范围可计算出每个渣土车所载土方量的预估值。
94.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
95.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。