一种基于语义分割的板材计数系统

本发明涉及板材计数，尤其涉及一种基于语义分割的板材计数系统。

背景技术：

1、定制家具相关企业在板材的生产、运输以及销售等环节均需要统计确认板材的数量，尤其是在板材销售的出入库环节，需要根据客户的板材数量需求出库和入库。

2、目前对板材的计数检测方法包括人工点数法、称重计数法、高度计数法以及机器视觉检测法，其中，人工点数法、自动称重法和高度计数法为板材企业常用的传统方法，计数过程耗时耗力，且成本较高。机器视觉检测法只在特定的场景下有效，不能适用于多种板材码垛应用场景，例如板材码垛堆叠不整齐等场景。

3、因此，需要一种适用于多种板材码垛应用场景，且计数效率较高的板材计数系统。

技术实现思路

1、为克服相关技术中存在的问题，本发明的目的之一是提供一种基于语义分割的板材计数系统，该系统适用于多种板材码垛应用场景，且计数效率较高。

2、一种基于语义分割的板材计数系统，包括：

3、图像采集模块，用于采集板材码垛图像；

4、语义分割模块，所述语义分割模块与所述图像采集模块连接，所述语义分割模块用于基于语义分割模型对所述板材码垛图像进行语义分割，得到板材分割结果；其中，所述语义分割模型基于多场景数据和二分类交叉熵损失函数训练得到；

5、所述语义分割模块包括数据集增强单元，所述数据集增强单元用于对训练集进行数据增强，得到已扩充训练集；对测试集进行数据增强，得到已扩充测试集；所述数据增强包括随机选择训练样本进行非线性变换，以及随机选择所述训练样本进行部分遮挡；

6、计数模块，所述计数模块与所述语义分割模块连接，所述计数模块用于根据所述板材分割结果，按照左端、中部和右端三个图像区域统计板材码垛的数量。

7、在本发明较佳的技术方案中，所述图像采集模块包括：

8、图像拍摄单元，用于调用拍摄设备对所述板材码垛进行拍摄，得到所述板材码垛图像；

9、图像选择单元，用于从图像数据库中选择所述板材码垛图像；

10、图像裁剪单元，所述图像裁剪单元连接至所述图像拍摄单元和所述图像选择单元，所述图像裁剪单元用于按所述图像区域对所述板材码垛图像进行图像裁剪，得到多张roi图像。

11、在本发明较佳的技术方案中，所述语义分割模块还包括：

12、语义分割训练单元，用于基于已扩充训练集对待训练模型进行模型训练，得到所述语义分割模型，基于已扩充测试集测试所述语义分割模型；

13、语义分割执行单元，所述语义分割执行单元与所述图像采集模块连接，所述语义分割执行单元用于对所述roi图像进行语义分割，得到多张掩膜图像。

14、在本发明较佳的技术方案中，所述图像区域包括第一图像区域、第二图像区域和第三图像区域，所述第一图像区域位于所述板材码垛图像的左端，所述第二图像区域位于所述板材码垛图像的中部，所述第三图像区域位于所述板材码垛图像的右端。

15、在本发明较佳的技术方案中，所述语义分割模块还包括：

16、数据集构建单元，所述数据集构建单元与所述图像采集模块连接，所述数据集构建单元用于构建图像数据集；

17、数据集划分单元，所述数据集划分单元与所述数据集构建单元和所述数据集增强单元连接，所述数据集划分单元用于将所述图像数据集划分为训练集和测试集。

18、在本发明较佳的技术方案中，所述数据增强还包括旋转、缩放、扩展、镜像和添加噪声中的任意一项或任意多项。

19、在本发明较佳的技术方案中，所述计数模块包括：

20、二值处理单元，所述二值处理单元与所述语义分割执行单元连接，所述二值处理单元用于将所述掩膜图像转换为二值图像；

21、轮廓提取单元，所述轮廓提取单元与所述二值处理单元连接，所述轮廓提取单元用于提取所述二值图像中计数区域的外围轮廓；

22、轮廓计数单元，所述轮廓计数单元与所述轮廓提取单元连接，所述轮廓计数单元用于统计所述外围轮廓的轮廓数量；

23、板材数量检测单元，所述板材数量检测单元与所述轮廓计数单元连接，所述板材数量检测单元用于根据不同所述计数区域的所述轮廓数量检测所述板材码垛的数量。

24、在本发明较佳的技术方案中，所述待训练模型采用改进的unet语义分割网络，所述待训练模型的训练步骤包括：

25、步骤1：采用3×3的卷积核，通过2次卷积操作将已扩充训练集的板材码垛图像的通道数提升为64，并进行1次池化操作；

26、步骤2：通过2次卷积操作将板材码垛图像的通道数从64提升至128，并进行1次池化操作；

27、步骤3：通过2次卷积操作将板材码垛图像的通道数从128提升至256，并进行1次池化操作；

28、步骤4：通过2次卷积操作将板材码垛图像的通道数从256提升至512，并进行1次池化操作；

29、步骤5：通过2次卷积操作将板材码垛图像的通道数从512提升至1024；

30、步骤6：通过1次反卷积操作将板材码垛图像的通道数从1024降至512，将步骤6中反卷积后的板材码垛图像与步骤4的板材码垛图像进行拼接，得到通道数为1024的板材码垛图像，通过2次卷积操作将板材码垛图像的通道数从1024降至512；

31、步骤7：通过1次反卷积操作将板材码垛图像的通道数从512降至256，将步骤7中反卷积后的板材码垛图像与步骤3的板材码垛图像进行拼接，变成通道数为512的板材码垛图像，通过2次卷积操作将板材码垛图像的通道数从512降至256；

32、步骤8：通过1次反卷积操作将板材码垛图像的通道数从256降至128，将步骤8中反卷积后的板材码垛图像与步骤2的板材码垛图像进行拼接，变成通道数为256的板材码垛图像，通过2次卷积操作将板材码垛图像的通道数从256降至128；

33、步骤9：通过1次反卷积操作将板材码垛图像的通道数从128降至64，将步骤9中反卷积后的板材码垛图像与步骤1的板材码垛图像进行拼接，变成通道数为128的板材码垛图像，通过2次卷积操作将板材码垛图像的通道数从128降至64；

34、步骤10：采用1×1的卷积核，通过1次卷积操作将板材码垛图像的通道数由64降至1，得到单通道灰度图像；

35、步骤11：将所述单通道灰度图像输入到所述改进的unet语义分割网络中，所述改进的unet语义分割网络输出板材码垛图像中每块板材的掩膜标记图像；

36、步骤12：将所述掩膜标记图像以及图像数据集中的板材计数掩码代入损失函数进行迭代，直到损失函数值收敛为止；将所述损失函数值返回到所述改进的unet语义分割网络，所述改进的unet语义分割网络根据所述损失函数值使用随机梯度下降法调整参数，得到所述语义分割模型。

37、在本发明较佳的技术方案中，所述待训练模型采用的损失函数为二分类交叉熵损失函数，所述待训练模型采用的参数更新方法为随机梯度下降法。

38、在本发明较佳的技术方案中，所述二分类交叉熵损失函数包括以下公式一，所述非线性变换包括以下公式二：

39、

40、其中，i为分类序号，n为分类总数，yi是语义分割模型预测为板材像素的概率，是样本标签，若是板材像素，取值为1，否则取值为0，log为对数函数，loss为二分类交叉熵损失函数；

41、

42、其中，y为经过非线性变换之后的训练样本，x为所述训练样本。

43、本发明的有益效果为：

44、本发明提供的一种基于语义分割的板材计数系统包括图像采集模块，用于采集板材码垛图像。语义分割模块，语义分割模块与图像采集模块连接，语义分割模块用于基于语义分割模型对板材码垛图像进行语义分割，得到板材分割结果。计数模块，计数模块与语义分割模块连接，计数模块用于根据板材分割结果，按照左端、中部和右端三个图像区域统计板材码垛的数量，语义分割是对图像中每个像素点进行分类，确定每个像素点的类别，从而进行区域划分。基于不同图像区域验证板材码垛的数量，从而提高检测板材码垛的数量的准确性。语义分割模型基于多场景数据和二分类交叉熵损失函数训练得到，不同场景下板材码垛的堆放情况和板材类型不同，因此，语义分割模型适用于不同板材码垛的应用场景。语义分割模块包括数据集增强单元，数据集增强单元用于对训练集进行数据增强，得到已扩充训练集。对测试集进行数据增强，得到已扩充测试集。数据增强包括随机选择训练样本进行非线性变换，以及随机选择训练样本进行部分遮挡。使用非线性变换之后的训练样本和部分遮挡之后的训练样本进行训练，可以增强语义分割模型的鲁棒性。本发明提供的系统可以自动化地实现采集图像、语义分割和统计板材码垛的数量，计数效率较高。