一种家具板材瑕疵检测系统及方法与流程

1.本发明涉及家具及机器视觉综合技术领域，具体涉及一种家具板材瑕疵检测系统及方法、设备及计算机可读存储介质。


背景技术：

2.对于家具板材而言，生产过程中或搬运过程中都可能出现板材损伤，导致出现有问题瑕疵的家具产品。例如出现点状、块状瑕疵，或者出现狭长的现状瑕疵，如果仅依靠人工进行检测，工作量很大，而且在疲劳状态下难以发现瑕疵问题，人工寻找板材瑕疵的方法可靠性较差，工作时间受限。
3.现有技术中虽然也有一些自动化检测方法及系统，但现有技术的识别检测技术识别精度较低，对于较为复杂的家具产品细微缺陷的检测识别能力不足，特别是现在的家具表面，很多用户在选材时不再使用单一色调的板材，而是选用含有纹理的板材，而这些纹理很容易被误判为瑕疵产品，影响家具产品的质量控制。


技术实现要素：

4.为解决上述问题，本发明的目的是提供一种家具板材瑕疵检测系统及方法，能够利用机器视觉准确检测出出现问题的家具板材瑕疵，具有极高的检测精度。
5.本技术提出一种家具板材瑕疵检测系统，所述系统包括：
6.家具表面信息获取模块，利用摄像装置获得多个角度的家具视频或图像；
7.图像处理模块，对获取的视频或图像进行加工处理，得到处理后的视频帧或图像；
8.检测识别模块，将处理后的视频帧或图像输入经过训练的检测识别模型，得到瑕疵类型。
9.可选的，所述摄像装置为一个或多个，所述摄像装置的视角覆盖范围至少包括家具的2个面或3个面，所述2个面指正面以及一侧面，所述3个面指正面以及两个侧面。
10.可选的，所述加工处理包括以下步骤：步骤1.灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；
11.步骤2.分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像；
12.步骤3.增强处理。
13.可选的，所述加工处理包括增强处理，通过调整gamma曲线获得增强后的视频帧或图像。
14.可选的，所述加工处理包括：步骤1)，利用增强因子对原始的视频帧或图像进行增强；步骤2)，灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；步骤3)，分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像。
15.相应的，本技术还提出了一种家具板材瑕疵检测方法，所述方法包括：
16.利用摄像装置获得多个角度的家具视频或图像；
17.对获取的视频或图像进行加工处理，得到处理后的视频帧或图像；
18.将处理后的视频帧或图像输入经过训练的检测识别模型，得到瑕疵类型。
19.可选的，所述摄像装置为一个或多个，所述摄像装置的视角覆盖范围至少包括家具的2个面或3个面，所述2个面指正面以及一侧面，所述3个面指正面以及两个侧面。
20.可选的，所述加工处理包括以下步骤：步骤1.灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；
21.步骤2.分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像；
22.步骤3.增强处理。
23.可选的，所述加工处理包括增强处理，通过调整gamma曲线获得增强后的视频帧或图像。
24.可选的，所述加工处理包括：步骤1)，利用增强因子对原始的视频帧或图像进行增强；步骤2)，灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；步骤3)，分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像。
附图说明
25.图1为本发明的系统结构逻辑图。
具体实施方式
26.为解决上述问题，本发明的目的是提供一种家具板材瑕疵检测系统及方法，能够利用机器视觉准确检测出出现问题的家具板材瑕疵，具有极高的检测精度。
27.本技术提出一种家具板材瑕疵检测系统，所述系统包括：
28.家具表面信息获取模块，利用摄像装置获得多个角度的家具视频或图像；
29.图像处理模块，对获取的视频或图像进行加工处理，得到处理后的视频帧或图像；
30.检测识别模块，将处理后的视频帧或图像输入经过训练的检测识别模型，得到瑕疵类型。
31.可选的，所述摄像装置为一个或多个，所述摄像装置的视角覆盖范围至少包括家具的2个面或3个面，所述2个面指正面以及一侧面，所述3个面指正面以及两个侧面。
32.可选的，所述加工处理包括以下步骤：步骤1.灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；
33.步骤2.分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像；
34.步骤3.增强处理。
35.可选的，所述加工处理包括增强处理，通过调整gamma曲线获得增强后的视频帧或
图像。
36.可选的，所述加工处理包括：步骤1)，利用增强因子对原始的视频帧或图像进行增强；步骤2)，灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；步骤3)，分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像。
37.所述利用增强因子对原始的视频帧或图像进行增强，具体为：将原始的视频帧或图像转换到hls空间，先对l分量进行增强,得到le(x,y)；再对h、s分量进行增强；将增强后的hls色彩空间图像转到rgb色彩空间图像，获得增强图像l
rgb
；
38.所述le(x,y)计算方法如下：
[0039][0040]
所述对h、s分量增强的方法如下：
[0041][0042][0043]
其中，d表示以像素点(x,y)为中心的窗口内像素点的集合，窗口大小选择或3*3；l(x,y)、h(x,y)、s(x,y)分别是图像中l、h、s分量，le(x,y)、he(x，y)、se(x,y)分别为处理后的图像分量；l
max
表示d窗口集合内的最大亮度值；l
min
表示d窗口集合内的最小亮度值；lv表示当前帧平均亮度值；
[0044]
所述增强因子计算方法如下：
[0045][0046]imax
与i
min
分别表示当前帧最大亮度值、最小亮度值；所述根据所述增强图像l
rgb
和所述增强因子，获得增强图像l
final
的计算方法如下；
[0047]
l
final
(x,y)＝μl
rgb
(x,y)
[0048]
其中，l
final
(x,y)为输出图像中像素点(x,y)的rgb值。
[0049]
可选的，所述检测识别模型具体为深度神经网络模型，依次包括输入层、第一卷积层、第一池化层，第二卷积层、第二池化、全卷积层以及最后的输出层；所述输入层用于输入家具样本图像以及待识别的家具图像；卷积层用于进行特征提取；第一卷积层的卷积核为5；第二卷积层的卷积核为3；经过2层卷积以及两次池化操作，将获取的特征向量输入到全连接层，得到最终的输出向量，最后利用分类器例如softmax进行瑕疵分类。
[0050]
可选的，深度神经网络模型池化层采用激励函数如下：
[0051]
[0052]
n表示家具样本数据集的大小，i取值1～n；q
yi
表示家具样本xi在其标签yi处的权重，m
yi
表示家具样本xi在其标签yi处的偏差，mj表示输出节点j处的偏差；θ
j,i
为家具x
i样
样本与其对应分类标签yi的向量夹角。
[0053]
损失函数为：
[0054][0055]
n表示家具样本数据集的大小；w
yi
表示家具特征向量xi在其标签yi处的权重。
[0056]
相应的，本技术还提出了一种家具板材瑕疵检测方法，所述方法包括：
[0057]
利用摄像装置获得多个角度的家具视频或图像；
[0058]
对获取的视频或图像进行加工处理，得到处理后的视频帧或图像；
[0059]
将处理后的视频帧或图像输入经过训练的检测识别模型，得到瑕疵类型。
[0060]
可选的，所述摄像装置为一个或多个，所述摄像装置的视角覆盖范围至少包括家具的2个面或3个面，所述2个面指正面以及一侧面，所述3个面指正面以及两个侧面。
[0061]
可选的，所述加工处理包括以下步骤：步骤1.灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；
[0062]
步骤2.分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像；
[0063]
步骤3.增强处理。
[0064]
可选的，所述加工处理包括增强处理，通过调整gamma曲线获得增强后的视频帧或图像。
[0065]
可选的，所述加工处理包括：步骤1)，利用增强因子对原始的视频帧或图像进行增强；步骤2)，灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；步骤3)，分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像。
[0066]
所述利用增强因子对原始的视频帧或图像进行增强，具体为：将原始的视频帧或图像转换到hls空间，先对l分量进行增强,得到le(x,y)；再对h、s分量进行增强；将增强后的hls色彩空间图像转到rgb色彩空间图像，获得增强图像l
rgb
；
[0067]
所述le(x,y)计算方法如下：
[0068][0069]
所述对h、s分量增强的方法如下：
[0070][0071]
[0072]
其中，d表示以像素点(x,y)为中心的窗口内像素点的集合，窗口大小选择或3*3；l(x,y)、h(x,y)、s(x,y)分别是图像中l、h、s分量，le(x,y)、he(x，y)、se(x,y)分别为处理后的图像分量；l
max
表示d窗口集合内的最大亮度值；l
min
表示d窗口集合内的最小亮度值；lv表示当前帧平均亮度值；
[0073]
所述增强因子计算方法如下：
[0074][0075]imax
与i
min
分别表示当前帧最大亮度值、最小亮度值；所述根据所述增强图像l
rgb
和所述增强因子，获得增强图像l
final
的计算方法如下；
[0076]
l
final
(x,y)＝μl
rgb
(x,y)
[0077]
其中，l
final
(x,y)为输出图像中像素点(x,y)的rgb值。
[0078]
可选的，所述加工处理包括：步骤1)，利用增强因子对原始的视频帧或图像进行增强；步骤2)，灰度化处理，选取满足需求的多幅视频帧或图像进行灰度化处理，在后续神经网络模型处理时尽量减少因颜色差异带来的误差影响；步骤3)，分割处理，对灰度化处理后的视频帧或图像进行分割，获取仅包含家具的视频帧或图像。
[0079]
可选的，所述检测识别模型具体为深度神经网络模型，依次包括输入层、第一卷积层、第一池化层，第二卷积层、第二池化、全卷积层以及最后的输出层；所述输入层用于输入家具样本图像以及待识别的家具图像；卷积层用于进行特征提取；第一卷积层的卷积核为5；第二卷积层的卷积核为3；经过2层卷积以及两次池化操作，将获取的特征向量输入到全连接层，得到最终的输出向量，最后利用分类器例如softmax进行瑕疵分类。
[0080]
可选的，深度神经网络模型池化层采用激励函数如下：
[0081][0082]
n表示家具样本数据集的大小，i取值1～n；q
yi
表示家具样本xi在其标签yi处的权重，m
yi
表示家具样本xi在其标签yi处的偏差，mj表示输出节点j处的偏差；θ
j,i
为家具x
i样
样本与其对应分类标签yi的向量夹角。
[0083]
损失函数为：
[0084][0085]
n表示家具样本数据集的大小；w
yi
表示家具特征向量xi在其标签yi处的权重。
[0086]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
[0087]
上述模块或方法步骤在不发生冲突的前提下，均可以进行自行组合，都属于本技术实施例的具体公开方式，限于篇幅，不再一一展开，各种组合方式均属于本发明的公开范围。
[0088]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无
线、电线、光缆、rf等等，或者上述的任意合适的组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0089]
一种包含上述各实施例的计算机可执行指令的存储介质，所述存储介质上存储有能实现上述方法的程序指令。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0090]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。