一种基于深度学习的印刷品瑕疵检测方法及检测设备与流程

本发明涉及印刷品瑕疵检测，具体涉及一种基于深度学习的印刷品瑕疵检测方法及检测设备。

背景技术：

印刷品的瑕疵检测是印刷流程的必须环节。然而，由于印刷品的瑕疵尺寸较小、差别细微，现有的自动化检测设备还存在瑕疵检测错误率高、误报多的问题。

batchnormalization(批次归一化)是一项用于人工智能神经网络训练及推理的技术，可以加速实现过程，增加系统的稳定性。它的核心思想就是将用于训练或推理的数据按照每个批次进行归一化，这样可以防止少数异常数据对整个神经网络产生过度影响。batchnormalization是在2015年由下面这篇文章提出来的：

ioffe,sergey；szegedy,christian(2015)."batchnormalization:acceleratingdeepnetworktrainingbyreducinginternalcovariateshift".arxiv:1502.03167[cs.lg].

resnet残差网络是为了解决深度神经网络(dnn)隐藏层过多时出现网络退化问题而提出来的。它的主要思想是建立跳跃连接，在普通多层神经网络的首尾处再建立一条连接，这样信息流在神经网络的传递中就可以通过主通道传递重要信息，也可以从旁通道传递残差信息，从而保证信息传递的完整性。resnet是在2015年由下面这篇文章提出来的：

he,kaiming；zhang,xiangyu；ren,shaoqing；sun,jian(2015-12-10)."deepresiduallearningforimagerecognition".arxiv:1512.03385.

densenet是在resnet基础上设计的更新更高效的神经网络模型。相比resnet，densenet提出了一个更激进的密集连接机制：互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为额外输入。resnet是每个层与前面某层(一般是2～3层)短路连接在一起，连接方式是通过元素级相加。而在densenet中，每个层都会与前面所有层在channel维度上连接在一起(这里各个层的特征图大小是相同的)，并作为下一层的输入。而且densenet是直接连接来自不同层的特征图，这可以实现特征重用，提升效率，这一特点是densenet与resnet最主要的区别。

为了改善印刷品瑕疵检测的质量，在此设计了一种基于深度学习的印刷品瑕疵检测方法及检测设备，将高清摄像头与深度学习相结合，有效提高瑕疵检测准确率，降低误识别率，达到提升生产效率的目的。

技术实现要素：

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种基于深度学习的印刷品瑕疵检测方法及检测设备，能够有效克服现有技术所存在的瑕疵检测错误率高、瑕疵检测误报多、不能将叠放印刷页进行逐张分离的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于深度学习的印刷品瑕疵检测方法，利用高清摄像头收集原始照片样本，抽取图像特征并将特征区域映射到一维向量，再将多条一维向量按最大概率进行排序，具体包括以下步骤：

s1、将印刷品放置于分页器内，由分页器将印刷品逐张分发到分页工作台上，利用高清摄像头对印刷页进行拍照采样，并借助工业计算机对照片样本进行检测分析；

s2、读取原始照片样本，对原始照片样本进行拆分；

s3、对拆分后的各张照片样本进行归一化处理，对拆分后的各张照片样本进行卷积、残差操作，抽取图像特征；

s4、在图像上按一定间距和大小对特征区域进行矩阵乘运算，并将特征区域映射到一维向量；

s5、对一维向量进行处理，并保持最大值仍然最大；

s6、重复s4和s5，直到特征图像上的所有区域都被覆盖，获得多条一维向量，并将多条一维向量按最大概率从大到小排序；

s7、将多条一维向量按最大概率从大到小排序中，排在首位一维向量的位置代表确认瑕疵种类，排在首位一维向量的区域代表瑕疵区域，排在首位一维向量的数值代表瑕疵概率。

优选地，所述对原始照片样本进行拆分包括：

将4k分辨率的原始照片样本拆分为16张960*540的图片。

优选地，所述对拆分后的各张照片样本进行归一化处理中采用batch_normalization算法。

优选地，采用densenet、resnet、vgg中的一种算法对所述拆分后的各张照片样本进行卷积、残差操作，抽取图像特征。

优选地，所述特征区域映射到长度为1000的一维向量。

优选地，采用softmax算法对所述一维向量进行处理，并保持最大值仍然最大。

优选地，所述将多条一维向量按最大概率从大到小排序前，设定范围在0.4-0.99之间的阈值，当排在首位一维向量的数值大于此阈值时，则确认该结果。

一种基于深度学习的印刷品瑕疵检测设备，包括分页工作台，所述分页工作台上放置有用于将印刷品分页成印刷页并逐张分发到分页工作台上的分页器，所述印刷页上方设有高清摄像头，所述高清摄像头与用于对照片样本进行检测分析的工业计算机相连；

所述工业计算机与上位机相连，所述上位机根据工业计算机判定结果驱动固定安装在分页工作台上的机械臂对印刷页进行分拣；

所述分页器包括壳体，所述壳体底部一侧开设有出页口，所述壳体与出页口相对一侧内壁固定有倾斜挡板，所述出页口顶部固定有弹性压片，所述弹性压片下方设有与待分页材料接触的橡胶滚轮，所述壳体侧壁固定有用于驱动橡胶滚轮的驱动机构，所述壳体底部固定有振动电机；

还包括安装于所述壳体侧壁用于对弹性压片进行调节的调节机构。

优选地，所述调节机构包括固定于壳体侧壁位于出页口上方的安装板，以及与所述安装板倾斜螺纹连接的调节螺栓，且所述调节螺栓端部与弹性压片相抵。

优选地，所述机械臂包括安装座、后臂、中间臂和前臂，所述安装座上固定有用于驱动后臂在水平方向内转动的第一转动驱动机构，所述后臂端部通过第一转轴与中间臂一端转动连接，所述中间臂另一端通过第二转轴与前臂一端转动连接，所述前臂另一端安装有用于抓取印刷页的机械爪。

(三)有益效果

与现有技术相比，本发明所提供的一种基于深度学习的印刷品瑕疵检测方法及检测设备，具有以下有益效果：

1、振动电机以一定频率振动，堆叠印刷页放入壳体中，由于下部设有倾斜挡板，因此在震动作用下，印刷页呈自然倾斜堆积的造型，底部的橡胶滚轮与最下面的一张印刷页接触，且印刷页在重力作用下自然压住橡胶滚轮，驱动机构驱动橡胶滚轮顺时针滚动，带动底部的第一张印刷页向出页口处移动，利用调节螺栓对弹性压片进行调节，能够对除了底部第一张印刷页以外的其他印刷页进行阻拦，从而实现对叠放印刷页进行逐张分离的技术效果；

2、利用分页器将印刷品逐张分发到分页工作台上，利用高清摄像头对印刷页进行拍照采样，并借助工业计算机中的瑕疵自动识别系统对照片样本进行检测分析，通过读取接收到的高分辨图片信息，应用深度学习的方法，对瑕疵区域进行识别，获得瑕疵区域的数据，提取其表征特征参数，分析其瑕疵类型，有效提高瑕疵检测准确率，降低误识别率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明设备结构示意图；

图2为本发明图1中分页器结构示意图；

图3为本发明图1中机械臂结构示意图；

图中：

1、分页工作台；2、分页器；3、印刷页；4、机械臂；5、高清摄像头；6、工业计算机；7、上位机；8、壳体；9、振动电机；10、倾斜挡板；11、出页口；12、橡胶滚轮；13、弹性压片；14、安装板；15、调节螺栓；16、安装座；17、第一转动驱动机构；18、后臂；19、第一转轴；20、中间臂；21、第二转轴；22、前臂；23、机械爪。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于深度学习的印刷品瑕疵检测方法，利用高清摄像头收集原始照片样本，抽取图像特征并将特征区域映射到一维向量，再将多条一维向量按最大概率进行排序，具体包括以下步骤：

s1、将印刷品放置于分页器内，由分页器将印刷品逐张分发到分页工作台上，利用高清摄像头对印刷页进行拍照采样，并借助工业计算机对照片样本进行检测分析；

s2、读取原始照片样本，对原始照片样本进行拆分；

s3、对拆分后的各张照片样本进行归一化处理，对拆分后的各张照片样本进行卷积、残差操作，抽取图像特征；

s4、在图像上按一定间距和大小对特征区域进行矩阵乘运算，并将特征区域映射到一维向量；

s5、对一维向量进行处理，并保持最大值仍然最大；

s6、重复s4和s5，直到特征图像上的所有区域都被覆盖，获得多条一维向量，并将多条一维向量按最大概率从大到小排序；

s7、将多条一维向量按最大概率从大到小排序中，排在首位一维向量的位置代表确认瑕疵种类，排在首位一维向量的区域代表瑕疵区域，排在首位一维向量的数值代表瑕疵概率。

对原始照片样本进行拆分包括：

将4k分辨率的原始照片样本拆分为16张960*540的图片。

对拆分后的各张照片样本进行归一化处理中采用batch_normalization算法。

采用densenet、resnet、vgg中的一种算法对拆分后的各张照片样本进行卷积、残差操作，抽取图像特征。

特征区域映射到长度为1000的一维向量。

采用softmax算法对一维向量进行处理，并保持最大值仍然最大。

将多条一维向量按最大概率从大到小排序前，设定范围在0.4-0.99之间的阈值，当排在首位一维向量的数值大于此阈值时，则确认该结果。

一种基于深度学习的印刷品瑕疵检测设备，如图1至图3所示，包括分页工作台1，分页工作台1上放置有用于将印刷品分页成印刷页3并逐张分发到分页工作台1上的分页器2，印刷页3上方设有高清摄像头5，高清摄像头5与用于对照片样本进行检测分析的工业计算机6相连；

工业计算机6与上位机7相连，上位机7根据工业计算机6判定结果驱动固定安装在分页工作台1上的机械臂4对印刷页3进行分拣；

分页器2包括壳体8，壳体8底部一侧开设有出页口11，壳体8与出页口11相对一侧内壁固定有倾斜挡板10，出页口11顶部固定有弹性压片13，弹性压片13下方设有与待分页材料接触的橡胶滚轮12，壳体8侧壁固定有用于驱动橡胶滚轮12的驱动机构，壳体8底部固定有振动电机9；

还包括安装于壳体8侧壁用于对弹性压片13进行调节的调节机构。

调节机构包括固定于壳体8侧壁位于出页口11上方的安装板14，以及与安装板14倾斜螺纹连接的调节螺栓15，且调节螺栓15端部与弹性压片13相抵。

机械臂4包括安装座16、后臂18、中间臂20和前臂22，安装座16上固定有用于驱动后臂18在水平方向内转动的第一转动驱动机构17，后臂18端部通过第一转轴19与中间臂20一端转动连接，中间臂20另一端通过第二转轴21与前臂22一端转动连接，前臂22另一端安装有用于抓取印刷页3的机械爪23。

将印刷品放置于分页器2内，由分页器2将印刷品逐张分发到分页工作台1上。

振动电机2以一定频率振动，堆叠印刷页放入壳体8中，由于下部设有倾斜挡板10，因此在震动作用下，印刷页呈自然倾斜堆积的造型。

底部的橡胶滚轮12与最下面的一张印刷页接触，且印刷页在重力作用下自然压住橡胶滚轮12，驱动机构驱动橡胶滚轮12顺时针滚动，带动底部的第一张印刷页向出页口11处移动。

利用调节螺栓15对弹性压片13进行调节，能够对除了底部第一张印刷页以外的其他印刷页进行阻拦，从而实现对叠放印刷页进行逐张分离的技术效果。其中，弹性压片13采用普通铝薄条或者塑料薄片制成。

本申请技术方案中，倾斜挡板10一侧与壳体8内壁固定，倾斜挡板10另一侧延伸至橡胶滚轮12处，倾斜挡板10上表面的延长面与橡胶滚轮12相切。这样设置便于最下面的一张印刷页能够在橡胶滚轮12滚动的情况下，顺利向出页口11处移动。

驱动机构为伺服电机，且伺服电机为抱闸式伺服电机，抱闸式伺服电机在停机时自动锁定驱动轴，防止停机时印刷页沿橡胶滚轮12滑落。

利用高清摄像头5对印刷页3进行拍照采样，并借助工业计算机6对照片样本进行检测分析；读取原始照片样本，对原始照片样本进行拆分；对拆分后的各张照片样本进行归一化处理，对拆分后的各张照片样本进行卷积、残差操作，抽取图像特征。

其中，对原始照片样本进行拆分包括：将4k分辨率(3840*2160)的原始照片样本拆分为16张960*540的图片。

采用batch_normalization算法对拆分后的各张照片样本进行归一化处理，采用densenet、resnet、vgg中的一种算法对拆分后的各张照片样本进行卷积、残差操作，抽取图像特征。

在图像上按一定间距和大小对特征区域进行矩阵乘运算，并将特征区域映射到一维向量；对一维向量进行处理，并保持最大值仍然最大；重复上述两步，直到特征图像上的所有区域都被覆盖，获得多条一维向量，并将多条一维向量按最大概率从大到小排序。

将多条一维向量按最大概率从大到小排序中，排在首位一维向量的位置代表确认瑕疵种类，排在首位一维向量的区域代表瑕疵区域，排在首位一维向量的数值代表瑕疵概率。将多条一维向量按最大概率从大到小排序前，设定范围在0.4-0.99之间的阈值，当排在首位一维向量的数值大于此阈值时，则确认该结果。

其中，采用softmax算法对一维向量进行处理，并保持最大值仍然最大，最大值的位置代表备选瑕疵种类，最大值的数值代表该备选瑕疵的概率。

分页器2将印刷品分页成印刷页3，并逐张分发到分页工作台1上，高清摄像头5对印刷页3进行拍照采样，并借助工业计算机6对照片样本进行检测分析。工业计算机6将对该印刷页3的瑕疵检测判断结果发送给上位机7，由上位机7根据瑕疵检测判断结果驱动机械臂4将该印刷页3移动至良品或次品存放区域。

此外，在分页工作台1上安装有从上向下照射的光源1，以及从下向上照射的光源2，如图1所示，用于为高清摄像头5的拍摄提供光源。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。