一种双成像式透明构件缺陷检测装置的制作方法

本实用新型涉及3C行业透明构件产品缺陷检测装置及方法，具体地说是一种基于超声和光学双成像的3C透明构件缺陷智能检测装置。

背景技术：

我国3C行业中，透明构件在应用不断增长，特别是随着5G技术的快速推进，对玻璃材质的构件在终端通信产品中得到广泛的应用。但是，由于装配质量的不断提升，对于3C透明构件的缺陷检测也越来越严格。目前，大部分还停留在依靠人工目视检测识别的阶段，人工方法劳动强度非常大，而且由于需要借助辅助光源进行检测，对工人的视力有伤害较大。另外，随着3C透明构件检测标准的不断提高，单一依靠人工存在漏检的风险。

目前，市面上的透明购件缺陷检测大部分以人工为主，少量的有自动化的检测设备，以单一光学检测手段为主，先摄像头采集图像为原始数据，再结合图像识别算法进行处理，并分析并判断是否存在缺陷。但是，由于3C透明构件尺寸小、缺陷不明显，单纯依靠常规光学原理进行检测，其识别准确率有待提升。因而，迫切需要一种的新的检测方法，通过融合多种检测手段，使得细微缺陷得到暴露，从而更容易辨识产品存在的微小质量缺陷，为企业提升产品合格率，降低制造成本。

技术实现要素：

为解决上述技术问题，本实用新型提供了一种一种双成像式透明构件缺陷检测装置，提升了检测精度。

为了解决上述技术问题，本实用新型采取以下技术方案：

一种双成像式透明构件缺陷检测装置，所述装置包括超声检测模块、光学检测模块、运动控制模块、数据融合模块、多通道深度学习模块和辅助机械手，超声检测模块、光学检测模块和辅助机械手通过以太网与运动控制模块通讯连接，数据融合模块、多通道深度学习模块和运动控制模块通过以太网两两通讯连接。

所述运动控制模块还通过总线与显示报警模块通讯连接。

所述超声检测模块包括可变频率超声发射器、聚焦超声探头、C扫工作台、超声检测微控制器和超声检测工作台，在超声检测工作台侧边设有X向电机和X向丝杆，X向丝杆与X向电机连接，X向丝杆上通过连接螺套装接有Y向板，该Y向板上设有Y向电机和Y向丝杆，Y向丝杆与Y向电机连接，C扫工作台通过螺母安装在Y向丝杆上，可变频率超声发射器和聚焦超声探头通过支撑杆与C扫工作台连接，X向丝杆末端设有X向定位回零传感器，Y向丝杆末端设有Y向定位回零传感器，X向电机、Y向电机、可变频率超声发射器、聚焦超声探头分别与超声检测微控制器通讯连接。

所述超声检测模块还包括吸音边框，该吸音边框设在超声检测工作台上用于围合住待检测3C透明构件。

所述光学检测模块包括光学检测工作台、LED线光源、可调角度反射凹镜、夹具、背景板、检测摄像机和光学检测微控制器，LED线光源、可调角度反射凹镜、夹具和背景板设置在光学检测工作台上，可调角度反射凹镜与步进电机连接，待检测3C透明构件放置在夹具上，光学检测工作台上设有立柱，检测摄像机通过支撑杆与立柱连接使得检测摄像机位于待检测3C透明构件上方，检测摄像机、LED线光源、步进电机分别与光学检测微控制器通讯连接。

所述LED线光源和可调角度反射凹镜分别设有两组，并且分别设在待检测3C透明构件两端的区域进行独立摄像获取照片。

本实用新型具有以下有益效果：

1)基于多源信息融合理论，将多个通道的超声图像和光学图像进行融合检测，克服单一检测技术的缺陷；

2)采用超声发送器配置三种规格：2.25MHz、4.5MHz、9MHZ，分别生成三种超声导波频率下的超声图像，覆盖不同的种类缺陷；

3)采用可光源强度和照射角度可调整的LED线光源，通过多次拍照成像，减少待检测3C透明构件入射口处的光学干扰；

4)采用多通道的卷积神经网络，经过样本离线训练后，可在线自动对超声图像和光学图像进行融合，自动提取缺陷样本的特征，替代人工，完成3C透明构件在线、精密的检测。

附图说明

附图1为本实用新型装置连接原理示意图；

附图2为本实用新型装置的机械原理示意图；

附图3为本实用新型中超声检测模块的连接原理示意图；

附图4为本实用新型中超声检测模块的机械原理示意图；

附图5为本实用新型中光学检测模块的连接原理示意图；

附图6为本实用新型中光学检测模块的机械原理示意图；

附图7为本实用新型中吸音边框的结构示意图；

附图8为本实用新型超声成像原理示意图；

附图9为本实用新型多通道深度学习模块采用的网络结构示意图。

具体实施方式

为能进一步了解本实用新型的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本实用新型作进一步详细描述。

如附图1和2所示，本实用新型揭示了一种双成像式透明构件缺陷检测装置，所述装置包括超声检测模块5、光学检测模块2、运动控制模块、数据融合模块、多通道深度学习模块和辅助机械手4，超声检测模块、光学检测模块和辅助机械手通过以太网与运动控制模块通讯连接，数据融合模块、多通道深度学习模块和运动控制模块通过以太网两两通讯连接，运动控制模块还通过总线与显示报警模块通讯连接。超声成像和光学成像后通过运动控制模块转发到数据融合模块进行处理后，再次由数据融合模块转发到多通道深度学习模块进行辨识，识别结果发送到运动控制模块；运动控制模块通过CAN总线与显示报警模块相连接，将最终检测数据发送显示报警模块中；辅助机械手实现上料、转运及其下料的工作，实现自动化的搬运待检测3C透明构件。

辅助机械手4安装在机械手底座13上，布置在入口11、超声检测模块5、光学检测模块2和出口12中间，待检测3C透明构件10由人工或者自动运输带(本领域常规技术，图中未标示)送至到入口11出后，由辅助机械手4从入口11搬运到超声检测模块5里的超声检测工作台3上，待超声检测模块5完成检测后，搬运到光学检测模块2里的光学检测工作台1上，等光学检测模块2完成检测后，搬运到出口12出后，由人工或者自动运输带(本领域常规技术，图中未标示)推送到下一个流程；进一步，由于超声模块检测单元和光学检测单元工作时间比辅助机械手时间要长，因此，通过节拍控制，可实现超声检测模块和光学检测模块的并行工作。

如附图3和4所示，所述超声检测模块包括可变频率超声发射器、聚焦超声探头7、C扫工作台9、超声检测微控制器和超声检测工作台5，在超声检测工作台5侧边设有X向电机14和X向丝杆15，X向丝杆与X向电机连接，X向丝杆上通过连接螺套装接有Y向板16，该Y向板16上设有Y向电机17和Y向丝杆18，Y向丝杆与Y向电机连接，C扫工作台通过螺母安装在Y向丝杆上，可变频率超声发射器和聚焦超声探头通过支撑杆与C扫工作台连接，X向丝杆15末端设有X向定位回零传感器19，Y向丝杆18末端设有Y向定位回零传感器20，X向电机、Y向电机、可变频率超声发射器、聚焦超声探头分别与超声检测微控制器通讯连接。超声检测模块还包括吸音边框8，该吸音边框设在超声检测工作台上用于围合住待检测3C透明构件。如附图7所示，该吸音边框8具有相应的电磁铁A、电磁铁B便于与超声检测微控制器连接，由吸音材料81、柔性吸音材料82交替形成。

超声发射器和聚焦超声探头在C扫工作台的带动下，对待检测3C透明构件进行平面C扫，超声检测微控制器通过CAN总线实现对C扫工作台的运动控制。利用X向电机和Y向电机带动C扫工作台在X-Y方向的行程移动，从而能够在指定的区域进行超声成像。超声检测微控制器通过I/O的隔离放大电路控制电磁铁进行动作，改变吸音边框的声学特性，从而减弱3C透明构件四周边框的超声回波对检测结果的干扰。

X向电机带动X向定位丝杆运动，实现C扫工作台的X方向定位；Y向电机带动Y向丝杆定位部件运动，实现C扫工作台的Y方向定位；利用定位回零传感器，待每片待检测3C透明构件检测完成后，重新回零位校准；C扫工作台上通过支撑杆安装可变频率超声发射器和聚焦超声探头，可变频率超声发射器和聚焦超声探头与待检测3C透明构件成垂直方向设置，与待检测3C透明构件表面接触。涂抹有超声耦合剂的待检测3C透明构件放置在超声检测工作台上，待检测构件四周安装吸音边框，减少噪声干扰。

如附图5和6所示，所述光学检测模块包括光学检测工作台1、LED线光源23、可调角度反射凹镜24、夹具21、背景板22、检测摄像机25和光学检测微控制器，LED线光源、可调角度反射凹镜、夹具和背景板设置在光学检测工作台上，可调角度反射凹镜与步进电机连接，待检测3C透明构件放置在夹具上，光学检测工作台上设有立柱，检测摄像机通过支撑杆与立柱连接使得检测摄像机位于待检测3C透明构件上方，检测摄像机、LED线光源、步进电机分别与光学检测微控制器通讯连接。LED线光源和可调角度反射凹镜分别设有两组，并且分别设在待检测3C透明构件两端的区域进行独立摄像获取照片。光学检测微控制器通过CAN总线实现对LED线光源的亮度及其可调角度反射凹镜的角度进行控制，并控制检测摄像机的拍照；进一步，LED线光源和可调角度反射凹镜配置两套，完成待检测3C透明构件的两端独立照片，实现一次装夹定位，多次拍照。

支撑杆的一端安装在立柱上，高度可调整，立柱通过螺纹连接与光学检测工作台进行刚性连接，检测摄像机安置在支撑杆的另一端上，与待检测3C透明构件垂直方向间隔40～60cm。背景板和夹具通过刚性连接安置在光学检测工作台上，待检测3C透明构件由辅助机械手放置在夹具上，待检测工件到位后，夹具自动夹紧，夹具由光学检测微控制器进行驱动。可调角度反射凹镜放置在待检测3C透明构件的两端，带动各个LED线光源独立运动，从而实现检测光源入射角度的微调。

所述的运动控制模块实现对超声检测模块和光学检测模块的并行控制，下发检测指令，并接受超声图像和光学图像；进一步，按节拍实现超声检测模块和光学检测模块的并行工作，提升检测效率；辅助机械手在运动控制模块的控制下，实现自动化的将待检测3C透明构件搬运到超声检测模块或者光学检测模块里。

所述的数据融合模块由软件实现，载体为独立的数据融合DSP芯片，将超声检测模块的超声图像和光学检测模块的光线图像进行图像的预处理；对三种不同超声导波频率下的超声图像进行布尔运算，并生成新的图像；对不同角度下的可调角度反射凹镜照明光源，合并形成新的光学图像，减少干扰。

所述的多通道深度学习模块采用多通道卷积神经网络，由独立的卷积神经网络DSP芯片实现，能通过10个通道，其中6通道超声、4通道光学，并行输入同一待检测3C透明构件的超声图像和光学图像。

所述的辅助机械手实现上料、转运及其下料的自动化工作。

所述的显示报警模块实现检测结果的显示，对于有缺陷的待检测3C透明构件，能通过声光报警提示操作人员。

通过辅助机械手将待测3C透明构件输送到检测位置，利用超声检测模块和光学检测模块分别对待测3C透明构件进行超声成像和光学成像，将图像数据传送到运动控制模块；

运动控制模块将图像数据转发到数据融和模块进行预处理，再次由数据融合模块转发到多通道深度学习模块进行辨识，将识别结果再发送到运动控制模块，运动控制模块将检测数据发送到显示报警模块中。

所述方法在进行超声成像时，采用C扫描成像方法，通过配置2.25MHz、4.5MHz、9MHZ三种不同超声波频率来生成相应的超声图像，覆盖不同的种类缺陷，对检测的点按超声反射回来的信号强度大小生成255级灰度图像，通过归一化处理，强度最大的灰度为0对应黑色，强度最小的灰度为1对应白色。

所述通过数据融和模块对图像数据进行预处理，具体为：对超声检测模块的2.25MHz、4.5MHz、9MHZ三种不同超声导波频率下的超声图像两两进行布尔异或运算，并生成新的三张图像，共计六张超声检测图像；对光学检测模块检测时，对不同角度下得到的至少两张光学成像图像，通过图像融合方法形成新的单张光学图像，再分别调整3C透明构件两端的当照亮度并进行拍照，共计获取四张光学检测图像。

所述多通道深度学习模块，采用卷积神经网络DSP芯片实现，图像数据传入到该多通道深度学习模块之前，由数据融合模块对成像的六张超声检测图像和四张光学检测图像，分割为128×128尺寸的图像组，超声检测图像和光学检测图像尺寸相同，分割时相同位置的图像归为一组；分割成组后的图像，按批输入多通道深度学习模块中，每批图像为60副单张128×128尺寸的图像，进行两次卷积和池化操作后，再进行两次全连接的神经网络，输出到512维向量里，再通过软回归将512维向量输出为矢量，再将检测结果通过工业以太网总线传输到运动控制模块，最后通过显示报警模块提醒操作人员。

如附图7所示，超声检测微控制器通过I/O的隔离放大电路控制电磁铁A和电磁铁B分别进行动作，从而压缩柔性吸音材料的声学特性；对于2.25MHz、4.5MHz、9MHZ三种不同超声导波，电磁铁A和电磁铁B动作流程按以下规则执行：

(a)对于2.25MHz的超声导波，电磁铁A和电磁铁B处于原始位置，都不压缩柔性吸音材料，2.25MHz的超声导波可通过三层吸音材料和两层柔性吸音材料进行衰减，减少边界反射波的干扰。

(b)对于4.5MHz的超声导波，电磁铁A处于原始位置，不压缩柔性吸音材料，但电磁铁B向右侧运动处于，压缩柔性吸音材料，4.5MHz的超声导波可通过两层吸音材料和一层柔性吸音材料进行衰减，减少边界反射波的干扰。

(c)对于9MHz的超声导波，电磁铁A和电磁铁B都向右侧运动，都压缩柔性吸音材料，9MHz的超声导波可通过一层吸音材料进行衰减，减少边界反射波的干扰。

如附图8所示，进行3C透明构件检测时，超声导波通过耦合剂进入3C透明构件，如待检测的3C透明构件没有缺陷(表面和内部)，导波可一直传播到待检测的3C透明构件的底面。由于待检测的3C透明构件底面光滑且平行于探测面，基于超声反射原理，超声导波被底面反射而返回聚集超声探头，超声导波在待检测的3C透明构件材料中沿传播方向上的波动方程为：

pi(y,t)＝∑pi0e^j(ωc-kx) (1)

式(1)中：Pi0为超声导波幅度；k为超声导波波数，且k＝w/c；ω为角频率；c为超声导波在3C透明构件材料里的传播速度。超声导波在探测面的界面反射波为：

prf(y,t)|y＝0＝∑prf0e^jωt (2)

超声导波从底面反射回来的导波反射波为：

由于3C透明构件的缺陷阻抗与3C透明构件材料阻抗存在差异，超声导波遇到缺陷(在3C透明构件材料内部任意一点yi处)会有反射信号prd(y,t),

由(4)式可知，缺陷反射波比探测面反射波滞后yi/c，比底面反射波超前(yT-yi)/c。若以y＝yi为切面，则可以得到声波在材料中沿传播方向任意一点的入射波。聚集超声探头将返回的超声脉冲转变为电脉冲，经A/D转换后，将每一点所采集到的超声回波的特征量以灰度的形式表现出来，于是便得到扫描图像。

如附图9所示，多通道深度学习模块，采用卷积神经网络DSP芯片实现，在传入处理之前，由数据融合模块(4)对10通道(6通道超声、4通道光学)的检测图像，分割为128×128尺寸的图像组(10层，1通道对应1层)，超声检测图像和光学检测图像尺寸相同，分割时相同位置的图像归为一组；分割成组后的图像，按批(每批60副单张128×128尺寸的图像)输入多通道深度学习模块中。

进一步，对于128×128×10的融合图像，送入卷积网络中的A1卷积层，采用5×5窗口卷积操作后，生成124×124像素的120幅图像，再由模块中的A2池化层进行压缩处理，生成62×62像素的120幅图像，之后，进行第二次卷积操作，送入卷积网络中的A3卷积层，再次采用3×3窗口卷积操作后，生成60×60像素的240幅图像，再由卷积网络中的A4池化层进行压缩处理，生成30×30像素的240幅图像，之后，经过卷积网络的A5全连接层处理，输出4096维度的向量，进一步，经过卷积网络中的A6全连接层处理，输出128维度的向量，最后，再由卷积网络中的A7软回归层输出4维向量，表示待检测3C透明构件属于4类(正常、点状缺陷、划痕缺陷、裂纹缺陷)的概率密度分布，从而辨识待检3C透明构件是否存在缺陷，最终，再将检测结果通过工业以太网总线传输到运动控制模块，最后通过显示报警模块告知操作人员。

更进一步，多通道深度卷积神经网络的离线训练样本库可以增加样本数量。因而，检测的精度可随着样本数量的增加而有所提升；多通道深度卷积神经网络也可由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新。

需要说明的是，以上仅为本实用新型的优选实施例而已，并不用于限制本实用新型，尽管参照实施例对本实用新型进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。