一种用于喷墨打印的多目视觉检测系统及方法与流程

本发明属于喷墨打印视觉检测相关技术领域，更具体地，涉及一种用于喷墨打印的多目视觉检测系统及方法。

背景技术：

喷墨打印技术应用于制造显示屏、柔性传感器等领域，相比于传统的印刷技术，喷墨打印技术属于非接触式印刷，而且对位精度能达到亚微米级，因此是一种高效率、低成本、绿色友好的电子制造技术，具有工艺简单、打印分辨率高、材料浪费少等优点。在喷墨打印过程中，由于墨滴体积及像素坑面积都较小，对整体视觉检测系统的检测精度要求极高，使用喷墨打印技术按需喷印，喷射墨滴形成图案化器件或者均匀致密的封装层，在打印过程中对喷头、基板的定位，墨滴速度、体积的测量及控制以及打印完成后液膜的检测都对喷印最终效果有很大影响，因此需要一套整体的检测方法。

现有技术中已经提出了一些关于喷墨打印过程的视觉检测系统及方法，例如一种检测飞行墨滴的视觉检测装置与方法，被用于检测喷头喷射出的墨滴速度、体积等参数，也提出了一种喷墨打印装置喷嘴的定位方法，针对喷头喷嘴的位置进行精确定位，还提出了一种对喷墨打印的液膜检测的方法，针对打印完成后液膜厚度及缺陷进行检测，但是这些方法都是一个单独的模块，功能单一，适用性较差。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种用于喷墨打印的多目视觉检测系统及方法，其可以对喷墨打印的整个流程所需的各项控制参数进行检测，可以有效弥补现有喷墨打印的检测方法中只能对单一模块进行检测的缺陷，实现了对喷墨打印整体流程的更高精度、更高效率的检测。

为实现上述目的，按照本发明的一个方面，提供了一种用于喷墨打印的多目视觉检测方法，所述多目视觉检测方法主要包括以下步骤：

(1)首先，检测确定喷头安装角度；然后，进行试打印以检测确定飞行墨滴的体积、速度及角度；最后，检测确定喷孔阵列偏角、基板位置及角度、以及墨滴落点偏置距离；

(2)根据所得到的参数进行喷墨打印，待基板打印完成后采用预先定义的缺陷类型对完成打印的基板进行液膜检测。

进一步地，喷头安装角度的检测包括以下步骤：首先，检测喷头模块下方对角处的两个定位标记，以得到定位标记的形心位置坐标(x1,y1)及(x2,y2)；然后，根据两个标记的形心所成直线与水平轴线之间的夹角θj以及两定位标记与喷头中线之间的制造夹角θm来计算喷头的安装角度：

式中，θrotate表示喷头安装的实际偏转角度，其正负号代表顺时针或逆时针旋转。

进一步地，喷孔阵列偏角的检测包括以下步骤：首先，检测多个喷孔圆心pi的坐标(xpi,ypi)，其中i＝1,2,3,...；然后采用最小二乘法对这些点进行直线拟合以得到直线l2：

令：

求得该直线的参数k和b及该直线与水平线之间的角度θh：

其中，n表示所有观测到的喷孔个数，xpi、ypi分别表示第i个喷孔的横坐标和纵坐标，k表示该拟合直线的斜率，b表示该拟合直线的截距，θh表示该直线与水平轴之间所成的夹角。

进一步地，飞行墨滴的体积的检测包括以下步骤：分别对飞行墨滴在两个相机方向上的投影图像进行检测，继而拟合出一个椭圆，然后求出飞行墨滴的高度h以及分别在两个投影面内的最大宽度a、b；接着，将飞行墨滴沿垂直方向离散为n个厚度均为δh的切片，并将各切片的截面拟合为一个椭圆；最后，根据墨滴投影最大宽度a、b和墨滴在相机方向的投影图像所拟合的椭圆来计算各切片面内的椭圆长短轴ai、bi，其中i＝1,2,…,n，则墨滴体积用以下公式来计算：

其中，v表示待测墨滴体积，h表示观测墨滴的高度，s表示墨滴切片的横截面积，ai、bi分别表示第i个截面内的椭圆长轴和短轴，n表示在高度方向对墨滴切片的个数。

进一步地，飞行墨滴的速度及角度的检测包括以下步骤：预定时间间隔内两次曝光，在墨滴观测相机两次曝光的时间间隔δt内，飞行墨滴由p6点运动至p7点，且p7点在两相机投影面内的投影点分别为p7x及p7y，经图像处理来求得该墨滴在时间t内下降的高度为δz，当采图间隔时间δt趋近于0时，求得墨滴的瞬时速度及角度分别为：

其中，vx、vy、vz分别表示墨滴在x、y、z方向的速度分量，θx、θz分别表示墨滴在水平面和垂直平面内的飞行角度。

进一步地，基板位置及角度的检测包括以下步骤：基板的三个边角处分别存在一个十字定位标记，首先，采用下视高倍相机对三个定位标记分别进行检测，经过图像处理计算得到三个十字定位标记的中心位置分别为(xs1,ys1)、(xs2,ys2)、(xs3,ys3)，设其中第一和第三个定位标记处于基板对角线上，则求取基板中心点的位置及偏转角度为：

其中，(xs,ys)表示基板中心点的位置坐标，θs表示基板的偏转角度。

进一步地，墨滴落点偏置距离的检测包括以下步骤：首先通过喷头预设多个墨滴的预计落点位置坐标(xesti,yesti)，其中，i＝1,2,3,4,...，然后在基板的试打印区域进行试打印，待试打印完成后，采用下视高倍相机对实际落点分别进行检测，得到多个实际落点位置坐标(xreai,yreai)，其中，i＝1,2,3,4,...，然后分别求取各墨滴实际落点在x、y方向与预设落点的偏置值，最后取平均，则最终偏置距离通过以下公式计算：

其中，xbias表示x方向的平均偏置距离，ybias表示y方向的平均偏置距离，n表示所有观测到的实际落点数量。

进一步地，液膜检测时，将整个基板划分为多个矩形网格，每个网格内部包含一个像素坑；在图像处理时，每一个网格表示一个roi，在每个roi中对液滴进行边缘提取操作，然后通过液滴边缘位置来判定像素坑的缺陷种类。

按照本发明的另一个方面，提供了一种用于喷墨打印的多目视觉检测系统，所述多目视觉检测系统采用如上所述的用于喷墨打印的多目视觉检测方法进行视觉打印流程及缺陷检测，其包括上视视觉观测模块、下视视觉观测模块、墨滴观测模块及液膜观测模块及喷头控制模块，所述上视视觉检测模块、所述下视视觉检测模块、所述墨滴观测模块及所述液膜观测模块分别直接或间接连接于所述喷头控制模块；

所述下视视觉观测模块用于采集基板定位标记图像，以确定基板的位置及角度，并将检测到的结果反馈给喷头控制模块；所述上视视觉观测模块用于对喷头的定位柱检测以确定喷头位置及角度并将结果反馈至喷头控制模块；所述墨滴观测模块用于对喷头喷出的墨滴采图并进行图像处理，以分析墨滴的速度、体积以及角度并将结果反馈至喷头控制模块；所述下视视觉观测模块还用于采集墨滴在基板上的落点图像，通过图像处理分析墨滴的落点偏置距离，并反馈至喷头控制模块；所述喷头控制模块用于依据接收到的参数控制喷头模块进行喷墨打印；所述液膜观测模块用于对完成打印的基板进行液膜检测。

进一步地，所述上视视觉检测模块包括采用低倍定焦镜头的上视低倍相机及采用高倍定焦镜头的上视高倍相机，所述上视低倍相机设置在所述墨滴观测模块旁并能随同所述墨滴观测模块沿x1轴一起运动，所述上视高倍相机设置在基板平台旁并能沿与x1轴平行的x轴运动，所述上视低倍相机用于检测喷头模块下方的两个定位柱来确定喷头的角度，所述上视高倍相机用于检测喷头下方喷孔阵列的所成角度；所述墨滴观测模块包括采用第一频闪光源的第一墨滴观测相机及采用第二频闪光源的第二墨滴观测相机，所述第一墨滴观测相机及所述第二墨滴观测相机邻近所述上视低倍相机设置，且所述第一墨滴观测相机及所述第二墨滴观测相机在同一个高度设置。

进一步地，所述下视视觉观测模块包括采用低倍定焦镜头的下视低倍相机及采用高倍定焦镜头的下视高倍相机，所述下视低倍相机及所述下视高倍相机均设置在所述喷头模块上，所述下视低倍相机用于辅助所述下视高倍相机进行定位，所述下视高倍相机用于打印前检测基板三个边角的十字定位标记来确定基板的位置及偏转角度，所述下视高倍相机用于试打印时观测落点的偏置距离；所述液膜观测模块包括两个采用相同镜头及三通道光源的高分辨率相机。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的用于喷墨打印的多目视觉检测系统及方法主要具有以下有益效果：

1.该方法包括了多个视觉检测系统的参数计算方法，给出了多种目标的定位及检测方法实现，提高了整个视觉系统的检测精度。

2.本发明的多目视觉检测系统采用多个视觉检测模块对喷墨打印流程进行一个整体的检测，可以做到打印前定位、测量及补偿，打印后即时检测缺陷，集成了整个视觉检测流程，提高了喷墨打印的打印效率。

3.所述多目视觉检测方法的工艺简单，易于实施，有利于推广应用。

附图说明

图1是本发明提供的用于喷墨打印的多目视觉检测系统的使用状态示意图；

图2是本发明涉及的上视相机检测喷头安装角度及喷孔阵列角度的流程示意图；

图3是本发明涉及的墨滴观测测量墨滴体积的示意图；

图4是本发明涉及的墨滴观测相机测量墨滴喷射速度及角度的示意图；

图5是本发明涉及的下视相机检测基板中心点位置及偏转角度的示意图；

图6是本方明涉及的下视相机检测落点偏置距离的示意图；

图7是本发明涉及的液膜观测模块的缺陷分类示意图；

图8是本发明涉及的用于喷墨打印的多目视觉检测闭环反馈控制方法的控制框图；

图9是本发明涉及的用于喷墨打印的多目视觉检测方法的整体流程示意图。

在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：1-上视高倍相机，2-上视低倍相机，3-下视低倍相机，4-下视高倍相机，5-第一墨滴观测相机，6-第二墨滴观测相机，7-第一液膜观测相机，8-第二液膜观测相机，9-基板平台，10-喷头模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图8及图9，本发明提供的用于喷墨打印的多目视觉检测方法主要包括以下步骤：

步骤一，首先，检测确定喷头安装角度；然后，进行试打印以检测确定飞行墨滴的体积、速度及角度；最后，检测确定喷孔阵列偏角、基板位置及角度、以及墨滴落点偏置距离；

具体地，提供一个用于喷墨打印的多目视觉检测系统，所述多目视觉检测系统包括上视视觉观测模块、下视视觉观测模块、墨滴观测模块及液膜观测模块及喷头控制模块，所述上视视觉检测模块、所述下视视觉检测模块、所述墨滴观测模块及所述液膜观测模块分别直接或间接连接于所述喷头控制模块。喷头模块10设置在基板平台9上方，所述基板平台9形成有相互平行的x轴、x1轴、以及相互平行的z轴及z1轴，所述x轴与所述z轴垂直。

请参阅图1，所述上视视觉检测模块包括采用高倍定焦镜头的上视高倍相机1及采用低倍定焦镜头的上视低倍相机2，所述上视低倍相机2设置在所述墨滴观测模块旁并随同所述墨滴观测模块沿x1轴一起运动，所述上视高倍相机1设置在所述基板平台9旁并可沿x轴运动，如此所述上视高倍相机1及所述上视低倍相机2之间无确定位置关系。所述上视低倍相机2用于检测喷头模组下方的两个定位柱来确定喷头模组的角度，所述上视高倍相机1用于检测喷头下方喷孔阵列的所成角度。

所述下视视觉观测模块包括采用低倍定焦镜头的下视低倍相机3及采用高倍定焦镜头的下视高倍相机4，所述下视低倍相机3及所述下视高倍相机4均设置在所述喷头模块10上，且能够随所述喷头模块10一起沿y轴、z轴运动且安装位置需要保证所述下视低倍相机3及所述下视高倍相机4能够同时观测同一平面，其中，所述下视低倍相机3用于辅助所述下视高倍相机4进行定位，所述下视高倍相机4用于打印前检测基板三个边角的十字定位标记来确定基板的位置及偏转角度，所述下视高倍相机用于试打印时观测落点的偏置距离。

所述墨滴观测模块包括采用第一频闪光源的第一墨滴观测相机5及采用第二频闪光源的第二墨滴观测相机6，所述第一墨滴观测相机5及所述第二墨滴观测相机6邻近所述上视低倍相机2设置，且所述第一墨滴观测相机5及所述第二墨滴观测相机6在同一个高度设置，两者保持一定角度。所述第一墨滴观测相机5及所述第二墨滴观测相机6通过光路发射模组所形成的光路来分别采集由喷头喷射出的墨滴在两个角度下的平面投影图像，且两个方向上的镜头至墨滴观测位置的距离保持为相等。

所述液膜观测模块包括两个采用相同镜头及三通道光源的高分辨率相机，即第一液膜观测相机7及第二液膜观测相机8，所述第一液膜观测相机7及所述第二液膜观测相机8布置在同一高度且保持相互平行向下，所述第一液膜观测相机7及所述第二液膜观测相机8用于分别采集喷墨打印后形成的基板像素坑液膜图像。且所述第一液膜相机7及所述第二液膜相机8的镜头至基板观测平面的距离保持为相等。

在其他实施方式中，上视、下视视觉观测模块均分别采用两套视觉单元，其两套视觉单元分别包括一台配备高倍镜头、白光点光源的面阵工业相机和一台配备低倍镜头、白光点光源的面阵工业相机；墨滴观测模块则包括两套视觉单元，该两视觉单元均采用两台相同的配备高倍镜头的面阵工业相机、高强度高频率的频闪光源及光路反射模组；液膜观测模块也包括两套视觉单元，该两视觉单元均采用高分辨率工业相机并搭配rgb三通道光源。

在进行检测之前需要对每组视觉检测模块中的相机进行标定，求取每个相机的图像坐标系、相机坐标系及世界坐标系之间的转化关系、以及相机的内参矩阵及外参矩阵。

对喷头的安装角度进行测量：喷头模块12下方平面的对角处各有一个定位柱11，采用上视低倍相机2对喷头模块12下方两角定位柱11的位置进行检测，以得到两个定位柱11的圆心位置坐标(x1,y1)及(x2,y2)；然后根据两个定位柱圆形所成直线与水平线之间的夹角θj以及喷头两定位住与喷头中线之间的夹角θm来计算喷头的安装角度：

式中，θrotate表示喷头安装的实际偏转角度，其正负号代表顺时针或逆时针旋转。

请参阅图2，对喷孔阵列所成角度进行检测：首先，采用上视高倍相机1检测多个喷孔圆心pi的坐标(xpi,ypi)，其中i＝1,2,3,...,然后采用最小二乘法对这些点进行直线拟合，可以求得直线l2：

令：

求得该直线的参数k和b及该直线与水平线之间的角度θh：

其中，n表示所有观测到的喷孔个数，xpi、ypi表示第i个喷孔的横坐标和纵坐标，k表示该拟合直线的斜率，b表示该拟合直线的截距，θh表示该直线与水平轴之间所成的夹角。

请参阅图3，检测飞行墨滴的体积、速度及角度：当两墨滴观测相机同时采集到墨滴的图像后，分别对飞行墨滴在两个相机方向上的投影图像进行检测，可拟合出一个椭圆，然后求出飞行墨滴的高度h以及分别在两个投影面内的最大宽度a、b，接着将飞行墨滴沿垂直方向离散为n个厚度均为δh的切片，并将各切片的截面拟合为一个椭圆，最后根据墨滴投影最大宽度a、b和墨滴在相机方向的投影图像所拟合的椭圆来计算各切片面内的椭圆长短轴ai、bi，其中i＝1,2,…,n，则墨滴体积可用以下表达式来计算：

其中，v表示待测墨滴体积，h表示观测墨滴的高度，s表示墨滴切片的横截面积，ai、bi分别表示第i个截面内的椭圆长轴和短轴，n表示在高度方向对墨滴切片的个数。

请参阅图4，首先通过控制器来控制墨滴观测相机在一定时间间隔内两次曝光，在墨滴观测相机两次曝光的时间间隔δt内，飞行墨滴由p6点运动至p7点，且p7点在两相机投影面内的投影点分别为p7x及p7y，经图像处理可求得该墨滴在时间t内下降的高度为δz，当采图间隔时间δt趋近于0时，可求得墨滴的瞬时速度及角度：

其中，vx、vy、vz分别表示墨滴在x、y、z方向的速度分量，θx、θz分别表示墨滴在水平面和垂直平面内的飞行角度。

请参阅图5，对基板14的中心点位置15及角度进行检测：基板的三个边角处存在分别存在一个十字定位标记，首先采用下视高倍相机对三个定位标记分别进行检测，经过图像处理计算得到三个十字定位标记的中心位置分别为(xs1,ys1)、(xs2,ys2)、(xs3,ys3)，设其中第一和第三个定位标记处于基板对角线上，则可求取基板中心点的位置及偏转角度：

其中，(xs,ys)表示基板中心点的位置坐标，θs表示基板的偏转角度。

请参阅图6，对基板试打印区域进行试打印，首先通过喷头预设多个墨滴的预计落点位置坐标(xesti,yesti)，其中，i＝1,2,3,4,...，然后在基板的试打印区域进行试打印，待试打印完成后，采用下视高倍相机对实际落点分别进行检测，得到多个实际落点位置坐标(xreai,yreai)，其中，i＝1,2,3,4,...，然后分别求取各墨滴实际落点在x、y方向与预设落点的偏置值，最后取平均，则最终偏置距离通过以下表达式计算：

其中，xbias表示x方向的平均偏置距离，ybias表示y方向的平均偏置距离，n表示所有观测到的实际落点数量。

步骤二，根据所得到的参数进行喷墨打印，待基板打印完成后采用预先定义的缺陷类型对完成打印的基板进行液膜检测。

待所有参数检测完成后即可对基板进行打印，打印完成后采用两台液膜观测相机对打印完成后的基板进行液膜检测，如图7所示，最上方两行表示无缺陷的像素坑，其余部分像素坑均存在缺陷，缺陷类别主要分为①散点19；②像素连接20；③漏喷21；④边缘液滴挥发过快22等四种。

液膜检测具体包括以下子步骤：将整个基板划分为多个矩形网格，每个网格内部包含一个像素坑。在图像处理时，每一个网格表示一个roi，在每个roi中对液滴进行边缘提取操作，然后通过液滴边缘位置来判定像素坑的缺陷种类。至此，整个喷墨打印的视觉观测流程已全部完成。

在一个具体实施例中，所述多目视觉检测方法包括以下步骤：①首先对每组视觉模块中的相机进行标定，求取每个相机的图像坐标系、相机坐标系及世界坐标系之间的转化关系，以及相机的内参矩阵和外参矩阵；②采用上视低倍镜头相机通过对喷头的定位柱检测确定喷头位置及角度并将结果反馈至喷头控制模块；③喷头在试打印区进行试打印，采用墨滴观测相机对喷头喷出的墨滴采图并进行图像处理，分析墨滴的速度、体积以及角度并将结果反馈至喷头控制模块；④采用上视高倍相机对喷孔阵列所成角度进行检测并将结果反馈至喷头控制模块；⑤采用下视相机采集基板定位标记图像，确定基板的位置、角度，并反馈给喷头控制模块；⑥喷头在基板试打印部分进行试打印，完成后采用下视相机采集墨滴在基板上的落点图像，通过图像处理分析墨滴的落点偏置距离，并反馈至喷头控制模块；⑦所述喷头控制模块依据接收到的参数控制喷头模块进行喷墨打印；⑧待基板打印完成后采用液膜观测相机根据预先定义的缺陷类型对完成打印的基板进行缺陷检测。

本发明所提供的用于喷墨打印的多目视觉检测系统及方法，其包括上视视觉观测模块、下视视觉观测模块、墨滴观测模块、液膜观测模块，可以高效实现喷墨打印整体流程中各步骤的视觉观测流程，有利于提高整体流程的检测效率及检测精度，同时本发明的检测方法，可以通过批次反馈优化控制参数，保证喷墨打印的精确性和一致性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。