一种适用于喷墨打印的飞行墨滴检测装置及方法与流程

本发明属于喷墨打印视觉检测技术领域，更具体地，涉及一种适用于喷墨打印的飞行墨滴检测装置及方法。

背景技术：

喷墨打印技术正应用于制造显示屏、柔性传感器等领域，相比于传统的蒸镀等技术，具有工艺简单、打印分辨率高、材料浪费少等优点。常见的喷墨打印技术包括压电喷印技术和电流体喷印技术，压电喷印技术是通过压电陶瓷在电压的作用下变形，将墨水从墨腔挤出，一般可得到皮升级的类球形墨滴；电流体喷印技术通过高压电场将墨水拉出，体积更小可达皮升甚至飞升级别，且形状不规则呈射流状态。使用喷墨打印技术按需喷印，喷射墨滴形成图案化器件或均匀致密的封装层，而墨滴的体积、速度等参数对喷印效果有很大影响，需要重点进行检测。

现有技术中已经提出了一些关于喷射状态的检测方案。例如，一种通过检测压电喷头喷射时的自感电压从而判断喷射状态的方法，被用于阵列化压电喷嘴的实时检测，但它只能粗略判断是否喷射而无法定量测量。也提出了一种收集大量墨滴进行称重的测量方法，但只能在喷射完成后计算墨滴平均体积，无法实时测量。此外，一部分文献中公开了采用频闪拍照的方法观测压电喷印中的飞行墨滴，然而对其进行分析可知，它们通常只在一个方向进行观测，得到墨滴在一个平面内投影的面积、速度和轨迹。特别是对于电流体喷印的观测，目前只有对泰勒锥形态的观测，几乎没有关于飞行墨滴观测的研究。相应地，考虑到墨滴形态不规则的情况，如何设计一种新的观测方案，实现从多个方向对飞行墨滴多个参数的在线精确测量，正构成为本领域亟待解决的关键技术需求。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种适用于喷墨打印的飞行墨滴检测装置及方法，其中通过设计多方位观测的视觉系统，并对不同方位的相机光源进行同步控制，相应与现有技术相比，可有效弥补现有压电喷印观测方法只能观测一个投影面的缺陷，以及电流体喷印飞行墨滴观测的空缺，实现对喷墨打印飞行墨滴参数的更高精度检测，同时还适用于阵列化飞行墨滴的快速观测应用场合。

按照本发明的一个方面，提供了一种适用于喷墨打印的飞行墨滴检测装置，其特征在于，它包括视觉模块、控制模块和机械辅助模块，其中：

所述视觉模块包括采用两套均采用频闪光源的相机，也即采用第一频闪光源的第一相机和采用第二频闪光源的第二相机，其中该第一相机和该第二相机被布置在同一高度上且相互保持垂直，并用于通过其配备的镜头分别采集由喷嘴喷射出的飞行墨滴在两个相互垂直投影面内的图像，并且两个方向上的所述镜头到观测位置的距离保持为相等；

所述控制模块包括主控制器、第一光源控制器和第二光源控制器，其中该主控制器用于在喷嘴喷射时对两个所述相机的曝光信号进行控制；该第一、第二光源控制器对应于所述第一、第二相机配套使用，并基于所述主控制器的指令，分别控制对应的所述第一、第二频闪光源的闪光信号，由此执行间歇式点亮；

所述机械辅助模块包括机架、墨液收集单元和微调机构，其中该机架具有两个相互垂直的悬臂，并分别在其上安装一套所述采用频闪光源的相机；该墨液收集单元布置在所述相机的下方，并用于收集从喷嘴喷射的墨液；该微调机构对应于所述第一、第二相机而设置，并分别基于所述视觉模块的实时检测结果反馈，对所述相机及镜头的实际位置进行调节。

作为进一步优选地，对于第一相机或第二相机而言，它的曝光信号被设定为滞后于喷嘴的喷射信号，并且滞后时间独立可调；相应地，对于第一频闪光源或第二频闪光源而言，它的闪光信号被设定为包含于所述曝光信号，也即其脉冲宽度小于所述曝光信号，且其滞后时间同样独立可调。

作为进一步优选地，优选采用以下方式执行对飞行墨滴的体积的测量过程：首先通过所述主控制器实现两套所述相机的同时曝光采图，并以一定的阈值对墨滴在两个互相垂直方向上的投影图像进行边缘检测，计算墨滴高度h及两个方向的最大宽度a、b；接着将墨滴离散成厚度均为△h的n个切片层沿高度方向叠加，并将各切片层横截面拟合为椭圆，在一个方向的投影图像中计算各切片层宽度即椭圆长轴，在另一方向的投影图像中计算各切片层宽度即椭圆短轴；继续引入一个异于前述阈值的新阈值对两个方向的投影图像进行边缘检测，相应基于以下表达式来计算墨滴的实际体积v：

其中，λ表示加权系数且0≤λ≤1，可由实验测得；ai、bi分别表示用第一阈值进行边缘检测，编号为i的切片层横截面上椭圆的长轴和短轴，并且i＝1,2,…,n；a′j、bj′分别表示用第二阈值进行边缘检测，编号为j的切片层横截面上椭圆的长轴和短轴，并且j＝1,2,…,n′。

作为进一步优选地，优选采用以下方式对飞行墨滴的瞬时速度进行测量：首先所述主控制器控制两套所述相机以一定时间差t6-t5曝光采图，分别计算每个时刻的飞行墨滴参数，然后根据两个时刻的墨滴图像高度差，相应计算出飞行墨滴在竖直方向上的瞬时速度。

作为进一步优选地，优选采用以下方式执行高频喷射场合下的检测过程：首先所述主控制器控制两套所述相机异步采图，并使得等效采图周期te＝t6-t5<t，t为所述第一或第二相机自身的采图周期，故一个控制信号周期内获得两个时刻的图像，相应执行高频喷射场合下的检测。

作为进一步优选地，优选采用以下方式对飞行墨滴在三维空间的位置进行测量：首先所述主控制器发出指令，使得两套所述相机以初始滞后时间t同时采图，经图像处理，在两幅图像中分别得到位置(x1,z1)和(y1,z1)；然后通过所述主控制器修改所述视觉系统的触发信号相对于喷射信号的滞后时间，下一个采图周期中使得两套所述相机以滞后时间t′同时采图，经图像处理，在两幅图像中分别得到位置(x2,z2)和(y2,z2)，至此得到墨滴在以上两个时刻的空间位置。

作为进一步优选地，优选进一步采用以下表达式对飞行墨滴在三维空间的喷射角度(α，β)、以及墨滴空间速度(vx,vy,vz)进行测量：

其中，将t时刻飞行墨滴在三维空间的位置定义为p1(x1,y1,z1)，t′时刻飞行墨滴在所述两个相互垂直投影面内的位置定义为p2(x1,y2,z2)和p3(x2,y1,z2)，将和在空间坐标系中进行矢量合成得p4(x2,y2,z2)即t′时刻墨滴在三维空间的位置；此外，水平纵向方向被定义为x轴方向，水平横向方向被定义为y轴方向，而竖直向上方向被定义为z轴方向。作为进一步优选地，通过取多个不同的滞后时间，相应得到墨滴的多个位置并可绘制其轨迹；由于计算墨滴位置时墨滴在不同时刻可能形态会发生变化，故取图像重心表示整个墨滴的位置；此外，优选采用以下表达式对飞行墨滴的重点坐标(ic,jc)进行计算：

其中，表示所述相机采集的图像的零阶矩；分别表示所述相机采集的图像的一阶矩。

作为进一步优选地，优选采用以下方式估算飞行墨滴在基板上的降落位置：首先将所述主控制器控制采图相对于喷射的滞后时间设定为tp，设此滞后时间对应的墨滴位置为p，墨滴在此观测位置的速度为(vx,vy,vz)，重力和电场力作用下的加速度为a，此外设喷射高度为h，全程下落时间为th，同时设基板的运动速度为(ux,uy)，在下落时间段内喷孔位置a在基板上的投影点b运动至b1处，墨滴落点位置c相对于b1的位置向量为lx和ly，则采用以下表达式对飞行墨滴在基板上的降落位置(lx,ly)进行估算：

按照本发明的另一方面，还提供给了相应的飞行墨滴检测方法，其特征在于，该方法包括下列步骤：①对所述相机去畸变标定；②使两套相机相同采图标定，包括图像大小、亮度标定以高度位置标定；③所述主控制器控制喷嘴、所述相机及频闪光源工作，进行采图，并且包括选择以下任意一种工作模式进行检测：两套相机单次同时采图，用于对墨滴空间尺寸、体积、位置等进行检测，两套相机多次同时采图，用于对墨滴喷射角度、速度、轨迹等进行检测；两套相机分时采图，用于对墨滴瞬时速度、高频观测等进行检测；④图像处理；⑤计算出下列多个参数中的一种或多个：包括飞行墨滴尺寸、速度、体积、喷射角度、位置、轨迹、瞬时速度和高频喷射参数；⑥输入基板运动速度，并估算墨滴降落位置；⑦切换至下一喷孔位置，直至完成阵列化飞行墨滴观测。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1、本发明设计的多方位观测系统，采用两台互相垂直的相机从两个方向对飞行墨滴进行观测，可获得墨滴的空间信息，相比于常规的单方位观测方案，弥补了只能获得墨滴在一个投影面内信息的局限性，观测结果更真实可信；

2、本发明提出的喷墨打印飞行墨滴检测方案，在现有压电喷印飞行墨滴观测技术的基础上进行改进，通过设计视觉系统结构、采图信号时序控制、图像处理与参数计算方法等，可适用于电流体喷印飞行墨滴的观测，一定程度上填补了此领域的空缺，实现非规则墨滴尺寸、速度、体积、喷射角度、位置、轨迹等多参数的测量，并预测落点位置，且此检测方法可应用于阵列化飞行墨滴的检测；

3、本发明针对飞行墨滴形状不规则的问题，进一步设计了一种体积分计算方法，传统的将飞行墨滴简化为球或者其他轴对称形状的方法，只利用了墨滴的二维尺寸信息，而本发明提供的方法则利用了墨滴的三维信息，对于形状非规则的飞行墨滴，具有更高的体积计算精度；

4、本发明还对观测系统的采图信号时序控制进行了设计，使得两台相机能同时采图或分时采图，且采图相对于喷射的滞后时间独立可调，从而实现对飞行墨滴多个参数的检测，两台相机分时采图的方法，可以提高视觉系统的采图频率，从而实现高频喷射检测。

附图说明

图1是按照本发明所构建的飞行墨滴检测装置的整体构造示意图；

图2是用于示范性显示本发明的飞行墨滴检测装置的立体结构示意图；

图3是按照本发明的一个优选实施方式，示范性说明本发明的视觉系统控制信号时序图；

图4是按照本发明的另一优选实施方式，示范性说明本发明的飞行墨滴体积计算方法示意图；

图5是按照本发明的另一优选实施方式，示范性说明本发明的高频检测原理示意图；

图6是按照本发明的又一优选实施方式，示范性说明本发明的飞行墨滴喷射角度、速度测量方法示意图；

图7是按照本发明的又一优选实施方式，示范性说明本发明的墨滴落点位置估算方法示意图；

图8是按照本发明优选实施方式的喷墨打印飞行墨滴检测整体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是按照本发明所构建的飞行墨滴检测装置的整体构造示意图。如图1所示，该飞行墨滴检测装置主要包括视觉模块、控制模块和机械辅助模块等组件，下面将对其逐一进行具体解释说明。

作为本发明的关键改进之一，所述视觉模块包括采用两套均采用频闪光源的相机，也即采用第一频闪光源的第一相机和采用第二频闪光源的第二相机，其中该第一相机和该第二相机被布置在同一高度上且相互保持垂直，并用于通过其配备的镜头分别采集由喷嘴喷射出的飞行墨滴在两个相互垂直投影面内的图像，并且两个方向上的所述镜头到观测位置的距离保持为相等。

对于控制模块而言，其包括主控制器、第一光源控制器和第二光源控制器，其中该主控制器用于在喷嘴喷射时对两个所述相机的曝光信号进行控制；该第一、第二光源控制器对应于所述第一、第二相机配套使用，并基于所述主控制器的指令，分别控制对应的所述第一、第二频闪光源的闪光信号，由此执行间歇式点亮。

更具体地，参看图1和图2所示，视觉模块包括两台相机22及镜头21，采用频闪光源20，两台相机22在同一高度，且互相垂直布置，分别采集飞行墨滴在两个互相垂直投影面内的图像；控制模块包括主控制器30，用以对两套视觉硬件的触发信号时序进行控制，以及两个光源控制器31，控制光源20的频闪。

此外，主控制器30与喷嘴10、相机22、光源控制器31相连，喷射时控制相机22触发信号及光源控制器31输入信号相对于喷射信号的滞后时间，光源控制器31与频闪光源20相连，控制光源20间歇式点亮。优选地，相机22譬如可选用高帧率相机，工作在外部触发模式，通过io信号控制采图。镜头21采用高倍变焦镜头，低倍情况下视野大且明亮，便于找到观测区域，高倍时测量精度高。光源20可选择大功率频闪led，也可选择激光光源，光源控制器31控制发送脉冲信号控制光源20的点亮和熄灭，具体地有上升沿点亮、下降沿点亮、高电平点亮等模式。在其他实施方式中，也可将相机22的输出口信号作为光源控制器31的控制信号，闪光相对于曝光的滞后时间通过相机22设置。

对于机械辅助模块而言，它包括机架、墨液收集单元和微调机构，其中该机架具有两个相互垂直的悬臂，并分别在其上安装一套所述采用频闪光源的相机；该墨液收集单元布置在所述相机的下方，并用于收集从喷嘴喷射的墨液；该微调机构对应于所述第一、第二相机而设置，并分别基于所述视觉模块的实时检测结果反馈，对所述相机及镜头的实际位置进行调节。

更具体地，如图2所示，机械辅助模块包括机架40，其悬臂互相垂直，用以安装相机22、镜头21、光源20等视觉系统硬件，墨液收集装置41，用以收集从喷嘴10喷射的墨液，微调机构42，用以调节相机22和镜头21的位置。具体地，相机22、镜头21、光源20高度相同，且高出墨液收集装置41上端面几毫米，两个方向的镜头21到观测位置的距离相等，光源20到观测位置的距离也相等。墨液收集装置41的尺寸应大于喷嘴10喷射范围的两倍，以免墨滴洒出。微调机构42优选地选用手动位移平台，且其行程应满足镜头21的变焦要求。

通过以上技术构思，本发明中通过使用了两套垂直布置的视觉装置，从而在两个投影面对飞行墨滴进行采图，得到其空间尺寸和位置信息。要求两台相机22对于相同的目标采集到的图像相同，需要进行标定。例如，首先可分别对两台相机22进行去畸变标定，在镜头21前工作距离处放置高精度的棋盘标定板或点阵标定板，控制相机22采图，例如借助张正友标定法计算内部参数和外参数，完成图像畸变矫正和世界坐标与像素坐标的转换；然后对一个轴对称标定物进行采图，调节光源20亮度使两相机22图像亮度一致，通过调节微调机构42改变镜头与标定物的距离，使两相机22图像大小一致，完成亮度和大小标定；若两图像存在位置高度差，记录并在后续计算中进行补偿。

按照本发明的一个优选实施方式，对于第一相机或第二相机而言，它的曝光信号被设定为滞后于喷嘴的喷射信号，并且滞后时间独立可调；相应地，对于第一频闪光源或第二频闪光源而言，它的闪光信号被设定为包含于所述曝光信号，也即其脉冲宽度小于所述曝光信号，且其滞后时间同样独立可调。

具体如图3所示，相机22曝光信号s2和s4滞后于喷嘴10喷射信号s1，s2和s4的滞后时间t1和t3独立可调，频率由于硬件限制可低于喷射信号s1，以采样的方式进行采图，光源20闪光信号s3和s5包含于s2和s4，脉冲宽度小于s2和s4，且滞后时间t2和t4可调，从而将相机22的实际曝光时间由t1减少至光源20的点亮时间t2，减少运动拖影现象。在其他实施方式中，也可将光源20闪光信号s3和s5设为与喷射信号s1同频率，延长相机22的曝光时间t1使其一个曝光时间段内包含几次闪光，从而相机20采集到叠加的墨滴图像，可提高图像对比度。

按照本发明的另一优选实施方式，优选采用以下方式执行对飞行墨滴的体积的测量过程：首先通过所述主控制器实现两套所述相机的同时曝光采图，对墨滴在两个互相垂直方向上的投影图像分别进行滤波等预处理，并可通过zernike矩等方法，以一定的阈值对两投影图像进行边缘检测。具体如图4所示，计算墨滴高度h及两个方向的最大宽度a、b，接着将墨滴离散成厚度均为△h的n个切片层沿高度方向叠加，并将各切片层横截面拟合为椭圆，在一个方向的投影图像中计算各切片层宽度即椭圆长轴，在另一方向的投影图像中计算各切片层宽度即椭圆短轴，则墨滴体积：

其中，ai、bi分别表示编号为i的切片层横截面上椭圆的长轴和短轴，并且i＝1,2,…,n。考虑到墨滴图像边缘模糊问题，进行边缘检测时阈值影响边缘的定位，为提高墨滴体积计算准确性，继续引入一个异于前述阈值的新阈值对两个方向的投影图像进行边缘检测，使两不同阈值检测所得两条边缘所夹区域包含墨滴的真实边缘，定义加权系数λ表示墨滴真实边缘靠近所测两边缘的程度，从而对上述墨滴体积计算公式进一步优化，相应基于以下表达式来计算墨滴的实际体积v：

其中，0≤λ≤1，可由实验测得；ai、bi分别表示用第一阈值进行边缘检测，编号为i的切片层横截面上椭圆的长轴和短轴，并且i＝1,2,…,n；a′j、bj′分别表示用第二阈值进行边缘检测，编号为j的切片层横截面上椭圆的长轴和短轴，并且j＝1,2,…,n′。

按照本发明的另一优选实施方式，可采用以下方式对飞行墨滴的瞬时速度进行测量：参见图5，首先所述主控制器控制两套所述相机以一定时间差t6-t5曝光采图，分别计算每个时刻的飞行墨滴参数，然后根据两个时刻的墨滴图像高度差，相应计算出飞行墨滴在竖直方向上的速度，当t6-t5足够小时，可测量墨滴的瞬时下落速度。

作为进一步优选地，优选采用以下方式执行高频喷射场合下的检测过程：首先所述主控制器控制两套所述相机异步采图，并使得等效采图周期te＝t6-t5<t，t为所述第一或第二相机自身的采图周期，故一个控制信号周期内获得两个时刻的图像，相应执行高频喷射场合下的检测。具体如图5所示，s0为作为参考的同步信号，f1和f2为两相机22的输出图像帧，相应的滞后时间分别为t5和t6，主控制器30控制两台相机22及光源控制器31，使两台相机22以一定时间差t6-t5曝光采图，两台相机22异步采图，则等效采图周期te＝t6-t5<t，采图帧率得到提升，两台相机22可将视觉系统采集帧率提高至2倍，扩展至n个相机22则可将采集帧率提高至n倍。

按照本发明的又一优选实施方式，可采用以下方式对飞行墨滴在三维空间的位置进行测量：首先所述主控制器发出指令，使得两套所述相机以初始滞后时间t同时采图，经图像处理，在两幅图像中分别得到位置(x1,z1)和(y1,z1)；然后通过所述主控制器修改所述视觉系统的触发信号相对于喷射信号的滞后时间，下一个采图周期中使得两套所述相机以滞后时间t′同时采图，经图像处理，在两幅图像中分别得到位置(x2,z2)和(y2,z2)，至此得到墨滴在以上两个时刻的空间位置。

按照本发明的又一优选实施方式，还提出了可采用以下表达式对飞行墨滴在三维空间的喷射角度(α，β)、以及墨滴空间速度(vx,vy,vz)进行测量：

如图6所示，将t时刻飞行墨滴在三维空间的位置定义为p1(x1,y1,z1)，t′时刻飞行墨滴在所述两个相互垂直投影面内的位置定义为p2(x1,y2,z2)和p3(x2,y1,z2)，将和在空间坐标系中进行矢量合成得p4(x2,y2,z2)即t′时刻墨滴在三维空间的位置；此外，水平纵向方向被定义为x轴方向，水平横向方向被定义为y轴方向，而竖直向上方向被定义为z轴方向。

此处有一个等效处理，即假设前后几次喷射时墨滴的飞行规律相同，从而将在两次不同喷射过程中测得的位置等效为在同一次喷射中测得；例如，在第一次喷射中，喷射发生t时间后的墨滴位置为p1(x1,y1,z1)，在第二次喷射中，喷射发生t′时间后的墨滴在两个投影面内的位置p2(x1,y2,z2)和p3(x2,y1,z2)，矢量合成位置p4(x2,y2,z2)，将p1和p4等效为同一次喷射中两个时刻的墨滴位置，然后按照以上两个表达式来分别计算墨滴喷射角度、墨滴速度。

此外，通过取多个不同的滞后时间，相应得到墨滴的多个位置并可绘制其轨迹；由于计算墨滴位置时墨滴在不同时刻可能形态会发生变化，故取图像重心表示整个墨滴的位置；此外，优选采用以下表达式对飞行墨滴的重点坐标(ic,jc)进行计算：

其中，表示所述相机采集的图像的零阶矩；分别表示所述相机采集的图像的一阶矩。

按照本发明的又一优选实施方式，还提出了可采用以下方式估算飞行墨滴在基板上的降落位置：首先将所述主控制器控制采图相对于喷射的滞后时间设定为tp，设此滞后时间对应的墨滴位置为p，墨滴在此观测位置的速度为(vx,vy,vz)，重力和电场力作用下的加速度为a，此外设喷射高度为h，全程下落时间为th，同时设基板的运动速度为(ux,uy)，在下落时间段内喷孔位置a在基板上的投影点b运动至b1处，墨滴落点位置c相对于b1的位置向量为lx和ly，则采用以下表达式对飞行墨滴在基板上的降落位置(lx,ly)进行估算：

下面将具体解释说明按照本发明的适用于喷墨打印的飞行墨滴检测方法，该方法包括下列步骤：①对所述相机去畸变标定；②使两套相机相同采图标定，包括图像大小、亮度标定以高度位置标定；③所述主控制器控制喷嘴、所述相机及频闪光源工作，进行采图，并且包括选择以下任意一种工作模式进行检测：两套相机单次同时采图，用于对墨滴空间尺寸、体积、位置等进行检测，两套相机多次同时采图，用于对墨滴喷射角度、速度、轨迹等进行检测；两套相机分时采图，用于对墨滴瞬时速度、高频观测等进行检测；④图像处理；⑤计算出下列多个参数中的一种或多个：包括飞行墨滴尺寸、速度、体积、喷射角度、位置、轨迹、瞬时速度和高频喷射参数；⑥输入基板运动速度，并估算墨滴降落位置；⑦切换至下一喷孔位置，直至完成阵列化飞行墨滴观测。

综上所述，按照本发明的喷墨打印飞行墨滴检测装置及方法，可以实现对非规则飞行墨滴的多方位检测，相比于现有的压电喷印检测中的单方位检测方法，有利于提高检测的准确性，同时本发明提供的检测方法，可以通过一套装置实现对飞行墨滴尺寸、速度、体积、喷射角度、位置、轨迹等多个参数的测量，以及墨滴在运动基板上的落点位置估算，并能实现高频观测和阵列化飞行墨滴观测，功能丰富。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。