一种基于内锥镜面扫描全景成像的微钻视觉检测方法及装置与流程

本发明属于微钻视觉质量检测技术领域，更具体地，涉及一种基于内锥镜面扫描全景成像的微钻视觉检测方法及装置。

背景技术：

微型钻针(简称微钻)主要应用于牙科治疗和印刷电路板加工，微钻的直径一般小于2mm。随着生活水平的提高，人们对口腔健康问题日益关注，微钻的质量直接影响牙科治疗效果。牙科微钻的质量检测技术成为微钻生产行业的难点问题；同时，随着印刷板电路集成度不断增加，加工电路板小孔的微钻直径不断减小，对微钻的质量检测难度不断提高。传统的微钻检测，全凭人眼观察、或者通过光学放大后进行人工检测，不仅检测人员劳动强度大，而且检测的效率低下。人工检测容易很因视觉疲劳而产生误判，因此无法满足日益增长的产业需求。

现有技术中已经提供了一些微钻质量检测方案。例如，cn20091031011公开了一种微钻机器检测系统及其方法。该装置采用两台相机组件以及四工位旋转平台，端刃相机组件检测微钻的端刃，侧刃相机组件通过四工位旋转平台，获取微钻外圆柱面不同角度位置图像，然后通过图像匹配技术得到微钻完整的侧刃图像。此方法采用两台相机组件，以及配置四工位旋转分度平台，不仅大大增加了检测成本和复杂程度；同时在侧面采用大视角拍摄，然后进行基于图像拼接的技术进行四个象限图像的拼接，其工步复杂，效率低下，不适应批量化生产的效率要求。

此外，cn201510236170公开了一种基于光纤图像传输的圆柱面表面微痕缺陷的检测系统。该装置在环形检测器一周布置聚焦棒透镜，透镜利用传像光纤将图像传到ccd上。该方法采用多组聚焦棒透镜取像，由于棒状透镜布置在微钻公切线周围，微钻的半径很小，造成在侧刃成像中存在成像及检测死角，且微钻的端刃无法同时检测，因此，该方法对检测精度有较大影响。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于内锥镜面扫描全景成像的微钻视觉检测方法及装置，其通过数字化运动单元的设备精确控制待检微钻的运动，从而实现在微钻一次穿过中空圆锥体结构成像装置的运动进程中，获取清晰的端刃图像和多张连续的侧刃图像，并通过将侧刃图像像素进行提取进而进行相应的展开、图像清晰带处理以及无缝拼接等机理有机结合，进而实现在无需转换相机拍摄视角的情况下即可得到清晰、完整、全面的侧刃图像，进而克服当前微钻检测技术成本高、工步繁琐、具有检测死角、检测质量不稳定等问题，大大提高微钻的检测效率和和精度，满足批量化生产与检测需求。

为了实现上述目的，按照本发明的一个方面，提供一种基于内锥镜面扫描全景成像的微钻视觉检测方法，其特征在于，该方法采用了包括内锥镜面环形局部成像装置、图像采集及处理单元和数字化运动单元的设备，其中，

所述内锥镜面环形局部成像装置整体呈倒置的中空圆锥体结构，且该锥顶处开设有小孔，以便作为检测对象的微钻能够在所述数字化运动单元所配备的伺服驱动和升降平台的驱动和带动下穿过所述内锥镜面环形局部成像装置，并被所述图像采集及处理单元所配备的远心镜头和ccd相机进行拍照，进而该图像采集及处理单元用于采集所述待检微钻的图像并对所述图像进行处理；其中，

该检测方法包括如下步骤：

s1:将待检微钻置于所述升降平台上，通过伺服驱动控制升降平台的位置，到位待检微钻的位置a，从而使得待检微钻的端刃可以得到清晰的端刃成像；

s2:通过图像采集及处理单元分析判断该端刃是否合格，如果不合格则停止检测，否则检测待检微钻的侧刃；

s3:通过伺服驱动控制升降平台使得待检微钻继续上升一个相机景深高度h，到位待检微钻的位置b，内锥镜面环形局部成像装置及图像采集及处理单元对侧刃进行拍摄，从而获得一张清晰的环形侧刃成像；

s4:重复步骤s3，使得待检微钻继续每次上升一个相机景深高度，依次到达待检微钻的位置c、d，直至待检微钻的侧刃检测完毕，内锥镜面环形局部成像装置及图像采集及处理单元对应每次对侧刃进行拍摄，从而获得多张连续清晰的环形侧刃成像；

s5:对步骤s3和s4获得的清晰的环形侧刃成像展开为像素为m×n的类矩形，然后提取该类矩形的图像清晰带，然后进行拼接，获得无缝拼接的侧刃图像，从而无需转换拍摄视角的情况下，通过一次运动进程即可得到完整的侧刃图像；

s6:对所述步骤s5得到的侧刃图像进行质量检测，并与阈值进行对比判定待检微钻是否合格。

进一步的，步骤s1中，所述位置a正好置于内锥镜面环形局部成像装置锥体的顶点。

进一步的，步骤s5中，将所述环形侧刃成像展开为类矩形包括如下步骤：

s531：从所述环形侧刃成像中轴线最外层a点向两侧扫描，并将像素取出，复制到新建内存中，得到直线aa’；

s532：继续向环形中心移动一个像素，重复步骤s531，直至得到直线b’b’，进而完成将段的环形侧刃成像展开成类矩形；

s533：重复以上步骤，进而依次获得和段的环形侧刃成像展开成类矩形。

进一步的，步骤s5中，所述提取图像清晰带包括如下步骤：

s541：将所述像素为m×n的类矩形进行灰度化后，分为个大小为n×n像素的子图像，然后分别对每个子图像用清晰度评价函数进行清晰度评价；

s542：采用图像g(x,y)的标准差sd作为所述类矩形的图像清晰度评价值φ，图像清晰度评价值φ计算公式为：

其中，g(i,j)为图像在点(i,j)处的灰度值，φ为图像的清晰度评价值，μ为平均灰度值，表示为

s543：根据所述类矩形图像的清晰度评价值φ判定图像是否清晰，当图像很清晰时，像素间的灰度级差异较大，所述类矩形图像的清晰度评价值φ较大；当图像变模糊时，像素间的灰度级差异较小，所述类矩形图像的清晰度评价值φ较小。

进一步的，步骤s5中，所述类矩形的图像清晰带拼接采用渐入渐出的过渡式无缝拼接，并以此实现图像的无缝拼接，其中，该过渡式无缝拼接包括如下步骤：

s551：设匹配点在第一幅待拼接图像和第二幅待拼接图像中对应点的行数分别为l1和l2，列数分别为c1和c2，则第一幅待拼接图像和第二幅待拼接图像的灰度满足如下关系：

其中，f(i,j)为拼接后新图像的灰度，f1(i,j)为第一幅待拼接图像的灰度,f2(i,j)为第二幅待拼接图像的灰度，i，j为拼接图像的列数和行数，α为由1到0变化的渐变系数；

s552：将图像f1(i,j)中小于l1行和图像f2(i,j)中大于l2行的图像像素剪去,然后对其他图像像素按步骤s551中的对应关系进行拼接。

按照本发明的另一个方面，提供一种基于内锥镜面扫描全景成像的微钻视觉检测系统，其特征在于，包括内锥镜面环形局部成像装置、图像采集及处理单元和数字化运动单元；其中，

所述内锥镜面环形局部成像装置整体呈倒置的中空圆锥体结构，并且它的内表面镀有反射金属膜，其锥顶处开设有小孔，以便于作为检测对象的微钻能够进入所述内锥镜面环形局部成像装置内从而实现对该待测微钻进行扫描式全景拍摄；

所述图像采集及处理单元包括成像装置、图像采集卡及处理器，其中，该成像装置一端与所述内锥镜面环形局部成像装置光路相连，另一端与所述图像采集卡及处理器通信连接，以将采集到的图像输送至所述处理器中进行图像处理；

所述数字化运动单元包括伺服驱动和升降平台，所述伺服驱动一端与所述处理器通信连接，另一端与所述升降平台连接，用于根据所述图像处理结果驱动所述升降平台运动，从而实现在不转换拍摄视角的情况下，通过执行一次运动进程即可完成对待测微钻的全方位精确检测。

进一步的，所述成像装置包括远心镜头和ccd相机，且所述待检微钻的中心轴线、内锥镜面环形局部成像装置的锥体轴线以及远心镜头的中心线重合。

进一步的，所述内锥镜面环形局部成像装置包括设于其光路中心线上的同轴光源。

进一步的，所述内锥镜面环形局部成像装置的锥角为90°。

进一步的，所述锥顶处的小孔直径为3mm。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下优点：

1.本发明的微钻视觉检测方法，其通过精确控制执行作为检测对象的微钻的运动进程，进而在微钻穿过呈倒置的中空圆锥体结构的成像装置的一次运动进程中，获取清晰的端刃图像和多张连续的侧刃图像，并通过将侧刃图像像素进行提取进而进行相应的展开、图像清晰带处理以及无缝拼接等机理有机结合，进而实现在无需转换相机拍摄视角的情况下即可得到清晰、完整、全面的侧刃图像，进而克服当前微钻检测技术成本高、工步繁琐、具有检测死角、检测质量不稳定等问题，大大提高微钻的检测效率和和精度，满足批量化生产与检测需求。

2.本发明的微钻视觉检测系统，通过基于内锥镜面反射装置，与数字化运动控制机构相配合，在微钻沿其轴向运动过程中，相应的获取微钻的端刃图像、并通过运动扫描的方式获取微钻侧刃相应位置的图像并实现精确拼接成形,一方面取代人工的人眼质检，克服了由于视觉疲劳所产生的检测结果不确定因素；另一方面，本发明设计的这种内锥镜面扫描式全景成像装置，克服了微钻自动化检测时不能同时检测端刃、侧刃的难题；将微钻端刃和侧刃的检测，集成到一台相机当中，在降低成本同时简化了图像采集过程，提高了微钻检测的效率和精度。

3.本发明的微钻视觉检测系统，采用大光学倍率的远心镜头对待检工件进行成像，畸变低、景深大、光学放大倍数大，且景深范围内物像倍率不变，同时，内锥镜面的锥体轴线、远心镜头成像主光轴线及微钻轴线全部重合，且与运动控制平台的运动方向平行，便于微钻伸入锥面内部，对运动待检微钻进行拍摄，实现全方位检测，提高小尺寸微钻的检测精度。

附图说明

图1是本发明实施例一种基于内锥镜面扫描全景成像的微钻视觉检测系统整体结构示意图；

图2为本发明实施内锥面镜成像原理图；

图3为本发明实施微钻端刃清晰成像位置a图像采集原理示意图；

图4为本发明实施微钻及端刃局部放大示意图；

图5为本发明实施微钻侧刃清晰成像位置b图像采集原理示意图；

图6为本发明实施微钻侧刃清晰成像位置c图像采集原理示意图；

图7为本发明实施微钻侧刃清晰成像位置d图像采集原理示意图；

图8为本发明实施微钻侧刃清晰成像位置e图像采集原理示意图；

图9为本发明实施锥镜面反射的环形局部区域图像展开示意图；

图10本发明实施图像融合示意图；

图11为本发明实施微钻头拼接后示意图。

所有附图中，同一个附图标记表示相同的结构元件，其中：1-待检微钻，11-端刃，12-侧刃，2-内锥镜面环形局部成像装置，21-同轴光源，3-成像装置，31-远心镜头，32-ccd相机，321-微钻侧刃成像及放大图，322-微钻端刃成像及放大图，4-图像采集卡、5-计算机、6-伺服驱动、7-升降平台。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本实施例中基于内锥镜面扫描全景成像的微钻视觉检测系统包括内锥镜面环形局部成像装置2、成像装置3、图像采集卡4、计算机5、伺服驱动6以及升降平台7。其中内锥镜面环形局部成像装置2和成像装置3相连，成像装置3同图像采集卡4建立传输。其中，成像装置3包括远心镜头31和ccd相机32，同时为方便获取全景图像，要求待检微钻1的轴线、内锥镜面环形局部成像装置2的锥体轴线以及远心镜头31的中心线全部重合。成像装置3与图像采集卡4相连，并向计算机5传输待处理的微钻图像，计算机5通过向伺服驱动6发送信号控制升降平台7。通过伺服驱动及升降平台等数字化控制运动机构与ccd相机成像系统的配合，在一次检测过程中，采集得到微钻全工作面(包括微钻的端刃、侧刃)清晰图像，并根据所采集的图像对目标工件进行尺寸测量、表面缺陷检测等操作检测操作简单连贯，提高效率。

由于待检微钻尺寸很小，需要一定的光学放大倍率。同时微钻侧刃利用内锥镜面反射，ccd相机成像装置需沿着微钻轴线(微钻轴线与内锥镜面的轴线重合，且与运动方向平行)方向观察，需要大景深镜头。优选地，本发明选择大光学倍率的远心镜头对待检工件进行成像。所述的远心镜头具有低畸变、大景深、大光学放大倍数，且景深范围内物像倍率不变等特点。所述的远心镜头光阑小、光路较长，需平行光路入射成像，同时配合同轴光源21使用。

所述的内锥镜面扫描全景成像装置，内锥镜面锥体的轴剖面夹角为90°，内部镀高反射率的金属膜。同时为便于微钻伸入锥面内部，对运动待检微钻进行拍摄，实现全方位检测，内锥镜面成像装置在其锥顶点开直径3mm的小孔，具体的如图2所示，在锥形顶点建立坐标系xoz。虽然微钻在向上运动，但相机的焦距和像距没有发生改变，根据高斯成像公式物距需要保持不变，即a+b＝c+b。同时要求在锥面镜顶点处相机能够清晰观察到端面。否则a+b＝c+b恒不成立。当待检工件端面向z轴运动到达坐标原点位置a处，相机可以直接观察到端刃。通过图像处理和分析判断该端刃是否合格，如果不合格则停止检测，否则检测待检微钻侧刃，工件继续上升高度a，到达位置b,此时a＝c并且小于镜头口径大小。根据平面镜成像原理，可得微钻b的虚像b’。θ为微钻与虚像夹角且θ＝2α。当θ＝90°时，b虚像b’与a端面位于同一水平，恒有a+b＝c+b物距保持不变，即相机均可清晰观察到微钻侧刃。

如图4所示，待检微钻1钻头有一定锥角，包括端刃11和侧刃12，bcde为利用锥面镜所检测的位置。

示例性的，如图3-11所示本实例的具体应用过程如下：

第一步，将已知参数信息的待检微钻1置于升降平台7上。通过伺服驱动6控制升降平台7的位置，使得待检微钻1的端面(端刃)可以得到清晰的成像；校正内锥镜面环形局部成像装置2与当前待检微钻1端刃的相对位置，使得待检微钻1端面(端刃)正好置于内锥镜面环形局部成像装置2锥体的顶点。记录待检微钻1可以得到清晰的端面(端刃)清晰成像的位置信息。

第二步，升降平台7开始匀速向上运动，当待检微钻1的端面位于内锥镜面环形局部成像装置2顶点位置a处时，运动控制系统向成像装置3发出采样信号，成像装置3立即拍摄一副待检微钻1端刃的清晰的照片。如图3所示，当升降平台7带动待检微钻1运动到位置a处，此时相机不需要借助内锥镜面环形局部成像装置2可直接获取端刃图像，此时在ccd相机32上有待检微钻1的微钻端刃成像322。

通过图像处理及分析的手段，判断该待检微钻的端刃11是否合格。如果该待检微钻的端刃11有缺陷，则停止侧刃12的检测，否则继续向上移动待检微钻1，对侧刃12的质量进行检测。

如图5所示，在内锥镜面环形局部成像装置顶点建立空间坐标系xyzo、待检微钻1顶端建立坐标系xyzo。升降平台7运动到位置b，设相机景深为h，此时相机可在景深范围内清晰成像，在ccd相机32成像有微钻侧刃成像321及微钻端刃成像322，由于升降平台7向上运动，端刃11物距发生变化无法清晰成像，微钻端刃成像322模糊，此时有效成像为阴影部分微钻侧刃成像321。

由于相机景深限制，升降平台7每上升一个景深高度h，需要拍摄一张图像。当升降平台7上升一个景深高度运动到位置c处。对坐标系xyzo而言，检测位置没有变化，坐标系xyzo的检测z坐标由[0,h]变为[h,2h]。如图6所示，此时物距保持不变，ccd相机32中微钻侧刃成像321清晰，微钻端刃成像322模糊，此时待检微钻1的钻头由于更靠近镜头，微钻端刃成像322变大。

如图7、8所示，升降平台7运动到位置d、e时微钻侧刃成像321直径不断增大，同时，微钻端刃成像322直径也不断增加。

第三步，将拍摄图像输送到计算机5进行拼接相关处理。

首先，将环状图像展开为类梯形，如图9所示。新建一块内存用于存储展开图像。从所述环形侧刃成像321中轴线最外层a点向两侧扫描，并将像素取出，复制到新建内存中，得到直线aa’；继续向环形中心移动一个像素，重复以上步骤，直至得到直线b’b’，进而完成将段的环形侧刃成像展开成类矩形。重复以上步骤，进而依次获得和段的环形侧刃成像展开成类矩形。完成环形图像类矩形展开后，需要对图像提取清晰带，然后进行拼接。

提取清晰带算法是将展开类矩形m×n像素的图片灰度化后，分为个大小为n×n像素的子图像，然后分别对每个子图像用清晰度评价函数进行清晰度评价。记g(i,j)为图像在点(i,j)处的灰度值，φ为图像的清晰度评价值。采用图像g(x,y)的标准差sd作为m×n像素的图像的清晰度评价值φ，方差评价函数计算公式为其中μ为平均灰度值，表示为对于相同内容的图像，当图像很清晰时，像素间的灰度级差异较大，其清晰度评价值φ较大；当图像变模糊时，像素间的灰度级差异较小，清晰度评价值φ较小，并且图像越模糊，其清晰度评价值φ越小。

本发明在采集侧刃12图像时采用数控系统对待检微钻1进行升降，能够将精度控制在接受范围内，每张图像均记录拍摄位置信息。同时在拍摄侧刃12的过程中只是待检微钻1在垂直方向位置变化。每次拍摄得到的是待检微钻1外圆柱面不同轴向位置处的图像。基于此，利用数字化控制系统得到的位置信息将不同位置的侧刃12图像进行拼接，即可得到整个待检微钻1侧刃12的清晰的图像，可大大提高图像拼接的效率。

最后对图像的无缝拼接。当找到最佳匹配点后下一步工作就是将两幅图像合成一幅图像。防止产生明显拼接痕迹，采用渐入渐出进行无缝拼接。

如图10所示，设匹配点在第一幅和第二幅图像中对应点的行数分别为l1和l2，列数分别为c1和c2；i拼接图像的列数。f(i,j)为拼接后新图像的灰度,f1(i,j)为第一幅待拼接图像的灰度,f2(i,j)为第二幅待拼接图像的灰度。在进行图像拼接过程中,首先应将图像f1(i,j)中小于l1行和图像f2(i,j)中大于l2行的图像像素剪去,然后只需对其他图像像素按下式进行拼接:

其中α为由1到0变化的渐变系数。

第四步，经上述步骤可得到完整侧刃12图像，如图11所示，接下来进行待检微钻1质量检测。经过自适应阈值处理、边缘检测、图像角点追踪等方法得到待检微钻1的侧刃几何参数数值，与标准数值作百分计算。并判定该待检微钻1的侧刃12是否合格。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。