一种基于动态视觉传感器的动态三维特征跟踪检测系统及方法

本发明涉及计算机视觉动态特征检测领域，具体涉及一种基于动态视觉传感器的动态三维特征跟踪检测系统及方法。

背景技术：

1、三维特征的检测跟踪在工件检测与活体细胞或组织的观测中都具有十分重要的用途。

2、工件的显微缺陷检测是很重要的应用领域，例如玻璃内部隐裂定位，胶体内部气泡定位检测等。目前的玻璃内部缺陷检测技术基本原理是通过单侧照明，另一侧使用ccd/cmos接收图像并进行图像处理，实现与光轴垂直方向的缺陷定位。目前还有超声波成像技术可实现对工件内部缺陷的三维定位。

3、活体细胞或组织的动态三维特征检测跟踪可以更好地展现细胞的流动、相互作用，其在研究各种生理现象中发挥着重要作用。目前，对于活体细胞进行四维(空间三维+时间一维)观测的主要设备有旋转盘共聚焦显微镜、高速双光子显微镜，光片显微镜等。共聚焦显微镜单次只能成像二维显微平面上的一个点，通过多次扫描实现一个二维平面的成像或者三维成像。旋转盘共聚焦显微镜引入了nipkow转盘，相比于传统共聚焦显微镜可以实现多点同步扫描。高速双光子显微镜的四维特征跟踪也依赖于扫描的方式实现。光片显微镜通过侧向的光片照亮聚焦平面，通过光片轴向移动实现三维成像。

4、工件检测中，单侧照明，另一侧通过图像传感器接收图像并处理的方法难以实现工件缺陷具体深度的定位，即只能得到缺陷的二维分布。超声波成像技术可实现工件缺陷的三维定位，但设备成本与三维信息的解算难度都有所提升。同时对于流水线检测，目前的技术需要一定的曝光时间或成像时间，在这段时间内，工件需静止或移动较慢，否则将造成图像的运动模糊，制约了流水线上的快速三维特征检测。

5、活体细胞或组织的观测中，共聚焦显微镜单次只能对一个点进行成像，效率很低。旋转盘共聚焦显微镜引入了nipkow转盘提高效率，但因为发射的荧光穿透转盘的透过率很低，为了获得较好的信噪比，曝光时间依然较长。高速双光子显微镜帧率大概在10hz左右，对于较快运动的细胞组织会导致运动模糊和伪影。光片显微镜需要侧向的高质量照明系统，结构较为复杂。同时，考虑信噪比，得到更高时间分辨率的图像就需要曝光时间越短，也就需要噪声控制越好的成像传感器，显著提高成本，最高的帧率也依然受到传感器制造工艺的限制。因此活体细胞组织的动态三维特征检测跟踪的时间分辨率还十分受限。

技术实现思路

1、为了克服传统工件检测中，缺陷定位成像需要一定的曝光时间，检测速度慢，动态范围小等缺点与生物显微领域活体细胞、活体组织四维观测设备成本高，时间分辨率低等缺点，实现高动态范围、高速无运动模糊的动态三维特征跟踪检测。

2、本发明首先提供了一种基于动态视觉传感器的动态三维特征跟踪检测系统，包括：

3、探测扫描模块，包括第一光路和第二光路；第一光路的光轴与第二光路的光轴相互正交；第一光路包括依次设置在第一光路光轴上的照明光源、第一透镜以及半透半反镜；第二光路包括自上而下设置在第二光路光轴上的动态视觉传感器、第二透镜、所述半透半反镜、小景深显微物镜以及载物台；所述半透半反镜设置在第一光路光轴与第二光路光轴相交处且半透半反镜与第一光路光轴和第二光路光轴的夹角均为45°；从照明光源水平方向发射的出光源光线通过第一透镜以45°的入射角照射到半透半反镜上；半透半反镜将光源光线反射到下方的小景深显微物镜，光源光线透过小景深显微物镜照射到设置在载物台上的被测样品；光源光线照射到被测样品上后反射回探测光线，反射回的探测光线依次透过小景深显微物镜、半透半反镜和第二透镜后照射到动态视觉传感器上；

4、数据处理模块；用于接收动态视觉传感器传输的光强变化信息并对光强变化信息进行处理分析，得到动态三维特征跟踪检测的结果。

5、作为本发明的优选方案，所述动态三维特征跟踪检测系统还包括设置在第一光路上的偏振片；以及设置在第二光路上的检偏器。

6、本发明还提供了一种基于上述动态三维特征跟踪检测系统的检测方法，包括以下步骤：

7、s1:通过探测扫描模块对被测样品进行扫描，探测扫描模块的动态视觉传感器检测像素光强的变化，并将光强的变化转化为光强变化信息传递给数据处理模块；数据处理模块根据光强变化的不同将光强变化信息标注为正事件和负事件，并按照事件发生的像素坐标和发生的时间点有序排列为原始事件数据；

8、s2：统计整个扫描过程动态视觉传感器中每个像素产生的事件，移除事件数据中所有在热像素位置产生的事件；

9、s3：在一段时间δt中，将δt内的正事件与负事件分别累积成正负事件帧或时间表面；

10、s4：运用乘积、交叉熵方法评价正负事件帧或正负时间表面的相关性，相关性越高，则代表被测样品越接近准焦位置；将正负事件帧或正负时间表面相关性值作为图像值，得到特征图像；

11、s5：将特征图像按照时间顺序排列起来，将所有正负事件帧或正负时间表面相关性值为0的位置舍去，得到特征点云；对得到的特征点云使用半径滤波方法进行滤波降噪，得到有效特征；

12、s6：对特征点云进行dbscan聚类分割，得到不同特征与对应时间点，通过时间点与移动位置的对应关系，结合成像规律得到位置信息；

13、s7：多次扫描需追踪物体准焦位置附近，重复步骤s1到步骤s6的操作，在静态条件下，提高三维特征定位精度；在动态条件下，获取追踪物体动态三维特征信息。

14、作为本发明的优选方案，步骤s2中，所述热像素具体为：动态视觉传感器中部分像素会一直产生噪声事件，通过统计整个过程中每个像素产生的事件总数，把所有像素事件总数的均值加n倍的像素事件总数分布标准差作为判定值，并将像素产生的事件总数大于判定值的像素认定为热像素；其中n为正数，根据滤除热像素噪声事件灵敏度的要求选取。

15、作为本发明的优选方案，所述步骤s3中，所述正负事件帧的累积具体为：

16、正事件帧：ipositive(x，y，t)＝n{ek|xk＝(x，y)t，tk∈[t-δt/2，t+δt/2)，pk＝1}

17、负事件帧：inegative(x，y，t)＝n{ek|xk＝(x，y)t，tk∈[t-δt/2，t+δt/2)，pk＝-1}

18、其中，ipositive(x，y，t)为正事件帧中以t为中间时刻的时长为δt的这段时间像素(x，y)对应的数值，inegative(x，y，t)为负事件帧中以t为中间时刻的时长为δt的这段时间像素(x，y)对应的数值，n为满足条件的事件总数，ek表示事件k，xk表示事件像素位置，tk表示事件触发时间戳，pk表示事件极性，1表示正事件，-1表示负事件。

19、作为本发明的优选方案，所述步骤s3中，所述时间表面的累积具体为：

20、时间表面：

21、

22、其中，为极性为p的时间表面中以ti为末端时刻的时长为δt的这段时间像素(x，y)对应的数值，ek表示事件k，xk表示事件像素位置，tk表示事件触发时间戳，pk表示事件极性，τ为选取的衰减系数，为满足条件的事件集合。

23、作为本发明的优选方案，所述步骤s4中运用乘积、交叉熵方法评价正负事件帧或正负时间表面的相关性具体为：

24、乘积：fpower(t)＝∑m∑nipositive(i，j，t)·inegative(i，j，t)

25、交叉熵：fcrossentropy(t)＝-∑m∑nipositive(i，j，t)·log(inegative(i，j，t))

26、其中，fpower(t)为以t为中间时刻的时长为δt的这段时间通过乘积计算出的相关性值，fcrossentropy(t)为以t为中间时刻的时长为δt的这段时间通过乘积计算出的相关性值，m，n为像素的横纵坐标，ipositive(i，j，t)指像素(i，j)处这段时间内正事件帧或正时间表面的值，inegative(i，j，t)指像素(i，j)处这段时间内负事件帧或负时间表面的值。

27、与现有技术相比，本发明具有以下有益效果：

28、1)本发明通过单传感器高速、高动态范围获取运动物体的动态三维特征信息，利用动态视觉传感器替代传统帧图像ccd/cmos图像传感器，减少了数据冗余，提升时间分辨率；动态视觉传感器的高动态范围降低对照明的要求，降低光毒性。

29、2)本发明利用动态传感器在准焦时边缘亮度变化相反的内在关系，即产生极性相反的事件，利用正负事件帧或正负时间表面的相关性，替代基于传统帧图像的对比度分析法，提高获取特征的速度，进而达到观测动态特征变化的要求。

30、3)本发明的系统对于被测样品而言，获取特征速度提高，且无运动模糊，可使系统能够检测流水线上快速移动的工件。