纳米视觉图像中细胞高速运动特征标注方法与流程

本发明涉及一种细胞运动特征标注方法，尤其是涉及纳米视觉图像中细胞高速运动特征标注方法，属于数字图像处理、模式识别技术领域。

背景技术：

运动问题是自然界的基本问题，近年来已成为计算机视觉领域研究的热点。细胞是生物有机体的基本单位，在活细胞内部进行着复杂而有序的生命活动。单细胞操作在药品开发，生理学和复制的生物医学研究领域中起重要作用。如图1、2所示为高倍显微镜下，通过压电状态使细胞M在高速的旋转和移动。随着纳米技术的飞速发展，如何精确观测细胞的运动，乃至通过精确的技术测量其运动特性，如在压电状态下的自旋转、位移等特性，对生物细胞学和医学等领域具有重要的意义。

SURF(Speeded Up Robust Features)特征算法是Herbert Bay等人于2006年，在经典的SIFT特征算法基础上提出的一种具有鲁棒性的局部特征检测算法，并在2008年进行了完善。该算法由于其在宏观图像处理中具有很强的鲁棒性及较快的运算速度，在目标识别、自动导航、图像拼接等领域得到了广泛的应用。

通常宏观计算机视觉算法应用到微观视觉领域，特别是当测量的精度达到纳米级时，会受到诸如光的衍射、散射等问题的干扰，加之细胞图像中不同目标特征具有极高的相似性，细胞在一些特定条件下的运动一度极快，特别是旋转运动时很难通过传统的宏观视觉算法进行识别测量。

技术实现要素：

本发明的目的是提供了一种纳米视觉图像中细胞高速运动特征标注方法，使其适合纳米尺度下微观视觉环境，并且能够满足实时性需求。

本发明技术方案如下：一种纳米视觉图像中细胞高速运动特征标注方法，依次包括对输入图像进行特征点检测、特征点描述和图像配准标注，所述对输入图像进行特征点检测依次包括以下步骤：

S11生成积分图像，所述积分图像的点I(x,y)的像素值是输入图像中从原点到横坐标小于x，纵坐标小于y所形成区域内所有像素亮度值之和；

S12对所述积分图像进行卷积，并用加权后9*9大小的盒状滤波器进行滤波处理；

S13用盒状滤波器构造黑塞矩阵，计算滤波处理后图像上的点的黑塞矩阵行列式值；

S14建立多幅尺度逐渐增加的图像堆，所述图像堆分若干组，每组分若干层，每组内各层图像是对输入图像与按不同尺寸扩展的盒状滤波器进行滤波处理所得，下一组图像由上一组图像按隔点采样所得；

S15丢弃所有像素值小于设定阈值的像素点，并去除在3*3*3邻域内所述步骤S13中黑塞矩阵行列式值不是最大值的点，剩余像素点为特征点，对所述特征点进行插值达到亚像素级精度；

所述特征点描述依次包括以下步骤：

S21在输入图像中以所述特征点为中心，6σ为半径建立圆形邻域，对所述圆形邻域进行间隔为σ的采样，再对采样内各点计算水平和垂直方向的Harr小波响应值，并对所述响应值作高斯加权处理；

S22利用扇形滑动窗口计算模和幅角，在以特征点为中心、以水平和垂直方向的Harr小波响应值为横纵坐标建立的坐标系中，以张角为60度、原点为中心的扇形作为滑动窗口，累加窗口内各点的水平垂直方向的Harr小波响应值，计算模值和幅角，旋转一周后，产生的最大模值所对应幅角就是特征点主方向；

S23在输入图像中以所述特征点为中心，20σ为边长建立正方形邻域，旋转所述正方形邻域使其与特征点主方向保持一致，对旋转后正方形邻域进行间隔为2σ的采样，并将旋转后正方形邻域分成16子区域，计算每个子区域中25个像素的相对特征点方向的水平、垂直方向的Harr小波响应值，并作高斯加权处理；累加各子区域中的Harr小波响应值得到各子区域的四维特征向量，将16个子区域的特征向量融合在一起构造64维的特征向量即为SURF特征描述子向量；

所述σ为特征点所在尺度的大小；

所述图像配准标注依次包括以下步骤：

S31在每个连续的两帧图像中，取前一帧图像中的某个特征点，在后一帧图像中找出与前一帧图像中的特征点距离最近的前两个特征点，在这两个特征点中，如果最近的距离除以次近的距离少于比例阈值，则后一帧图像中的两个特征点为匹配特征点；

S32标注所述匹配特征点，并求得水平位移d_x和垂直位移d_y，然后计算斜率k＝d_y/d_x求得弧度radian＝atan(k)，在后一帧图像中用弧度radian的箭头标注与前一帧图像对应的特征点。

优选的，所述盒装滤波器包括模板D_xx、D_yy和D_xy，所述模板D_xx的第1、2、8、9行区域权值为0，第3至6行的第1至3列区域和第3至6行的第7至9列区域权值为1，第3至6行的第4至6列区域权值为-2；所述模板D_yy的第1、2、8、9列区域权值为0，第3至6列的第1至3行区域和第3至6列的第7至9行区域权值为1，第3至6列的第4至6行区域权值为-2；所述模板D_xy的第1、5、9行和第1、5、9列区域的权值为0，第2至4行的第2至4列区域和第6至8行的第6至8列区域权值为1，第2至4行的第6至8列区域和第6至8行的第2至4列区域权值为-1。

优选的，所述黑塞矩阵为

优选的，所述按不同尺寸扩展的盒状滤波器是以原盒状滤波器模板为基准模板生成新盒状滤波器模板，所述新模板尺寸与尺度的比率和基准模板尺寸与尺度的比率一致。

优选的，所述步骤S15中设定阈值为100。

优选的，所述步骤S15中插值为采用泰勒级数展开式来进行插值计算。

优选的，所述步骤S31中比例阈值为0.4～0.6。

本发明所提供的技术方案的优点在于：

a)该方法选用SURF特征，属于图像局部不变性特征，适合同一物体在不同位置和不同时刻形成的两幅图像的配准。

b)该方法通过多尺度分层滤波的方式，较好的避免了在纳米尺度高倍显微镜下，细胞光学图像存在的光学衍射、散射等噪声的影响。

c)该发明采用的SURF特征算法及图像配准算法均属较为成熟的技术，Open CV等开源计算机视觉代码库中均有通用参考代码，技术实现及软件开发成本较低。

附图说明

图1为纳米尺度高倍显微镜下细胞M在压电状态自旋转视频截图前一帧；

图2为纳米尺度高倍显微镜下细胞M在压电状态自旋转视频截图后一帧；

图3为盒状滤波器模板D_xx示意图；

图4为盒状滤波器模板D_yy示意图；

图5为盒状滤波器模板D_xy示意图；

图6为模板D_yy一次扩展示意图；

图7为模板D_yy二次扩展示意图；

图8为非最大值抑制邻域示意图；

图9为滑动窗口示意图；

图10为本发明效果图。

具体实施方式

下面结合实施例对本发明作进一步说明，但不作为对本发明的限定。

纳米尺度下采用高倍光学显微镜采集细胞运动图像相比原子力显微镜(Atomic force microscopy,AFM)、SEM和SPM等显微镜扫描方式，具有非接触式、监测速度快、范围广的优点。本发明抽取图像SURF特征加以应用改进，对纳米视觉图像中细胞高速运动特征加以标注。整个标注过程包括三大过程对输入图像进行特征点检测、特征点描述和图像配准标注，进一步详细说明如下：

首先对输入图像进行特征点检测依次包括以下步骤：

S11生成积分图像，积分图像的点I(x,y)的像素值是输入图像中从原点到横坐标小于x，纵坐标小于y所形成区域内所有像素亮度值之和；

S12对积分图像进行卷积，并用加权后9*9大小的盒状滤波器进行滤波处理；如图3、4、5所示的，盒装滤波器包括模板D_xx、D_yy和D_xy，模板D_xx的第1、2、8、9行区域为灰色，权值为0，第3至6行的第1至3列区域和第3至6行的第7至9列区域为白色，权值为1，第3至6行的第4至6列区域为黑色，权值为-2；模板D_yy的第1、2、8、9列区域为灰色权值为0，第3至6列的第1至3行区域和第3至6列的第7至9行区域为白色，权值为1，第3至6列的第4至6行区域为黑色，权值为-2；模板D_xy的第1、5、9行和第1、5、9列区域为灰色，权值为0，第2至4行的第2至4列区域和第6至8行的第6至8列区域为白色，权值为1，第2至4行的第6至8列区域和第6至8行的第2至4列区域为黑色，权值为-1；

S13用盒状滤波器构造黑塞矩阵计算滤波处理后图像上的点的黑塞矩阵行列式值；

S14建立多幅尺度逐渐增加的图像堆，图像堆分若干组，每组分若干层，每组内各层图像是对输入图像与按不同尺寸扩展的盒状滤波器进行滤波处理所得，下一组图像由上一组图像按隔点采样所得；其中如图4、6、7所示，盒状滤波器模板尺寸扩展遵循如下规则：

a)非灰区域短边须是模板尺寸的三分之一。

b)模板四周须同步扩展，以保持中心不变且非灰区域至少扩展2个像素。

以尺寸s_0为9*9，尺度σ_0为1.2的盒状滤波器模板为基准模板来生成新盒状滤波器模板而新模板尺寸与尺度和基准模板尺寸与尺度的比率一致：

σ/s＝σ_0/s_0＝1.2/9

确定尺度图像所在组(O)和层(L)与与其所对应的滤波器模板尺寸(S)的关系：

S＝(9+6*L)*2^O

根据新模板尺寸与尺度和基准模板尺寸与尺度的比率一致性，可以得到新模板尺度如下表所示

S15丢弃所有像素值小于设定阈值(100)的像素点，并去除在3*3*3邻域内，如图8所示的由步骤S13中黑塞矩阵行列式值不是最大值的点，剩余像素点为特征点，应用泰勒级数展开式来进行插值计算对所述特征点进行插值达到亚像素级精度；

完成特征点位置信息检测之后，需要确定特征点主方向以及构造描述子向量，以对特征点进行有效的描述，特征点描述依次包括以下步骤：

S21在输入图像中以所述特征点为中心，6σ为半径建立圆形邻域，σ为特征点所在尺度的大小，对圆形邻域进行间隔为σ的采样，再对采样内各点计算水平和垂直方向的Harr小波响应值，并对所述响应值作高斯加权处理；

S22如图9所示，利用扇形滑动窗口计算模和幅角，在以特征点为中心、以水平和垂直方向的Harr小波响应值为横纵坐标建立的坐标系中，以张角为60度、原点为中心的扇形作为滑动窗口，累加窗口内各点的水平垂直方向的Harr小波响应值∑x和∑y，计算模值和幅角，旋转一周后，产生的最大模值所对应幅角就是特征点主方向；

S23在输入图像中以所述特征点为中心，20σ为边长建立正方形邻域，旋转所述正方形邻域使其与特征点主方向保持一致，对旋转后正方形邻域进行间隔为2σ的采样，并将旋转后正方形邻域分成16子区域，计算每个子区域中25个像素的相对特征点方向的水平、垂直方向的Harr小波响应值，并作高斯加权处理；累加各子区域中的Harr小波响应值得到(∑x，∑y，|∑x|，|∑y|)，由此表示各子区域的四维特征向量，将16个子区域的特征向量融合在一起构造64维的特征向量即为SURF特征描述子向量；

由于SURF特征属于图像局部不变性特征，可用于同一物体在不同位置和不同时刻形成的两幅图像的配准。当两幅细胞图像的特征描述子生成后，下一步可采用特征描述子向量的距离(如欧式距离、马氏距离等)作为两幅图像中关键点的相似性判定度量。图像配准标注依次包括以下步骤：

S31在每个连续的两帧图像中，取前一帧图像中的某个特征点，在后一帧图像中找出与前一帧图像中的特征点距离最近的前两个特征点，在这两个特征点中，如果最近的距离除以次近的距离少于比例阈值ratio，则后一帧图像中的两个特征点为匹配特征点；ratio的取值策略对排除错误匹配点至关重要，对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配实验，结果表明ratio取值在0.4～0.6之间最佳，小于0.4的很少有匹配点，大于0.6的则存在大量错误匹配点。

S32如图10为细胞自转视频中前16帧，每连续两帧T1&&T2，T2&&T3，……中标注匹配特征点，(其中第7帧T7中未检测到第6帧图像T6中原检测的特征，所以T6&&T7有间隔)，将特征点用圆圈标注，求得位移d_x、d_y，然后计算斜率k＝d_y/d_x就可以求得弧度radian＝atan(k)，以T1&&T2为例，在后帧图像T2中用弧度radian的箭头标注与前帧图像T1对应的特征点。