基于图像匹配算法提取电动力场中细胞自旋转速度的方法与流程

本发明属于电动力微流控芯片技术领域，具体涉及基于图像匹配算法提取电动力场中细胞自旋转速度的方法。

背景技术

作为细胞行为的一种，细胞自旋转特性对于探索和阐明细胞的内在特性，如电生理、生物力学和介电性质具有重要意，而这些内在特性又与人类疾病相关，因此研究细胞自旋转特性可以确定细胞的自旋转速度，也可以获取细胞的运动轨迹，还可以提高我们对癌症治疗效果的理解。然而目前对于细胞自旋转速度的提取均缺乏有效的手段，只能粗略地提取细胞的自旋转速度，还需要人工干预。为实现提高确定细胞旋转的精度和自动化的整个计算过程，就需要开发了一种新的基于匹配的检测算法，简化和优化自旋转速的提取过程的新方法。目前，具有基于图像匹配算法准确实时提取电动力场中细胞自旋转速度的方法，尚未报道。

技术实现要素：

本发明提出基于图像匹配算法提取电动力场中细胞自旋转速度的方法，包括如下步骤：

步骤1：用ccd(charge-coupled-device)相机获取rgb视频图像；

步骤2：将rgb视频图像灰度化，灰度化公式如公式(1)所示：

gray＝a×r+b×g+c×b(1)

其中，gray是灰度值，r、g、b为获取rbg图像的红色分量值、绿色分量值、蓝色分量值，a、b、c为灰度化参数值；

步骤3：在灰度化后第一帧图像中用矩形框手动选择感兴趣细胞，所选择矩形区域被称为感兴趣细胞区域，感兴趣细胞区域可记为rect[(ur,vr),2w+1,2h+1]表示中心为(ur,vr)、宽度为2w+1、高度为2h+1的矩形区域；

步骤4：跟踪感兴趣细胞：包括步骤4.1～步骤4.5：

步骤4.1：计算背景图像：用步骤2中灰度化后图像前n帧的均值作为背景图像，如公式(2)所示：

其中，fb表示背景图像，fi表示视频的第i帧图像，n是用于计算背景图像的帧数；

步骤4.2：获得差分图像：步骤2灰度化后的图像的每一帧图像中减去背景图像，根据公式(3)获得差分图像△fi：

△fi＝|fi-fb|(3)

其中，fb表示背景图像，fi表示视频的第i帧图像；

步骤4.3：二值化差分图像：根据公式(4)将差分图像二值化，其中阈值level是通过otsu方法确定的，otsu方法是一种选择阈值以最大化类间方差的经典阈值选择方法；

△fi(u,v)为二值化后图像；

步骤4.4：计算二值化后图像连通区域中心与最大半径：将二值化差分图像运用形态学开运算去除噪声，运用形态学闭运算连接相邻前景区域，根据公式(5)计算各二值图像各连通区域的中心与最大半径：

其中i表示图像编号，上标q表示连通区域编号，表示第i幅图像第q个连通区域的中心，表示第i幅图像第q个连通区域像素的坐标，mi^q表示第i幅图像第q个连通区域中的像素数量，ro(·)和max(·)分别表示四舍五入函数和最大值函数，ri^q为第i幅图像第q个连通区域的半径，连通区域中心与半径的示例见图4；

步骤4.5：寻找感兴趣细胞的运动区域和搜索窗口，具体为：在视频的第一帧中，将最靠近手动选择的矩形区域的中心(ur,vr)的连通区域的中心作为第一个感兴趣细胞的运动区域的中心，以(u1,v1)表示，将该连通区域的半径以r1表示，则以(u1,v1)为中心、宽度和高度均为2r1+1的矩形区域，被认为是第一帧中感兴趣细胞的运动区域，记作rect[(u1,v1),w,h]；寻找第i帧中与第i-1帧中的感兴趣细胞运动区域中心(ui-1,vi-1)最为接近的连通区域，由其中心和半径可确定第i帧的感兴趣细胞的运动区域，记为rect[(ui,vi),wi,hi]，检测出所有视频图像的感兴趣细胞运动区域，将rect[(ui,vi),wi+2w,hi+2h]作为感兴趣的细胞的搜索窗口；

步骤5：确定参考帧：采用归一化相关系数rij(up,vp)表示两个相同大小的图像区域之间的相似性，如公式(6)，除第一帧以外其他图像中感兴趣细胞区域被定义为：与前一帧中的感兴趣细胞区域具有最大相关系数的区域，由公式(8)可确定。

其中，m、n为变量，(urj,vrj)表示第j帧中的感兴趣细胞区域的中心，i∈[1，n]，表示第j帧图像中rect[(urj,vrj),2w+1,2h+1]区域的平均灰度值，表示第i帧图像中rect[(up,vp),2w+1,2h+1]区域的平均灰度值，由公式(7)计算可得。

公式(7)表示中心为(up,vp),宽度为2w+1,高度为2h+1区域的平均灰度值，m、n为变量；

其中si代表第i帧图像中感兴趣细胞的运动区域，rij(up,vp)表示第i帧和第j帧中两个区域之间的相关系数；

令j＝i-1，由公式(8)可计算第i帧与第i-1帧图像之间的最大相关系数cii-1，其中i∈[2，n]，如此便可得到最大相关系数序列[c21,c32,…,cnn-1]，对最大相关系数序列[c21,c32,c43,…,cn-1n-2]和[c32,c43,c54,…,cnn-1]分别按升序进行排列，排序后的序列分别记为fs和bs。将cii-1在fs中的序号与ci+1i在bs中的序号之和最小的第i帧图像作为参考帧，用ft表示，相应的，rect[(urt,vrt),2w+1,2h+1]表示参考帧中的感兴趣细胞区域；

步骤6：计算自旋转速度：将公式(8)中的下标j替换为t，计算出各帧与参考帧之间的最大相关系数cit，并根据公式(8)确定各帧图像中感兴趣细胞区域的中心(uri，vri)，将序列{cit}中大于指定阈值的局部极大值作为该序列的峰值点，即其中t为阈值，各峰值点及其两相邻点被用来计算抛物线曲线y＝ax²+bx+c，采用多项式拟合抛物线中参数a、b、c，其中，x表示图像的帧号，y表示对应的最大相关系数，相邻抛物线的最大点之间的时间间隔即为感兴趣细胞旋转一周所需的时间，即xi-xi-1，由公式(9)即可算出细胞的平均自旋转速度：

其中，ffps表示视频的帧速率，ffps＝15fps，fps为ccd相机画面每秒传输的帧数，xi和xi-1表示相邻最大点的帧号，xi-xi-1为相邻抛物线的最大点之间的时间间隔即为感兴趣细胞旋转一周所需的时间，n是平均自旋转速度，单位为：转/分钟。

公式(9)推导过程：

ffps表示每秒传输视频的帧速率，那么1/ffps为传输一帧视频所需要的时间，为传输(xi-xi-1)帧图像所需的时间，单位为秒；n为转速，单位为转/分钟。

有益技术效果：

本发明的优点与积极效果为：

(1)本发明除在第一帧中手动选择感兴趣细胞外，其余步骤实现细胞的自动跟踪；

(2)本发明使用背景相减法技术，对感兴趣的细胞进行自动跟踪，大大提高了分析效率；

(3)本发明无需反复观察录像和手动选择参考图像，减少了对实验结果的人为干涉，实现了更大的稳定性；

(4)本发明使用曲线拟合技术，能够准确地确定感兴趣细胞旋转一次所需的时间，提高细胞获得自旋转速度的精度。

附图说明

图1为本发明实例的细胞自旋转速度获取系统流程图；

图2为本发明实例的手动选择第一帧中感兴趣的细胞示意图；

图3为本发明实例的自动跟踪感兴趣的细胞流程图；

图4为本发明实例的每个标记连通区域的中心和半径示意图；

图5为本发明实例的寻找感兴趣细胞的运动区域和搜索窗口的示意图；

图6为本发明实例的选择参考帧的示意图；

图7为本发明实例的细胞在不同周期下的自旋转速度示意图。

图8为本发明实例的每一帧与参考帧之间的最大相关系数示意图；

图9为本发明实例的每个周期内包含图像数目的示意图。

具体实施方式

下面结合附图和具体实施实例对发明做进一步说明：

基于图像匹配算法提取电动力场中细胞自旋转速度的方法，包括如下步骤，如图1所示：

步骤1：用ccd(charge-coupled-device)相机获取rgb视频图像；

步骤2：将rgb视频图像灰度化；其中a＝0.2989,b＝0.5870,c＝0.1140，如公式(1)所示；

gray＝0.2989*r+0.5870*g+0.1140*b(1)

其中，gray是灰度值，r、g、b为获取rbg图像的红色分量值、绿色分量值、蓝色分量值，a、b、c为灰度化参数值；

步骤3：在灰度化后第一帧图像中用矩形框手动选择感兴趣的细胞，所选择矩形区域被称为感兴趣细胞区域，感兴趣细胞区域可记为rect[(ur,vr),2w+1,2h+1]表示中心为(ur,vr)、宽度为2w+1、高度为2h+1的矩形区域，如图2所示，为手动选择第一帧图像中感兴趣细胞的结果图；

步骤4：跟踪感兴趣的细胞：包括步骤4.1～步骤4.5，如图3所示，为自动跟踪感兴趣细胞的的流程示意图，如图3所示：

步骤4.1：计算背景图像：用步骤2中灰度化后图像前n帧的均值作为背景图像，本实施例中n＝40，如公式(2)所示：

其中，fb表示背景图像，fi表示视频的第i帧图像，n是用于计算背景图像的帧数；

步骤4.2：获得差分图像：步骤2灰度化后的图像的每一帧图像中减去背景图像，根据公式(3)获得差分图像△fi：

△fi＝|fi-fb|(3)

其中，fb表示背景图像，fi表示视频的第i帧图像；

步骤4.3：二值化差分图像：根据公式(4)将差分图像二值化，其中阈值level是通过otsu方法确定的，otsu方法是一种选择阈值以最大化类间方差的经典阈值选择方法本实施例level＝0.5：

步骤4.4：计算二值化后图像连通区域中心与最大半径：将二值化差分图像运用形态学开运算去除的噪声，运用形态学闭运算连接相邻前景区域，根据公式(5)计算各二值图像各连通区域的中心与最大半径：

其中i表示图像编号，上标q表示连通区域编号，表示第i幅图像第q个连通区域的中心，表示第i幅图像第q个连通区域像素的坐标，mi^q表示第i幅图像第q个连通区域中的像素数量，ro(·)和max(·)分别表示四舍五入和最大值函数，ri^q为第i幅图像第q个连通区域的半径，连通区域中心与半径的示例如图4所示；

步骤4.5：寻找感兴趣细胞的运动区域和搜索窗口，具体为：在视频的第一帧中，将最靠近手动选择的矩形区域的中心(ur,vr)的连通区域的中心作为第一个感兴趣细胞的运动区域的中心，以(u1,v1)表示，将该连通区域的半径以r1表示，则以(u1,v1)为中心、宽度和高度均为2r1+1的矩形区域，被认为是第一帧中感兴趣细胞的运动区域，记作rect[(u1,v1),w,h]；寻找第i帧中与第i-1帧中的感兴趣细胞运动区域中心(ui-1,vi-1)最为接近的连通区域，由其中心和半径可确定第i帧的感兴趣细胞的运动区域，记为rect[(ui,vi),wi,hi]，检测出所有视频图像的感兴趣细胞运动区域，将rect[(ui,vi),wi+2w,hi+2h]作为感兴趣的细胞的搜索窗口，如图5所示；

步骤5：确定参考帧：采用归一化相关系数rij(up,vp)表示两个相同大小的图像区域之间的相似性，如公式(6)，除第一帧以外其他图像中感兴趣细胞区域被定义为：与前一帧中的感兴趣细胞区域具有最大相关系数的区域，由公式(8)可确定。

其中，m、n为变量，(urj,vrj)表示第j帧中的感兴趣细胞区域的中心，i∈[1，n]，表示第j帧图像中rect[(urj,vrj),2w+1,2h+1]区域的平均灰度值，表示第i帧图像中rect[(up,vp),2w+1,2h+1]区域的平均灰度值，由公式(7)计算可得。

公式(7)表示中心为(up,vp),宽度为2w+1,高度为2h+1区域的平均灰度值，m、n为变量；

其中si代表第i帧图像中感兴趣细胞的运动区域，rij(up,vp)表示第i帧和第j帧中两个区域之间的相关系数；

令j＝i-1，由公式(8)可计算第i帧与第i-1帧图像之间的最大相关系数cii-1，其中i∈[2，n]，如此便可得到最大相关系数序列[c21,c32,…,cnn-1]，对最大相关系数序列[c21,c32,c43,…,cn-1n-2]和[c32,c43,c54,…,cnn-1]分别按升序进行排列，排序后的序列分别记为fs和bs。将cii-1在fs中的序号与ci+1i在bs中的序号之和最小的第i帧图像作为参考帧，用ft表示，相应的，rect[(urt,vrt),2w+1,2h+1]表示参考帧中的感兴趣细胞区域；如图6所示，为选择参考帧的示意图。

步骤6：计算自旋转速度：将公式(8)中的下标j替换为t，计算出各帧与参考帧之间的最大相关系数cit，并根据公式(8)确定各帧图像中感兴趣细胞区域的中心(uri，vri)，将序列{cit}中大于指定阈值的局部极大值作为该序列的峰值点，即其中t为阈值，各峰值点及其两相邻点被用来计算抛物线曲线y＝ax²+bx+c，采用多项式拟合抛物线中参数a、b、c，其中x表示图像的帧号，y表示对应的最大相关系数，相邻抛物线的最大点之间的时间间隔即为感兴趣细胞旋转一周所需的时间，即xi-xi-1，由公式(9)即可算出细胞的平均自旋转速度：

其中，ffps表示视频的帧速率，ffps＝15fps，fps为ccd相机画面每秒传输的帧数，xi和xi-1表示相邻最大点的帧号，xi-xi-1为相邻抛物线的最大点之间的时间间隔即为感兴趣细胞旋转一周所需的时间，n是平均自旋转速度(转/分钟)。

如图7所示，为不同周期下raji细胞平均自旋转速度的示意图。图中显示了不同周期下raji细胞的平均自旋转速度。当周期为1时，细胞的平均自旋转速度最小，当周期为9时，细胞的平均自旋转速度最大，从周期1至周期9时，细胞自旋转速度从53.3转/分钟变化到55.5转/分钟。计算出细胞最大平均自旋转速度时对应的参数：a＝-0.054，b＝1.846，c＝-14.78；计算出细胞最小平均自旋转速度时对应的参数：a＝-0.03665，b＝0.4389，c＝-0.3264。

如图8所示，为视频的每一帧与参考帧之间的最大相关系数的示意图，符号“+”显示最大相关系数序列的峰值，符号“o”表示计算出的抛物线的最大值。

如图9所示，为每个周期内包含图像数目的示意图。“无抛物线拟合”的数据表示最大相关系数序列相邻两个峰值之间的图像数。“有抛物线拟合”数据是相邻抛物曲线两个最大点之间的图像个数。通过对视频图像的逐帧观察和比较，得到数据的“人工估计方法”。在9个周期中，最大相关系数序列相邻两个峰值之间的图像数标准差为0.5，相邻抛物线最大点间的标准差为0.2，证明了曲线拟合方法的有效性。