细胞图像超分辨率重构方法
【专利摘要】细胞图像超分辨率重构方法，通过微流体显微镜系统得到1∶1的低分辨率的细胞图像序列，然后从中分割出超分辨率重构所需的N个同类细胞图像，并利用这些低分辨率的细胞图像信息来重构出高分辨率的细胞图像信息。本发明只需要在一帧图像中找到多个同类细胞来进行超分辨率重构，而不需要读取许多帧图像，减少了存储空间，提高了处理速度，并且同样可以采集更多的相关信息，使放大后的细胞能体现更多的细节特征，达到可以分辨诊断细胞的要求。
【专利说明】细胞图像超分辨率重构方法
【技术领域】
[0001]本发明是属于微流体重构方法【技术领域】，涉及一种细胞图像超分辨率重构方法。【背景技术】
[0002]近年来，一种新兴的芯片技术——微流控芯片技术以它独有的快速分析、低功耗、微型化和自动化而发展非常迅速。它具有流体流动可控、消耗试样和试剂极少、分析速度成百倍提高等优点，可以在几分钟甚至更短的时间内进行上百个样品的同时分析。这使得其在医学研究领域渐渐展现了它独有的迷人魅力和发展前景。
[0003]众所周知，在当今的生物医学的研究中，生物细胞的观察研究一直是处于一个很重要的地位。通过对细胞运动图像序列的观察研究，我们可以观测到细胞的表型变化和动态行为，并对细胞进行分类和计数，给医学诊断提供良好的依据。但是现有的观察细胞的显微镜设备过于庞大和昂贵，而且观察细胞只能在玻片上或是玻璃器皿上进行观察，这使得我们观察不到了细胞的最重要的生命特性之一一流动性。种种的这些缺陷，在微流控芯片的技术出现后，都给医学界带来了一个新的希望，和即将发生的重大变革。
[0004]微流控芯片中的微通道一般宽度为10?50纳米左右，它与生物细胞的大小相当。而且可以通过可控制的压力等方法，使得生物细胞在微通道内非常容易被操纵、观察和检测，而且他克服了现有设备中检测系统过于庞大、检测过程复杂、检测周期长、必须在相应的实验室中检测的等等众多缺点，它完全可以达到低成本，低功耗，并可在个人家或是不具备建立实验室条件的边远地区进行初步的快速诊断。基于这些诱人的优点，一个新的研究方向应运而生并发展越来越迅速-Optofluidic Microscope。
[0005]最早由加州理工大学，研制出了 OFM系统，并得到了蠕虫在微通道内的图像，他利用了光学的衍射原理，在微通道和传感器之间做了一层带有点阵的不透光层。但是该OFM系统工艺复杂，必须需要光的垂直照射，而且分辨率有限制。所以后来在此基础上又诞生了SROFM系统，它不需要微通道和传感器之间的那层复杂工艺，而且在自然光下就可以工作，直接用传感器采集轨道内的一个1:1的图像序列，然后利用超分辨率方法，得到高分辨率的图像，使得分辨率可以达到比OFM更小。
[0006]超分辨率重构的主要思想旨在利用低分辨率图像序列通过信号估计理论来生成高分辨率图像。目前，在SROFM系统中用到的图像超分辨率重构算法中，主要分为基于多帧的超分辨率重构算法和基于单帧的超分辨率重构算法。基于多帧的超分辨率重构算法是将相邻的多幅低分辨率图像信息集合起来，把有用的信息进行整合得到一幅单独的超分辨率图像。基于单帧的超分辨率重构是利用原图像中相邻像素点的不同方向的相关信息通过相应的差值来实现超分辨率重构。基于多帧的超分辨率重构算法需要很大的存储空间来对相邻帧的像素信息进行存储，比如实验中就用到了 50帧的图像进行了超分辨率重构，这远远不能满足图像处理的实时性要求。基于单帧的超分辨率重构算法能够满足实时性要求，但是在对细胞图像进行放大时，由于只采用了细胞周围相邻一部分像素的信息，因此放大后细胞的表型特征并不能得到很好的体现。[0007]不管是多帧超分辨重构算法，还是单帧超分辨率重构算法都是重构出一种能够充分显示出细胞特征信息的方法，而不是真正的还原出真实细胞。
【发明内容】
[0008]本发明的目的在于提供一种细胞图像超分辨率重构方法，解决了现有技术需要大的存储空间，复杂的追踪过程，且不能满足图像处理的实时性要求的问题，以及传统的基于单帧的超分辨率重构算法放大后细胞的表型特征不能得到很好的体现的问题。
[0009]本发明的技术方案是，细胞图像超分辨率重构方法，通过微流体显微镜系统得到1:1的低分辨率的细胞图像序列，然后从中分割出超分辨率重构所需的N个同类细胞图像，并利用这些低分辨率的细胞图像信息来重构出高分辨率的细胞图像信息。
[0010]本发明的特点还在于:
[0011]具体包括以下步骤:
[0012]步骤1，通过CMOS图像传感器获得低分辨率的细胞图像序列；
[0013]步骤2，在当前帧中搜索到超分辨率重构所需要的η个样本细胞，把细胞从背景中分割并提取出来；
[0014]步骤3，搜索到η个细胞后，根据这η个细胞的信息来对目标细胞进行超分辨率重构。
[0015]上述步骤3包括:
[0016](I)从分割出来的细胞中取出一个作为待插值的参考细胞A并做成一个(η-1)倍的网格，待插值的参考细胞A的像素值放在每个网格单元的左上端；
[0017](2)对其余分割出的细胞进行配准，把分割出的细胞像素矩阵与待插值的参考细胞像素矩阵进行相应像素位置一一相减，得到的差值取平方，最后把得到的矩阵每一个差值相加求和，得到一个代价值sad ;然后把分割出来的细胞旋转90度继续与待插值细胞像素矩阵进行相应像素位置一一相减后平方求和；以次类推，每个分割出的细胞可以得到4个方向上的sad,然后比较这4个sad,取最小的sad所代表的方向为后续的插值做准备；
[0018](3)利用分像素插值的方法把待插值的参考细胞A放大4倍，得到矩阵B ;
[0019](4)通过1/4像素差值Motion Estimate的方法,把分割的细胞插入到步骤I所建立的超分辨率网格中，具体方法是用分割出的细胞对应像素点分别减去A的对应位置的像素值，然后平方，最后相加求和，得到一个代价值sadl ;总共得到η-1个代价值，比较大小，得到的最小值所对应的位置就是该分割出的细胞所应插入到网格中的最佳位置。
[0020](5)用加权求和的方法得出插值后剩余的像素值；
[0021](6)对插出后的放大η-1倍的像素矩阵进行滤波，去除插值过程中所造成的模糊，以及抑制噪声；
[0022](7)对经过(6)处理后的结果进行锐化处理来增强细节信息。
[0023](8)用分像素插值的方法，对(7)得出的结果进行放大，最后放大2 (η-1)倍；采用的过程同上面的(3)。
[0024](9)然后对目标区域的图像信息进行增强，来突出目标的信息特征。
[0025]得到一个经过超分辨率重构后放大2 (η-1)倍的细胞。
[0026]上述(3)中，得到矩阵B的方法为:[0027]先把待插值的参考细胞A放大一倍，由如下公式得到:
【权利要求】
1.细胞图像超分辨率重构方法，其特征在于，通过微流体显微镜系统得到1:1的低分辨率的细胞图像序列，然后从中分割出超分辨率重构所需的N个同类细胞图像，并利用这些低分辨率的细胞图像信息来重构出高分辨率的细胞图像信息。
2.如权利要求1所述的细胞图像超分辨率重构方法，其特征在于，具体包括以下步骤: 步骤1，通过CMOS图像传感器获得低分辨率的细胞图像序列； 步骤2，在当前帧中搜索到超分辨率重构所需要的η个样本细胞，把细胞从背景中分割并提取出来； 步骤3，搜索到η个细胞后，根据这η个细胞的信息来对目标细胞进行超分辨率重构。
3.如权利要求2所述的细胞图像超分辨率重构方法，其特征在于，所述步骤3包括: (1)从分割出来的细胞中取出一个作为待插值的参考细胞A并做成一个(η-1)倍的网格，待插值的参考细胞A的像素值放在每个网格单元的左上端； (2)对其余分割出的细胞进行配准，把分割出的细胞像素矩阵与待插值的参考细胞像素矩阵进行相应像素位置一一相减，得到的差值取平方，最后把得到的矩阵每一个差值相加求和，得到一个代价值sad ;然后把分割出来的细胞旋转90度继续与待插值细胞像素矩阵进行相应像素位置一一相减后平方求和；以次类推，每个分割出的细胞可以得到4个方向上的sad,然后比较这4个sad,取最小的sad所代表的方向为后续的插值做准备； (3)利用分像素插值的方法把待插值的参考细胞A放大4倍，得到矩阵B; (4)通过1/4像素差值MotionEstimate的方法,把分割的细胞插入到步骤I所建立的超分辨率网格中，具体方法是用分割出的细胞对应像素点分别减去A的对应位置的像素值，然后平方，最后相加求和，得到一个代价值sadl ;总共得到η-1个代价值，比较大小，得到的最小值所对应的位置就是该分割出的细胞所应插入到网格中的最佳位置； (5)用加权求和的方法得出插值后剩余的像素值； (6)对插出后的放大η-1倍的像素矩阵进行滤波，去除插值过程中所造成的模糊，以及抑制噪声； (7)对经过(6)处理后的结果进行锐化处理来增强细节信息； (8)用分像素插值的方法，对(7)得出的结果进行放大，最后放大2(η-1)倍；采用的过程同上面的(3); (9)然后对目标区域的图像信息进行增强，来突出目标的信息特征； 得到一个经过超分辨率重构后放大2 (η-1)倍的细胞。
4.如权利要求3所述的细胞图像超分辨率重构方法，其特征在于，所述(3)中，得到矩阵B的方法为: 先把待插值的参考细胞A放大一倍，由如下公式得到:
Bk — (Ak+[k/5]+Ak+l + [k/5])/2
Ck = (Ak+Ak+6) / 2
Dk = (Bk+Bk+5+Ck+Ck+1) /4 (k = 1、2……30) (I) 其中Ak为待插值的参考细胞A中的原始像素值，Bk, Ck, Dk为待参考细胞的(η-1)倍超分辨率网格中的待求值； 边界处的El和Hl以及Fl和Gl通过溢出位置边缘复制处理的方法来得到，公式如下:
Ek — (A6k+A6k) /2
5.如权利要求3所述的细胞图像超分辨率重构方法，其特征在于，所述(5)中，具体像素值算法如下:
【文档编号】G06T5/50GK103903235SQ201410040294
【公开日】2014年7月2日 申请日期:2014年1月27日 优先权日:2014年1月27日
【发明者】余宁梅, 时小雨, 任茹 申请人:西安理工大学