本发明属于结构光编码、计算摄像、显微成像领域，具体涉及一种宽视场高分辨显微成像中像感器阵列标定方法。
背景技术：
随着显微生物学的发展，人们对显微成像技术的要求日益提高。获取宽视场、高分辨、实时性的显微图像，是开深入展很多显微生物学研究的先决条件。例如对于癌症的研究，观察癌细胞的增殖过程需要高分辨图像，而观察癌细胞的转移则依赖与宽视场。再者观察神经元上信号的快速传递，则要求高速实时地获取显微图像。
通过一系列物镜组，可以将显微镜目镜看到的像转换为宽视场曲面中间像，像感器阵列对曲面像进行分视场采集可以获取子视场高分辨图像。将众多高分辨子图拼实时地接成宽视场高分辨大图，则依赖于显微视场下像中像感器阵列的标定。
与传统宏观场景成像条件不同，显微视场下的相机阵列标定更具挑战性。首先显微物镜浅景深的限制，使得标定物不能通过变换姿态获取三维信息；其次包含曲面像多级物镜成像系统，使得逐级标定难以实施。因此，亟需一种应用于宽视场高分辨显微视场下相机阵列标定方法，以满足获取宽视场、高分辨、实时性显微图像的需求。
技术实现要素：
本发明旨在至少解决上述技术问题之一。
为此，本发明的目的在于提出一种宽视场高分辨显微成像中像感器阵列标定方法，满足获取宽视场、高分辨、实时性显微图像的需求。
为了实现上述目的，本发明的实施例公开了一种宽视场高分辨显微成像中像感器阵列标定方法，包括以下步骤：S1：对像感器阵列进行渐晕效应标定与校正，以使所述像感器阵列中所有子视场像感器以相同辐射出度的场景时获得的各像素具有相同的灰度值；S2：使用空间光调制器对时空联合结构进行光编码，以建立多个特征点在图像空间与物理空间之间的对应关系；S3：对所述时空联合结构进行光解码，以获取所述多个特征点在图像平面的像素坐标和所述多个特征点在空间光调制器平面的物理坐标；S4：根据所述多个特征点在图像平面的像素坐标和所述多个特征点在空间光调制器平面的物理坐标得到单应性关系，并根据所述单应性关系得到全局坐标映射。
进一步地，通过以下公式对像感器阵列进行渐晕效应标定与校正：
Pix'(x,y)＝f(f-1(Pix(x,y))·S(Dis(x,y)))
其中，Pix'(x,y)为校正后灰度，Pix(x,y)为原始灰度，f为相机响应函数，S(Dis(x,y))为离心距离相关的补偿系数。
进一步地，所述空间光调制器包括胶片、DMD、LCD和LCOS。
进一步地，步骤S3进一步包括：提取所述多个特征点在图像平面的像素坐标，以及根据编码方式解码得到所述多个特征点在空间光调制器平面的物理坐标。
进一步地，所述包括S4进一步包括：在求取每个子视场像感器平面到空间光调制器平面的单应性矩阵后，利用各自的单应性矩阵，可以建立任意物理位置到子视场图像像素位置的映射；根据总体物理视场对应的总像素数，获取总图的每个像素对应的物理尺度，从而建立任意物理位置到总视场图像像素位置的映射；将所述子视场图像像素位置的映射和所述总视场图像像素位置的映射融合为总视场图像像素位置到子视场图像像素位置的映射。
根据本发明实施例的宽视场高分辨显微成像中像感器阵列标定方法，满足获取宽视场、高分辨、实时性显微图像的需求
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的宽视场高分辨显微成像中像感器阵列标定方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
以下结合附图描述本发明。
图1是本发明实施例的宽视场高分辨显微成像中像感器阵列标定方法的流程图。如图1所示，
S1：对像感器阵列进行渐晕效应标定与校正，以使像感器阵列中所有子视场像感器以相同辐射出度的场景时获得的各像素具有相同的灰度值。
具体的，使同一像感器拍摄相同辐射出度的场景时，可获得各像素灰度值的一致性。考虑相机响应非线性的渐晕校正模型可表述为如下形式：
Pix'(x,y)＝f(f-1(Pix(x,y))·S(Dis(x,y)))
其中Pix'(x,y)为校正后灰度，Pix(x,y)为原始灰度，f为相机响应函数，S(Dis(x,y))为离心距离相关的补偿系数。
S2：使用空间光调制器对时空联合结构进行光编码，以建立多个特征点在图像空间与物理空间之间的对应关系。
具体地，空间光调制器可以主动控制下，通过调制光场的某个参量，例如通过调制光场的振幅，通过折射率调制相位，通过偏振面的旋转调制偏振态等，从而将一定的信息写入光波中，达到光波调制的目的。
在本发明的一个实施例中，空间光调制器包括胶片、数据微镜装置(Digital Micromirror Device，DMD)、液晶显示器(Liquid Crystal Display，LCD)、硅基液晶(Liquid Crystal on Silicon，LCOS)等。面以LCD的分色二进制时空联合强度编码进行举例说明。本领域人员可以理解，使用胶片、DMD和LCOS同样可以完成时空联合强度编码。
首先对相关术语进行如下约定：
LCD亚像素单元：LCD面板在显微观察下，可以看到原本的一个像素由R、G、B三个亚像素单元构成，每个亚像素单元被相机拍摄后会在图像上成为一个区域。
区域(Region)：每个LCD亚像素单元在拍摄图像中成像的范围称为区域。区域具有颜色、位置等属性。
区域属性：Region＝{color(R/G/B)，pixelcount，center(u，v)，code(code_x，code_y)，x，y}，分别指区域对应亚像素单元种类(红/绿/蓝)，区域包含像素数，区域中心的图像坐标，区域对应LCD亚像素单元的行列编号，区域对应LCD亚像素单元的物理坐标。
该方法编码原则为由位置到强度编码，根据LCD亚像素单元所在位置的行列编号，制定强度编码方案。编码方案中对RGB三种亚像素区域分开编码，根据亚像素单元所在位置的行列编号的二进制0/1，生成多组行列分离强度编码图像。
步骤201，区域识别编码。LCD分别显示3张纯红、纯绿、纯蓝图像，用作红、绿、蓝三种区域识别。
步骤202，坐标到阶码的拆分。定义LCD屏幕从左到右为x方向，从上到下为y方向。则每个亚像素单元都有其物理坐标(x,y)以及所在行列编号(y’行，x’列)。将行列编号转换为二进制数，即为该亚像素单元阶码code_x，code_y。根据LCD标定面板的分辨率，假设至少需要m为和n位二进制阶码才能表示全部亚像素单元的列编号和行编号，则code_x，code_y分别为m位和n位。
步骤203，阶码到图像的生成。R/G/B区域列编码：需要m幅图，每幅图的某列全暗或全红/绿/蓝。具体来说，对于第i幅图的第j列，若j二进制数(code_x)的第i位为1，则该列全红/绿/蓝，反之，该列全暗。
R/G/B区域行编码：需要n幅图，每幅图的某行全暗或全红/绿/蓝。具体来说，对于第i幅图的第j行，若j二进制数(code_y)的第i位为1，则该行全红/绿/蓝，反之，该行全暗。
S3：对时空联合结构进行光解码，以获取多个特征点在图像平面的像素坐标和多个特征点在空间光调制器平面的物理坐标。
具体地，下面以LCD的分色二进制时空联合强度解码进行举例说明。本领域人员可以理解，使用胶片、DMD和LCOS同样可以完成时空联合强度解码。
步骤301，图像预处理。理想状态下，拍摄的图像中LCD的GAP区与设定为暗的亚像素区的灰度值为CV0，设定为亮的亚像素区的灰度值为CV1。实际拍摄时，由于噪声、畸变等因素影响，图像的灰度值并不与理想状态完全吻合。需要对依次图像进行如下预处理：1)自适应二值化，将GAP区与设定为暗的亚像素区的灰度值置为0，设定为亮的亚像素区的灰度值置为1。2)膨胀腐蚀与腐蚀膨胀，清除GAP区与设定为暗的亚像素区的0值和设定为亮的亚像素区的1值。3)剔除图像边缘未完整包括LCD亚像素单元的区域。
步骤302，区域表征、识别、计数与中心提取，目标是求取特征点在图像平面的像素坐标。
将每个LCD亚像素单元成像后的图像区域称为Region＝{color(R/G/B)，pixelcount，center(center_u，center_v)，code(code_x，code_y)，x，y}，它的各项属性含义参见步骤S3。通过三幅区域识别编码图像，何以知道Region对应于红色、绿色还是蓝色亚像素单元，从而获取color值。统计区域内像素数即为pixelcount。区域内全部像素x坐标值得均值为区域的center_u，区域内全部像素y坐标值得均值为区域的center_v。
这里的center_u与center_v即为特征点在图像平面的像素坐标。
步骤303，阶码识别与物理坐标提取。
除去3张区域识别图像，将拍摄到的编码图像分为6组，分别为R/G/B的行/列编码图像。以n幅R区域行编码为例，通过对这n幅图像进行解码，可以获取任意color＝R的区域的行编号阶码。具体来说，按编码拍摄顺序，读取该区域在n幅图(已经过二值化等预处理)中灰度值0/1，将这样的0/1值依次串写为n位二进制数即为该区域的行编号阶码code_y。用同样的方法对其余5组图进行解码，则可获取每个区域的行、列编号阶码code_y、code_x。
至此，已经解码出每个区域的color(R/G/B)，pixelcount，center(center_u，center_v)，code(code_x，code_y)属性，并且假设LCD亚像素单元尺寸长×宽为aμm*bμm，因此可以求解区域对应的物理坐标x，y。令code_x’，code_y’分别为code_x，code_y对应的十进制数，则：
y＝code_y'*aμm
其中，x与y即为特征点在空间光调制器平面的物理坐标。
S4：根据多个特征点在图像平面的像素坐标和多个特征点在空间光调制器平面的物理坐标得到单应性关系，并根据单应性关系得到全局坐标映射。
具体地，在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射。因此一个二维平面上的点映射到摄像机成像仪上的映射就是平面单应性的例子。若将点Q到成像仪上的点q表示为齐次坐标，即
则这种映射可以用矩阵相乘的方式表示：
其中s为任意尺度的比例，目的是使得单应性定义到该尺度比例。H有两部分组成：用于定位观察的物体平面的物理变换和使用摄像机内参数矩阵的投影。
物理变换包括旋转变换R和部分平移变换t，可表示为：
W＝[R t]
其中R为3*3矩阵，t为三维列矢量。相机内参矩阵用M表示，则单应性关系可重写为：
由于的研究目标为空间光调制器平面上到像感器平面的二维映射，则上述公式中的可简化为平面坐标中即令Z＝0。将旋转矩阵写为列向量形式R＝[r1 r2 r3]，则
故最终的单应性矩阵可表示为：
单应性矩阵H为3*3矩阵。一般地，求解H需要两个平面四对独立的对应点。在步骤S3中获取了足够多的对应点(center_u，center_u)和(x，y)。带入平面单应性模型，即可求取单应性矩阵H。鲁棒地求取单应性矩阵算法包括RANSAC等。
在求取每个子视场像感器平面到空间光调制器平面的单应性矩阵后，利用各自的单应性矩阵，可以建立任意物理位置到子视场图像像素位置的映射map1。另一方面，可以根据总体物理视场对应的总像素数，获取总图的每个像素对应的物理尺度；从而建立任意物理位置到总视场图像像素位置的映射map2。借助物理位置的唯一性，可以将map1和map2融合为总视场图像像素位置到子视场图像像素位置的映射map，也就完成了显微视场相机阵列的标定。这一映射表表明了总视场每个像素置对应于哪些子视场的像素位置。根据映射表，通过子视场内像素差值和子视场间重叠区域像素加权叠加，即可完整地拼接出总的宽视场高分辨显微视场图像。
另外，本发明实施例的宽视场高分辨显微成像中像感器阵列标定方法的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。