专利名称：图像处理装置、程序和显微镜的制作方法
技术领域：
本发明涉及一种图像处理装置、程序和显微镜，尤其是涉及适用于使由全反射显微镜拍摄的图像和由共焦显微镜拍摄的图像重合的情况的图像处理装置、程序和显微镜。
背景技术：
以往，提出了如下的显微镜(例如参照专利文献1)通过切换光学部件而能够用于全反射显微镜(TIRF(Total Internal RefIectionFluorescence)显微镜、全反射照明荧光显微镜)和共焦显微镜双方。在先技术文献专利文献专利文献1 JP特开2004-85811号公报
发明内容
发明要解决的问题然而，利用由全反射显微镜得到的图像(以下称为TIRF图像)和由共焦显微镜得到的图像(以下称为共焦图像)双方来确认试料的现象时，例如有时会使两个图像重合来判断出现在两个图像中的物体是否相同。但是，在全反射显微镜和共焦显微镜中由于试料的图像取得方法(对试料的照明方法)不同，因此在TIRF图像和共焦图像中观察范围(试料的深度方向)、图像的尺寸等也不同。因此，为了使两个图像重合，需要进行图像的放大、 缩小、旋转、平行移动、翻转等校正。但是，在现有的显微镜中，用户必须一边目视确认一边进行图像的校正，来使TIRF 图像和共焦图像重合。本发明正是鉴于这种状况而完成，能够使例如TIRF图像和共焦图像这样用不同观察方法的显微镜分别取得的图像简单且正确地重合。用于解决问题的手段本发明的第一方式的图像处理装置包括基准点检测单元，从利用第一显微镜取得的与试料的预定面相关的第一图像以及利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中，作为基准点分别检测3点以上的、作为上述试料的上述预定面内的相同位置的像而相互对应的像；和计算单元，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。在本发明的第一方式的图像处理装置中，从利用第一显微镜取得的与试料的预定面相关的第一图像以及利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中，作为基准点分别检测3点以上的、作为上述试料的上述预定面内的相同位置的像而相互对应的像，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。本发明的第一方式的程序，用于使计算机执行包括以下步骤的处理从利用第一显微镜取得的与试料的预定面相关的第一图像以及利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中，作为基准点分别检测3点以上的、作为上述试料的上述预定面内的相同位置的像而相互对应的像，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。在本发明的第一方式的程序中，从利用第一显微镜取得的与试料的预定面相关的第一图像以及利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中，作为基准点分别检测3点以上的、作为上述试料的上述预定面内的相同位置的像而相互对应的像，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。本发明的第二方式的显微镜，能够作为第一显微镜和第二显微镜使用，其包括基准点检测单元，从作为第一显微镜使用时拍摄试料得到的第一图像以及作为第二显微镜使用时拍摄上述试料得到的第二图像中，检测3点以上的与上述试料的相同位置对应的基准点；和计算单元，根据所检测出的上述基准点，计算用于使上述第一图像中的第一坐标系和上述第二图像中的第二坐标系相互变换的变换系数。在本发明的第二方式中，从作为第一显微镜使用时拍摄试料得到的第一图像以及作为第二显微镜使用时拍摄上述试料得到的第二图像中，检测3点以上的与上述试料的相同位置对应的基准点，根据所检测出的上述基准点，计算用于使上述第一图像中的第一坐标系和上述第二图像中的第二坐标系相互变换的变换系数。发明效果通过本发明的第一或第二方式，能够使得由全反射显微镜拍摄的图像的坐标系和由共焦显微镜拍摄的图像的坐标系相互变换。结果，能够使由全反射显微镜拍摄的图像和由共焦显微镜拍摄的图像简单且正确地重合。
图1是表示将应用了本发明的显微镜系统用作共焦显微镜时的构成的图。图2是表示将应用了本发明的显微镜系统用作全反射显微镜时的构成的图。图3是表示由显微镜系统的计算机实现的图像处理部的构成例的框图。图4是用于说明由显微镜系统执行的坐标变换系数计算处理的流程图。图5是表示采样试料的例子的图。图6是用于说明由显微镜系统执行的重合处理的第一实施方式的流程图。图7是用于说明TIRF图像的摄影位置的图。图8是表示TIRF图像的一例的图。图9是用于说明共焦图像的摄影位置的图。图10是用于说明共焦图像的一例的图。图11是表示使TIRF图像和共焦图像重合而成的图像的一例的图。图12是用于说明由显微镜系统执行的重合处理的第二实施方式的流程图。图13是用于说明共焦图像的摄影位置的图。图14是表示共焦图像的一例的图。图15是表示TIRF图像的ニ值化图像的一例的图。
图16是表示TIRF图像的辉点的位置的图。图17是表示共焦图像的二值化图像的一例的图。图18是表示共焦图像的辉点的位置的图。图19是用于说明TIRF图像和共焦图像的辉点的位置的不同的图。图20是表示TIRF图像的亮度的分布的例子的图。图21是表示共焦图像的亮度的分布的例子的图。符号说明1 显微镜系统；2 保护玻璃；3 试料；11 显微镜；12 图像生成电路；13 摄像装置；14 图像生成电路；15 计算机；16 显示装置；101 图像处理部；111 基准点检测部； 112 坐标变换系数计算部；113 重合部。
具体实施例方式以下参照
本发明的实施方式。图1和图2表示应用了本发明的显微镜系统的一个实施方式。显微镜系统1包括显微镜11、图像生成电路12、摄像装置13、图像生成电路14、计算机15和显示装置16。显微镜11通过改变透镜支撑部件35和光学元件支撑部件36的设定位置，而可以用作共焦显微镜或全反射显微镜。具体地说，透镜支撑部件35例如由转塔(rotary turret)等构成，被配置成能够绕旋转轴3 旋转。此外，透镜支撑部件35包括第二中继透镜系统51和第三中继透镜系统52。另一方面，光学元件支撑部件36例如由转塔等构成，被配置成能够绕旋转轴36a 旋转。此外，光学元件支撑部件36包括一体地设有分束器61和照明光截止滤波器62的光路分割光学元件36b。如图1所示，设定成将透镜支撑部件35的第二中继透镜系统51插入到显微镜11 的光轴上、未将光学元件支撑部件36的光路分割光学元件36b插入到显微镜11的光轴上时，可以将显微镜11用作共焦显微镜。另一方面，如图2所示，设定成将透镜支撑部件35 的第三中继透镜系统52和光学元件支撑部件36的光路分割光学元件36b插入到显微镜11 的光轴上时，可以将显微镜11用作全反射显微镜。首先，参照图1对将显微镜11用作共焦显微镜的情况进行说明。从激光照明光源31射出的照明光(以下称为共焦光)透过分束器32而入射到二维扫描器33。从二维扫描器33射出的共焦光经由第一中继透镜系统34和第二中继系统 51而入射到物镜37，并聚光到放置于保护玻璃2上的试料3。此时，控制电路41根据从计算机15提供的控制信号，控制设于二维扫描器33的、 光偏转方向彼此垂直的2个扫描器，从而在控制扫描范围、扫描速度的同时，使共焦光在试料3的二维平面内扫描。来自试料3的光(荧光)在物镜37聚光，经过与共焦光相同的光路，由分束器32 反射到成像透镜38的方向，并经由成像透镜38和针孔39而成像到光电倍增器40。光电倍增器40检测所成像的光的强度，并将表示所检测出的光的强度的光检测信号提供到图像生成电路12。
图像生成电路12根据从计算机15提供的控制信号，进行根据二维扫描器33的扫描速度而对每个像素排列来自光电倍增器40的光检测信号的图像处理，生成作为共焦显微镜的观察图像的共焦图像。图像生成电路12将所生成的共焦图像提供到计算机15，显示装置16按照计算机15的控制来显示共焦图像。接下来，参照图2对将显微镜11用作全反射显微镜的情况进行说明。从激光照明光源31射出的照明光(以下称为TIRF光)透过分束器32而入射到二维扫描器33。从二维扫描器33射出的TIRF光入射到第一中继透镜系统34，并经由构成第三中继透镜系统52的中继透镜系统5 和中继透镜系统52b而在物镜37的入瞳面(像侧焦点面)I的附近聚光。TIRF光透过物镜37，从而成为大致平行光，并照射到试料3。此时，控制电路41根据从计算机15提供的控制信号来控制二维扫描器33的扫描动作，从而调整TIRF光入射到物镜37的入瞳面I的位置。并且，随着TIRF光的入射位置从入瞳面I的中心向周边移动，TIRF光向试料3的入射角度增大，若入射角度超过预定角度，则TIRF光在试料3和保护玻璃2的边界面S处被全反射。处于该全反射状态时，在边界面S的附近产生瞬逝光，仅试料3的边界面S附近的极薄的范围被瞬逝光照射。并且，由瞬逝光激发的自试料3的光(荧光)通过物镜37聚光，由分束器61反射到照明光截止滤波器62的方向，并经由照明光截止滤波器62、成像透镜42而成像到摄像装置(例如CXD相机等)13。并且，通过摄像装置13拍摄作为全反射显微镜的观察图像的 TIRF图像。由摄像装置13拍摄的TIRF图像在图像生成电路14中被处理，并提供到计算机 15，显示装置16根据计算机15的控制来显示TIRF图像。此外，如下文所述，计算机15具有使得将显微镜11用作全反射显微镜时得到的 TIRF图像和将显微镜11用作共焦显微镜时得到的共焦图像自动重合的功能。图3表示通过计算机15执行预定的控制程序而实现的功能之一的图像处理部101 的构成例。图像处理部101具有使TIRF图像和共焦图像自动重合的功能。具体地说，基准点检测部111在从图像生成电路14提供的TIRF图像和从图像生成电路12提供的共焦图像中，检测3点以上的与试料3的相同位置对应的基准点。基准点检测部111将检测出的基准点在各图像的坐标系中的坐标通知给坐标变换系数计算部 112。坐标变换系数计算部112根据由基准点检测部111检测出的基准点，计算用于对 TIRF图像的坐标系和共焦图像的坐标系相互变换的坐标变换系数。坐标变换系数计算部 112将所计算出的坐标变换系数通知给重合部113。重合部113按照由用户经由计算机15的操作部(未图示)输入的指令，利用由坐标变换系数计算部112计算出的坐标变换系数，进行从图像生成电路14提供的TIRF图像和从图像生成电路12提供的共焦图像的重合。并且，重合部113将所重合的图像向后段 (例如计算机15的显示控制装置)输出。此外，重合部113根据需要向基准点检测部111 和坐标变换系数计算部112指令坐标变换系数的计算，并且将TIRF图像和共焦图像提供到基准点检测部111。接下来，参照图4的流程图对由显微镜系统1执行的坐标变换系数计算处理进行说明。在步骤Sl中，显微镜系统1获得采样试料201的TIRF图像。具体地说，首先，用户将图5所示的采样试料201作为试料3的替代而放置到显微镜11的载物台上的保护玻璃2上，并设定成将显微镜11用作全反射显微镜的状态(图2的状态)。采样试料201通过在照射了预定波长的光时发出荧光的试剂而在点Ml至M3 (以下称为标记Ml至M3)这三点被染色。另外，标记Ml至M3的位置被设定成由标记Ml至M3 所形成的三角形的各边长和各点的角度分别不同，以能够明确地区分标记Ml至M3的位置。显微镜系统1在使激发标记Ml至M3的波长的TIRF光在保护玻璃2和采样试料 201的边界面S处全反射的状态下，由摄像装置13拍摄采样试料201。摄像装置13经由图像生成电路14将由摄影结果所获得的采样试料201的TIRF图像提供到基准点检测部111。在步骤S2中，显微镜系统1获得采样试料201的共焦图像。具体地说，首先，用户在采样试料201放置于显微镜11的载物台上的保护玻璃2上的状态下，设定成将显微镜11 用作共焦显微镜的状态(图1的状态)。显微镜系统1使激发标记Ml至M3的波长的共焦光在保护玻璃2和采样试料201的边界面S上扫描(扫描与TIRF光相同的面)的同时，通过光电倍增器40检测来自采样试料201的光的强度。光电倍增器40将表示检测出的光的强度的光检测信号提供给图像生成电路12，图像生成电路12基于光检测信号生成采样试料201的共焦图像。图像生成电路12将生成的共焦图像提供到基准点检测部111。在步骤S3中，基准点检测部111检测TIRF图像中的标记Ml至M3的坐标。具体地说，基准点检测部111在TIRF图像中，检测出由标记Ml至M3发出的荧光所产生的辉点区域，求出检测出的辉点区域的重心在TIRF图像的坐标系中的坐标。另外，基准点检测部 111通过将以TIRF图像的各辉点区域的重心为顶点的三角形与以标记Ml至M3为顶点的已知三角形进行比较，而使各辉点区域的重心的坐标分别与标记Ml至M3对应。基准点检测部111将TIRF图像中的对应的标记Ml至M3的坐标通知给坐标变换系数计算部112。在步骤S4中，按照与步骤S3同样的处理，基准点检测部111检测共焦图像中的标记Ml至M3的坐标，将共焦图像中的对应的标记Ml至M3的坐标通知给坐标变换系数计算部 112。在步骤S5中，坐标变换系数计算部112计算TIRF图像的坐标系与共焦图像的坐标系之间的坐标变换系数。拍摄了采样试料201的相同面的TIRF图像和共焦图像的关系成为二次变换(放大、缩小、旋转、平行移动、翻转)的关系。其中，图像的翻转可以通过目视而进行简单地判断、校正，通过摄影光学系统的构成而预先获知是否发生，因此，若将其从图像处理部101 的处理对象排除，则TIRF图像的坐标系和共焦图像的坐标系可以通过赫尔默特变换而相
互变换。 在此，考虑采用赫尔默特变换而将坐标系A中的坐标(X，Y)变换成坐标系B中的坐标(x，y)的情况。此时，坐标(X，Y)和坐标(x，y)的关系通过下面的式(1)和式⑵来表不。χ = X · cos θ +Y · sin θ +c...⑴y = -X · sin θ +Y · cos θ +d... (2)θ表示将坐标系A的坐标轴与坐标系B的坐标轴匹配时的坐标轴的旋转角度，系数c和系数d表示将坐标系A的坐标轴与坐标系B的坐标轴匹配时的原点在χ轴方向和y 轴方向的平行移动量。在此，设a = cos θ , b = sin θ，通过式(1)和式⑵来表现，则成为下面的式(3)。公式1
权利要求
1.一种图像处理装置，包括基准点检测单元，从利用第一显微镜取得的与试料的预定面相关的第一图像以及利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中，作为基准点分别检测3点以上的、作为上述试料的上述预定面内的相同位置的像而相互对应的像；和计算单元，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。
2.根据权利要求1所述的图像处理装置，其中，上述基准点检测单元从上述第一图像中的辉点和上述第二图像中的辉点中，作为上述基准点分别检测作为上述试料的上述预定面内的相同位置的辉点而相互对应的辉点。
3.根据权利要求1所述的图像处理装置，其中，上述基准点检测单元，在从上述第一图像中的多个辉点中选择的三个辉点的组合组和从上述第二图像中的多个辉点中选择的三个辉点的组合组的对中，将以上述三个辉点为顶点的三角形基本相似的对中包含的上述辉点检测为上述基准点。
4.根据权利要求2或3所述的图像处理装置，其中，上述基准点检测单元利用第1 二值化图像和第2 二值化图像来提取上述辉点，其中，所述第1 二值化图像通过利用预定的阈值将上述第一图像二值化而生成，所述第2 二值化图像通过利用预定的阈值将上述第二图像二值化而生成。
5.根据权利要求1 4中任一项所述的图像处理装置，其中，上述计算单元对通过赫尔默特变换使上述第一坐标系和上述第二坐标系相互变换时的上述变换系数进行计算。
6.根据权利要求1 5中任一项所述的图像处理装置，其中，还包含重合单元，其利用上述变换系数使上述第一图像和上述第二图像重合。
7.根据权利要求1 6中任一项所述的图像处理装置，其中，上述第一显微镜为全反射显微镜，上述第二显微镜为共焦显微镜。
8.一种程序，用于使计算机执行包括以下步骤的处理从利用第一显微镜取得的与试料的预定面相关的第一图像以及利用第二显微镜取得的与上述试料的上述预定面相关的第二图像中，作为基准点分别检测3点以上的、作为上述试料的上述预定面内的相同位置的像而相互对应的像；计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。
9.一种显微镜，能够作为第一显微镜和第二显微镜使用，其包括基准点检测单元，从作为第一显微镜使用时取得的与试料的预定面相关的第一图像以及作为第二显微镜使用时取得的与上述试料的上述预定面相关的第二图像中，作为基准点分别检测3点以上的、作为上述试料的上述预定面内的相同位置的像而相互对应的像；和计算单元，计算用于使上述第一图像中的上述基准点的第一坐标系和上述第二图像中的上述基准点的第二坐标系相互变换的变换系数。
全文摘要
本发明涉及能够将TIRF图像和共焦图像简单且正确地重合的图像处理装置、程序和显微镜。基准点检测部(111)，从利用全反射显微镜取得的与试料的预定面相关的TIRF图像以及利用共焦显微镜取得的与试料的上述预定面相关的共焦图像中，作为基准点分别检测3点以上的、作为试料的上述预定面的相同位置的像而相互对应的像。坐标变换系数计算部(112)，计算用于使TIRF图像中的基准点的坐标系和共焦图像中的基准点的坐标系相互变换的坐标变换系数。重合部(113)利用该坐标变换系数，使TIRF图像和共焦图像重合。本发明例如可以应用于对显微镜的观察图像进行图像处理的图像处理装置。
文档编号G06T5/50GK102449527SQ20108002415
公开日2012年5月9日 申请日期2010年6月2日 优先权日2009年6月2日
发明者冈本高明 申请人:株式会社尼康