细胞观察图像的图像解析方法、图像处理程序和图像处理装置的制作方法

专利名称：细胞观察图像的图像解析方法、图像处理程序和图像处理装置的制作方法
技术领域：
本发明涉及导出细胞的预测移动方向的细胞观察的图像处理技术。
背景技术：
作为预测移动物体(移动体)的移动预测技术，以往普遍应用通过对拍摄到移动 体的图像进行处理、解析，预测该移动体今后将如何移动的图像处理技术。在这样的移动预 测中，利用了线性预测、和卡尔曼过滤等基于过去的移动量的时间系列预测(例如参照专 利文献1)。专利文献1 特开2007-303886号公报但是，在观察对象是细胞的情况下，细胞的运动频繁发生急剧的运动和静止等，多 数情况难以进行线性预测。另外，作为在难以进行该线性预测的情况下的预测方法，还提 出有一种能够进行非线性预测的微粒过滤等方案，但存在的问题是对于近乎随机运动的预 测，还不能达到充分的预测精度。另外，由于以往的移动预测是通过对多个时间系列图像进行图像处理，来预测将 来的移动方向，所以存在着图像处理装置的处理负担重，为了进行快速的预测处理，而需要 图像处理装置大型化和高价化的问题。

发明内容
本发明就是鉴于上述问题而提出的，其目的是提供一种能够以简单的结构实现细 胞的移动预测的技术。根据本发明的第1实施方式，提供一种细胞观察图像的图像解析方法，其特征在 于，取得由摄像装置拍摄到观察细胞的观察图像，从取得的上述观察图像中抽出上述观察 细胞的轮廓，使将细胞的外形形状模型化了的细胞模型，匹配于被抽出了轮廓的上述观察 细胞，利用匹配的上述细胞模型，导出预测上述观察细胞移动的移动方向。根据本发明的第2实施方式，提供一种细胞观察图像的图像解析方法，其特征在 于，取得由摄像装置拍摄到观察细胞的观察图像，从取得的上述观察图像中抽出上述观察 细胞的轮廓，计算出被抽出了轮廓的上述观察细胞的相对轮廓形状的内部构造的偏移，根 据计算出的上述内部构造的偏移，导出预测上述观察细胞移动的移动方向。根据本发明的第3实施方式，提供一种细胞观察图像的图像处理程序，其特征在 于，包括取得由摄像装置拍摄到观察细胞的观察图像的步骤；从取得的上述观察图像中 抽出上述观察细胞的轮廓的步骤；使将细胞的外形形状模型化了的细胞模型，匹配于被抽 出了轮廓的上述观察细胞的步骤；利用匹配的上述细胞模型，导出预测上述观察细胞移动 的移动方向的步骤；把导出的上述观察细胞的移动方向，向外部输出的步骤。根据本发明的第4实施方式，提供一种细胞观察图像的图像处理程序，其特征在 于，包括取得由摄像装置拍摄到观察细胞的观察图像的步骤；从取得的上述观察图像中抽出上述观察细胞的轮廓的步骤；计算出被抽出了轮廓的上述观察细胞的相对轮廓形状的 内部构造的偏移的步骤；根据计算出的上述内部构造的偏移，导出预测上述观察细胞移动 的移动方向的步骤；和把导出的上述观察细胞的移动方向，向外部输出的步骤。
根据本发明的第5实施方式，提供一种细胞观察的图像处理装置，其特征在于，具 有拍摄细胞的摄像装置；图像解析部，其取得由上述摄像装置拍摄到观察细胞的观察图 像，导出预测上述观察细胞移动的移动方向；输出部，其把由上述图像解析部导出的上述观 察细胞的移动方向向外部输出，并且构成为，上述图像解析部从上述观察图像中抽出上述 观察细胞的轮廓，使将细胞的外形形状模型化了的细胞模型，匹配于被抽出了轮廓的上述 观察细胞，利用匹配的上述细胞模型，导出预测上述观察细胞移动的移动方向。根据本发明的第6实施方式，提供一种细胞观察的图像处理装置，其特征在于，具 有拍摄细胞的摄像装置；图像解析部，其取得由上述摄像装置拍摄到观察细胞的观察图 像，导出预测上述观察细胞移动的移动方向；输出部，其把由上述图像解析部导出的上述 观察细胞的移动方向向外部输出，并且构成为，上述图像解析部从上述观察图像中抽出上 述观察细胞的轮廓，计算出被抽出了轮廓的上述观察细胞的相对轮廓形状的内部构造的偏 移，根据计算出的上述内部构造的偏移，导出预测上述观察细胞移动的移动方向。根据上述那样的细胞观察图像的图像解析方法、图像处理程序、和图像处理装置， 可以根据摄像装置拍摄的1个图像预测出细胞的移动方向。因此，可提供一种能够以简单 的结构实现细胞的移动预测的技术。


图1是根据从细胞模型中突出的观察细胞的位置，导出移动方向的移动预测方法 的概念图。图2是作为本发明的适用例所表示的培养观察系统的概要结构图。图3是上述培养观察系统的方框图。图4是举例说明进行细胞的轮廓抽出的轮廓抽出处理的状况的模式图。图5是根据与观察细胞匹配的细胞模型，导出移动方向的移动预测方法的概念 图。图6是根据细胞模型的重心与观察细胞的重心的偏差，导出移动方向的移动预测 方法的概念图。图7是根据观察细胞的密度分布，导出移动方向的移动预测方法的概念图。图8是表示图像处理装置的概要结构的方框图。图9是表示图像处理程序中的主程序的流程图。图10是与在主程序中选择的预测算法A对应的流程图。图11是与在主程序中选择的预测算法B对应的流程图。图12是与在主程序中选择的预测算法C对应的流程图。图13是在执行了图像处理程序的情况下，在显示屏上显示的细胞移动跟踪界面 的显示图像的构成例。附图标记说明BS_培养观察系统；GP-图像处理程序；C-观察细胞；54宏观观察 系统；54c-摄像装置；55-显微观察系统；55c-摄像装置；100-图像处理装置；120-图像解析部；130-输出部。
具体实施例方式下面，参照附图，对用于实施本发明的实施方式进行说明。作为应用本发明的细胞 观察的图像处理装置的系统的一例，在图2和图3中分别图示了培养观察系统的概要结构 图和方框图。该培养观察系统BS大体上由设在箱体1的上部的培养室2、收容保持多个培养容 器10的货架状的储料器3、观察培养容器10内的试验料的观察单元5、把培养容器10在储 料器3与观察单元5之间搬运的搬运单元4、控制系统的动作的控制单元6、具备了图像显 示装置的操作盘7等构成。培养室2是形成并维持根据要培养的细胞的种类和目的等的培养环境的室，为了 防止环境变化和污染而在投入样品后保持密闭状态。作为培养室2的附带设备，设有使培 养室内的温度升温、降温的温度调整装置21、调整湿度的加湿器22、供应C02和N2等气体 的气体供应装置23、用于使培养室2整体的环境均勻的循环风扇24、检测培养室2的温度 和湿度的环境传感器25等。由控制单元6控制各个设备的动作，把基于培养室2的温度、 湿度、二氧化碳浓度等的规定的培养环境维持在与在操作盘7中设定的培养条件一致的状 态。储料器3形成为在图2中的与纸面正交的前后方向和上下方向分别被分隔为多个 的货架状。对各个货架分别设有固有地址，例如在把前后方向设为A C列、把上下方向设 为1 7层的情况下，A列5层的货架被设定为A-5。培养容器10具有烧瓶、盘、井板等种类，并具有圆形、方形等形态和尺寸，可根据 要培养的细胞的种类和目的，选择使用适宜的容器。在本实施方式中，举例说明了使用盘的 结构。把细胞等的试验料、与添加了酚红等PH试剂的液体培养基一同注入培养容器10中。 对培养容器10付与代码编号，与储料器3的指定编号对应收容。另外，在培养容器10中， 根据容器的种类和形态等形成的搬送用容器托架，在被装入的状态下被收容保持在各个货 架中。搬送单元4由在培养室2内部可上下方向移动设置的，基于Z轴驱动机构升降的 Z台41、可前后方向移动地安装在Z台41上的基于Y轴驱动机构而前后移动的Y台42、和 可左右方向移动地安装在Y台42上的基于X轴驱动机构而向左右移动的X台43等构成， 在相对Y台左右移动的X台43的前端侧设有将培养容器10抬起支撑的支撑臂45。搬送单 元4构成为使支撑臂45具有在储料器3的全部货架与观察单元5的试验料台15之间可移 动的移动范围。X轴驱动机构、Y轴驱动机构、Z轴驱动机构例如由滚珠丝杠和带编码器的 伺服电机构成，由控制单元6控制其工作。观察单元50由第1照明部51、第2照明部52、第3照明部53、进行试验料的宏观 观察的宏观观察系统54、进行试验料的微观观察的微观观察系统55、图像处理装置100等 构成。试验料台15由具有透光性的材质构成，并且在显微观察系统55的观察区域设有透 明窗部16。第1照明部51由设在下部框架lb侧的面发光光源构成，从试验料台15的下侧对 培养容器10整体进行背光照明。第2照明部52具有LED等光源、和由相位环和聚光透镜等构成的照明光学系统，并被设置在培养室2内，从试验料台15的上方沿着显微观察系统 5的光轴，对培养容器中的试验料进行照明。第3照明部53具有由可分别射出适合进行落 射照明观察和荧光观察的波长的光的多个LED和水银灯等光源、和把从各个光源射出的光 重叠在显微观察系统55的光轴上的分光镜和荧光滤镜等构成的照明光学系统，其被配置 在培养室2下侧的下部框架lb内，从试验料台15的下方沿着显微观察系统5的光轴，对培 养容器中的试验料进行照明。宏观观察系统54具有观察光学系统54a、和对由观察光学系统成像的试验料的像 进行拍摄的(XD照相机等摄像装置54c，其位于第1照明部51的上方，并被设在培养室2 内。宏观观察系统54拍摄由第1照明部51背光照明的培养容器10的从上方观察的整体 观察图像(宏观像)。微观观察系统55具有由物镜、中间变倍透镜、和荧光滤镜等构成的观察光学系统 55a、和拍摄由观察光学系统55a成像的试验料的像的，冷却(XD照相机等摄像装置55c，其 被设置在下部框架lb的内部。分别设置有多个物镜和中间变倍透镜，并且构成为使用省略 了详细图示的转换器和滑块等变位机构可设定多个倍率的结构，其根据初始选择的透镜设 定，能够在例如2倍 80倍等的范围内变倍。显微观察系统55拍摄通过显微镜观察了由 第2照明部52照明的，透过了细胞的透过光、或由第3照明部53照明的，从细胞反射的反 射光、或由第3照明部53照明的，从细胞发出的荧光的显微观察像(微观像)。图像处理装置100对从宏观观察系统的摄像装置54c和显微观察系统的摄像装置 55c输入的信号进行A/D转换，并且实施各种图像处理，生成整体观察图像或显微观察图像 的图像数据。另外，图像处理装置100对这些观察图像的图像数据实施图像解析，进行隔时 图像的生成和细胞的移动量计算、细胞的运动状态的解析等。图像处理装置100具体是通 过执行在后述的控制装置6的ROM中保存的图像处理程序构筑而成。另外，关于图像处理 装置100，将在后面详细说明。控制单元6具有CPTO1、设定并保存了控制培养观察系统BS的动作的控制程序、 用于保存控制各部的数据的R0M62、暂时保存图像数据等的RAM63等，并且构成为由数据总 线把这些连接的结构。控制单元6的输入输出口与培养室2中的温度调整装置21、加湿器 22、气体供应装置23、循环风扇24、环境传感器25、搬送装置4中的X、Y、Z台43、42、41的 各轴的驱动机构、观察单元5中的第1、第2、第3照明部51、52、53、宏观观察系统54、显微 观察系统55、操作盘7中的操作面板71、和显示屏72等连接。从上述各部向CPU61输入检 测信号，由CPU61根据预先设定的控制程序，控制上述各部。在操作盘7上设有设置了键盘、片式开关、和对磁记录介质或光盘等进行信息的 读出和写入的读/写装置等输入输出装置的操作面板71、以及显示各种操作画面和图像数 据等的显示屏72，通过一边参照显示屏72，一边利用操作面板71输入观察程序(动作条 件)的设定和条件选择、和动作指令等，通过CPU61使培养观察系统BS的各部动作。艮口， CPU61根据来自操作面板71的输入，进行培养室2的环境调整、培养室2内的培养容器10 的搬送、基于观察单元5的试验料的观察、取得的图像数据的解析、和在显示屏72上的显示 等。在显示屏72上，除了显示动作指令和条件选择的输入画面以外，还显示培养室2的环 境条件的各个数值、被解析的图像数据、和发生异常时的警告等。另外，CPU61通过根据有 线或无线的通信规格构成的通信部65，能够在与外部连接的计算机等之间进行数据的发送接收。RAM63中记录有在操作面板71上设定的观察程序的动作条件、例如培养室2的温 度和湿度等环境条件、每个培养容器10的观察时间安排、观察单元5中的观察种类、观察位 置、观察倍率等观察条件等。另外，还记录有被收容在培养室2中的各个培养容器10的代 码编号、收容了各个代码编号的培养容器10的储料器3的收纳地址等培养容器10的管理 数据、和在图像解析中使用的各种数据。在RAM63中，设有记录由观察单元5拍摄的图像数 据的图像数据存储区域，在各个图像数据中，与其对应地记录有包括培养容器10的代码编 号和摄影时间的索引数据。这样概要构成的培养观察系统BS，根据在操作盘7上设定的观察程序的设定条 件，由CPTO1根据在R0M62中保存的控制程序控制各部的动作，同时自动地进行培养容器10 内的试验料的摄影。即，如果通过对操作面板71的面板操作(或通过通信部65的远程操 作)开始了观察程序，CPU61读取出在RAM64中保存的环境条件的各个条件值，同时检测出 从环境传感器25输入的培养室2的环境状态，根据条件值与实测值的差异，使温度调整装 置21、加湿器22、气体供应装置23、循环风扇24等动作，对培养室2的温度、湿度、二氧化碳 浓度等培养环境进行反馈控制。另外，CPTO1读取出在RAM63中保存的观察条件，根据观察时间安排，使搬送单元4 的X、Y、Z台43、42、41的各轴的驱动机构动作，把观察对象的培养容器10从储料器3搬送 到观察单元5的试验料台15，开始观察单元5的观察。例如，在观察程序中设定的观察是 宏观观察的情况下，把由搬送单元4从储料器3搬送来的培养容器10定位在宏观观察系统 54的光轴上，并载置在试验料台15上，使第1照明部51的光源点灯，从被背光照明的培养 容器10的上方，由摄像装置54c拍摄整体观察像。从摄像装置54c被输入到控制装置6的 信号由图像处理装置100进行处理，生成整体观察图像，其图像数据与拍摄时间等索引数 据等一同被记录在RAM63中。另外，在观察程序中设定的观察是对培养容器10内的特定位置的试验料的微观 观察的情况下，把由搬送单元4搬送来的培养容器10的特定位置定位在显微观察系统55 的光轴上，并把其载置在试验料台15上，使第2照明部52或第3照明部53的光源点灯，由 摄像装置55c拍摄基于透过照明、落射照明、荧光的显微观察像。由摄像装置55c拍摄的， 被输入到控制装置6的信号，由图像处理装置100进行处理，生成显微观察图像，该图像数 据与拍摄时间等索引数据等一同被保存在RAM63中。CPU61对被收容在储料器3中的多个培养容器的试验料，按照基于观察程序的30 分钟 2小时左右的时间间隔的观察时间安排，顺序进行上述那样的观察，并顺序进行整 体观察像和显微观察像的摄影。另外，在本实施方式中，摄影的时间间隔可以固定，也可以 不同。摄影的整体观察像和显微观察像的图像数据，与培养容器10的代码编号一同被保存 在RAM63的图像数据存储区域中。被记录在RAM63中的图像数据，根据从操作面板71输入 的图像显示指令，被从RAM63中读出，在操作盘7的显示屏72上显示指定时刻的整体观察 图像和显微观察图像(单体图像)、或指定时间层的整体观察像和显微观察像的隔时图像。(细胞移动预测方法)在如上述那样构成的培养观察系统BS中，图像处理装置100不仅具有隔时图像的 生成和细胞的跟踪等功能，而且还具有预测细胞的移动方向的功能。在本说明书中，作为进
8行细胞的移动预测的方法，提示出从拍摄到成为观察对象的细胞(观察细胞)的图像中抽 出观察细胞的形状特征，进行移动预测的移动预测的方法、和抽出观察细胞的内部构造特 征，进行移动预测的方法。下面，从基本的概念方面，对I 基于形状特征的移动预测、II 基 于内部构造特征的移动预测进行说明。(前处理)在细胞移动预测处理之前，进行细胞的最外侧的轮廓抽出。图4是表示该最外轮 廓抽出处理的状况的模式图，对由摄像装置55c(54c)取得的图像(a)进行图像处理，如(b) 所示那样抽出细胞的最外侧的轮廓。在该轮廓抽出处理中，例如可以采用基于辉度值进行 二值化、基于分散值的二值化、和Snakes、和Level Set等动态轮廓抽出方法等。另外，在本 说明书中，把进行移动预测的观察对象的细胞称为“观察细胞”。(I 基于形状特征的移动预测)基于细胞的形状特征的移动预测是使将细胞的外形形状模型化了的细胞模型，匹 配于通过前处理抽出了最外轮廓的观察细胞，利用匹配的细胞模型，导出预测观察细胞移 动的移动方向。作为在该移动预测中包含的具体的预测方法，提出有(1)根据与观察细胞 匹配的细胞模型的形状特征进行的预测方法、(2)根据抽出了与观察细胞匹配的细胞模型 的重心位置和轮廓的观察细胞的重心位置偏差进行的预测方法、(3)根据与观察细胞匹配 的细胞模型的轮廓形状、与观察细胞的轮廓形状的偏差进行的预测方法。首先，针对观察细胞的细胞模型的匹配，例如，如图5、图6、和图1中表示匹配了椭 圆形状的细胞模型Mc的示例那样，对在前处理中抽出的观察细胞C的最外轮廓，进行椭圆 模型的近似。这里所说的椭圆近似，例如可列举出最小乘方法和基于力矩计算的方法。另 外，也可以推定与充满观察细胞C的轮廓内部的形状的相关最高的椭圆模型。利用该细胞 模型Mc推定细胞移动的预测方向。(1)的根据细胞模型的形状特征进行的预测方法是，把细胞模型Mc的椭圆的长轴 方向(图5中的箭头方向)作为观察细胞C的预测的移动方向(预测移动方向)导出。艮口， 在是被近似为纵横比为一定以上的椭圆形状的细胞的情况下，一般该细胞的移动方向是长 度方向、即近似的椭圆的长轴方向的概率高。该预测方法利用这样的细胞的形状特征与移 动方向的关系，推定移动方向。在这种情况下，虽然不能直接导出观察细胞C向沿着椭圆的 长轴的左右的哪一侧移动，但可大幅缩小进行细胞跟踪计算时的角度范围，其对于预备预 测，是充分的信息。(2)的根据细胞模型的重心位置与观察细胞的重心位置的偏差进行的预测方法 是，如图6所示，对观察细胞C匹配细胞模型Mc，并且根据观察细胞C的轮廓形状，通过图形 处理求出其重心位置G，根据细胞模型Mc的椭圆中心0与观察细胞C的重心位置G的偏差， 导出观察细胞的移动方向。其在是通过改变自身的形状进行移动的细胞的情况下，利用细 胞的重心位置偏向于移动方向(或相反方向)的特征，推定移动方向。例如，如图6所示， 在观察细胞的重心G从椭圆近似的细胞模型Mc的中心0偏向于右侧的情况下，可以把该中 心G的偏移方向作为预测移动方向导出。(3)的根据细胞模型的轮廓形状于观察细胞的轮廓形状的偏差进行预测的方法 是，作为更复杂的情况，是如图1所示那样，相对椭圆形状的细胞模型Mc,细胞轮廓复杂的 情况。在这种情况下，根据从细胞模型Mc突出来的细胞轮廓的位置和大小，把存在突出量最大的部位的方位预测为观察细胞C移动的方向、或把隔着椭圆中心O的反对侧的方位预 测为观察细胞C移动的方向。总之，无论在哪种情况下，都是利用细胞在移动时使身体的一 部分(脚)伸展的特征、或各种细胞在移动时保留接触面的特征。另外，根据细胞的种类来 决定向哪个方向前进。另外，作为细 胞模型Mc的结构例，举例说明了椭圆形状，但可以根据成为观察对 象的细胞的形态特征，采用适宜的形状，例如，可采用三角形、矩形、星形、和弓形等。(II 基于内部构造特征的移动预测)基于细胞的内部构造特征的移动预测是，计算出通过前处理抽出的最外轮廓的观 察细胞相对轮廓形状的内部构造的偏移，根据计算出的内部构造的偏移，导出预测观察细 胞移动的移动方向。作为检测内部构造的偏移的具体方法，提出有基于观察细胞的细胞密 度的方法、和基于观察细胞的纹理特征的方法。作为检测观察细胞的内部构造的偏移的方法，首先举例说明基于细胞内部的密度 的方法。细胞密度可以用显微观察图像中的细胞轮廓内部的辉度值的分散表现。因此，根 据辉度值的分散，求出细胞轮廓内的细胞密度，如图7所示那样，计算出从细胞密度低的区 域向高的区域的方向，把该方向或其反方向作为移动预测方向。该移动预测方法利用细胞 在移动时，倾向于使内部组织向移动的方向移动，或向相反方向移动的特性，推定细胞移动 的预测方向。另外，根据细胞的种类，确定密度的变化方向与细胞的移动方向的关系。另外，作为检测观察细胞的内部构造的方法，还有基于观察细胞的纹理特征的方 法。在细胞内部存在核和内部纤维等纹理，在移动时，这些内部构造也移动或变化。因此， 该移动预测方法通过分散过滤等求出细胞轮廓内部的纹理，例如，根据细胞轮廓内的核的 位置和内部纤维的延伸方向等，预测移动方向。(实施例)下面，同时参照图8 图12的各个图，对在培养观察系统BS的图像处理装置100 中执行的图像解析的具体应用程序进行说明。这里，图8是表示图像处理装置100的概要 结构的方框图，图9是表示图像处理程序GP中的主程序的流程图，图10 图12是与在主 程序中选择的预测算法A、B、C对应的流程图。图像处理装置100具有取得由摄像装置55c (54c)拍摄到观察细胞的观察图像，导 出预测观察细胞移动的移动方向的图像解析部120、和把由图像解析部120导出的观察细 胞c的移动方向输出到外部的输出部130，并且构成为，把由图像解析部120导出的预测移 动方向例如输出到显示屏72进行显示的结构。图像处理装置100构成为由CPU61读取被 预先设定保存在R0M62种的图像处理程序GP，并由CPTO1顺序执行基于图像处理程序GP的 处理。因此，图像解析部120在图像解析程序GP的主程序中选择了 A或B的算法的情况 下，从取得的观察图像中抽出观察细胞C的轮廓，使将细胞的外形形状模型化了的细胞模 型Mc，匹配于被抽出了轮廓的观察细胞C，利用匹配的细胞模型Mc导出观察细胞C的预测 移动方向(参照图4 图6、和图1)。另一方面，在图像解析程序GP的主程序中选择了 C 的算法的情况下，图像解析部120从取得的观察图像中抽出观察细胞C的轮廓，计算出相对 被抽出轮廓的观察细胞C的轮廓形状的内部构造的偏移，根据计算出的内部构造的偏移， 导出预测观察细胞C移动的移动方向(参照图4、图7)。
关于上述那样的基于图像解析部120的图像解析处理，不仅能够读出已经被保存 在RAM63中的包含观察细胞C的观察图像的图像数据，来执行该处理，而且还能够由图像装 置取得即将开始观察的细胞的图像，来执行该处理。因此，在本实施方式中，参照图13所示 的在显示屏72上显示的移动预测界面的显示图像构成例，对取得当前时刻的图像，进行移 动预测的情况进行说明。在该界面中，当在操作面板71中选择了“细胞的移动预测”，并开始执行时，首先 在显示屏72上显示“盘选择”框721，并显示被收纳在储料器3中的培养容器10的代码编 号一览表，进行观察对象的培养容器10的选择。图13中表示由设在操作面板71上的游标 选择了代码编号Cell-0002的培养细胞盘(培养容器)的状态。如果选择了培养容器，则CPTO1使搬送单元4的各个轴的驱动机构动作，把观察对 象的培养容器10从储料器3搬送到观察单元5。然后，由摄像装置55c进行基于显微观察 系统55的显微观察像的摄影，并把该图像显示在“观察位置”框722中。然后，为了取得包含被设定为观察对象的细胞(观察细胞)的观察图像，进行观察 图像的区域设定。图13中表示观察者利用在操作面板71上附带设置的鼠标，指定了中央 靠右的网格区域的状态。由此，观察者所指定的区域的图像被作为观察图像，由图像解析部 120取得(步骤S1)。取得的观察图像由图像解析部120瞬时实施细胞的最外轮廓抽出处理(分区) (步骤S2)，在显示屏72的“观察图像”框723中，显示被抽出了最外轮廓的细胞的图像。 因此，如图13所示，在观察图像中，使用鼠标等指定进行移动方向预测的观察图像(注目细 胞)步骤S3)。另外，观察细胞的指定也可以指定已经通过跟踪等检测出的细胞。此时，在 观察图像框723的下侧形成“移动预测选项”，在该框内形成“移动预测方法”框725，显示 运用哪个预测算法进行移动预测，和移动预测方法的选择键725a、725b、725c。在图示的实施例中，构成为作为预测算法可从以下3种方法中选择设定，A 基于最外轮廓偏心方向的预测，即，在I 基于形状特征的移动预测的(2)中结 合图6说明的，根据细胞模型Mc的重心位置0与观察细胞C的重心位置G的偏差，预测移 动方向的方法。B 基于椭圆突出方向的预测，即，在I 基于形状特征的移动预测的(3)中结合图 1说明的，根据细胞模型Mc的轮廓形状与观察细胞C的轮廓形状的偏差，预测移动方向的方法。C:基于细胞组织密度方向的预测，S卩，在II 基于内部构造的特征的移动预测的 结合图7说明的，根据观察细胞C的内部构造的特征，预测移动方向的方法。构成为在主画面中显示了 A 基于最外轮廓偏心方向的预测方法的选择键725a、 B 基于椭圆突出方向的预测方法的选择键725b、C 基于细胞组织密度方向的预测方法的 选择键725c。在步骤S4中，观察者通过选择任意一个选择键725a、725b、725c，进行预测算法A、 B、C的选择，根据该选择，在步骤S5中，进入S5A 基于最外轮廓偏心方向的预测算法子程 序、S5B 基于椭圆突出方向的预测算法子程序、S5C 基于细胞组织密度方向的预测算法子 程序的任意分支。(S5A 基于最外轮廓偏心方向的预测算法子程序)
11
基于最外轮廓偏心方向的预测算法，如图10所示，首先在步骤S11中，对观察细胞 的最外轮廓进行细胞模型Mc的近似处理，例如，如图6中点划线所示那样，对观察细胞C匹 配椭圆形状的细胞模型Mc。然后，在步骤S12中，分别计算出细胞模型Mc的重心位置(在 椭圆的情况下是中心位置)0、和观察细胞C的轮廓形状中的重心位置G，然后进入步骤S13。在步骤S13中，在“移动预测选项”框724中形成“细胞模型的选择”框726，在该 框内显示选择观察细胞C的移动特性的选择键。这里，选择在移动时使重心位置移动的“细 胞内部移动型”的选择键726a、或使细胞体的一部分伸长的“细胞轮廓(脚)移动型”的选 择键726b。对应这些选择键，显示用于选择使重心向细胞的移动方向偏移的形式还是相反 的形式(726a)、使脚伸展的形式还是保留接触面的形式(726b)等的子画面(未图示)，指 定观察细胞C的移动特性。另外，关于细胞的移动特性，预先构筑预先把细胞的名称(种类、识别编号等)与 移动特性相互对应登录的数据库，并设置通过选择数据库检索键726c，输入观察细胞的名 称，可检索数据库，自动决定细胞的移动特性的项目。由此，可减轻观察者的输入负担，并且 可防止误选择，提高移动预测的预测精度。然后，在步骤S14中，根据在步骤S13中选择的细胞的移动特性执行移动方向的检 测。例如，在步骤S12中计算出的细胞模型Mc的中心0与观察细胞C的重心G的位置关系， 如图6所示那样，在被计算出观察细胞的重心G位于细胞模型Mc的中心0的右侧，在步骤 S13中选择的细胞的移动特性是使重心G向移动方向偏移的特性的情况下，在步骤S14中， 被计算出从细胞模型的椭圆中心0朝向观察细胞的重心G的方向。另一方面，在步骤S12中 计算出的细胞模型Mc的中心0与观察细胞C的重心G的位置关系虽然相同，但在步骤S13 中选择的细胞的移动特性是与使重心G向与移动方向相反的方向偏移的特性的情况下，在 步骤S14中，被计算出从观察细胞的重心G朝向细胞模型的椭圆中心0的方向。然后，在步 骤S15中把在步骤S14中计算出的方向决定为观察细胞C的移动预测方向，然后返回移动 预测主程序，进入步骤S6。 在步骤S6中，在显示画面中形成“注目细胞的跟踪”框727，在该框内，进行在步骤 S3中指定的观察细胞C的特写显示、并且，通过矢量显示，显示该观察细胞C的预测移动方 向。另外，在对位于观察图像内的全部细胞执行移动预测的情况下，通过把形成在“观察图 像”框723下侧的“全部细胞移动预测矢量显示”的选择键设定为0N，可如图所示那样，在 观察图像中的各个细胞上重叠显示移动矢量。(S5B 基于椭圆突出方向的预测算法子程序)基于椭圆突出方向的预测算法，如图11所示，首先在步骤S21中，对观察细胞的最 外轮廓进行细胞模型Mc的近似处理，例如，如图1中点划线所示那样，对观察细胞C匹配椭 圆形状的细胞模型Mc。然后，在步骤S22中，计算出从细胞模型Mc突出的观察细胞C的位 置和大小，计算出突出量最大的方位，然后进入步骤S23。在步骤S23中，在显示画面的“移动预测选项”框724中形成“细胞模型的选择”框 726，显示选择观察细胞C的移动特性的选择键。观察者与上述同样地，根据观察细胞选择 “细胞内部移动型”的选择键726a、或“细胞轮廓(脚)移动型”的选择键726b。而且，从对 应各个选择键显示的子画面(未图示)，选择使重心向细胞的移动方向偏移的形式还是相 反的形式(726a)、或使脚伸展的形式还是留在接触面上的形式(726b等，由此，指定观察细
12胞C的移动特性。另外，与上述同样，预先构筑关于细胞的移动特性的数据库，并设置通过 选择数据库检索键726c，输入观察细胞的名称，可自动决定细胞的移动特性的项目。由此， 可减轻观察者的输入负担，并且可防止误选择，提高移动预测的预测精度。然后，在步骤S24中，根据在步骤S23中选择的细胞的移动特性执行移动方向的检 测。例如，在步骤S22中计算出的相对细胞模型Mc的观察细胞C的最大突出部分，如图1 所示那样，在被计算出在细胞模型Mc的左下方，在步骤S23中选择的细胞的移动特性是在 移动时保留接触面的特性的情况下，在步骤S24中，被计算出是从突出位置朝向椭圆中心 的方向。另一方面，在步骤S22中计算出的相对细胞模型Mc的观察细胞C的最大突出部分 相同的情况下，在步骤S23中选择的细胞的移动特性是在移动时使脚向移动方向伸展的特 性的情况下，在步骤S24中，被计算出是从椭圆中心朝向突出位置的方向。然后，在步骤S25 中把在步骤S24中计算出的方向决定为观察细胞C的移动预测方向，然后返回移动预测主 程序，进入步骤S6。在步骤S6中，在显示画面中形成“注目细胞的跟踪”框727，在该框内，进行在步骤 S3中指定的观察细胞C的特写显示、并且，通过如图所示的矢量显示，显示该观察细胞C的 预测移动方向。另外，在对位于观察图像内的全部细胞执行移动预测的情况下，通过把形成 在“观察图像”框723下侧的“全部细胞移动预测矢量显示”的选择键设定为0N，可如图所 示那样，在观察图像中的各个细胞上重叠显示移动矢量。(S5C 基于细胞组织密度方向的预测算法子程序)基于细胞组织密度方向的预测算法，如图12所示，首先在步骤S32中，通过计算观 察细胞轮廓内的辉度值的分散，计算出细胞内部的密度分布。由此，如图7所示那样，即使 是轮廓形状复杂的细胞，也能够基于细胞内部的构造特征，计算出细胞密度低的区域 高 的区域的分布，然后进入步骤S33。在步骤S33中，在显示画面的“移动预测选项”框724中形成“细胞模型的选择”框 726，显示选择观察细胞C的移动特性的选择键。这里，选择在移动时使移动方向的密度增 加的“高密度方向移动型”的选择键、或使移动方向的密度降低的“低密度方向移动型”的选 择键(均未图示)。另外，与上述同样，预先构筑关于细胞的移动特性的数据库，并设置通过 选择数据库检索键726c，输入观察细胞的名称，可自动决定细胞的移动特性的项目。由此， 可减轻观察者的输入负担，并且可防止误选择，提高移动预测的预测精度。在步骤S34中，根据在步骤S33中选择的细胞的移动特性，执行移动方向的检测。 例如，如图7所示那样，在步骤S32中计算出的细胞内部的密度分布是，在被计算出在观察 细胞C的右上方密度高，左下方的密度低，在步骤S33中选择的细胞的移动特性是，向密度 高的方向移动的高密度方向移动型的情况下，在步骤S34中，被计算出是从密度低的区域 朝向密度高的区域的方向。另一方面，虽然是相同的密度分布，但在步骤S33中计算出的细 胞的移动特性是向密度低的方向移动的低密度方向移动型的情况下，在步骤S34中，被计 算出是从密度高的区域朝向密度低的区域的方向。然后，在步骤S35中把在步骤S34中计 算出的方向决定为观察细胞C的移动预测方向，然后返回移动预测主程序，进入步骤S6。
在步骤S6中，在显示画面中形成“注目细胞的跟踪”框727，在该框内，进行在步骤 S3中指定的观察细胞C的特写显示、并且，通过矢量显示，显示该观察细胞C的预测移动方 向。另外，在对位于观察图像内的全部细胞执行移动预测的情况下，通过把形成在“观察图像”框723下侧的“全部细胞移动预测矢量显示”的选择键设定为0N，可如图所示那样，在 观察图像中的各个细胞上重叠显示移动矢量。由此，可根据观察对象的特征选择运用适合的预测算法，在运用了任意的预测算 法的情况下，观察者都能够通过观察“注目细胞的跟踪”框727，详细掌握观察对象的细胞的 移动方向，通过在“观察图像”框723中，在观察图像中的各个细胞上重叠显示移动矢量，可 把握观察区域整体的细胞的移动状态。而且，如以上说明的那样，根据本发明的图像处理程序GP、通过执行该图像处理程 序GP而构成的图像解析方法、以及图像处理装置100，不需要读出由摄像装置拍摄的，被保 存的多个图像进行图像处理，而只需根据当前时刻或已经记录的1个图像，即可预测出细 胞的移动方向。从而能够提供一种以极为简单的结构，对细胞的移动进行高速预测处理的 技术。
权利要求
一种细胞观察图像的图像解析方法，其特征在于，取得由摄像装置拍摄到观察细胞的观察图像，从取得的所述观察图像中抽出所述观察细胞的轮廓，使将细胞的外形形状模型化了的细胞模型匹配于被抽出了轮廓的所述观察细胞，利用匹配的所述细胞模型，导出预测所述观察细胞移动的移动方向。
2.根据权利要求1所述的细胞观察图像的图像解析方法，其特征在于， 所述移动方向的导出是根据所述匹配的所述细胞模型的形状特征进行的。
3.根据权利要求1所述的细胞观察图像的图像解析方法，其特征在于， 所述移动方向的导出是根据所述匹配的所述细胞模型的重心位置与被抽出了轮廓的 所述观察细胞的重心位置的偏差进行的。
4.根据权利要求1所述的细胞观察图像的图像解析方法，其特征在于，所述移动方向的导出是根据所述匹配的所述细胞模型的轮廓形状与所述观察细胞的 轮廓形状的偏差进行的。
5.一种细胞观察图像的图像解析方法，其特征在于， 取得由摄像装置拍摄到观察细胞的观察图像，从取得的所述观察图像中抽出所述观察细胞的轮廓，计算出被抽出了轮廓的所述观察细胞的相对轮廓形状的内部构造的偏移，根据计算出的所述内部构造的偏移，导出预测所述观察细胞移动的移动方向。
6.根据权利要求5所述的细胞观察图像的图像解析方法，其特征在于， 所述内部构造的偏移是所述观察细胞的细胞密度。
7.根据权利要求5所述的细胞观察图像的图像解析方法，其特征在于， 所述内部构造的偏移是所述观察细胞的纹理特征。
8.一种细胞观察图像的图像处理程序，其特征在于，包括 取得由摄像装置拍摄到观察细胞的观察图像的步骤；从取得的所述观察图像中抽出所述观察细胞的轮廓的步骤；使将细胞的外形形状模型化了的细胞模型匹配于被抽出了轮廓的所述观察细胞的步骤；利用匹配的所述细胞模型，导出预测所述观察细胞移动的移动方向的步骤； 将导出的所述观察细胞的移动方向向外部输出的步骤。
9.根据权利要求8所述的细胞观察图像的图像处理程序，其特征在于， 所述移动方向的导出是根据所述匹配的所述细胞模型的形状特征进行的。
10.根据权利要求8所述的细胞观察图像的图像处理程序，其特征在于，所述移动方向的导出是根据所述匹配的所述细胞模型的重心位置与被抽出了轮廓的 所述观察细胞的重心位置的偏差进行的。
11.根据权利要求8所述的细胞观察图像的图像处理程序，其特征在于，所述移动方向的导出是根据所述匹配的所述细胞模型的轮廓形状与所述观察细胞的 轮廓形状的偏差进行的。
12.一种细胞观察图像的图像处理程序，其特征在于，包括 取得由摄像装置拍摄到观察细胞的观察图像的步骤；从取得的所述观察图像中抽出所述观察细胞的轮廓的步骤； 计算出被抽出了轮廓的所述观察细胞的相对轮廓形状的内部构造的偏移的步骤； 根据计算出的所述内部构造的偏移，导出预测所述观察细胞移动的移动方向的步骤； 将导出的所述观察细胞的移动方向向外部输出的步骤。
13.根据权利要求12所述的细胞观察图像的图像处理程序，其特征在于， 所述内部构造的偏移是所述观察细胞的细胞密度。
14.根据权利要求12所述的细胞观察图像的图像处理程序，其特征在于， 所述内部构造的偏移是所述观察细胞的纹理特征。
15.一种细胞观察图像的图像处理装置，其特征在于，具有 拍摄细胞的摄像装置；图像解析部，其取得由所述摄像装置拍摄到观察细胞的观察图像，导出预测所述观察 细胞移动的移动方向；输出部，其将由所述图像解析部导出的所述观察细胞的移动方向向外部输出， 并且构成为，所述图像解析部从所述观察图像中抽出所述观察细胞的轮廓，使将细胞 的外形形状模型化了的细胞模型匹配于被抽出了轮廓的所述观察细胞，利用匹配的所述细 胞模型，导出预测所述观察细胞移动的移动方向。
16.根据权利要求15所述的细胞观察图像的图像处理装置，其特征在于， 所述移动方向的导出是根据所述匹配的所述细胞模型的形状特征进行的。
17.根据权利要求15所述的细胞观察图像的图像处理装置，其特征在于，所述移动方向的导出是根据所述匹配的所述细胞模型的重心位置与被抽出了轮廓的 所述观察细胞的重心位置的偏差进行的。
18.根据权利要求15所述的细胞观察图像的图像处理装置，其特征在于，所述移动方向的导出是根据所述匹配的所述细胞模型的轮廓形状与所述观察细胞的 轮廓形状的偏差进行的。
19.一种细胞观察图像的图像处理装置，其特征在于，具有 拍摄细胞的摄像装置；图像解析部，其取得由所述摄像装置拍摄到观察细胞的观察图像，导出预测所述观察 细胞移动的移动方向；输出部，其将由所述图像解析部导出的所述观察细胞的移动方向向外部输出， 并且构成为，所述图像解析部从所述观察图像中抽出所述观察细胞的轮廓，计算出被 抽出了轮廓的所述观察细胞的相对轮廓形状的内部构造的偏移，根据计算出的所述内部构 造的偏移，导出预测所述观察细胞移动的移动方向。
20.根据权利要求19所述的细胞观察图像的图像处理装置，其特征在于， 所述内部构造的偏移是所述观察细胞的细胞密度。
21.根据权利要求19所述的细胞观察图像的图像处理装置，其特征在于， 所述内部构造的偏移是所述观察细胞的纹理特征。
全文摘要
本发明提供一种细胞观察图像的图像解析方法、图像处理程序和图像处理装置，其能够以简单的结构实现细胞的移动预测。其从由摄像装置取得的细胞的观察图像抽出观察细胞(C)的轮廓，并匹配将细胞的外形形状模型化了的细胞模型Mc，利用匹配的上述细胞模型Mc，导出预测上述观察细胞移动的移动方向。
文档编号G01N21/17GK101868553SQ20098010107
公开日2010年10月20日 申请日期2009年3月12日 优先权日2008年3月24日
发明者三村正文, 伊藤启 申请人:株式会社尼康