隔时图像的图像处理方法、图像处理程序和图像处理装置的制作方法

专利名称：隔时图像的图像处理方法、图像处理程序和图像处理装置的制作方法
技术领域：
本发明涉及一种利用摄像装置以规定的时间间隔断续地拍摄观察对象，取得多个 图像，把取得的图像按照时间序列进行排列，生成隔时图像(Time Lapse)的隔时图像的图 像处理技术。
背景技术：
作为利用上述那样的隔时图像来对观察对象的变化进行观察的装置，例如有一边 培养生物细胞，一边观察状态变化的培养显微镜、和观测道路或海域的阻塞状况等的观测 装置等。这样的装置，例如培养显微镜为了观察并正确评价各个细胞和细胞之间的运动状 态，需要利用硬件或软件保证视野内的各个细胞的空间位置，生成隔时图像。这里，为了利用机械部件以硬件方式保证视野内的各个细胞的空间位置，S卩，包括 摄像装置的观察光学系统与观察对象的相对位置，为了抑制温度漂移的影响，需要使用热 膨胀系数极低的超级般钢(superinvar)和陶瓷等价格昂贵的材质来构成部件，或配置位 置校准用的校准光学系统等，使装置整体复杂化、高价化。并且，如果要使观察光学系统与 观察对象的相对位置偏差最小化，则需要把观察光学系统与观察对象的相对位置固定，来 连续观察1个观察对象。为了克服这些缺点而能够适宜更换多个观察对象进行观察，提出 有一种针对断续拍摄的图像，通过取得图像全体的相关，以软件方式进行图像之间的位置 修正的方法(例如参照专利文献1)。专利文献1 日本特开2006-23494号公报这里，在通过在各个图像之间取得图像全体的相关，进行位置修正的情况下，需要 使视野内的各个细胞随机运动，且图像全体的重心静止的假设成立。因此，存在的问题是， 例如在灰尘或气泡等观察对象以外的物体在视野内流动的情况下，随机运动的假设被打 破，造成了随着观察对象以外的物体的变位，进行位置修正的情况。

发明内容
本发明就是鉴于上述问题而提出的，其目的是提供一种提高了断续拍摄的各个图 像间的位置修正精度的隔时图像的图像处理技术。根据本发明的第1实施方式，提供一种隔时图像的图像处理方法，其特征在于，取 得由摄像装置拍摄到位于视野内的多个物体(例如，实施方式中的细胞Cl、C2)的第1图 像、和在经过了规定的时间后由摄像装置拍摄到位于视野内的多个物体的第2图像，使用 加权后的相关函数，计算出针对第1图像和第2图像的摄影位置的相对位置偏差的位置修 正值，其中该加权是与在上述第1图像和上述第2图像中包含的各个上述物体的图像特征 量相对应的，根据位置修正值，在第1图像和第2图像的图像之间进行位置修正，生成隔时 图像。根据本发明的第2实施方式，提供一种隔时图像的图像处理程序，其特征在于，包 括取得由摄像装置拍摄到位于视野内的多个物体(例如，实施方式中的细胞Cl、C2)的第1图像、和在经过了规定的时间后由摄像装置拍摄到位于视野内的多个物体的第2图像的 取得步骤；使用加权后的相关函数，计算出针对第1图像和第2图像的摄影位置的相对位置 偏差的位置修正值的步骤，其中该加权是与在上述第1图像和上述第2图像中包含的各个 所述物体的图像特征量相对应的；根据位置修正值，在第1图像和第2图像的图像之间进行 位置修正的步骤，使用在图像之间进行了位置修正的第1图像和第2图像，生成隔时图像。根据本发明的第3实施方式，提供一种隔时图像的图像处理装置，其特征在于，具 有拍摄多个物体的摄像装置；图像解析部，其从由摄像装置以规定的时间间隔拍摄到的 第1图 像和第2图像，解析出在各个图像中包含的各个物体的特征量；位置修正值计算部， 其使用加权后的相关函数，计算出针对第1图像和第2图像的摄影位置的相对位置偏差的 位置修正值，其中该加权是与所解析出的各个上述物体的上述图像特征量相对应的；图像 间位置修正部，其根据在位置修正值计算部中计算出的位置修正值，在第1图像和第2图像 的图像之间进行位置修正，构成为，由图像间位置修正部，使用在图像之间进行了位置修正 的第1图像和第2图像，生成隔时图像。根据上述的隔时图像的图像处理方法、图像处理程序、和图像处理装置，由于使用 基于在视野内包含的多个物体的图像特征量的加权的相关函数计算出多个图像之间的位 置修正，所以，可提供一种提高了对断续拍摄的各个图像之间的位置修正的精度的隔时图 像的图像处理技术。


图1是第1实施方式的图像处理程序的流程图。图2是作为本发明的适用例表示的培养观察系统的概要结构图。图3是上述培养观察系统的方框图。图4是模式表示用于说明以往的位置修正的显微观察像的模式图。图5是表示图像处理装置的概要结构的方框图。图6是模式表示对细胞作用了外压的状况的俯视图和剖面图。图7是第2实施方式的图像处理程序的流程图。图8是第3实施方式的图像处理程序的流程图。附图标记说明BS_培养观察系统；C1、C2_细胞(物体)；GP (GPl GP3)-图像处 理程序；55-显微观察系统(55c摄像装置)；100 (101 103)-图像处理装置；110-图像解 析部；120-位置修正值计算部；130-图像间位置修正部；140-特征量存储部；150-模式选 择开关(模式选择单元)。
具体实施例方式下面，参照附图，对用于实施本发明的实施方式进行说明。作为应用本发明的隔时 图像的图像处理装置的系统的一例，在图2和图3中分别图示了培养观察系统的概要结构 图和方框图。该培养观察系统BS大体上由设在箱体1的上部的培养室2、收容并保持多个培养 容器10的货架状的储料器3、观察培养容器10内的试验料的观察单元5、把培养容器10在 储料器3与观察单元5之间搬运的搬运单元4、控制系统的动作的控制单元6、具备了图像显示装置的操作盘7等构成。培养室2是形成并维持与要培养的细胞的种类和目的等对 应的培养环境的室，为 了防止环境变化和污染而在投入样品后保持密闭状态。作为培养室2的附带设备，设有使 培养室内的温度升温、降温的温度调整装置21、调整湿度的加湿器22、供应CO2和N2等气体 的气体供应装置23、用于使培养室2整体的环境均勻的循环风扇24、检测培养室2的温度 和湿度的环境传感器25等。由控制单元6控制各个设备的动作，把基于培养室2的温度、湿 度、二氧化碳浓度等规定的培养环境维持在与在操作盘7中设定的培养条件一致的状态。储料器3形成为在图2中的与纸面正交的前后方向和上下方向分别被分隔为多个 的货架状。各个货架分别设有固有的地址，例如在把前后方向设为A C列、把上下方向设 为1 7层的情况下，A列5层的货架被设定为A-5。培养容器10具有烧瓶、盘、井板等种类，并具有圆形、方形等形态和尺寸，可根据 要培养的细胞的种类和目的选择使用适宜的容器。在本实施方式中，举例说明了使用盘的 结构。把细胞等的试验料、与添加了酚红等PH试剂的液体培养基一同注入培养容器10中。 对培养容器10付与代码编号，与储料器3的指定编号对应收容。另外，在培养容器10中，根 据容器的种类和形态等形成的搬送用容器托架，以装入的状态被收容保持在各个货架中。搬送单元4由在培养室2内部可上下方向移动设置的，基于Z轴驱动机构升降的 Z台41、可前后方向移动地安装在Z台41上的基于Y轴驱动机构而前后移动的Y台42、和 可左右方向移动地安装在Y台42上的基于X轴驱动机构而向左右移动的X台43等构成， 在相对Y台左右移动的X台43的前端侧，设有将培养容器10抬起支撑的支撑臂45。搬送 单元4构成为使支撑臂45具有在储料器3的全部货架与观察单元5的试验料台15之间可 移动的移动范围。X轴驱动机构、Y轴驱动机构、Z轴驱动机构，例如由滚珠丝杠和带编码器 的伺服电机构成，由控制单元6控制其工作。观察单元50由第1照明部51、第2照明部52、第3照明部53、进行试验料的宏观 观察的宏观观察系统54、进行试验料的微观观察的微观观察系统55、图像处理装置100等 构成。试验料台15由具有透光性的材质构成，并且在显微观察系统55的观察区域设有透 明的窗部16。第1照明部51由设在下部框架Ib侧的面发光光源构成，从试验料台15的下侧对 培养容器10整体进行背光照明。第2照明部52具有LED等光源、和由相位环和聚光透镜 等构成的照明光学系统，并被设置在培养室2内，从试验料台15的上方沿着显微观察系统 5的光轴，对培养容器中的试验料进行照明。第3照明部53具有由可分别射出适合进行落 射照明观察和荧光观察的波长的光的多个LED和水银灯等光源、和把从各个光源射出的光 重叠在显微观察系统55的光轴上的分光镜和荧光滤镜等构成的照明光学系统，其被配置 在培养室2下侧的下部框架Ib内，从试验料台15的下方沿着显微观察系统5的光轴，对培 养容器中的试验料进行照明。宏观观察系统54具有观察光学系统54a、和对由观察光学系统成像的试验料的像 进行拍摄的CXD照相机等摄像装置54c，其位于第1照明部51的上方，并被设在培养室2 内。宏观观察系统54拍摄由第1照明部51背光照明的培养容器10的从上方观察的全体 观察图像(宏观像)。微观观察系统55具有物镜、中间变倍透镜、和荧光滤镜等构成的观察光学系统55a、和拍摄由观察光学系统55a成像的试验料的像的，冷却CXD照相机等摄像装置55c，其 被设置在下部框架Ib的内部。分别设置有多个物镜和中间变倍透镜，并且构成为使用省略 了详细图示的转换器和滑块等变位机构可设定多个倍率的结构，其根据初始选择的透镜设 定，能够在例如2倍 80倍等的范围内变倍。显微观察系统55拍摄通过显微镜观察了由 第2照明部52照明的，透过了细胞的透过光、或由第3照明部53照明的，从细胞反射的反 射光、或由第3照明部53照明的，从细胞发出的荧光的显微观察像(微观像)。图像处理装置100对从宏观观察系统的摄像装置54c和显微观察系统的摄像装置55c输入的信号进行A/D转换，并且实施各种图像处理，生成整体观察图像或显微观察图像 的图像数据。另外，图像处理装置100对这些观察图像的图像数据实施图像解析，进行隔时 图像的生成和细胞的移动量计算等。图像处理装置100具体是通过执行在后述的控制装置 6的ROM中保存的图像处理程序构筑而成。另外，关于图像处理装置100，将在后面详细说 明。控制单元6具有CPTO1、设定并保存了控制培养观察系统BS的动作的控制程序、 用于控制各部的数据的R0M62、暂时保存图像数据等的RAM63等，并且构成为由数据总线把 这些连接的结构。控制单元6的输入输出口与培养室2中的温度调整装置21、加湿器22、 气体供应装置23、循环风扇24、环境传感器25、搬送装置4中的X、Y、Z台43、42、41的各轴 的驱动机构、观察单元5中的第1、第2、第3照明部51、52、53、宏观观察系统54、显微观察 系统55、操作盘7中的操作面板71、和显示屏72等连接。从上述各部向CPU61输入检测信 号，由CPU61根据预先设定的控制程序，控制上述各部。在操作盘7上设有设置了键盘、片式开关、和对磁记录介质或光盘等进行信息的 读出和写入的读/写装置等输入输出装置的操作面板71、以及显示各种操作画面和图像数 据等的显示屏72，通过一边参照显示屏72，一边利用操作面板71输入观察程序(动作条 件)的设定和条件选择、和动作指令等，通过CPU61使培养观察系统BS的各部动作。艮口， CPU61根据来自操作面板71的输入，进行培养室2的环境调整、培养室2内的培养容器10 的搬送、基于观察单元5的试验料的观察、取得的图像数据的解析、和在显示屏72上的显示 等。在显示屏72上，除了显示动作指令和条件选择的输入画面以外，还显示培养室2的环 境条件的各个数值、被解析的图像数据、和发生异常时的警告等。另外，CPU61通过根据有 线或无线的通信规格构成的通信部65，能够在与外部连接的计算机等之间进行数据的发送 接收。RAM63中记录有在操作面板71上设定的观察程序的动作条件、例如培养室2的温 度和湿度等环境条件、每个培养容器10的观察时间安排、观察单元5中的观察种类、观察位 置、观察倍率等观察条件等。另外，还记录有被收容在培养室2中的各个培养容器10的代 码编号、收容了各个代码编号的培养容器10的储料器3的收纳地址等培养容器10的管理 数据、和在图像解析中使用的各种数据。在RAM63中，设有记录由观察单元5拍摄的图像数 据的图像数据存储区域，在各个图像数据中，与其对应地记录有包括培养容器10的代码编 号和摄影时间的索引数据。这样概要构成的培养观察系统BS，根据在操作盘7上设定的观察程序的设定条 件，CPU61根据在R0M62中保存的控制程序控制各部的动作，同时自动地进行培养容器10 内的试验料的摄影。即，如果通过对操作面板71的面板操作(或通过通信部65的远程操作)开始了观察程序，CPU61读取出在RAM64中保存的环境条件的各个条件值，同时检测出 从环境传感器25输入的培养室2的环境状态，根据条件值与实测值的差异，使温度调整装 置21、加湿器22、气体供应装置23、循环风扇24等动作，对培养室2的温度、湿度、二氧化碳 浓度等培养环境进行反馈控制。另外，CPTOl读取出在RAM63中保存的观察条件，根据观察时间安排，使搬送单元4 的X、Y、Z台43、42、41的各轴的驱动机构动作，把观察对象的培养容器10从储料器3搬送 到观察单元5的试验料台15，开始观察单元5的观察。例如，在观察程序中设定的观察是 宏观观察的情况下，把由搬送单元4从储料器3搬送来的培养容器10定位在宏观观察系统 54的光轴上，并载置在试验料台15上，使第1照明部51的光源点灯，从被背光照明的培养 容器10的上方，由摄像装置54c拍摄整体观察像。从摄像装置54c被输入到控制装置6的 信号由图像处理装置100进行处理，生成整体观察图像，其图像数据与拍摄时间等索引数 据等一同被记录在RAM63中。
另外，在观察程序中设定的观察是对培养容器10内的特定位置的试验料的微观 观察的情况下，把由搬送单元4搬送来的培养容器10的特定位置定位在显微观察系统55 的光轴上，并把其载置在试验料台15上，使第2照明部52或第3照明部53的光源点灯，由 摄像装置55c拍摄基于透过照明、落射照明、荧光的显微观察像。由摄像装置55c拍摄的， 被输入到控制装置6的信号，由图像处理装置100进行处理，生成显微观察图像，该图像数 据与拍摄时间等索引数据等一同被保存在RAM63中。CPU61对被收容在储料器3中的多个培养容器的试验料，按照基于观察程序的 30分钟 2小时左右的时间间隔的观察时间安排，顺序进行上述那样的观察，并顺序进行 整体观察像和显微观察像的摄影。在本实施方式中，摄影的时间间隔可以固定，也可以不 同。摄影的整体观察像和显微观察像的图像数据，与培养容器10的代码编号一同被保存在 RAM63的图像数据存储区域中。被记录在RAM63中的图像数据，根据从操作面板71输入的 图像显示指令，被从RAM63中读出，在操作盘7的显示屏72上显示指定时刻的整体观察图 像和显微观察图像(单体图像)、或指定时间层的整体观察像和显微观察像的隔时图像。这样，在培养观察系统BS中，根据观察程序的设定，把成为对象的培养容器10从 储料器3由搬送装置4搬送到观察单元，并定位在指定的观察系统的光轴上，由摄像装置进 行拍摄。即，在培养观察系统BS中，观察对象的试验料和观察系统在每次进行观察时，进行 相对移动。因此，对于多次的观察，难以通过硬件使观察对象与观察系统的相对位置关系保 持一致，尤其是观察倍率越高，越困难。因此，由摄像装置54c、55c拍摄的图像相对试验料 的位置(试验料的视野位置)，在每次观察时出现微妙的差异，在RAM63中记录的多个图像 之间不可避免地产生观察视野的位置偏差。这样的位置偏差，在连续回放断续拍摄的多个图像，通过压缩时间轴，以使在现实 的时间轴上难以目视把握的试验料的变化状态，如动画那样动态变化，生成可视化的隔时 图像时，成为使图像品质劣化的重大的原因。因此，以往是采用把观察对象是随机运动的情 况作为前提，对断续拍摄的图像，取得图像整体的相关，进行图像之间的位置修正的方法。但是，在观察系统的视野内，例如除了细胞等观察对象以外，有时候还会包含灰尘 和气泡等那样的观察对象以外的物体(被称为非对象物)，这样的非对象物随着培养容器 10的搬送的培养基的流动、和受基于循环风扇24的动作而产生的风的影响而在视野内浮动的情况下，将导致进行了随着非对象物的变位的位置修正。另外，即使是在视野内不包含非对象物的情况，多数情况也是观察对象的细胞 (单一细胞和细胞块)的尺寸大小不同、或包含特性不同的多个细胞。在这样的例子中， 在容易受外力影响的尺寸小的细胞和浮游性的细胞在基于培养基的流动和风的压力等“外 压”，发生大的移动的情况下，也会导致进行了很大程度受这样的细胞移动的影响的位置修 正。图4(1) (3)是为了说明进行上述那样的位置修正的状况，模式地表示利用显微 观察系统55观察了包含不同尺寸的细胞的试验料时的显微观察像的图。各个图中Cl是与 培养容器的接地面积大的细胞，C2是与培养容器的接地面积小的细胞。图4的(1)是在可进行位置修正的时刻t，由摄 像装置55c拍摄的显微观察图像。 图中标记的箭头表示，在未作用培养基的流动和风的压力等的外压的情况下，在下一个观 察时间的时刻t+Ι观察的各个细胞的移动量。如该图所示，一般的倾向于，接地面积大的细 胞Cl的移动量小，接地面积小的细胞C2的移动量大。图4的(2)是在(1)所示的状态下，从图中的下方向上方作用了外压P的情况下 的显微观察图像，与(1)同样，用箭头表示在作为下一个观察时间的时刻t+Ι观察的各个细 胞的移动量。接地面积小的细胞C2容易受培养基的流动和风的压力等外压的影响，相比接 地面积大的细胞Cl，向上方的移动量大。在这样的情况下，利用时刻t的图像和时刻t+Ι的 图像的图像整体的相关值求出的位置修正量，成为相对显微观察系统55的光轴的观察对 象的定位误差、和基于外压P的影响的移动量的合计值。图4的(3)是根据时刻t的图像、和利用(2)的图像整体的相关值进行了位置修 正的时刻t+Ι的图像，计算出了各个细胞Cl、C2的移动量的情况下的图像。对于图像之间 的位置修正，由于过分修正了基于外压P的影响的移动量，所以基于外压P向上方移动的细 胞C2的移动量被算得小，而对本来几乎未移动的大的细胞Cl却计算出了向下方的移动量。为了消除这样的不良现象，在培养观察系统BS中构成为，对根据观察时间安排断 续拍摄的时刻t的第1图像和时刻t+Ι的第2图像，不采用图像整体的相关值进行位置修 正，而使用进行了与在视野内包含的物体的图像特征量对应的加权的相关函数，进行位置 修正。图5用方框图表示进行上述位置修正的图像处理装置100的概要结构。另外，图 像处理装置100(101 103)构成为，由CPTOl读取预先设定并保存在R0M62中的图像处理 程序GP(GP1 GP3)，由CPU61执行基于图像处理程序GP的处理的结构。图1表示第1实 施方式的图像处理程序GPl的流程图。图像处理装置100具有从由摄像装置(54c、55c)以规定的观察间隔拍摄的第1 图像和第2图像中，解析出在各个图像中包含的各个物体的图像特征量的图像解析部110、 使用进行了与解析出的各个物体的图像特征量对应的加权的相关函数，计算出针对第1图 像与第2图像的摄影位置的相对位置偏差的位置修正值的位置修正值计算部120、和根据 在位置修正值计算部中计算出的位置修正值，进行第1图像和第2图像的图像之间的位置 修正的图像间位置修正部130，并且构成为，使用由图像间位置修正部在图像之间进行了位 置修正的第1图像和第2图像，生成隔时图像。(第1实施方式)
第1实施方式的图像处理装置101构成为，由CPTOl执行第1实施方式的图像处 理程序GP1。该图像处理装置101作为第1图像和第2图像中包含的物体的图像特征量，以 基于物体外形的特征量为基准，使用进行了对应于特征量的加权的相关函数，进行针对位 置偏差的位置修正。
在图像处理程序GPl中，首先在步骤SllO中，读出并取得被记录在RAM63中的时 刻t的第1图像、和时刻t+Ι的第2图像，在步骤S120中，对各个区域进行分区。为了分区， 可使用公知的各种方法，例如，可列举出基于辉度值的2值化、基于分散值的2值化、Snakes 和LevelSet法等动态轮廓抽出法等。然后，在步骤S130中，进行基于被分区的各个区域的外形的特征量(形状特征) 的解析。作为基于外形的特征量，例如是区域的宽度和长度、面积(大小)、形状的复杂程度 (周围长度7面积)等。在实施例中，说明作为基于外形的特征量关注细胞的接地面积，并 规定了区域的面积的情况。在步骤S135中，对被分区的各个区域的面积，作成频度分布，然 后进入步骤S140。在步骤S140中，判断在步骤S135中作成的频度分布是否能够用1个正态分布模 型化，在能够用1个正态分布表现的情况下，进入步骤S150A，在不能用1个正态分布模型 化，而可用多个正态分布之和表现的情况下，进入步骤S150B。例如，在图4所示的图像的情 况下，在步骤S135中作成的频度分布，由于用接地面积大的细胞Cl的分布和接地面积小的 细胞C2的分布的2个分布表现，所以进入步骤S150B。在步骤S150A中，对被分区化的各个区域进行标定，对每个区域计算出面积，在步 骤S155A中指定基于面积值的加权。在步骤S150B中，根据被分离的分布分级(例如分成 接地面积大的细胞Cl的级别、和接地面积小的细胞C2的级别的2个级别)，在步骤155B中 对每个级别指定加权。这里，对加权的函数进行考察。图6是模式表示对某个细胞C从下方作用了外压 P的状况的俯视图(1)、和剖面图(2)。在假设对观察对象的细胞C施加了一定的外压P的 情况下，外压P作用于任意细胞Cj的外力(使细胞移动的力)Fj，在把与外压P垂直的面的 剖面面积设为S」时，成为。-ρ χ Sj,与该细胞q的剖面面积Sj成比例。在细胞C是单层 细胞的情况下，由于核细胞的厚度一定，所以，如果把与外压P正交方向的宽度设为Lp则成 为Fj - PXL」，外压P作用于细胞Cj的外力Fj与宽度Lj成比例。另一方面，细胞的质量W与体积成比例，如果把细胞Cj的立体形状近似为直径Lj 的圆柱，则体积\与直径的乘方、即，细胞q的外压正交方向的宽度h的乘方量成比例。因 此，与培养容器10底部接触的细胞的摩擦力(摩擦阻力μ Wj)与Lj_2成比例。因此，对细胞的移动的外压P的影响度(移动易度/移动难度)，即使在只单纯考 虑了摩擦力的情况下，也是与Lf1成比例地增加移动难度，越是大的细胞，越不容易受外压 P的影响。实际上，由于根据细胞的接地面积，摩擦系数μ也不同，所以，加权的函数成为比 L—1更陡峭的函数。在R0M62中，预先保存有根据上述那样的考察而计算出的与细胞接地面积的大小 对应的加权的函数gj，在步骤S155A、S155B中，指定与各个细胞Cj的大小和各个级别的平 均尺寸对应的加权的函数gp然后进入步骤S170。在步骤S170中，作成对每个区域指定的加权函数gj的对照表，在步骤S180中，在时刻t的第1图像与时刻t+Ι的第2图像之间，使用上述加权的函数值计算出图像之间的 相关值。然后，把相关值的总和成为了最大时的图像之间的移动量，作为起因于定位误差的 移动量，并把其作为第1图像与第2图像之间的位置修正量(相对第1图像的第2图像的 位置修正值)，记录在RAM63中，然后进入步骤S190。
在步骤S190中，根据在步骤S180中计算出的位置修正量，进行第1、第2图像之间 的位置修正。例如，在从操作面板71向CPU61输入了隔时图像的生成指令的情况下，使用 被位置修正的第1图像和第2图像生成隔时图像。另外，在通过操作面板71选择了计算各 个细胞的移动量的处理，其指令被输入到CPU61的情况下，使用被位置修正的第1图像和第 2图像，计算出在其之间的各个细胞的移动量，并利用例如图4所示那样的箭头的方向和长 度进行矢量显示。在通过执行这样的图像处理程序GPl而构成的图像处理装置101中，作为物体的 图像特征量而抽出基于物体的外形的特征量，通过附加基于特征量的加权，取得多个图像 之间的相关，把相关值的总和成为最大时的移动量作为位置修正量计算出来，执行多个图 像之间的图像处理。因此，即使是在观察视野内包含灰尘和气泡等那样的观察对象以外的 物体、或包含观察对象的动态特性不同的多个细胞的情况，也能够进行正确的位置修正，由 此，可提高断续拍摄的图像之间的位置修正的精度。(第2实施方式)下面，对第2实施方式的图像处理装置102进行说明。本实施方式的图像处理装 置102，作为物体的图像特征量而以位于视野内的物体的纹理构造的特征量为基准。S卩，作 为硬件资源的图像控制装置的装置结构与第1实施方式的图像处理装置101相同，但在图 像处理过程中，成为判断的对象的图像特征量与第1实施方式的图像处理装置101不同。图 7表示通过由CPTOl读取并执行而构成图像处理装置102的图像处理程序GP2的流程图，下 面，利用该基于图像处理程序GP2的处理流程，对本实施方式的图像处理方法进行说明。在图像处理程序GP2中，首先在步骤S210中，读出被记录在RAM63中的时刻t的 第1图像和时刻t+Ι的第2图像，在步骤S220中对各个区域进行分区。关于分区的方法， 可以使用与上述相同的各种方法。然后，在步骤230中，对被分区的各个区域进行基于纹理构造的特征量(纹理特 征)的解析。作为基于纹理构造的特征量，例如是被分区的区域的图案和分散、核的有无 等。在实施例中，说明作为基于纹理构造的特征量而关注细胞像的分散，并规定了区域的 分散的情况。在步骤S235中，对被分区的各个区域的分散，作成频度分布，然后进入步骤 S240。在步骤S240中，判断在步骤S235中作成的频度分布是否能够用1个正态分布模 型化，在能够用1个正态分布表现的情况下，进入步骤S250A，在不能用单1个正态分布模型 化，而可用多个正态分布之和表现的情况下，进入步骤S250B。在步骤S250A中，对被分区化的各个区域进行标定，在步骤S255A中指定基于面积 值的加权。在步骤S250B中，对每个正态分布进行分级(例如，根据分散值进行从分散值大 的细胞的级别到分散值小的细胞的级别的3个级别分类)，在步骤255B中，指定每个级别的 加权。加权的函数可以与第1实施方式同样地使用与各个细胞的接地面积的大小(或级另Ij)对应的加权的函数&。另外，在纹理构造的特征量被分类为多个级别，并且该级别是 起因于细胞的种类和成长阶层的不同的情况下，可以使用与各自的动态特性对应的加权的 函数。在R0M62中，预先保存有根据这样的考察而设定的加权的函数，在步骤S255A、S255B 中，指定加权的函数，然后进入步骤S270。在步骤S270中，作成对每个区域指定的加权函数的对照表，在步骤S280中，在时 刻t的第1图像与时刻t+Ι的第2图像之间，使用上述加权的函数值计算出图像之间的相 关值。然后，把相关值的总和成为了最大时的图像之间的移动量作为起因于定位误差的移 动量，并把其作为第1图像与第2图像之间的位置修正量记录在RAM63中，然后进入步骤 S290。在步骤S290中，根据在步骤S280中计算出的位置修正量，进行第1、第2图像之间 的位置修正。而且，在从操作面板71向CPU61输入了隔时图像的生成指令的情况下，或向 CPU61输入了计算细胞的移动量的指令的情况下，CPU61使用被位置修正的第1图像和第2 图像生成隔时图像，或者，如图4所示那样，利用箭头，矢量显示各个细胞的移动量。
在通过执行这样的图像处理程序GP2而构成的图像处理装置102中，作为物体的 图像特征量而抽出基于物体的纹理构造的特征量，通过附加基于特征量的加权，取得多个 图像之间的相关，计算出位置修正量，执行多个图像之间的图像处理。因此，即使是在观察 视野内包含灰尘和气泡等那样的非对象物的情况、或包含观察对象的动态特性不同的多个 细胞的情况，也能够进行正确的位置修正，由此，可提高断续拍摄的图像之间的位置修正的 精度。(第3实施方式)下面，对第3实施方式的图像处理装置103进行说明。该图像处理装置103，如图 5中用虚线所示那样，在上述的各个实施方式的图像处理装置101、102的基础上，增加了对 图像特征量保存多种特征量的存储部140、和选择在特征量存储部140中设定的特征量种 类的模式选择开关150，构成为，位置修正值计算部120可使用基于通过模式选择开关150 所选择的特征量的加权的相关函数，计算出位置修正值。图8表示由CPTOl读取并执行而构成图像处理装置103的图像处理程序GP3的流 程图，下面，根据该图像处理程序GP3说明本实施方式的图像处理方法。在图像处理程序GP3中，首先在步骤S310中，读出并取得被记录在RAM63中的时 刻t的第1图像、和时刻t+Ι的第2图像，在步骤S320中，对各个区域进行分区。关于分区 的方法，与上述相同可以采用各种方法。然后，在步骤S330中，在各个区域中从被分区的图像中抽出并指定1个进行加权 的对象。例如是，在图4所示的图像中，抽出面积大的细胞Cl，并指定为加权对象，然后进入 步骤S340。在步骤S340中，对于从RAM63取得的第1图像和第2图像，判断是否在上述指定 对象以外存在成为加权对象的区域。然后，在判断为，如在除了在步骤S330中指定的指定 对象的细胞Cl以外，还存在面积小的细胞C2时那样，在指定对象以外存在成为加权对象的 区域的情况下，进入步骤S345，在判断为不存在其他对象区域的情况下，进入步骤S370。在步骤S345中，在显示屏72中显示选择在特征量存储部140中设定的特征量的 种类的模式选择画面。该模式选择画面在从RAM63取得的图像中，可区别地显示有在步骤S330中抽出的指定对象(细胞Cl)、和成为加权对象的其他区域(细胞C2)。虽然可在模式 选择画面上，对应特征量的选择来适宜设定可选择的模式，但例如图8所示那样，设定有手 动模式、形状特征量模式、和纹理特征量模式。操作培养观察系统的操作者通过操作模式选 择开关150，能够以任意模式执行位置修正处理。 在通过模式选择开关150选择了手动模式的情况下，在步骤S346中设定为手动模 式，然后返回步骤S330，操作者通过操作操作面板71，能够自己进行加权对象的指定区域 的追加和删除。在通过模式选择开关150选择了特征量模式的情况下，进入步骤S350A，设定为形 状特征量模式，进行基于形状特征量的分级。例如如对第1实施方式的图像处理装置101 说明的那样，对被分区的区域进行分级，分成接地面积大的细胞Cl的级别、和接地面积小 的细胞C2的级别。在通过模式选择开关150选择了纹理量模式的情况下，进入步骤S350B，设定为纹 理特征量模式，进行根据纹理特征量的分级。例如如对第2实施方式的图像处理装置102 说明的那样，对被分区的区域进行分级，分成分散值大的细胞的级别、和分散值小的细胞的 级别。然后，在步骤S360中，把与指定区域相同级别的区域加在加权对象区域中，在步 骤S370中，在指定了加权函数的基础上，作成加权对照表。加权函数与上述的图像处理装 置101、102同样，可使用与各个细胞的接地面积大小和级别对应的加权函数gj，或者，在相 当于根据细胞的种类和成长阶层的不同的级别分类的情况下，可以使用基于各自的特性的 加权的函数。在步骤S370中作成了加权函数的对照表后，在步骤S380中，在时刻t的第1图像 和时刻t+Ι的第2图像之间，使用上述加权的函数值计算出图像之间的相关值。然后，把相 关值的总和成为了最大时的图像之间的移动量作为起因于定位误差的移动量，并把其作为 第1图像与第2图像之间的位置修正量，记录在RAM63中，然后进入步骤S390。在步骤S390中，根据在步骤S380中计算出的位置修正量，进行第1、第2图像之间 的位置修正。另外，在从操作面板71向CPU61输入了隔时图像的生成指令的情况下，或者 向CPU61输入了计算细胞的移动量的指令的情况下，CPU61使用被位置修正的第1图像和 第2图像生成隔时图像，或者如图4所示那样，使用箭头，矢量显示各个细胞的移动量。通过这样地执行图像处理程序GP3而构成的图像处理装置103，作为物体的图像 特征量而在特征量存储部140中预先设定并保存有多种特征量，通过进行基于利用模式选 择开关150选择的特征量的加权，取得多个图像之间的相关，计算出位置修正量，执行多个 图像之间的图像处理。因此，即使是在观察视野内包含灰尘和气泡等那样的观察对象以外 的物体的情况、或包含观察对象的动态特性不同的多个细胞的情况，也能够根据观察对象 的种类和状态，选择适当的特征量，进行正确的位置修正，由此，可提高断续拍摄的图像之 间的位置修正的精度。如以上说明的那样，根据本发明的图像处理程序GP (GPl GP3)、通过执行这些图 像处理程序而构成的图像处理方法和图像处理装置100(101 103)，由于使用基于视野内 的物体的图像特征量的加权的相关函数进行图像之间的位置修正，所以，可实现提高了断 续拍摄的图像之间的位置修正精度的隔时图像的图像处理技术。
另外，在实施方式中，举例说明了把本发明的隔时图像的图像处理装置应用在培养观察系统中的情况，但本发明不限于此实施方式，也可以同样地应用在以规定的时间间 隔取得多个图像，并把这些图像连续回放的其他装置中，并可获得同样的效果。作为一例， 简单说明观察在海域中移动的船舶的移动状况的观察装置，作为基于外形的特征量，例如 是船舶的形态(渔船、客船、集装箱船、驱逐舰等)、大小(排水量)、和高度、作为基于纹理 构造的特征量，例如是船体的颜色和分散等，作为外压，例如是潮水的流动和风的状态等。 作为其他装置，例如是观测车辆的阻塞状况的道路信息观测装置、监视人的移动状态的监 视装置等。
权利要求
一种隔时图像的图像处理方法，其特征在于，取得由摄像装置拍摄到位于视野内的多个物体的第1图像、和经过了规定的时间后由所述摄像装置拍摄到位于视野内的多个所述物体的第2图像，使用加权后的相关函数，计算出针对所述第1图像和所述第2图像的摄影位置的相对位置偏差进行位置修正的位置修正值，其中该加权是与在所述第1图像和所述第2图像中包含的各个所述物体的图像特征量相对应的，根据所述位置修正值，在所述第1图像和所述第2图像的图像之间进行位置修正，生成隔时图像。
2.根据权利要求1所述的隔时图像的图像处理方法，其特征在于，所述图像特征量是 基于所述物体的外形的特征量。
3.根据权利要求1所述的隔时图像的图像处理方法，其特征在于，所述图像特征量是 基于所述物体的纹理构造的特征量。
4.一种隔时图像的图像处理程序，其特征在于，包括取得由摄像装置拍摄到位于视野内的多个物体的第1图像、和在经过了规定的时间后 由所述摄像装置拍摄到位于视野内的多个所述物体的第2图像的步骤；使用加权后的相关函数，计算出针对所述第1图像和所述第2图像的摄影位置的相对 位置偏差进行位置修正的位置修正值的步骤，其中该加权是与在所述第1图像和所述第2 图像中包含的各个所述物体的图像特征量相对应的；根据所述位置修正值，在所述第1图像和所述第2图像的图像之间进行位置修正的步骤，使用在图像之间进行了位置修正的所述第1图像和所述第2图像，生成隔时图像。
5.根据权利要求4所述的隔时图像的图像处理程序，其特征在于，所述图像特征量是 基于所述物体的外形的特征量。
6.根据权利要求4所述的隔时图像的图像处理程序，其特征在于，所述图像特征量是 基于所述物体的纹理构造的特征量。
7.根据权利要求4所述的隔时图像的图像处理程序，其特征在于，所述图像特征量由预先设定保存的多种特征量构成，并且还包括选择所述特征量的种 类的模式选择步骤，并且构成为，使用与在所述模式选择步骤中选择出的特征量对应的加权的相关函数， 计算出所述偏差量。
8.一种隔时图像的图像处理装置，其特征在于，具有 拍摄多个物体的摄像装置；图像解析部，其从由所述摄像装置以规定的时间间隔拍摄到的第1图像和第2图像，解 析出在各个图像中包含的各个所述物体的所述特征量；位置修正值计算部，其使用加权后的相关函数，计算出针对所述第1图像和所述第2图 像的摄影位置的相对位置偏差进行位置修正的位置修正值，其中该加权是与所解析出的各 个所述物体的所述图像特征量相对应的；图像间位置修正部，其根据在所述位置修正值计算部中计算出的所述位置修正值，在 所述第1图像和所述第2图像的图像之间进行位置修正，并且构成为，使用由所述图像间位置修正部在图像之间进行了位置修正的所述第1图 像和所述第2图像，生成隔时图像。
9.根据权利要求8所述的隔时图像的图像处理装置，其特征在于，所述图像特征量是 基于所述物体的外形的特征量。
10.根据权利要求8所述的隔时图像的图像处理装置，其特征在于，所述图像特征量是 基于所述物体的纹理构造的特征量。
11.根据权利要求8所述的隔时图像的图像处理装置，其特征在于，还具有 特征量存储部，其存储对所述图像特征量预先设定的多种特征量；模式选择单元，其选择在所述特征量存储部中设定的所述特征量的种类， 并且构成为，所述位置修正值计算部，使用与在所述模式选择单元中选择的特征量对 应的加权的相关函数，计算出所述位置修正值。
全文摘要
本发明提供一种隔时图像的图像处理方法。其中包括取得由摄像装置拍摄到位于视野内的多个物体的第1图像、和在经过了规定的时间后由摄像装置拍摄到位于视野内的多个上述物体的第2图像的步骤(S110)；使用进行了与在第1图像和第2图像中包含的各个物体的图像特征量相应的加权的相关函数，计算出针对第1图像和第2图像的摄影位置的相对位置偏差的位置修正值的步骤(S180)；和根据位置修正值，在第1图像和第2图像的图像之间进行位置修正的步骤(S190)，构成为，使用进行了位置修正的第1图像和第2图像，生成隔时图像。
文档编号G06T1/00GK101868808SQ20088011729
公开日2010年10月20日 申请日期2008年12月18日 优先权日2007年12月20日
发明者三村正文, 伊藤启 申请人:株式会社尼康