专利名称：微小物操作设备的制作方法
技术领域：
本发明涉及备有光学显微镜、电子显微镜、扫描式显微镜等的放大观察装置；穿孔器、微量吸液管(micropipette)、注入器(injector)、载物台装置等操作微小对象物的工具；以及驱动工具用的操纵器(manipulator)等的微小物操作设备和微小物操作方法。
背景技术：
作为操作微小物的现有设备，具有图14所示的那样的结构(请参照日本特开平5-323203号专利公报)。图14的设备具有将微型操作器103设置在倒立显微镜中的结构，微型操作器103被配置在倒立显微镜中备有的载物台106的近旁。成为使作为工具的穿孔器104的前端进入载置在载物台106上的培养皿105中的状态。
在载物台106的下方，配置有安装在物镜转换器102上的物镜101。当改变放大倍数时，通过旋转物镜转换器102，切换到别的倍数的物镜101。通过了物镜101的观察光被TV摄像机108变换成电信号发送到监视装置109，在那里显示出来。与此同时，也可以通过目镜107进行直接观察。
又，作为微型操作器103的操作单元，备有由作业者操作的操纵杆113。利用角度检测器112将该操纵杆113的倾斜方向和倾斜角度变换成电信号，输入到CPU(控制电路)111。CPU111根据来自角度检测器112的信号使功率放大器110动作，进行微型操作器103的驱动。
作为显微镜，带有变焦距镜头的显微镜也是众所周知的，如果用这种装置则因为能够连续地改变对象物的放大倍数，所以与图14的用物镜转换器102切换物镜101的方式相比较，能够平稳地进行作业。
在上述现有例中，因为观察系统和工具不协同动作所以存在着下列那样的问题。
即，当一面切换观察倍数一面进行作业，并且作业者使用操纵杆等的命令输入装置来操作工具(例如穿孔器)时，尽管进行了相同的输入但是在监视器等观测到的工具移动量是不同的。
所以，作业者必须觉察观察倍数来调整输入命令，作业变得非常麻烦。特别是当放大倍数大时，在现有例中，使用与低放大倍数相同的命令输入使得工具发生大的移动，难以进行微小的操作。
又，通常，因为高倍数时可以观察的作业空间狭小，所以在最坏的情况下，存在着工具或操作对象物离开视场的危险。进而，相反地，当使增益适合于微小操作用时，当要想在放大倍数小时使工具进行大的移动时会产生问题。
发明内容
本发明是鉴于上述问题做出的，其目的在于提供可以平稳地进行作业的微小物操作设备和微小物操作方法。
为了解决上述问题，本发明的微小物操作设备，其特征在于备有对操作对象物进行操作的工具；能够改变观察操作对象物和工具的放大倍数的观察装置；显示用观察装置观察的操作对象物和工具的放大图像的显示装置；用于操作者输入工具的操作命令信号的命令输入装置；以及根据观察装置的放大倍数和显示装置的放大图像信息或像素信息来决定驱动工具的驱动增益的增益运算装置，根据驱动增益和操作命令信号，对工具进行控制。
根据上述结构，由于是考虑了观察装置的放大倍数和显示装置的放大图像信息(像素信息)的两者而对工具的驱动增益进行决定的，所以，能够比较容易地实现平稳地进行作业的微小物操作设备，而与观察系统的放大倍数(基于光学显微镜等的观察装置的放大倍数以及监视器等的显示装置的放大显示调整率的放大倍数)无关。这种微小物操作设备，不会使操作者感到不协调，不大会产生差错。
此外，显示装置，可以适当地变更观察装置的放大倍数来显示独自的放大倍数的放大图像，这种变更程度被称为放大显示调整率。
根据上述基本结构，可以实现下述更具体的方式。
上述观察装置，是能够连续地改变放大倍数的显微镜，或能够不连续地切换放大倍数的显微镜。
又，该装置还备有通过进行光学系统的位置的检测等来检测上述观察装置的放大倍数的放大倍数检测装置，上述增益运算装置根据放大倍数检测装置检测出的信息和显示装置的放大图像信息(像素信息)来决定工具的驱动增益。
又，该装置还备有根据上述驱动增益和操作命令信号产生工具驱动信号的工具驱动信号发生装置(工具控制电路)、根据工具驱动信号驱动工具的工具驱动装置(工具驱动电路)。
上述增益运算装置，通过使由观察系统的放大倍数和在显示装置上的图像的放大显示调整率相乘得到的放大倍数的变化以相反的关系进行变化，来决定操作增益。
作为这种结构的典型例子，使来自命令输入装置的操作命令信号的量和在显示装置上显示的工具前端的移动量的关系大致恒定，而与观察系统的放大倍数和在显示装置上的图像的放大显示调整率无关。
更具体地说，上述增益运算装置，与观察装置的放大倍数和在显示装置上的图像的放大显示调整率相乘所得到的放大倍数的倒数成正比地，决定驱动增益。
又，该装置还备有用于存储操作者所要的工具驱动信息的存储装置，根据驱动增益、操作命令信号和存储装置中的操作者所要的工具驱动信息，来控制工具。这时，例如，与观察装置的放大倍数和在显示装置上的图像的放大显示调整率相乘所得到的放大倍数的倒数、和操作者所要的工具驱动信息的量成正比地，来决定驱动增益。
上述命令输入装置，可以是在显示装置上的图像中标记工具的前端位置并输入操作命令信号的输入装置。又，能够与多个工具对应地分别备有上述命令输入装置。
又，还可以是这样一种方式，即，备有根据上述显示装置的图像信息对工具进行控制来自动实施由操作者给予的任务的可视控制装置。进一步，该装置还可以是下述，即，当操作对象物或工具离开显示装置的图像视场时，自动地降低观察装置的放大倍数或显示装置上的图像的放大显示调整率，并与此协同地提高工具的操作增益。
在工具中能够包括例如设置并移动操作对象的载物台、把持装置、穿孔装置、吸引装置、切削装置、注入器中的任何1个以上。
进一步，为了解决上述问题，本发明的微小物操作方法，其特征在于，根据能够改变观察操作对象物和工具的放大倍数的观察装置的放大倍数、显示用观察装置观察的操作对象物和工具的放大图像的显示装置的图像信息(像素信息)、和操作者输入的工具的操作命令信号，驱动并控制工具以使得来自命令输入装置的操作命令信号的量和在显示装置上显示的工具前端的移动量的关系大致恒定，而与观察装置的放大倍数和显示装置上的图像的放大显示调整率无关。
如果根据这种方法，一面考虑到观察装置的放大倍数和显示装置的放大图像信息(像素信息)两者，一面根据工具的操作命令信号，在上述方式下驱动并控制工具，所以，操作者能够平稳地进行作业，而不会感到不协调，且不大会产生差错。
从结合附图的下列描述中，本发明的其他特点和优点将变得很清楚，其中在全部附图中在相同或相似的部分上加上相同的参照标号。
附图结合在本说明书中并构成本说明书的一部分，说明本发明的实施形式，并与描述一起，用于解释本发明的原理。
图1是表示本发明的第1实施例的结构的框图。
图2是表示能够在本发明的第1实施例中使用的输入装置的一个例子的图。
图3是表示能够在本发明的第1实施例中使用的输入装置的其它例子的图。
图4是表示能够在本发明的第1实施例中使用的微量吸液管和穿孔器的图。
图5是表示能够在本发明的第1实施例中使用的注入器的图。
图6是表示能够在本发明的第1实施例中使用的载物装置的图。
图7是表示本发明的第2实施例的结构的框图。
图8是表示本发明的第3实施例的结构的框图。
图9是表示本发明的第3实施例的变形例的结构的框图。
图10是表示本发明的第4实施例的结构的框图。
图11是说明本发明的第4实施例的可视伺服的图。
图12是本发明的第5实施例的流程图。
图13是表示使用表示监视器上的工具位置的指示器的例子的图。
图14是表示现有的一般的微小物操作设备的图。
具体实施例方式
下面，我们按照附图详细地描述本发明的优先实施例。
(第1实施例)图1是表示本发明的第1实施例的微小物操作设备的结构的框图。
本实施例的外观结构，除了各单元之间的布线连接外，与图14的外观大致相同。
在本实施例中，操作者1利用显微镜装置100(作为主要结构，具有显微镜控制电路4、变焦距驱动电路5、变焦距镜头6)一面观察细胞等的操作对象物12和工具11，一面进行操作对象物12的移动、姿势控制、加工、组装等的操作。
在显微镜装置100中附有变焦距镜头6，操作者1通过将倍数命令给予显微镜控制电路4，控制变焦距驱动电路5，能够连续地在预定范围内设定任意的倍数。这时所观察的放大像用CCD摄像机3所拍摄，操作者1通过监视器2能够进行观测。
能够通过监视器2观测的放大像和通过显微镜装置4-6观察的放大像的放大倍数不限于相同，通常，在监视器2侧适当地变更显微镜装置100的放大倍数显示独自的放大倍数的放大像。该变更程度(放大显示调整率)例如能够通过操作者1操作在监视器2中显示的操作画面而设定。
通过操作图2、图3所示的操纵杆、鼠标、跟踪球等的指示器件(命令输入单元)8向工具11发出命令。在这种指示器件中安装有未图示的旋转编码器和电位计等，将依照倾斜角度和移动距离等的操作命令发送给工具控制电路9。
此外，如果如图13所示在监视器2上显示出指针p，根据命令输入单元8(光笔等)的移动，显示在监视器2上的工具11的位置的指针p也移动则成为容易直观地了解。
增益运算电路7，检测或输入显微镜的变焦距倍数，并且接受监视器信息(图像信息)，根据显微镜装置100的变焦距倍数和监视器图像信息或像素信息(监视器图像的放大显示调整率)两者，计算出驱动工具11的增益Ga。
设定上述增益，使得从命令输入单元8给予的命令信号的量(命令操作量)和监视器2上的工具11的终端操纵器的移动量的关系保持大致恒定，而与显微镜装置的变焦距倍数和监视器图像的放大显示调整率无关。这时，如果令显微镜的变焦距倍数为A、被进一步加到变焦距倍数的监视器图像的放大显示调整率为B、驱动增益为Ga时，计算出增益，使得大致为Ga∝1/(AB)。
进一步，使这样计算出的增益与来自命令输入单元8的信号相乘，并输入到工具控制电路9，根据来自它的工具驱动信号，由工具驱动电路10驱动工具11。因此，命令输入单元8的输入量(操作者1的操作量)和监视器2上的移动以大致恒定的关系成正比，而与显微镜装置100的变焦距倍数和监视器图像的放大显示调整率无关。
在以上的说明中，所述工具11，是指图4或图14所示的操纵器103和穿孔器104，图4所示的微量吸液管13、16，图5所示的注入器14，图6所示的载物台装置15等。
在图4中，用保持用的微量吸液管13、穿孔器(微针)104、注入核的微量吸液管16，对作为操作对象12的细胞进行处理。
在该处理中，对来自图2或图3所示的命令输入单元8的相同操作量的命令，在监视器2上显现出的这些工具11的前端的移动为大致相同的移动，而与显微镜装置100的变焦距倍数和监视器图像的放大显示调整率无关，所以，一面观察监视器2一面进行作业，其效率是非常高的，能够防止发生因过大的操作输入引起的事故等。
假定使用对微小物注入粘合剂或核等的附加物的图5的注入器14，一面观察核等的粒子一面进行注入的情形。在现有的例子中，当观察倍数较大时，只使命令输入单元8进行稍许的移动，就会使粒子发生较大的移动，则会伤害对象物，或注入过多的个数。
与此相反，根据本实施例的结构，因为命令输入单元8的输入信号和观察图像的移动的关系总是大致恒定的，所以，能够平稳地进行从粗调到微调的作业。
又，例如，如果要移动操作对象物，则存在着用操纵器进行移动的方法和移动载物台的方法，但是，即便在图6所示的移动载物台装置15的情形中，如本实施例那样，如果根据在监视器2上的放大倍数，改变对输入信号的驱动增益，则也能得到相同的效果，并大幅度地提高作业性。
不过，增益运算电路7的增益，也可以不严格地与监视器2上的放大倍数成反比。例如，如果根据显微镜装置100的变焦距倍数和监视器2的放大显示调整率的最终放大倍数增大，则增益减小。即便形成对于一方的变化而另一方反向地变化的关系，也能够得到同样的改善操作性的效果。
又，即便显微镜装置100的变焦距机构置换为图14所示的物镜转换器式(revolver-type)的放大机构，也是有效的。即，如果是在接受变焦距机构的放大倍数和监视器的放大显示调整率后，由增益运算电路7得到最终的显示放大倍数的结构，则显微镜装置100的变焦距机构或监视器2的放大显示调整率设定机构，可以是任何样式的机构。
(第2实施例)图7是表示本发明的第2实施例的微小物操作设备的框图。
显微镜装置100和监视器2与第1实施例相同。又，增益运算电路7也进行与第1实施例相同的动作。
在第2实施例中，17-19分别是进行操纵器20的操作输入(第1操作输入)的第1命令输入单元、进行操纵器20的控制的第1控制电路、和根据该控制驱动操纵器20的第1驱动电路，由它们构成操纵器20(例如与图14的操纵器103相当)的驱动系统。
操纵器20的驱动工作，根据增益运算电路7的输出和来自由图2、图3所示的指示器件所实现的第1命令输入单元17的信号的乘积来决定。
同样，21-23分别是进行载物台装置24的操作输入(第2操作输入)的第2命令输入单元、进行载物台装置24的控制的第2控制电路、和根据该控制驱动载物台装置24的第2驱动电路，由它们构成载物台装置24(例如与图6的载物台装置15相当)的驱动系统。
载物台装置24的驱动动作也与操纵器20相同，根据增益运算电路7的输出和来自由图2、图3所示的指示器件实现的第2命令输入单元21的信号的乘积来决定。
采用上述结构，在操纵器20的监视器2上的动作、和载有细胞等对象物的载物台装置24的监视器2上的移动，一并由第1命令输入单元17和第2命令输入单元21的操作量决定，而与最终的显示放大倍数无关，因此，能够提高由多个工具进行协同作业时的作业性。
在图7中，作为一个例子，表示了操纵器20和载物台装置24的组合，但是，如果是用由最终的显示放大倍数计算的同一个增益控制多个工具的结构，则也可以进行任何的组合。即，也可以通过2个以上地组合图4～图6所示的工具和其它的工具，如上述增益运算电路7那样地决定工作增益。又，与第1实施例同样，即便在该结构中，显微镜的变焦距机构置换为图14所示的物镜转换器式的放大机构，也是有效的。
(第3实施例)图8是表示本发明的第3实施例的微小物操作设备的框图。
又，图8具有对第2实施例的图7的微小物操作设备的结构追加了存储单元26和存储器操作单元25的结构。
在图8中，26是存储根据操作者1的爱好的工具的驱动信息的存储单元。这里，存储单元26由RAM、可以改写的非易失性存储器(EEPROM等)、硬盘等实现。
工具的驱动信息例如是命令输入单元的操作量与工具的驱动距离的关系等。该关系通常根据操作者的爱好等而不同，例如，既有喜欢用比较小的操作量得到比较大的工具驱动距离的人，也有与此相反的人。
这里，所谓工具的驱动距离是在监视器2上观察到的放大了的量。又，在存储单元26中，为了对应多位用户，可以存储对多位用户中的每位用户的工具驱动信息。进一步，当这种关系由于工具的种类而不同时，能够对每个工具进行存储。
进一步在图8中，25是存储器操作单元，操作者1通过操作存储器操作单元25，选择工具的驱动信息，加载工具的驱动信息，改写存储单元26，进行初始化(缺省)等。又，如果在监视器2上显示出存储器操作单元25的操作接口(操作菜单)，则也可以节省空间提高操作性。进一步，存储器操作单元25可以是简单的开关类，诸如按钮开关、双列直插式开关、跳线开关等。
图9是第3实施例的变形例的结构图。
在图8的结构中，对于各工具的第1控制电路18、第2控制电路22，从存储单元26加载工具的驱动信息。与此相反，在本例中，对于增益运算电路7，加载每位用户的，第1控制电路18和第2控制电路22的共用的工具驱动信息。在这种结构的情形中，与图8的情形比较，虽然不能够对每个工具进行细致的设定，但是因为不需要对每个工具存储驱动信息，所以具有能够节约存储单元26的存储量的优点。
如以上说明那样在本实施例中，当多位作业者操作微小物时，能够适应各操作者有效地设定工具的操作状态。
(第4实施例)图10是表示本发明的第4实施例的微小物操作设备的框图。
在本实施例中，28是可视伺服单元，根据从显微镜装置100和CCD摄像机3得到的图像信息，为了实施操作者1给予的任务，可视伺服机构单元28控制显微镜装置100和工具11。
这里使用图11简单地说明可视伺服(Visual Servo)单元28。
图11是称为基于视觉的可视伺服(Vision-based Visual Servo)的方法。
在该方法中，操作者1预先将目标图像29给予可视伺服单元28，为了使由摄像机34等的图像摄影装置所拍摄的摄影图像30与目标图像29的偏差减小，用PID控制等的控制器31，操作处理对象物33的机器人手32和摄像机34。
又，在可视伺服中，还存在着从图像信息提取空间坐标进行操作的基于机器人的可视伺服(Robot-based visual servo)的方法。无论哪种方法，因为可视伺服不需要成本高的微度盘，所以有利于处理微小物。又，该方法具有对外面杂乱的噪声有很强抵抗力的特征。
在视觉反馈(visual feedback)的情形中，由于根据图像信息进行控制，所以，则实施变焦距时，如果不对工具的动作增益等重新进行一个一个的设定，则控制变得不稳定。但是，在本实施例中，由于根据显微镜装置100的放大倍数和监视器信息，自动地计算出工作增益，因此，总是可以进行稳定的控制。
此外，在图10中，表示了工具11为1个的情形。但是，与第2实施例相同地，也可以构成使用多个工具的微小物操作设备。
(第5实施例)图12是表示本发明的第5实施例的微小物操作设备的操作的流程图。
本实施例的硬件的结构为，在图1和图7～图10中的任何一个结构中，附加了进行由图12的流程图所示的动作的控制器的结构。
在本实施例中，首先，判断操作对象物是否离开了工具的视场(步骤S101)。
当操作对象物离开了工具的视场时(步骤S101中，否)，进行下述动作，即，(1)降低变焦距倍数(也可以自动切换监视器的放大显示调整率)(步骤S102)；(2)提高工具操作增益(步骤S103)；(3)将操作对象物保持在视场中央(步骤S104)。此后，回到步骤S101。
然后，在使操作对象物位于视场中央后，再次提高必需的放大倍数。这时，与变焦距倍数(或切换监视器的放大显示调整率)协同地，降低工具的动作增益。通过这样的一连串动作，可以自动地平稳地移动到操作对象物在视场的中心并且能够得到必需的图像分辨率的状态。
该移动实际上以下列顺序进行。
即，在步骤S101中，当操作对象物没有离开工具的视场时(步骤S101中，是)，判定是否具有操作所必需的图像分辨率(步骤S105)。当具有必需的图像分辨率时(步骤S105中，是)，进行操作对象物的操作(步骤S106)，此后，判定作业是否结束(步骤S107)。
当作业结束时(步骤S107中，是)，结束处理。另一方面，当作业没有结束时(步骤S107中，否)，回到步骤S101。
在步骤S105中没有必需的图像分辨率时(步骤S105中，否)，进行下述动作，即，(1)提高变焦距倍数(也可以自动切换监视器的放大显示调整率)(步骤S108)；(2)降低工具的动作增益(步骤S109)。此后，回到步骤S101。
又，通过进行操作，即便操作对象物或工具要离开视场时，也能够自动地避免其移出到视场外。
如以上说明的那样，如果根据本发明，则在操作细胞等的微小物的微小物操作设备或方法中，能够平稳地进行作业，而与观察系统的放大倍数(基于光学显微镜等的观察装置的放大倍数以及显示装置的放大显示调整率的放大倍数)无关。
本发明不限于上述实施例，在本发明的精神和范围内能够进行各种不同的变化和修改。所以，为了向公众公开本发明的范围，制订了下列的权利要求书。
权利要求
1.一种微小物操作设备，其特征在于，备有对操作对象物进行操作的工具；能够改变观察上述操作对象物和上述工具的放大倍数的观察装置；显示用上述观察装置观察的操作对象物和操作工具的放大图像的显示装置；用于操作者输入上述工具的操作命令信号的命令输入装置；根据上述观察装置的放大倍数和上述显示装置的图像信息，决定驱动上述工具的驱动增益的增益运算装置；以及根据上述驱动增益和上述操作命令信号，控制上述工具的驱动的控制装置。
2.权利要求1所述的微小物操作设备，其特征在于上述观察装置是能够连续地改变上述放大倍数的显微镜。
3.权利要求1所述的微小物操作设备，其特征在于上述增益运算装置，决定上述驱动增益，使得来自上述命令输入装置的操作命令信号的量和在上述显示装置上所显示的上述工具前端的移动量的关系大致恒定，而与观察装置的放大倍数和上述显示装置上的图像的放大显示调整率无关。
4.权利要求1所述的微小物操作设备，其特征在于上述增益运算装置，与上述观察装置的放大倍数和在上述显示装置上的图像的放大显示调整率相乘所得到的放大倍数的倒数成正比地，决定上述驱动增益。
5.权利要求1所述的微小物操作设备，其特征在于还备有用于存储操作者所要的工具驱动信息的存储装置，上述控制装置，根据上述驱动增益、上述操作命令信号和上述存储装置中的操作者所要的工具驱动信息，控制上述工具的驱动。
6.权利要求1所述的微小物操作设备，其特征在于还具有用于存储操作者所要的工具驱动信息的存储装置，上述增益运算装置，与上述观察装置的上述放大倍数和在显示装置上的图像的放大显示调整率相乘所得到的放大倍数的倒数、和上述存储装置中的操作者所要的工具驱动信息的量成正比地，决定上述驱动增益。
7.权利要求1到6中任何一项所述的微小物操作设备，其特征在于还具有根据上述显示装置的图像信息控制上述工具，自动实施由操作者所给予的任务的可视控制装置。
8.权利要求1到6中任何一项所述的微小物操作设备，其特征在于上述控制装置，当上述操作对象物或上述工具离开上述显示装置的图像视场时，自动地降低上述观察装置的放大倍数或在上述显示装置上的图像的放大显示调整率，并与此协同地提高上述工具的操作增益。
9.一种微小物操作方法，其特征在于根据能够改变观察操作对象物和工具的放大倍数的观察装置的放大倍数、显示用上述观察装置观察的上述操作对象物和上述工具的放大图像的显示装置的图像信息、和操作者输入的上述工具的操作命令信号，驱动并控制上述工具，使得来自命令输入装置的上述操作命令信号的量和在上述显示装置上所显示的工具前端的移动量的关系大致恒定，而与上述观察装置的放大倍数和上述显示装置上的图像的放大显示调整率无关。
10.一种微小物操作设备的操作方法，该微小物操作设备具有对操作对象物进行操作的工具、能够改变观察上述操作对象物和上述工具的放大倍数的观察装置、和显示用上述观察装置观察的操作对象物和操作工具的放大图像的显示装置，其特征在于，具有用于操作者输入上述工具的操作命令信号的命令输入步骤；根据上述观察装置的放大倍数和上述显示装置的放大图像信息，决定驱动上述工具的驱动增益的增益运算步骤；以及根据上述驱动增益和上述操作命令信号，控制上述工具的驱动的控制步骤。
全文摘要
本发明提供一种微小物操作设备。该微小物操作设备具有对操作对象物进行操作的工具；能够改变观察操作对象物和工具的放大倍数的观察装置；显示用观察装置观察的操作对象物和工具的放大图像的显示装置；用于操作者输入上述工具的操作命令信号的命令输入装置；根据观察装置的放大倍数和显示装置的放大图像信息或像素信息，决定工具的操作增益的增益运算装置。而且，根据操作增益和操作命令信号，驱动并控制工具。
文档编号B25J7/00GK1534325SQ200410007999
公开日2004年10月6日 申请日期2004年3月29日 优先权日2003年3月31日
发明者祯 林, 林祯 申请人:佳能株式会社