专利名称：操作定位系统、操作单元、方法、产品制造方法和标记的制作方法
技术领域：
本发明涉及在产品的制造过程中执行的操作定位技术。
技术背景在需要工人执行多个操作的产品制造过程中，常常会出现工人忘记操作 或没有完成操作的错误操作的情况。例如，在大型电子设备单元的制造过程 中，印刷电路板单元、通信设备单元等包括部件的组装过程，并且组装过程 包括用于将一个部件连接至另一部件的多个拧螺丝操作。在组装过程中，常 常在加固操作中出现错误操作。错误操作的实例有在达到螺丝的指定扭矩之前停止加固操作，在一临 时加固操作之后忘记完成加固操作，忘记将螺丝放在要执行加固操作的位置 等。由于存在各种类型的错误操作，所以存在考虑到不同情况采取的措施， 以减少错误操作。例如，为了用指定扭矩固定螺丝，采用一种称为扭矩驱动器的设备是有 效的，其被设计用以在检测到所施加的扭矩达到指定扭矩时开始空载运行(idle running)。该设备可由工人在组装过程中或由机器人在组装过程中使 用。专利文献1公开了一种由机器人执行的用于组装过程的螺纹紧固设备(即，攻丝设备)。螺纹紧固设备被固定在机器人的手上，并通过识别图像 来检测螺丝孔的坐标。当机器人控制器基于该坐标校正机器人的位置时，螺 纹紧固设备驱动扳手，并上紧螺丝，同时监控施加的扭矩和驱动时间。为了减少忘记待执行操作的错误操作，通常存在例如螺丝计数器、电子 隔板等的操作工具。通过使用这些操作工具，能够比较待执行的操作数目和 实际执行的操作数目，从而检测是否忘记操作。然而，不可能仅通过比较数 目就能具体确定忘记了哪个操作。因此，当根据比较数目的结果检测到不一 致时，需要从视觉上确定已经忘记拧螺丝操作的位置。目前，即使使用这些 操作工具也仍然存在许多错误操作。结果，常常会出现需要在制造过程中检查和维修的有缺陷的产品。因此，在由工人通过多个操作执行制造过程中，忘记操作是一个严重问 题。专利文献2描述了一种用于解决上述问题的工作质量控制系统。在这一 工作质量控制系统中，多个接收器接收由连接至扳手顶部的超声波发射器发 出的信号。基于信号传播时间差和接收器之间的位置关系，对发射器的位置 定位。由于将多个接收器设置为使得它们与待组装的工件保持的预定相对位 置，所以基于固定的相对位置之间的关系根据发射器的位置检测被固定螺丝 的位置。共同管理位置信息和紧固信息，所述位置信息用以表示上述检测的 被固定螺丝的位置，所述紧固信息用以表示在实际施加的扭矩与指定扭矩之 间的比较结果。[专利文献1]日本公开专利申请No.H6-23631 [专利文献2]日本公开专利申请No.2004-258855然而，在专利文献2所述的系统中存在以下两个问题。 第一个问题是必需将超声波信号或无线信号的发射器附着至工具。由于 发射器需要更多电能所以这种必需会产生如下问题，即向发射器提供电能的 布线对操作造成阻碍，和/或发射器不能连接至某些类型的现有工具上。对于 在现有制造过程中减少制造过程中忘记易被实施的操作的发明是非常重要 的。第二个问题是基于这样的假设，即预先确定在工件和接收器之间的位置 关系是固定的。在产品制造过程中，存在许多在制造期间产品的位置和方向 并非预先确定的处理步骤。在某些处理步骤中，产品的位置和方向是不确定 的，除非由于包括工人的方便等各种原因导致执行实用操作的情况。在一种 处理包括多个操作的情况下，可以根据每一操作在不同位置或方向执行该处 理。发明内容本发明的目的在于提供一种在被执行操作的产品上定位的操作位置定 位系统，具体地提供一种至少具有以下至少一个特征的操作位置定位系统， 即一特征在于不需要信号发射器，以及一特征在于可在动态改变产品的位置 或方向的情况下应用该系统。本发明的另一目的在于提供一种使用该操作位置定位系统的操作单元、 一种在产品制造过程中执行该操作位置定位系统的方法、以及一种指示计算 机执行该方法的程序。在实施例中还提供一种在操作位置定位系统中优选使 用的标记。根据本发明第一方案的实施例的操作位置定位系统定位产品上的位置， 其中在包括使用工具待执行的一个或多个操作的产品制造过程中，在该产品 上执行操作。该操作位置定位系统包括操作完成坐标检测单元和操作位置定 位单元。操作完成坐标检测单元处理通过多个图像，从多个视点拍摄包含操作完 成位置的范围而获得，其中所述操作完成位置为操作完成时完成该操作的位 置，从而检测表示所述操作完成位置的一组操作完成坐标。操作位置定位单元获取关于一个或多个操作中每一个操作的一组操作 坐标，其中所述操作坐标表示作为待执行操作的位置的操作位置，并基于该 组操作完成坐标和所获取的一组或多组操作坐标来定位与所述操作完成位 置对应的操作位置。根据第一方案的实施例中的操作位置定位系统，通过图像处理来检测操 作完成位置，从而不需要向工具提供信号发射器。根据本发明第二方案实施例的操作位置定位系统在产品制造过程中在 产品定位的操作位置，其中所述产品制造过程包括使用工具待执行的一个或 多个操作。该操作位置定位系统包括操作完成坐标检测单元、参数确定单元 和操作位置定位单元。操作完成坐标检测单元用于检测一组操作完成坐标，其中由第一坐标系 统表示作为完成该操作的位置的操作完成位置。参数确定单元用于检测由第一坐标系统表示的关于该产品或与该产品 具有预定位置关系的对象的位置和方向，从而确定在所述第一坐标系统与所 述第二坐标系统之间进行坐标转换所需的参数值。操作位置定位单元用于获取关于一个或多个操作中每一个操作的一组 操作坐标，在所述操作坐标中由所述第二坐标系统表示作为要执行操作的位 置的操作位置，使用参数转换坐标，以由同一坐标系统表示所述操作完成位 置和所述操作位置，以及定位与所述操作完成位置对应的操作位置。根据第二方案的实施例中的操作位置定位系统，即使在产品制造过程中 正被制造的产品的位置和方向动态地改变，也能够定位与操作完成位置对应 的操作位置。本发明还可以实施为使用根据本发明第一或第二方案实施例中的操作 位置定位系统的操作单元、在根据本发明第一或第二方案实施例中的产品制 造过程中的操作位置定位系统中执行的方法或用于使得计算机执行该方法 的程序。根据上述操作位置定位系统，能够在产品上定位己经执行了操作的位置。因此，通过使用操作位置定位系统的定位结果，已实际执行的操作可以 与待执行操作中还没有执行操作区分。因此，在制造过程中可自动检査是否 存在遗漏操作。从而，可降低在制造过程之后用于操作指令步骤和待执行的 检测处理步骤的工时数目。此外，由于可降低因忘记操作而造成的残品发生 频率，所以还可以提高制造产量。
图1是示出根据用以实现本发明的操作位置定位系统的方案的结构功能框图；图2示出包含操作位置定位系统的工件组装线的结构；图3是示出操作单元(cell)中的过程流程的示意图；图4是根据用以实现本发明的方案的操作单元结构的透视图；图5示出与操作位置的定位相关的电子设备的连接关系图；图6是示出通过放大图4的一部分而获得的局部示意图和透视图；图7是示出根据用以实现本发明的方案的处理流程的流程图；图8是示出3个检测标记的位置关系的示意图；图9示出标记的排列图案的实例示图；图10是说明根据标记坐标计算驱动器顶部坐标的方法的示意图；图11示出操作监控器的显示屏幕的实例示图；图12示出附着至操作台的标记的实例示图；图13A示出附着至驱动器的标记的实例示图；和图13B示出附着至驱动器的标记的实例示图。
具体实施方式
以下参照附图详细描述实现本发明的方式。以下主要描述在组装印刷电 路板时用于拧螺丝操作的实施例，但是显然地，本发明的实施例不限于产品 的类型，或本发明实施例所使用的操作。图1是根据实现本发明的操作位置定位系统的方式的功能框图。在本实 施例中，在包括使用工具待执行的一个或多个操作的产品制造过程中，通过 在执行操作的产品上定位位置来区别实际已执行的操作和待执行的操作。当完成一个操作时，完成信号输出单元l输出完成信号，并且操作完成 坐标检测单元2接收该完成信号。在以下描述中，完成该操作的位置称为"操 作完成位置"，并且由确定的球形第一坐标系统表示操作完成位置的坐标称 为"操作完成坐标"。在该实施例中，由于第一坐标系统是三维坐标系统， 所以由三个操作完成坐标作为一组坐标表示操作完成位置。更具体地，操作完成位置指的是在完成操作时该操作的目标位置。例如， 拧螺丝操作的目标是螺丝，在完成该操作时的螺丝位置是操作完成位置。为 了更加正确，操作完成位置是预先确定为表示螺丝代表性位置的螺丝指定点 的位置。当执行加固操作时，驱动器的顶部接触该螺丝，所以操作完成位置 也是在操作完成时工具接触操作目标的位置。由于传播完成信号所需的时间较短可被忽略而不会产生任何问题，所以 在操作完成坐标检测单元2接收到完成信号时将正被执行操作的位置看作操 作完成位置。操作完成坐标检测单元2在接收到完成信号时检测操作完成坐 标。在用于实现本发明的目前方式中，在图像识别过程中检测附着到工具的 标记的位置，并根据标记的位置计算操作完成坐标，从而检测操作完成坐标。 标记可以由树脂或橡胶制成，并且可容易地用粘合剂附着在工具上。在图像 识别过程中，使用从多个不同视点拍摄的多个图像。这些图像是拍摄包含操 作完成位置的范围的图像。典型地，使用两个图像，并基于立体视觉原理计 算操作完成坐标。应执行每一操作的位置是预定的。以下，将该位置称为"操作位置"。更具体地，由基于产品的局部第二坐标系统表示的操作位置的坐标根据待生 产的产品预先确定。以下，该坐标称为"操作坐标"。在该实施例中，由于 第二坐标系统也是三维坐标系统，所以由三个操作坐标作为一组坐标表示操 作位置。操作坐标在设计产品时被确定，并表示没有错误的理想位置，即名义位置(nominal position)。在实际操作中可伴随有错误，并且可以在从操作位 置稍微偏移的位置执行实际操作。操作坐标存储单元3存储每一操作的一组操作坐标。具体地，在该实施 例中，在操作坐标存储单元3中存储每一操作的包含三个操作坐标的每一组 操作坐标。操作坐标也可以预先存储在操作坐标存储单元3中，以及在必要 时从外部提供并存储在操作坐标存储单元3中。参数确定单元4检测产品或与产品具有预定位置关系的对象(例如操作 台等)的由第一坐标系统表示的位置和方向，并确定在第一坐标系统和第二 坐标系统之间进行坐标转换所需的参数值。所述坐标转换可以是从第一坐标 系统中的坐标到第二坐标系统中的坐标的转换，或者可以是相反的转换，即 从第二坐标系统到第一坐标系统的转换。然而，如随后所述前者更有效并且 是优选的。操作位置定位单元5使用由参数确定单元4确定的参数执行坐标转换， 以在同一坐标系统中表示操作完成位置和操作位置，并定位(即，识别)与 操作完成位置对应的操作位置。例如，在实现将第一坐标系统中的坐标转换为第二坐标系统中的坐标的 本发明的方案中，通过操作位置定位单元5将操作完成坐标检测单元2检测 到的操作完成坐标转为第二坐标系统中的坐标。操作位置定位单元5从操作 坐标存储单元3中读取第二坐标系统中表示的操作坐标，并基于所读取的操 作坐标和转换结果来定位与操作完成位置对应的操作位置。在操作位置定位单元5将第二坐标系统中的坐标转换为第一坐标系统中 的坐标的情况下，显然操作位置定位单元5可以以类似的方法定位与操作完 成位置对应的操作位置。通过上述配置，每当完成操作时，动态计算用以表示第一坐标系统与第 二坐标系统之间关系的参数。因此，即使在执行实际操作时产品的位置和方向发生动态改变，也可以在同一坐标系统中表示操作位置和操作完成位置并 将它们进行比较。从而可定位与完成操作对应的操作位置。结果，能够在待 执行的操作中识别出己完成的操作。图2示出包含操作位置定位系统的工件组装线的结构。图2中所示的每 一方框是功能框。通过工件组装线100来组装待制造的产品。工件组装线100包括多个操 作单元101至104。产品组装过程的一个处理步骤对应于一个操作单元。以下，将正被组装的产品称为"工件"。将工件依次提供给操作单元101、 102、 103和104。为每一操作单元预先分配对工件待执行的一个或多个操作。 即， 一个处理步骤包括一个或多个预定操作。所述操作可以是例如拧螺丝操 作。负责每一操作单元的工人执行一个分配操作(或多个分配操作)，并且 在完成组装操作单元中的一个(或多个)操作时，工人将工件提供给下一操 作单元。在另一实施例中，可以用机器(例如机器人)代替工人。由上层中的主机系统105管理工件组装线100的每一处理步骤。主机系 统105管理每一工件的进展情况，即工件在哪个操作单元中被处理，以及在 该操作单元的待完成的操作中已经完成哪个操作。从每一操作单元将关于进 展情况的数据发送至主机系统105。当制造多个产品时，主机系统105也管 理整个进展情况，包括要制造的产品的数目、已完成产品的数目和每一未完 成工件的进展情况。多个操作单元101至104的操作内容不同，但是它们的基本结构相同。 在图2中，放大并详细示出操作单元103。在操作单元103中，工人使用配置有完成信号产生工具110的工具对工 件操作区域lll中的工件执行预定操作。在操作完成时，完成信号产生工具 IIO产生信号，并且完成信号产生工具110是图1中所示的完成信号输出单 元1的应用实例。对于工件操作区域111可配置有操作台。完成信号可以是能够表示完成操作时间的任何信号。例如，完成信号可 以是电信号、超声波信号和光信号中的任一种，并且可以由线缆或无线发送。 既然将完成信号的接收时间看作完成操作的时间不会产生任何问题，且由于 在完成操作时产生的任一信号可用作完成信号，所以完成信号可以是简单脉 冲或用以表示日期和时间的数据的信号或意味着"完成"的信号。无论完成信号是什么，在接收到完成信号时执行下一处理，即由位置检测单元112执 行的处理。位置检测单元112包括操作完成坐标检测单元2、操作坐标存储单元3、参数确定单元4和操作位置定位单元5，如图1所示。位置检测单元112 从完成信号产生工具110接收完成信号，并在接收到完成信号时检测操作完 成坐标，计算坐标转换参数，和定位与完成操作对应的操作位置。计算单元 113结合在操作单元103中处理的数据，并在操作单元103和主机系统105 之间发送和接收的数据。显示单元114为工人显示各种类型的信息。词语"显示"包含视频和音 频显示。即，显示单元114可以是例如液晶显示器、扬声器及其组合的显示 装置。由显示单元114显示的信息包括对待执行操作的指导、与由位置检测 单元112定位的操作位置相关的操作信息、操作进展情况等。图3是示出操作单元中的过程流程的示意图。在图3中，与图2类似， 描述了操作单元103的情况。如步骤Sl所示，主机系统105在工件组装线100的操作期间持续执行 各种处理。另一方面，在操作单元103中，对于在操作单元103中待执行的 N (N^l)个操作中的每一个操作按步骤S2、 S3、 S4禾n S 5的顺序执行其 中的处理。即，步骤S2至S5的循环被重复执行N次。在步骤S2的运行时 间期间，在操作单元103和主机系统105之间发送和接收信息。更具体地， 在下面描述图3的处理流程。当从执行紧接在前的处理的操作单元102向执行当前处理的操作单元 102传送工件时，在步骤S2，计算单元113从主机105接收操作信息的数据。 所述"操作信息"指的是与操作单元103中要执行的一个(或多个)操作相 关的信息。操作信息包括如下预定信息，例如在操作单元103中要执行的操 作个数N (N》1) 、 N个操作中的每个操作的操作位置和类型等。由第二坐 标系统中的操作坐标组(例如三个操作坐标作为一组)表示操作位置，并且 操作类型可以是拧螺丝操作、焊接操作等。当在某一工件上首先执行步骤S2时，计算单元113可产生含有"没有 完成N个操作中的任一个"的内容的处理信息，并将其发送至主机系统105。 所述"处理信息"指的是表示操作单元103中的一个(或多个)操作的进展情况的信息。处理信息包括例如关于已经完成了 N个操作中的哪个操作的信 息。在步骤S中的第二个和随后的操作中，计算单元113将关于之前已经完成哪个操作的信息发送至主机系统105。在步骤S2中，计算单元113还基于更新的操作信息和处理信息将指示 发送给显示单元114，以使用语音、字符、图片等显示由工人待执行的操作 的指导。因此，计算单元113执行与操作单元103中的操作相关的各种控制。 步骤S3是由显示单元114根据给定指令执行的显示步骤。接下来，在步骤S4中，工人根据由显示单元114显示的指导指令执行 操作。由于用以实现本发明的本方式是处理工件组装线100，所以由工人进 行的操作是组装操作，并且实际上例如是拧螺丝操作。当完成一个操作时， 用于操作的设备的完成信号产生工具110产生完成信号。完成信号表示已经 完成一个操作的信息。位置检测单元112监控完成信号的产生。在步骤S5，位置检测单元112 接收完成信号，并且在接收到该信号时检测操作完成坐标，确定用于坐标转 换的参数，执行坐标转换，并定位操作位置。如上所述，由计算单元113从 主机系统105接收的操作信息包括N个操作中的每个操作的操作坐标组。因 此，位置检测单元112从计算单元113接收操作坐标的数据，并引用该数据， 从而定位操作位置。然后，位置检测单元112将与操作位置已经被定位的操作相关的信息发 送至计算单元113。在以下的描述中，关于实际执行的操作的信息还被称为 "操作信息"。在步骤S5，从位置检测单元112发送至计算单元113的操作 信息可以是例如作为标识每一操作的标识符的序号(S/N)、作为操作完成 时间的完成信号的接收时间等。在步骤S5之后，控制返回至步骤S2。对操作位置的定位是为了识别在 N个操作中已经执行了哪个操作。因此，完成一个操作对应于进展情况的改 变。因此，在从位置检测单元112接收到操作信息时，在步骤S2，计算单元 113根据接收到的操作信息更新处理信息，并将更新的处理信息发送至显示 单元114和主机系统105。如果更新的处理信息表明在操作单元103中的所有要执行的N个操作已 经完成，则计算单元113指示显示单元114显示关于完成的信息。工人识别该显示，并将工件传送至在下一处理的操作单元104。否则，由于在操作单元103中还剩下一个或多个要执行的操作，所以重复上述过程。如上所述，每当工人完成一个操作时，更新的处理信息被发送至主机系统105。如图2中的步骤S1所示，主机系统105管理整个工件组装线100， 管理关于每一工件的处理信息和操作信息，执行操作的各种分析，管理由工 件组装线100组装的产品质量等。接下来，以下参照图4和图5描述操作单元103的更实际的结构实例。 图4是根据用以实现本发明的方式的操作单元103的结构透视图。由工人201管理操作单元103，其中工人201对固定在操作台203上的 工件204执行一个或多个必要操作。在图4所示的实例中的工件204是印刷 电路板(Pt板)单元。为了便于说明，提供以下定义。
N表示在操作单元103的操作中要处理的操作的个数。 所有N个操作都是由驱动器202执行的拧螺丝操作。 驱动器202是可设定指定扭矩的动力驱动扭矩驱动器。驱动器202被 配置为在实际施加的扭矩达到设定的指定扭矩时进行空转并输出完成信号。，对于N个螺丝的拧螺丝操作分配相同的指定扭矩值，并且在驱动器 202中预先设定该值。图4示出驱动器202的两个图片。但是并不是表示有2个驱动器202， 只是示出驱动器202水平放置并从侧面紧固螺丝的情况，以及驱动器202垂 直设置并从上面紧固螺丝的情况。从工件204的上部指向工件204的上表面 的箭头和从工件204的右侧指向工件204的右侧表面的箭头表示拧螺丝的方 向。即使在附图中没有显示，显然地存在驱动器202倾斜并紧固螺丝的情况。操作台203具有桌台和桌腿部分，并且桌腿部分配置有轮子，以使操作 台203可移动。操作台203的桌台可以沿水平轴旋转，以在上表面和反面之 间交换，以及可以沿垂直轴旋转，以改变方向。可移动操作台203被广泛使 用，以使得即使在工件204较大的情况下，也能够便于工人201执行多个操 作而不需要大幅度改变他/她的位置。将工件204固定在操作台203的桌台。根据要制造的产品型号，预先确 定固定在操作台203的桌台上的工件204的位置。因此，从操作台203的桌 台的位置和方向唯一确定工件204的位置和方向。防震相机台205位于操作台203的附近，并且两个CCD(电荷耦合器件) 相机206和207放置于相机台205上。由于立体视觉原理是已知的，所以使 用通过从不同位置拍摄同一对象而获得的两个图像可计算所拍摄对象的位 置。可能检测区域208是操作单元103中的区域，并被定义为这样的区域， 在该区域中使用CCD相机206和207通过立体视觉能够计算对象位置。可能检测区域208的范围取决于CCD相机206和207的规格和设定位 置。因此，需要根据操作台203的可移动范围适当确定CCD相机206和207 的规格和设定位置，以使可能检测区域208能够恒定地包括工件204。在用 于实现本发明的该方式中，将CCD相机206和207对角地设置在工件204 的上方，以通过立体视觉提高位置的检测精度。图4中所示的"WD"是"工 作距离"的縮写，并用于表示可由立体视觉计算的距离的范围距离。操作单元103还包括PC (个人计算机)209、驱动控制器210、条形 码读取器211和操作监控器212。随意确定PC 209和驱动控制器210的设定 位置，但是它们可设定在图4中的相机台205下面的空间中。在相机台205 上设置操作监控器212，从而可由工人201容易检査显示内容，例如关于将 要执行的操作的指导。PC 209执行各种计算。PC 209是一种通用计算机，其配置有例如CPU (中央处理单元)、ROM (只读存储器)、RAM (随机存取存储器)、用 于线缆传输和/或无线通信的通信接口 、外部存储设备和便携式存储介质的驱 动设备。这些组件通过总线连接。外部存储设备可以是例如磁盘设备(如硬 盘驱动器等)、可重写非易失性存储器等。驱动器控制器210通过有线或无线通信路径(图4中未示出)连接至驱 动器202，并接收从驱动器202发送的信号。驱动器控制器210具有计数从 驱动器202接收的信号个数的驱动器计数器的功能。优选地，条形码读取器211是手持单元。工人201使用条形码读取器211 读取工人201的ID、工件204的S/N、图号等。用以表示工人201的ID的 条形码印在例如由工人201携带的职工卡上。用以表示工件204的S/N和图 号的条形码印在例如在每一过程中随着工件204被传送的纸片上。上面印有 条形码的纸也可以附着在工件204上。条形码读取器211通过有线或无线路径(图4中未示出)连接至PC 209。由条形码读取器211读取的条形码所表示的数据(即工人201的ID以及工 件204的S/N和图号的数据)被发送到PC 209，并从PC 209发送至主机系 统105 (图4中未示出)。由于操作台203是可移动的，所以对于工人201没必要频繁改变他/她在 操作单元103中的位置。因此，在以下描述中，假设在相机台205和操作台 203之间没有工人201。 S口，假设在没有障碍暂停的情况下，在由CCD相机 206和207拍摄的两个图像中认定操作台203和工件204。以下描述图1和图4之间的对应关系。完成信号输出单元1对应于驱动 器202和驱动器控制器210。操作完成坐标检测单元2对应于CCD相机206 和207以及PC 209。操作坐标存储单元3对应于PC 209的RAM或外部存 储设备。参数确定单元4对应于CCD相机206和207以及PC 209。操作位 置定位单元5对应于PC 209。以下描述图2和图4之间的对应关系。完成信号产生工具110对应于驱 动器202和驱动器控制器210。位置检测单元112对应于CCD相机206和 207以及PC 209。计算单元113对应于PC 209，而显示单元114对应于操作 监控器212。也就是说，两个功能块(即，位置检测单元112和计算单元113)共享 作为硬件的PC 209。通过CPU执行在外部存储设备或ROM中存储的程序 使得PC 209用作位置检测单元112和计算单元113的一部分。所述程序可 通过网络提供，例如通过通信接口或互联网与PC 209连接的LAN(局域网)。 否则，可在驱动设备中设置用以存储所述程序的便携式存储介质，并且可将 所述程序加载到RAM，以由CPU执行。便携式存储介质可以是各种类型的 存储介质，其包括光盘(例如CD (压縮盘)、DVD (数字多功能盘)等)、 磁光盘、磁盘(例如软盘)等。图5示出在图4所示的操作单元103的电子设备中与操作位置的定位相 关的电子设备的连接关系。可通过线缆以及无线方式来实现图5中所示的连 接关系。CCD相机206和207、驱动器控制器210和包含用于操作监控器212的 液晶显示器的各种外部设备213连接至PC 209。外部设备213还包括由工人 201用于输入的键盘和鼠标。图4示出仅使用一个驱动器202的情况。如图5所示，两个驱动器202a和202b可连接至驱动器控制器210。在某些用以 实现本发明的方案中，根据螺丝的类型需要使用多个驱动器。为了保证在使用CCD相机206和207拍摄图像所必须的亮度，使用照 明单元216 (图4中未示出)。在图5中所示的实例中，外部设备213、 PC 209、驱动器控制器210和 照明单元216连接至AC (交流电)IOOV的电源。通过驱动器210向驱动器 202a和202b供电，以及通过PC 209向CCD相机206和207供电。用于供 电的路径不限于图5中所示的结构。如图5所示，根据用以实现本发明的本实施方式的PC 209配置有图像 处理板214和IO (输入/输出)板215。由图像处理板214接收和处理由CCD 相机206和207拍摄的图像数据。PC 209的CPU使用由图像处理板214处 理的上述处理结果执行处理。通过驱动器控制器210将从驱动器202a和202b 发送的信号发送到PC209，并由IO板215接收。由驱动器202a和202b发送到驱动器控制器210的信号不限于完成信号。 例如，在拧螺丝操作失败时，工人201使驱动器202a或202b反转以松开螺 丝。此时，驱动器202a或202b将反转通知信号发送至驱动器控制器210。 然后，从驱动器控制器210将反转通知信息发送至PC 209，并由IO板215 接收。在接收到反转通知信号时，PC 209执行必要处理。例如，PC 209定 位与在接收到完成信号时执行的类似过程中松开和去除螺丝对应的拧螺丝 操作的操作位置。接下来，参照图6至图10，以下详细描述定位已完成操作的操作位置的 过程。图6是详细示出图4的一部分的放大图的透视图作为示意图。然而，在 图6中，与图4相比，视点位于相反的位置。在图4中，示出CCD相机206 和207的后面，但是它们在图6中位于前面(尽管未示出)，并且表示CCD 相机206的光轴221和CCD相机207的光轴222的两个箭头从前面指向后 面。如图4所示，图6示出驱动器202水平放置的情况以及垂直设置的情况。 驱动器202的手柄部分配置有标记217a和217b。通过将标记217a和217b 附着在预定位置或在将它们附着在适当位置之后测量附着位置来获知标记217a和217b的附着位置。在以下实例中，当不区别每一标记时， 一个或多 个标记由标号"217"表示。操作台203的桌台是长方体。在以下描述中，长方体的表面被称为表面 A、 B、 C、 D、 D和F。在图6中，表面A是前表面，表面B是右侧表面， 表面C是后表面，表面D是左侧表面，表面E是上表面，表面F是下表面。 仅能看见表面A、 B和E。由于操作台203可以沿竖直轴旋转，所以表面A 不总是前表面。由于操作台203也可以沿水平轴旋转，所以表面E不总是上 表面。将工件204固定在表面E或F。将三个标记218a、 218b和218c附着在表面A。尽管图6中未示出，类 似地将三个标记附着在表面B、 C和D。在以下描述中，在没必要区别标记 时，如果不需要区别每一标记，则使用标号"218"来表示一个或多个标记。 预先确定表面A至表面D配置有标记的位置。在图6中，将工件204固定在表面E上的预定位置。固定工件204的位 置根据工件204的型号被预先确定。因此，可根据操作台203的位置和方向 唯一地计算工件204的位置和方向。接下来，以下描述根据通过立体视觉算法计算的标记位置来计算驱动器 202的位置和方向以及操作台203的桌台的位置和方向的方法。首先，为了 说明，术语(a)至(f)定义如下。(a) 右相机坐标系统和左相机坐标系统由CCD相机206和207拍摄的图像的坐标系统分别称为"右相机坐标 系统"和"左相机坐标系统"。右相机坐标系统和左相机坐标系统都是二维 坐标系统。因此，在这些坐标系统中由一对坐标表示一个点。由于CCD相 机206和207被安装在不同位置，所以在右相机坐标系统上的目标的坐标和 在左相机坐标系统上的同一目标的坐标不同。(b) 绝对坐标系统 原点的位置和轴的方向固定的球形三维坐标系统称为"绝对坐标系统"，并由标记符号"J> "表示。使用由CCD相机206和207拍摄的两个图像通 过立体视觉算法计算的坐标是绝对坐标系统1>上的坐标(更具体地，三个 坐标作为一组)。CCD相机206和207固定和安装在防震相机台205上，防 震相机台205被固定以使其适合计算绝对坐标系统Z。上的坐标。在用以实现本发明的本实施方式中，绝对坐标系统2>是三维正交坐标系统，并且三个轴是x轴、y轴和z轴。绝对坐标系统2>是参照图1所描述的第一坐标系统的实例。用以表示任一点Pi的绝对坐标系统za上的一组三个坐标由公式(1)的行矢量aPi表示。aPi= (Xi， yi， Zi) (1)(c) 操作台坐标系统基于操作台203的桌台的局部三维坐标系统被称为"操作台坐标系统"。 操作台坐标系统是原点随着操作台203的移动而移动，以及轴的方向随着操 作台203的桌台的旋转而改变的坐标系统。(d) 工件坐标系统基于工件204的局部三维坐标系统称为"工件坐标系统"，并由标记符 号"1>"表示。工件坐标系统是原点随着工件204的移动而移动，以及轴 的方向随着工件204的旋转而改变的坐标系统。在用以实现本发明的本实施方式中，工件坐标系统^>是三维正交坐标 系统，并且三个轴是q轴、r轴和s轴。工件坐标系统2>是参照图l所描述 的第二坐标系统的实例。点Pi在工件坐标系统Zw上的一组三个坐标由公式 (2)的行矢量wPi表示。wPi= (qi， ri， s》 (2)(e) 坐标转换在每一上述坐标系统中，(a)和(c)是辅助坐标系统，而(b)至(d) 可相互转换，但是用以实现本发明的本实施方式的主要焦点在于从绝对坐标 系统2>到工件坐标系统2>的转换。从绝对坐标系统2>到工件坐标系统 Z^的转换可由使用4X4矩阵A的公式(3)表示。"T"是表示转置矩阵 的符号。(qi， ri， Si， 1) T = A (Xi， yi， zi， 1) T (3) 矩阵A的每一矩阵元是从绝对坐标系统^>到工件坐标系统^>的坐标 转换的参数，以及是参照图l所描述的在第一坐标系统和第二坐标系统之间 进行坐标转换的必要参数的实例。如上所述，由于安装有工件204的操作台 203可移动，所以矩阵A的每一矩阵元的值根据操作台203的位置和方向动 态地改变。(f)两点之间的距离在点Pi和Pj之间的欧几里得距离(Euclid distance)由"d (Pj， P」)" 表示。坐标系统(b)至(d)是用于真实世界中的三维空间的坐标系统，在 任一坐标系统中计算的该距离是相同的。接下来，使用上述定义的术语，参照图7至图10详细描述在图2和图4 所示的操作位置定位系统中执行的处理。图7是示出根据用以实现本发明的 一方案的处理流程的流程图。与图2类似，以下描述的重点在于操作单元103 中的处理。首先，在步骤S101，将工件204从前一处理中的操作单元102传送至操 作单元103。由工人201使用条形码读取器211读取表示工件204的型号的 条形码，用作计算单元113的PC 209检测到工件204已经被发送，并向被 告知工件204的型号。PC 209将表示该型号的代码作为检索密钥(retrieval key)(即，搜索密钥)发送至主机系统105，并从主机系统105读取关于该 型号的操作信息。操作信息包括N个螺丝的拧螺丝位置处的工件坐标系统 Zw上的坐标。这些坐标在设计工件204时被确定，并且这些坐标是参照图 1的上述操作坐标。接下来，在步骤S102， PC 209监控是否已经接收到完成信号。重复执 行步骤S102中的处理，直至接收到完成信号。当接收到完成信号时，控制 转至步骤S103。完成信号的实例是用以表示实际施加的扭矩已经达到指定扭 矩的扭矩达到(torque-up)信号。通过驱动器控制器210和IO板215将扭 矩达到信号从驱动器202发送至PC 209。在步骤S103， CCD相机206和207同时拍摄操作单元103。将两张拍摄 图像的数据提供至PC209中的图像处理板214。由此，保留在检测出接收到 完成信号时用以检测工件204和驱动器202的位置和方向的必要数据。接下来，在步骤S104，在由CCD相机206和207拍摄的两张图片的每 一张图片中，图像处理板214在图像识别过程中检测附着到操作台203的标 记218的位置。如上所述，在没有任何障碍(例如工人201等)的情况下，由CCD相 机206和207拍摄的图像包括操作台203和工件204。因此，在具有三个附 着标记218图像中至少拍摄了表面A至表面D中的至少一个。因此，图像处理板214能够检测在所述两张图像中的每一张图像的数据中的至少三个标记218。在以下描述中，为了便于说明，假设图6中所示的位置关系，并假设在 步骤S104中已经检测到标记218a至218c。然而，在步骤S104和S105的阶 段中，没有确定所检测的三个标记218是附着至表面A的标记218a至218c。在以下描述中，各标记218的中心位置表示各标记218的位置。在步骤 S104中，检测在标记218a至218c的中心位置在右相机坐标系统中的坐标以 及在左相机坐标系统中的坐标。在某些情况下，两个邻接表面(例如表面A和B)出现在一个图像中， 并且图像处理板214可检测6个标记218。在每一表面上，由于标记218附 着在一条直线上，因此在每一图像中3个标记218排列在一条直线上，其它 3个标记218排列在另一条直线上。图像处理板214检测这两条直线，从而 可将6个标记218分成附着在一个表面上与附着在另一表面上的两个组。在 步骤S105和S106中的随后处理中可仅使用一组也可以使用两组。在以下的 描述中，为了简化说明，假设仅使用包含标记218a至218c的一个组。在接下来的步骤S105中，PC 209通过立体视觉算法计算每一检测标记 218在绝对坐标系统^>中的坐标。在步骤S105的计算处理中使用在步骤 S104中获得的每一标记218在右相机坐标系统和左相机坐标系统中所计算 的坐标值。即，在此实例中，计算各标记218a、 218b和218c的位置P^ P2、P3的每一个位置的绝对坐标系统Z"的坐标aPi、 ，2、 aP3。在接下来的步骤S106中，PC 209计算由绝对坐标系统^>表示的操作 台203的位置和方向。以下参照图8和图9描述该计算方法。图8是在检测的3个标记218a至218c之间的位置关系的示意图。在步 骤S106， PC 209使用在步骤S105中计算得到的坐标来计算标记218之间的 距离，即d (Pp P2)和d (P2、 P3)。图8示出两个距离d (PP P2)和d (P2、 P3)。将3个标记218附着在表面A至D的每一表面中。附着这些标记218， 以使得对于每一表面，标记218之间的位置关系不同，以及根据哪个是上表 面(即是表面E还是表面F)，标记218之间的位置关系也不同。图9示出 标记218的排列图案的实例。在图9中，假设表面E和F是边长为105cm的正方形，并且每一标记 218具有5cm的水平长度。在每一表面A至D中，将标记218附着在右端和 左端，并将另一标记218附加在它们之间。因此，在每一表面A至D上， 附着在两端的两个标记218之间的距离为100cm。图9示出从图像左侧起按 标记符号Pi、 P2和P3的顺序由其表示的3个标记218的位置。图9中所示 的表格以从左侧开始的顺序示出4个列预先确定的d(Pi， P2)的名义值、 预先确定的d (P2、 P3)的名义值、在步骤S104中检测的标记218所在的表 面和上表面。基于上述假设，PC 209确定例如计算的d (Pp P2)的值是否等于预定 允许误差内的10cm，以及计算的d (P2、 P3)的值是否等于在预定允许误差 内的90cm，然后确定在步骤S104中检测到的标记218所附着的表面是表面 A，以及表面E为上表面。另外，也不一定必须确定允许误差。在这种情况下，PC209可确定例如 与图9中所示的表格的最左列中的计算值d(P,，P2)最接近的值是否为10cm， 以及与图9中所示的从表格的最左列起的第二列中的计算值d (P2， P3)最 接近的值是否为90cm，然后确定在步骤S104中检测到的标记218所附着的 表面是为表面A，以及表面E为上表面。因此，在对标记218的计算距离的值与标记218的预定距离的值进行比 较时，在考虑到误差的情况下执行处理，但是实际处理方法是根据具体的实 施方式随意确定。由于所述4个表面A至D中的每一个均具有表面E是上表面的情况以 及表面F是上表面的情况，所以图9中所示的表格包括8个行(不包括头一 行)。排布标记218以使得在8个行的任两行中d (P,， P2)和d (P2、 P3) 的值的组合不相同。预先将例如图9中所示的标记218的预定排列图案读取到PC 209的 RAM等中。因此，PC 209参照预先存储的排列图案基于d(Pp P2)和d(P2、 P3)的计算值来确定附着有检测到的标记218的表面和上表面。例如，在图 6所示的实例中，PC 209识别出附着有3个所识别图像的标记218的表面是 表面A，上表面是表面E，并且3个标记218在PC 209已经计算出标记218a至218c的位置P2和P3的绝对坐标系统Z"中的坐标aPi、 ，2、 ，3之后，执行上述识别处理。因此，PC 209可 基于坐标aPp aP2、 ，3计算由绝对坐标系统1>表示的操作台203的位置和方向。例如，PC209计算在绝对坐标系统Z"上操作台坐标系统的原点位置和轴的方向矢量。在接下来的步骤S107中，PC 209通过使用操作台203的位置和方向计 算矩阵A，作为用于坐标系统之间转换的转换参数。首先，PC 209基于步骤S106中的计算结果计算矩阵B，作为用于从绝 对坐标系统1>到操作台坐标系统的坐标转换的参数。另一方面，由于将工件204固定在操作台203的桌台的预定表面上的预 定位置，所以矩阵C根据工件204的型号被预先固定地确定，而不会发生编 号，其中矩阵C作为用于从操作台坐标系统到工件坐标系统Zw的坐标转换 参数。矩阵C可预先被存储在PC 209的硬盘驱动器上，例如或者可在步骤 S107中将其从主机系统105提供至PC 209。因此，通过执行矩阵操作计算A:CB， PC209可获得公式(3)的矩阵A。可选择地，PC209也可以通过如下方式计算矩阵A。每一标记218的操 作台坐标系统中的坐标被预先确定。将标记218的坐标预先读取到例如PC 209的RAM。 PC 209可使用矩阵C将所读取的标记218的坐标转换为工件坐标系统1>的坐标。在这一阶段中，已经计算了标记218a至218c的位置P！至P3在绝对坐 标系统2>和工件坐标系统1>中的坐标。因此，PC 209可基于坐标系统2> 和Zw中的坐标计算矩阵A。在执行步骤S107之后，控制转至步骤S108。在步骤S108，图像处理板 214通过对步骤S103中拍摄的两个图像中的每一个进行图像识别处理来检 测驱动器202的标记217a和217b。即，检测标记217a和217b在右相机坐 标系统中的坐标及其在左相机坐标系统中的坐标。在接下来的步骤S109中，PC 209通过立体视觉算法计算标记217a和 217b在绝对坐标系统Z"中的坐标。该处理与步骤S105中执行的处理类似。在接下来的步骤S110中，PC 209通过使用在步骤S109中计算得到的标记217a和217b的坐标，来计算驱动器202的顶部225在绝对坐标系统^>中 的坐标。以下参照图IO描述该计算方法。图IO是以二维表示法表示的示意 图。将两个标记217a和217b附着在驱动器202的手柄部分。为了简化说明， 假设两个标记217a和217b附着在没有被工人201的手隐藏的位置。驱动器 202具有关于轴224实质上径向对称的手柄部分和驱动器钻头(driver bit) 223。标记217a和217b也分别附着为形成关于轴224径向对称。图IO示出 在工件204的预定位置紧固螺丝226的操作，并且在完成紧固螺丝226时驱 动器202的顶部225的位置是该操作的操作完成位置。在步骤S109的处理中，计算用以表示标记217a和217b的位置的点P4和P5在绝对坐标系统Z"中的坐标aP4和ap5。点P4表示标记217a，并且根 据用以实现本发明的方案可随意确定选择点P4的方法。例如，在以下用以实现本发明的方式中，在驱动器202的手柄部分的直 径充分小于操作位置之间的距离的情况下，在忽略驱动器202的厚度时不会 出现问题。否则，存在以下用以实现本发明的方式，即根据基于由CCD相 机206和207所拍摄的图像计算的绝对坐标系统2>中的坐标的精度，驱动 器202的直径小于预定允许误差。在上述用以实现本发明的方式中，假设存 在经过标记217a的宽度中心点并对应于所拍摄图像中的轴224的直线时， 可选择位于直线上的点作为点P4。类似地选择用以表示标记217b的位置的 点Ps。因此，在假设驱动器202的顶部225落于连接点P4和点P5的直线上 的情况下，计算顶部225的坐标。在用以实现本发明的另一方案中，可选择垂直于轴224的平面与轴224 的交叉点作为点P4，其中轴224经过标记217a的宽度中心。在这种情况下， 由于点P4不在标记217a的外表面，所以PC 209可根据基于立体视觉原理计 算的标记217a的外表面上的多个点的坐标和驱动器202的手柄部分的已知直径，来计算点P4的坐标。在以下描述中，假设连接表示标记217a的点P4和表示标记217b的点 P5的直线可被看成轴224。基于这一假设，驱动器202的顶部225的点P6 位于轴224上。在绝对坐标系统J>中，可基于坐标aP4和aP5获得用以表示轴224的直线的公式。图10中所示的角e是由工件204和轴224形成的角，并在二维 示意图中表示。另一方面，如上所述知道了驱动器202上的标记217a和217b的附着位 置。预先预定或预先测量驱动器钻头223的长度。因此，能够仅根据已知的 固定数据计算Ps与P6之间的距离d (P5， P6)。在步骤S110， PC209从与点P4相反的方向(即从直线轴224上的点Ps 进行观察)上计算从点P5开始的距离d (P5， P6)的位置坐标。然后，在步 骤Sl 10， PC 209将所计算的坐标确定为点P6的坐标。可以以多种方法确定两个识别图像标记之间哪个是标记217a(或217b)， 并基于确定结果计算点P6的坐标。例如，在用以实现本发明的方案中，使用垂直设置的驱动器202紧固螺 丝226的操作仅限于放置螺丝226并从上面用驱动器202紧固螺丝的情况。 因此，当轴224的直线倾斜度基本垂直时，两个位置检测标记中较高的标记 被识别为标记217a，较低标记被识别标记217b。还存在另一用以实现本发明的方案，其中工人201的位置仅限于预定范 围，例如预定工人201的位置保持在工件204的左面(从CCD相机206和 207处观察)。在这种情况下，在两个位置检测标记中，从CCD相机206 和207处观察的左侧标记被识别为标记217a，右侧标记被识别为标记217b。另外，还需考虑到如下几何特征，即驱动器202具有较厚手柄部分和较 薄驱动器钻头223。也能够识别出在两个被检测标记中距离驱动器钻头223 较远的标记为标记217a，较近的标记为标记217b。在任一情况下，基于用以表示标记217a和217b的点P4和P5的坐标， PC 209计算用以表示驱动器202的顶部225的点P6在绝对坐标系统5>中的 坐标aP6。坐标aP6是参照图1所描述的操作完成坐标的实例。然后，在步骤Slll， PC209使用在步骤S107中计算得到的参数(即矩 阵A)对坐标ap6执行坐标转换，并计算点P6在工件坐标系统Zw中的坐标 WP6。之后，在步骤S112， PC209比较在步骤SIOI中读取的拧螺丝位置的设 计数据(其作为操作坐标)与在步骤Slll中计算得到的驱动器202的顶部 225的坐标^6，并定位(即识别)刚完成的操作对应于哪个拧螺丝位置。在步骤S112的处理中使用的坐标系统仅是工件坐标系统2>。例如，根据坐标WP6和N个操作坐标，PC 209计算点P6与N个操作位 置中每一个操作位置之间的距离，从而获得N个距离值。然后，PC 209定位表示距点P6最短距离的操作位置，作为刚刚完成的拧螺丝操作的操作位 置。可选择地，不将坐标WP6与所有的N组(每组包含三个操作坐标)坐标 进行比较，而是从比较目标中删除完成操作的三元操作坐标。在接下来的步骤S113中，PC209确定在步骤S112中的定位是否成功。 如果已经成功，则控制转至步骤S114，并且PC 209控制操作监控器212显 示定位结果。如果失败，则控制转至步骤S115，并且PC 209控制操作监控 器212显示定位失败。步骤S113的标准取决于用以实现本发明的方案。例如，假定在步骤SU2 中选择N个操作位置中表示与驱动器202的顶部225距离最近的操作位置。 在这种情况下，仅在最短距离等于或小于预定阈值时，在步骤S113确定定 位成功。否则，可以确定定位失败。尽管在图7中没有示出，也可能存在步骤S104或S108中图像识别失败 的情况。在这种情况下，由于不能相应定位操作位置，所以在步骤S113中 确定为"否"。在执行步骤S114或S115之后，控制转至步骤S116。在步骤S116， PC 209确定是否已经完成了操作单元103中要执行的所有N个操作。如果完成 了所有操作，则确定为"是"，并且图7所示的过程终止。如果仍剩下要执 行的一些操作，则PC 209确定为"否"，并且控制转至步骤S102。当完成 图7中所示的过程时，将工件204传送至下一操作单元104。图11示出操作监控器212的显示屏幕的实例。在图11所示的实例中， 在操作监控器212的屏幕上提供有9个区域，并且在相应区域中通过字符、 符号、图片等显示9种类型的信息。工件选择操作显示区域301是用于选择和显示正被组装的工件型号的区 域。在用以实现本发明的方案中，工人201从工件选择操作显示区域301上 显示的选项中选择工件204的型号，并通过外部设备213在PC 209上表示 选择结果，并将选择结果显示在工件选择操作显示区域301上。在用以实现 本发明的另一方案中，工人204使用条形码读取器211读取的表示工件204型号的条形码的结果被显示在工件选择操作显示区域301上。因此，工人201仅需要确定所显示的型号。操作信息显示区域302显示工件204的S/N和工人201的ID。也可以显 示用于提示工人201使用条形码读取器211输入他或她的ID的消息。操作按钮显示区域303包括被显示的"开始"、"停止"、"暂停"和 "继续"按钮。工人201在开始对工件204进行一系列操作时使用例如鼠标 按下"开始"按钮，在因为某些原因强行停止对工件204进行的一系列操作 时按下"停止"按钮，在由于休息等而要暂停一系列操作时按下"暂停"按 钮，以及在继续所暂停的一系列操作时按下"继续"按钮。细节显示区域304包括细节信息，例如整个系统的状态、在操作单元103 中要执行的N个操作的进展情况、包含接下来要执行的操作的指令的各种消 息等。在工件选择操作显示区域301中选择的工件204被图形化地显示在工件 正面显示区域305和工件背面显示区域306中。在图11所示的实例中，假 设需要对工件204的正面和背面进行操作。因此，工件正面显示区域305显 示工件204的正面，工件背面显示区域306显示工件204的背面。已完成的 操作部分和待执行的操作部分被图形化地显示。例如，已完成的操作部分和 待执行的操作部分分别标记有黑圈和白圈。己完成的操作部分指的是已经成 功执行了操作位置定位的部分。拧螺丝操作计数显示区域307包括用以表示在图7所示的步骤S113中 确定结果为"是"的频率的次数M，即用以表示成功定位操作位置的频率的 次数M。或者在拧螺丝操作计数显示区域307中显示从待执行的操作总数N 中减去次数M所获得的值(N-M)。拧螺丝操作总数显示区域308包括在操作单元103中对工件204要执行 的操作的总数N。定位错误计数显示区域309包括在图7所示的步骤S113中为"否"的 次数，即在因为某些原因未成功定位操作位置的操作次数。图12示出附着于操作台203的标记218的实例。标记218配置有片状 基底单元401和十字形凸出部402。在图12所示的实例中，片状基底单元401的几何形状是矩形片状。片状基底单元401的背面404是附着在操作台203上的附着表面。例如，将粘 合剂涂覆在背面404，从而将标记218附着至操作台203。十字形凸出部402 从片状基底单元401的表面403开始在片状基底单元401的厚度方向上延伸。 十字形凸出部402包括彼此正交的水平线部分405和垂直线部分406，并具 有宽度wl和厚度tl。片状基底单元401由例如反光材料等的高反射材料制 成，以实现回射(retroreflection)，其表示入射光方向上光的反射。十字形 凸出部402由具有低入射光反射率的低反射材料制成。
使用标记218的上述结构，由于以下第一至第三方面的原因，可提高由 图像处理板214对CCD相机206和207拍摄的图像进行图像识别而检测的 对标记218的检测精度。
第一原因，由于片状基底单元401由反光材料制成，不管CCD相机206 和207的拍摄角度如何，反射率基本是常数，并且较高。另一方面，十字形 凸出部402由低反射率材料制成。因此，不管拍摄角度如何，在拍摄图像中 获取了高对比度的十字形图像，并且该图像的轮廓清晰。因此，当使用例如 己知的边缘提取方法的图像识别技术识别标记218时，可提高用以识别标记 218的识别精度。
第二原因，由于在许多情况下在操作单元中存在较少的高对比度十字形 对象，所以标记218不会与图像的背景混合，因此可以被容易地检测。由 CCD相机206和207拍摄的图像包括操作单元中的各种对象和工人201 。其 中许多对象具有圆形或矩形轮廓。因此，根据经验可以得知，如果使用圆形 图案、矩形图案等会降低标记的识别率。另一方面，在例如背景中包括各种 对象的不理想条件下也很难降低图12中所示的标记218的识别率。
第三原因，通过适当确定十字形凸出部402的宽度wl和厚度tl，不管 拍摄标记218的角度如何，均能够降低图像中十字形的水平线和垂直线的宽 度的变化。
当从前面拍摄标记218时，在图像中拍摄的内容基本上仅是十字形凸出 部402的前面，并且不会拍摄水平线部分405和垂直线部分406的大部分侧 表面。因此，在这种情况下，通过CCD相机206或207与标记218之间的 距离以及水平线部分405的宽度wl能够确定图像中水平线的宽度。同样能 够确定图像中垂直线的宽度。另一方面，当从它们左面或右面对角地拍摄标记218时，在图像中拍摄
有垂直线部分406的前表面和侧表面。在图像中前表面宽度较窄的拍摄角度 处，图像中侧表面的宽度较宽。因此，如果十字形凸出部402的宽度wl和 厚度tl适当，图像中十字形的垂直线的宽度不会随拍摄角度有较大改变。类 似地，当从它们上面或下面对角地拍摄标记218时，图像中十字形的水平线 的宽度不会随拍摄角度有较大改变。
当图像中十字形的垂直线和水平线的宽度的改变较小时，在图像中与标 记218对应的十字形可被容易地识别，因而可自然地提高图像识别的精度。 由于适当的宽度wl和厚度tl取决于各种要素，例如操作单元的大小、CCD 相机206和207的安装角度和标记218的大小等，所以期望在实验等之后对 其进行适当确定。
图13A和图13B示出附着在驱动器202上用作标记217的部件的实例。 在图6和图10中，在不限制实际几何形状或材料的t，况下，示出两个标记 217a和217b，但是它们并不是指所需的两个不同对象。显然地，也可以使 用一个标记217，作为具有两个位置可识别部分的对象。图13A和图13B示 出标记217的实例。
将图13A中所示的标记217附着在驱动器202的手柄部分。期望将标记 217附着在没有被工人201的手隐藏的位置。标记217包括圆柱形基底单元 408和3个圆柱形凸出部409a、 409b和409c。与片状基底单元401类似， 圆柱形基底单元408由高反射率材料制成。与十字形凸出部402类似，圆柱 形凸出部409a、 409b和409c由低反射率材料制成。
每一圆柱形凸出部409a、 409b和409c沿着圆柱形基底单元408的圆柱 侧表面的外部圆周配置。即，圆柱形基底单元408和圆柱形凸出部409a、 409b 和409c被配置为关于公共轴410形成径向对称，并且整个标记217形成为 关于轴410径向对称。在图13A的描述中，在轴410的方向上的长度称为"宽 度"。在图13A所示的实例中，圆柱形凸出部409a、 409b和409c的宽度为 w2。在图13A的描述中，在径向上的长度(g卩，与轴410的距离)称为"厚 度"。圆柱形凸出部409a、 409b和409c从圆柱形基底单元408向外延伸厚 度t2。
将图13A所示的标记217附着至驱动器202,以使得标记217的轴410与驱动器202的轴224彼此匹配。例如，圆柱形基底单元408是空心的，并 形成为其内径基本等于驱动器202的手柄部分的外径。在这种情况下，通过 将驱动器202的手柄部分的全部或一部分啮合在圆柱形基底单元408的内部 空间中，可将标记217附着至驱动器202，以使得轴410与轴224匹配。另 外，圆柱形基底单元408也可以不是空心的而是实心的。在这种情况下，例 如，可通过将圆柱形凸出部409c附着在驱动器202的手柄部分的端部来使 得标记217附着在驱动器202上。此外，可对标记217配置用于附着至驱动 器202的部分，例如爪部。
由于需要至少两个要检测坐标的对象，所以图6和图IO示出具有两个 标记217a和217b的驱动器202。为了减少检测错误，显然可使用三个或更 多要检测坐标的对象。因此，图13A示出配置有3个要检测坐标的圆柱形凸 出部409a、 409b和409c的标记217。
使用上述配置的标记217，由于以下原因可提高在CCD相机206和207 拍摄的图像上由PC 209执行的对驱动器的标记的图像识别精度。
第一原因，由于圆柱形基底单元408由反光材料制成，所以不论拍摄角 度如何，在拍摄图像中圆柱形基底单元408与圆柱形凸出部409a、 409b和 409c之间的对比度恒定地保持高。因此，不管拍摄角度如何，通过图像识别 能够容易地检测出圆柱形凸出部409a、 40%和409c。
第二原因，由于标记217采用径向对称的形式，所以即使经过标记217 和CCD相机206 (或CCD相机207)的线的斜率关于与地面平行的水平面 发生较大改变，在拍摄图像中标记217的几何形状也不会有较大改变。这种 特点有助于改善识别率。
第三原因，由于圆柱形凸出部409a、 409b和409c具有厚度t2，并向圆 柱形基底单元408外部延伸，所以即使CCD相机206或207的光轴与标记 217的轴410构成的角度较小，也可以在图像中拍摄具有一定尺寸度的圆柱 形凸出部409a、 409b和409c。第三方面原因类似于关于图12中所示的标记 218的第三方面原因。迈此，通过根据用以实现本发明的方案适当确定宽度 w2和厚度t2，由图像识别检测的标记217的范围可被扩展，从而提高识别
图13B所示的标记217具有与图13A所示的标记217几乎相同的结构。其不同之处仅在于图13B中所示的标记217还配置有圆柱形凸出部409d。
如图13A和图13B所示，优选地可配置标记以用于操作位置定位系统。 将标记附着在例如驱动器202的设备上，并包括基底单元和从该基底单元延 伸的多个凸出部。基底单元具有高反射率，多个凸出部具有低反射率，或者 基底单元具有低反射率，多个凸出部具有高反射率。在将标记附着到设备上
时，多个凸出部中的每一个均采用关于多个凸出部的公共轴基本径向对称的 形式。
由于标记的凸出部采用基本径向对称的形式，所以通过将标记附着在工 具上以用于制造过程从而从任一方向观察例如驱动器202的工具时，能够以
恒定的可靠性检测标记位置。使用上述标记，可改善操作完成坐标检测单元 的检测精度。
以上详细描述了用以实现本发明的方案。以下将描述在工件组装线100 中由与操作单元101至104相关的上述实施例所获得的效果总结。
首先，要执行的操作可分为实际上己经执行的操作和还没有执行的操 作。因此，例如对于PC 209或主机系统105能够自动检查在制造过程中是 否存在一些遗漏的还没有被执行的操作。通过由工人201基于检査结果执行 操作，在存要被执行但还没有被执行的操作的状态下，可防止工件被错误地 传送到下一过程。
因此，能够减少向遗漏执行操作的工人201提供操作指令的工时 (man-hour)量。此外，也可以大大降低在制造过程之后要执行的测试处理 步骤中的工时量。通常，需要检查者在视觉上査看工件204的外观，以搜索 遗漏操作的任一部分，以及检查遗漏操作的位置。然而，根据以上实施例， 没必要执行该检查，或者能够大大减少检查步骤。
此外，根据以上实施例，可降低由于忘记操作而造成的残品出现数目， 从而提高产品产量。
除了上述共有效果之外，以上详细描述的用以实现本发明的方案还具有 以下效果。
首先，不需要使用需要电力的标记，使用可移动操作台203，可定位操 作位置。因此，根据用以实现本发明的上述方案的操作位置定位系统可应用 于许多制造过程中。此外，由于操作位置定位系统配置有向工人201提供指导的功能，并且
在操作监控器212上显示图11所示的各种信息，所以工人201可在检査操 作监控器212的同时执行操作，并且可防止忘记上紧螺丝。此外，即使工人 201由于大意而忘记上紧螺丝，这种情况被显示在操作监控器212上，工人 201识别出这一错误，然后工人201正确执行该操作。
由于驱动器202是电驱动的扭矩驱动器，所以可检测施加至螺丝的扭矩 和驱动时间。因此，螺丝的划线(scoring)(或磨伤(galling))是可检测 的，并且也可以检测仅放置螺丝而忘记上紧螺丝的情况。
例如，当在螺丝孔的方向正确施加扭矩时，预期从开始上紧螺丝至达到 指定扭矩所用的时间等于从开始上紧螺丝至正确设定螺丝所用的时间。因 此，当这两个时间值之间的差值较大时，由于斜靠螺丝孔向向螺丝施加扭矩， 所以可检测到发生了划伤螺丝的情况。当检测到螺丝划线时，期望驱动器202 发出作为错误操作通知的信号，而不是发出完成信号。根据该信号，PC 209 控制操作监控器212，以在细节显示区域304等中显示警告，从而使得工人 201执行正确操作。
如果在将螺丝放在其位置之后忘记了 ，则从驱动器202不输出与拧螺丝 操作对应的完成信号。因此，操作位置定位系统识别出还没有执行完的操作。 因此，在工件正面显示区域305或工件背面显示区域306中显示操作的操作 位置，作为要执行操作的部分，从而使得工人201识别出他/她忘记了上紧螺 丝。
本发明不限于用以实现本发明的上述方案，而可采用各种变型。以下描 述变型的实例。
在用以实现本发明的上述方案中，通过用工件坐标系统^>中的坐标表 示操作完成位置和操作位置，来将两者进行比较，以定位与操作完成位置对 应的操作位置。另一方面，可通过用绝对坐标系统Z"中的坐标表示它们以 将它们进行比较。在这种情况下，在图7所示的步骤S107中，在计算时矩 阵A用矩阵A"来代替。矩阵A"是矩阵A的逆矩阵，并且是从工件坐标系 统Zw到绝对坐标系统r"的转换矩阵。在这种情况下，在步骤Slll中的处
理没有必要，并且需要在步骤S112中将操作坐标转换为绝对坐标系统Z"中 的坐标的过程。尽管能够采用上述变型，但是这不是优选的。即，如图7所示将绝对坐 标系统Z"中的坐标转换为工件坐标系统Zw中的坐标的方法要求更少的计 算复杂度，因此效率更高。在图7中，在步骤Slll中将用以表示一个点的唯一一组坐标从绝对坐标系统Z"转换至工件坐标系统Zw。另一方面，如果操作单元103中要执 行的操作数目为N，则在上述变型实例中有必要将N组操作坐标从工件坐标 系统2>转换至绝对坐标系统^>。在这种情况下，N的值越大，计算复杂 度越高。在用以实现本发明的某些方案中，将已经被定位的操作位置从与操 作完成位置进行比较的目标中去除。然而，该变型实例需要比图7所示情况 更高的计算复杂度。由于操作台203是可移动的，所以每当完成操作时有必要将一个坐标系 统中的坐标转换至另一坐标系统。因此，不能使用首先执行坐标转换、存储 转换结果、然后引用存储的转换结果的方法。因此，很清楚图7所示的计算 复杂度小于该变型实例的复杂度。标记217和218的几何形状和材料不限于所示实例。例如，图12中所 示的标记218示出一个水平线部分405与一个垂直线部分406正交的几何形 状，但是可采用两个或更多个水平线部分405或垂直线部分406。没必要一 定具有彼此正交的直线的几何形状，而可以对标记218使用任一几何形状， 例如多边形、圆形、椭圆形等。例如，可使用具有用以插入驱动器202的手柄部分的孔的球形标记，代 替径向对称的标记217。由于不管CCD相机206和207的拍摄角度如何，在 拍摄图像中球形标记的形状总为圆形，所以球形标记改善了图像识别的识别 率。例如，可在球形标记的表面上形成预定图案，并且可由反光材料和低反 射率材料制成该图案。该图案能使得PC 209使用球形标记计算驱动器202 的位置和方向，从而PC 209可计算用以表示驱动器202的顶部225的点P6 的坐标^6。在以上实例中，将3个标记218附着到操作台203的每一表面A至D， 但是显然地可使用一个标记，其形成为使得3个十字形凸出部402从一长片 状基底单元401的表面403延伸，并且清楚的是，这样形成的标记具有与图12所示的标记218相同的效果。在这种情况下，例如在长片状基底单元401 的表面403上，3个十字形凸出部402以如图8所示的间隔进行排列。标记217和218可以由具有较大差别反射率的不同材料制成，从而可以 在图像识别中容易地检测出它们。因此，标记218可具有低反射率片状基底 单元401和高反射率十字形凸出部402。类似的，标记217可具有低反射率 圆柱形基底单元408和高反射率圆柱形凸出部409a至409d。图12至图13B所示的标记217和218具有这样的优点它们不需要电 力，并且可在不需要改变它们的情况下将其附着到现有驱动器202和操作台 203。然而，用以实现本发明的某些方案使得例如LED (发光二极管)等的 高亮度发光元件或超声波发生器用作标记217和/或218。也就是说，由于只 需要检测三位空间中的位置，所以图4中所示的用以实现本发明的方案可被 改变，以使用用于三维测量的传感器，例如超声波传感器、振动传感器等。例如，当将LED用于标记217和/或218时，通过使用对LED发出的光 的波长具有波长敏感性的CCD相机206和207，能够高精度地识别标记。当 将超声波发生器用作标记217和/或218时，通过多个超声波接收器接收超声 波信号，其中所述多个超声波接收器的位置关系彼此已知并且可代替CCD 相机206和207，从而根据超声波信号的传播时间差来检测标记的位置。当将LED或超声波发生器用作标记217时，完成信号产生工具110和 标记217可组合为一个设备。例如，当通过驱动器202施加到螺丝的扭矩达 到指定扭矩时，附着在驱动器202的超声波发生器产生超声波信号，作为完 成信号，多个超声波接收器接收超声波信号，并且PC 209可计算超声波发 生器的位置。然而，当使用LED和/或超声波发生器时，会产生消耗驱动能量(例如 电力等)的问题，以及必须有用于提供驱动能量的电池或布线的问题。可能 难以为现有的驱动器202或操作台203重新提供布线。也难以在不扭曲或切 断布线的情况下以及在不改变操作台203的移动区域的情况下提供布线。在用以实现本发明的上述方案中，使用两个CCD相机206和207，但是 可使用3个或更多相机来消除盲点等。CCD相机206和207可拍摄亮度图像(luminance image)(即单色灰度 级图像)或彩色图像。在前一情况下，优点在于图像处理需要更少数据量，不需要调节彩色滤波器等。此外，由于图12A至13B中所示的标记217和218由高反射率材料和低反射率材料制成，所以在亮度图像中很容易识别出它们。另一方面，当使用用于拍摄彩色图像的CCD相机206和207时，例如 可将具有红色十字形凸出部402的标记218附着至表面A，并且可将具有蓝 色十字形凸出部402的标记218附着至表面C。因此，可使用颜色差确定操 作台203的方向。因此，也可以调节图9中所示的表面A至表面D上标记 218的附着位置上的限制。S卩，只有在根据外观(其包括标记218的形状、 颜色、排列图案等)能够识别出操作台203的表面时，可随意确定标记218 的实际结构和排列。用以实现本发明的上述方案中的操作内容涉及拧螺丝操作。然而，其它 实施方式可针对其它类型的操作。例如，某些实施方式可用于含有软接、焊 接、捆绑(seizing)、堵缝、模锻、点焊接、压焊等操作的制造过程。此外， 某些实施例可应用于一个过程包含例多个类型操作(如拧螺丝、焊接等)的 情况。例如，在多个点处粘合树脂板的超声波焊接过程中，每当在每一焊接点 完成焊接操作时，超声波焊接单元发出完成信号，并且PC 209通过10板215 接收完成信号。因此，如果使用在完成操作时用以发出完成信号的工具，则 上述实施例可被修改，以应用于除了拧螺丝操作之外的其它操作。某些其它实施例可应用于除了组装处理之外的其它过程。例如，可在制 造过程中包括除了组装过程之外的其它检查过程。在检査过程中，可使用工 具进行检査。如果设计一种结构，使得每当完成一次检査操作时，检查工具 可发出完成信号，则一实施例可应用于该检査过程。工具本身可通过手力操作，而不需要电力。例如，如果可通过振动传感 器检测操作的完成，则在一实施例中可利用振动传感器，从而振动传感器被 附着至手力工具，并发出完成信号。设计图4中所示的操作台203，以使得位置移动、桌台在水平轴上旋转 以及桌台在垂直轴上旋转。然而，显然地也可用其它类型的操作台，例如桌 台被设计为不沿水平轴旋转的操作台。在这种情况下，桌台移动的自由度的 减少使得在标记218的排列图案中的限制适度。尽管拧螺丝操作的操作位置是一个点，但是存在覆盖作为线性或平面延 伸的范围的操作。例如，在通过角焊处理金属板时，线性执行焊接处理。因 此，某些实施例可应用于在线性或平面延伸的范围上执行的操作。在具有线性或平面延伸的范围上执行的操作中，例如，使用被配置为在 操作期间按预定间隔间歇地发出信号的工具。该信号称为"操作进行中信号"。类似于完成信号，由PC209通过驱动器控制器210和IO板215接收 操作进行中信号。在PC 209接收到操作进行中信号时执行操作的位置称为 "操作进行中位置"。该操作位置表示为在现有和线性延伸的点位置的工件坐标系统2>中的 一组坐标或平面，或通过描述工件坐标系统Zw中的线或平面的公式表示。 在接收到操作进行中信号时，PC 209执行与接收到完成信号时执行的操作类 似的操作。即，PC209在接收到操作进行中信号时检测操作台203的位置和 方向，计算用于从绝对坐标系统Z"转换到工件坐标系统Zw的参数，检测 绝对坐标系统Z"中的操作进行中位置的坐标，将检测到的绝对坐标系统Z" 中的操作进行中位置的坐标转换为工件坐标系统^>，将转换结果与预先存 储的操作坐标进行比较，并定位与操作进行中位置对应的操作位置。在这种情况下，线性执行的或在平面上执行的操作对应于这样的点所在 的位置，其中所述点包含有已经定位操作位置的各点的一个或多个操作进行 中位置和一个操作完成位置。因此，某些实施例可应用于线性执行的或在平 面上执行的操作。随意确定发出操作进行中信号的时间。在用以实现本发明的上述方案中，绝对坐标系统Z"和工件坐标系统 Zw是正交坐标系统，但是显然地可使用例如极坐标系统等的其它坐标系统。在图11所示的实例中，存在两个图形化地表示工件204的区域。另一 方面，存在仅需要在一个表面上操作的工件204，以及需要在三个或更多表 面上操作的工件204。优选地，根据要处理的表面数目来适当调节显示区域 的数目。当在一个过程中存在多个要执行的操作时，按预定顺序执行这些操 作，优选地，操作监控器212显示用以表示操作顺序的指令。
权利要求
1.一种操作位置定位系统，用于在产品制造过程中在产品上定位操作位置，其中所述产品制造过程包含使用工具待执行的一个或多个操作，该系统包括操作完成坐标检测单元，其处理多个图像，所述多个图像通过从多个视点拍摄包含操作完成位置的范围而获得，以检测表示所述操作完成位置的一组操作完成坐标，其中所述操作完成位置为在操作完成时完成该操作的位置；和操作位置定位单元，其获取关于所述一个或多个操作中每一个操作的一组操作坐标，并基于该组操作完成坐标和所获取的一组或多组操作坐标来定位与所述操作完成位置对应的操作位置，其中所述操作坐标表示作为待执行操作的位置的操作位置。
2. 如权利要求1所述的操作位置定位系统，其中所述操作完成坐标检测单元检测所述工具的位置和方向，并基于检测到 的所述工具的位置和方向来计算该组操作完成坐标。
3. 如权利要求2所述的操作位置定位系统，其中通过利用图像识别来检测附着至所述工具的工具标记，检测所述工具的 位置和方向。
4. 如权利要求3所述的操作位置定位系统，其中 所述工具标记包括基底单元和从所述基底单元延伸的多个凸出部； 所述基底单元具有高反射率并且所述多个凸出部具有低反射率，或者所述基底单元具有低反射率并且所述多个凸出部具有高反射率；和在将所述工具标记附着在所述工具上时，所述多个凸出部的每一个采取 关于所述多个凸出部的公共轴基本径向对称的形式。
5. 如权利要求1所述的操作位置定位系统，其中 所述操作完成坐标由第一坐标系统表示； 所述操作坐标由基于该产品的第二坐标系统表示；所述操作位置定位系统还包括参数确定单元，其检测由该第一坐标系 统表示的关于该产品或与该产品具有预定位置关系的对象的位置和方向，以确定在所述第一坐标系统与所述第二坐标系统之间进行坐标转换所需的参数值；和所述操作位置定位单元使用参数转换坐标以便由同一坐标系统表示所 述操作完成位置和所述操作位置，并定位与所述操作完成位置对应的操作位 置。
6. 如权利要求5所述的操作位置定位系统，其中 所述坐标转换是从所述第一坐标系统到所述第二坐标系统的转换。
7. 如权利要求5所述的操作位置定位系统，其中通过将该产品固定至操作台来执行所述操作，其中所述操作台的位置和 方向中的至少一个可被调节，并且所述操作台配置有操作台标记； 关于所述多个图像的拍摄范围包括所述操作台；所述参数确定单元通过利用图像识别在所述多个图像上检测操作台标 记，来检测由所述第一坐标系统表示的所述操作台的位置和方向，以及基于 所述操作台的位置和方向确定所述参数值。
8. 如权利要求7所述的操作位置定位系统，其中所述操作台标记具有基底单元和从所述基底单元延伸的凸出部，其中所 述基底单元具有附着至所述操作台的附着表面；所述基底单元具有高反射率并且所述凸出部具有低反射率，或者所述基 底单元具有低反射率并且所述凸出部具有高反射率；通过将多个所述操作台标记附着至所述操作台，或者通过向所述操作台 标记提供多个凸出部，使得所述多个凸出部对应于所述操作台；和基于所述多个凸出部的外观差异和所述多个凸出部的排列图案中的至 少一个来检测所述操作台的位置和方向。
9. 如权利要求1所述的操作位置定位系统，还包括显示单元，其通过使用字符、符号、图像、声音或者上述组合，来显示与对应于所定位的操作位置的操作有关的操作信息。
10. 如权利要求1所述的操作位置定位系统，其中 基于定位所述操作位置的结果来管理处理信息，所述处理信息表示待执行的所述操作中哪一操作已被完成。
11. 如权利要求1所述的操作位置定位系统，其中所述操作为拧螺丝操作；所述工具为能够检测已经达到指定扭矩的扭矩驱动器； 当施加到螺丝的扭矩达到所述指定扭矩时，所述扭矩驱动器输出完成信号；所述操作完成坐标检测单元接收所述完成信号，并且在接收到所述完成 信号时检测该组操作完成坐标。
12. 如权利要求1所述的操作位置定位系统，其中 在线性或平面延伸的范围上待执行所述操作；所述操作完成坐标检测单元接收在操作进行期间输出了一次或多次的 操作进行中信号，并在接收到所述操作进行中信号时，检测表示正在执行所 述操作的位置的一组操作进行中坐标；和所述操作位置定位单元还定位与该组操作进行中坐标对应的操作位置。
13. —种操作位置定位系统，用于在产品制造过程中在产品上定位操作 位置，其中所述产品制造过程包含使用工具待执行的一个或多个操作，该系 统包括操作完成坐标检测单元，其检测一组操作完成坐标，在所述操作完成坐 标中由第一坐标系统表示作为完成该操作的位置的操作完成位置；参数确定单元，其检测由该第一坐标系统表示的关于该产品或与该产品 具有预定位置关系的对象的位置和方向，以确定在所述第一坐标系统与基于 该产品的第二坐标系统之间进行坐标转换所需的参数值；操作位置定位单元，其获取关于所述一个或多个操作中每一个操作的一 组操作坐标，在所述操作坐标中由所述第二坐标系统表示作为待执行操作的 位置的操作位置；所述操作位置定位单元使用参数转换坐标，以由同一坐标 系统表示所述操作完成位置和所述操作位置；以及所述操作位置定位单元定 位与所述操作完成位置对应的操作位置，其中。
14. 如权利要求13所述的操作位置定位系统，其中利用附着至所述工具并能够执行三维测量的传感器的输出，所述操作完 成坐标检测单元检测所述操作完成坐标。
15. 如权利要求13所述的操作位置定位系统，其中 利用能够执行三维测量的传感器，所述参数确定单元检测在所述第一坐 标系统中表示的关于该产品或该对象的位置和方向。
16. —种与处理相对应的操作单元，所述处理包含在产品制造过程中使 用工具待执行的一个或多个操作，所述产品制造过程包含一个或多个处理，该操作单元包括操作完成坐标检测单元，其处理多个图像，所述多个图像通过从多个视 点拍摄包含操作完成位置的范围而获得，以检测表示所述操作完成位置的一 组操作完成坐标，其中所述操作完成位置为操作完成时完成该操作的位置； 和操作位置定位单元，其获取关于所述一个或多个操作中每一个操作的一 组操作坐标，并基于该组操作完成坐标和所获取的一组或多组操作坐标来定 位与所述操作完成位置对应的操作位置，其中所述操作坐标表示作为待执行 操作的位置的操作位置。
17. —种在产品制造过程中执行的方法，其中该产品制造过程包含使用 工具待执行的一个或多个操作，该方法包括如下步骤处理多个图像，所述多个图像通过从多个视点拍摄包含操作完成位置的 范围而获得，其中所述操作完成位置为操作完成时完成该操作的位置；基于所述多个图像的处理结果，检测表示所述操作完成位置的一组操作 完成坐标;获取关于所述一个或多个操作中每一个操作的一组操作坐标，其中所述 操作坐标表示作为待执行操作的位置的操作位置；和基于该组操作完成坐标和所获取的一组或多组操作坐标来定位与所述 操作完成位置对应的操作位置。
18. 如权利要求17所述的方法，其中在为每一操作定位每一操作位置的同时，在所述制造过程中制造该产口FI o
19. 一种计算机可读记录介质，其存储有用以指示计算机在产品制造过 程中在产品上定位操作位置的程序，其中所述产品制造过程包含使用工具待执行的一个或多个操作，所述程序包括处理多个图像的步骤，所述多个图像通过从多个视点拍摄包含操作完成 位置的范围而获得，以检测表示所述操作完成位置的一组操作完成坐标，其中所述操作完成位置为操作完成时完成该操作的位置；获取关于所述一个或多个操作中每一个操作的一组操作坐标的步骤，其 中所述操作坐标表示作为待执行操作的位置的操作位置；和基于该组操作完成坐标和所获取的一组或多组操作坐标定位与所述操 作完成位置对应的操作位置的步骤。
全文摘要
一种操作定位系统、操作单元、方法、产品制造方法和标记。该操作定位系统在产品制造过程中在产品上定位操作位置，产品制造过程包含使用工具待执行的一个或多个操作。该系统包括操作完成坐标检测单元和操作位置定位单元。操作完成坐标检测单元处理多个图像，所述多个图像通过从多个视点拍摄包含操作完成位置的范围而获得，其中操作完成位置为操作完成时完成该操作的位置，从而检测用以表示操作完成位置的一组操作完成坐标。操作位置定位单元获取关于一个或多个操作中每一个操作的一组操作坐标，其中所述操作坐标表示作为待执行操作的位置的操作位置，并基于该组操作完成坐标和所获取的一组或多组操作坐标来定位与操作完成位置对应的操作位置。
文档编号G06Q50/00GK101231521SQ200710305319
公开日2008年7月30日 申请日期2007年12月26日 优先权日2007年1月24日
发明者山西宏和, 春日俊则 申请人:富士通株式会社