工作指令系统、图像处理设备和信息处理方法与流程

本发明涉及一种工作指令系统、图像处理设备和图像处理方法。

背景技术：

存在用于管理由工作者在制造设备的过程中执行的操作的方法。

此外，存在操作的管理中的方法。工作者首先戴头戴式受话器，然后在该工作者操作包括在该头戴式受话器中的PHS的按钮时，通过由音频引导的语音或者在工作指令终端的显示器屏幕上的显示，发出指令给该工作者(例如，专利文献1)。

然而，在这些方法中，执行如在工厂中在产品中安装部件之类的工作过程的工作者等(此后简称为“工作者”)，要求确定和报告该工作者当前执行的其自己的工作过程。因此，如果该工作者执行的该工作过程是错误的或者该工作者没有执行报告工作过程的操作，例如，可能不输出如对要执行的工作过程准备的工作指令的参考材料。

有关技术文档

[专利文献1]日本专利申请公开号2002-328716。

技术实现要素：

本发明的至少一个实施例的一个目的是提供一种工作指令系统，能够输出参考材料，如用于要执行的工作过程的工作指令。

在一个实施例中，提供一种用于输出工作指令的系统，其中拍摄摄影被摄体的照片的图像处理设备连接到输出设备。该系统包括∶成像单元，其产生示出该摄影被摄体的照片的图像数据；获得单元，其获得被用于确定在该摄影被摄体上执行的工作过程是否完成的确定数据；输入单元，其输入指示被用于该工作过程中的参考的参考材料的参考材料数据；确定单元，其确定在该摄影被摄体上执行的该工作过程是否完成，该确定依赖该图像数据中的该摄影被摄体是否处于由该确定数据指示的状态进行；以及输出单元，其向 该输出设备输出参考材料数据，用于按照该确定指定的工作过程。

附图说明

各实施例的其它目的和进一步的特征，将从结合附图阅读时的以下详细说明变得明显，其中∶

图1是描绘按照实施例的工作指令系统的使用的整体结构的图；

图2是描绘按照实施例的图像处理设备的硬件配置的方框图；

图3是描绘按照实施例的工作指令系统的全过程的流程图；

图4是描绘按照实施例确定数据的图；

图5是描绘按照实施例的参考材料数据的图；

图6是描绘按照实施例的工作指令系统的全过程的结果的图；

图7是描绘按照实施例的工作指令系统产生的工作记录数据的图；

图8是描绘按照实施例的使用工作时间的分析的图；

图9是描绘按照实施例的图像处理设备确定使用多个部件的工作过程的情形的图；

图10是描绘按照实施例的图像处理设备确定在部件上写的字符等的工作过程的情形的图；

图11是描绘按照实施例的工作指令系统的功能配置的功能方框图；

图12是描绘按照第二实施例的工作指令系统的全过程的流程图；

图13是描绘按照第二实施例的参考材料数据的数据配置的图；

图14是描绘按照第三实施例的工作指令系统的全过程的流程图；

图15是描绘按照第四实施例的工作指令系统的全过程的流程图；

图16是描绘按照第六实施例的工作指令系统的全过程的流程图；和

图17是描绘按照第六实施例的工作指令系统强调工作位置的显示的图。

具体实施方式

在下文中，将参考附图描述本发明的各实施例。在说明书和附图中，具有实质上相同的功能配置的组成元素给定相同的参考数字，并且将省略重复的描述。

<第一实施例>

<整体结构>

首先，描述按照第一实施例的工作指令系统的使用，并且描述该工作指令系统的整体结构。

图1是描绘按照第一实施例的工作指令系统的使用的整体结构的图。具体地，图1说明例如工作者WK执行工作过程以在工厂中在工作台DS上安装部件的情形。在下文的示例中，如在该图中描绘的，该工作者WK执行该工作过程以在制造产品PD时安装产品PD中的部件。在该工作过程的该示例中，假定该工作者WK在产品PD中安装第一部件P1、第二部件P2和第三部件P3，所有部件被放进放在工作台DS上或者放入接近工作台DS中的容器CS中。另外，该部件的示例包括用于电子电路板等的电子部件、如螺钉、垫圈、弹簧或者垫片的机械部件和标签。

工作指令系统1包括作为图像处理设备的示例的相机10，和作为输出装置的示例的监视器11。此外，相机10和监视器11经由高清晰度多媒体接口(HDMI)(注册商标)等连接，并且监视器11例如根据来自相机10的输出显示图像。

安装相机10以能够拍摄在工作台DS上的工作空间的照片。具体地，相机10被设置在一角度，使得相机10的光轴垂直于工作台DS的表面，如图1中描绘的。这是一个示例，其中相机10位于使得相机10可以向下看以能够拍摄工作者WK执行的工作过程的位置。换句话说，定位相机10，使得相机10可以拍摄工作空间WS，其中工作者WK执行在产品PD上的工作过程。

此外，监视器11被安排在工作台DS等之上，如图1所示，并且工作者WK可看见显示在监视器11上的参考材料。

另外，如键盘和鼠标之类的输入设备，可经由例如通用串行总线(USB)电缆连接到相机10，如图1所示。换句话说，该工作者WK可以操作使用输入设备的指令系统1。

此外，局域网(LAN)电缆等可连接到相机10，并且相机10可连接到网络。换句话说，相机10可经由网络连接到如服务器之类的信息处理设备，并且相机10可以经由网络向和从该服务器发送和接收数据。

另外，相机10可经由无线LAN等连接到网络。

<硬件配置>

图2是描绘按照该实施例的图像处理设备的硬件配置的方框图。如图2 所示，相机10包括中央处理器(CPU)10H1、随机存取存储器(RAM)10H2、只读存储器(ROM)10H3、输入接口(I/F)10H4、输出I/F 10H5、外部I/F10H6、通信I/F 10H7和成像设备10H8。包括在相机10中的这些硬件单元经由总线B连接。

CPU 10H1包括执行算术操作和与相机10执行的各种类型的处理相关的数据处理的算术单元，并且包括控制包括在相机10中的硬件单元的控制装置。另外，CPU 10H1可以是现场可编程门阵列(FPGA)或者专用应用集成电路(ASIC)。此外，CPU 10H1可以包括多个算术单元和控制装置。

RAM 10H2包括所谓的存储器，存储程序和数据。RAM 10H2是主存储器的示例。相反，ROM 10H3包括非易失性存储器(存储装置)，其可以存储程序和数据，即使电源供应被关闭。另外，相机10进一步包括辅助存储，如硬盘。

输入I/F 10H4包括例如连接器和处理集成电路(IC)。例如，如键盘或者鼠标之类的输入设备经由电缆连接到输入I/F 10H4。

例如，输出I/F 10H5包括连接器和处理IC。例如，如监视器11之类的输出装置经由电缆连接到输出I/F 10H5。另外，相机10可以包括输入设备、输出设备或者输入-输出设备。

外部I/F 10H6包括连接器等，用于连接如记录介质之类的外部设备。记录介质的例子包括USB存储器、SD(注册商标)存储卡、CD和DVD。

通信I/F 10H7包括如连接器或者天线之类的接口，其执行与信息处理设备等经由网络执行数据通信。

例如，成像设备10H8包括光学系统和图像处理IC，用于拍摄照片和产生图像数据。具体地，该光学系统包括光学传感器、透镜、过滤器等等。成像设备10H8可以是具有多个光学系统的立体摄像机。

另外，工作指令系统1可以进一步包括一个信息处理设备或更多。换句话说，相机10可以是网络相机，并且相机10可以发送图像数据到经由网络连接的信息处理设备，而信息处理设备可以执行各种类型的处理的所有或者部分。另外，该图像处理设备可以配置有多个设备，并且所有或者部分处理可以冗余、并发或者分散的方式执行。

<全过程>

图3是描绘按照该实施例的工作指令系统1执行的全过程的流程图。在 图3中，工作指令系统1执行全过程，其中工作者WK执行第一工作过程和第一工作过程之后的第二工作过程。另外，步骤S01和步骤S02是与全过程中的准备相关的过程。步骤S01和步骤S02在工作者WK执行工作过程之前执行。工作者WK执行工作过程同时执行来自步骤S03的过程。

<获得确定数据(步骤S01)>

相机10获得确定数据。该确定数据指示产品或者部件的颜色、类型、形状、要在工作过程中安装的产品或者部件的数目、部件安装的位置或者其组合。

图4是描绘按照该实施例的确定数据的图。例如，在工作过程中，包括第一螺钉PB1、第二螺钉PB2和第三螺钉PB3的三个部件安装在金属板PA上。在这个示例中，工作者WK安装包括第一螺钉PB1、第二螺钉PB2和第三螺钉PB3的三个部件在图4中显示的对应位置上。在该工作过程中，相机10确定使用的每一螺钉是否具有在工作指令中指定的颜色、类型和形状。

例如，在确定颜色时，该确定数据包括颜色名称、RGB值等，其指示工作指令中指定的螺钉的颜色。此外，在确定类型或者形状时，该确定数据包括指示工作指令中的螺钉的图像、三维数据等。此外，在确定要安装的部件的数目时，该确定数据包括螺钉的数目，即指示“3.”的值。此外，在确定安装的位置时，该确定数据包括按照工作指令安装的部件的图像、坐标数据等，其指示对应螺钉将被安装的位置。

此外，如果要确定的部件是标签，则该确定数据包括标签的颜色、标签的形状、字符、号码、图、符号或者标签上写的图像或者指示其组合的文本或者图像。

<参考材料数据的输入(步骤S02)>

回到图3，参考材料数据输入相机10。该参考材料数据包括每个工作过程的工作指令(即，每个工作过程的工作内容)、示出要在每个工作过程中使用的产品或者部件的图像、示出该部件在该产品上安装在哪里的状态的图像、执行每个工作过程的工序或者其组合。此外，该参考材料数据包括在该过程的后期阶段要输出到监视器11的数据。

图5是描绘按照该实施例的参考材料数据的图。在以下示例中，第一工作过程将取出第二部件P2。在这个示例中，该参考材料数据包括与要取出第二部件P2的工作过程相关的工作指令。具体地，如在图5中描绘的，该 工作指令指示如具有字符“取出第二部件P2”的工作内容之类的信息、或者示出放置第二部件P2的位置和第二部件P2的外形状的图像。

在图5中，该工作内容以指示字符和符号的工作内容数据D1显示。此外，在图5中，放置第二部件P2的位置以指示容器CS的图像数据D2显示。此外，在图5中，第二部件P2的外形状以指示第二部件P2的图像数据D3显示。

另外，该参考材料数据可依赖每个工作过程的内容而不同。因此，该参考材料数据不局限于图5中显示的配置。例如，电影、话音声、设计图等可以进一步被使用。

<用于第一工作过程的参考材料数据的输出(步骤S03)>

回到图3，相机10向监视器11输出参考材料数据，其指示来自在步骤S02输入的参考材料数据的第一工作过程。接下来，监视器11根据输出参考材料数据显示工作指令等。

<拍摄第一工作过程中摄影被摄体的照片(步骤S04)>

相机10拍摄在工作空间WS上(图1)的摄影被摄体的照片，并且产生图像数据。

<基于确定数据的确定(步骤S05)>

相机10根据确定数据执行确定。具体地，该确定通过如模式匹配之类的图像处理实现。例如，在用于取出第二部件P2的第一工作过程中，相机10通过模式匹配确定工作者WK持有的部件是否匹配确定数据指示的部件。在这个示例中，该确定数据包括指示第二部件P2的图像。

具体地，该相机10比较通过拍摄工作者WK持有的部件的照片与该确定数据，并且如果相似度是阈值或更多，则确定已经取出的部件是第二部件P2。换句话说，在这种情况下，如果第二部件P2由工作者WK取出，则相机10确定第一工作过程完成。

<第一工作过程是否完成的确定(步骤S06)>

相机10确定第一工作过程是否完成。具体地，如果第二部件P2在第一工作过程中取出，则相机10确定第一工作过程在步骤S05完成。在这种情况下，相机10确定第一工作过程完成(在步骤S06，是)，并且相机10的过程转到步骤S07。

相反，如果例如作为与第二部件P2不同的第一部分P1，在第一工作过 程中取出，则相机10确定第一工作过程在步骤S05没有完成。在这种情况下，相机10确定第一工作过程没有完成(在步骤S06，否)，并且相机10的过程转到步骤S09。另外，在步骤S06，如果完成在一定时段没有确定，则相机10可以确定第一工作过程没有完成(在步骤S06，否)。

例如，在一些工作过程在第一工作过程中执行时，相机10产生工作记录数据，如在步骤S07到S09。具体地，如果第二部件P2在第一工作过程中取出，则该执行的工作过程由工作指令即正确的工作过程(以下“正确的工作过程”)指定。相反，如果例如作为不同于第二部件P2的第一部件P1在第一工作过程中取出，则该执行的工作过程不同于工作指令指定的，即如粗心错误之类的错误的工作过程(以下“错误的工作过程”)。

在步骤S05，相机10确定是执行正确的工作过程还是执行错误的工作过程。然后，如果执行正确的工作过程(在步骤S06，是)，则相机10的过程转到步骤S07和步骤S08。相反，如果执行错误的工作过程(在步骤S06，否)，则相机10的过程转到步骤S09。

<存储第一工作过程的工作时间(步骤S07)>

相机10存储第一工作过程的工作时间。具体地，例如，第一工作过程的工作时间指示从输出用于第一工作过程的参考材料(步骤S03)时的时间到确定完成第一工作过程(步骤S05)时的时间的时段。换句话说，相机10以计数器或者计时器测量从步骤S03到步骤S05的时间，并且存储该测量时间作为第一工作过程的工作时间。

例如，每个工作时间用来分析时间研究(JIS Z 8141:2001)中的工作过程。具体地，存储的工作时间被平均，例如，来计算每个工作过程的标准时间。

进一步，每个工作时间可被用于从标准时间的递减计数的显示或者条式显示，该条式显示指示标准时间表示为100％的经过的时间。当每个工作时间以这种方式被使用时，有可能执行工作者WK的进度管理或者确定该工作进度的步调。

<存储图像数据(步骤S08)>

相机10存储图像数据。换句话说，相机10将执行的工作过程的结果存储为图像。据此，相机10可以将重要的工作过程等存储为图像。

<存储指示第一工作过程错误的日志(步骤S09)>

相机10存储指示第一工作过程错误的日志。例如，指示错误地取出的部件的图像数据等，被存为日志以便指示工作过程如何出错。据此，有可能存储数据以分析可能导致错误的部件或者工作过程。

<输出用于第二工作过程的参考材料数据(步骤S10)>

相机10向监视器11输出指示第一工作过程之后的第二工作过程的参考材料数据。

另外，全过程不局限于在图3中描绘的过程。例如，步骤S01和步骤S03可以反向次序执行，或者可并行执行。进一步，全过程可以处理除了第一工作过程和第二工作过程之外的另一个工作过程，并且可以处理三个工作过程或更多。

<过程结果>

图6是描绘按照该实施例的工作指令系统的全过程的结果的图。首先，在工作过程开始之前，相机10获得确定数据(图3中的步骤S01)，并且输入参考材料数据(图3中的步骤S02)。

例如，当该工作过程开始时，相机10输出第一工作过程参考材料数据DD1到监视器11，如图6中的(A)(图3中的步骤S03)。第一工作过程参考材料数据DD1包括图像等等，其指示工作内容和第二部件P2，如在图6-(A)中描绘的。特别地，在指示第二部件P2的图像显示在监视器11上时，即使存在另一个部件具有类似第二部件P2的外形状的外形状，工作者WK也可能视觉上确认第二部件P2。因此，相机10可以减少工作者WK将错误地取出不同于第二部件P2的其它部件的可能性。换句话说，在显示每个工作过程中要使用的部件时，工作者WK可看见该工作过程中要使用的部件。因此，即使存在类似部件，也有可能减少工作者WK在工作过程中错误地使用类似部件的事件。进一步，即使该工作者WK经验更少，该工作者WK也可以减少在工作过程中要使用的部件的选择的错误。

进一步，例如，第一工作过程参考材料数据DD1可以包括指示第二部件P2被安装的完成的工作状态的图像。换句话说，第一工作过程参考材料数据DD1可以包括第二部件P2被安装的装配图。

因此，在如在图6-(A)中显示第一工作过程参考材料数据DD1时，工作者WK可看见监视器11，并且确认第一工作过程将从容器CS取出第二部件P2。据此，工作者WK执行工作过程以从容器CS取出第二部件P2。同 时，相机10拍摄如何执行工作过程的的图像(图3中的步骤S04)。另外，获得的图像数据可显示为当前图像Img，如在图6-(A)中描绘的。进一步，该当前当前图像Img最好实时显示。

然后，相机10确定该获得的图像数据是否包括如在图6-(B)的该确定数据指示的部件(图3中的步骤S05)。在这个例子中，该确定数据包括指示第二部件P2的图像数据。如果该获得的图像数据包括作为摄影被摄体的第二部件P2，则相机10确定第二部件P2被取出(图3中的在步骤S06中，是)。

如果第二部件P2由工作者WK取出，则第一工作过程完成，使得相机10产生工作记录数据(图3中的步骤S07和步骤S08)。

接下来，例如，相机10输出第二工作过程参考材料数据DD2到监视器11，如在图6-(C)中(图3中的步骤S10)。在显示第二工作过程参考材料数据DD2时，工作者WK可看见监视器11，并且确认第二工作过程将附上第一工作过程中取出的第二部件P2。

如上所述，相机10可以根据该确定数据，确定该工作者WK执行的每个工作过程是正确的工作过程还是错误的工作过程。

另外，相机10可以输出确定结果。例如，相机10输出作为确定结果的封闭线Img1，以在如在图6-(A)中描绘的显示的当前图像Img上指示该确定的第二部件P2。当该封闭线Img1被显示时，该工作者WK可以确认已经取出的第二部件P2由相机10确定，因此执行正确的工作过程。进一步，在相机10确定第二部件P2时，相机10可以输出预定的声音作为确定结果。当预定的声音被输出时，该工作者WK可以确认已经取出的第二部件P2由相机10确定，因此执行正确的工作过程。

如果未确定第一工作过程完成，则第二工作过程参考材料数据DD2没有输出到监视器11。因此，如果该工作者WK已经执行了错误的工作过程，则该工作者WK可以确认执行的工作过程是错误的工作过程。

<工作记录数据>

图7是描绘按照该实施例的工作指令系统1产生的工作记录数据的图。如图7中描绘的，该工作记录数据DW包括大约每个工作过程的数据。具体地，“工作时间”对于对应“工作过程”记录(图3中的步骤S07)。据此，有可能确认在每个工作过程中要求的工作时间。例如，如在图7中描绘的，该 工作时间测量为工作时间数据DT，其指示用于对应“工作过程”的工作时间，并且包括在工作记录数据DW中。

图8是描绘按照该实施例的使用工作时间的分析的图。图8中描绘的分析图DA说明使用对应工作时间的每个工作过程的分析的结果。如在图8中描绘的，在使用分析图DA时，可容易地分析工作过程，如确定工作时间的不均匀性，以及在执行的工作过程之中确定最需要工作时间的工作过程(例如瓶颈过程)。另外，例如，所有或者部分工作记录数据DW可经由网络发送到服务器等。

进一步，如在图7中描绘的，该工作记录数据DW可以包括指示工作内容的“工作时间”、当执行每个工作过程时指示日期和时间的“日期”和“时间”、指示执行每个工作过程的工作者WK的姓名的“负责人”，等等。

结构和工作记录数据DW的形式不局限于图7中描绘的。例如，每项可包括在分离数据中。

进一步，如在图7中描绘的，该工作记录数据DW可以包括图像数据DImg(图3中的步骤S08)。例如，该工作记录数据DW可以包括图6-(A)中描绘的当前图像Img上的图像数据，作为图像数据DImg。据此，相机10可以将每个工作过程的结果存储为图像。

进一步，相机10可以识别包括在摄影被摄体中的字符、号码、图、符号、条形码或者二维码、部件的形状或者其组合，并且可以包括用于标识工作记录数据DW中的部件的标识数据DSN。另外，标识数据DSN可以是可以标识每个部件的号码，如序号、生产号码、标识(ID)等。例如，相机10读取工作过程中要处理的产品或者部件上写的条形码。然后相机10执行条形码识别，以获得对应该读取的条形码的序号，并且产生指示该序号的标识数据DSN。进一步，相机10包括该产生的标识数据DSN在该工作记录数据DW中。

相机10可以通过光学字符识别(OCR)等产生该标识数据DSN。

当该标识数据DSN包括在该工作记录数据DW中时，工作指令系统1记录指示被用于工作过程中的部件的序号等，并且可以标识安装在产品上的每个部件。换句话说，可追溯性由相机10通过记录该序号等实现。

进一步，在工作过程中，可以使用多个部件。在这种情况下，相机10可以确定每个部件是否安装、该部件是否以工作指令中指定的次序安装、以 及该部件是否安装在工作指令中指定的对应位置。

图9是描绘按照该实施例的图像处理设备确定使用多个部件的工作过程的情形的图。例如，假定在该工作过程中，以如图9中描绘的这个工作次序，首先安装第二部件P2接下来安装第一部件P1在产品PD上。

例如，在图9中描绘的工作过程中，检查第二部件P2和第一部件P1是否两个都被安装。进一步，在图9中描绘的工作过程中，检查工作过程是否已经以第二部件P2在第一部件P1前被安装的工作次序执行。进一步，在图9中描绘的工作过程中，检查第一部件P1是否被安装在一位置，使得第一部件P1被覆盖在第二部件P2上。

在图3中描绘的步骤S05中，例如，相机10首先确定第二部件P2是否被安装，然后确定第一部件P1是否被安装。

按照这样的确定，如果该工作者WK在第二部件P2之前已经错误地安装第一部件P1，则相机10确定错误的工作过程被执行(图3中的在步骤S06中的否)。据此，相机10可以检查安装是否按如工作指令中指定的次序被执行。

进一步，按照这样的确定，如果相机10不能确定包括第一部件P1和第二部件P2两者，则相机10确定错误的工作过程被执行(图3中的步骤S06中的否)。据此，检查是否第二部件P2和第一部件P1两个都被安装。因此，例如有可能减少所谓的粗心错，其中该工作者WK错误地忘记安装第二部件P2。

进一步，按照这样的确定，如果相机10不能确定第一部件P1被定位使得第一部件P1被覆盖在第二部件P2上，则相机10确定错误的工作过程被执行(图3中的步骤S06中的否)。据此，检查是否第一部件P1被安装在位置使得第一部件P1被覆盖在第二部件P2上。因此，例如有可能减少粗心错，其中该工作者WK错误地安装第二部件P2在一位置，使得第二部件P2被覆盖在第一部件P1上。

另外，例如，相机10可以检查工作过程以上紧螺钉。在这种情况下，例如，相机10确定安装螺钉的位置和安装的螺钉的数目。如果检查安装螺钉的位置，则相机10可以检查螺钉是否被安装在工作指令中指定的位置，并且可以减少螺钉被错误地安装在不适当的位置的错误。据此，如果检查螺钉的数目，则相机10可以检查螺钉是否被安装如工作指令中指定的数目一 样多。因此，有可能减少错误地没有上紧螺钉或者过量数量的螺钉被错误地安装的错误。进一步，可使用其它类型的工作过程、部件和产品。

进一步，可进一步确定写在部件上的字符等。

图10是描绘按照该实施例的图像处理设备确定在部件上写的字符等的情形的图。例如，工作过程使用第二部件P2和不同于第二部件P2的类似部件P21，该类似部件P21具有与在第二部件P2中相同的外形状或者如在图10中描绘的类似外形状。进一步，如在图10中描绘的，假定第一字符CHA1“AAAA”写在第二部件P2上，而不同于第一字符CHA1的第二字符CHA2“BBBB”写在类似部件P21上。

在这个例子中，相机10可以确定部件的外形状，并且进一步确定写在部件上的字符是否第一字符CHA1。如在图10中描绘的，例如，如果第二部件P2和类似部件P21两个都被用于工作过程中，则该工作者WK可能容易地混淆具体这些部件，并且在取出的工作过程中可能错误取出错误的部件。相反，如果相机10确定写在部件上的字符等，则检查要使用的部件是第二部件P2还是类似部件P21。换句话说，如果相机10确定写在部件上的字符等，则有可能减少使用错误的部件的错误，即使特别存在类似部件。

<功能配置>

图11是描绘按照该实施例的工作指令系统1的功能配置的功能方框图。具体地，该工作指令系统1包括成像单元1F1、获得单元1F2、输入单元1F3、确定单元1F4、输出单元1F5和识别单元1F6。

成像单元1F1拍摄产品PD、如第二部件P2之类的部件、和作为摄影被摄体的其周边的部分，并且产生图像数据DImg。例如，成像单元1F1以成像设备10H8(图2)实现。

获得单元1F2获得用于工作过程的确定数据DJ。另外，获得单元1F2实现为输入I/F 10H4(图2)、外部I/F 10H6(图2)、通信I/F 10H7(图2)、成像设备10H8等。

输入单元1F3输入参考材料数据，如要用于工作过程的第一工作过程参考材料数据DD1和第二工作过程参考材料数据DD2。另外，输入单元1F3实现为输入I/F 10H4、外部I/F 10H6、通信I/F 10H7等。

确定单元1F4确定由图像数据DImg指示的摄影被摄体是否处于状态或者包括由确定数据DJ指示的对象。另外，确定单元1F4实现为CPU 10H1 (图2)等。

输出单元1F5输出用于由确定单元1F4的确定指定的工作过程的参考材料数据。另外，输出单元1F5实现为输出I/F 10H5(图2)、监视器11(图2)等。

进一步，工作指令系统1可具有进一步包括如图11中描绘的识别单元1F6的功能配置。识别单元1F6识别包括在摄影被摄体中的字符、号码、图、符号、条形码或者二维码、部件的形状或者其组合，并且产生标识数据DSN。另外，识别单元1F6实现为CPU 10H1等。

进一步，工作指令系统1可能产生包括图像数据DImg、工作时间数据DT等等的工作记录数据DW。

<结论>

如上所述，按照该实施例的工作指令系统1具有以下特征。

单元1F1配置为产生图像数据DImg，其包括第二部件P2等作为摄影被摄体。

获得单元1F2配置为获得确定数据DJ，以便相机10确定部件等等。

输入单元1F3配置为输入参考材料数据。

确定单元1F4配置为通过如模式匹配之类的图像处理，确定其照片由成像单元1F1拍摄的摄影被摄体是否匹配获得单元1F2获得的确定数据DJ指示的部件。

在确定单元1F4执行确定时，如在图3中描绘的步骤S06，指定要执行的工作过程，并且输出单元1F5配置为输出用于指定的工作过程的参考材料数据。

工作指令系统1由获得单元1F2预先获得确定数据DJ。同样地，工作指令系统1由输入单元1F3预先输入参考材料数据。然后，在工作过程开始时，工作指令系统1由成像单元1F1拍摄如第二部件P2之类的摄影被摄体的图像，并且产生图像数据DImg。

工作指令系统1可以通过比较确定数据DJ与其照片被拍摄的摄影被摄体，确定是正确的工作过程还是错误的工作过程被执行。然后，如果错误的工作过程被执行，则工作指令系统1可以指定当前工作过程将连续地执行，使得工作者WK可以校正错误的工作过程(图3中的步骤S06中的否)。相反，如果正确的工作过程被执行，则工作指令系统1可以指定下一工作过程 将执行，使得工作者WK可以开始下一工作过程(图3中的步骤S06中的是)。

因此，如果当前工作过程被指定要执行，则工作指令系统1可以输出参考材料，如用于当前工作过程的工作指令。相反，如果下一工作过程被指定要执行，则工作指令系统1可以从用于当前工作过程的工作指令切换，并且输出用于下一工作过程的工作指令。

因此，工作指令系统1可以输出参考材料，如用于要执行的工作过程的工作指令。利用输出参考材料，工作指令系统1能够给工作者WK呈现工作指令，或者指向工作过程中的笔记(note)。据此，即使工作者WK经验更少，该工作者WK也可能执行该工作过程，而不经历许多困难。

进一步，例如，工作指令系统1在监视器11上显示如工作指令之类的参考材料。因此，呈现如工作指令之类的参考材料时，工作指令系统1可以实现无纸操作。

进一步，在工作指令系统1中，由相机10执行检查。因此，比较使用检查单的检查而执行检查时，有可能实现无纸操作。进一步，在工作指令系统1中，由相机10执行检查。因此，例如，有可能省略工作者WK通过在检查单中填写执行检查的检验过程等。以同样方式，在工作指令系统1中，由相机10执行检查。因此，例如，通过双检查(其中除了已经执行该工作过程的该工作者WK之外的另一个工作者执行检查)，有可能省略检验过程等。

进一步，在有些情况下，为了避免在工作过程中使用错误的部件，可执行托盘(tray)服务。在这种情况下，只有那些要使用的部件被安排在容器中等，并且在使用所有安排的部件时，确定各部件为所有正在被安装的。因此，在许多情况，可重新要求在容器中分类部件的工作过程。相反，例如，在该实施例中，相机10确定是否使用如在工作指令中指定的部件。因此，有可能减少在容器中分类部件的工作过程，并且减少过程的数目。

进一步，在工作里指令系统1中，因为相机10被使用，比较通过连接到如电动螺丝刀之类的工具执行检查的系统，在许多情况电缆的数目可减少。因此，在系统构造中，工作指令系统1可以减少如布线之类的工作。

进一步，在工作里指令系统1中，因为使用确定数据，所以比较通过连接到如电动螺丝刀之类的工具执行检查的系统，可以检查的工作过程的类型的数目增大。进一步，在通过连接到如电动螺丝刀之类的工具执行检查的系 统中，在许多情况难以检查错误的部件是否被使用。因此，工作指令系统1可以检查许多类型的工作过程。

<第二实施例>

例如，第二实施例实现为工作指令系统等，具有与第一实施例中相同的整体结构和相同的硬件配置。在下文中，与第一实施例中相同的整体结构和相同的硬件配置，被描述为例子，并且将省略重复的描述。第二实施例中的全过程不同于第一实施例。

图12是描绘按照第二实施例的工作指令系统1的全过程的流程图。与第一实施例比较，即图3中描绘的全过程，图12中描绘的全过程不同于增加了步骤S21和步骤S22。进一步，图3中描绘的全过程中的步骤S03，在过程内容上不同于图12中描绘的全过程中的步骤S03。在下文中，主要描述不同点。

<获得类型数据(步骤S21)>

相机10获得类型数据。摄影被摄体的种类包括产品等的类型。在下文的例子中，该摄影被摄体的种类是类型。首先，假定产品PD(图1)具有多个类型。并且在很多情形下，产品PD提供有字符、符号、号码、指示其组合的字符(以下“类型数据”)、可以标识产品PD的类型的号码、图、符号、条形码、二维码或者其组合(以下“字符”)。进一步，类型数据可以是生产号码等的一部分。例如，如果可能从生产号码的开始从几个数字指定该类型，则类型数据可以是生产号码的开始部分。相机10拍摄字符的照片并且通过字符识别等获得类型数据。

<确定类型和用于确定的类型的参考材料数据(步骤S22)>

相机10确定类型和用于确定的类型的参考材料数据。首先，假定产生在步骤S02输入的参考材料数据以如下所述预先具有下面的数据配置。

图13是描绘按照第二实施例的参考材料数据的数据配置的图。例如，参考材料数据，如在图12中描绘的步骤S03将要输出的第一工作过程参考材料数据DD1和在图12中描绘的步骤S10将要输出的第二工作过程参考材料数据DD2，配置为依赖如图13中描绘的类型包括不同的参考材料数据。

具体地，在图13中描绘的例子中，利用对应“产品ID”指定类型。进一步，在这些例子中，假定该“产品ID”可以从类型数据指定。换句话说，首先，该参考材料数据具有关于多个类型的数据，如类型“A”的产品和类型“B” 的产品。然后，在读取如附着于产品PD的生产号码之类的字符时，有可能指定产品PD的类型。接下来，例如，根据指定的类型，相机10可以指定类型“A”的产品是工作对象还是类型“B”的产品是工作对象。

每个类型的产品假定为通过多个工作过程装配。对于在图13中描绘的类型“A”的产品，其“工作ID”是“A1”的工作过程和其“工作ID”是“A2”的工作过程是在该装配中执行。

进一步，如在图13中描绘的，对于每个“工作ID”，即工作过程，输入图像数据和工作内容数据。换句话说，对于每个工作过程，输入如在图5中描绘的，指示用于输出参考材料数据的部件等的图像数据D3、指示用于描述工作内容的图像的图像数据D2、以及指示描述工作内容的字符等的工作内容数据D1。

进一步，每个工作过程与对应确定数据DJ相关联。在如图4中描绘的情形，确定数据DJ包括图像数据、坐标数据等。进一步，在如图10中描绘的执行确定的情形，确定数据DJ可以包括指示写在部件上的字符等的数据。进一步，确定数据DJ和参考材料数据可配置为一个数据集或者不同的数据集。

在有些情况下，相同的数据可被用于每个工作过程。例如，如果相同的部件用于“A1”和“A2”的工作过程中，则相同的数据用于图像数据D3。在这种情况下，一个数据集可被共同用于多个工作过程中。用这样的方式，有可能减少参考材料数据的量。

在图12中描绘的步骤S22中，相机10从获得的类型数据指定类型。具体地，在图13中描绘的数据配置的情况下，相机10从类型数据指定“产品ID”。然后，在步骤S22，相机10确定用于指定的“产品ID”的参考材料数据。具体地，在图13中描绘的数据配置的情况下，相机10确定用于该类型的参考材料数据，如用于“产品ID:A”的参考材料数据或者用于"产品ID:B"的参考材料数据。

<输出用于第一工作过程的参考材料数据(步骤S03)>

回到图12，在步骤S03，相机10输出用于第一工作过程的参考材料数据。在步骤S03，对于在步骤S22确定的类型，相机10输出用于第一工作过程的参考材料数据。具体地，在图13中描绘的数据配置中，如果该类型确定是“A”，则相机10在其“工作ID”是“A1”、“A2”等的参考材料数据之 中，确定和输出用于第一工作过程的参考材料数据。

在如在图12中的全过程中，工作指令系统1可以依赖类型等输出参考材料数据，即使存在多个类型。

<第三实施例>

例如，第三实施例实现为工作指令系统等，具有与第一实施例中相同的整体结构和相同的硬件配置。在下文中，与第一实施例中相同的整体结构和相同的硬件配置，被描述为例子，并且将省略重复的描述。第三实施例中的全过程不同于第一实施例。

图14是描绘按照第三实施例的工作指令系统1的全过程的流程图。与第一实施例比较，即图3中描绘的全过程，图14中描绘的全过程不同于增加了步骤S31。在下文中，主要描述不同点。

<输出用于工作过程校正的参考材料数据(步骤S31)>

相机10输出用于工作过程校正的参考材料数据。另外，工作过程校正将校正以前执行的工作过程并且具有产品等已经经受第一工作过程的相同状态。换句话说，首先，如果错误的工作过程已经在其中应该已经执行第一工作过程的工作过程被执行，则相机10确定第一工作过程没有完成(在步骤06中的否)。在这个状态，因为错误的工作过程已经执行，所以用于产品等的过程不能转到第二工作过程。因此，在错误的工作过程之后，工作指令系统1向该工作者WK呈现用于该工作过程校正的参考材料数据，并且提示该工作者WK执行工作过程校正以校正以前执行的错误的工作过程。用这样的方式，该工作过程校正是用于所谓的错误校正的工作过程。

当执行工作过程校正时，产品等处于第一工作过程完成的相同状态。因此，产品等的过程可以转到下一工作过程中的第二工作过程(步骤S10)。另外，在工作过程校正中，可以第一工作过程中同样的方式执行步骤S04到S09。

当执行第一工作过程时，可能执行错误的工作过程。在有些情况下，通过与由工作者WK再次执行第一工作过程相比较执行工作过程校正，有可能高效地转到随后的第二工作过程。在这种情况下，工作指令系统1提示工作者WK执行工作过程校正。用这样的方式，工作指令系统1可以改善工作过程的效率。

<第四实施例>

例如，第四实施例实现为工作指令系统等，具有与第一实施例中相同的整体结构和相同的硬件配置。在下文中，与第一实施例中相同的整体结构和相同的硬件配置，被描述为例子，并且将省略重复的描述。第四实施例中的全过程不同于第一实施例。

指示字符的标签、贴纸等(以下“标签”)可安装为产品上的部件。例如，如标签之类的部件指示具有字符或者号码的生产号码等。

如果存在安装如多个标签之类的部件的工作过程，则希望能检查于与工作指令中指定的标签之类的部件不同的如标签之类的部件，是否在工作过程中安装。例如，如标签之类的部件如下在全过程中被检查。

图15是描绘按照第四实施例的工作指令系统1的全过程的流程图。与第一实施例比较，即图3中描绘的全过程，图15中描绘的全过程不同于步骤S04被步骤S41替代。进一步，与图3中描绘的全过程比较，图15中描绘的全过程中的步骤S05的过程内容不同。在下文中，主要描述不同点。

<输入部件检查数据(步骤S41)>

相机10输入部件检查数据。例如，如果如标签之类的部件指示具有号码的生产号码等，则工作者WK通过使用如键盘之类的输入设备，将写在安装的标签上的所有或者部分号码等，输入工作指令系统1。然后相机10产生部件检查数据，其指示经由输入设备输入的号码等。用这样的方式，部件检查数据包括数据，其指示写在部件上的生产号码等，如在工作过程中安装的标签。另外，输入设备可以是相机。当安装的标签的照片被拍摄时，相机通过识别包括在拍摄照片时产生的图像数据中的如号码之类的字符，可以产生部件检查数据。进一步，例如，如果如标签之类的部件指示条形码，则部件检查数据可以通过被如条形码读取器之类的输入设备扫描来产生。

<基于确定数据的确定(步骤S05)>

相机10基于确定数据执行确定。首先，在工作指令中指定的号码等，即指示写在如正确的标签之类的部件上的号码等的确定数据，预先输入相机10。然后在步骤S06，由预先输入的确定数据指示的号码，与由部件检查数据指示的号码比较。

接下来，如果作为比较的结果由确定数据指示的号码等对应由部件检查数据指示的号码等，则相机10确定第一工作过程完成(步骤S06中的是)。相反，如果作为比较的结果由确定数据指示的号码等不对应由部件检查数据 指示的号码等，则相机10确定第一工作过程未完成(步骤S06中的否)。

另外，在步骤S06的确定中，按照第一实施例完成第一工作过程的确定，可与使用部件检查数据的确定相结合。例如，在图中描绘的，首先执行按照第一实施例的步骤S04，并且产生图像数据。

相机10基于图像数据和确定数据执行确定。具体地，如在图3中描绘的，基于图像数据和确定数据的确定通过如模式匹配之类的图像处理实现。

如果作为基于部件检查数据的比较的结果，由确定数据指示的号码等对应由部件检查数据指示的号码等，并且第二部件P2由工作者WK取出，则相机10确定第一工作过程完成(在步骤S06中的是)。相反，如果作为基于部件检查数据的比较的结果，由确定数据指示的号码等不对应由部件检查数据指示的号码等，或者不同于第二部件P2的第一部件P1在第一工作过程中取出，则相机10确定第一工作过程未完成(在步骤S06中的否)。用这样的方式，相机10可以结合两个确定结果执行确定。

用这样的方式，在工作过程中，可安装如指示号码等的标签之类的部件。在这种情况下，希望执行检验，以检查如在工作指令中指定的标签之类的部件是否被安装。

从由标签指示的号码等，确定是否安装如在工作指令中指定的标签之类的部件。据此，工作指令系统1可以减少在产品等上安装错误的标签的装运的可能性。

<第五实施例>

例如，第五实施例实现为工作指令系统等，具有与第一实施例中相同的整体结构和相同的硬件配置。在下文中，与第一实施例中相同的整体结构和相同的硬件配置，被描述为例子，并且将省略重复的描述。在第五实施例中，执行与图3中描绘的第一实施例中相同的全过程。但是，在步骤S04和步骤S05中的过程内容不同。在下文中，主要描述不同点。

例如，如操作手册或者保修之类的文档、产品的备件、如装运后将要由用户安装在产品上的标签之类的部件、或者其组合(以下“随附项”)，可随附于该产品并且装运。在工作指令系统1中，希望执行检验，以检查随附项的方向、颜色、形状、号码或次序，或者写在随附项上的字符、图等。另外，假定随附项的方向、颜色、形状、号码和次序，或者写在随附项上的字符、图等，预先在工作指令中指定，并且这些包括在确定数据中。在下文中，假 定在第一工作过程中执行包装随附项的工作过程。

<拍摄第一工作过程中的摄影被摄体的照片(步骤S04)>

如在图3中描绘的，相机10拍摄在工作空间WS上(图1)的摄影被摄体的照片，并且产生图像数据。在该第五实施例中，摄影被摄体包括随附项。另外，例如，如果存在多个随附项，则工作者WK使用相机10按照包装的次序拍摄该随附项的照片。

<基于确定数据的确定(步骤S05)>

相机10基于确定数据执行确定。具体地，相机10确定由图像数据指示的随附项的方向、颜色或者形状是否对应由确定数据指示的方向、颜色或者形状。进一步，如果该随附项包括其上写字符、图等的文档，则相机10识别被写的字符、图等，并且确定不论该字符、图等是否对应由确定数据指示的字符、图等。用这样的方式，相机10可以检查是否包装在工作指令中指定的随附项。

进一步，如果存在多个随附项，相机10可以通过检查该随附项是否对应该随附项的照片或者所有照片的次序，检查随附项被包装的次序以及随附项的数目。

用这样的方式，随附项可包装在工作过程中。在这种情况下，希望执行检验，以检查随附项的方向、颜色、形状、号码或次序，或者写在如在工作指令中指定的随附项上的字符、图等。

是否按照随附项的方向、颜色、形状、号码或次序，或者写在如在工作指令中指定的随附项上的字符、图等包装随附项，从通过拍摄随附项的照片获得的图像数据等确定。以此方式，工作指令系统1可以减少包装错误的随附项的装运的可能性。

<第六实施例>

例如，第六实施例实现为工作指令系统等，具有与第一实施例中相同的整体结构和相同的硬件配置。在下文中，与第一实施例中相同的整体结构和相同的硬件配置，被描述为例子，并且将省略重复的描述。第六实施例中的全过程不同于在图3中描绘的全过程。在下文中，主要描述不同点。

图16是描绘按照第六实施例的工作指令系统1的全过程的流程图。与第一实施例比较，即图3中描绘的全过程，图16中描绘的全过程不同于增加了步骤S61。

<工作位置的强调显示(步骤S61)>

相机10执行显示以强调工作位置。例如，相机10输出以下显示到监视器11。

图17是描绘按照第六实施例的工作指令系统1强调工作位置的显示的图。在下文中，第一工作过程将在如图17中描绘的第一工作过程参考材料数据DD1指示的"托盘"的四个位置安装"螺钉"。首先，在图17中描绘的步骤S03中，第一工作过程参考材料数据DD1被显示在监视器11上。

在监视器11上，如在图17中描绘的，还显示当前图像Img。例如，如在图17中描绘的，在当前图像Img上执行强调显示HLA，以强调将要作为工作对象处理的位置(以下“工作位置”)。例如，如在图17中描绘的，在“螺钉”将被安装的四个工作位置之中，如果“螺钉”的安装已经在三个位置结束，则剩余的一个位置(在图17中描绘的当前图像Img的左上位置)将在该螺钉被安装之前作为工作位置处理。在这种情况下，相机10执行封闭线的强调显示HLA，以便以该封闭线围绕该工作位置，例如，使得该工作位置在当前图像Img中是可理解的。另外，对于当前图像Img，显示摄影被摄体，如“托盘”和“螺钉”，其照片在图17中描绘的步骤S04中拍摄。如在图17中描绘的，在当前图像Img中，在拍摄的图像上执行强调显示HLA。

进一步，在监视器11上，可显示完成图ImgF等。如在图17中描绘的，该完成图包括一图像，其指示以强调显示HLA指定的工作位置的哪种状态将由相机10确定第一工作过程完成。换句话说，如果该工作者WK将以强调显示HLA指定的工作位置置于如完成图ImgF所示的状态，则第一工作过程完成。在图17中，在“螺钉”被安装在该工作位置时，该工作位置处于如完成图ImgF中所示的状态，并且第一工作过程完成。

另外，该强调显示HLA不局限于如在图17中描绘的由封闭线围绕的显示。例如，该强调显示HLA可以扩大或者使工作位置闪光，或者使除该工作位置之外的位置灰暗。

当工作指令系统1用这样的方式强调地输出工作位置时，该工作者WK可能理解该工作位置在哪里。特别地，如在图17中描绘的，如果该强调显示HLA在当前图像Img上与第一工作过程参考材料数据DD1一起输出，则该工作者WK可以容易地进行与第一工作过程参考材料数据DD1的比较，并且工作内容变得可理解。

另外，本发明中的每个过程的所有或者部分可由用于使得计算机执行过程的程序实现，该程序描述在传统编程语言中，如汇编程序，C、C++、C#、Java(注册商标)等。另外，该编程语言可以是面向对象编程语言等。换句话说，该程序包括用于使得计算机执行每个过程的计算机程序，该计算机用于信息处理设备、包括该信息处理设备的信息处理系统等。

进一步，例如，该程序可在存储在计算机可读记录介质(如ROM或者电可擦可编程ROM(EEPROM))之后分发。进一步，该记录介质可以是可擦可编程ROM(EPROM)、闪速存储器、软磁盘、如CD-ROM之类的光盘、SD(注册商标)卡、MO等，只要电子介质被使用。进一步，该程序可以通过电通信线路分发。

进一步，该信息处理系统可以包括经由网络彼此连接的两个信息处理设备或更多，其中各种类型的过程的所有或者部分可由该信息处理设备以分散、并行或者冗余的方式执行。

虽然本发明的优选例子被详细描述，但是本发明不局限于特定实施例，而是在不脱离如在权利要求中主张的本发明的范围的情况下，各种类型的变化或者修改是可能的。

按照本发明的一实施例，有可能输出参考材料，如用于将要执行的工作过程的工作指令。

进一步，本发明不局限于这些实施例，并且可进行各种变化和修改，而不脱离本发明的范围。

本申请基于并且主张以下申请的优先权的权益：2015年6月2日提交的日本优先权申请No.2015-111834和2016年5月19日提交的日本优先权申请No.2016-100295，其全部内容通过引用在此并入。