显示系统、机器学习装置以及显示装置的制作方法

本发明涉及显示系统、机器学习装置以及显示装置，特别涉及支持作业的显示系统、机器学习装置以及显示装置。

背景技术：

由于人进行作业(例如组装作业、检查作业、清洗作业、包装作业、事务作业等)时作业人员的疏忽等，会产生组装不良、检查错误、清洗不足、忘记包装、错字等操作失误。因此公知通过显示作业步骤来减轻操作失误的技术。

日本特开2014-155207号公报中公开了一种头部安装型显示装置，其通过对外景图像进行图像识别来推定当前的步骤，显示表示指示内容的字符串和表示作业人员应该实施的内容的图像。

日本专利第6224873号公报中公开了一种信息处理系统，其在登记了作业的标准数据与所取得的作业数据之间的差异为阈值以上时，将作业修正相关的指示图像与现实空间重叠显示。

日本国际公开第2010/143361号中公开了一种使用速度传感器的输出以及摄像部的输出来确定用户的作业的作业识别装置。

日本特开2017-131335号公报中公开了一种决定根据作业人员的技能水平而提供的作业步骤信息的内视镜清洗管理系统。

技术实现要素：

通过在作业前显示作业步骤、作业结果等正常作业，特别会降低不熟练作业人员的操作失误。但是，正常作业的显示对熟练的作业人员来说比较麻烦、碍事，使得作业效率低下。另一方面，即使是熟练的作业人员，也会由于复杂的作业、作业时间长的作业、出勤时间或出勤天数的程度等而产生操作失误。

因此，寻求一种控制正常作业的显示定时的技术。

本公开的一个方式提供一种显示系统，具备：状态取得部，其取得至少包括作业内容的状态数据；标签取得部，其取得表示取得了状态数据时的作业是否是异常的标签数据；阈值计算部，其根据状态数据以及标签数据来计算用于判定应该进行的作业是否容易变得异常的阈值；显示控制部，其根据阈值来控制正常作业的显示定时；以及一个或多个显示部，其按照显示定时显示正常作业。

本公开的其他方式提供一种机器学习装置，具备：状态取得部，其取得至少包括作业内容的状态数据；标签取得部，其取得表示取得了状态数据时的作业是否是异常的标签数据；以及阈值计算部，其根据状态数据以及标签数据来计算用于判定应该进行的作业是否容易变得异常的阈值，该机器学习装置将状态数据以及标签数据作为训练数据并根据学习模型来更新阈值。

本公开的另外方式提供一种显示装置，具备：状态取得部，其取得至少包括作业内容的状态数据；标签取得部，其取得表示取得了状态数据时的作业是否是异常的标签数据；阈值计算部，其根据状态数据以及标签数据来计算用于判定应该进行的作业是否容易变得异常的阈值；显示控制部，其根据阈值来控制正常作业的显示定时；以及显示部，其按照显示定时显示正常作业。

附图说明

图1是一个实施方式的显示系统的框图。

图2是其他实施方式的显示装置的框图。

图3是另外实施方式的显示系统的框图。

图4是表示显示系统或显示装置的动作的一例的流程图。

具体实施方式

以下，参照附图详细说明本公开的实施方式。在各个附图中，对相同或类似的结构要素赋予相同或类似的标记。另外，以下所记载的实施方式不会限定权利要求书所记载的发明的技术范围以及用词的意思。

图1是本实施方式的显示系统1的框图。图1示出了进行作业的环境10、配置在环境10中的作业对象11、对作业对象11进行既定作业的作业人员12。作业例如包括组装作业、检查作业、清洗作业、包装作业以及事务作业等。显示系统1具有显示支持所涉及的作业的信息的功能。

显示系统1具备机器学习装置20以及显示装置30。机器学习装置20以及显示装置30经由有线或无线的网络等可通信地连接。机器学习装置20构成为pc(personalcomputer，个人计算机)、服务器等。另一方面，显示装置30构成为配置在环境10中的笔记本电脑、pda(personaldigitalassistant，个人数字助理)、智能手机、穿戴式设备等。显示系统1可以具备多个显示装置30，此时，显示装置30分别配置在相同环境或不同环境中。

显示系统1可以具备第一处理器21、第二处理器31以及显示部33。第一处理器21以及第二处理器31构成为asic(applicationspecificintegratedcircuit，专用集成电路)、fpga(fieldprogrammablegatearray，现场可编程门阵列)、cpu(centralprocessingunit，中央处理单元)等公知的处理器。第一处理器21具有根据从环境10取得的各种数据来计算用于判定作业是否容易变得异常的阈值的功能。第二处理器31具有根据阈值控制正常作业的显示定时的功能。另外，第二处理器31也可以具有判定作业对象11是否是正常产品的功能、显示作业对象11的不良位置并指示交换的功能、以及判定作业是否是正常的功能。

机器学习装置20可以具备第一处理器21。第一处理器21可以具备状态取得部22、标签取得部23以及阈值计算部24。状态取得部22、标签取得部23以及阈值计算部24可以构成通过cpu可执行的程序。状态取得部22从环境10取得状态数据。状态数据是表示作业状态的数据，至少包括作业内容。另外，状态数据可以包括作业人员信息、作业时间的长度以及作业日期时间中的至少一个。以下说明各个信息的定义以及取得方法。

“作业内容”定义为表示进行什么样的作业的信息。例如，作业内容包括作业类别编码、作业难易度等。例如使用摄像机、条形码读取器等设备来确定作业内容。设备可以设置在显示装置30上，或者也可以另外设置(关于后述的“设备”也一样)。作业内容例如可以根据作业对象11的id或图像进行确定。例如在将部件a以及部件b安装在部件c上的安装作业的情况下，将部件a、部件b以及部件c的3个id与基准数据对照，从而确定作业内容。另外，作业内容可以用于判定作业是否正常。

“作业人员信息”被定义为表示进行作业的作业人员12的熟练度的信息。例如，作业人员信息包括作业人员id、年龄、工作年数、作业年数等。作业人员信息例如根据针对环境10的出入室权限、验证针对显示装置30的访问权限时所输入的作业人员12的id来确定。

“作业时间的长度”被定义为表示从作业开始到作业结束为止所花费的时间间隔的信息。例如使用摄像机、条形码读取器、内部时钟等设备来确定作业时间的长度。作业开始时刻可以是取得了作业对象11的id的时刻，也可以是接通了显示装置30的电源的时刻，或者也可以是作业人员12将作业开始输入给显示装置30的时刻。作业结束时刻可以是取得了赋予作业对象11的作业结束标记的图像的时刻，也可以是切断了显示装置30的电源的时刻，或者还可以是作业人员12将作业结束输入给了显示装置30的时刻。

“作业日期时间”被定义为表示进行了作业的日期、时刻以及星期的信息。例如作业日期时间可以是作业开始日期时间，也可以是作业结束日期时间，或者可以是作业开始日期时间与作业结束日期时间之间的中间日期时间。例如使用摄像机、条形码读取器、内部时钟等设备来确定作业日期时间。如果成为一定以上的出勤时间、一定以上的出勤天数等，则有时会损坏作业的准确性，因此优选取得作业日期时间作为状态数据。

标签取得部23从环境10取得标签数据。标签数据是表示取得了状态数据时的作业是否是异常的数据。标签数据是表示正确答案的数据，在标签数据表示正常作业时，作业是正常的情况为真，在标签数据表示异常作业时，作业是异常的情况为真。例如使用摄像机、条形码读取器等设备来确定标签数据。例如根据作业对象11的id、图像等来确定标签数据。例如在通过配线d连接部件a以及部件b的组装作业时，通过将部件a、部件b和配线d的3个id以及组装后的作业对象11的图像与基准数据对照来确定标签数据。

阈值计算部24根据状态数据以及标签数据来计算用于判定作业是否容易变得异常的阈值。使用机器学习特别是有监督学习来学习阈值。即，将状态数据以及标签数据作为训练数据并根据学习模型25来更新阈值。学习模型25可以在多个显示部33之间被共享。每次取得状态数据以及标签数据时增减阈值，因此随着时间经过而提高应该进行的作业是否容易变得异常的预测精度。但是，在其他实施方式中，可以使用回归分析等公知的方法而不进行学习地计算阈值。

显示装置30可以具备第二处理器31以及显示部33。第二处理器31可以具备显示控制部32。显示控制部32可以构成为通过cpu可执行的程序。显示控制部32具有根据上述阈值来控制正常作业的显示定时的功能。“正常作业”可以是正常的作业步骤或者正常的作业结果。显示部33构成为液晶显示器、触摸面板显示器等公知的显示器。显示部33显示按照显示控制部32的指令显示支持作业的信息，特别按照显示控制部32的显示定时来显示正常作业。显示部33可以构成为扩展现实设备，此时，将正常作业与现实空间的图像重叠显示。

图2是其他实施方式的显示装置40的框图。显示装置40兼备上述机器学习装置20的功能，独立进行动作。显示装置40具备处理器41以及显示部33。处理器41构成为asic、fpga、cpu等公知的处理器。处理器41兼备根据从环境10取得的各种数据计算用于判定作业是否容易变得异常的阈值的功能、根据阈值控制正常作业的显示定时的功能。处理器41具备上述状态取得部22、标签取得部23、阈值计算部24以及显示控制部33。状态取得部22、标签取得部23、阈值计算部24以及显示控制部32可以构成为通过cpu可执行的程序。

图3是另外实施方式的显示系统1的框图。例如环境10a-10c那样，环境可以不仅是一个而是多个。另外，上述的机器学习装置可以在每个环境10a-10c中个别地存在，或者可以在网络上存在一个。即，机器学习装置可以构成为配置在环境10a-10c中或其附近的本地服务器20a-20c，或者也可以构成为配置在远离环境10a-10c的远处的云服务器20d。进一步地，上述的状态取得部、标签取得部以及阈值计算部可以配置在本地服务器20a-20c上，或者也可以配置在网络上的云服务器20d上。除此以外，上述的学习模型按照每个作业进行模型化并在网络上被共享。

这里说明学习模型25的一例。公式1是将异常作业标识f与状态数据a、b、c、d之间的关系模型化而得到的函数的一例。异常作业标识f表示应该进行的作业是否容易变得异常。状态数据a、b、c、d分别表示上述的作业内容、作业人员信息、作业时间的长度以及作业日期时间。a0、b0、c0、d0分别表示作业内容的加权、作业人员信息的加权、作业时间的长度的加权以及作业日期时间的加权。在状态数据被累积一定以上后通过回归分析来求出这些加权的初始值。公式1是根据状态数据预测异常作业标识的线形函数，但是可以作为非线形函数来进行模型化。另外，也可以将常数e0追加至公式1的右边。

f＝a·a0+b·b0+c·c0+d·d0......公式1

公式2是将标签数据的加权l1、l2与状态数据的加权a0、b0、c0、d0之间的关系模型化而得到的函数的一例。标签数据的加权l1表示正常作业标签数据l1的加权，标签数据的加权l2表示异常作业标签数据l2的加权。a1、b1、c1、d1分别表示取得l1时的状态数据的加权，a2、b2、c2、d2分别表示取得l2时的状态数据的加权。

a1＝a0·l1，b1＝b0·l1，c1＝c0·l1，d1＝d0·l1

a2＝a0·l2，b2＝b0·l2，c2＝c0·l2，d2＝d0·l2......公式2

公式3是将取得l1时以及取得l2时的异常作业标识f与阈值x之间的关系模型化而得到的函数。y表示取得了上次标签数据时的阈值，y的初始值可以是0。如公式3所示，取得l1时阈值x增加，取得l2时阈值x减少。由此，每次取得状态数据以及标签数据时，会更新阈值x。在上述的阈值计算部24中安装公式1到公式3。

取得l1时

x＝y+(a·a1+b·b1+c·c1+d·d1)

取得l2时

x＝y-(a·a2+b·b2+c·c2+d·d2)......公式3

公式4是判定应该进行的作业是否容易变得异常的函数。如公式4所示，当异常作业标识f为阈值x以上时，作业容易变得异常，因此在作业前显示正常作业。另一方面，当异常作业标识f未满阈值x时，作业难以变得异常，因此只有在所进行的作业不是正常时显示正常作业。在上述的显示控制部33中安装公式4。

f≥x时

在作业前显示正常作业

f<x时

在作业前非显示正常作业......公式4

图4是表示显示系统1或显示装置40的动作的一例的流程图。在步骤s10，取得状态数据。除了作业内容外，状态数据还包括作业人员信息、作业时间的长度以及作业日期时间。在取得状态数据时，也更新上述的阈值。

在步骤s11，判定作业对象11是否是正常产品。通过图像识别等来确定作业对象11是否是正常产品。例如在将部件a以及部件b组装到部件c中的组装作业时，将部件a、部件b以及部件c的3个图像分别与基准数据对照，从而确定部件a、b、c是否是正常产品。在步骤s11中当作业对象11不是正常产品时(步骤s11为否)，在步骤s12中显示不良场所，并且指示交换。接着，返回作业开始。在步骤s11中当作业对象11是正常产品时(步骤s11为是)，进入步骤s13。

在步骤s13，判定应该进行的作业是否容易变得异常。即，判定异常作业标识是否是阈值以上。在步骤s13中当作业难以变得异常时(步骤s13为否)，在步骤s14中判定作业是否是正常，只有在作业不是正常时(步骤s14为否)，在步骤s15中显示正常作业，显示不良位置，并且指示交换。由此，即使是熟练的作业人员也不会感到麻烦就能够确认正常作业。接着，在步骤s16中增加异常作业标识，返回作业开始。当在步骤s14中作业是正常时(步骤s14为是)，在步骤s17中减少异常作业标识，在步骤s18中判定作业是否结束。

在步骤s13中，当应该进行的作业容易变得异常时(步骤s13为是)，在步骤s19中在作业前显示正常作业。由此，即使是不熟练的作业人员、复杂的作业、作业时间长的作业或者出勤时间或出勤天数较多的情况下也能够降低操作失误。在步骤s20中判定作业是否正常，只有在作业不是正常时(步骤s20为否)，在步骤s21中在作业后对正常作业进行再显示，显示不良位置，并且指示交换。由此，不管是否在作业前显示了正常作业而作业都为异常的情况下，仍能够降低操作失误。接着，在步骤s22增加异常作业标识，返回作业开始。在步骤s20中当作业是正常时(步骤s20为是)，在步骤s23中减少异常作业标识，在步骤s18中判定作业是否结束。

在步骤s18中，当作业没有结束时(步骤s18为否)，返回作业开始，当作业结束时(步骤s18为是)，作业结束。

根据以上实施方式，在每次取得状态数据以及标签数据时，更新阈值，因此对于应该进行的作业是否容易变得异常的预测精度随着时间经过而提高。通过所涉及的阈值，控制正常作业的显示定时，因此对作业人员来说正常作业的显示不会碍事，能够降低操作失误。

执行上述流程图的程序可以记录在计算机可读取的非暂时性记录介质、例如cd-rom等中来进行提供。

在本说明书中说明了各种实施方式，但是本发明不限于上述实施方式，在以下权利要求书所记载的范围中能够进行各种变更。