可编程显示器、便携终端装置、数据处理方法以及程序与流程

本发明涉及可编程显示器、便携终端装置、可编程显示器中的数据处理方法以及用于控制可编程显示器的程序。

背景技术：

以往，公知有受理信息的显示和用户的输入的显示装置。

在日本特开2012-123513号公报(专利文献1)中，作为上述显示装置，公开了以能够通信的方式与服务器连接的信息处理装置。该信息处理装置根据显示于画面的图像中的表示用户的视线的位置的坐标信息以及图像中的表示包含对象的图像区域的区域信息的对象信息而判别用户的视线所朝向的对象。该信息处理装置在判别出用户的视线所朝向的对象的情况下，选择性地进行与该判别出的对象对应的处理。并且，该信息处理装置生成表示上述判别出的对象的关注对象信息，并且将该生成的关注对象信息发送给服务器。

在日本特开2009-227246号公报(专利文献2)中作为上述显示装置公开了具有照相机的车辆用操作输入装置。包含在该车辆用操作输入装置中的控制电路从照相机的撮影图像中检测对操作面板进行操作的操作者的视线，在所检测的视线处于预定的操作输入解除视线状态的情况下，将操作面板从操作输入禁止模式变更为操作输入允许模式。

并且，以往，作为上述显示装置公知有以能够通信的方式与可编程/逻辑/控制器(以下，也称为“PLC”)连接的可编程显示器。在日本特开2008-112222号公报(专利文献3)中作为上述可编程显示器公开了以与操作者的操作的历史一同保存操作者的面部图像为目的的操作显示装置。

现有技术文献

专利文献

专利文献1：日本特开2012-123513号公报

专利文献2：日本特开2009-227246号公报

专利文献3：日本特开2008-112222号公报

专利文献4：日本特开2011-59194号公报

专利文献5：日本特开2008-165353号公报

技术实现要素：

发明要解决的课题

然而，在专利文献1的技术中，之后无法判断显示装置的用户在多长时间内连续注视了对象。关于这点，其他的专利文献2～5也相同。

本发明是鉴于上述的问题而完成的，其目的在于，提供能够供他人确认用户在对象多长时间内连续注视了对象的可编程显示器、便携终端装置、可编程显示器中的数据处理方法以及控制可编程显示器的程序。

用于解决课题的手段

根据本发明的一个方式，可编程显示器具有：估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部，其构成为使显示器显示包含第1对象的第1画面；测量部，其构成为在通过估计判断为视线朝向第1对象的情况下，测量视线朝向第1对象的时间；以及存储部，其构成为关联地存储第1图像识别信息和第1时间信息，该第1图像识别信息是识别第1对象的信息，该第1时间信息是表示测量出的时间的信息。

优选为，可编程显示器还具有发送部，该发送部构成为向服务器装置发送关联地存储的第1图像识别信息和第1时间信息。

优选为，在视线朝向第1对象的时间为第1基准时间以上的情况下，显示控制部使显示器显示与第1对象预先对应的图像。

优选为，预先对应的图像是用于协助用户操作的图像。

优选为，在使显示器显示用于协助用户操作的图像的情况下，显示控制部使显示器进一步显示软件按钮，该软件按钮用于消除用于协助用户操作的图像的显示。可编程显示器以视线朝向用于协助用户操作的图像的时间在第2基准时间以上为条件，受理软件按钮的输入操作。

优选为，第1画面还包含第2对象。在通过估计判断为视线朝向第2对象的情 况下，测量部测量视线朝向第2对象的时间。存储部关联地存储第2图像识别信息和第2时间信息，该第2图像识别信息是识别第2对象的信息，该第2时间信息是表示测量出的时间的信息。

优选为，在受理了指示从第1画面转移到第2画面的输入的情况下，显示控制部能够使显示器显示第2画面。在显示了第1画面的情况下，在估计为视线朝向第1对象时，存储部关联地存储第1画面识别信息、第1图像识别信息以及第1时间信息，其中，该第1画面识别信息是识别第1画面的信息。

优选为，第1对象是软件按钮。

根据本发明的另一方式，可编程显示器具有：估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部，其构成为使显示器显示多个预定的画面中的被指定的画面；测量部，其构成为在通过估计判断为视线朝向被指定的画面的情况下，测量视线朝向被指定的画面的时间；以及存储部，其构成为关联地存储画面识别信息和时间信息，该画面识别信息是识别被指定的画面的信息，该时间信息是表示测量出的时间的信息。

根据本发明的又一方式，便携终端装置经由中继设备从可编程/逻辑/控制器取得由可编程/逻辑/控制器从控制对象设备取得的数据。便携终端装置具有：估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部，其构成为使显示器显示包含对象的画面；测量部，其构成为在通过估计判断为视线朝向对象的情况下，测量视线朝向对象的时间；以及存储部，其构成为关联地存储识别信息和时间信息，该识别信息是识别对象的信息，该时间信息是表示测量出的时间的信息。

优选为，中继器是可编程显示器。

根据本发明的又一方式，便携终端装置以能够通过无线进行通信的方式与可编程/逻辑/控制器连接，并且能够显示从可编程/逻辑/控制器取得的数据。便携终端装置具有：估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；显示控制部，其构成为使显示器显示包含对象的画面；测量部，其构成为在通过估计判断为视线朝向对象的情况下，测量视线朝向对象的时间；以及存储部，其构成为关联地存储识别信息和时间信息，该识别信息是识别对象的信息，该时间信息是表示测量出的时间的信息。

根据本发明的又一方式，数据处理方法在可编程显示器中执行。数据处理方法具有如下的步骤：可编程显示器的处理器使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；处理器使显示器显示包含对象的画面；在通过估计判断为视线朝向对象的情况下，处理器测量视线朝向对象的时间；以及处理器使存储器关联地存储识别信息和时间信息，该识别信息是识别对象的信息，该时间信息是表示测量出的时间的信息。

根据本发明的另一方式，程序控制可编程显示器。程序使可编程显示器的处理器执行如下的步骤：使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；使显示器显示包含对象的画面；在通过估计判断为视线朝向对象的情况下，测量视线朝向对象的时间；以及使存储器关联地存储识别信息和时间信息，该识别信息是识别对象的信息，该时间信息是表示测量出的时间的信息。

发明效果

根据本发明，他人能够确认用户在多长时间内连续注视了对象。

附图说明

图1是本实施方式的控制系统的系统结构的示意图。

图2是表示具有操作权限的人登录之后的可编程显示器的画面的图。

图3是用于说明在图2的状态(即，显示了页面画面532的状态)下，在控制系统1中产生了错误时的处理的图。

图4是用于说明可编程显示器的硬件结构的一例的图。

图5是用于说明从可编程显示器发送给服务器装置的日志数据的图。

图6是用于说明可编程显示器的功能性结构的图。

图7是表示在可编程显示器中执行的处理的一部分的流程图。

图8是用于说明在基准时间T1以上的期间内用户的视线未朝向对象的情况下的处理例的图。

图9是用于说明按照页面画面单位记录用户视觉确认了画面的时间的结构的图。

图10是表示操作权限的级别比用户α低的用户β对可编程显示器300进行操作时的状态的图。

图11是用于说明控制系统的第1变形例的图。

图12是用于说明控制系统的第2变形例的图。

图13是表示从图2的(B)的状态转移后的状态的图。

具体实施方式

一边参照附图一边详细地说明本发明的实施方式的可编程显示器。另外，关于图中的相同或者相当部分，标注同一符号并不重复其说明。

＜A.系统结构＞

图1是示出本实施方式的控制系统1的系统结构的示意图。参照图1，控制系统1包含：PLC 100、以能够通信的方式与PLC 100连接的可编程显示器(HMI：Human Machine Interface)300、以及以能够通信的方式与PLC 100连接的服务器装置400。服务器装置400例如是构成内部网的设备。

PLC 100周期性或者事件性地执行后述的用户程序。用户程序由PLC 100的使用者创建。用户通过操作例如协助装置(未图示)而能够创建包含访问命令的程序(源程序)。另外，协助装置将源程序转换成在PLC 100中能够执行的形式，将转换后的用户程序发送给PLC 100。协助装置提供与PLC 100之间的各种参数的设定、编程、监视器、调试等功能。PLC 100与协助装置之间典型地构成为能够根据USB(Universal Serial Bus)标准进行通信。

PLC 100执行用户程序，根据包含在用户程序中的命令与服务器装置400进行通信。即，PLC 100和服务器装置400构成为能够经由以太网(注册商标)等网络112而相互交换数据。

PLC 100包含执行控制运算的CPU单元104以及1个以上的IO(Input/Output)单元106。这些单元构成为能够经由PLC系统总线108相互交换数据。并且，通过电源单元102向这些单元提供适当电压的电源。

在控制系统1中，PLC 100经由(经由PLC系统总线108连接的)IO单元106、和/或经由现场总线110在与各种现场设备之间交换数据。这些现场设备包含用于对控制对象进行某种处理的致动器、或用于从控制对象取得各种信息的传感器等。在图1中作为这样的现场设备的一例包含检测开关10、继电器20和对电动机32进行驱动的伺服电动驱动器30。并且，PLC 100还经由现场总线110与远程IO终端200连接。 远程IO终端200基本上与IO单元106同样地进行关于一般的输入输出处理的处理。更具体而言，远程IO终端200包含用于进行利用现场总线110的数据传送的处理的通信耦合器202、以及1个以上的IO单元204。这些单元构成为能够经由远程IO终端总线208而相互交换数据。

可编程显示器300通过连接线缆114以能够通信的方式与PLC 100连接。可编程显示器300在画面上显示从PLC 100取得的各种信息。

并且，可编程显示器300具有面部认证功能。即，用户只要在可编程显示器300的面部认证上不成功，就无法利用可编程显示器300。详细说明，如下。

可编程显示器300控制对应用的访问。可编程显示器300存储有用户的面部的特征数据。可编程显示器300根据通过拍摄得到的用户的图像数据和上述特征数据来进行用户的面部认证。可编程显示器300在认证了用户的情况下，允许用户对应用的访问。优选采用上述特征数据预先存储在服务器装置400中，可编程显示器300能够从服务器装置400适当取得的结构。或者，在控制系统1中，可编程显示器300也可以向服务器装置400发送通过上述拍摄得到的图像数据，服务器装置400进行面部认证。

并且，可编程显示器300具有帮助功能。关于帮助功能的详细情况后述进行说明。另外，以下，“登录状态”是指允许对应用的访问的状态，“注销状态”是指不允许对应用的访问的状态。并且，在可编程显示器300中，如果允许对应用的访问，则发布对应用的访问权，如果不允许对应用的访问，则取消对应用的访问权。

＜B.处理的概要＞

(b1.第1处理例)

图2是用于说明可编程显示器300的第1处理例的图。具体而言，图2是表示具有操作权限的人(以下，也称为“用户”)登录之后(即，登录状态)的可编程显示器300的画面的图。

参照图2的(A)，可编程显示器300显示页面画面532。可编程显示器300预先存储多个页面画面，根据用户的指示等切换触摸屏318(正确地说为构成触摸屏的显示器)上显示的页面画面。更详细而言，可编程显示器300在包含从PLC 100取得的数据的状态下显示页面画面。更具体说明，如下。

可编程显示器300在触摸屏318上显示包含多个对象831、832、834的页面画 面532。对象831包含从PLC 100实时地取得的数据。具体而言，对象831内的曲线图在页面画面532的显示中适当更新。

对象832表示维护菜单。对象832由多个对象8321、8322、…构成。对象8321在调整带式输送机的速度时使用。对象8322用于调整温度。对象834是用于转移到注销状态的软件按钮。

如图2的(B)所示，假设用户在预定的时间T1(以下，也称为“基准时间T1”)内注视了对象8321(假设利用眼睛900持续观察)。换言之，假设用户的视线901朝向对象8321基准时间T1。在该情况下，如图2的(C)所示，可编程显示器300通过执行帮助功能而以与页面画面532重叠的方式显示与对象8321预先对应的协助用图像881。另外，“协助用图像”是指可编程显示器300的包含用于协助用户的操作的注释的图像(帮助显示)。

更详细而言，可编程显示器300为了使用户识别协助用图像881与对象8321相关，在触摸屏318中显示从对象8321吹出的方式的协助用图像881。

对象836是用于消除协助用图像881的显示的(设为非显示)的软件按钮。通过由用户利用触摸操作等选择该对象836而使协助用图像881成为非显示。

另外，在上述中，举例说明在基准时间T1内注视了对象8321的情况，但不限于此。可编程显示器300即使在基准时间T1内注视了对象8321以外的对象(例如，对象8322)的情况下，也以与页面画面532重叠的状态显示与该对象对应的协助用图像。

在用户注视了基准时间T1以上的包含在页面画面中的对象的情况下，多数情况下用户难以判断该对象用于怎样的操作。因此，可编程显示器300在触摸屏318中显示与对象预先对应的协助用图像，由此用户能够容易地判断对象用于怎样的操作。换言之，可编程显示器300能够在不等待用户的手指的直接的输入操作的情况下向用户提供操作的协助。

(b2.第2处理例)

图3是用于说明可编程显示器300的第2处理例的图。具体而言，图3是用于说明在图2的状态(即，显示了页面画面532的状态)下，在控制系统1中产生了错误时的处理的图。

参照图3的(A)，可编程显示器300以与页面画面532重叠的状态显示对象851。 对象851表示作为警告的一种的错误。

如图3的(B)所示，假设用户在基准时间T1内注视了对象851。换言之，用户的视线901朝向对象851基准时间T1。在该情况下，如图3的(C)所示，可编程显示器300通过执行帮助功能，以与页面画面532重叠的方式显示与对象851预先对应的协助用图像882。

在上述的情况下，可编程显示器300也能够在不等待用户的手指的直接的输入操作的情况下向用户提供操作的协助。

(b3.大数据)

在第1处理例和第2处理例中，可编程显示器300为了判断是否注视了对象8321基准时间T1，需要测量视线901连续地朝向1个对象(例如，对象8321、851)期间的时间。通过使该测量出的时间的信息与注视的对象的识别信息关联，对于控制系统1的管理者来说，可以作为有用的信息进行灵活应用。

因此，可编程显示器300使识别对象的图像识别信息和表示测量出的时间的时间信息关联地临时存储，将该关联存储的图像识别信息和时间信息发送给服务器装置400。具体而言，可编程显示器300将该关联存储的识别信息和时间信息作为日志数据(参照图5)经由PLC 100发送给服务器装置400。服务器装置400接收从可编程显示器300发送来的该信息。

更详细而言，使识别对象的图像识别信息(以下，也称为“对象ID”)、表示测量出的时间的时间信息和识别页面画面的画面识别信息(以下，也称为“页面ID”)关联地临时存储，将该关联存储的图像识别信息、时间信息以及画面识别信息发送给服务器装置400。

根据以上，控制系统1的管理者(例如，服务器装置400的用户)在服务器装置400中能够确认可编程显示器300的用户连续注视了对象多长时间。并且，在可编程显示器300中，控制系统1的管理者也能够确认可编程显示器300的用户连续注视了对象多长时间。

＜C.硬件结构＞

图4是用于说明可编程显示器300的硬件结构的一例的图。参照图4，可编程显示器300具有：进行各种运算的CPU(Central Processing Unit：中央处理器)311、ROM(Read Only Memory：只读存储器)312、RAM(Random Access Memory：随 机存储器)313、非易失性地存储各种程序的闪存ROM314、计时器315、操作键316、照相机317、触摸屏318以及通信接口319。另外，这些部位经由内部总线而相互连接。

触摸屏318具有显示器381、被设置为覆盖显示器381的触摸面板382。通信接口319具有Ethernet(以太网，注册商标)用IF(InterFace)391、串行用IF392、USB(Universal Serial Bus：通用串行总线)用IF393。

CPU311在RAM313等中展开地执行存储在闪存ROM314中的程序。ROM312通常存储有操作系统(OS：Operating System)等的程序。RAM313是易失性存储器，作为工作存储器进行使用。

Ethernet用IF391协助Ethernet的通信协议，在与PLC 100之间进行数据通信。串行用IF392协助串行通信的协议，在与例如PC(Personal Computer：个人电脑)之间进行数据通信。USB用IF393协助USB的通信协议，在与例如USB存储器之间进行数据通信。

另外，构成图4所示的可编程显示器300的各结构要素是普通的。因此，本发明的本质性的部分也是保存在闪存ROM314等存储器中的软件、或者能够经由网络下载的软件。另外，由于可编程显示器300的各硬件的动作是周知的，因此不重复详细的说明。

＜D.数据＞

图5是用于说明从可编程显示器300发送给服务器装置400的日志数据D5的图。参照图5，日志数据D5使得用于识别用户的用户ID、日期信息、表示操作内容的信息、用于识别页面画面的页面ID、用于识别对象的对象ID、表示注视时间的信息、表示停止时间的信息相互对应地存储。另外，日志数据D5例如在预定的时刻发送给服务器装置400。

与图2和图3对应地说明日志数据D5如下。作为一例，将页面画面532(参照图2)的页面ID设为“P011”。并且，将对象8321(参照图2)的对象ID设为“G02”。此外，将对象851(参照图3)的对象ID设为“G03”。并且，将基准时间T1设为“10秒”。

在该情况下，日志数据D5包含表示用户ID为“A001”的人注视30秒由“P011”确定的页面画面532中包含的由“G02”确定的对象8321的信息。并且，日志数据D5包含表示用户ID为“A001”的人注视20秒由“P011”确定的页面画面532中包含的由 “G03”确定的对象851的信息。

这样，在日志数据D5中至少使识别页面画面的页面ID、用于识别对象的对象ID和时间信息关联地存储。通过可编程显示器300将日志数据D5发送给服务器装置400，使服务器装置400能够得到页面ID、对象ID和时间信息相对应的信息。

＜E.功能性结构＞

图6是用于说明可编程显示器300的功能性结构的图。参照图6，可编程显示器300具有存储部350、拍摄部351、显示部352、操作受理部353、通信处理部354、显示控制部355、面部认证部356、管理部357以及测量部358。

通信处理部354包含接收部3541和发送部3542。面部认证部356包含视线估计部3561。另外，拍摄部351与照相机317(图4)对应。显示部352与显示器381对应。操作受理部353与触摸面板382对应。测量部358与计时器315对应。

存储部350预先存储有用于显示多个页面画面的数据和用于显示协助用图像的数据。并且，在存储部350中存储日志数据D5。

以下，为了便于说明，假设可编程显示器300能够显示页面画面A(例如，图2等的页面画面532)、页面画面B、页面画面C、…。并且，假设页面画面A包含对象A1、对象A2以及对象A3。

显示控制部355使显示部352显示多个页面画面A、B、C、…中的被指定的页面画面(例如，页面画面A)。显示控制部355根据页面画面的类别而以从PLC 100取得的字段数据包含在页面画面中的方式生成显示用的图像数据。另外，字段数据由接收部3541接收，并发送给显示控制部355。并且，在操作受理部353受理了页面画面的切换指示的情况下，显示控制部355显示基于该指示的页面画面(例如，页面画面B)。

拍摄部351拍摄人物等被摄体。拍摄部351将由拍摄得到的图像数据发送给面部认证部356。

面部认证部356进行面部认证。并且，包含在面部认证部356中的视线估计部3561根据从拍摄部351发送来的图像数据来估计视线的方向。

管理部357从视线估计部3561接受估计结果。并且，管理部357从显示控制部355接受用于确定当前显示的页面画面的信息(页面ID)以及表示配置有多个对象的位置的位置信息(详细而言为坐标信息)。管理部357根据上述估计结果、上述页面 ID以及上述位置信息来判断视线是否朝向对象。并且，管理部357在视线朝向对象的情况下判断朝向多个对象中的哪个对象。例如，当显示控制部355使显示部352显示了页面画面A的情况下，管理部357判断视线朝向多个对象A1、A2、A3中的哪个对象。

在通过视线估计判断为视线朝向对象的情况下，管理部357使测量部358测量视线朝向该对象的时间。并且，管理部357根据上述判断结果使得识别对象的对象ID、表示测量出的时间的时间信息、以及识别页面画面的页面ID关联，更新存储部350的日志数据D5。可编程显示器300通过进行这样的处理而得到图5所示的日志数据D5。

通信处理部354的发送部3542经由PLC 100将日志数据D5发送给服务器装置400。

(e.协助用图像的显示和消除)

显示控制部355在视线朝向对象的时间为基准时间T1以上的情况下，使显示部352显示与该对象预先对应的协助用图像。例如，当在显示部352中显示了页面画面A的情况下，在管理部357判断了视线是否朝向对象A1时，显示控制部355以与页面画面A重叠的方式使显示部352显示与对象A1预先对应的协助用图像。

并且，显示控制部355在使显示部352显示协助用图像的情况下，使显示部352进一步显示用于消除该协助用图像的显示的确认按钮(参照图2的(C)、图3的(C))。可编程显示器300以视线朝向协助用图像的时间为预定的时间T2(以下，也称为“基准时间T2”)以上为条件，受理对象836的输入操作。另外，基准时间T2也可以为与基准时间T1一样的长度。

这样，可编程显示器300通过采用以基准时间T2以上的注视为条件而消除协助用图像的结构，从而与不需要该条件而消除协助用图像的结构相比，能够使用户更可靠地确认协助用图像。

另外，也可以以不考虑基准时间T2，以显示协助用图像为触发而受理对象836的输入的方式构成可编程显示器300。

＜F.控制结构＞

图7是表示在可编程显示器300中执行的处理的一部分的流程图。参照图7，在步骤S2中，可编程显示器300的CPU311判断视线是否朝向包含在所显示的页面 画面中的对象。

CPU311在判断为视线朝向对象的情况下(在步骤S2中为YES)，在步骤S4中，使用计时器315测量连续地视觉确认了该对象的时间。在判断为视线未朝向对象的情况下(在步骤S2中为NO)，CPU311使处理进入步骤S12。

在步骤S6中，CPU311使得识别连续地视觉确认出的对象的对象ID、表示测量出的时间的时间信息、以及用于识别所显示的页面画面的页面ID关联地存储。更详细而言，CPU311使用上述对象ID、上述时间信息以及上述页面ID来更新日志数据D5。

在步骤S8中，CPU311判断视觉确认了对象的时间是否为基准时间T1以上。在CPU311判断为在基准时间T1以上的情况下(在步骤S8中为YES)，在步骤S10中以与页面画面重叠的方式使显示器381显示与对象对应的协助用图像。在判断为小于基准时间T1的情况下(在步骤S8中为NO)，CPU311使处理进入步骤S12。

在步骤S12中，CPU311判断当前的时刻是否为预定的时刻。作为预定的时刻的一例列举出用户的作业的完成时刻(结束时刻)。

在判断为未达到预定的时刻的情况下(在步骤S12中为NO)，CPU311使处理进入步骤S2。在判断为达到预定的时刻的情况下(在步骤S12中为YES)，CPU311在步骤S14中，将包含关联地存储的对象ID、时间信息以及页面ID的日志数据D5经由PLC 100发送给服务器装置400。

＜G.变形例＞

＜g1：第1变形例＞

在上述中，例如如图3所示，可编程显示器300在用户的视线901朝向对象851预定时间T1以上的情况下，显示协助用图像882。以下，对用户的视线未朝向对象基准时间T1以上的情况下的处理例进行说明。

图8是用于说明用户的视线未朝向对象基准时间T1以上的情况下的处理例的图。参照图8的(A)，可编程显示器300以与页面画面532重叠的状态显示对象851。假设用户未注视对象851基准时间T1。换言之，假设用户的视线901未朝向对象851基准时间T1以上。

在该情况下，如图8的(B)所示，可编程显示器300以与页面画面532重叠的方式显示促使目视观察对象851的协助用图像883。可编程显示器300在图8的(B) 的状态下，用户注视对象851基准时间T1以上从而使画面转移到图3的(C)所示的状态。

通过这样的结构，可编程显示器300能够以快速地显示协助用图像(例如，图3的(C)所示的协助用图像882)的方式引导用户。并且，可编程显示器300能够促使用户将视线朝向显示器381。

＜g2.第2变形例＞

(1)对于画面整体的应用

在上述中，说明可编程显示器300对在多长时间内注视了哪个对象进行了记录的结构。但是，不限于此，也可以以记录在多长时间内注视了哪个页面画面的方式构成可编程显示器300。即，可编程显示器300也可以不以对象单位而以页面画面单位记录用户视觉确认画面的时间。

图9是用于说明以页面画面单位记录用户视觉确认画面的时间的结构的图。参照图9的(A)，可编程显示器300在触摸屏318中显示包含对象801、802、803、804的页面画面。

在该状态下，假设用户α注视该页面画面。可编程显示器300在视线估计的结果为判断为视线朝向该页面画面的情况下，测量视线朝向该页面画面的时间。可编程显示器300使用于识别该页面画面的页面ID与表示测量出的时间的时间信息关联地存储。

此外，在图9的(A)的状态下，假设用户α注视了该页面画面基准时间T1以上。在该情况下，参照图9的(B)，可编程显示器300使与所显示的页面画面相关的协助用图像884以与该页面画面重叠的方式显示于触摸屏318。

根据上述的结构，用户能够容易地判断所显示的页面画面用于怎样的操作。换言之，可编程显示器300能够在不等待用户的手指的直接的输入操作的情况下向用户提供操作的协助。

并且，也可以以在显示预定的第1页面画面的情况下，以对象单位记录视觉确认时间，在显示预定的第2页面画面的情况下，以页面画面单位记录视觉确认时间的方式构成可编程显示器300。

(2)对进行因用户的区分而不同的显示的结构的应用

可编程显示器300的操作权限存在级别。在可编程显示器300中例如可以按照 权限高的顺序依次设定管理员、维护者以及操作员。

图10是表示操作权限的级别比用户α低的用户β操作可编程显示器300时的状态的图。参照图10的(A)，可编程显示器300在触摸屏318中显示包含对象802、804的页面画面。即，可编程显示器300根据设定于用户β的操作权限，将在用户α使用时显示的对象801、803设为非显示。

在图10的(A)的状态下，假设用户β注视该页面画面基准时间T1以上。在该情况下，参照图10的(B)，可编程显示器300使与所显示的页面画面相关的协助用图像885以与该页面画面重叠的方式显示于触摸屏318。即，可编程显示器300根据用户的操作权限显示与在用户α使用的情况下所显示的协助用图像884不同的协助用图像885。另外，作为一例，协助用图像885表示由于没有操作权限而无法操作的处理的内容。

通过这样的结构，可编程显示器300能够显示与用户的操作权限对应的信息，该信息用于协助当前操作可编程显示器300的用户。由此，能够根据可编程显示器300使用户的便利性提高。

＜g3.第3的变形例＞

图11是用于说明控制系统1的第1变形例的图。参照图11，控制系统1A除了具有PLC 100、可编程显示器300、服务器装置400之外，还具有平板终端600。控制系统1A在具有平板终端600的点上与控制系统1不同。

平板终端600与可编程显示器300进行通信。在控制系统1A中，取代可编程显示器300、或者与可编程显示器300一同由平板终端600执行上述的各种处理(面部认证、视线估计、日志数据D5的更新、协助用图像的显示)。即使是这样的结构，也能够得到与控制系统1相同的效果。

另外，平板终端600也可以以不经由可编程显示器300而直接与PLC 100进行通信的方式构建控制系统1A。

图12是用于说明控制系统1的第2变形例的图。参照图12，控制系统1B具有PLC 100、服务器装置400、平板终端600以及中继器700。控制系统1B在取代可编程显示器300而具有中继器700的点以及具有平板终端600的点上与控制系统1不同。

中继器700对PLC 100与平板终端600之间的通信进行中继。

平板终端600与控制系统1A的情况同样地执行上述的各种处理(面部认证、 视线估计、日志数据D5的更新、协助用图像的显示)。即使是这样的结构，也能够得到与控制系统1相同的效果。

＜g4.第4变形例＞

图13是用于说明协助用图像的显示的方式的变形例的图。具体而言，图13是与图2的(C)对应的图。即，图13是表示从图2的(B)的状态转移之后的状态的图。

参照图13，可编程显示器300将显示页面画面的区域的一部分设定为用于显示协助用图像886的区域899。作为一例，可编程显示器300使从画面的端部到用于显示协助用图像886的区域逐渐扩大，在扩大后的区域(图13的区域899)中显示协助用图像886。

即使是这样的显示方式，用户也能够容易地判断对象用于怎样的操作。换言之，可编程显示器300能够在不等待用户的手指的直接的输入操作的情况下向用户提供操作的协助。

本次公开的实施方式在所有的点上都只是例示的，不应该被认为是限制发明的内容。本发明的范围部通过上述的说明表示，而是通过技术方案表示的，包含与技术方案含义均等以及范围内的所有的变更。

标号说明

1、1A、1B：控制系统；100：PLC；102：电源单元；104：CPU单元；106、204：IO单元；108：PLC系统总线；200：终端；202：通信耦合器；208：终端总线；300：可编程显示器；311：CPU；315：计时器；317：照相机；318：触摸屏；319：通信接口；350：存储部；351：拍摄部；352：显示部；353：操作受理部；354：通信处理部；355：显示控制部；356：面部认证部；357：管理部；358：测量部；381：显示器；382：触摸面板；400：服务器装置；532：页面画面；600：平板终端；700：中继器；801、802、803、804、831、832、834、836、851、8321、8322：对象；881、882、883、884、885、886：协助用图像；899：区域；900：眼睛；901：视线；3541：接收部；3542：发送部；3561：视线估计部；D5：日志数据。

权利要求书(按照条约第19条的修改)

1.(修改后)一种可编程显示器，其具有：

估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；

显示控制部，其构成为使显示器显示包含第1对象的第1画面；

测量部，其构成为在通过所述估计判断为所述视线朝向所述第1对象的情况下，测量所述视线朝向所述第1对象的时间；以及

存储部，其构成为关联地存储第1图像识别信息和第1时间信息，该第1图像识别信息是识别所述第1对象的信息，该第1时间信息是表示所述测量出的时间的信息，

在所述视线朝向所述第1对象的时间为第1基准时间以上的情况下，所述显示控制部使所述显示器显示与所述第1对象预先对应的图像。

2.根据权利要求1所述的可编程显示器，其中，

该可编程显示器还具有发送部，该发送部构成为向服务器装置发送所述关联地存储的所述第1图像识别信息和所述第1时间信息。

3.(删除)

4.(修改后)根据权利要求1或2所述的可编程显示器，其中，

所述预先对应的图像是用于协助用户操作的图像。

5.根据权利要求4所述的可编程显示器，其中，

在使所述显示器显示所述用于协助用户操作的图像的情况下，所述显示控制部使所述显示器进一步显示软件按钮，该软件按钮用于消除所述用于协助用户操作的图像的显示，

所述可编程显示器以所述视线朝向所述用于协助用户操作的图像的时间在第2基准时间以上为条件，受理所述软件按钮的输入操作。

6.(修改后)根据权利要求1、2、4以及5中的任意一项所述的可编程显示器，其中，

所述第1画面还包含第2对象，

在通过所述估计判断为所述视线朝向所述第2对象的情况下，所述测量部测量所述视线朝向所述第2对象的时间，

所述存储部关联地存储第2图像识别信息和第2时间信息，该第2图像识别信息是识别所述第2对象的信息，该第2时间信息是表示所述测量出的时间的信息。

7.(修改后)根据权利要求1、2以及4至6中的任意一项所述的可编程显示器，其中，

在受理了指示从所述第1画面转移到第2画面的输入的情况下，所述显示控制部能够使所述显示器显示所述第2画面，

在显示了所述第1画面的情况下，在估计为所述视线朝向所述第1对象时，所述存储部关联地存储第1画面识别信息、所述第1图像识别信息以及所述第1时间信息，该第1画面识别信息是识别所述第1画面的信息。

8.(修改后)根据权利要求1、2以及4至7中的任意一项所述的可编程显示器，其中，

所述第1对象是软件按钮。

9.一种可编程显示器，其具有：

估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；

显示控制部，其构成为使显示器显示多个预定的画面中的被指定的画面；

测量部，其构成为在通过所述估计判断为所述视线朝向所述被指定的画面的情况下，测量所述视线朝向所述被指定的画面的时间；以及

存储部，其构成为关联地存储画面识别信息和时间信息，该画面识别信息是识别所述被指定的画面的信息，该时间信息是表示所述测量出的时间的信息。

10.一种便携终端装置，其经由中继设备从可编程/逻辑/控制器取得由所述可编程/逻辑/控制器从控制对象设备取得的数据，其中，该便携终端装置具有：

估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；

显示控制部，其构成为使显示器显示包含对象的画面；

测量部，其构成为在通过所述估计判断为所述视线朝向所述对象的情况下，测量所述视线朝向所述对象的时间；以及

存储部，其构成为关联地存储识别信息和时间信息，该识别信息是识别所述对象的信息，该时间信息是表示所述测量出的时间的信息。

11.根据权利要求10所述的便携终端装置，其中，

所述中继器是可编程显示器。

12.一种便携终端装置，其以能够进行无线通信的方式与可编程/逻辑/控制器连接，并且能够显示从所述可编程/逻辑/控制器取得的数据，其中，该便携终端装置具有：

估计部，其构成为使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；

显示控制部，其构成为使显示器显示包含对象的画面；

测量部，其构成为在通过所述估计判断为所述视线朝向所述对象的情况下，测量所述视线朝向所述对象的时间；以及

存储部，其构成为关联地存储识别信息和时间信息，该识别信息是识别所述对象的信息，该时间信息是表示所述测量出的时间的信息。

13.(修改后)一种可编程显示器中的数据处理方法，该数据处理方法具有如下的步骤：

所述可编程显示器的处理器使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；

所述处理器使显示器显示包含对象的画面；

在通过所述估计判断为所述视线朝向所述对象的情况下，所述处理器测量所述视线朝向所述对象的时间；

所述处理器使存储器关联地存储识别信息和时间信息，该识别信息是识别所述对象的信息，该时间信息是表示所述测量出的时间的信息；以及

在所述视线朝向所述对象的时间为基准时间以上的情况下，所述处理器使所述显示器显示与所述对象预先对应的图像。

14.(修改后)一种程序，其用于控制可编程显示器，其中，该程序使所述可编程显示器的处理器执行如下的步骤：

使用通过拍摄人物得到的图像数据来进行视线的朝向的估计；

使显示器显示包含对象的画面；

在通过所述估计判断为所述视线朝向所述对象的情况下，测量所述视线朝向所述对象的时间；

使存储器关联地存储识别信息和时间信息，该识别信息是识别所述对象的信息，该时间信息是表示所述测量出的时间的信息；以及

在所述视线朝向所述对象的时间为基准时间以上的情况下，使所述显示器显示与所述对象预先对应的图像。