图像限制方法、图像限制程序、信息处理装置以及支援系统与流程

1.本公开涉及图像限制方法、图像限制程序、信息处理装置以及支援系统。


背景技术：

2.在专利文献1中，筛选映现与隐藏信息相关的信息的图像文件、和未映现与隐藏信息相关的信息的图像文件。而且，公开了从公开的对象除去映现与隐藏信息相关的信息的图像文件，向其他人仅公开未映现与隐藏信息相关的信息的图像的技术。
3.专利文献1：日本特开2021－35002号公报


技术实现要素：

4.本公开提供将图像限制为隐藏监视对象物的区域以外的区域的技术。
5.根据本公开的一方式的图像限制方法具有：获取由拍摄部拍摄配置有监视对象物的空间得到的图像数据的工序；获取拍摄位置数据的工序，其中，拍摄位置数据表示拍摄监视对象物时的空间内的拍摄部的拍摄位置；获取形状信息的工序，其中，形状信息表示监视对象物的三维的形状；确定空间内的监视对象物的配置位置的工序；基于拍摄位置数据、形状信息以及监视对象物的配置位置，确定在将拍摄位置数据表示的拍摄位置作为视点位置的配置位置配置的监视对象物的形状，并基于确定结果，确定获取的图像数据的图像内的监视对象物的区域的工序；对获取的图像数据的图像的、确定出的监视对象物的区域以外的区域进行掩模处理的工序；以及输出进行了掩模处理的图像数据的工序。
6.根据本公开，能够将图像限制为隐藏监视对象物的区域以外的区域。
附图说明
7.图1是表示第一实施方式所涉及的支援系统的结构的一个例子的图。
8.图2是表示第一实施方式所涉及的服务器装置的功能结构的一个例子的图。
9.图3是表示第一实施方式所涉及的作业者终端的功能结构的一个例子的图。
10.图4是说明第一实施方式所涉及的支援系统的作业的远程支援的图。
11.图5是示意地表示第一实施方式所涉及的配置有基板处理装置的空间的图。
12.图6是说明第一实施方式所涉及的获取形状信息的流程的图。
13.图7是说明第一实施方式所涉及的获取形状信息的流程的图。
14.图8是表示第一实施方式所涉及的第一图像数据的图像的一个例子的图。
15.图9是表示第一实施方式所涉及的第二图像数据的图像的一个例子的图。
16.图10是表示第一实施方式所涉及的图像限制处理的过程的流程图。
17.图11是表示第二实施方式所涉及的服务器装置的功能结构的一个例子的图。
18.图12是在第三实施方式所涉及的作业者终端的显示部显示的图像的一个例子。
19.图13是表示第三实施方式所涉及的第一图像数据的图像的一个例子的图。
20.附图标记说明
21.10
…
支援系统，11
…
服务器装置，12
…
作业者终端，13
…
终端装置，20
…
通信i/f部，21
…
存储部，21a、21b
…
形状信息，22
…
控制部，30
…
通信i/f部，31
…
显示部，32
…
拍摄部，33
…
传感器部，34
…
声音输入部，35
…
声音输出部，36
…
存储部，37
…
控制部，37a
…
拍摄控制部，37b
…
操作接受部，37c
…
图像获取部，37d
…
拍摄位置获取部，37e
…
形状获取部，37f
…
位置确定部，37g
…
区域确定部，37h
…
掩模处理部，37i
…
输出部，50
…
基板处理装置，51
…
作业者，52
…
指示者，60
…
洁净室。
具体实施方式
22.以下，参照附图对本技术公开的图像限制方法、图像限制程序、信息处理装置以及支援系统的实施方式进行详细说明。此外，并不通过本实施方式限定公开的图像限制方法、图像限制程序、信息处理装置以及支援系统。
23.近年来，要求一种远程支援对监视对象物的维护等作业的支援系统。例如，支援系统将作业者拍摄监视对象物得到的图像送至远处的终端装置，指示者在终端装置确认图像以支援作业者的作业。然而，在监视对象物的周围存在不想被指示者看到的隐藏信息，可能无法利用拍摄到的图像。
24.因此，期待将图像限制为隐藏监视对象物的区域以外的区域的技术。
25.[第一实施方式]
[0026]
[支援系统10的示意结构]
[0027]
图1是表示第一实施方式所涉及的支援系统10的构成的一个例子的图。支援系统10是远程支援对监视对象物的维护等作业的系统。
[0028]
支援系统10具备：服务器装置11、作业者终端12以及终端装置13。服务器装置11、作业者终端12以及终端装置13与网络n连接，能够与网络n进行通信。作为所述的网络n的一方式，不管有线或者无线，能够采用移动电话等移动体通信、因特网(internet)、lan(local area network：局域网)、vpn(virtual private network：虚拟专用网)等任意种类的通信网。
[0029]
服务器装置11是提供远程支援对监视对象物的作业的支援功能的装置。服务器装置11例如是服务器计算机等计算机。服务器装置11例如设置于数据传感器等，并被分配全局ip地址，终端装置13以及作业者终端12能够经由网络n访问。服务器装置11通过从终端装置13以及作业者终端12访问并进行账户的认证而能够利用支援功能。服务器装置11通过支援功能对作业者终端12与终端装置13的通信进行中继。例如，服务器装置11从作业者终端12指定允许通信的账户。服务器装置11对作业者终端12与允许通信的账户的终端装置13的通信进行中继。在本实施方式中，以将服务器装置11设为一台计算机的情况为例进行说明，但也可以实现为由多台计算机构成的计算机系统。
[0030]
作业者终端12对监视对象物实施作业的作业者操作的装置。在本实施方式中，作业者终端12被设为作业者能够穿着使用的可穿戴设备。例如，作业者终端12构成为头戴显示器。作业者终端12佩戴于作业者的头部。作业者终端12以作业者能够视觉确认的方式显示各种信息。作业者终端12在透镜部分具有透过性的显示部，使得即使在作业者佩戴的状态下，也能够视觉确认外部的现实环境。作业者终端12通过使图形等各种信息显示于显示部，从而使各种信息叠加于能够透过显示部看到的对象物进行显示。作业者终端12通过使
各种信息叠加于能够看到的对象物进行显示，能够实现ar(augmented reality：增强现实)、mr(mixed reality：混合现实)。ar是指通过装置对存在于实际空间的物体的图像赋予信息等来增强表现现实的技术。mr是指装置使存在于实际空间的物体的图像变化，装置将变化后的物体的图像与存在于虚拟空间的物体的图像混合进行表现的技术。ar以现实世界为基础，将现实和非现实叠加，使现实世界增强。ar由于在现实世界叠加虚拟物体，所以虚拟物体仅显示在整个面上。mr以虚拟空间为基础，识别空间并使虚拟空间与现实空间融合。mr能够将虚拟物体配置于现实空间。本实施方式所涉及的作业者终端12实现mr。
[0031]
另外，作业者终端12设置有相机，能够由相机拍摄佩戴的作业者的前面方向的图像。作业者终端12将由相机拍摄到的图像经由服务器装置11发送至终端装置13。另外，作业者终端12将经由服务器装置11从终端装置13接收的图像显示于显示部。作为这样的作业者终端12，例如能够列举美国microsoft公司的hololens 2(注册商标)。此外，虽然以将作业者终端12设为可穿戴设备的情况为例进行了说明，但并不限定于此。作业者终端12也可以是平板、笔记本pc等能够手持利用的终端。在第一实施方式中，作业者终端12与本公开的信息处理装置对应。
[0032]
终端装置13是远程指示对监视对象物的作业的指示者操作的装置。终端装置13例如是个人计算机等计算机。在终端装置13显示经由服务器装置11从作业者终端12接收的图像。指示者从终端装置13通过声音或者图像发送作业指示。
[0033]
[服务器装置11的结构]
[0034]
接下来，对各设备的结构进行说明。首先，对服务器装置11的结构进行说明。图2是表示第一实施方式所涉及的服务器装置11的功能结构的一个例子的图。服务器装置11具有：通信i/f(接口)部20、存储部21以及控制部22。此外，服务器装置11也可以除了上述的器件以外还具有计算机具有的其它设备。
[0035]
通信i/f部20是在与其它的装置之间进行通信控制的接口。通信i/f部20与网络n连接，经由网络n与终端装置13和作业者终端12收发各种信息。
[0036]
存储部21是硬盘、ssd、光盘等存储装置。此外，存储部21也可以是ram、闪存、nvsram等能够改写数据的半导体存储器。
[0037]
存储部21存储由控制部22执行的os(operating system：操作系统)、各种程序。并且，存储部21存储在控制部22执行的程序所使用的各种数据。例如，存储部21存储形状信息21a。
[0038]
形状信息21a是存储有监视对象物的三维的形状的数据。形状信息21a的详细后述。
[0039]
控制部22是控制服务器装置11的设备。作为控制部22，能够采用cpu、mpu等电子电路、asic、fpga等集成电路。控制部22具有用于储存规定各种处理过程的程序、控制数据的内部存储器，利用它们执行各种处理。控制部22通过各种程序进行动作而作为各种处理部发挥作用。例如，控制部22具有支援控制部22a和中继部22b。
[0040]
支援控制部22a是进行与支援功能相关的控制的处理部。支援控制部22a若接受访问，则使访问源输入账户信息进行账户的认证。例如，支援控制部22a若从终端装置13以及作业者终端12接受，则进行账户的认证。支援控制部22a若进行合法的账户的认证，则向访问源提供支援功能的各种操作画面，并从操作画面接受支援功能的操作。例如，支援控制部
22a从终端装置13指定允许通信的账户。
[0041]
中继部22b对作业者终端12与允许通信的账户的终端装置13的通信进行中继。
[0042]
[作业者终端12的结构]
[0043]
接下来，对作业者终端12的结构进行说明。图3是表示第一实施方式所涉及的作业者终端12的功能结构的一个例子的图。如上述那样，作业者终端12构成为头戴显示器。作业者终端12具有：通信i/f部30、显示部31、拍摄部32、传感器部33、声音输入部34、声音输出部35、存储部36以及控制部37。此外，作业者终端12也可以具有上述的设备以外的其它设备。
[0044]
通信i/f部30是在与其它装置之间进行通信控制的接口。通信i/f部30通过无线通信与网络n连接，并经由网络n与其它装置收发各种信息。
[0045]
显示部31是显示各种信息的设备。显示部31以在用户佩戴了作业者终端12时，与佩戴的用户的眼睛对置的方式设置在作业者终端12。显示部31具有透过性，使得即使在用户佩戴的状态下，也能够视觉确认外部的现实环境。显示部31根据来自控制部37的控制，显示各种信息。例如，显示部31显示从服务器装置11发送的图像。在本实施方式中，显示部31设为与两眼对应，但也可以是仅与单眼对应的显示部。
[0046]
拍摄部32在控制部37的控制之下，拍摄作业者终端12的周围来生成图像。拍摄部32具备相机。例如，拍摄部32朝向佩戴作业者终端12的用户的前面方向具备相机。相机既可以是3d相机，也可以是隔开规定的间隔地配置至少两台相机的立体方式的相机，也可以是tof(time of flight：飞行时间)方式的相机。拍摄部32也可以分别具备立体方式和tof方式的3d相机。另外，拍摄部32也可以具备拍摄作业者终端12的周围的多个相机。拍摄部32利用相机拍摄图像，并将拍摄到的图像的图像数据输出至控制部37。
[0047]
传感器部33包含加速度传感器、陀螺仪传感器、方位传感器等传感器装置，并具有感测控制部37中的处理所使用的信息的功能。
[0048]
声音输入部34包含输入声音并转换为电信号的麦克风，通过对该电信号进行a/d(analog/digital：模拟/数字)转换等而生成声音数据。声音输入部34将生成的声音数据输出至控制部37。
[0049]
声音输出部35包含扬声器，通过d/a(digital/analog：数字/模拟)转换将从控制部37输入的数字的声音信号转换为模拟的声音信号，并从扬声器输出与该模拟的声音信号相应的声音。
[0050]
存储部36是存储各种信息的存储设备。例如，存储部36是ram(random access memory：随机存取存储器)、闪存、nvsram(non volatile static random access memory：非易失性静态随机存取存储器)等能够改写数据的半导体存储器。此外，存储部36也可以是硬盘、ssd(solid state drive：固盘硬盘)、光盘等存储装置。
[0051]
存储部36存储包含由控制部37执行的控制程序、后述的图像限制处理的程序的各种程序。并且，存储部36存储由控制部37执行的程序所使用的各种数据。
[0052]
控制部37是控制作业者终端12的设备。作为控制部37，能够采用cpu(central processing unit：中央处理器)、mpu(micro processing unit：微处理器)、gpu(graphics processing unit：图形处理器)等电子电路，或者asic(application specific integrated circuit：专用集成电路)、fpga(field programmable gate array：现场可编程门阵列)等集成电路。控制部37具有用于储存规定各种处理过程的程序、控制数据的内部
存储器，利用它们执行各种处理。
[0053]
控制部37通过各种程序进行动作而作为各种处理部发挥作用。例如，控制部37具有：拍摄控制部37a、操作接受部37b、图像获取部37c、拍摄位置获取部37d、形状获取部37e、位置确定部37f、区域确定部37g、掩模处理部37h以及输出部37i。各种处理部的一部分或者全部的功能既可以是作业者终端12的标准功能，也可以是对标准功能追加的追加功能。
[0054]
拍摄控制部37a控制拍摄部32进行图像的拍摄。例如，拍摄控制部37a通过拍摄部32以规定的帧率进行图像的拍摄。例如，拍摄控制部37a通过拍摄部32拍摄影像。
[0055]
操作接受部37b接受各种操作。例如，操作接受部37b通过手、声音接受操作。例如，操作接受部37b根据规定的操作在显示部31上显示操作菜单、操作按钮。操作接受部37b从由拍摄部32获得的图像数据的图像识别手，并通过手部跟踪接受对操作菜单、操作按钮的选择等各种操作。例如，操作接受部37b在指定位置的操作按钮被选择之后，通过识别手的手指所指的位置而接受空间内的位置的指定。另外，例如，操作接受部37b通过选择指示图像的发送、发送停止的操作按钮，而接受图像的发送、发送停止的指示。另外，操作接受部37b通过声音数据的声音识别接受基于声音的各种操作。
[0056]
图像获取部37c获取拍摄配置有监视对象物的空间得到的图像数据。例如，作业者佩戴作业者终端12，一边通过拍摄部32进行影像的拍摄一边以监视对象物为中心进行环绕。图像获取部37c获取由拍摄部32从周围拍摄监视对象物得到的图像数据(影像数据)。
[0057]
拍摄位置获取部37d获取表示拍摄监视对象物时的空间内的拍摄部32的拍摄位置的拍摄位置数据。例如，拍摄位置获取部37d根据由拍摄部32获得的图像数据以及由传感器部33获得的信息来确定周围的形状，并进行空间映射来获取表示配置有监视对象物的空间的形状的空间信息。例如，拍摄位置获取部37d根据由拍摄部32获得的3d相机的数据来确定周围的形状，并将确定出的周围的形状连接来获取表示空间的形状的空间信息。拍摄位置获取部37d根据确定出的周围的形状来确定进行了空间映射的空间信息的空间内的位置，并将确定出的位置作为拍摄部32的拍摄位置，获取拍摄位置数据。
[0058]
形状获取部37e获取表示监视对象物的三维的形状的形状信息。例如，由作业者指定获取形状信息的范围。例如，将范围指定为包围监视对象物。形状获取部37e根据从周围拍摄监视对象物得到的图像数据，进行指定的范围内的空间映射来识别物体(监视对象物)。然后，形状获取部37e与识别出的物体的形状相配合地配置体素，并通过体素获取表示监视对象物的三维的形状的形状信息。形状获取部37e也可以能够根据修正指示来修正确定出的监视对象物的三维的形状。例如，形状获取部37e将与识别出的物体的形状相配合地配置的体素显示于显示部31，以显示识别出的物体的形状。操作接受部37b通过手或者声音接受显示的体素的修正指示。形状获取部37e根据操作接受部37b接受的修正指示进行追加或者删除体素的修正，并通过修正后的体素获取表示监视对象物的三维的形状的形状信息。
[0059]
由形状获取部37e获取的形状信息能够保存于服务器装置11。形状信息能够附加名称、监视对象物的识别id、配置空间等附加信息。操作接受部37b通过手或者声音对形状信息附加名称、监视对象物的识别id、配置空间等附加信息，并接受保存的指示。若在操作接受部37b指示形状信息的保存，则形状获取部37e将附加有附加信息的形状信息发送至服务器装置11。服务器装置11将作业者终端12的账户与接收的形状信息建立对应，并作为形
状信息21a存储于存储部21。
[0060]
能够从作业者终端12读出保存于服务器装置11的形状信息21a。服务器装置11将与作业者终端12的账户建立对应地存储于存储部21的形状信息21a的附加信息通知给作业者终端12。操作接受部37b显示形状信息的名称、配置空间的附加信息，接受形状信息的读出的指示。若在操作接受部37b指示形状信息的读出，则形状获取部37e从服务器装置11获取被指示读出的形状信息21a。
[0061]
由此，作业者终端12若进行空间映射获取监视对象物的形状信息并暂时保存于服务器装置11，则能够利用保存的形状信息。
[0062]
位置确定部37f确定配置有监视对象物的空间内的监视对象物的配置位置。例如，配置有监视对象物的空间规定作为基准位置的基准点。可以在空间的地板等作为标记指定基准点。另外，操作接受部37b也可以通过手或者声音接受在空间内作为基准位置的基准点的指定。位置确定部37f在形状获取部37e进行空间映射识别出监视对象物并获取到形状信息的情况下，以基准点为基准，确定空间信息的空间内的监视对象物的配置位置。另一方面，在从服务器装置11获取到形状信息的情况下，在作业者终端12中，由作业者对空间信息的空间进行形状信息表示的监视对象物的形状的对位。作业者终端12在显示部31显示形状信息表示的监视对象物的形状，操作接受部37b通过手或者声音接受对位的操作。位置确定部37f以基准点为基准，确定被对位的空间信息的空间内的监视对象物的配置位置。
[0063]
区域确定部37g确定由图像获取部37c获取的图像数据的图像内的监视对象物的区域。例如，区域确定部37g基于由拍摄位置获取部37d获取的拍摄位置数据、由形状获取部37e获取的形状信息以及由位置确定部37f确定出的监视对象物的配置位置，确定在将拍摄位置数据表示的拍摄位置作为视点位置的配置位置配置的监视对象物的形状。例如，区域确定部37g基于形状信息在成为进行了空间映射的空间信息的空间的监视对象物的配置位置的位置配置表示监视对象物的三维的形状的体素。然后，区域确定部37g确定在空间信息的空间内从成为拍摄位置数据表示的拍摄位置的位置观察体素的形状。区域确定部37g基于确定出的形状，确定图像数据的图像内的监视对象物的区域。例如，区域确定部37g将图像数据的图像内确定出的形状的区域确定为监视对象物的区域。或者，区域确定部37g根据由拍摄部32获得的图像数据以及由传感器部33获得的信息确定面部的朝向方向(前面方向)，并将图像数据的图像的符合面部的朝向方向(前面方向)的确定出的形状的区域确定为监视对象物的区域。此外，区域确定部37g也可以与空间信息的空间的配置的体素对应地在显示部31显示体素的图像。
[0064]
掩模处理部37h对由图像获取部37c获取的图像数据的图像的、由区域确定部37g确定出的监视对象物的区域以外的区域进行掩模处理。例如，掩模处理部37h生成第一图像数据，该第一图像数据是进行使由图像获取部37c获取的图像数据的图像的监视对象物的区域以外的区域成为不透过状态的掩模处理得到的图像数据。另外，掩模处理部37h生成第二图像数据，该第二图像数据是进行使由图像获取部37c获取的图像数据的图像的监视对象物的区域以外的区域成为半透过状态的掩模处理得到的图像数据。
[0065]
输出部37i输出由掩模处理部37h进行了掩模处理的图像数据。例如，输出部37i通过操作接受部37b输出由掩模处理部37h进行了掩模处理的图像数据。例如，输出部37i经由服务器装置11将由掩模处理部37h进行了掩模处理的第一图像数据输出至指示者的终端装
置13。另外，输出部37i将第二图像数据输出至显示部31。
[0066]
[具体例]
[0067]
接下来，对使用第一实施方式所涉及的支援系统10，远程支援对监视对象物的作业的具体的一个例子进行说明。以下，以将监视对象物设为基板处理装置50，远程支援基板处理装置50的维护等作业的情况为例进行说明。图4是说明第一实施方式所涉及的支援系统10的作业的远程支援的图。
[0068]
作业者51将作为作业者终端12的头戴显示器佩戴于头部。作业者51操作作业者终端12访问服务器装置11，进行账户的认证。
[0069]
支援维护的指示者52操作终端装置13访问服务器装置11，进行账户的认证。
[0070]
作业者51从作业者终端12指定允许通信的账户。例如，作业者51将指示者52的账户指定为允许通信的账户。由此，服务器装置11对作业者终端12与终端装置13的通信进行中继。由此，例如指示者52通过麦克、扬声器，或者通过将头戴式受话器与终端装置13连接，能够与佩戴作业者终端12的作业者51进行通话。
[0071]
作业者在对于向终端装置13发送的图像将图像限制为隐藏基板处理装置50的区域以外的区域的情况下，例如进行以下那样的准备作业。此外，只要在接受远程支援之前，则可以在任何时间进行准备作业。
[0072]
作业者51在将作业者终端12佩戴于头部的状态下，在基板处理装置50的周围移动。作业者终端12通过拍摄部32进行拍摄。例如，拍摄控制部37a通过拍摄部32以规定的帧率进行图像的拍摄。图像获取部37c获取由拍摄部32拍摄到的图像数据。
[0073]
作业者终端12获取表示在配置有基板处理装置50的空间内，拍摄部32拍摄基板处理装置50的拍摄位置的拍摄位置数据。例如，拍摄位置获取部37d根据由拍摄部32获得的图像数据以及由传感器部33获得的信息来确定周围的形状，并进行空间映射来获取表示配置有基板处理装置50的空间的形状的空间信息。拍摄位置获取部37d根据确定出的周围的形状来确定进行了空间映射的空间信息的空间内的位置，并将确定出的位置作为拍摄部32的拍摄位置，获取拍摄位置数据。
[0074]
作业者终端12获取表示基板处理装置50的三维的形状的形状信息。图5是示意地表示第一实施方式所涉及的配置有基板处理装置50的空间的图。在图5中，在洁净室60内配置被设为维护的对象的基板处理装置50，在基板处理装置50的两侧配置其它的基板处理装置等装置61、62。例如，由于在洁净室60内有各种机密信息，所以想要对指示者52隐藏基板处理装置50以外。例如，装置61、62不想被指示者52看到。在这样的情况下，作业者51将范围63指定为包围基板处理装置50。另外，作业者51指定基准点64。例如，作业者51隔开规定的间隔地指定两个基准点64。
[0075]
作业者终端12获取表示基板处理装置50的三维的形状的形状信息。例如，形状获取部37e进行指定的范围63内的空间映射来识别物体(基板处理装置50)，并与识别出的物体的形状相配合地配置体素，通过体素获取表示基板处理装置50的三维的形状的形状信息。图6以及图7是说明第一实施方式所涉及的获取形状信息的流程的图。在图6中，以包围基板处理装置50的方式利用四个点65指定范围63。可以以任何方式指定范围63。例如，作业者终端12在依次指定点65的位置来指定范围63的情况下，依次用线连接指定的点65的位置，用线连接最初指定的点65的位置和最后指定的点65的位置并作为范围63。在图7示出识
别范围63内的基板处理装置50，并与基板处理装置50的形状相配合地配置有体素的状态。如图7所示，形状获取部37e与基板处理装置50的形状相配合地配置体素，并通过体素获取表示基板处理装置50的三维的形状的形状信息。作业者终端12存储获取到的形状信息。
[0076]
接下来，对将图像限制为不映现基板处理装置50以外，并且接受对基板处理装置50的作业的远程支援的流程进行说明。
[0077]
作业者终端12能够进行由拍摄部32拍摄的图像的发送、发送停止的操作。例如，操作接受部37b通过手或者声音接受图像的发送指示。作业者终端12若接受到图像的发送指示，则通过拍摄部32进行拍摄。例如，拍摄控制部37a由拍摄部32以规定的帧率进行图像的拍摄。图像获取部37c获取由拍摄部32拍摄到的图像数据。
[0078]
作业者终端12获取表示在洁净室60内，由拍摄部32对基板处理装置50进行拍摄的拍摄位置的拍摄位置数据。例如，拍摄位置获取部37d根据由拍摄部32获得的图像数据以及由传感器部33获得的信息来确定周围的形状，并进行空间映射来获取表示洁净室60的形状的空间信息。拍摄位置获取部37d根据确定出的周围的形状来确定进行了空间映射的空间信息的空间(洁净室60)内的位置，并将确定出的位置作为拍摄部32的拍摄位置，获取拍摄位置数据。
[0079]
作业者终端12确定洁净室60内的基板处理装置50的配置位置。例如，位置确定部37f将基准点64作为基准，确定空间信息的空间内的基板处理装置50的配置位置。
[0080]
作业者终端12确定由拍摄部32拍摄到的图像数据的图像内的基板处理装置50的区域。例如，区域确定部37g基于拍摄位置数据、形状信息以及确定出的基板处理装置50的配置位置，来确定在将拍摄位置数据表示的拍摄位置作为视点位置的配置位置配置的基板处理装置50的形状。例如，区域确定部37g基于形状信息在空间信息的空间(洁净室60)的成为基板处理装置50的配置位置的位置配置表示基板处理装置50的三维的形状的体素。然后，区域确定部37g确定在空间信息的空间内，从成为拍摄位置数据表示的拍摄位置的位置观察体素的形状。区域确定部37g基于确定出的形状，确定图像数据的图像内的基板处理装置50的区域。
[0081]
作业者终端12对由拍摄部32拍摄到的图像数据的图像的基板处理装置50的区域以外的区域进行掩模处理。例如，掩模处理部37h生成第一图像数据，该第一图像数据是进行使由图像获取部37c获取的图像数据的图像的基板处理装置50的区域以外的区域成为不透过状态的掩模处理得到的图像数据。另外，掩模处理部37h生成第二图像数据，该第二图像数据是进行使由图像获取部37c获取的图像数据的图像的基板处理装置50的区域以外的区域成为半透过状态的掩模处理得到的图像数据。
[0082]
作业者终端12输出进行了掩模处理的图像数据。例如，输出部37i经由服务器装置11将由掩模处理部37h进行了掩模处理的第一图像数据输出至指示者的终端装置13。另外，输出部37i将第二图像数据输出至显示部31。
[0083]
终端装置13显示经由服务器装置11从作业者终端12接收的图像。例如，在终端装置13中显示第一图像数据的图像。指示者52观察显示在终端装置13的图像，远程支援作业。图8是表示第一实施方式所涉及的第一图像数据的图像的一个例子的图。如图8所示，第一图像数据的图像使基板处理装置50的区域以外的区域成为不透过状态。由此，能够隐藏基板处理装置50的区域以外的区域。例如，能够隐藏装置61、62等周围的装置。另外，第一图像
数据的图像映现基板处理装置50。由此，指示者52能够从第一图像数据的图像视觉确认基板处理装置50，所以能够顺利地支援对基板处理装置50的作业。
[0084]
作业者终端12在显示部31显示第二图像数据的图像。图9是表示第一实施方式所涉及的第二图像数据的图像的一个例子的图。如图9所示，第9图像数据的图像使基板处理装置50的区域以外的区域被设为半透过状态，能够以半透过状态观察周围的装置70、71。作业者51也能够经由显示部31观察基板处理装置50，所以能够确保基板处理装置50所需的视野，安全地进行作业。另外，作业者51也能够经由显示部31以半透过状态看到基板处理装置50的区域以外的区域，所以能够掌握周围。例如，作业者51能够经由显示部31掌握存在装置70、71。
[0085]
此外，虽然以作业者终端12在显示部31显示第二图像数据的图像的情况为例进行了说明，但并不限定于此。例如，作业者终端12也可以不在显示部31显示第二图像数据的图像，而使显示部31成为透过状态，作业者51也能够经由显示部31观察周围。另外，作业者终端12也可以能够根据基于手或者声音的操作，将第一图像数据的图像切换到显示部31进行显示。由此，作业者51能够确认在指示者52的终端装置13显示的第一图像数据的图像，并能够确认是否使基板处理装置50的区域以外的区域成为不透过状态，能够隐藏图像的基板处理装置50的区域以外的区域。
[0086]
此处，本实施方式所涉及的作业者终端12确定在将拍摄位置作为视点位置的配置位置配置的基板处理装置50的形状，并基于确定出的形状，确定图像数据的图像内的基板处理装置50的区域。然后，作业者终端12对图像数据的图像的基板处理装置50的区域以外的区域进行掩模处理。因此，例如即使作业者51在洁净室60内移动，而由拍摄部32拍摄到的图像数据的图像内基板处理装置50的形状、大小、映现的面变化的情况下，也能够对基板处理装置50的区域以外的区域进行掩模处理。由此，即使图像内基板处理装置50的形状、大小、映现的面变化，也能够将图像限制为隐藏基板处理装置50的区域以外的区域。
[0087]
另外，对于本实施方式所涉及的支援系统10而言，在作业者终端12中，生成进行使基板处理装置50的区域以外的区域成为不透过状态的掩模处理得到的第一图像数据，并经由服务器装置11将第一图像数据输出到指示者的终端装置13。由此，在网络n传输第一图像数据。第一图像数据被进行使基板处理装置50的区域以外的区域成为不透过状态的掩模处理。由此，例如即使窃听网络n而非法地读取了第一图像数据的情况下，也能够隐藏图像的基板处理装置50的区域以外的区域。
[0088]
[处理流程]
[0089]
接下来，对第一实施方式所涉及的作业者终端12执行的图像限制处理的过程进行说明。图10是表示第一实施方式所涉及的图像限制处理的过程的流程图。此外，图10的流程图所示的流程示出由操作接受部37b指示图像的发送，并发送图像的流程。
[0090]
图像获取部37c获取拍摄配置有监视对象物的空间的图像数据(步骤s10)。例如，拍摄控制部37a通过拍摄部32以规定的帧率进行图像的拍摄。图像获取部37c获取由拍摄部32拍摄到的图像数据。
[0091]
拍摄位置获取部37d获取表示在配置有监视对象物的空间内由拍摄部32拍摄监视对象物的拍摄位置的拍摄位置数据(步骤s11)。例如，拍摄位置获取部37d根据由拍摄部32获得的图像数据以及由传感器部33获得的信息来确定周围的形状，并进行空间映射来获取
表示配置有监视对象物的空间的形状的空间信息。拍摄位置获取部37d根据确定出的周围的形状来确定进行了空间映射的空间信息的空间内的位置，并将确定出的位置作为拍摄部32的拍摄位置，获取拍摄位置数据。
[0092]
位置确定部37f确定配置有监视对象物的空间内的监视对象物的配置位置(步骤s12)。例如，位置确定部37f以基准点64为基准来确定空间信息的空间内的监视对象物的配置位置。
[0093]
区域确定部37g确定由图像获取部37c获取的图像数据的图像内的监视对象物的区域(步骤s13)。例如，区域确定部37g基于形状信息在成为进行了空间映射的空间信息的空间的监视对象物的配置位置的位置配置表示监视对象物的三维的形状的体素。然后，区域确定部37g确定在空间信息的空间内从成为拍摄位置数据表示的拍摄位置的位置观察体素的形状。
[0094]
掩模处理部37h对由图像获取部37c获取的图像数据的图像的、由区域确定部37g确定出的监视对象物的区域以外的区域进行掩模处理(步骤s14)。输出部37i输出由掩模处理部37h进行了掩模处理的图像数据(步骤s15)。
[0095]
输出部37i判定是否指示了图像的发送停止的指示(步骤s16)。在未指示发送停止的情况下(步骤s16：否)，移至上述的步骤s10。另一方面，在指示了发送停止的情况下(步骤s16：是)，结束处理。
[0096]
如以上那样，第一实施方式所涉及的作业者终端12具有：图像获取部37c、拍摄位置获取部37d、形状获取部37e、位置确定部37f、区域确定部37g、掩模处理部37h以及输出部37i。图像获取部37c获取由拍摄部32拍摄配置有监视对象物(基板处理装置50)的空间(洁净室60)得到的图像数据。拍摄位置获取部37d获取表示拍摄监视对象物时的空间内的拍摄部32的拍摄位置的拍摄位置数据。形状获取部37e获取表示监视对象物的三维的形状的形状信息。位置确定部37f确定空间内的监视对象物的配置位置。区域确定部37g基于由拍摄位置获取部37d获取的拍摄位置数据、由形状获取部37e获取的形状信息以及由位置确定部37f确定出的监视对象物的配置位置，确定在将拍摄位置数据表示的拍摄位置作为视点位置的配置位置配置的监视对象物的形状。区域确定部37g基于确定结果，确定由图像获取部37c获取的图像数据的图像内的监视对象物的区域。掩模处理部37h对由图像获取部37c获取的图像数据的图像的、由区域确定部37g确定出的监视对象物的区域以外的区域进行掩模处理。输出部37i输出由掩模处理部37h进行了掩模处理的图像数据。由此，作业者终端12能够将图像限制为隐藏监视对象物的区域以外的区域。另外，作业者终端12通过mr技术生成追随作业者的移动进行掩模处理的图像数据(影像数据)。在mr技术中，以虚拟空间为基础，识别空间并使虚拟空间与现实空间融合。作业者终端12通过利用mr技术生成追随作业者的移动进行掩模处理的图像数据(影像数据)，能够避免错误地将有可能映入监视对象物的区域以外的区域的机密信息送至外部(远程指示的指示者52的终端装置13)。另外，虽然作业者在作业中根据位置等的变化而移动视点，但通过使用mr技术，作业者终端12能够容易地追随作业者的视点的移动来限制图像。
[0097]
另外，形状获取部37e根据从周围拍摄监视对象物得到的图像数据确定监视对象物的三维的形状，并根据修正指示来修正确定出的监视对象物的三维的形状，获取形状信息。由此，作业者终端12能够将确定出的监视对象物的三维的形状修正为正确的形状。其结
果，能够在图像映现监视对象物整体。另外，能够精度良好地将图像限制为在图像不映现监视对象物以外。
[0098]
另外，掩模处理部37h生成第一图像数据和第二图像数据，该第一图像数据是进行使图像数据的图像的监视对象物的区域以外的区域成为不透过状态的掩模处理得到的图像数据，该第二图像数据是进行使图像数据的图像的监视对象物的区域以外的区域成为半透过状态的掩模处理得到的数据。输出部37i将第一图像数据输出至远程指示对监视对象物的作业的指示者52的终端装置13。输出部37i将第二图像数据输出到根据指示者的指示对监视对象物进行作业的作业者51佩戴的头戴显示器的显示部31。由此，能够对指示者52隐藏图像的监视对象物的区域以外的区域。另外，由于能够以可以掌握周围的状态对作业者51提供图像，所以作业者51能够确保必要的视野而安全地进行作业。
[0099]
[第二实施方式]
[0100]
接下来，对第二实施方式进行说明。第二实施方式所涉及的支援系统10、作业者终端12以及终端装置13是与第一实施方式相同的结构，所以省略相同部分的说明，主要对不同点进行说明。
[0101]
图11是表示第二实施方式所涉及的服务器装置11的功能结构的一个例子的图。第二实施方式所涉及的服务器装置11是一部分与图2所示的第一实施方式的服务器装置11相同的结构，所以对相同的部分附加相同的附图标记并省略说明，主要对不同的部分进行说明。
[0102]
存储部21还存储形状信息21b。形状信息21b是按照监视对象物的种类表示该监视对象物的三维的形状的数据。在存储部21中，按照监视对象物的种类，与种类建立对应地存储有该种类的监视对象物的形状信息21b。例如，在将监视对象物设为基板处理装置50的情况下，形状信息21b是表示基板处理装置50的三维的形状的数据。在存储部21中，按照基板处理装置50的型号等种类，与种类建立对应地存储有该种类的基板处理装置50的形状信息21b。
[0103]
能够从作业者终端12读出存储于服务器装置11的存储部21的各形状信息21b。在作业者终端12中，从服务器装置11的存储部21获取与监视对象物的种类相应的形状信息。例如，服务器装置11将与各形状信息21b建立对应的型号等基板处理装置50的种类的信息通知给作业者终端12。操作接受部37b显示种类的信息，并接受形状信息21b的读出的指示。作业者51指定种类并指示形状信息21b的读出。若通过操作接受部37b指示读出，则形状获取部37e从服务器装置11的存储部21获取被指示读出的种类的形状信息21b。
[0104]
此外，形状获取部37e也可以从由拍摄部32拍摄到的图像数据的图像识别监视对象物的种类，并从服务器装置11的存储部21获取识别出的种类的形状信息21b。例如，也可以在对基板处理装置50附加表示型号等基板处理装置50的种类的数字、字符、标记、代码图像等识别信息的情况下，形状获取部37e从在由拍摄部32拍摄到的图像数据的图像映现的识别信息识别基板处理装置50的种类。然后，形状获取部37e从服务器装置11的存储部21获取识别出的种类的形状信息21b。
[0105]
由此，作业者终端12通过从服务器装置11的存储部21获取形状信息21b，能够不进行空间映射，而获取与监视对象物的形状对应的形状信息21b。在作业者终端12中，由作业者对空间信息的空间进行形状信息21b表示的监视对象物的形状的对位。由此，位置确定部
37f能够以基准点为基准来确定进行了对位的空间信息的空间内的监视对象物的配置位置。
[0106]
如以上那样，第二实施方式所涉及的服务器装置11在存储部21中按照监视对象物的种类存储表示该监视对象物的三维的形状的形状信息21b。在作业者终端12中，形状获取部37e从服务器装置11的存储部21获取与由拍摄部32拍摄到的监视对象物的种类相应的形状信息21b。由此，作业者终端12即使不从监视对象物获取形状信息，也能够获取与监视对象物的形状对应的形状信息21b。
[0107]
从服务器装置11的存储部21获取的形状信息21b可以修正。例如，形状获取部37e与形状信息21b表示的监视对象物的形状相配合地配置体素，并在显示部31显示配置的体素。操作接受部37b也可以通过手或者声音接受显示的体素的修正指示。形状获取部37e根据由操作接受部37b接受的修正指示进行追加或者删除体素的修正，并根据修正来修正形状信息21b。
[0108]
[第三实施方式]
[0109]
接下来，对第三实施方式进行说明。第三实施方式所涉及的支援系统10、服务器装置11、作业者终端12以及终端装置13是与第一或者第二实施方式相同的结构，所以省略相同部分的说明，主要对不同点进行说明。
[0110]
作业者终端12还接受监视对象物的显示的范围的指定。例如，操作接受部37b通过基于手或者声音的操作接受监视对象物的显示的范围的指定。
[0111]
掩模处理部37h对由图像获取部37c获取的图像数据的图像的、由区域确定部37g确定出的监视对象物的区域以外的区域、和由操作接受部37b接受的范围以外的区域进行掩模处理。例如，掩模处理部37h生成第一图像数据，该第一图像数据是进行使由图像获取部37c获取的图像数据的图像的监视对象物的区域以外的区域、和由操作接受部37b接受的范围以外的区域成为不透过状态的掩模处理得到的图像数据。另外，掩模处理部37h生成第二图像数据，该第二图像数据是进行使由图像获取部37c获取的图像数据的图像的监视对象物的区域以外的区域成为半透过状态的掩模处理得到的图像数据。
[0112]
对具体的一个例子进行说明。图12是在第三实施方式所涉及的作业者终端12的显示部31显示的图像的一个例子。图12是第二图像数据的图像，能够看到基板处理装置50、周围。作业者通过基于手或者声音的操作指定基板处理装置50的显示的范围。在图12中，指定基板处理装置50的显示的范围80。
[0113]
作业者终端12生成第一图像数据，该第一图像数据是进行使由拍摄部32拍摄到的图像数据的图像的基板处理装置50的区域以外的区域、和范围80以外的区域成为不透过状态的掩模处理得到的图像数据。第一图像数据经由服务器装置11发送至指示者的终端装置13，并在终端装置13进行显示。图13是表示第三实施方式所涉及的第一图像数据的图像的一个例子的图。如图13所示，第一图像数据的图像使基板处理装置50的范围80内的区域以外的区域成为不透过状态。由此，能够将图像限制为维护等作业不需要的部分、应该隐藏的对象不会经由服务器装置11例如流出到洁净室的外部。
[0114]
如以上那样，在第三实施方式所涉及的作业者终端12中，通过操作接受部37b(接受部)接受监视对象物的显示的范围的指定。掩模处理部37h对由图像获取部37c获取的图像数据的图像的、由操作接受部37b接受的范围以外的区域进行掩模处理。由此，作业者终
端12能够将图像限制为不包含监视对象物中的不必要的图像区域。
[0115]
以上，对实施方式进行了说明，但应该理解此次公开的实施方式在所有方面均为例示而不是限制。实际上，上述实施方式能够以多种方式实现。而且，上述实施方式只要不脱离权利要求和其主旨，也可以以各种方式进行省略、置换、改变。
[0116]
例如，在上述的实施方式中，虽然以将作业者终端12构成为能够佩戴于作业者的头部的头戴显示器的情况为例进行了说明，但并不限定于此。作业者终端12也可以分为多个壳体而构成。例如，作业者终端12也可以由佩戴于作业者的头部的头戴装置、和能够通过有线或者无线与头戴装置进行通信的信息处理装置构成。头戴装置中设置显示部31、拍摄部32、传感器部33、声音输入部34以及声音输出部35等。信息处理装置也可以设置通信i/f部30、存储部36以及控制部37，并基于从头戴部得到的图像数据等各种信息，进行各实施方式的处理。该情况下，信息处理装置与本公开的信息处理装置对应。另外，也可以由服务器装置11实施各实施方式的处理。该情况下，服务器装置11与本公开的信息处理装置对应。
[0117]
此外，应该理解此次公开的实施方式在所有方面均为例示而不是限制。实际上，上述实施方式能够以多种方式实现。而且，上述实施方式只要不脱离附加的权利要求和其主旨，也可以以各种方式进行省略、置换、改变。