信息处理方法、信息处理装置、程序及信息处理系统与流程

1.本公开涉及一种信息处理方法、信息处理装置、程序及信息处理系统。


背景技术：

2.传统上，已知一种技术，其通过显示文本或动画，来对作业员的作业进行辅助(例如参见专利文献1)。
3.《现有技术文献》
4.《专利文献》
5.专利文献1：日本特开2016-144846号公报


技术实现要素：

6.《本发明要解决的问题》
7.然而，在传统技术中，例如有时难以对作业员的作业适当地进行辅助。
8.本公开的目的在于提供一种技术，其能够对作业员的作业适当地进行辅助。
9.《用于解决问题的手段》
10.根据本公开的第1方面的信息处理方法由信息处理装置执行以下的播放处理：在对象从第二状态返回到第一状态时，播放在所述对象从所述第一状态变化为所述第二状态时对所述对象进行拍摄而得到的动态图像。由此，能够对作业员的作业适当地进行辅助。
11.另外，本公开的第2方面为根据第1方面所述的信息处理方法，其中，在所述播放处理中，在拍摄所述动态图像的期间，基于由用户进行预定操作时的时刻、以及由用户进行预定说话时的时刻中的至少一者，确定所述动态图像的播放位置。
12.另外，本公开的第3方面为根据第1或2方面所述的信息处理方法，其中，在所述播放处理中，反向播放预定期间的所述动态图像。
13.另外，本公开的第4方面为根据第3方面所述的信息处理方法，其中，在所述播放处理中，根据基于由用户进行的说话、以及所述动态图像中的至少一个估计出的进行预定作业的期间，确定反向播放所述动态图像的区间。
14.另外，本公开的第5方面为根据第4方面所述的信息处理方法，其中，在所述播放处理中，进一步在所述预定作业是分解的步骤与组装的步骤不同的作业的情况下，向用户提示表示组装的步骤的信息。
15.另外，本公开的第6方面为根据第1至5方面中任一方面所述的信息处理方法，其中，在所述播放处理中，向用户提示基于由用户进行的说话、以及所述动态图像中的至少一个估计出的表示预定作业的信息。
16.另外，本公开的第7方面为根据第1至6方面中任一方面所述的信息处理方法，其中，所述信息处理装置执行以下处理：基于所述动态图像，提示将所述对象从所述第二状态返回到所述第一状态的作业的错误。
17.另外，本公开的第8方面为根据第1至7方面中任一方面所述的信息处理方法，其
中，在所述播放处理中，在基于所述动态图像识别出的用户的作业的步骤与设定的步骤不同的情况下，向用户提示表示设定的步骤的信息。
18.另外，本公开的第9方面为根据第1至8方面中任一方面所述的信息处理方法，其中，在所述播放处理中，以将所述对象的状态未发生变化的期间的播放时间缩短的方式进行播放。
19.另外，本公开的第10方面为根据第1至9方面中任一方面所述的信息处理方法，其中，在所述播放处理中，将所述对象的状态发生变化的区域放大地显示在画面上。
20.另外，根据本公开的第11方面的信息处理装置执行以下的播放处理：在对象从第二状态返回到第一状态时，播放在所述对象从所述第一状态变化为所述第二状态时对所述对象进行拍摄而得到的动态图像。
21.另外，根据本公开的第12方面的程序使信息处理装置执行以下的播放处理：在对象从第二状态返回到第一状态时，播放在所述对象从所述第一状态变化为所述第二状态时对所述对象进行拍摄而得到的动态图像。
22.另外，根据本公开的第13方面的信息处理系统包括服务器和终端，所述服务器向所述终端发送信息，该信息用于在对象从第二状态返回到第一状态时，播放在所述对象从所述第一状态变化为所述第二状态时由所述终端对所述对象进行拍摄而得到的动态图像，所述终端基于从所述服务器接收到的信息，播放所述动态图像并将所述动态图像显示在画面上。
附图说明
23.图1是示出根据实施方式的通信系统的系统构成的一个示例的图。
24.图2是示出根据实施方式的服务器和终端的硬件构成的一个示例的图。
25.图3是示出根据实施方式的服务器的功能构成的一个示例的图。
26.图4是示出根据实施方式的通信系统的处理的一个示例的时序图。
27.图5a是用于对根据实施方式的作业db的一个示例进行说明的图。
28.图5b是用于对根据实施方式的标签组的一个示例进行说明的图。
29.图6是用于对根据实施方式的终端的显示画面的一个示例进行说明的图。
具体实施方式
30.以下，参照附图对各个实施方式进行说明。需要说明的是，在本说明书和附图中，针对具有基本相同的功能构成的构成要素标记相同的符号以省略重复的说明。
31.《系统构成》
32.首先，对通信系统1的系统构成进行说明。图1是示出根据实施方式的通信系统1的系统构成的一个示例的图。如图1所示，通信系统1具有服务器10以及终端20a、终端20b、终端20c(以下，在无需进行区别的情况下，仅称为“终端20”)。需要说明的是，服务器10和终端20的数量不限于图1的示例。
33.服务器10和终端20例如可以经由lan(local area network：局域网)、无线lan、因特网、以及移动电话网等网络n进行通信。需要说明的是，移动电话网例如可以基于5g(第五代移动通信系统)、4g、以及lte(long term evolution：长期演进)等通信标准。
34.终端20例如是具有用于拍摄动态图像的照相机、用于收集声音的麦克风、显示器、以及通信装置的信息处理装置。终端20可以包括多个信息处理装置。在此情况下，终端20例如可以包括具有照相机等的可穿戴设备、以及具有显示器等的信息处理装置。在此情况下，具有显示器等的信息处理装置例如可以是平板终端、智能手机、笔记本pc(personal computer：个人计算机)等。在此情况下，可穿戴设备可以经由平板终端等与网络n连接，也可以不经由平板终端等与网络n连接。
35.另外，终端20例如可以是能够安装在作业员(用户)的头部的头戴式显示器方式的增强现实可穿戴计算机(智能眼镜)。
36.服务器10对由终端20拍摄的动态图像(视频)进行保存，并使终端20显示基于所保存的动态图像等的内容。服务器10例如在使用终端20的作业员的作业现场，对在现场的作业对象的物品(设备、设置物)以及现场的设施等对象(物体)从第一状态(原来的状态)变化为第二状态时由终端20拍摄的动态图像(以下，也适当地称为“变更时的动态图像”)进行保存。并且，服务器10在由作业员进行将作业对象的对象从第二状态返回到第一状态(原状恢复、原状复位、修复、复原、修理)的作业时使终端20反向(向前面)播放(逆播放、倒着播放)或正向(向后面)播放(正播放、正常播放)该动态图像。由此，例如能够对将设置在现场的物品移动(撤除)以设置防护垫或铺地垫，并在完成施工等之后撤除防护垫或铺地垫以将该物品返回到原来的布置的作业适当地进行辅助。另外，例如能够对将设备分解，并拆卸设备内部的零件的配线以将该零件更换为新的零件之后，再次连接配线，并再次组装该设备的作业适当地进行辅助。
37.需要说明的是，以下，也适当地将逆播放和正播放简称为“播放”。需要说明的是，服务器10也可以针对各个终端20的每个作业员，通过各个作业员在各个终端20的操作预先指定是逆播放动态图像还是正播放动态图像。
38.《服务器10和终端20的硬件构成》
39.接着，对根据实施方式的服务器10和终端20的硬件构成进行说明。图2是示出根据实施方式的服务器10和终端20的硬件构成的一个示例的图。以下，虽然以服务器10为例进行说明，但是终端20的硬件构成也可以与服务器10的硬件构成相同。
40.如图2所示，服务器10具有cpu(central processing unit：中央处理单元)101、rom(read only memory：只读存储器)102、ram(random access memory：随机存取存储器)103。cpu101、rom102、ram103形成所谓的计算机。另外，服务器10具有辅助存储装置104、显示装置105、操作装置106、i/f(interface：接口)装置107、驱动器装置108。服务器10的各个硬件经由总线b相互连接。
41.cpu101是用于对安装在辅助存储装置104中各种程序(例如，机器学习程序等)进行执行的运算装置。rom102是非易失性存储器。rom102起到主存储设备的功能，该主存储设备对由cpu101执行在辅助存储装置104中安装的各种程序所需的各种程序或数据等进行存储。具体而言，rom102对bios(basic input/output system：基本输入/输出系统)或efi(extensible firmware interface：可扩展固件接口)等引导程序等进行存储。
42.ram103是dram(dynamic random access memory：动态随机存取存储器)或sram(static random access memory：静态随机存取存储器)等易失性存储器。ram103起到主存储设备的功能，该主存储设备提供当由cpu101执行在辅助存储装置104中安装的各种程序
时扩展的工作区域。
43.辅助存储装置104对各种程序、执行各种程序时所使用的信息进行存储。
44.显示装置105是用于显示各种信息的显示设备。操作装置106是用于接受各种操作的操作设备。i/f装置107是用于与外部设备进行通信的通信设备。
45.驱动器装置108是用于设置记录介质110的设备。在此所说的记录介质110包括cd-rom、软盘、磁光盘等以光学、电气或磁的方式对信息进行记录的介质。另外，记录介质110可以包括rom、快闪存储器等以电气的方式对信息进行记录的半导体存储器等。
46.需要说明的是，安装在辅助存储装置104中的各种程序例如通过将分发的记录介质110设置在驱动器装置108中并由驱动器装置108将在该记录介质110中记录的各种程序读出而安装。或者，安装在辅助存储装置104中的各种程序可以通过从未图示的网络下载而安装。
47.《功能构成》
48.接着，参照图3对根据实施方式的服务器10的功能构成进行说明。图3是示出根据实施方式的服务器10的功能构成的一个示例的图。
49.服务器10具有取得部11、存储部12、控制部13、以及显示控制部14。该些各部例如可以通过安装在服务器10中的1个以上的程序和服务器10的cpu101等硬件的协作来实现。
50.取得部11从终端20取得各种信息。存储部12对各种信息进行存储。存储部12例如具有作业db(数据库)121。
51.控制部13对服务器10的各部进行控制。显示控制部14向终端20发送要在终端20上显示的信息，并对在终端20上显示的显示画面进行控制。
52.《处理》
53.接着，参照图4至图6对根据实施方式的通信系统1的处理的一个示例进行说明。图4是示出根据实施方式的通信系统1的处理的一个示例的时序图。图5a是用于对根据实施方式的作业db121的一个示例进行说明的图。图5b是用于对根据实施方式的标签组的一个示例进行说明的图。图6是用于对根据实施方式的终端20的显示画面的一个示例进行说明的图。
54.需要说明的是，终端20可以从服务器10接受基于作业员id和密码的用户认证等以登录到服务器10，并通过使用https(hypertext transfer protocol secure：安全超文本传输协议)等的加密的通信会话来进行以下的通信。
55.在步骤s1中，当对象从第一状态变化为第二状态时，终端20拍摄以该对象为被拍摄体的动态图像。然后，终端20将拍摄的动态图像发送到服务器10(步骤s2)。在此，终端20例如可以将拍摄的动态图像实时地发送给服务器10。另外，终端20例如也可以响应于作业员的操作，将拍摄并记录的动态图像发送到服务器10。
56.然后，服务器10的控制部13将接收到的动态图像记录在存储部12的作业db121中(步骤s3)。在此，在图5a所示的作业db(数据库)121的示例中，服务器10将接收到的动态图像与标签相关联地记录。在图5a的示例中，与作业员id和作业id相关联地记录有作业信息、动态图像以及标签组的组(数据集)。
57.作业员id是使用终端20的作业员的识别信息。作业id是由该作业员进行的作业的识别信息。作业信息是与该作业相关的各种信息。在作业信息中，例如可以包括表示进行该
作业的日期时间、场所、客户名称、作业对象的设备、以及作业内容等的信息。服务器10可以从终端20接收并记录由作业员通过终端20输入的作业信息。
58.在图5b的示例中，在与图5a的动态图像相关联的标签组a1211中包含的各标签中，包括作业项目、开始时刻、以及结束时刻的组的数据。作业项目是表示在作业中实施的各个项目的信息。开始时刻和结束时刻分别是与各个项目相对应的作业期间的开始时刻和结束时刻。服务器10的控制部13可以从终端20接收并记录由作业员通过终端20输入的标签。另外，服务器10的控制部13可以基于从终端20接收的动态图像以及声音中的至少一者来生成标签。
59.(基于说话生成标签)
60.服务器10可以基于终端20的作业员的说话来生成标签。在此情况下，服务器10例如可以对从终端20接收的声音进行识别，并基于该说出该声音的时刻和声音识别的结果来生成标签。由此，在动态图像中，能够在对象从第一状态变化为第二状态时(“拍摄动态图像的期间”的一个示例)由作业员指示的时刻附加标签。
61.服务器10例如可以基于终端20的作业员的说话，对进行预定的作业项目的作业的期间进行估计。在此情况下，服务器10例如可以通过ai(artificial intelligence：人工智能)对由作业者发出的“现场物品的移动开始”的声音进行识别，以生成“现场物品移动”的作业项目，并将发出该声音的时刻作为该作业项目的开始时刻进行记录。并且，服务器10例如可以通过ai对由作业者发出的“结束”的声音进行识别，以将发出该声音的时刻作为该作业项目的结束时刻进行记录。另外，服务器10例如可以在未记录一个作业项目的结束时刻的状态下记录了另一个作业项目的开始时刻的情况下，将基于该另一个作业项目的开始时刻的时刻作为该一个作业项目的结束时刻进行记录。
62.(基于作业员的输入操作生成标签)
63.服务器10可以基于终端20的作业员的输入操作来生成标签。在此情况下，服务器10例如可以基于由终端20的作业员输入的信息来生成标签。在此情况下，终端20例如可以接受用于指定作业项目的操作、用于将当前日期时间指定为开始时刻的操作、或用于将当前日期时间指定为结束时刻的操作。
64.(基于动态图像等生成标签)
65.另外，服务器10可以基于由终端20的作业员进行的说话以及由终端20拍摄的动态图像中的至少一个，对进行预定的作业项目的作业的期间进行估计，并生成标签。在此情况下，服务器10例如可以通过使用深度学习等机器学习的ai，基于动态图像，来对作业项目、开始时刻以及结束时刻进行识别(推断)。另外，服务器10可以通过ai,基于由终端20的作业员进行的说话，对作业项目、开始时刻以及结束时刻中的至少一个进行识别。
66.然后，服务器10的控制部13确定要分发到终端20的内容(步骤s4)。在此，服务器10例如可以在对象从第二状态返回到第一状态时使终端20播放内容。
67.(基于由作业员指定的标签确定播放位置)
68.服务器10可以在步骤s4的处理中，基于由作业员指定的标签，确定动态图像的播放位置。在此情况下，在作业员将对象从第二状态返回到第一状态时，终端20可以从作业员接受用于指定标签的操作。需要说明的是，服务器10例如可以使终端20显示在图5a的作业db121中记录的标签组中包含的各个标签的一览表，并使作业员选择一个标签。另外，服务
器10可以对由作业员发出的声音进行识别，并对由该声音指定的作业项目的标签进行判定。
69.并且，服务器10可以参照图5a的作业db121，基于所指定的标签的开始时刻和结束时刻，确定用于播放动态图像的区间的开始位置(播放开始位置)和结束位置(播放结束位置)。在此，服务器10可以将所指定的标签的开始时刻和结束时刻分别作为在终端20中播放的动态图像的播放开始位置和播放结束位置。
70.另外，服务器10可以将所指定的标签的结束时刻和开始时刻分别作为在终端20中播放的动态图像的播放开始位置和播放结束位置，并使终端20逆播放该动态图像。由此，作业员例如在对分解后的设备进行组装以将其复原时，能够对分解该设备时的动态图像进行逆播放并进行阅览。因此，通过表示分解设备的步骤的逆向步骤的动态图像，能够对将设备组装成原来的状态的步骤适当地进行掌握。
71.另外，服务器10在使终端20播放动态图像时，可以向作业员提示用于表示与该动态图像相关联的作业项目的信息(“表示作业的信息”的一个示例)。在此情况下，服务器10例如可以将所指定的标签的作业项目的文字数据重叠地显示在该动态图像上。由此，例如，作业员在开始动态图像的逆播放时，能够对将要进行的作业项目的内容进行掌握。另外，在该标签是基于作业员的声音生成的标签的情况下，服务器10可以使终端20播放该声音。
72.(组装步骤的提示)
73.在由作业员指定的标签的作业项目是分解的步骤与组装的步骤不同的作业的情况下，服务器10可以向作业员提示用于表示组装的步骤的信息。由此，在分解的步骤与组装的步骤不同的情况下，作业员能够基于组装步骤手册等，对将设备组装成原来的状态的步骤适当地进行掌握。因此，例如能够以更适当的步骤进行组装。
74.在此情况下，例如在所指定的作业项目是“设备组装”，并且作业对象的设备是分解的步骤与组装的步骤不同的设备类型这一情况被预先登记在服务器10中的情况下，服务器10可以使终端20显示该设备类型的组装步骤手册的数据。
75.(模范步骤的提示)
76.在基于动态图像识别出的作业员的作业的步骤与作为模范设定的步骤不同的情况下，服务器10可以向作业员提示用于表示作为模范设定的步骤的信息。由此，例如在作业员进行设备的分解等作业耗费时间、进行了不需要的步骤等的情况下，能够向作业员提示作为模范设定的组装作业的步骤。
77.在此情况下，服务器10例如可以通过ai等，基于动态图像，对由作业员进行的从第一状态变化到第二状态时的顺序进行识别。并且，服务器10可以在识别出的步骤与作为模范设定的步骤之间的偏离度为阈值以上的情况下，播放作为模范设定的步骤的动态图像。
78.需要说明的是，服务器10例如可以将基于由熟练度较高的作业员进行的作业的动态图像识别出的步骤设定为模范。在此情况下，服务器10例如可以在由作业员a对作业对象的设备进行分解作业的所需时间与由作业员b对该设备进行分解作业的所需时间之间的比值为阈值以上的情况下，向作业员a提示由作业员b进行的步骤。
79.然后，服务器10的显示控制部14将确定内容分发给终端20(步骤s5)。然后，终端20显示接收到的内容(步骤s6)。
80.在步骤s5的处理中，服务器10可以以将作业对象的物品的状态未发生变化的期间
的播放时间缩短的方式进行播放。由此，例如能够省去在组装时播放在分解时作业没有进展时的动态图像的时间。
81.在此情况下，服务器10例如可以跳过(略过)播放动态图像之中的显示出作业员的手的期间的动态图像。另外，服务器10可以基于动态图像，通过ai对各个物品的布置进行识别，并以跳过布置未被变更的期间的动态图像的方式进行播放。
82.另外，服务器10可以将作业对象的物品的状态发生变化的区域扩大地显示在画面上。由此，例如能够将作业员在分解时进行作业的区域扩大，并向作业员提示。
83.在此情况下，服务器10例如可以以将动态图像之中的显示出作业员的手的区域放大(缩放)的方式进行播放。另外，服务器10可以通过ai，基于动态图像对各个物品的布置进行识别，并以将布置发生变化的区域扩大的方式进行播放。
84.(原状恢复作业的错误的提示)
85.服务器10可以基于变更时的动态图像、以及将作业对象的物品从第二状态返回到第一状态时的动态图像，向作业员提示将作业对象的物品从第二状态返回到第一状态的作业中的错误。由此，例如，作业员能够对存在与原来的状态不同的部分的情况进行掌握。
86.在此情况下，服务器10例如可以首先对由作业员当前进行的作业项目已经完成的情况进行检测。在此，服务器10例如可以基于由终端20当前拍摄、并且从终端20实时地发送到服务器10的动态图像(以下，也适当地称为“当前的动态图像”)，对作业项目已经完成的情况进行检测。在此情况下，服务器10例如可以在基于动态图像检测到作业对象的设备的壳体的盖被作业员关闭的情况下，判定为作业项目已经完成。
87.另外，服务器10可以基于来自作业员的声音或手动操作对作业项目已经完成的情况进行检测。
88.并且，服务器10可以在变更时的动态图像中的变更前的各个被拍摄体的布置与该作业项目完成时的动态图像中的各个被拍摄体的布置不同的情况下，判定为发生了错误。在此情况下，服务器10例如可以对分解作业开始时的第一静态图像进行放大、缩小、旋转、以及平行移动，对与组装作业结束时的第二静态图像最一致的状况进行判定，并在该一致的状况下在rgb值的差异为阈值以上的像素的数量为阈值以上的情况下，判定为发生了错误。
89.并且，服务器10可以使作业员的终端20输出警报的消息以及声音。另外，服务器10可以使终端20播放变更时的动态图像之中的、包含检测出错误的被拍摄体的布置被变更的时刻的预定期间的动态图像或静止图像，并如图6所示，与该被拍摄体相关联地将预定的显示对象重叠地显示在动态图像或静止图像上。
90.在图6的示例中，服务器10在终端20的显示画面601中，与变更时的动态图像之中的变更前的缆线的连接器602相关联地，显示包括用于表示在组装时检测出与分解前之间的错误的消息的显示对象603。
91.(根据各个被拍摄体的状态的播放)
92.服务器10可以根据作业者将作业对象的物品从第二状态返回到第一状态时的动态图像的各个被拍摄体的状态，播放变更时的动态图像。由此，例如作业员能够在每次执行各个步骤时，向作业员提示用于表示下一个步骤的动态图像。
93.在此情况下，服务器10可以首先基于变更时的动态图像，对状态已经发生变化的
各个被拍摄体的顺序进行判定。并且，服务器10可以在基于当前的动态图像检测出第一被拍摄体从第二状态返回到第一状态的情况下，播放变更时的动态图像之中的、相对于该第一被拍摄体前一个变化的第二被拍摄体的状态变化时的动态图像。由此，例如，如果在终端20当前拍摄的缆线的状况变成与拆下该缆线时的开始时刻相同的状况，则能够以逆播放将下一个要连接的缆线拆下时的动态图像等的方式向作业员提示。
94.《变形例》
95.服务器10的各个功能部例如可以通过由1个以上的计算机提供的云计算来实现。另外，也可以构成为在终端20执行服务器10的各个处理。在此情况下，可以构成为在终端20执行存储部12、控制部13、以及显示控制部14的至少一部分的处理。另外，可以构成为将存储部12、控制部13、以及显示控制部14设置在终端20上，而不具有服务器10(独立式)。
96.虽然以上对实施方式进行了说明，但是应当理解，在不脱离权利要求书的宗旨及范围的情况下，可以对形态或细节进行各种改变。
97.本国际申请以于2020年5月14日提交的日本发明专利申请第2020-84910号作为要求优先权的基础，并在本国际申请中援引日本发明专利申请第2020-84910号的全部内容。
98.符号说明
99.1：通信系统；
100.10：服务器；
101.11：取得部；
102.12：存储部；
103.13：控制部；
104.14：显示控制部；
105.20：终端。