信息处理装置和信息处理方法与流程

1.本发明涉及信息处理装置和信息处理方法。


背景技术：

2.例如在专利文献1的作业辅助系统中，根据记述了作业的顺序、内容、注意点或其他事项的手册，生成记述了作业的对象或作业的状况的判定条件的规则，根据来自作业者佩戴的设备的传感器信息识别作业的对象和作业的状况，根据生成的规则和识别单元的识别结果输出作业辅助信息。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2019-109844号公报


技术实现要素：

6.发明要解决的课题
7.但是，在专利文献1所记载的这种现有方法中，手册等作为文档而蓄积的信息只能以文档为单位进行检索。例如，在对文档以段落为单位进行检索的情况下，需要将文档重构为结构化的信息。存在如下课题：如果考虑费用和效果，将作为检索对象的文档全部重构大多是不现实的，此外，会大量阅览到以文档为单位的信息中的不必要的信息，存在文档的阅览者无法迅速应对的情况。
8.本发明的实施方式的一个方式的目的在于，提供如下的信息处理装置：不进行大规模的信息的重构，在使用者需要时，向使用者提示使用者需要的量的信息。
9.用于解决课题的手段
10.提供一种信息处理装置，其输出与应对者进行的作业有关的信息即作业信息，其中，信息处理装置具有：图像取得部，其取得包含由应对者应对的被应对者和由应对者应对的多个被应对物的图像即原始图像；图像分割部，其对原始图像进行分割，分割成拍摄有被应对者的被应对者图像和拍摄有各个被应对物的多个被应对物图像；场景估计部，其使用第1学习完成模型估计作为应对者进行的事件的场景，第1学习完成模型存储有被应对者图像与唯一地表示场景的场景id之间的关联性；数据块估计部，其使用多个第2学习完成模型中的一个第2学习完成模型估计作为对作业信息进行了分割或提示的信息的数据块，多个第2学习完成模型存储有多个被应对物图像与1个或多个数据块用元id之间的关联性，数据块用元id与唯一地表示数据块的数据块id一对一地对应；以及输出部，其输出数据块，数据块估计部使用与场景id一对一地对应的模型id选定多个第2学习完成模型中的一个第2学习完成模型，数据块用元id唯一地表示与被应对物的性质有关的信息即数据块用元值。
11.提供一种信息处理方法，其由输出与应对者进行的作业有关的信息即作业信息的信息处理装置来执行，其中，信息处理方法具有以下步骤：第1步骤，取得应对者包含被应对者和多个被应对物的图像即原始图像；第2步骤，对原始图像进行分割，分割成拍摄有被应
对者的被应对者图像和拍摄有各个被应对物的多个被应对物图像；第3步骤，使用第1学习完成模型估计场景，第1学习完成模型存储有被应对者图像与唯一地表示场景的场景id之间的关联性；第4步骤，使用多个第2学习完成模型中的一个第2学习完成模型估计数据块，多个第2学习完成模型存储有多个被应对物图像与1个或多个数据块用元id之间的关联性，数据块用元id与唯一地表示数据块的数据块id一对一地对应；以及第5步骤，输出数据块，多个第2学习完成模型中的一个第2学习完成模型使用与场景id一对一对应的模型id来选定，数据块用元id唯一地表示与被应对物的性质有关的信息即数据块用元值。
12.发明效果
13.根据本发明的实施方式的一个方式，能够实现如下的信息处理装置：不进行大规模的信息的重构，在使用者需要时，向使用者提示使用者需要的量的信息。
附图说明
14.图1是示出本实施方式的利用阶段中的信息处理装置的结构的框图。
15.图2是示出本实施方式的学习阶段中的信息处理装置的结构的框图。
16.图3是示出本实施方式的原始图像、被应对者图像和多个被应对物图像的图。
17.图4是示出本实施方式的被应对者图像和多个被应对物图像的关系即树结构的图。
18.图5是示出本实施方式的第1学习完成模型和第2学习完成模型的图。
19.图6是示出本实施方式的辅助存储装置中存储的信息的图。
20.图7是用于说明本实施方式的场景估计功能、数据块估计功能和数据块输出功能的顺序图。
21.图8是用于说明本实施方式的第1学习完成模型生成功能和第2学习完成模型生成功能的顺序图。
22.图9是示出本实施方式的利用阶段中的信息处理的处理顺序的流程图。
23.图10是示出本实施方式的学习阶段中的信息处理的处理顺序的流程图。
具体实施方式
24.下面，使用附图详细叙述本发明的实施方式的一个方式。例如，对在大学的窗口或药店的窗口进行作为学生和学生的保护者等或患者等的被应对者的应对的作业者即应对者所参照的被应对物的信息进行说明。例如，在大学的窗口的情况下，被应对物是文件，在药店的窗口的情况下，被应对物是药。
25.(本实施方式)
26.首先，使用图1对利用阶段中的信息处理装置1进行说明。图1是示出本实施方式的利用阶段中的信息处理装置1的结构的框图。信息处理装置1具有中央运算装置2、主存储装置3和辅助存储装置11。
27.中央运算装置2例如是cpu(central processing unit：中央处理单元)，通过调用主存储装置3中存储的程序来执行处理。主存储装置3例如是ram(random access memory：随机存取存储器)，存储后述的图像取得部4、图像分割部5、场景估计部6、数据块估计部7、数据块输出部8、第1学习完成模型生成部9、第2学习完成模型生成部10和推选图像输出部
13这样的程序。
28.另外，也可以将包含图像取得部4、图像分割部5、场景估计部6、数据块估计部7、数据块输出部8和推选图像输出部13的程序称为控制部15，也可以将包含第1学习完成模型生成部9和第2学习完成模型生成部10的程序称为学习完成模型生成部16。
29.辅助存储装置11例如是ssd(solid state drive：固态驱动器)或hdd(hard disk drive：硬盘驱动器)，存储后述的第1学习完成模型db1、第1学习模型db1’、第2学习完成模型db2、第2学习模型db2’这样的数据库；场景表tb1、模型表tb2、内容表tb3、场景/内容表tb4、内容/数据块表tb5、数据块/元表tb6、数据块表tb7、数据块用元表tb8这样的表。
30.如图1所示，输出与应对者进行的作业有关的信息即作业信息的信息处理装置1在利用阶段，具有图像取得部4、图像分割部5、场景估计部6、数据块估计部7、以及输出作为对作业信息进行了分割或提示的信息的数据块的数据块输出部8。这里，也可以将作业信息称为内容，内容id唯一地表示作业信息。
31.图像取得部4从具有摄像头的个人计算机等用户终端12取得包含应对者所应对的被应对者21(图3)和应对者所应对的多个被应对物22～25(图3)的图像即原始图像20(图3)。图像分割部5对原始图像20进行分割，分割成拍摄到所述被应对者21的被应对者图像30和拍摄到各个被应对物22～25的多个被应对物图像40～43。
32.场景估计部6估计应对者实施的状况即场景。具体而言，场景估计部6取得被应对者图像30(35)，使用第1学习完成模型db1估计场景，该第1学习完成模型db1存储有被应对者图像30(35)与唯一地表示场景的场景id之间的关联性。
33.场景估计部6将场景id作为检索关键字，从场景id和场景的名称即场景名被一对一关联起来的表即场景表tb1取得场景名，将其发送到用户终端12。用户终端12向使用者提示从场景估计部6接收到的场景名。
34.数据块估计部7取得与作业相关的被应对物22(23～25)的图像即被应对物图像40～43，使用多个第2学习完成模型db2中的一个第2学习完成模型db2估计数据块，该第2学习完成模型db2存储有被应对物图像40(41～43)与1个或多个数据块用元id之间的关联性，该数据块用元id与唯一地表示数据块的数据块id一对一地对应。
35.数据块估计部7使用与场景id一对一地对应的模型id选定多个第2学习完成模型db2中的一个第2学习完成模型db2。此外，数据块用元id唯一地表示与被应对物22～25的性质有关的信息即数据块用元值。
36.数据块估计部7将场景id作为检索关键字，从模型id和场景id被一对一地关联起来的表即模型表tb2取得模型id。此外，数据块估计部7将数据块用元id作为检索关键字，从数据块id和数据块用元id被一对一或一对多地关联起来的表即数据块/元表tb6取得数据块id。
37.此外，数据块估计部7将数据块id作为检索关键字，从数据块表tb7取得表示数据块的概要的数据块摘要，将数据块摘要发送到用户终端12。用户终端12向使用者提示从数据块估计部7接收到的数据块摘要。
38.此外，数据块估计部7将数据块id作为检索关键字，从数据块表tb7取得数据块，将数据块发送到用户终端12。用户终端12向使用者提示从数据块估计部7接收到的数据块。
39.另外，数据块表tb7是数据块、数据块摘要和哈希值分别与数据块id一对一地被关
联起来的表。另外，哈希值例如用于确认数据块是否被变更。
40.信息处理装置1也可以还具有推选图像输出部13，辅助存储装置11也可以还具有推选表tb9。推选图像输出部13将模型id和1个或多个数据块用元id的组合作为检索关键字，使用推选表tb9检索推荐被应对物图像。
41.推选图像输出部13将检索到的推荐被应对物图像输出到用户终端12。推荐被应对物图像是指虽然原始图像20中没有拍摄到、但是能推测出原本需要的被应对物的图像。另外，推选表tb9是将模型id、数据块用元id的组合与推荐被应对物图像一对一对一地关联起来的表。
42.接着，使用图2对学习阶段中的信息处理装置1进行说明。例如，在学习阶段，将从未图示的输入装置输入的被应对者图像30(35)和1个或多个被应对物图像40～43作为1组进行学习。这里，学习例如是指有教师学习。
43.图2是示出本实施方式的学习阶段中的信息处理装置1的结构的框图。在学习阶段，信息处理装置1具有第1学习完成模型生成部9和第2学习完成模型生成部10。
44.第1学习完成模型生成部9是如下程序：将场景id和被应对者图像30(35)作为一对，使第1学习模型db1’进行学习，由此生成第1学习完成模型db1的程序。
45.第1学习完成模型生成部9针对被应对者图像30(35)，从场景表tb1取得场景id，从模型表tb2取得与场景id对应的模型id。
46.第2学习完成模型生成部10是如下程序：指定模型id，将1个或多个数据块用元id和被应对物图像40(41～43)作为一对，使第2学习模型db2’进行学习，由此生成第2学习完成模型db2的程序。
47.第2学习完成模型生成部10将场景id作为检索关键字，从场景id和内容id被一对多地关联起来的表即场景/内容表tb4取得内容id。另外，这里，作为检索关键字的场景id与和作为处理的对象的被应对物图像40(41～43)成对的被应对者图像30(35)相关联。
48.第2学习完成模型生成部10将内容id作为检索关键字，从内容id和内容被一对一地关联起来的表即内容表tb3取得内容。
49.第2学习完成模型生成部10将内容id作为检索关键字，从内容id和数据块id被一对一或一对多地关联起来的表即内容/数据块表tb5取得数据块id。
50.第2学习完成模型生成部10将数据块id作为检索关键字，从数据块表tb7取得数据块，将数据块id作为检索关键字从数据块/元表tb6取得数据块用元id。
51.第2学习完成模型生成部10将数据块用元id作为检索关键字，从数据块用元表tb8取得数据块用元值。数据块用元表tb8是将数据块用种类id、数据块用种类名、数据块用元值分别与数据块用元id一对一地关联起来的表。
52.数据块用种类id唯一地表示数据块用元值所属的种类的名称即数据块用种类名。另外，第2学习完成模型生成部10参照被应对物图像40(41～43)，确认取得的数据块、内容和数据块用元值没有问题。
53.将有问题的值判断为异常值而不用于有教师学习的学习，由此，第2学习完成模型生成部10能够生成精度高的学习完成模型db2，在利用阶段，信息处理装置1能够进行精度高的处理。
54.接着，使用图3对由用户终端12取得、且由信息处理装置1作为信息进行处理的原
始图像20以及对原始图像20进行分割而生成的被应对者图像30和被应对物图像40～43进行说明。图3是示出本实施方式的原始图像20、被应对者图像30和多个被应对物图像40～43的图。
55.原始图像20、被应对者图像30和多个被应对物图像40～43例如显示于用户终端12。在图3中示出同时显示的例子，但是，原始图像20、被应对者图像30和多个被应对物图像40～43也可以分别显示于用户终端12。
56.在原始图像20中拍摄到了被应对者21和被应对物22～25。被应对物22～25的大小等例如根据不会因桌子等隔间内的场景而变化的信息来估计。此外，对于被应对物22～25，也可以如被应对物24那样取得附加照片26、内部的文本27、签名28等内容的信息。
57.接着，使用图4对被应对者21和多个被应对物22～25的关系进行说明。图4是示出作为本实施方式的被应对者21和多个被应对物22～25的关系的树结构的图。
58.如图4所示，图像分割部5按照将被应对者21设为根节点、且将多个被应对物22～25设为叶节点或内部节点的树结构，将被应对者21和多个被应对物22～25关联起来。
59.此外，图像分割部5也可以还取得作为被应对物22～25中的至少一方中包含的信息的附加照片26、文本27、签名28这样的信息等，将它们作为叶节点而与所述树结构关联起来。
60.接着，使用图5对第1学习完成模型db1和第2学习完成模型db2进行说明。图5示出本实施方式的第1学习完成模型db1和第2学习完成模型db2。
61.第1学习完成模型db1存储有将和场景id作为一对学习数据并使用多对进行机器学习而生成的多个被应对者图像30(35)与多个场景id之间的关联性。这里，机器学习例如设为卷积神经网络(cnn：convolution neural network)。
62.具体而言，被应对者图像30(35)与场景id之间的关联性通过如下卷积神经网络来表现，该卷积神经网络由图5中圆形所示的节点、箭头所示的边、边上设定的权重系数表示。另外，如图5所示，被应对者图像30(35)向第1学习完成模型db1的输入例如被设为像素p1、p2这样的每个像素。
63.第2学习完成模型db2与模型id一对一地被关联起来，被设为多个。各个第2学习完成模型db2存储有将被应对物图像40(41～43)和1个或多个数据块用元id作为一对学习数据并使用多对进行机器学习而生成的多个被应对物图像40(41～43)与多个、1个或多个数据块用元id之间的关联性。这里，机器学习例如设为卷积神经网络(cnn：convolution neural network)。
64.具体而言，多个被应对物图像40(41～43)与多个、1个或多个数据块用元id之间的关联性能够通过如下卷积神经网络来表现，该卷积神经网络由图5中圆形所示的节点、箭头所示的边、边上设定的权重系数表示。另外，如图5所示，被应对物图像40(41～43)向第2学习完成模型db2的输入例如被设为像素p1、p2这样的每个像素。
65.接着，使用图6对作为辅助存储装置11中存储的信息的场景表tb1、模型表tb2、内容表tb3、场景/内容表tb4、内容/数据块表tb5、数据块/元表tb6、数据块表tb7、数据块用元表tb8和推选表tb9进行说明。图6是示出本实施方式的辅助存储装置11中存储的信息的图。
66.场景表tb1等中存储的场景id例如设为0fd等3位的16进制数。此外，场景表tb1等中存储的场景名例如设为成绩询问、发展方向咨询等。
67.模型表tb2等中存储的模型id例如如md1那样由2个字符的英文字母和1位的10进制数表示。内容表tb3等中存储的内容id例如如1b827-01那样由5位的16进制数和2位的10进制数表示。对于内容表tb3等中存储的内容，例如如1b827-01.txt那样以带扩展名的方式示出内容id即文件名，存储有针对内容实体的指针等。
68.内容/数据块表tb5等中存储的数据块id例如如82700-01那样由5位和2位的10进制数表示。数据块/元表tb6等中存储的数据块用元id例如如24fd那样设为4位的16进制数。
69.数据块表tb7中存储的数据块例如如1b827-01.txt_0那样由与作为对象的数据块对应的内容的文件名和1位的10进制数表示，存储有针对与作为对象的数据块对应的内容实体的一部分的指针等。
70.数据块表tb7中存储的数据块摘要例如设为对“在职业介绍所
…”
这样的数据块的内容进行概括的文档。数据块表tb7中存储的哈希值例如如564544d8f0b746e那样设为15位的16进制数。
71.数据块用元表tb8中存储的数据块用种类id例如如394那样设为3位的10进制数。数据块用元表tb8中存储的数据块用种类名例如设为纸的尺寸、纸的颜色、纸上有无开设的孔等。数据块用元表tb8中存储的数据块用元值例如设为a4、b4、白色、蓝色、横向有孔、没有孔等。另外，数据块用种类id和数据块用种类名的值也可以是null。
72.将推选表tb9中存储的数据块用元id的组合设为(24fd,83d9)、(25fd)等，设为组合了1个或多个数据块用元id的组合。推选表tb9中存储的推荐被应对物图像例如存储有针对如img001.jpg那样以带扩展名的方式示出文件名的实体的指针等。
73.如场景/内容表tb4、内容/数据块表tb5和数据块/元表tb6所示，作业信息的数据结构具有将数据块用元id设为最下层即第1层、将数据块id设为第2层、将内容id设为第3层、将场景id设为最上层即第4层的层级结构。
74.接着，使用图7对场景估计功能、数据块估计功能和数据块输出功能进行说明。图7是用于说明本实施方式的场景估计功能、数据块估计功能和数据块输出功能的顺序图。
75.利用阶段的信息处理功能由通过后述的场景估计处理s60实现的场景估计功能、通过后述的数据块估计处理s80实现的数据块估计功能和通过后述的数据块输出处理s100实现的数据块输出功能构成。
76.首先，对场景估计功能进行说明。控制部15中包含的图像取得部4从用户终端12接收原始图像20(s1)。接着，控制部15中包含的图像分割部5对原始图像20进行分割，设定成被应对者图像30和被应对物图像40～43。
77.图像分割部5向场景估计部6发送被应对者图像30，向数据块估计部7发送被应对物图像40～43。接着，控制部15中包含的场景估计部6将被应对者图像30输入到第1学习完成模型db1(s2)。
78.第1学习完成模型db1选择1个或多个与接收到的被应对者图像30紧密相关的场景id，对场景估计部6输出选择出的1个或多个场景id(下面，也可以将其称为第1场景id列表)(s3)。
79.场景估计部6在取得第1场景id列表时，直接发送到用户终端12(s4)。用户终端12将是否存在针对第1场景id列表中包含的各个场景id的缓存的情况发送到场景估计部6(s5)。
80.用户终端12针对在过去处理的信息，保存与场景表tb1相同的表。用户终端12将接收到的第1场景id列表的场景id作为检索关键字，在用户终端12所保存的表内进行检索。被检索到的场景id有缓存，没有被检索到的场景id没有缓存。
81.场景估计部6将从用户终端12接收到的第1场景id列表中包含的各个场景id中的、用户终端12中没有缓存的1个或多个场景id(下面，也可以将其称为第2场景id列表)作为检索关键字，在场景表tb1中进行检索(s6)。
82.作为检索结果，场景估计部6从场景表tb1取得与第2场景id列表中包含的各个场景id对应的场景名(下面，也可以将其称为场景名列表)(s7)。
83.场景估计部6将取得的场景名列表直接发送到用户终端12(s8)。在利用阶段，信息处理装置1通过步骤s1～s8，实现通过估计场景名来估计被应对者图像30的场景的场景估计功能。
84.接着，对数据块估计功能进行说明。用户终端12向使用者提示接收到的场景名列表。使用者从所提示的场景名列表中选择例如1个场景名。用户终端12将使用者选择出的场景名发送到控制部15中所包含的数据块估计部7(s9)。
85.数据块估计部7将与从用户终端12接收到的场景名对应的场景id作为检索关键字(s10)，在模型表tb2中进行检索，取得模型id(s11)。
86.数据块估计部7从图像分割部5接收被应对物图像40(41～43)(s12)。数据块估计部7通过从模型表tb2取得的模型id指定多个第2学习完成模型db2中的一个第2学习完成模型db2，将被应对物图像40(41～43)输入到指定的第2学习完成模型db2(s13)。
87.第2学习完成模型db2在与被应对物图像40(41～43)紧密相关的1个或多个数据块用元id中选择1个或多个数据块用元id，对数据块估计部7输出选择出的1个或多个、1个或多个数据块用元id(下面，也可以将其称为数据块用元id列表)(s14)。
88.数据块估计部7将数据块用元id列表中包含的各1个或多个数据块用元id作为检索关键字，在数据块/元表tb6中进行检索(s15)。
89.数据块估计部7从数据块/元表tb6取得1个或多个数据块id(下面，也可以将其称为第1数据块id列表)作为检索结果(s16)。数据块估计部7将取得的第1数据块id列表直接发送到用户终端12(s17)。
90.用户终端12将是否存在与第1数据块id列表中包含的各个数据块id有关的缓存的情况发送到数据块估计部7(s18)。用户终端12针对过去处理的信息，保存有具有数据块表tb7中的数据块id列和数据块摘要列的表。
91.用户终端12将接收到的第1数据块id列表的数据块id作为检索关键字，在用户终端12所保存的表内进行检索。被检索到的数据块id有缓存，没被检索到的数据块id没有缓存。
92.数据块估计部7将从用户终端12接收到的第1数据块id列表中包含的各个数据块id中的、用户终端12中没有缓存的1个或多个数据块id(下面，也可以将其称为第2数据块id列表)作为检索关键字，在数据块表tb7中进行检索(s19)。
93.数据块估计部7从数据块表tb7取得与第2数据块id列表中包含的各个数据块id对应的数据块摘要(下面，也可以将其称为数据块摘要列表)作为检索结果(s20)。数据块估计部7将取得的数据块摘要列表直接发送到用户终端12(s21)。
94.在利用阶段，信息处理装置1通过步骤s9～s21，实现通过估计数据块摘要来估计被应对物22(23～25)的数据块的数据块估计功能。
95.接着，对数据块输出功能进行说明。用户终端12向使用者提示接收到的数据块摘要列表。使用者从所提示的数据块摘要列表中选择例如1个数据块摘要。用户终端12将使用者选择出的数据块摘要发送到控制部15中包含的数据块输出部8(s22)。
96.数据块输出部8将与从用户终端12接收到的数据块摘要对应的数据块id作为检索关键字(s23)，在数据块表tb7中进行检索，取得数据块(s24)。
97.数据块输出部8将取得的数据块直接发送到用户终端12(s25)。用户终端12向用户提示接收到的数据块。在利用阶段，信息处理装置1通过步骤s22～s25，实现输出被应对物22(23～25)的数据块的数据块输出功能。
98.接着，使用图8对第1学习完成模型生成功能和第2学习完成模型生成功能进行说明。图7是用于说明本实施方式的第1学习完成模型生成功能和第2学习完成模型生成功能的顺序图。
99.学习阶段的信息处理功能由通过第1学习完成模型生成处理实现的第1学习完成模型生成功能和通过第2学习完成模型生成处理实现的第2学习完成模型生成功能构成。
100.首先，对第1学习完成模型生成功能进行说明。学习完成模型生成部16中包含的第1学习完成模型生成部9决定作为处理对象的场景名、被应对者图像30和1个或多个被应对物图像40～43的组，将场景名作为检索关键字，在场景表tb1中检索预先生成的场景表tb1(s31)。
101.第1学习完成模型生成部9从场景表tb1取得场景id作为检索结果(s32)，将被应对者图像30和场景id作为一对，使第1学习模型db1’进行学习(s33)。
102.此外，第1学习完成模型生成部9向模型表tb2发送取得的场景id，请求取得模型id(s34)。模型表tb2生成与接收到的场景id对应的模型id，存储场景id和模型id的组合。
103.接着，第1学习完成模型生成部9从模型表tb2取得模型id(s35)。在学习阶段，信息处理装置1通过步骤s31～s35，实现生成第1学习完成模型db1的第1学习完成模型生成功能。
104.接着，对第2学习完成模型生成功能进行说明。学习完成模型生成部16中包含的第2学习完成模型生成部10将在步骤s32中由第1学习完成模型生成部9接收到的场景id作为检索关键字，在预先生成的场景/内容表tb4中进行检索(s36)。
105.第2学习完成模型生成部10从场景/内容表tb4取得内容id作为检索结果(s37)，将取得的内容id作为检索关键字，在预先生成的内容表tb3中进行检索(s38)。
106.第2学习完成模型生成部10从内容表tb3取得内容作为检索结果(s39)，将在步骤s37中取得的内容id作为检索关键字，在预先生成的内容/数据块表tb5中进行检索(s40)。
107.第2学习完成模型生成部10从内容/数据块表tb5取得数据块id作为检索结果(s41)，将取得的数据块id作为检索关键字，在预先生成的数据块表tb7中进行检索(s42)。
108.第2学习完成模型生成部10从数据块表tb7取得数据块作为检索结果(s43)，将在步骤s41中取得的数据块id作为检索关键字，在预先生成的数据块/元表tb6中进行检索(s44)。
109.第2学习完成模型生成部10从数据块/元表tb6取得1个或多个数据块用元id作为
检索结果(s45)，将取得的各个数据块用元id作为检索关键字，在预先生成的数据块用元表tb8中进行检索(s46)。
110.第2学习完成模型生成部10从数据块用元表tb8分别取得与各个数据块用元id对应的数据块用元值作为检索结果(s47)。
111.第2学习完成模型生成部10参照被应对者图像30和被应对物图像40～43，确认在步骤s39中取得的内容、在步骤s43中取得的数据块和在步骤s47中取得的各个数据块用元值是否有问题。
112.例如，第2学习完成模型生成部10参照被应对者21的表情、被应对物22～25中记载的文档名等进行确认。第2学习完成模型生成部10例如根据被应对者图像30对被应对者21的表情进行判定，根据被应对物图像40～43对被应对物22～25中记载的文档名进行判定。
113.在参照的结果为明确存在问题的情况下，结束与作为对象的组有关的处理，该问题是，内容、数据块、数据块用元值是与被应对物图像40～43中拍摄的文档明显不同的文档有关的信息。
114.接着，第2学习完成模型生成部10将模型id、被应对物图像40(41～43)和1个或多个数据块用元id作为一对，使第2学习模型db2’进行学习(s48)。在学习阶段，信息处理装置1通过步骤s36～s48，实现生成第2学习完成模型db2的第2学习完成模型生成功能。
115.接着，使用图9对利用阶段中的信息处理进行说明。图9是示出本实施方式的利用阶段中的信息处理的处理顺序的流程图。利用阶段中的信息处理由场景估计处理s60、数据块估计处理s80和数据块输出处理s100构成。
116.首先，对场景估计处理s60进行说明。场景估计处理s60由步骤s61～步骤s67构成。场景估计部6在从图像分割部5接收到被应对者图像30(35)时(s61)，将被应对者图像30(35)输入到第1学习完成模型db1(s62)。
117.场景估计部6从第1学习完成模型db1取得第1场景id列表作为输出(s63)，向用户终端12直接发送第1场景id列表，询问用户终端12有无缓存(s64)。
118.在来自用户终端12的全部回答结果都在缓存中的情况下(s65：否)，场景估计处理s60结束，数据块估计处理s80开始。在来自用户终端12的回答结果均未包含在缓存中的情况下(s65：是)，场景估计部6从场景表tb1取得场景名列表(s66)，直接发送到用户终端12(s67)，场景估计处理s60结束。
119.接着，对数据块估计处理s80进行说明。数据块估计处理s80由步骤s81～步骤s88构成。数据块估计部7从用户终端12接收使用者选择出的场景名(s81)。
120.在从用户终端12接收到场景名时，数据块估计部7从模型表tb2取得模型id(s82)。接着，数据块估计部7通过模型id指定多个第2学习完成模型db2中的一个第2学习完成模型db2，将从图像分割部5接收到的被应对物图像40(41～43)输入到指定的第2学习完成模型db2(s83)。
121.数据块估计部7从第2学习完成模型db2取得数据块用元id列表作为输出(s84)，从数据块/元表tb6取得第1数据块id列表(s85)。接着，数据块估计部7将第1数据块id列表直接发送到用户终端12，询问用户终端12有无缓存(s86)。
122.在来自用户终端12的全部回答结果答结果都在缓存中的情况下(s86：否)，数据块估计处理s80结束，数据块输出处理s100开始。在来自用户终端12的回答结果均为包含在缓
存中的情况下(s86：是)，数据块估计部7从数据块表tb7取得数据块摘要列表(s87)，直接发送到用户终端12(s88)，数据块估计处理s80结束。
123.接着，对数据块输出处理s100进行说明。数据块输出处理s100由步骤s101～步骤s103构成。数据块输出部8从用户终端12接收使用者选择出的数据块摘要(s101)。
124.在从用户终端12接收到数据块摘要时，数据块输出部8从数据块表tb7取得数据块(s102)，直接发送到用户终端12(s103)，数据块输出处理s100结束。
125.接着，使用图10对学习阶段中的信息处理进行说明。图10是示出本实施方式的学习阶段中的信息处理的处理顺序的流程图。学习阶段中的信息处理由第1学习完成模型生成处理s120和第2学习完成模型生成处理s140构成。
126.首先，对第1学习完成模型生成处理s120进行说明。第1学习完成模型生成处理s120由步骤s121～步骤s124构成。第1学习完成模型生成部9在决定场景名、被应对者图像30(35)和1个或多个被应对物图像40(41～43)的组时，将场景名作为检索关键字，在场景表tb1中进行检索(s121)。
127.第1学习完成模型生成部9从场景表tb1取得场景id作为检索结果(s122)，将场景id和被应对者图像30(35)作为一对，使第1学习模型db1’进行学习(s123)。
128.接着，第1学习完成模型生成部9向模型表tb2发送在步骤s122中取得的场景id，请求取得模型id，并取得模型id(s124)。
129.接着，对第2学习完成模型生成处理s140进行说明。第2学习完成模型生成处理s140由步骤s141～步骤s150构成。第2学习完成模型生成部10将在步骤s122中取得的场景id作为检索关键字，在场景/内容表tb4中进行检索，取得内容id(s141)。
130.第2学习完成模型生成部10将取得的内容id作为检索关键字在内容表tb3中进行检索，取得内容(s142)。此外，第2学习完成模型生成部10将取得的内容id作为检索关键字，在内容/数据块表tb5中进行检索，取得数据块id(s143)。
131.此外，第2学习完成模型生成部10将取得的数据块id作为检索关键字，在数据块表tb7中进行检索，取得数据块(s144)。此外，第2学习完成模型生成部10将取得的数据块id作为检索关键字，在数据块/元表tb6中进行检索，取得1个或多个数据块用元id(s145)。
132.此外，第2学习完成模型生成部10将取得的1个或多个数据块用元id分别作为检索关键字，在数据块用元表tb8中检索，分别取得与各个数据块用元id对应的数据块用元值(s146)。
133.第2学习完成模型生成部10参照被应对者图像30(35)和被应对物图像40(41～43)，确认在步骤s142中取得的内容、在步骤s144中取得的数据块和在步骤s146中取得的各个数据块用元值是否有问题(s147)。
134.在确认的结果为存在问题的情况下(s148：否)，结束与正在处理的组有关的学习阶段的信息处理。在确认的结果为没有问题的情况下(s148：是)，第2学习完成模型生成部10将模型id、1个或多个数据块用元id和被应对物图像40(41～43)作为一对，使第2学习模型db2’进行学习(s149)，结束与正在处理的组有关的学习阶段的信息处理。
135.如上所述，根据本实施方式的信息处理装置1，经由用户终端12示出对作业信息进行分割或提示的数据块。因此，通过恰当地设定数据块，能够提示必要的量的信息。此外，如果将数据块设为对文档整体进行提示这样的信息，则不需要进行大规模的信息的重构。
136.通过使用模型表tb2，在第1学习完成模型db1与第2学习完成模型db2的关系发生变化的情况下，仅变更模型表tb2就能够应对，能够提供维护性优异的装置。
137.另外，在不使用模型表tb2的情况下，在第1学习完成模型db1与第2学习完成模型db2的关系发生变化的情况下，需要再次生成学习完成模型db2。
138.在本实施方式中，图像取得部4、图像分割部5、场景估计部6、数据块估计部7、数据块输出部8、第1学习完成模型生成部9和第2学习完成模型生成部10和推选图像输出部13被设为程序，但是不限于此，也可以是逻辑电路。
139.此外，图像取得部4、图像分割部5、场景估计部6、数据块估计部7、数据块输出部8、第1学习完成模型生成部9和第2学习完成模型生成部10、推选图像输出部13、第1学习完成模型db1、第1学习模型db1’、第2学习完成模型db2、第2学习模型db2’、场景表tb1、模型表tb2、内容表tb3、场景/内容表tb4、内容/数据块表tb5、数据块/元表tb6、数据块表tb7、数据块用元表tb8和推选表tb9也可以不安装于1个装置，而分散安装于利用网络连接的多个装置。
140.此外，在上述的图8和图10所示的学习阶段，说明了相关联地生成第1学习完成模型和第2学习完成模型的情况，但是，本发明不限于此，第1学习完成模型db1和第2学习完成模型db2也可以分别生成。
141.在分别生成第1学习完成模型db1和第2学习完成模型db2的情况下，例如，在场景是已有场景而仅追加内容的情况下等，可以不进行与场景有关的学习。
142.在本实施方式中，叙述了使用多个第2学习完成模型db2的情况，但是不限于此，要使用的第2学习完成模型db2也可以是一个。此外，在本实施方式中，针对显示能推测出本来需要的被应对物的图像的情况进行了叙述，但是不限于此，也可以显示能推测出本来需要的被应对物的一部分。此外，在本实施方式中，也可以提示能推测出本来不需要的被应对物或被应对物的一部分。
143.在利用阶段，本实施方式的信息处理装置1对通过图像分割部而被关联起来的树结构以及由从第1学习完成模型db1和第2学习完成模型db2输出的值构成的层级结构进行比较，由此，也可以判定过不足之处。
144.标号说明
145.1：信息处理装置；2：中央运算装置；3：主存储装置；4：图像取得部；5：图像分割部；6：场景估计部；7：数据块估计部；8：数据块输出部；9：第1学习完成模型生成部；10：第2学习完成模型生成部；11：辅助存储装置；12：用户终端；13：推选图像输出部。