信息处理装置、方法和系统、电子设备及其处理方法与流程

本发明涉及信息处理系统、电子设备、信息处理装置、信息处理方法、电子设备处理方法以及程序。

背景技术：

以往，在会议中对印刷有在办公中处理的文章等的会议资料进行批改或者修正等。其结果，所记录的事项最终构成为包括批改事项或者修正事项，但能够掌握在哪个定时(timing)进行这些动作的信息并非是信息收集的对象。

因此，在会议结束之后，不存在用于联想批改事项或者修正事项那样的追加事项是以什么为对象的事项的信息，所以有可能无法掌握追加事项的追加理由。

此外，作为与会议资料匹配地对在会议中追加的追加事项进行记录的例子，提出了如下方案：通过具备摄像部的平板终端，将在平板终端中所显示的会议资料与由摄像部所摄像的会议资料关联起来进行保存(例如参考专利文献1)。

【专利文献】

专利文献1：日本特开2015-208047号公报

技术实现要素：

在专利文献1记载的现有技术中，将会议资料与向会议资料的追加事项关联起来，但仍不清楚向会议资料的追加事项是哪个定时的追加事项。

另外，在会议资料中写入追加事项的定时以会议中的讨论内容、即演讲者的发言为契机的情况较多。因此，如果不参考会议中的声音信息，则无法确认向会议资料的追加事项、即会议前的会议资料与会议中或者会议后的会议资料的差异信息的含义的情形较多。

但是，在专利文献1所记载的现有技术中，无法根据声音信息来确认会议内容中的差异信息的含义。

本发明是为了解决以往的课题而完成的，其目的在于提供一种能够根据声音信息来确认会议内容中的差异信息的含义的信息处理系统、电子设备、信息处理装置、信息处理方法、电子设备处理方法以及程序。

为了达到上述目的，本发明的信息处理系统具备：电子设备；以及信息处理装置，与所述电子设备发送接收各种信息，其中，所述电子设备具备：摄像部；抽出部，针对每个检测周期，根据由所述摄像部摄像的纸介质的摄像信息，抽出所述摄像信息中所包含的会议内容与保持于所述信息处理装置的主信息中所包含的会议内容的差异；录音部，在进行与所述主信息中所包含的会议内容有关的会议的期间，对周围的声音进行录音；以及终端侧关联处理部，基于根据所述差异的抽出来检测出所述差异的时机，将所述差异的差异信息与由所述录音部录音的声音的声音信息关联起来，所述信息处理装置具备主体侧关联处理部，该主体侧关联处理部将组信息与所述主信息关联起来，所述组信息包括由所述终端侧关联处理部关联起来的所述差异信息以及所述声音信息。

另外，在本发明的信息处理系统中，优选为所述信息处理装置还具备：存储部，存储所述主信息和所述主信息的属性信息；识别处理部，根据存储在所述存储部中的所述主信息的属性信息，生成识别图像信息；以及图像处理部，基于根据包含于所述主信息的会议内容生成的会议资料图像信息以及由所述识别处理部生成的识别图像信息，使印刷图像形成于所述纸介质，所述图像处理部形成基于所述会议资料图像信息的会议资料图像以及基于所述识别图像信息的识别图像作为所述印刷图像，所述识别图像信息包括作为所述主信息的属性信息之一的所述主信息的保存目的地信息。

另外，在本发明的信息处理系统中，优选为所述信息处理装置还具备图像控制部，该图像控制部对根据所述主信息、所述主信息的属性信息、所述差异信息、所述声音信息中的至少任意一方信息自如地输出任意另一方信息的界面图像进行控制，所述界面图像是根据所述差异信息自如地输出所述声音信息的界面，所述主信息的属性信息除了包括所述主信息的保存目的地信息以外，还包括确定所述主信息中所包含的会议内容的特定信息、与所述会议的举办者有关的举办者信息或者与发出使所述印刷图像形成于所述纸介质的指令的输出人员有关的输出人员信息。

另外，在本发明的信息处理系统中，优选为所述电子设备还具备事件管理部，该事件管理部以事件为单位来管理由所述抽出部抽出的所述差异，所述抽出部与由所述事件管理部管理的所述事件对应地抽出所述声音信息，所述事件是表示与所述会议的进展相伴的所述摄像信息的变化的指标，并且所述事件在抽出所述差异时开始并在临时待机期间未新抽出所述差异时结束，所述终端侧关联处理部针对每个所述事件，将所述差异信息与所述声音信息关联起来。

另外，在本发明的信息处理系统中，优选为所述终端侧关联处理部使所述事件的开始前的初期时间和所述事件的结束后的末期时间包含于所述声音信息的切出期间。

另外，在本发明的信息处理系统中，优选为在抽出所述差异的差异抽出间隔未超过短期待机时间的情况下，所述抽出部根据同一所述主信息来抽出所述差异。

另外，在本发明的信息处理系统中，优选为在所述电子设备的位置未超过设定移动范围的情况下，所述抽出部根据同一所述主信息来抽出所述差异。

另外，在本发明的信息处理系统中，优选为自如地变更所述检测周期、所述临时待机期间或者所述声音信息的切出期间。

另外，在本发明的信息处理系统中，优选为自如地变更所述短期待机时间或者所述设定移动范围。

另外，在本发明的信息处理系统中，优选为在所述差异抽出间隔未超过所述短期待机时间的情况下或者在所述电子设备的位置未超过所述设定移动范围的情况下，在变更许可范围内，根据形成所述印刷图像的所述纸介质的张数而动态地自如地变更所述检测周期、所述临时待机期间、所述声音信息的切出期间、所述短期待机时间或者所述设定移动范围。

另外，在本发明的信息处理系统中，优选为在进行所述会议的期间所述差异消失的情况下，所述终端侧关联处理部解除所述差异信息与所述声音信息的关联。

另外，在本发明的信息处理系统中，优选为在所述差异抽出间隔未超过所述短期待机时间且抽出所述差异的情况下、或者在所述电子设备的位置未超过所述设定移动范围且抽出所述差异的情况下，所述终端侧关联处理部将所述事件的开始前的初期时间设定为延长用初期时间。

另外，在本发明的信息处理系统中，优选为还具备声音辨识部，该声音辨识部辨识声音，在发生所述事件之后无音状态持续的情况下，所述终端侧关联处理部以由所述声音辨识部辨识出声音为契机，抽出所述声音信息。

另外，在本发明的信息处理系统中，优选为还具备字符辨识部，该字符辨识部辨识字符，所述终端侧关联处理部在检测到由所述字符辨识部辨识出开始向所述纸介质写入字符以及检测到由所述声音辨识部辨识出声音的情况下，比根据所述检测周期抽出的所述差异被检测的时机优先地将写入到所述纸介质的字符与所述声音信息关联起来。

另外，在本发明的信息处理系统中，优选为针对每个所述输出人员信息，将所述组信息与所述主信息关联起来。

另外，在本发明的信息处理系统中，优选为所述界面图像包括表示所述会议的进展状况的图像，所述图像控制部将表示所述会议的进展状况的图像、所述声音信息以及所述差异信息关联起来。

另外，在本发明的信息处理系统中，优选为所述电子设备还具备通信控制部，该通信控制部根据所述主信息的保存目的地信息，取得由所述抽出部抽出所述差异时使用的所述主信息，所述信息处理装置还具备信息判定部，该信息判定部判定是否发送了所述组信息，所述通信控制部在与所述信息处理装置未建立通信的情况下，保持所述组信息并且在与所述信息处理装置建立通信之后发送所述组信息，在由所述信息判定部判定为发送了所述组信息的情况下，所述主体侧关联处理部将所述组信息与所述主信息关联起来。

另外，为了达到上述目的，本发明的电子设备是与信息处理装置发送接收各种信息的电子设备，具备：摄像部；抽出部，针对每个检测周期，根据由所述摄像部摄像的纸介质的摄像信息，抽出所述摄像信息中所包含的会议内容与保持于所述信息处理装置的主信息中所包含的会议内容的差异；录音部，在进行与所述主信息中所包含的会议内容有关的会议的期间，对周围的声音进行录音；终端侧关联处理部，根据所述差异被检测的时机，将所述差异的差异信息与由所述录音部录音的声音的声音信息关联起来；以及通信部，将包括由所述终端侧关联处理部关联起来的所述差异信息及所述声音信息的组信息、以及使所述组信息与所述主信息关联起来的指令发送到所述信息处理装置。

另外，在本发明的电子设备中，优选为所述终端侧关联处理部针对每个事件，将所述差异信息与所述声音信息关联起来，所述事件是表示与所述会议的进展相伴的所述摄像信息的变化的指标，并且所述事件在抽出所述差异时开始并在临时待机期间未新抽出所述差异时结束。

另外，为了达到上述目的，本发明的信息处理装置是与电子设备发送接收各种信息的信息处理装置，具备：存储部，存储主信息和所述主信息的属性信息；识别处理部，根据存储在所述存储部中的所述主信息的属性信息，生成识别图像信息；图像处理部，基于根据包含于所述主信息的会议内容生成的会议资料图像信息以及由所述识别处理部生成的识别图像信息，使印刷图像形成于纸介质；以及主体侧关联处理部，将组信息与所述主信息关联起来，该组信息通过所述电子设备关联有差异信息以及声音信息，所述差异信息是通过所述图像处理部形成有所述印刷图像的所述纸介质的摄像信息中所包含的会议内容与所述主信息中所包含的会议内容的差异的差异信息，所述声音信息是形成有所述印刷图像的所述纸介质的周围的声音的声音信息。

另外，为了达到上述目的，本发明的信息处理方法是由具备电子设备和信息处理装置的信息处理系统执行的信息处理方法，所述信息处理装置与所述电子设备发送接收各种信息，其中，所述电子设备执行：摄像步骤，进行摄像；抽出步骤，针对每个检测周期，根据通过所述摄像步骤摄像的纸介质的摄像信息，抽出所述摄像信息中所包含的会议内容与保持于所述信息处理装置的主信息中所包含的会议内容的差异；录音步骤，在进行与所述主信息中所包含的会议内容有关的会议的期间，对周围的声音进行录音；以及终端侧关联处理步骤，基于根据所述差异的抽出来检测出所述差异的时机，将所述差异的差异信息与通过所述录音步骤录音的声音的声音信息关联起来，所述信息处理装置执行：主体侧关联处理步骤，将组信息与所述主信息关联起来，所述组信息包括通过所述终端侧关联处理步骤关联起来的所述差异信息以及所述声音信息。

另外，为了达到上述目的，本发明的电子设备处理方法是由与信息处理装置发送接收各种信息的电子设备执行的电子设备处理方法，包括：摄像步骤，进行摄像；抽出步骤，针对每个检测周期，根据通过所述摄像步骤摄像的纸介质的摄像信息，抽出所述摄像信息中所包含的会议内容与保持于所述信息处理装置的主信息中所包含的会议内容的差异；录音步骤，在进行与所述主信息中所包含的会议内容有关的会议的期间，对周围的声音进行录音；终端侧关联处理步骤，基于根据所述差异的抽出来检测出所述差异的时机，将所述差异的差异信息与通过所述录音步骤录音的声音的声音信息关联起来；以及通信步骤，将包括通过所述终端侧关联处理步骤关联起来的所述差异信息及所述声音信息的组信息、以及使所述组信息与所述主信息关联起来的指令发送到所述信息处理装置。

另外，为了达到上述目的，本发明的程序使对与信息处理装置发送接收各种信息的电子设备进行控制的计算机作为如下部件发挥功能：摄像部；抽出部，针对每个检测周期，根据由所述摄像部摄像的纸介质的摄像信息，抽出所述摄像信息中所包含的会议内容与由所述信息处理装置保持的主信息中所包含的会议内容的差异；录音部，在进行与所述主信息中所包含的会议内容有关的会议的期间，对周围的声音进行录音；终端侧关联处理部，基于根据所述差异的抽出来检测出所述差异的时机，将所述差异的差异信息与由所述录音部录音的声音的声音信息关联起来；以及通信部，将包括由所述终端侧关联处理部关联起来的所述差异信息及所述声音信息的组信息、以及使所述组信息与所述主信息关联起来的指令发送到所述信息处理装置。

另外，为了达到上述目的，本发明的信息处理方法是由与电子设备发送接收各种信息的信息处理装置执行的信息处理方法，包括：存储步骤，存储主信息和所述主信息的属性信息；识别处理步骤，根据在所述存储步骤中所存储的所述主信息的属性信息，生成识别图像信息；图像处理步骤，基于根据所述主信息中所包含的会议内容生成的会议资料图像信息以及通过所述识别处理步骤生成的识别图像信息，使印刷图像形成于纸介质；以及主体侧关联处理步骤，将组信息与所述主信息关联起来，该组信息通过所述电子设备关联有差异信息以及声音信息，所述差异信息是通过所述图像处理步骤形成有所述印刷图像的所述纸介质的摄像信息中所包含的会议内容与所述主信息中所包含的会议内容的差异的差异信息，所述声音信息是形成有所述印刷图像的所述纸介质的周围的声音的声音信息。

另外，为了达到上述目的，本发明的程序使对与电子设备发送接收各种信息的信息处理装置进行控制的计算机作为如下部件发挥功能：存储部，存储主信息和所述主信息的属性信息；识别处理部，根据存储在所述存储部中的所述主信息的属性信息，生成识别图像信息；图像处理部，基于根据包含于所述主信息的会议内容生成的会议资料图像信息以及由所述识别处理部生成的识别图像信息，使印刷图像形成于纸介质；以及主体侧关联处理部，将组信息与所述主信息关联起来，该组信息通过所述电子设备关联有差异信息以及声音信息，所述差异信息是通过所述图像处理部形成有所述印刷图像的所述纸介质的摄像信息中所包含的会议内容与所述主信息中所包含的会议内容的差异的差异信息，所述声音信息是形成有所述印刷图像的所述纸介质的周围的声音的声音信息。

根据本发明，在信息处理系统、电子设备、信息处理装置、信息处理方法、电子设备处理方法以及程序中，能够根据声音信息来确认会议内容中的差异信息的含义。

附图说明

图1是表示本发明的实施方式1中的信息处理系统1的整体结构的一个例子的图。

图2是表示本发明的实施方式1中的电子设备3的结构例的图。

图3是表示本发明的实施方式1中的信息处理装置5的结构例的图。

图4是表示本发明的实施方式1中的电子设备3的控制部37的功能结构例的图。

图5是表示本发明的实施方式1中的信息处理装置5的控制部15的功能结构例的图。

图6是说明本发明的实施方式1中的控制例的流程图。

图7是说明本发明的实施方式1中的差异关联处理的流程图。

图8是表示本发明的实施方式1中的从抽出差异起经过临时待机期间之后判定为事件的一个例子的图。

图9是表示本发明的实施方式1中的判定为抽出差异的间隔未超过短期待机时间的一个例子的图。

图10是表示本发明的实施方式1中的发声定时的一个例子的图。

图11是表示本发明的实施方式1中的二维码的输出例的图。

图12是表示本发明的实施方式1中的主信息(masterinformation)的取得例的图。

图13是表示本发明的实施方式1中的伴随会议的进展而实施录音以及差异信息的追加的一个例子的图。

图14是表示本发明的实施方式1中的差异信息与声音信息的关联的一个例子的图。

图15是表示本发明的实施方式1中的将差异信息与声音信息关联起来的数据构造的一个例子的图。

图16是表示本发明的实施方式1中的主信息、差异信息以及声音信息被关联起来的gui的一个例子的图。

图17是表示本发明的实施方式2中的差异信息与声音信息的关联的一个例子的图。

图18是表示本发明的实施方式3中的主信息、差异信息以及声音信息被关联起来的gui的一个例子的图。

图19是表示以往的伴随会议的进展而实施差异信息的追加的一个例子的图。

图20是概要地说明以往的会议结束后的差异信息的价值的图。

(符号说明)

1：信息处理系统；3：电子设备；10：眼镜；31：显示部；32：字符辨识部；33：摄像部；34：位置信息取得部；35：录音部；36：存储部；37：控制部；371：事件管理部；372：位置判定部；373：有无发声判定部；374：写入开始判定部；375：抽出部；376：终端侧关联处理部；377：通信控制部；38：声音辨识部；39：通信部；5：信息处理装置；11：打印机部；11a：图像处理部；11b：图像形成部；13：电源部；15：控制部；151：识别处理部；152：信息判定部；153：主体侧关联处理部；154：图像控制部；17：图像读取部；17a：自动原稿输送装置；19：通信部；21：操作显示部；23：排纸托盘；25、25a～25c：供纸盒；27：存储部；7：终端；8：智能手机；9：网络；p：纸介质；x：识别图像；a～c、z：输出人员。

具体实施方式

以下，根据附图来说明本发明的实施方式，但本发明不限于以下的实施方式。

实施方式1.

图1是表示本发明的实施方式1中的信息处理系统1的整体结构的一个例子的图。如图1所示，信息处理系统1经由网络9连接有电子设备3和信息处理装置5。电子设备3和信息处理装置5能够经由网络9来发送接收各种信息。通过将电子设备3安装到眼镜10，能够将眼镜10用作智能眼镜，详情后述。信息处理装置5不仅被用作mfp，而且还能够经由网络9而与电子设备3发送接收主信息来作为各种信息中的一种信息，详情后述。

信息处理系统1通过使电子设备3和信息处理装置5协作，能够根据会议中的发言内容来确认在会议中通过手写等对被用作会议资料的纸介质p追加的追加事项的含义，详情后述。

电子设备3具备显示部31、摄像部33以及录音部35等。显示部31经由眼镜10向利用者显示各种图像。显示部31通过图像来显示经由网络9取得的各种信息。摄像部33由ccd或者cmos那样的图像传感器等构成，对被摄体进行摄像，取得静止图像或者运动图像。录音部35对周围的声音进行录音。电子设备3例如能够取得形成于纸介质p的图像，在对所取得的图像执行各种处理之后，将各种处理的执行结果发送到信息处理装置5。此外，显示部31也可以通过棱镜等而在远离眼镜10的位置处显示图像。另外，电子设备3设置有未图示的操作部。

信息处理装置5具备打印机部11、电源部13、控制部15、图像读取部17、操作显示部21、排纸托盘23以及供纸盒25a～25c等。打印机部11、电源部13以及控制部15配置于信息处理装置5的框体的内部。

从信息处理装置5的框体中抽出自如地配置有供纸盒25a～25c的各个供纸盒。在不特定供纸盒25a、供纸盒25b以及供纸盒25c中的任意供纸盒的情况下，称为供纸盒25。供纸盒25a、供纸盒25b以及供纸盒25c的各个供纸盒收容相互不同的尺寸的纸介质p。收容于供纸盒25的纸介质p在印刷时被逐张地供给，送到打印机部11。此外，在上述说明中，说明了配置有三台供纸盒25的一个例子，但不限定于这些。

排纸托盘23位于信息处理装置5的框体中的收纳有打印机部11的部位的上方，并且配置于配置有图像读取部17的部位的下方。从框体的内部向排纸托盘23排出通过打印机部11形成图像的纸介质p。

操作显示部21位于信息处理装置5的上部，并且配置于从框体自如地抽出供纸盒25的跟前侧。操作显示部21受理利用者的操作，并且自如地显示从利用者受理的操作结果以及信息处理装置5的内部状态中的至少一方。

打印机部11通过利用电子照相工艺技术，在处于供纸盒25或者未图示的手动供纸托盘的纸介质p上形成图像，详情后述。打印机部11以串联方式合成四色或者包括特定颜色的五色的图像，在纸介质p上自如地形成彩色图像。

图像读取部17配置于信息处理装置5的上部。图像读取部17具备自动原稿输送装置17a。图像读取部17依次取入通过自动原稿输送装置17a放置到原稿托盘的原稿，通过未图示的图像传感器将该原稿的图像读取为模拟的图像数据。

图2是表示本发明的实施方式1中的电子设备3的结构例的图。如图2所示，电子设备3除了上述说明的显示部31、摄像部33以及录音部35以外，还具备字符辨识部32、位置信息取得部34、存储部36、控制部37、声音辨识部38以及通信部39等。通信部39发送接收各种信号。

字符辨识部32辨识字符。字符辨识部32例如通过使光学字符辨识功能那样的字符辨识功能工作，能够辨识字符。字符辨识部32根据由摄像部33摄像的纸介质p的摄像信息，确定字符区域。字符辨识部32从所确定的字符区域辨识字符。此外，字符辨识部32也可以不设置于电子设备3。

位置信息取得部34通过gps功能，确定电子设备3的位置。存储部36由闪存存储器等那样的非易失性存储器构成。存储部36储存有用于由摄像部33进行摄像的程序以及用于由录音部35进行录音的程序等。

存储部36除了上述程序以外，还储存各种数据。例如，存储部36保存由摄像部33摄像的纸介质p的摄像信息的摄像数据。存储部36保存由录音部35录音的周围的声音的声音信息的录音数据。存储部36储存由通信部39取得的各种图像数据或者文档数据。

声音辨识部38辨识声音。声音辨识部38例如通过使声音辨识功能工作，能够辨识声音。声音辨识部38例如通过压电元件来辨识声音。此外，声音辨识部38也可以不设置于电子设备3。

具体而言，控制部37以未图示的cpu、rom、ram以及i/o接口为主体来构成。在控制部37中，通过cpu从rom或者存储部36读出与处理内容对应的各种程序并在ram中展开，与所展开的各种程序进行协作，从而控制电子设备3的各部分的动作。

图3是表示本发明的实施方式1中的信息处理装置5的结构例的图。如图3所示，信息处理装置5除了上述说明的打印机部11、控制部15、图像读取部17以及操作显示部21以外，还具备存储部27以及通信部19等。

打印机部11具备图像处理部11a以及图像形成部11b。图像处理部11a具备cpu等运算装置或者asic等集成电路，能够执行各种处理。

例如，图像处理部11a对由图像读取部17的未图示的图像传感器读取出的模拟的图像数据执行各种处理。具体而言，通过执行模拟信号处理、a/d变换、明暗度校正、图像压缩处理以及缩放处理等，将模拟的图像数据变换为由rgb码构成的数字的图像数据。而且，图像处理部11a将由rgb码构成的数字的图像数据变换为y(黄)、m(品红)、c(青)以及k(黑)色的图像数据，将变换结果传送到图像形成部11b。

图像形成部11b根据从图像处理部11a传送的图像数据，形成彩色图像。图像形成部11b具备每个颜色的图像形成单元、中间转印部以及定影部。在图像形成单元中，通过带电部使感光鼓的周围带电，通过写入单元对感光鼓照射光来形成静电潜像，通过显影部使感光鼓的静电潜像可视化而形成调色剂像。在中间转印部中，转印感光鼓的调色剂像，所转印的调色剂像依次针对每个颜色被转印到纸张。定影部使从中间转印部转印的调色剂像定影。

操作显示部21具备受理利用者的操作的按钮以及向利用者提示操作的显示画面。显示画面被层叠有触摸面板，作为触摸面板显示器发挥功能。此外，操作显示部21也可以为了向利用者提供直观的视觉信息而具备多个颜色的led。另外，操作显示部21也可以具备输出声音的扬声器。在该情况下，操作显示部21还能够根据显示于显示画面的图像来输出声音。即，操作显示部21受理操作，并且输出声音或者图像。

通信部19经由网络9受理发送到信息处理装置5的印刷作业等那样的各种作业。通信部19在实现由控制部15进行的功能以外的功能时，与外部设备进行通信。存储部27由hdd等那样的非易失性存储装置构成。存储部27除了各种控制程序以外，还保持各种图像数据或者文档数据等。信息处理装置5所保持的文档数据被用作主信息。

如果文档数据是会议资料，则主信息是包括会议内容的信息。在通过打印机部11在纸介质p上形成印刷图像时利用主信息。主信息例如包括字符信息。字符信息包括字符、该字符的字体以及印刷该字符的位置等。因此，电子设备3如果从信息处理装置5取得主信息，则能够取得在被用作会议资料的纸介质p中形成的印刷图像的印刷内容。

此外，电子设备3从信息处理装置5取得的主信息是主信息的拷贝即可，无需使处于信息处理装置5的主信息移动到电子设备3。另外，在比较由电子设备3的摄像部33摄像的纸介质p的摄像信息与在主信息中包含的会议内容的情况下，优选为信息处理装置5保持主信息。

具体而言，控制部15以未图示的cpu、rom、ram以及i/o接口为主体而构成。在控制部15中，通过cpu从rom或者存储部27读出与处理内容对应的各种程序并在ram中展开，与所展开的各种程序协作，从而控制信息处理装置5的各部分的动作。

图4是表示本发明的实施方式1中的电子设备3的控制部37的功能结构例的图。控制部37控制电子设备3的动作，能够通过以未图示的cpu、rom、ram以及i/o接口为主体而构成的微型计算机来实现。通过控制部37执行预定的控制程序，如图4所示实现事件管理部371、位置判定部372、有无发声判定部373、写入开始判定部374、抽出部375、终端侧关联处理部376以及通信控制部377等那样的各种功能。

图5是表示本发明的实施方式1中的信息处理装置5的控制部15的功能结构例的图。控制部15控制信息处理装置5的动作，能够通过以未图示的cpu、rom、ram以及i/o接口为主体而构成的微型计算机来实现。通过控制部15执行预定的控制程序，如图5所示实现识别处理部151、信息判定部152、主体侧关联处理部153以及图像控制部154等那样的各种功能。

接下来，具体地说明上述各种功能等。抽出部375针对每个检测周期，根据由摄像部33摄像的纸介质p的摄像信息，抽出在摄像信息中包含的会议内容与在信息处理装置5所保持的主信息中包含的会议内容的差异。录音部35在进行与在主信息中包含的会议内容有关的会议的期间，对周围的声音进行录音。

终端侧关联处理部376根据在摄像信息中包含的会议内容与在信息处理装置5所保持的主信息中包含的会议内容的差异被检测出的时机，将该差异的差异信息与由录音部35录音的声音的声音信息关联起来。主体侧关联处理部153将包括通过终端侧关联处理部376关联起来的差异信息以及声音信息的组信息与主信息关联起来。

存储部27存储主信息和主信息的属性信息。主信息的属性信息包括主信息的保存目的地信息、对在主信息中包含的会议内容进行确定的特定信息、与和在主信息中包含的会议内容有关的会议的举办者相关的举办者信息、或者与发出使印刷图像形成于纸介质p的指令的输出人员z有关的输出人员信息。

识别处理部151根据存储在存储部27中的主信息的属性信息，生成识别图像信息。识别图像信息是与在主信息中包含的会议内容关联的信息，并且包括上述主信息的保存目的地信息。因此，如果能够根据识别图像信息确定主信息的保存目的地信息，则电子设备3能够取得主信息。

图像处理部11a基于根据在主信息中包含的会议内容生成的会议资料图像信息以及由识别处理部151生成的识别图像信息，使印刷图像形成于纸介质p。图像处理部11a形成基于会议资料图像信息的会议资料图像和基于识别图像信息的识别图像x作为印刷图像。

识别图像信息优选为除了主信息的保存目的地信息以外，还包括在纸介质p中形成印刷图像的日期信息以及正在操作电子设备3的利用者的个人id等信息。如果正在操作电子设备3的利用者与上述输出人员z是相同的人，则优选使输出人员信息包含于识别图像信息。识别图像x例如是通过二维码来表现的图像，通过摄像部33摄像并取得。因此，摄像部33优选具有用于读取二维码等而足够的分辨率。二维码是例如qr码。

图像控制部154对根据主信息、主信息的属性信息、差异信息、声音信息中的至少任意一方信息自如地输出任意另一方信息的界面图像进行控制。界面图像是根据差异信息自如地输出声音信息的界面。

图6是说明本发明的实施方式1中的控制例的流程图。在图6中，电子设备3将在信息处理装置5所输出的纸介质p中追加的追加事项作为差异来抽出，并且电子设备3将差异与抽出差异时的录音数据关联起来而发送到信息处理装置5。此外，步骤s11的处理～步骤s14的处理为信息处理装置5执行的处理。另外，步骤s21的处理～步骤s22的处理为电子设备3执行的处理。

在步骤s11中，取得主信息。主信息既可以是存储在存储部27中的信息，也可以是经由网络9新取得的信息。在步骤s12中，添加识别图像x而输出到纸介质p。另外，在步骤s12的处理之后，能够执行步骤s21的处理。

在步骤s21中，执行差异关联处理。关于处理的详情，在后面叙述。在步骤s22中，发送包括差异信息及声音信息的组信息、以及使组信息与主信息关联起来的指令。通过步骤s22的处理，从电子设备3向信息处理装置5发送组信息以及关联指令之后，能够执行步骤s13的处理。

在步骤s13中，将包括差异信息及声音信息的组信息与主信息关联起来。在步骤s14中，进行gui化。即，在步骤s14中，输出上述界面图像。

图7是说明本发明的实施方式1中的差异关联处理的流程图。图8是表示本发明的实施方式1中的从抽出差异起经过临时待机期间之后判定为事件的一个例子的图。图9是表示本发明的实施方式1中的判定为抽出差异的间隔未超过短期待机时间的一个例子的图。图10是表示本发明的实施方式1中的发声定时的一个例子的图。

在图7中，执行针对每个检测周期抽出差异并将所抽出的差异与声音关联起来的处理、以及在辨识出声音以及字符时将声音与字符关联起来的处理中的某一方。

在步骤s31中，取得识别图像信息。识别图像信息包含于摄像部33对识别图像x进行摄像而生成的摄像信息。即，从摄像信息中抽出与识别图像x对应的识别图像信息。

在步骤s32中，根据识别图像信息来取得主信息。在识别图像信息中作为主信息的属性信息而包括主信息的保存目的地信息。因此，如果从识别图像信息抽出主信息的保存目的地信息，则电子设备3能够经由网络9取得主信息。经由网络9取得的主信息成为判定是否伴随会议的进展而产生差异的基准数据。

在步骤s33中，开始录音。通过录音部35开始录音，既可以手动地开始录音，也可以通过定时器等而在会议开始的时间自动地开始录音。

在步骤s34中，判定声音辨识功能以及字符辨识功能是否工作。在判定为声音辨识功能以及字符辨识功能工作的情况下，进入到步骤s42。另一方面，在未判定为声音辨识功能以及字符辨识功能工作的情况下，进入到步骤s35。

在步骤s35中，判定是否为检测周期。在判定为是检测周期的情况下，进入到步骤s36。在未判定为是检测周期的情况下，仍为步骤s35。

在步骤s36中，判定是否有差异。在判定为有差异的情况下，进入到步骤s37。另一方面，在未判定为有差异的情况下，进入到步骤s44。

在步骤s37中，取得差异信息。差异信息是根据摄像信息抽出的信息。因此，关于差异信息，优选为抽出产生差异的部位以及使差异产生的图像。如果能够抽出使差异产生的图像，则通过解析该图像，能够确定追加事项。

在步骤s38中，将差异信息与声音信息关联起来。在产生差异时所对应的录音数据成为声音信息。以事件为单位来执行关联。具体而言，如图8所示，事件管理部371以事件这样的单位来管理由抽出部375抽出的差异。事件是表示与会议的进展相伴的摄像信息的变化的指标，并且在抽出差异时开始，在临时待机期间未新抽出差异时结束。因此，抽出部375与由事件管理部371管理的事件对应地抽出声音信息。终端侧关联处理部376针对每个事件，将差异信息与声音信息关联起来。

更具体而言，终端侧关联处理部376使事件的开始前的初期时间和事件的末期时间包含于声音信息的切出期间。事件的开始前的初期时间是指，通过差异的抽出而辨识为对作为纸介质p的输出物进行了变更、并且从确认该变更时起至一定时间前。另一方面，事件的末期时间是指，从未对输出物进行变更起至一定时间后、即从在临时待机时间中未对输出物进行变更之后起至一定时间后。即，使从一定时间前至一定时间后包含于声音信息的切出期间。

此外，优选将主信息与摄像信息的差异图像数据、主信息、以及日期时间信息关联起来保存。

在步骤s39中，判定是否超过短期待机时间。短期待机时间是用于判定是否为其它会议的时间阈值。如果超过短期待机时间，则视为其它会议。具体而言，在判定为超过短期待机时间的情况下，进入到步骤s40。另一方面，在未判定为超过短期待机时间的情况下，进入到步骤s45。

即，如图9所示，抽出部375在抽出差异的差异抽出间隔未超过短期待机时间的情况下，根据同一主信息来抽出差异。

在步骤s40中，标志被设定为0。在步骤s41中，将关联起来的差异信息以及声音信息发送到信息处理装置5。

在步骤s42中，标志被设定为1。在步骤s43中，将向纸介质p的写入内容和声音信息关联起来，处理转移到步骤s39。具体而言，如图10所示，在发生事件之后无音状态持续的情况下，终端侧关联处理部376以由声音辨识部38辨识出声音为契机，抽出声音信息。即，终端侧关联处理部376在检测到由字符辨识部32辨识出开始向纸介质p写入字符、以及检测到由声音辨识部38辨识出声音的情况下，比根据检测周期抽出的差异被抽出的时机更优先地，将写入到纸介质p的字符与声音信息关联起来。

在步骤s44中，判定位置是否超过设定移动范围。在判定为位置超过设定移动范围的情况下，处理转移到步骤s40。另一方面，在未判定为位置超过设定移动范围的情况下，处理转移到步骤s35。具体而言，抽出部375在电子设备3的位置未超过设定移动范围的情况下，根据同一主信息来抽出差异。

在步骤s45中，判定标志是否为1。在判定为标志是1的情况下，处理转移到步骤s43。另一方面，在未判定为标志是1的情况下，处理转移到步骤s35。

总之，如果是步骤s44的处理的位置在设定移动范围内这样的第一条件、或者是步骤s39的差异抽出间隔在短期待机时间内这样的第二条件，则根据同一主信息，抽出差异。即，优选为一个主信息以及与其对应的日期时间信息只要满足上述第一条件或者第二条件，就将多个差异图像数据与声音数据关联起来保存。

另外，只要满足上述第一条件或者第二条件，电子设备3就无需始终捕捉识别图像x。另外，在多个会议资料中分别添加不同的识别图像x、并且电子设备3捕捉各个识别图像x的情况下，根据所捕捉的会议资料的数量而动态地变更设定移动范围以及短期待机时间即可。

例如，电子设备3非连续地捕捉识别图像x，在从在最后检测到差异的抽出起未新检测到差异的抽出的状态下，在接下来的检测周期中检测到差异的抽出的情况下，追溯比通常更多的时间来切出录音数据并保存。即，延长图8所示的初期时间，将录音数据的切出开始时间设定为更早的延长用初期时间。

具体而言，终端侧关联处理部376在差异抽出间隔未超过短期待机时间并且抽出差异的情况下、或者电子设备3的位置未超过设定移动范围并且抽出差异的情况下，将事件的开始前的初期时间设定为延长用初期时间。此外，根据会议的状况以及会议资料的量等，适当自如地变更延长用初期时间。

另外，可自如地变更检测周期、临时待机期间、或者声音信息的切出期间。可自如地变更短期待机时间或者设定移动范围。即，在差异抽出间隔未超过短期待机时间的情况下、或者电子设备3的位置未超过设定移动范围的情况下，在变更许可范围内，可根据形成印刷图像的纸介质p的张数而动态地自如地变更。根据用于非连续地捕捉识别图像x而所需的时间或者移动范围，设定变更许可范围即可。

此外，在进行会议的期间差异消失的情况下，差异信息与声音信息的关联被解除。例如，在会议中，姑且相应地是所追加的追加事项被删除的情况。

这样，与主信息的变更点相当的差异图像数据、在产生该变更点的大致时间所录音的录音数据、以及此时的日期时间数据在并满足上述第一条件或者第二条件的情况下经由网络9而被发送到成为主信息的保存目的地的信息处理装置5。

此外，电子设备3在与网络9不是连接状态的情况下，临时地将组信息保持于存储部36，与网络9成为连接状态后马上发送组信息等。具体而言，在电子设备3中，通信控制部377根据主信息的保存目的地信息，取得在由抽出部375抽出差异时所使用的主信息。另一方面，在信息处理装置5中，信息判定部152判定是否发送了组信息。

更具体而言，通信控制部377在未建立与信息处理装置5的通信的情况下，保持组信息，并且在建立信息处理装置5的通信之后发送组信息。另一方面，主体侧关联处理部153在由信息判定部152判定为发送了组信息的情况下，将组信息与主信息关联起来。

接下来，使用图11～图13，概要性地说明将差异信息、声音信息、以及输出人员z关联起来的处理。图11是表示本发明的实施方式1中的二维码的输出例的图。如图11所示，基于根据主信息的属性信息而形成的识别图像x、和在存储部27中存储的主信息，作为添加有识别图像x的纸介质p而输出输出物。

图12是表示本发明的实施方式1中的主信息的取得例的图。如图12所示，电子设备3根据包含于识别图像x的属性信息，将信息处理装置5的存储部27所保持的主信息存储到存储部36。

图13是表示本发明的实施方式1中的伴随会议的进展而实施录音以及差异信息的追加的一个例子的图。如图13所示，根据差异被抽出的时机，依次切出录音数据。

接下来，使用图14～图16，说明根据组信息而输出的界面图像。图14是表示本发明的实施方式1中的差异信息与声音信息的关联的一个例子的图。如图14所示，在电子设备3中作为组信息而被关联起来的差异图像数据以及录音数据经由网络9被传送到信息处理装置5。在信息处理装置5中，将差异图像数据以及录音数据的组信息、与对应的主信息关联起来。

图15是表示本发明的实施方式1中的将差异信息与声音信息关联起来的数据构造的一个例子的图。例如，在组信息内，各个字符信息与声音信息被关联起来。电子设备3内的主信息以组信息为单位被关联起来。另一方面，在信息处理装置5内，与电子设备3内同样地主信息以组信息为单位被关联起来。

图16是表示本发明的实施方式1中的主信息、差异信息、以及声音信息被关联起来的gui的一个例子的图。如图16所示，一个会议资料对应于一个主信息。与一个主信息对应的会议结果以排列配置的状态被显示。如果操作显示于会议结果的差异信息的图像，则调出与该差异信息关联起来的声音信息，再生基于声音信息的声音。此外，界面图像经由网络9通过智能手机8或者终端7等而被显示，并适当输出声音。

接下来，一边与以往例进行比较，一边说明本实施方式的作用效果。图19是表示以往的伴随会议的进展而实施差异信息的追加的一个例子的图。图20是概要地说明以往的会议结束后的差异信息的价值的图。如图19所示，伴随着会议的进展，在会议资料中会记载追加事项。但是，如图20所示，在会议结束后无法想起追加了追加事项的意义的情形较多。

因此，在本实施方式中，通过将包括差异信息及声音信息的组信息与主信息关联起来，从而在包含于同一主信息的会议内容中将差异信息与声音信息关联起来，所以能够根据声音信息来确认会议内容中的差异信息的含义。

而且，在本实施方式中，通过使形成于纸介质p的识别图像x包含主信息的保存目的地信息，从而只要读取识别图像x就知晓主信息位于何处，所以能够取得作为比较对象的主信息。

而且，在本实施方式中，界面图像是根据差异信息自如地输出声音信息的界面，由此能够经由界面图像来确认与差异信息关联起来的声音信息，所以能够确认差异信息的含义。

而且，在本实施方式中，针对作为表示包含于摄像信息的会议内容的变化的指标的每个事件，将差异信息与声音信息关联起来，从而能够在包含于摄像信息的会议内容与包含于主信息的会议内容产生差异时关联声音信息，所以能够使抽出声音信息的时间段与产生差异的时间段匹配。

而且，在本实施方式中，通过使事件的开始前的初期时间和事件的结束后的末期时间包含于声音信息的切出期间，从而以还包括会议内容变化之前和之后的时段的方式抽出声音信息，所以能够抽出更多的用于确认差异信息的含义的声音信息。

而且，在本实施方式中，在差异抽出间隔未超过短期待机时间的情况下，根据同一纸介质p的主信息来抽出差异，从而只要是同一会议就能够对应于同一纸介质p的主信息，所以能够进行基于与会议匹配的主信息的处理。

而且，在本实施方式中，在电子设备3的位置的变位未超过设定移动范围的情况下，根据同一纸介质p的主信息来抽出差异，从而只要是同一会议就能够对应于同一纸介质p的主信息，所以能够进行基于与会议匹配的主信息的处理。

而且，在本实施方式中，可自如地变更检测周期、临时待机期间、或者抽出声音信息的期间，从而能够改变各种设定，所以能够进行与会议内容匹配的处理。

而且，在本实施方式中，能够通过自如地变更短期待机时间或者设定移动范围，变更各种设定，所以能够进行与会议的参加者的特征匹配的处理。

而且，在本实施方式中，在差异抽出间隔未超过短期待机时间的情况下或者在电子设备3的位置未超过设定移动范围的情况下，在变更许可范围内，根据形成印刷图像的纸介质p的张数而动态地自如地变更检测周期、临时待机期间、声音信息、短期待机时间或者设定移动范围，从而能够与会议的内容及会议的参加者匹配地动态地改变各种设定，所以能够将差异信息与声音信息更准确地关联起来。

而且，在本实施方式中，在差异消失的情况下，差异信息与声音信息的关联被解除，从而在向纸介质p的追加事项被删除的情况下，不会使纸介质p的追加事项与该追加事项被追加时的声音关联起来，所以能够反映会议的最新信息。

而且，在本实施方式中，在差异抽出间隔未超过短期待机时间并且抽出差异的情况下、或者电子设备3的位置未超过设定移动范围并且抽出差异的情况下，通过将事件的开始前的初期时间设定为延长用初期时间，能够将事件的开始定时之前的时间设定得较长，所以即使在事件的开始定时之前发生差异，也能够从接近差异发生定时的地方抽出声音信息。

而且，在本实施方式中，在事件发生之后无音状态持续的情况下，以声音的发生为契机抽出声音信息，从而能够在发声定时抽出声音信息，所以能够从会议中的录音信息，高效地抽出所需的声音信息。

而且，在本实施方式中，在检测到向纸介质p的写入开始定时以及声音的发生的情况下，比根据检测周期抽出的差异被检测的时机更优先地，将向纸介质p的写入内容与声音信息关联起来，从而相比于根据检测周期抽出差异，能够在更准确的定时抽出声音信息，所以能够从会议中的录音信息，更准确地抽出所需的声音信息。

而且，在本实施方式中，在与信息处理装置5未建立通信的情况下，保持差异信息以及声音信息并且在与信息处理装置5建立通信之后发送差异信息以及所述声音信息，从而即使暂时未建立通信，由于差异信息以及声音信息不会被删除，所以能够将差异信息、声音信息以及主信息可靠地关联起来。

实施方式2.

在实施方式2中，对与实施方式1相同的结构附加同一符号，省略其说明。在实施方式2中，说明多个输出人员a～c输出一个主信息的情况。

图17是表示本发明的实施方式2中的差异信息与声音信息的关联的一个例子的图。如图17所示，将输出人员a的差异图像数据和录音数据的组信息、输出人员b的差异图像数据和录音数据的组信息、以及输出人员c的差异图像数据和录音数据的组信息与一个主信息关联起来。具体而言，针对每个输出人员信息，将组信息与主信息关联起来。

因此，在本实施方式中，针对每个输出人员信息，将组信息与主信息关联起来，从而以输出人员为单位将主信息与组信息关联起来，所以能够对在同一会议中使用的会议内容关联各个参加者的追加事项。

实施方式3.

在实施方式3中，对与实施方式1、2相同的结构附加同一符号，省略其说明。在实施方式3中，界面图像与实施方式1、2不同。

图18是表示本发明的实施方式3中的主信息、差异信息以及声音信息被关联起来的gui的一个例子的图。如图18所示，表示会议的进展状况的图像包含于界面图像。因此，通过操作表示会议的进展状况的图像，能够再现与其时间点对应的差异图像数据以及录音数据。即，图像控制部154将表示会议的进展状况的图像、声音信息以及差异信息关联起来。

根据以上的说明，在本实施方式中，通过将表示会议的进展状况的图像、声音信息以及差异信息关联起来，能够确认与会议的进展状况对应的声音信息和差异信息，所以能够确认产生差异信息的谈话的流程。

以上，根据实施方式说明了本发明的信息处理系统1，但本发明不限于此，也可以在不脱离本发明的宗旨的范围内进行变更。

例如，在本实施方式中，说明了作为控制部15实现的功能的图像控制部154，但不特别限定于此。例如，也可以独立于控制部15而单独地设置图像控制部154。

另外，虽然说明了对眼镜10安装电子设备3的一个例子，但不限于此，也可以是眼镜10和电子设备3为一体型的结构。

虽然说明了电子设备3和信息处理装置5发送接收的信息处理系统1的一个例子，但不限于此，也可以是搭载有电子设备3的功能的智能手机8和信息处理装置5进行发送接收的系统结构。在该情况下，将实现电子设备3的功能的应用搭载于智能手机8即可。

另外，虽然说明了识别图像x是二维码的一个例子，但不限于此，既可以如条形码那样是一维码，也可以如pm码那样是三维码。另外，虽然说明了识别图像x是二维码中的qr码的一个例子，但不限于此，也可以是cp码等。即，只要通过由摄像部33读取识别图像x而能够取得识别图像信息中所包含的主信息的属性信息，就没有特别限定。

此外，在上述说明中，说明了会议资料是一张的情况，但也可以是多张。具体而言，也可以针对每一张纸介质p，添加一个识别图像x。这样，在纸介质p和识别图像x是一对一地对应的情况下，也可以另行包括对各个识别图像x进行识别的标识符。另外，也可以对多个纸介质p中的任意一张添加一个识别图像x。即，电子设备3能够取得成为基准数据的主信息即可。

另外，如上所述，在纸介质p是多张的情况下，在主信息中包括与多张相应的信息。因此，在抽出纸介质p的各页的印刷图像与和其对应的主信息的差异的情况下，优选为根据摄像部33的摄像信息来识别是哪页的图像。例如，也可以通过参考页编号来识别是哪页的图像。另外，例如也可以从摄像信息抽出特征点，从能够根据主信息再现的印刷图像抽出特征点，根据其一致部分以及类似部分等来识别是哪页的图像。