信息处理系统及信息处理方法与流程

本发明涉及具备移动终端和通过网络与移动终端连接的数据管理装置的信息处理系统及信息处理方法。

背景技术：

近年来，授课的数字化不断发展。例如，提出了将对讲师的语音进行录音，或对讲师在教室的监视器显示的授课内容进行拍摄的东西，作为收录信息进行记录，并且，在授课内容的页编号发生变化的时刻，制成授课内容与收录信息的同步信息而记录的技术(例如，参照专利文献1)。在专利文献1的技术中，能够通过网络，将授课内容与收录信息，在授课内容的页编号变化的时刻同步播放。

现有技术文献

专利文献

专利文献1：日本特开2013-223086号公报

技术实现要素：

发明要解决的问题

然而，在以往的技术中，即使在授课中学生记录笔记，在笔记中写入的内容也不与收录信息等建立关联地被记录。因此，存在以下问题：即使学生一边将收录信息与授课内容一起播放一边重新看笔记，也不知道基于什么在笔记中写入，而不能理解笔记的写入内容。

本发明是鉴于上述课题而完成的，其目的在于，提供通过构成为能够将笔记的写入与在笔记进行了写入的状况一起再现，从而能够容易理解笔记的写入内容的技术。

解决问题的技术方案

本发明的信息处理系统具备移动终端、和通过网络与所述移动终端连接的数据管理装置，该信息处理系统的特征在于，所述移动终端具备：触摸面板部，其显示笔记的页；输入受理部，其通过所述触摸面板部受理向所述页的写入；应用执行部，其能够与所述输入受理部进行的写入的受理同时地执行至少一个以上的应用；记录请求部，其将由所述输入受理部受理的写入数据、和由所述应用执行部执行的各应用的执行内容，分别附加时标后，作为被写入的页的重放数据，向所述数据管理装置发送记录请求；获得请求部，其在所述被写入的页显示在所述触摸面板部时，进行所述被写入的页的所述重放数据的获得请求，从所述数据管理装置接收所述重放数据；以及播放处理部，其基于所述时标同步播放由所述获得请求部接收到的所述重放数据中包含的所述写入数据和所述执行内容，所述数据管理装置具备：记录请求受理部，其从所述移动终端受理所述重放数据的记录请求；数据存储部，其按所述笔记的每个页存储由所述记录请求受理部受理了记录请求的所述重放数据；以及获得请求回应部，其根据来自所述移动终端的获得请求，从所述数据存储部中检索被进行了获得请求的所述重放数据，并向所述移动终端发送。

本发明的信息处理系统具备多个移动终端、和通过网络与所述多个移动终端连接的数据管理装置，该信息处理系统的特征在于，各所述移动终端具备：认证部，其基于所输入的认证信息进行用户认证；触摸面板部，其将作为自用户的笔记的页的自用户页，与作为他用户的笔记的页的他用户页一起显示；输入受理部，其通过所述触摸面板部，受理将从所述他用户页选择的复制对象区域复制到自用户页的写入；应用执行部，其能够与所述输入受理部进行的写入的受理同时地执行至少一个以上的应用；记录请求部，其将由所述输入受理部受理的复制与粘贴数据、和由所述应用执行部执行的各应用的执行内容，分别附加时标后，作为被写入的页的重放数据，向所述数据管理装置发送记录请求；获得请求部，其在所述被写入的页显示在所述触摸面板部时，进行所述被写入的页的所述重放数据的获得请求，从所述数据管理装置接收所述重放数据；以及播放处理部，其基于所述时标同步播放由所述获得请求部接收到的所述重放数据中包含的所述复制与粘贴数据和所述执行内容，所述数据管理装置具备：记录请求受理部，其从所述移动终端受理所述重放数据的记录请求；数据存储部，其按各用户的所述笔记的每个页存储由所述记录请求受理部受理了记录请求的所述重放数据；以及获得请求回应部，其根据来自所述移动终端的获得请求，从所述数据存储部中检索被进行了获得请求的所述重放数据，并向所述移动终端发送，所述记录请求受理部在受理了从所述他用户页复制的所述复制与粘贴数据的记录请求的情况下，针对所述数据存储部，复制与所述复制对象区域对应的所述他用户的所述重放数据，并作为所述自用户页的重放数据存储。

本发明的信息处理方法是由具备移动终端、和通过网络与所述移动终端连接的数据管理装置的信息处理系统执行的信息处理方法，该信息处理方法的特征在于，所述移动终端，在触摸面板部显示笔记的页，通过所述触摸面板部受理向所述页的写入，与写入的受理同时地执行至少一个以上的应用，将所受理的写入数据和执行后的各应用的执行内容，分别附加时标后，作为被写入的页的重放数据，向所述数据管理装置发送记录请求，在所述被写入的页显示在所述触摸面板部时，进行所述被写入的页的所述重放数据的获得请求，从所述数据管理装置接收所述重放数据，基于所述时标同步播放接收到的所述重放数据中包含的所述写入数据和所述执行内容，所述数据管理装置，从所述移动终端受理所述重放数据的记录请求，按所述笔记的每个页，在数据存储部存储受理了记录请求的所述重放数据，根据来自所述移动终端的获得请求，从所述数据存储部中检索被进行了获得请求的所述重放数据，并向所述移动终端发送。

发明效果

根据本发明，能够将笔记的写入与在笔记进行了写入的状况一起再现，能够容易理解笔记的写入内容。

附图说明

图1是本发明涉及的实施方式的信息处理系统的系统构成图。

图2是表示图1所示的移动终端的双联页状态的图。

图3是表示将图1所示的移动终端关闭的状态的图。

图4是表示图1所示的移动终端的构成的方框图。

图5是表示图4所示的电话应用部和笔记应用部联合的状况的图。

图6是表示图1所示的数据管理装置的构成的方框图。

图7是图6所示的数据库的目录构成图。

图8是表示图7所示的重放数据的记录例的图。

图9是表示图1所示的信息处理系统的记录处理的流程的流程图。

图10是表示在向笔记的页写入时参照文档数据或网页的状况的图。

图11是表示在笔记的页将文档数据进行了复制与粘贴后的状况的图。

图12是表示在笔记的页将他用户的页的写入内容进行了复制与粘贴后的状况的图。

图13是表示将他用户的重放数据复制到自己的页的状况的图。

图14是表示与复制对象区域对应的他用户的重放数据的图。

图15是表示复制对象区域以跨越多页被分割的方式复制的状况的图。

图16是表示与分割后的复制对象区域对应的重放数据被复制的状况的图。

图17是表示与分割后的复制对象区域对应的重放数据被复制的状况的图。

图18是表示图1所示的信息处理系统的播放处理的流程的流程图。

图19是表示在图1所示的移动终端显示了播放条的状况的图。

图20是表示在重放数据的播放中发生定时中断的状况的图。

具体实施方式

下面，参照附图对本发明的实施方式详细进行说明。此外，在以下的实施方式中，对表示相同功能的构成赋予相同的符号。

<系统构成>

如图1所示，本实施方式的信息处理系统x具备：学生等用户各自作为笔记利用的移动终端1、和通过互联网等网络3与移动终端1连接的数据管理装置2。

<移动终端的构成>

移动终端1如图2及图3所示，具备第1触摸面板14a、和第2触摸面板14b。第1触摸面板14a和第2触摸面板14b通过图3所示的铰接部10而自由转动地连结。通过将第1触摸面板14a和第2触摸面板14b以铰接部10的转动轴为中心地转动，移动终端1成为第1触摸面板14a的第1显示部141和第2触摸面板14b的第2显示部143在同一平面上相邻的双联页状态(参照图2)、或第1触摸面板14a的第1显示部141和第2触摸面板14b的第2显示部143面对面地关闭的状态(参照图3)。

另外，第1触摸面板14a在前面侧(第1显示部141侧)如图2所示那样设有麦克风11、扬声器12、和前面相机13a，在背面侧设有图3所示的背面相机13b。设置麦克风11、扬声器12、前面相机13a和背面相机13b的位置也可以适当地变更，另外，不限于第1触摸面板14a，也可以是第2触摸面板14b。另外，在第1触摸面板14a和第2触摸面板14b，设有受理各种操作的操作按钮40。操作按钮40可以是硬键，也可以是软件键。

图4是表示移动终端1的构成的功能方框图。移动终端1具备：麦克风11、扬声器12、成像部13、触摸面板部14、终端存储部16、通信部15、和终端控制部17。

麦克风11基于输入语音生成语音数据，并向终端控制部17输出。

扬声器12基于从终端控制部17输入的语音数据向外部输出语音。

成像部13包括前面相机13a和背面相机13b，将由前面相机13a和背面相机13b分别成像的图像数据向终端控制部17输出。成像部13具备静止画及动画的成像功能。

触摸面板部14包括第1触摸面板14a和第2触摸面板14b。第1触摸面板14a具备：第1显示部141和触摸传感器142。第1显示部141是液晶显示器、有机el显示器、等离子显示器等。在第1显示部141的显示面之上设有形成为透明的片状的触摸传感器142。

第2触摸面板14b具备：第2显示部143和触摸传感器144。第2显示部143是电子纸。在第2显示部143的显示面之上设有形成为透明的片状的触摸传感器144。此外，不只是第2显示部143，第1显示部141也可以由电子纸构成。另外，也可以将第1显示部141和第2显示部143设为作为笔记容易利用的a4尺寸。

触摸传感器142、144是检测用户用触笔或手指等指示体30接触的显示面上的位置，并将与位置相应的位置坐标向终端控制部17输出的位置输入装置。作为触摸传感器142、144，可以使用静电容量式、超声波式、压力感测式、电阻膜式、光电检测式等。

通信部15具有利用wi-fi(注册商标)或移动电话网等，经由互联网等网络3，与数据管理装置2或其他移动终端1通信的功能。

终端存储部16是半导体存储器或hdd(harddiskdrive，硬盘驱动器)等存储单元。终端存储部16中存储有笔记应用16a、文档应用16b、浏览器应用16c、电话应用16d等各种应用程序。

笔记应用16a是制成由多页构成的笔记，使得在所制成的笔记上通过第2触摸面板14b能够写入的应用程序。

文档应用16b是用于对word(注册商标)或excel(注册商标)、pdf等文档进行制成、显示和编辑的应用程序。

浏览器应用16c是用于在触摸面板部14显示网页的应用程序。

电话应用16d是用于实现电话功能的应用程序。笔记应用16a、文档应用16b、浏览器应用16c及电话应用16d也可以是web应用。

终端控制部17分别与麦克风11、扬声器12、成像部13、触摸面板部14、通信部15、终端存储部16连接。终端控制部17是具备cpu(centralprocessingunit，中央处理器)、rom(readonlymemory，只读存储器)、ram(randomaccessmemory，随机存储器)等的微型计算机等信息处理部。在rom中存储有用于进行移动终端1的工作控制的控制程序。终端控制部17的cpu通过读取在rom中存储的控制程序，并将控制程序在ram中展开，来进行终端整体的控制。例如，作为终端控制部17的os(operatingsystem，操作系统)，可以使用linux(注册商标)、android(注册商标)、云os等。另外，终端控制部17作为输入受理部171、认证部172、应用执行部173、记录请求部174、获得请求部175、播放处理部176发挥功能。

输入受理部171利用各个触摸传感器142、144检测出指示体30对第1触摸面板14a及第2触摸面板14b的接触，并受理对应的操作。例如，输入受理部171利用笔记应用16a受理向在第2触摸面板14b显示的页51的写入，并在页51上显示表示从第2触摸面板14b输入的位置坐标的点。由此，位置坐标的轨迹被作为手写数据描绘在页51。

认证部172将受理认证信息的输入的未图示的认证画面在触摸面板部14显示。而且，认证部172将通过输入受理部171在认证画面输入的认证信息向数据管理装置2发送，在与数据管理装置2之间进行用户认证。例如，数据管理装置2将从认证部172发送来的认证信息(例如，用户id及密码)与预先登记的账户信息(例如，用户id及密码等)对照。而且，在对照结果一致的情况下，数据管理装置2例如向认证部172发送认证成功通知。由此，进行用户的登录。

应用执行部173在由输入受理部171受理了应用启动操作的情况下，启动对应的应用程序。例如，输入受理部171根据与文档应用16b、浏览器应用16c、电话应用16d、笔记应用16a建立对应的图2所示的各图标50的任意一个被触摸，来受理应用启动操作，使与被触摸的图标50对应的应用程序启动。

应用执行部173不只是能够执行一个应用程序，还能够并行地执行多个应用程序。若笔记应用16a、文档应用16b、浏览器应用16c、及电话应用16d分别启动了，则应用执行部173作为实现笔记应用16a的功能的笔记应用部173a、实现文档应用16b的功能的文档应用部173b、实现浏览器应用16c的功能的浏览器应用部173c、及实现电话应用16d的功能的电话应用部173d分别发挥功能。

笔记应用部173a通过作为电子纸的第2触摸面板14b受理由多页构成的新笔记的制成、显示及编辑。

文档应用部173b与word(注册商标)、excel(注册商标)、pdf等各种文档格式对应。文档应用部173b通过第1触摸面板14a受理教材内容等文档的制成、显示及编辑。

浏览器应用部173c将通过通信部15从互联网等获得的网站在第1触摸面板14a显示。

电话应用部173d通过通信部15控制与其他用户之间的语音通话。电话应用部173d不只是能够进行一对一的通话，还能够进行与多人通话的群通话。

电话应用部173d与笔记应用部173a联合。若电话应用16d启动了，则应用执行部173作为电话应用部173d发挥功能，在第1触摸面板14a显示用于选择通话对方的图5所示的通讯簿55。与此同时，应用执行部173启动笔记应用16a，来作为笔记应用部173a发挥功能，在第2触摸面板14b显示能够写入的新的页51。发信者能够在进行电话通话时在页51记笔记。

在发信者的第2触摸面板14b显示的页51在数据管理装置2中被作为通话者之间的共享页而登记，与通话对方共享。来信侧的移动终端1若收到来自发信侧的电话应用部173d的来信，则利用应用执行部173启动电话应用16d，使与发信者之间的视频通话能够进行，将表示通话对方的图像56在第1触摸面板14a显示。与此同时，应用执行部173启动笔记应用16a，从数据管理装置2获得在通话者之间共享的页51，并在第2触摸面板14b显示。由此，发信者和来信者能够通过页51共享写入。

为了在通话者之间共享写入，例如，也可以在数据管理装置2设置mqtt(messagequeuetelemetrytransport，遥测传输协议)服务器。mqtt服务器按每个通话受理通话者的登记，将所登记的1人的通话者在移动终端1上进行的操作向其他通话者实时地通知而反映。由此，能够在通话者之间共享页51的写入。另外，不只是页51，也可以在通话者之间共享基于文档应用16b的文档数据或基于浏览器应用16c的网站。

记录请求部174将在第2触摸面板14b显示的页51上通过输入受理部171写入的写入数据，作为被写入的页51的重放数据60，附加时标后，经由通信部15实时地向数据管理装置2发送记录请求。另外，记录请求部174在由输入受理部171受理了向页51的写入的情况下，将由应用执行部173执行的文档应用16b、浏览器应用16c及电话应用16d的执行内容等，作为被写入的页51的重放数据60，附加时标后，经由通信部15实时地向数据管理装置2发送记录请求。此外，时标是表示由未图示的计时部计时的当前时刻的信息。另外，记录请求部174能够在重放数据60中包含由麦克风11生成的语音数据，或包含由成像部13拍摄到的图像数据等。

获得请求部175当在第2触摸面板14b显示了完成写入的页51(由记录请求部174发送完重放数据60的页51)时，将页51的重放数据60的获得请求经由通信部15向数据管理装置2发送，从数据管理装置2接收重放数据60。

播放处理部176将由获得请求部175获得的重放数据60中包含的写入数据和执行内容，基于分别附加的时标，进行同步播放。

<数据管理装置的构成>

图6是数据管理装置2的概略构成图。如图5所示那样，数据管理装置2具备要求处理部21、和数据存储部22。数据管理装置2也可以是云系统。

要求处理部21具有处理来自移动终端1的要求的功能，也可以由多个web服务器(网站服务器)构成。要求处理部21具备：记录请求受理部211、获得请求回应部212、和应用处理部213。

记录请求受理部211受理从移动终端1通过网络3发送来的重放数据60的记录请求，将重放数据60存储在数据存储部22中。

数据存储部22例如也可以由数据库服务器构成。数据存储部22具有数据库221和大容量存储部222，存储记录请求受理部211已受理的重放数据60。

图7是表示数据库221的目录构成的图。数据库221具有按“数据”、“用户”、“笔记”、“页”的目录顺序构成的分层结构。“用户”按每个用户而设置，设置为能够利用用户id等识别。“笔记”按用户制成的每个笔记而设置，设置为能够利用笔记名等识别。“页”按构成笔记的每个页51而设置，设置为能够利用页id等识别。

从移动终端1发送来的重放数据60作为页数据被保存在“页”的配下。重放数据60包括麦克风录音数据61、来信录音数据62、发信录音数据63、手写数据64、复制与粘贴数据65、日期标记数据66、和应用事件67。手写数据64和复制与粘贴数据65是在页51中描绘的写入内容，但是，麦克风录音数据61、来信录音数据62、发信录音数据63及应用事件67等是用户作为向页51的写入的参考的参考信息。也就是，数据库221按各用户具有的各笔记的每个页51，将向页51的写入内容和作为向页51的写入的参考的参考信息一起存储。

图8是表示重放数据60的记录例的图。麦克风录音数据61、来信录音数据62、发信录音数据63被以wav等语音文件格式记录。手写数据64被以svg等载体格式记录。另外，复制与粘贴数据65包含字符或图像、链接地址的url(统一资源定位符)等而被记录。日期标记数据66记录了日期时间信息。应用事件67记录了应用的执行内容。

此外，在图7中，文档数据被保存在“用户”的配下。当在重放数据60中包含文档应用部173b的应用事件67的情况下，该应用事件67包含文档应用部173b进行了显示的文档数据的文件名。因此，当在重放数据60中包含文档应用部173b的应用事件67的情况下，文档应用部173b能够基于应用事件67，从数据管理装置2获得显示对象的文档数据并显示。

大容量存储部222是hdd等大容量存储单元，存储wav、xml、svg、json、pdf、word(注册商标)、excel(注册商标)等各种数据。如麦克风录音数据61、来信录音数据62、发信录音数据63、手写数据64、及文档数据那样，数据量较大的数据的实体被存储在大容量存储部222中。

获得请求回应部212从移动终端1经由网络3受理重放数据60的获得请求，并从数据存储部22中检索被进行了获得请求的页51的重放数据60。而且，获得请求回应部212将通过检索找到的重放数据60经由网络3向移动终端1发送。

应用处理部213根据来自由移动终端1的应用执行部173执行的各应用的要求，进行各种的应用处理。例如，应用处理部213根据来自电话应用部173d的要求，进行经由公用线路等网络4的呼叫控制。数据管理装置2也可以具备用于进行电话的呼叫控制处理的webrtc网关或ip-pbx、sip服务器。另外，应用处理部213也可以具备提供笔记应用部173a的功能的笔记应用服务器、提供文档应用部173b的功能的文档应用服务器、提供浏览器应用部173c的功能的浏览器服务器、提供电话应用部173d的功能的电话服务器而构成。

<记录处理>

接着，参照图9对重放数据60的记录处理的流程进行说明。此外，设为，预先由认证部172在与数据管理装置2之间进行完用户认证。

移动终端1的应用执行部173若在第2触摸面板14b显示了基于笔记应用16a的页51(s11)，则根据用户的操作，由输入受理部171受理向页51的写入(s12)。用户能够在页51显示在第2触摸面板14b时选择针对所显示的页51进行写入还是进行后述的重放数据60的播放。

接着，记录请求部174开始记录处理(s13)，制成表示记录开始日期时间的日期标记数据66，附加时标后，作为页51的重放数据60，向数据管理装置2发送记录请求(s14)。

数据管理装置2的记录请求受理部211受理来自记录请求部174的记录请求，将作为重放数据60从记录请求部174发送来的日期标记数据66，存储在数据存储部22的页51的配下(s15)。

接着，记录请求部174判断是否由应用执行部173执行了作为笔记应用16a以外的应用的其他应用(s16)。在未执行文档应用16b或浏览器应用16c、电话应用16d等其他应用的情况下(s16：“否”)，处理向s19推进。

另一方面，在由应用执行部173执行了其他应用的情况下(s16：“是”)，记录请求部174获得表示分别被执行的应用的执行内容的应用事件67，附加时标后，作为页51的重放数据60，向数据管理装置2发送记录请求(s17)。

例如，设为，如图10所示那样，当在页51进行写入的情况下，基于文档应用16b的文档数据52、基于浏览器应用16c的网站53被显示在第1触摸面板14a。在该情况下，获得表示文档应用16b的执行内容的应用事件67和表示浏览器应用16c的执行内容的应用事件67，分别附加时标后，作为重放数据60发送。由此，能够与页51建立关联地记录当在页51写入时用户进行了参照的文档数据52、与网站53有关的信息。

数据管理装置2的记录请求受理部211受理来自记录请求部174的记录请求，并将作为重放数据60从记录请求部174发送来的应用事件67，存储在数据存储部22的页51的配下(s18)。

接着，记录请求部174判断是否利用输入受理部171在页51进行了手写输入(s19)。在未进行手写输入的情况下(s19：“否”)，处理向s22推进。另一方面，当在页51进行了手写输入的情况下(s19：“是”)，记录请求部174获得利用输入受理部171在页51进行了写入的手写数据64，附加时标后，作为页51的重放数据60，向数据管理装置2发送记录请求(s20)。

数据管理装置2的记录请求受理部211受理来自记录请求部174的记录请求，并将作为重放数据60从记录请求部174发送来的手写数据64，存储在数据存储部22的页51的配下(s21)。

接着，记录请求部174判断是否利用输入受理部171对麦克风按钮31进行了打开操作(s22)。

麦克风按钮31当输入受理部171受理向页51的写入的情况下，在触摸面板部14显示。麦克风按钮31在每次通过触摸面板部14被触摸时，打开和关闭被切换。在麦克风按钮31打开期间，由麦克风11生成基于输入语音的语音数据，进行录音。当在不是通话中的状态下麦克风按钮31成为打开的情况下，由麦克风11生成的语音数据被作为麦克风录音数据61由记录请求部174获得。当在通话中麦克风按钮31成为打开的情况下，由麦克风11生成的语音数据被作为发信录音数据63由记录请求部174获得，并且，通过网络3来信的通话对方的语音数据，被作为来信录音数据62由记录请求部174获得。

当麦克风按钮31未打开的情况下(s22：“否”)，处理向s25推进。另一方面，当麦克风按钮31被打开的情况下(s22：“是”)，记录请求部174根据通话状况，作为录音数据而获得麦克风录音数据61、或发信录音数据63及来信录音数据62，附加时标后，作为页51的重放数据60，向数据管理装置2发送记录请求(s23)。由此，例如，能够将讲师等的语音或通话语音进行录音。

数据管理装置2的记录请求受理部211受理来自记录请求部174的记录请求，并将作为重放数据60从记录请求部174发送来的录音数据，存储在数据存储部22的页51的配下(s24)。

接着，记录请求部174判断是否利用输入受理部171对页51进行了复制与粘贴(s25)。在未进行复制与粘贴的情况下(s25：“否”)，处理向s28推进。

另一方面，在进行了复制与粘贴的情况下(s25：“是”)，记录请求部174获得利用输入受理部171在页51进行了写入的复制与粘贴数据65，附加时标后，作为页51的重放数据60，向数据管理装置2发送记录请求(s26)。

例如，如图11所示那样，用户可以使用指示体30从文档数据52或网站53选择复制对象区域80a，并将所选择的复制对象区域80a内的字符或图像、链接信息复制，在页51内的所指定的位置粘贴，来进行复制与粘贴。

数据管理装置2的记录请求受理部211受理来自记录请求部174的记录请求，并将作为重放数据60从记录请求部174发送来的复制与粘贴数据65，存储在数据存储部22的页51的配下(s27)。

接着，记录请求部174判断输入受理部171进行的写入的受理是否结束(s28)。例如，在通过用户的操作进行了关闭笔记的操作，或进行了下一页的显示操作的情况下，向正在显示的页51的写入的受理结束。如果写入的受理没有结束(s28：“否”)，则返回到s16，重复从s16到s28的处理。也就是，在输入受理部171受理向页51的写入的期间，由记录请求部174进行重放数据60的记录请求。

若输入受理部171进行的写入的受理结束(s28：“是”)，则记录请求部174制成表示记录结束日期时间的日期标记数据66，附加时标后，作为页51的重放数据60，向数据管理装置2发送记录请求(s29)。

数据管理装置2的记录请求受理部211受理来自记录请求部174的记录请求，并将作为重放数据60从记录请求部174发送来的日期标记数据66，存储在数据存储部22的页51的配下(s30)。

接着，记录请求部174结束记录处理(s31)。按每个被写入的页51重复以上的处理。

此外，如图12所示那样，也可以将其他用户(例如用户a)制成的笔记的页51在自己的移动终端1的第2触摸面板14b显示，将用户a的页51的写入内容在自己(用户b)的写入对象的页51进行复制与粘贴。在该情况下，用户b通过输入预先设定的认证密钥，能够将用户a允许的页51在自己的移动终端1显示。预先用户a通过自己的移动终端1的笔记应用部173a与数据管理装置2进行通信，对允许用户b显示的页51设定密码等认证密钥即可。

在该情况下，若记录请求部174对复制与粘贴数据65附加时标后发送了重放数据60的记录请求，则如图13所示那样，数据管理装置2的记录请求受理部211作为被进行了记录请求的复制与粘贴数据65，而包含与复制对象区域80a对应的用户a的重放数据60，存储在用户b的页51的配下。

也就是，不只是复制对象区域80a内的写入数据(手写数据64及复制与粘贴数据65)，复制对象区域80a内的写入数据中的与从最初的时标到最后的时标对应的用户a的重放数据60也成为复制对象。例如，在图14中，作为与复制对象区域80a对应的用户a的重放数据60，包含麦克风录音数据61、手写数据64、复制与粘贴数据65和应用事件67。

由此，将用户b从用户a的页51复制的复制对象区域80a的写入数据，以用户a作为写入的参考的文档数据52或网站53等信息为主干(backbone)，粘贴在用户b的页51。

此外，如图15所示那样，在将从用户a的页51复制的复制对象区域80a在用户b的页51粘贴时，根据粘贴的位置，有时复制对象区域80a比进行了粘贴的位置以后的页51的能够写入区域(能够粘贴区域)大。在该情况下，进行了粘贴的复制对象区域80a跨越下一个页51，而被分割为连续的多个页51粘贴。在图15中，复制对象区域80a被分割为复制对象区域80a-1和80a-2粘贴。

为此，首先，记录请求部174将基于分割而成的一方的复制对象区域80a-1的复制与粘贴数据65，附加时标后，进行重放数据60的记录请求。接着，在用户b的写入对象的页51，能够写入区域没有了，因此，记录请求部174判断为写入结束，制成表示记录结束日期时间的日期标记数据66，附加时标后，进行重放数据60的记录请求。

接着，为了粘贴分割而成的另一方的复制对象区域80a-2，利用笔记应用16a显示用户b的下一个页51，由输入受理部171受理写入。接着，记录请求部174开始记录处理，并制成表示记录开始日期时间的日期标记数据66，附加时标后，进行重放数据60的记录请求。接着，分割而成的另一方的复制对象区域80a-2在页51被粘贴，因此，记录请求部174对基于另一方的复制对象区域80a-2的复制与粘贴数据65，附加时标后，进行用户b的重放数据60的记录请求。

由此，如图16及图17所示那样，由记录请求受理部211，在数据存储部22的用户b的连续的多个页51，作为复制与粘贴数据65，而复制了分别与用户a的复制对象区域80a-1及复制对象区域80a-2对应的重放数据60。

此外，在作为复制源的用户a在复制对象区域80a内的写入中包含从用户c的页51复制的写入数据进行了制成的情况下，复制对象区域80a包含用户a的重放数据60和用户c的重放数据60。在该情况下，记录请求受理部211若从用户b作为重放数据60而受理了复制与粘贴数据65的记录请求，则将与复制对象区域80a对应的多个用户的重放数据60复制，并在用户b的页51的配下作为复制与粘贴数据65存储。

<播放处理>

接着，参照图18，对播放重放数据60的播放处理的流程进行说明。此外，设为，预先由认证部172在与数据管理装置2之间进行完用户认证。

若移动终端1的输入受理部171受理了打开笔记的操作(s51)，则获得请求部175将最终更新页的重放数据60的获得请求向数据管理装置2发送(s52)。最终更新页是最后在第2触摸面板14b显示的页51，是最近的页51。如新笔记那样，在是一次也没有打开过的笔记的情况下，将第一页设为最终更新页即可。

数据管理装置2的获得请求回应部212受理来自获得请求部175的获得请求，并从数据存储部22中检索被进行了获得请求的页51的重放数据60(s53)。通过该检索，获得请求回应部212从数据存储部22中获得在最终更新页的目录保存的日期标记数据66、应用事件67、手写数据64、录音数据、复制与粘贴数据65等，作为重放数据60(s54)。此外，将在数据存储部22中存储的日期标记数据66或时标中的、保存有最新日期时间的页51确定为最终更新页即可。另外，当在显示最终更新页后，进行了下一页或前一页的显示操作的情况下，显示对象的重放数据60的获得请求被向数据管理装置2发送，基于从数据管理装置2获得的重放数据60，显示对象的页51被显示。

接着，获得请求回应部212将所获得的页51的重放数据60向移动终端1发送(s55)。此外，在是一次也没有受理写入的新页的情况下，在其目录中未保存重放数据60。因此，在进行了新页的获得请求的情况下，作为重放数据60而发送空的信息(例如null等)，在触摸面板部14只显示什么都未写入的页51。

若由移动终端1的获得请求部175获得了来自数据管理装置2的重放数据60，则播放处理部176将直到最后写入了在重放数据60中包含的手写数据64和复制与粘贴数据65的页51(最终更新页)，通过笔记应用16a在第2触摸面板14b显示(s56)。

接着，播放处理部176基于重放数据60中包含的应用事件67，将基于笔记应用16a以外的其他应用的在最后显示的画面，在触摸面板部14显示(s57)。也就是，前次在结束了向页的写入时在触摸面板部14显示的基于其他应用的画面，显示在触摸面板部14。由此，在最后显示的文档数据52或网站53，显示在触摸面板部14。

接着，播放处理部176将用于播放重放数据60的图19所示的播放条70，在第2触摸面板14b显示(s58)。

播放条70具备：能够播放区域71、播放光标72、播放开始按钮73、和播放停止按钮74，作为播放操作受理部而发挥功能。能够播放区域71是表示重放数据60的播放时间长度的区域。播放光标72是表示能够播放区域71内的播放位置的光标，通过第2触摸面板14b，能够滑动到能够播放区域71内的任意的位置。播放开始按钮73若被触摸，则从与播放光标72的播放位置对应的时刻开始播放重放数据60。播放停止按钮74若被触摸，则停止重放数据60的播放。

若用户触摸了播放开始按钮73，从而播放条70受理了播放操作(s59)，则播放处理部176暂且取消基于与播放光标72表示的播放位置对应的时刻的时标以后的重放数据60的显示，并从与播放光标72表示的播放位置对应的时刻的时标开始按顺序播放重放数据60(s60)。由此，重放数据60内的、从具有与播放光标72表示的时刻对应的时标的数据到具有最终时刻的时标的数据被按时序播放。此外，也可以，根据用户在页51内触摸想开始播放的位置的写入数据，播放处理部176以被触摸的写入数据的时标作为播放位置，播放重放数据60。

这时，播放处理部176如图20所示那样，在重放数据60的播放中，按每特定时间(例如每1秒)产生定时中断。接着，播放处理部176通过获得请求部175，进行具有以下时标的重放数据60的获得请求，并从数据管理装置2获得，该时标是与所产生的定时中断对应的时刻起特定时间内(直到下一次产生的定时中断为止的时间)所对应的时标。而且，播放处理部176将所获得的符合期间的数据，交给笔记应用部173a、文档应用部173b、浏览器应用部173c及电话应用部173d中的至少一个以上进行同步播放。

也就是，也可以构成为，播放处理部176将播放对象的重放数据60通过获得请求部175从数据管理装置2依次获得并进行流媒体播放。据此，由于减少在将最终更新页在第2触摸面板14b显示时进行接收的重放数据60的数据量，因此，能够马上显示最终更新页。

以上，用户在页进行了写入时的过程被再现，播放处理结束。

这样，本实施方式的信息处理系统是具备移动终端、和通过网络与移动终端连接的数据管理装置的信息处理系统，其特征在于，移动终端具备：触摸面板部，其显示笔记的页；输入受理部，其通过触摸面板部受理向页的写入；应用执行部，其能够与输入受理部进行的写入的受理同时地执行至少一个以上的应用；记录请求部，其将由输入受理部受理的写入数据和由应用执行部执行的各应用的执行内容，分别附加时标后，作为被写入的页的重放数据，向数据管理装置发送记录请求；获得请求部，其在被写入的页显示在触摸面板部时，进行被写入的页的重放数据的获得请求，从数据管理装置接收重放数据；以及播放处理部，其基于时标同步播放由获得请求部接收到的重放数据中包含的写入数据和执行内容，数据管理装置具备：记录请求受理部，其从移动终端受理重放数据的记录请求；数据存储部，其按笔记的每个页存储由记录请求受理部受理了记录请求的重放数据；以及获得请求回应部，其根据来自移动终端的获得请求，从数据存储部中检索被进行了获得请求的重放数据，并向移动终端发送。

由此，若用户在移动终端1所显示的页51中进行了写入，则在页51写入时作为参考的文档数据52或网站53、基于麦克风11的语音数据等，被附加时标后，与写入数据一起，与页51建立关联地作为重放数据60被记录。而且，在使已经写入的页51进行了显示时，能够获得页51的重放数据，基于时标同步播放重放数据60中包含的各数据。因此，能够构成为，能够将笔记的写入与在笔记进行了写入的状况一起再现，能够辅助用户容易理解笔记的写入内容。

〔其他实施方式〕

在以往的技术中，即使在授课中学生记录笔记，在笔记中写入的内容也不与收录信息等建立关联地被记录。因此，例如存在以下问题：即使休课的学生一边看从其他学生复制的笔记的写入，一边将收录信息与授课内容一起播放，有时也不知道基于什么在笔记中写入，而不能理解笔记的写入内容。

对此，其他的本实施方式的信息处理系统x是具备多个移动终端1、和通过网络3与多个移动终端1连接的数据管理装置2的信息处理系统x，其特征在于，各移动终端1具备：认证部172，其基于所输入的认证信息进行用户认证；触摸面板部14，其将作为自用户的笔记的页51的自用户页，与作为他用户的笔记的页51的他用户页一起显示；输入受理部171，其通过触摸面板部14，受理将从他用户页选择的复制对象区域80a复制到自用户页的写入；应用执行部173，其能够与输入受理部171进行的写入的受理同时地执行至少一个以上的应用；记录请求部174，其将由输入受理部171受理的复制与粘贴数据65、和由应用执行部173执行的各应用的执行内容，分别附加时标后，作为被写入的页51的重放数据60，向数据管理装置2发送记录请求；获得请求部175，其在被写入的页51显示在触摸面板部14时，进行被写入的页的重放数据60的获得请求，从数据管理装置2接收重放数据60；以及播放处理部176，其基于时标同步播放由获得请求部175接收到的重放数据60中包含的复制与粘贴数据65和执行内容，数据管理装置2具备：记录请求受理部211，其从移动终端1受理重放数据60的记录请求；数据存储部22，其按各用户的笔记的每个页51存储由记录请求受理部211受理了记录请求的重放数据60；获得请求回应部212，其根据来自移动终端1的获得请求，从数据存储部22中检索被进行了获得请求的重放数据60，并向移动终端1发送，记录请求受理部211在受理了从他用户页复制的复制与粘贴数据65的记录请求的情况下，针对数据存储部22，复制与复制对象区域80a对应的他用户的重放数据60，并作为自用户页的重放数据60存储。

由此，若用户在移动终端1所显示的自己的页51中将从他用户的页51选择的复制对象区域80a进行了复制与粘贴，则不只是复制对象区域内80a中的写入数据，也将他用户将该写入数据进行了写入时所执行的应用的执行内容，复制到数据存储部22的自己的页51中。而且，在用户播放从他用户的页51进行了复制与粘贴的自己的页51的情况下，在复制与粘贴数据65的播放位置，与他用户在笔记进行了写入的状况一起播放他用户进行的写入。因此，能够辅助用户容易理解笔记的写入内容。

本发明不限定于上述的实施方式，当然，在不脱离本发明的主旨的范围内，能够进行各种各样的改变。