信息处理设备、控制方法、程序和系统的制作方法

信息处理设备、控制方法、程序和系统的制作方法
【专利摘要】[目的]为了提供一种信息处理设备、控制方法、程序和系统，其能够与对话者共享与对话者有关的过去的数据。[解决方案]提供一种信息处理设备，包括：显示控制单元，其被配置成以安置在用户的眼睛之前的显示单元显示与识别的对话者有关的过去的数据的方式进行控制；以及共享设置控制单元，其被配置成以与另一个人的过去的数据的共享被设置的方式进行控制。
【专利说明】
信息处理设备、控制方法、程序和系统
技术领域
[0001 ]本公开设及信息处理设备、控制方法、程序和系统。
【背景技术】
[0002] 最近几年中，已经提出设及头戴式显示器化MD)的各种技术，HMD为安装在头上的 可穿戴设备。例如，专利文献1公开在用户佩戴着头戴式显示器并且观看内容的情况下，W 更有效的方式向用户视觉上显示环境声的技术。
[0003] 在具有对应于透镜的半透明显示单元的眼镜型HMD的情况下，用户可W-直佩戴 歷D而没有他/她的日常生活的任何问题。用户也可能日常佩戴运种HMD,通过在HMD中提供 的声音收集单元和成像单元连续记录用户的环境，并且将他/她的生活日志积累在用户可 访问的存储(包括云存储）中。
[0004] 除生活日志之外，由用户使用信息处理设备(诸如智能手机或平板终端)定期剪辑 的一组信息(文件、图像、网站的链接信息等)可W被保存为积累在存储中的数据。
[000引引文列表
[0006] 专利文献
[0007] 专利文献1:肝 2011-250100A

【发明内容】

[000引技术问题
[0009] 当用户与对话者在真实空间的会议上或用户经由视频会议连接到对话者时，有时 用户回忆与对话者有关的过去的记忆。例如，用户回忆与对话者过去的电子邮件交流、与对 话者过去会议的细节等。
[0010] 如果用户可W与对话者共享回忆的过去的记忆，则可W进行更好的讨论。
[0011] 然而，上述相关技术从来不考虑运些需求。
[0012] 因此，本公开提出一种信息处理设备、控制方法、程序和系统，其能够与对话者共 享与对话者有关的过去的数据。
[0013] 问题的解决方案
[0014] 根据本公开，提供一种信息处理设备，包括：显示控制单元，其被配置成W安置在 用户的眼睛之前的显示单元显示与识别的对话者有关的过去的数据的方式进行控制；W及 共享设置控制单元，其被配置成W与另一个人的过去的数据的共享被设置的方式进行控 制。
[0015] 根据本公开，提供一种控制方法，包括：W安置在用户的眼睛之前的显示单元显示 与识别的对话者有关的过去的数据的方式进行控制；W及W与另一个人的过去的数据的共 享被设置的方式进行控制。
[0016] 根据本公开，提供一种程序，其用于使计算机充当：显示控制单元，其被配置成W 安置在用户的眼睛之前的显示单元显示与识别的对话者有关的过去的数据的方式进行控 审IJ; W及共享设置控制单元，其被配置成W与另一个人的过去的数据的共享被设置的方式 进行控制。
[0017] 根据本公开，提供一种系统，包括:服务器，其被配置成存储每个用户的过去的数 据；可穿戴设备，其被配置成安装在用户的头上并且具有安置在用户的眼睛之前的显示单 元；W及用户终端，包括显示控制单元，其被配置成W显示单元显示从服务器获取的过去的 数据的方式进行控制，过去的数据与识别的对话者有关；W及共享设置控制单元，其被配置 成W与另一个人的过去的数据的共享被设置的方式进行控制。
[0018] 本发明的有利效果
[0019] 根据如上所述的本公开，可能与对话者共享与对话者有关的过去的数据。
[0020] 另外，在本说明书中所述的效果仅是说明性和示范性的，而不是限制性的。换句话 说，根据本公开的技术可W连同基于本说明书的效果一起或替代基于本说明书的效果而呈 现对本领域技术人员显而易见的其他效果。
【附图说明】
[0021] 图1是图示根据本公开的实施方案的信息共享系统的概述的说明图。
[0022] 图2A是图示在一个方向上的根据实施方案的HMD的外观的实例的图解。
[0023] 图2B是图示在另一个方向上的根据实施方案的HMD的外观的实例的图解。
[0024] 图3是补充图示在根据实施方案的HMD中提供的成像单元的安装位置的图解。
[0025] 图4是图示根据实施方案的HMD的内部配置实例的方框图。
[0026] 图5是图示根据实施方案的用户终端的配置实例的方框图。
[0027] 图6是图示根据实施方案的云存储的配置实例的方框图。
[002引图7是图示根据实施方案的生活日志保存处理的顺序图。
[0029] 图8是图示在生活记录器运行时的操作处理的顺序图。
[0030] 图9是图示根据实施方案的元数据生成处理的顺序图。
[0031 ]图10是图示根据实施方案的回忆应用程序启动处理的顺序图。
[0032] 图11是图示根据实施方案的在回忆应用程序启动时经由HMD视场改变的说明图。
[0033] 图12是图示根据实施方案的过去的数据捜索处理的顺序图。
[0034] 图13是图示通过轻弹操作查看材料组的情况的说明图。
[0035] 图14是图示查看一种材料的内容的情况的说明图。
[0036] 图15是图示关键词显示控制处理的顺序图。
[0037] 图16是图示关键词显示实例的说明图。
[0038] 图17是图示根据实施方案的关键词选择/捜索处理的顺序图。
[0039] 图18是图示关键词捜索结果显示屏的实例的图解。
[0040] 图19是图示目标材料估计处理的说明图。
[0041] 图20是图示基于比较的"它"的候选列表的实例的图解。
[0042] 图21是图示通过反馈学习扩展元数据的情况的说明图。
[0043] 图22是图示用于向不参加对话的人显示候选材料的处理的说明图。
[0044] 图23是图示根据实施方案的共享处理的顺序图。
[0045] 图24是图示共享设置操作的说明图。
[0046] 图25是图示用于显示从用户A到用户B共享的材料的屏幕的实例的图解。
[0047] 图26是图示根据实施方案的共享材料复制处理的顺序图。
[0048] 图27是图示共享材料复制操作的说明图。
[0049] 图28是图示共享材料的查看的说明图。
【具体实施方式】
[0050] 在下文中，将参照附图详细地描述本公开的一个或多个优选实施方案。在本说明 书和附图中，具有大体上相同的功能和结构的元件用相同的参考符号来表示，并且省略了 重复的说明。
[0051] 应注意，按下列顺序给出描述。
[0052] 1.根据本公开的实施方案的信息共享系统的概述
[0化3] 2.基本配置
[0化4] 2-1. HMD的配置
[0化日]2-2.用户终端的配置 [0化6] 2-3.云存储的配置
[0化7] 3.操作处理
[0化引 3-1.生活日志保存处理 [0化9] 3-2.元数据生成处理
[0060] 3-3.启动处理
[0061 ] 3-4.捜索处理
[0062] 3-5.关键词捜索处理
[0063] 3-6.共享处理
[0064] 3-7.共享材料复制处理 [00化]4.结论
[0066] 《1.根据本公开的实施方案的信息共享系统的概述》
[0067] 参照图1，将描述根据本公开的实施方案的信息共享系统的概述。如图1中所示，根 据实施方案的信息共享系统包括头戴式显示器(HMD)U其为安装在用户的头上的可穿戴设 备的实例）、由智能手机、平板终端等实施的用户终端2，W及云存储3。
[0068] 丽D 1、用户终端巧日云存储3W有线/无线方式彼此连接，并且能够传输/接收数 据。例如，运些元件可W经由通信方法，诸如无线局域网化AN)、无线保真(Wi-FiK注册商 标）、红外线通信或蓝牙(注册商标)来连接。另外，云存储3经由连接到网络的存取点(AP)连 接到HMD 1和用户终端2。（背景）
[0069] 当用户A与用户B在真实空间的会议上或用户A经由视频会议连接到用户即寸，有时 用户回忆与对话者有关的过去的记忆，诸如过去的会议的细节。然而，很难回忆材料的准确 细节。另外，如果用户可W与对话者共享回忆的过去的记忆，则可W进行更好的讨论。然而， 上述相关技术从来不考虑回忆的过去的巧区(回忆数据)的共享。
[0070] 根据实施方案，可能与对话者视觉上共享过去的数据（回忆数据），在用户和另一 个人在一起时，用户回忆的过去的数据与对话者有关。
[0071] 例如，进行W下步骤，但前提是，用户A的生活日志和由用户A使用用户终端2A剪辑 的一组信息（文件、照片、与之链接)被定期保存在访问权限被授予给用户A的任何存储(例 如，云存储3)中。
[0072] 首先，在佩戴HMD Ia的用户A和佩戴HMD化的用户A进行讨论的情况下，当用户A与 用户B在同一个地方或用户A经由视频会议连接到用户B(如图1中所示)时，用户A进行回忆 过去的记忆的运动，并由此将与用户B(其是对话者)有关的信息显示给用户A。一般来说，当 一个人回忆过去的记忆时，人通过绘画或图表想象过去，并且使用他/她的右脑（其是直观 的大脑)来描绘过去。因此，他/她的视线转向与右脑位置相反的左上角。因此，例如，HMD Ia 使用用户A的视线朝向左上角的运动作为触发器来在HMD Ia的显示单元（图2B中所示的显 示单元12)上显示与用户B(其是对话者)有关的信息，并且将信息显示给用户A。
[0073] 与用户B(其是对话者)有关的信息的实例包括与用户B过去的电子邮件交流、与对 话者过去会议的细节等。运里，例如，如图1中所示，由用户B最近传输的运动图像数据400经 由HMD Ia的显示单元12显示在用户A的视场120的左上侧。运动图像数据400经由用户终端 2a从云存储3被获取，并且在用户终端2a的控制下显示在HMD Ia的显示单元12上。HMD Ia可 W显示与用户B有关的多条信息，并且可W使用户A通过在用户终端2a上的视线操作、手指 指向操作、轻弹操作等来选择一条信息。
[0074] 接着，在与对话者共享显示的运动图像数据400的情况下，用户A指示配置运动图 像数据400的共享设置。由此，用户终端2a向用户终端化通知共享运动图像数据400的指令， 并且用户终端化W用户B佩戴的HMD的显示单元12显示运动图像数据400的方式进行控制。 此时，如图1中所示，用户终端化W用户B经由显示单元12的视场122显示在用户A的头部上 方的运动图像数据400的方式进行控制。用户B可W由此视觉上识别由用户A回忆的过去的 数据（回忆数据)并且可W在共享记忆的同时进行讨论。
[0075] 另外，用户B可W重放共享的运动图像数据400,并且通过在用户终端化上的视线 操作、手指指向操作、轻弹操作等将共享的运动图像数据400复制到他/她自己的存储。
[0076] 已描述根据本公开的实施方案的信息共享系统的概述。接着，参照图2至图5,将描 述根据本公开的被包括在信息共享系统中的HMD1、用户终端2和云存储3的基本配置。
[0077] 《2.基本配置》
[007引 <2-1. HMD 的配置〉
[0079] 首先，参照图2至图3,将描述安装在用户的头上的HMD 1的外观和内部配置。
[0080] (2-1-1.外部配置）
[0081] 图2A和图2B各自是图示在每个方向上的根据实施方案的HMD 1的外观的实例的图 解。如图2A和图2B中所示，根据实施方案的HMD 1的形状像盖。即使当重负载在主体的前侧 时，设备的负载分布在整个头部，并且运使得在用户佩戴HMDl时对用户的负担减少。具体来 说，HMD 1包括主体101、从主体部分101的上表面突出的前额衬垫102、分为上带104和下带 105的头带，W及右和左耳机110。主体101包括大部分部件，诸如显示系统。主体101含有显 示单元12和电路板。另外，在主体101的下方，沿着鼻梁的鼻垫103形成为适当的形状。
[0082 ]成像透镜14a提供在HMD 1的主体101的前侧。成像透镜14a由例如全方向照相机镜 头或鱼眼镜头来实施。成像透镜Ha外部附接到或嵌入HMD 1。因此，HMD 1能够成像其圆周 的180至360度的视角。在失真校正后使用由鱼眼镜头捕获的图像。或者，可W排列多个成像 透镜W成像圆周的360度的视角。
[0083] 成像透镜14a的安装位置不限于图2A中所示的实例。例如，如图3的左边所示，由全 方向照相机镜头或鱼眼镜头实施的成像透镜14b可W提供在主体101的上表面。或者，如图3 的右边所示，成像透镜14c和14d可W分别提供在左和右太阳穴部位。在运种情况下，由成像 透镜14c和Hd捕获的180度视角的图像在被校正为360度视角的图像后被使用。
[0084] 头带由软的非弹性材料(诸如尼龙或聚丙締）制成。上带104是软的并且沿着头部 弯曲W在佩戴HMD 1时支撑负载。然而，上带104不太可能伸展，并且运使得防止HMD 1落下。 尽管下带105由弹性材料(诸如娃橡胶或弹性体)制成，但是下带105可W通过异种材料的双 诱铸与上带104集成在一起。
[0085] 当用户佩戴HMD 1时，用于左眼和右眼的HMD 1的一对显示单元12安置在用户的眼 睛前面。例如，显示单元12显示由成像透镜14a捕获的真实空间的图像。
[0086] 收集外部声音的多个麦克风130(也被称为麦克风阵列130)安置在HMD 1的主体 101的前侧、左侧和右侧。
[0087] 另外，在HMD 1的主体101内的显示单元12的附近，检测用户的视线的成像透镜15a 被提供为向内面对。
[008引已描述HMD 1的外部配置的细节。然而，图2A和图2B中所示的HMD 1的安装部分(前 额衬垫102、上带104和下带105)的配置仅仅是实例。可能采用用户佩戴的丽D 1的各种配 置。仅需要通过一般称为眼镜型单元或头戴式单元的安装单元来形成HMD 1。在至少该实施 方案中，仅需要在用户的眼睛前面附近提供显示单元12。
[0089] 显示单元12可W是半透明的。当HMD 1使显示单元12处于通过状态时，换句话说， 处于透明或半透明状态，用户可W经由处于通过状态的显示单元12视觉上识别真实空间。 运使得在像眼镜一样一直佩戴HMD 1时在日常生活中不会中断。在运种情况下，可W提供对 应于双眼的运对显示单元12,或可W仅提供对应于一只眼睛的一个显示单元12。
[0090] 左和右耳机110不限于立体声扬声器。可W仅提供一个耳机100来安装在一只耳朵 上。或者，HMD 1不必包括耳机100。根据下文将描述的内部配置实例（参见图4) ,HMD 1不包 括耳机1〇〇(声音输出单元）。
[0091] (2-1-2.内部配置）
[0092] 接着，参照图4,将描述根据实施方案的HMD 1的内部配置。图4是图示根据实施方 案的HMD 1的内部配置实例的方框图。如图4中所示，HMD 1包括控制单元10、通信单元11、显 示单元12、声音收集单元13、成像单元14、视线检测单元15和存储单元16。
[0093] (控制单元10)
[0094] 例如，控制单元10由包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器 (RAM)、非易失性存储器和接口单元的微控制器来实施。控制单元10控制HMD 1的各自的结 构元件。
[0095] 例如，根据实施方案的控制单元10 W由声音收集单元13、成像单元14和视线检测 单元15获取的数据经由通信单元11传输到用户终端2或云存储3的方式进行控制。另外，控 制单元IOW显示单元12响应于经由通信单元11从用户终端2接收的指令来显示数据的方式 进行控制。
[0096] (通信单元11)
[0097] 通信单元11与外部装置交换数据。例如，通过使用Wi-Fi、蓝牙(注册商标）等将通 信单元11无线连接到用户终端2来交换数据。
[0098] (显示单元12)
[0099] 显示单元12在控制单元10的控制下显示图像数据。具体来说，根据实施方案的显 示单元12在从佩戴者观察的左上侧显示与对话者有关的过去的数据。
[0100] (声音收集单元13)
[0101] 例如，声音收集单元13包括图2A中所示的麦克风阵列130、麦克风放大器和A/D转 换器W将声音数据输出到控制单元10。麦克风放大器对由麦克风阵列130获取的声音信号 执行放大处理。从声音收集单元13输出的声音数据可W经由信号处理单元(未图示)输出到 控制单元10,所述信号处理单元从声音数据中去除噪声并且对声音数据执行声源分离处理 等。或者，控制单元10可W执行运种声音信号处理。
[0102] (成像单元14)
[0103] 成像单元14包括透镜系统、驱动系统、固态图像传感器阵列等。透镜系统包括成像 透镜14a、光圈、变焦透镜、聚焦透镜等。驱动系统使透镜系统进行聚焦运动和变焦运动。固 态图像传感器阵列对由透镜系统获取的成像光执行光电转换W生成成像信号。例如，固态 图像传感器阵列可W由电荷禪合设备(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传 感器阵列来实施。
[0104] (视线检测单元15)
[0105] 视线检测单元15具有检测佩戴者的视线位置W将检测结果输出到控制单元10的 功能。具体来说，例如，视线检测单元15由包括被提供为向内面对的成像透镜15a(参见图 2B)的成像单元来实施。在运种情况下，视线检测单元15通过基于用户的眼睛的捕获的图像 执行识别瞳孔的中屯、点的处理来检测视线位置。
[0106] (存储单元16)
[0107] 存储单元16存储用于执行由控制单元10进行的各种处理的程序。
[010引上文已描述HMD 1的内部配置。应注意，图4中所示的HMD 1的配置仅仅是实例。HMD 1的配置不限于此。例如，HMD 1可W进一步包括照明单元、声音输出单元等。
[0109] <2-2.用户终端的配置〉
[0110] 图5是图示根据实施方案的用户终端2的配置实例的方框图。如图5中所示，用户终 端2包括控制单元20、通信单元21、操作单元22、显示单元23和存储单元24。
[0111] (控制单元20)
[0112] 例如，控制单元20由包括0口11、1?01、1?41、非易失性存储器和接口单元的微控制器构 成。控制单元20控制用户终端2的各自的结构元件。另外，如图5中所示，控制单元20充当生 活日志获取控制单元210、说话者识别单元220、捜索控制单元230、显示控制单元240、共享 设置控制单元250和语言处理单元260。
[0113] 生活日志获取控制单元210进行控制W连续存储用户周围的环境。具体来说，例 如，生活日志获取控制单元210W从HMD 1接收由歷D 1的声音收集单元13和成像单元14获 取的声音数据和图像数据，并且将声音数据和图像数据存储在存储单元24或云存储3中的 方式进行控制。
[0114] 说话者识别单元220基于从HMD 1传输的声音数据和图像数据识别对话者。具体来 说，例如，说话者识别单元220对声音数据执行声源分离W将混合声音数据分离成每个声 源。因此，说话者识别单元220能够将声音数据分离成环境声、用户A自己的言语声音、对话 者（用户B)的言语声音等。另外，说话者识别单元220可W对通过声源分离获取的每个声音 数据块执行分析处理W生成方向数据和距离数据。方向数据指示发出每个声音的声源的方 向。距离数据指示与声源的距离。声音的声源的方向和与声源的距离是基于已收集声音的 声音收集单元13(诸如HMD 1的麦克风阵列）。在声音数据块为言语声音的情况下，说话者识 别单元220识别说话者。具体来说，说话者识别单元220参考在已获取声音数据时捕获的图 像（图像数据）、在与指示声源的方向的方向数据和/或指示距离的距离数据一致的位置识 别人(人脸图像)作为说话者，并且通过人脸识别处理来识别说话者。说话者识别单元220基 于通过分析被确定为言语声音的声音数据块获取的声音的特性特征来识别说话者也是可 能的。
[0115] 捜索控制单元230具有捜索与由说话者识别单元220识别的对话者有关的信息(过 去的数据）的功能。具体来说，捜索控制单元230向云存储3或存储单元24(其是局部存储器） 发出捜索请求。运里，在云存储3中捜索的区域为用户可访问的存储区域。在运个区域中，捜 索不断积累的生活日志、一组剪辑和保存的信息，W及与另一个人交换的数据等。在捜索 中，捜索控制单元230可W基于与过去的数据相关联的元数据捜索与对话者有关的过去的 数据。或者，捜索控制单元230可W通过对用户的当前日期和时间、当前位置或当前时间表 信息检查来捜索与对话者有关的过去的数据。例如，捜索控制单元230在与对话者有关的过 去的数据中捜索在过去的会议中使用的材料，过去的会议是与用户现在参加的会议相同种 类的会议。
[0116] 显示控制单元240除了控制用户终端2的显示单元23的显示之外，还可W控制HMD 1的显示单元12的显示。例如，显示控制单元240 W丽D 1的显示单元12显示捜索控制单元 230已捜索的与对话者有关的信息(过去的数据)的方式进行控制。具体来说，显示控制单元 240经由通信单元21将与对话者有关的信息和显示指令传输到HMD 1。
[0117] 共享设置控制单元250控制与另一个人共享过去的数据的设置。具体来说，在用户 被允许与对话者共享过去的数据的情况下，共享设置控制单元250将可共享的过去的数据 传输到对话者的用户终端，并且向云存储3发出共享通知。
[011引语言处理单元260对由HMD 1的声音收集单元13获取并从HMD 1传输的声音数据执 行语言分析处理，并且提取关键词(诸如指示代词和名词）。提取的关键词被显示给用户作 为与对话者有关的过去的数据的捜索关键词的候选。
[0119] (通信单元21)
[0120] 通信单元21与外部装置交换数据。例如，通信单元21通过使用Wi-Fi、蓝牙(注册商 标)等连接到HMD 1和云存储3来交换数据。
[0121] (操作单元22)
[0122] 操作单元22接收用户的操作输入，并且将接收的输入信息输出到控制单元20。操 作单元22由按钮、开关、接收显示屏的操作输入的触摸传感器等来实施。
[0123] (显示单元23)
[0124] 显示单元23在显示单元12中的显示控制单元240的控制下显示预定显示屏。例如， 显示单元12由液晶显示器化CD)、有机发光二极管(OLED)等来实施。
[0125] (存储单元24)
[0126] 存储单元24存储由执行各种处理的控制单元20使用的程序等。在该实施方案中， 云存储3存储生活日志、该组的文件等。然而，存储单元24(其为局部存储器的实例）可W存 储生活日志、该组的文件等。
[0127] 已描述用户终端2的配置实例的细节。应注意，用户终端2不限于图1中所示的智能 手机。用户终端2可W是移动电话、个人数字助理(PDA)、个人计算机(PC)、平板终端等。
[012引 <2-3.云存储的配置〉
[0129] 图6是图示根据实施方案的云存储3的配置实例的方框图。如图6中所示，云存储3 包括控制单元30、通信单元31、元数据生成单元33和存储单元34。
[0130] (控制单元30)
[0131] 例如，控制单元30由包括0?11、1?01、1?41、非易失性存储器和接口单元的微控制器构 成。控制单元30控制云存储3的各自的结构元件。例如，控制单元30具有响应于向用户终端2 的请求来为存储单元34捜索与对话者有关的过去的数据的功能。另外，控制单元30W在存 储单元34中存储的声音数据、图像数据、一组文件等被获取并传输到元数据生成单元33,并 且在元数据生成单元33中生成的元数据与各自的声音数据等相关联并存储在存储单元34 中的方式进行控制。
[0132] (通信单元31)
[0133] 通信单元31与外部装置交换数据。例如，通信单元31经由网络连接到用户终端2和 HMD 1来交换数据。
[0134] (元数据生成单元33)
[0135] 元数据生成单元33通过分析在存储单元34中存储的声音数据、图像数据(运动图 像/静止图像）、一组文件等来生成(提取)元数据。例如，关于图像数据和声音数据，元数据 生成单元33生成记录日期和时间的声音/图像、记录位置的声音/图像、通过面部/声音识别 获取的主体/说话者的识别信息、主体/说话者(声源)的方向数据和距离数据、访问权限（用 户名）、声音识别、数据转换成文本等作为元数据。关于该组的文件(文本数据），元数据生成 单元33生成使用的日期和时间、更新的日期和时间、用户的时间表的链接信息（例如，会议 主题、出席人数/公司等）、内容细节(例如，标题)等作为元数据。
[0136] (存储单元34)
[0137] 存储单元34存储从每个用户终端2传输的每个用户的生活日志(声音数据、图像数 据等）、一组文件、日程信息等。关于在存储单元34中存储的数据，操作(诸如查看、添加和删 除）由访问权限被授予的用户常规执行。
[0138] 为在存储单元34中存储的每一块数据设置访问权限，并且数据可W被设置为每个 用户的专用数据。在响应于来自访问权限被授予的用户的指令允许另一用户访问目标数据 的情况下(在目标数据被共享的情况下），有时目标数据被设置为预定组中的用户的公用数 据。
[0139] 已描述根据实施方案的信息共享系统中的各自的设备的配置的细节。接着，将描 述根据实施方案的信息共享系统的操作处理。
[0140] 《3.操作处理》
[0141] <3-1.生活日志保存处理〉
[0142] 首先，参照图7,将描述保存用户的生活日志的处理，运些生活日志常规积累在被 包括在信息共享系统中的云存储3中。图7是图示根据实施方案的生活日志保存处理的顺序 图。
[0143] 如图7中所示，在步骤S103中，用户终端2的操作单元22接收由用户进行的记录启 动操作。
[0144] 在步骤S106中，操作单元22然后将记录启动指令输出到控制单元20,并且控制单 元20经由通信单元21将记录启动指令传输到HMD 1。
[0145] 接着，在步骤S109中，歷D 1的控制单元10进行生活记录器启动处理(保存生活日 志的启动）。
[0146] 随后，参照图8,将描述在生活记录器启动处理之后的操作处理。图8是图示在生活 记录器运行时的操作处理的顺序图。如图8中所示，在步骤S123和S126中，HMD 1的控制单元 10获取由声音收集单元13收集的声音数据和由成像单元14捕获的图像数据(静止图像/运 动图像)作为生活日志。
[0147] 接着，在步骤S129中，控制单元10经由通信单元11将获取的生活日志(声音数据和 图像数据)传输到用户终端2。
[014引在步骤S132中，用户终端2的控制单元20然后充当生活日志获取控制单元210 W将 从HMD 1接收的生活日志传输到云存储3。
[0149] 接着，在步骤S135中，云存储3的控制单元30将经由通信单元31从用户终端2接收 的生活日志存储在存储单元34中的用户可访问的存储区域中。
[0150] 在生活记录器运行时，重复进行步骤S123至S125中的处理。运使得能够通过由全 方向照相机或鱼眼镜头实施的麦克风阵列（声音收集单元13的实例）和360度摄像头(成像 单元14的实例）获取用户周围的环境和声音，W将环境和声音作为生活日志一直积累在云 存储3中。
[0151] 在云存储3中积累的用户的数据不限于声音数据和图像数据。例如，用户的数据包 括一组文件(文本数据）。
[0152] 另外，在云存储3中积累的数据不限于生活日志。例如，数据包括通过在用户终端2 上的轻弹操作注册的数据(声音数据、图像数据和文本数据）、与另一用户交换的数据、日程 f目息等。
[0153] <3-2.元数据生成处理〉
[0154] 接着，参照图9,将描述在云存储中积累的各种数据的元数据的生成。图9是图示根 据实施方案的元数据生成处理的顺序图。
[0155] 如图9中所示，首先，在步骤S146中，云存储3的控制单元30从存储单元34获取各种 数据(也被称为内容数据）。
[0156] 接着，在步骤S149中，控制单元30将从存储单元34获取的内容数据传送到元数据 生成单元33,并且发出元数据生成指令。
[0157] 在步骤S152中，元数据生成单元33然后分析内容数据W提取元数据。具体来说，如 上所述，关于图像数据和声音数据，记录日期和时间的声音/图像、主体/说话者的识别信 息、数据转换成文本等被作为元数据生成。关于该组的文件，使用的日期和时间、更新的日 期和时间、用户的时间表的链接信息等被作为元数据生成。
[0158] 接着，在步骤S155中，元数据生成单元33将提取的元数据传送到控制单元30。
[0159] 随后，在步骤S158中，控制单元30使内容数据与元数据相关联。
[0160] 接着，在步骤S161中，存储单元34存储相关联的元数据。
[0161] <3-3.启动处理〉
[0162] 接着，参照图10,将描述根据实施方案的显示与对话者有关的过去的数据(在下文 中，也被称为回忆应用程序)的处理的启动。图10是图示根据实施方案的回忆应用程序启动 处理的顺序图。运里，假设会议的每个出席者佩戴能够使用根据实施方案的系统的HMD 1。 会议的出席者包括用户A和用户B。
[0163] 在系统中，基于由在每个HMD 1中提供的声音收集单元13和成像单元14获取的声 音数据和图像数据的分析结果，自动识别会议的出席者、说话者等。由此，例如，当用户B在 用户A的前面讲话时，用户A的HMD Ia或用户终端2a清楚地指示在用户A前面的人是用户B并 且用户B是说话者。在运种情况下，根据实施方案的用户终端2通过使用用户的视线运动作 为触发器来启动回忆应用程序。
[0164] 具体来说，如图10中所示，HMD 1的控制单元10在步骤S173中获取由声音收集单元 13收集的声音数据，并且在步骤S176中获取由成像单元14捕获的图像数据。声音收集单元 13收集会议中对话的声音，并且成像单元14捕获在用户周围的会议出席者的图像。
[0165] 接着，在步骤S179中，控制单元10进行控制W经由通信单元11将获取的数据传输 到用户终端2。
[0166] 然后，在步骤S182中，用户终端2的控制单元20充当说话者识别单元220, W通过分 析经由通信单元21从HMD 1获取的数据(声音数据和图像数据)来实时识别说话者。因此，例 如，可能将用户B识别为用户A的对话者。应注意，步骤S173至S182可W重复，并且说话者的 变化可W被识别。
[0167] 接着，在步骤S185中，HMD 1的控制单元10获取由视线检测单元15检测的佩戴者的 视线检测数据。
[0168] 在步骤S188中，控制单元10然后进行控制W经由通信单元11将视线检测数据传输 到用户终端2。
[0169] 接着，在步骤S191中，用户终端2的控制单元20基于经由通信单元21从HMD 1接收 的视线检测数据，确定用户的视线是否转向左上角。
[0170] 随后，在已确定用户的视线转向左上角（步骤S191中的"是"）的情况下，在步骤 S194中，控制单元20启动回忆应用程序。如上所述，一般来说，当人回忆过去的记忆时，他/ 她的视线转向左边。因此，作为实例，通过使用用户的视线朝向左上角的运动作为触发器， 启动回忆应用程序。
[0171] 在步骤S197中，控制单元20然后充当显示控制单元240W通过HMD 1显示回忆信息 (与对话者有关的过去的数据)的方式进行控制。从云存储3获取回忆信息。稍后将描述捜索 回忆信息的处理。
[0172] 接着，在步骤S200中，HMD 1的控制单元IOW显示单元12响应于来自用户终端2的 指令显示回忆信息的方式进行控制。
[0173] 接着，在步骤S201中，HMD 1的显示单元12在控制单元10的控制下显示回忆信息。
[0174] 已描述回忆应用程序启动处理。接着，参照图11，将描述在回忆应用程序启动时经 由HMD 1(显示实例）的视场改变。
[0175] 在图11中所示的实例中，在歷D I的显示单元12不透明（如图2中所示）的情况下， 显示由成像单元14捕获的前方的风景的图像，即，在启动回忆应用程序时佩戴HMD 1的用户 的视场。或者，在半透明显示单元12(诸如眼镜型透视式歷D)的情况下，用户可W经由半透 明显示单元12在真实空间看到前方的风景。如上所述，说话者识别在会议期间由运个系统 连续进行。因此，如在图10的顶部所示，指示说话者的显示在HMD 1的显示单元12中重叠在 真实空间的前方的风景或风景的捕获的图像上。
[0176] 当用户在与对话者用户进行讨论的同时回忆过去的记忆时，用户的视线40自然转 向左上角之后，系统连续检测视线启动回忆应用程序。在启动回忆应用程序之后，例如，HMD 1在用户终端2的控制下，在用户的视场的左上角显示言语气球图像42。在言语气球图像42 中，显示在云存储3中捜索的与对话者有关的过去的数据的材料组421至423。由此，由于在 用户试图回忆过去的记忆时显示在云存储3中自动捜索的数据，故在用户检查过去的数据 时可W进行有意义的讨论。
[0177] 尽管视线运动被用作触发器，但是回忆应用程序启动触发器不限于此。例如，由用 户进行的清除启动操作等可W被用作触发器。另外，尽管过去的数据的捜索材料（回忆信 息）的组421至423自动选择说话者并且与说话者有关，但是实施方案不限于此。例如，材料 可W是通过用户操作任意选择的另一个参加者的过去的数据。
[0178] <3-4.捜索处理〉
[0179] 接着，参照图12,将描述根据实施方案的过去的数据（回忆信息)捜索处理。图12是 图示根据实施方案的过去的数据捜索处理的顺序图。
[0180] 在图12的步骤S194中，进行与图10中所示的操作处理的步骤S194相同的处理，即， 用户终端2的控制单元20的回忆应用程序启动处理。此时，假设说话者已经在上述步骤S182 中被识别。
[0181] 接着，在步骤S194-1中，控制单元20充当捜索控制单元230, W经由通信单元21将 与识别的说话者(例如，用户B)有关的信息的捜索请求发出到云存储3。
[0182] 然后，在步骤S194-2中，云存储3的控制单元30为存储单元34捜索相关信息。此时， 例如，控制单元30捜索用户B参加的全体会议的过去的材料、由用户B与其他人共享的所有 材料、在用户B和用户A交谈时所使用的材料、与用户B的对话的细节等，作为与被识别为说 话者的用户B有关的信息。具体来说，控制单元30参照在存储单元34中存储的各种内容数据 的元数据捜索运些材料。例如，由于生活日志与在那时作为元数据的说话者和周围的人的 识别结果相关联，故提取在与用户B-起时获取的声音数据和图像数据作为捜索结果。另 夕h可W提取在与用户B-起的时间之前和之后由用户A交换的电子邮件的细节和由用户A 访问的ML作为捜索结果。已通过生活日志发现时间。
[0183] 接着，在步骤S194-3中，控制单元30经由通信单元31将在存储单元34中捜索的内 容数据传输到用户终端2作为捜索结果。
[0184] 接着，在步骤S197中，用户终端2的控制单元20充当显示控制单元240, W将回忆信 息显示指令发出到HMD 1(参见图10中相同的步骤）。
[0185] 已描述根据实施方案的捜索处理。应注意，在有如图10中所示的多个捜索结果的 情况下，过去的数据的材料组421至423被显示在言语气球图像42中。因此，用户能够在缩小 任何材料之后查看所需的材料。接着，参照图13和图14,将描述材料的缩小。可W通过在用 户在他/她的手中的用户终端2的操作单元22(例如，触摸屏)上的轻弹操作、点击操作等进 行缩小操作。在运种情况下，用户终端2的显示单元23也显示言语气球图像42和过去的数据 的材料组421至423,并且用户终端2中的缩小操作被反映在HMD 1的显示单元12中。
[0186] 图13是图示通过轻弹操作查看一组材料的情况的说明图。在多种材料作为过去的 数据被显示在言语气球图像42中（如图13中所示）的情况下，用户A能够通过用手指5a进行 右和左轻弹操作来查看并行排列的另一组材料。例如，在图13中所示的实例中，过去的数据 的材料组421至423被显示在言语气球42中。然而，在另一组材料被另外排列的情况下，所有 组不被显示在言语气球图像42中。因此，用户通过轻弹操作来查看另一组材料。
[0187] 图14是图示查看一种材料的内容的情况的说明图。如在图14的顶部所示，在材料 组421至423中点击材料组422,并且运使得能够显示材料组422的细节。如在图14的中间所 示，当材料422-1至422-3被显示为材料组422的细节时，用户可W然后点击所需的材料422- 2来显示材料422-2的内容。
[0188] 接着，如在图14的底部所示，当材料422-2的内容被打开时，用户可W通过轻弹操 作从右至左或上下滚动和查看材料422-2。
[0189] 已描述经由用户终端2的操作单元22进行材料缩小操作的情况。然而，实施方案不 限于此。例如，可W进行手势操作(诸如手指指向）。手势(诸如手指指向）的图像由在HMD 1 中提供的成像单元14捕获，并且通过分析捕获的图像被接收为手势输入。另外，在输入手势 时，手或手指的捕获的图像可W重叠并显示在HMD 1的显示屏上。
[0190] <3-5.关键词捜索处理〉
[0191] 在上述捜索处理中，捜索与说话者(或由用户任意指定的人)有关的过去的数据， 并且用户进行缩小操作。然而，实施方案不限于此。可W通过使用从与说话者的对话中提取 的关键词来缩小材料。
[0192] (3-5-1.关键词的显示）
[0193] 首先，参照图15至图18,将描述提取的关键词的显示和材料的缩小。图15是图示关 键词显示控制处理的顺序图。
[0194] 如图15中所示，在步骤S203中，HMD 1的控制单元10从声音收集单元13获取与说话 者的对话(声音数据）。接着，在步骤S206中，控制单元10将声音数据传输到用户终端2。 [01巧]然后，在步骤S209中，用户终端2的控制单元20充当语言处理单元260, W对经由通 信单元21从HMD 1接收的声音数据执行语言处理，并且提取关键词(诸如名词和指示代词）。
[0196] 在步骤S212中，控制单元20充当说话者识别单元220, W对经由通信单元21从HMD 1接收的声音数据执行说话者识别。
[0197] 接着，在步骤S215中，控制单元20W通信单元21将从与说话者的对话中提取的关 键词传输到HMD 1的方式进行控制。
[019引在步骤S218中，歷D 1的控制单元10然后W显示单元12显示经由在相应的说话者 附近的通信单元11从用户终端2传输的关键词的方式进行控制。
[0199] 接着，在步骤S221中，HMD 1的显示单元12W在说话者附近显示从与说话者的对话 中提取的关键词的方式进行控制。
[0200] 在会议期间实时连续进行上述关键词显示控制。接着，参照图16,将描述关键词显 示实例。图16是图示根据实施方案的关键词显示实例的说明图。图16中所示的实例是经由 丽D I的显示单元12的用户的视场。"8女±，说话者"显示在用户B(其是识别的说话者）附 近。当启动回忆应用程序时，言语气球图像42被显示在左上侧。接着，如图16中所示，通过上 述关键词显示控制处理显示从与用户B的对话中提取的关键词的组43。在会议期间实时连 续进行关键词显示控制处理。如图16中所示，按顺序显示提取的关键词。
[0201] (3-5-2.关键词选择/捜索处理）
[0202] 接着，参照图17,将描述显示的关键词选择/捜索处理。如参照图16所述，用户选择 在显示关键词的组43的情况下用户想要捜索的关键词。选择操作可W通过在用户终端2的 操作单元22上的点击操作等进行，或可W是手势输入(诸如手指指向）。在图17中所示的顺 序图中，描述通过在用户终端2的操作单元22上的点击操作进行选择的情况作为实例。
[0203] 图17是图示根据实施方案的关键词选择/捜索处理的顺序图。如图17中所示，首 先，在步骤S233中，用户终端2的操作单元22接收关键词"该材料"的选择。
[0204] 接着，在步骤S236中，操作单元22将关键词选择的检测细节(关键词"该材料"被选 择的事实)输出到控制单元20。
[0205] 在步骤S239中，控制单元20然后充当捜索控制单元230, W生成在关键词"该材料" 被捜索时使用的特定捜索词。例如，根据关键词"该材料"，估计由过去的会议(其是与当前 会议相同种类的会议）中的说话者使用的材料、在说话者与参加当前会议的成员说话时使 用的材料等。因此，生成当前会议的标题和所有成员的姓名作为特定捜索词。
[0206] 接着，在步骤S242中，控制单元20经由通信单元21将基于生成的捜索词的材料候 选信息获取请求发出到云存储3。
[0207] 接着，在步骤S245中，云存储的控制单元30响应于向用户终端2请求，基于捜索词 为存储单元34捜索材料候选信息。此时，控制单元30参照与在存储单元34中存储的内容数 据相关联的元数据来捜索预定会议的过去的材料等。
[0208] 在步骤S248中，控制单元30然后将捜索结果传输到用户终端2。
[0209] 接着，在步骤S251中，用户终端2的控制单元20基于捜索结果将显示"该材料"的材 料候选信息的指令传输到HMD 1。
[0210] 接着，在步骤S254中，HMD 1的控制单元IOW显示单元12响应于来自用户终端2的 指令来显示材料候选信息的方式进行控制。此时，控制单元10可W通过将材料候选信息显 示在随着回忆应用程序启动显示的言语气球图像中的方式进行控制。接着，参照图18给出 下面的描述。
[0211] 图18是图示关键词捜索结果显示屏的实例的图解。当在显示在与用户B的对话期 间提取的关键词的组43(如在图18的顶部所示）的情况下，用户选择"该材料"时，在言语气 球图像42中显示被估计为"该材料"的材料候选者(捜索结果）的组440(如在图18的底部所 示）。如上所述，可W基于在对话期间提取的关键词在实施方案中进行缩小捜索。
[0212] (3-5-3.捜索材料估计处理）
[0213] 在上述捜索处理中，通过从对话中提取的名词或指示代词中选择一个关键词来捜 索目标材料。然而，实施方案不限于此。也可能基于在选定关键词出现的对话之前和之后的 对话进行目标材料的更准确的估计。接着，参照图19至图22提供详细描述。
[0214] 图19是图示目标材料估计处理的说明图。例如，图19中所示的处理由用户终端2的 控制单元20执行。例如，图19中的"数据库(DB)"对应于用户终端2的存储单元24。
[0215]首先，在步骤S260中，控制单元20基于从HMD I传输的捕获的图像(例如，在所有方 向上从HMD 1捕获的图像)识别周围的人的脸。会议的出席者包括用户A和用户B。应注意，作 为实例，在由用户A持有的用户终端2中进行处理的假设下提供描述。
[0216]接着，在步骤S262中，控制单元20基于从HMD 1传输的声音数据和/或捕获的图像 指定说话者(运里，用户A或用户B)。
[0217]在步骤S264中，控制单元20然后对用户A与用户B之间的所有对话执行声音识别和 语言分析、标示每个用户的关键词，并且将运些关键词保存在DB(存储单元24)中。应注意， 控制单元20的标示不限于基于声音识别的标示。例如，可W基于每一类型的识别(诸如图像 (静止图像/运动图像)识别和行为识别）的结果进行标示。接着，下表1示出被保存在DB中的 标不的关键词的实例。
[0別引[表1]
[0219]
[0220] 在步骤S266中，控制单元20然后从对话中辨别指示代词(诸如"那个/它"）。例如， 控制单元20从用户A的对话"那个去哪儿了r中辨别指示代词"那个"。
[0221] 接着，在步骤S268中，控制单元20开始分析对应于辨别的指示代词的细节。
[0222] 具体来说，在步骤S270中，控制单元20分析在辨别的指示代词"那个"之前和之后 的对话的标签W提取关键词。例如，从与用户B的对话"在年底与(：女±的上次会议使用的 "那个"是在文件夹J中"，提取关键词，诸如"人:A先生、B女±和(：女±"、"时间：年底"、"地 点:会议室"和"内容细节:会议细节、午餐的对话"。
[0223] 在步骤S272中，控制单元20然后比较提取的"关键词"与每个内容数据块的元数据 W提取对应于"那个"的内容数据块(诸如会议的材料、图片或运动图像）。与元数据相关联 的内容数据块从云存储3被获取并且临时存储在用户终端2的存储单元24中。图20图示基于 比较的"那个'的候选列表的实例。如图20中所示，通过比较提取的关键词与每个内容数据 块的元数据来提供"那个"的候选1至3。
[0224] 接着，在步骤S274中，控制单元20 Whmd 1的显示单元12在从用户A查看的左上侧 显示的言语气球图像中按优先顺序(按匹配度顺序)显示"那个"的候选1至3的方式进行控 审IJ。应注意，在用户终端2中进行选择操作的情况下，用户终端2的显示单元23也被控制成W 类似的方式显示候选1至3。
[02巧]接着，在步骤S276中，用户A从在HMD 1的显示单元12上显示的"那个"的候选1至3 中选择适当的材料，并且显示正确的答案。或者，在通过共享设置(稍后将描述）向用户B显 示候选1至3的情况下，有时用户B选择适当的材料并且显示正确的答案。当选择适当的材料 时，用户终端2的控制单元20扩展"那个"的候选（内容数据块)的元数据，其是通过反馈学习 的正确的答案。图21是图示通过反馈学习扩展元数据的情况的说明图。如图21中所示，例 如，在"fff. PPt"是正确的答案的情况下，诸如"时间：年底"、"人:C女去V'其他:文件夹J" 的关键词作为元数据被添加到内容数据块的元数据。
[0226]在上述估计处理中，基于用户A或用户B在对话中所讲的语句估计和显示候选材 料。然而，实施方案不限于此。例如，可能向不参加对话的人显示候选材料。接着，参照图22 给出下面的描述。
[0227] 图22是图示用于向不参加对话的人显示候选材料的处理的说明图。首先，在图22 中所示的步骤S280中，用户终端2的控制单元20基于从HMD 1传输的捕获的图像(例如，在所 有方向上从HMD 1捕获的图像)识别周围的人的脸。会议的出席者包括用户A、用户B和用户 C。应注意，作为实例，在由用户C持有的用户终端2中进行处理的假设下提供描述。
[0228] 接着，在步骤S282中，控制单元20基于从HMD 1传输的声音数据和/或捕获的图像 指定说话者(运里，用户A或用户B)。此时，用户C不参加对话。用户C不在对话中。
[0229] 在步骤S284中，控制单元20然后对在用户C附近的用户A与用户B之间的所有对话 执行声音识别和语言分析、标示每个用户的关键词，并且将运些关键词保存在DB(存储单元 24)中。
[0230] 接着，在步骤S286中，即使在用户A对不参加对话"顺便问一下，'它'怎么样r的用 户抗兑话的情况下，控制单元20从对话中辨别指示代词"它"。
[0231] 接着，在步骤S288中，控制单元20开始分析对应于辨别的指示代词的细节。
[0232] 具体来说，在步骤S290中，控制单元20分析在辨别的指示代词"它"之前和之后的 对话的标签W提取关键词。如上所述，由于即使当用户C不参加对话时，用户C的用户终端2 中的控制单元20通过分析在用户C附近讲的对话来标示关键词，故可能也从用户A对用户C 说话之前的对话中提取关键词。
[0233] 在步骤S292中，控制单元20然后比较提取的"关键词"与每个内容数据块的元数据 W提取对应于"它"的内容数据块(诸如会议的材料、图片或运动图像）。
[0234] 接着，在步骤S294中，控制单元20WHMD 1的显示单元12在从用户C查看的左上侧 显示的言语气球图像中按优先顺序(按匹配度顺序）显示"它"的候选的方式进行控制。此 时，也可能让控制单元20另外显示从用户A与用户B之间的对话中提取的关键词。
[0235] 接着，在步骤S296中，用户C从在HMD 1的显示单元12上显示的"它"的候选中选择 适当的材料，并且显示正确的答案。或者，在通过共享设置(稍后将描述）向用户A和B显示候 选的情况下，有时用户A或B选择适当的材料并且显示正确的答案。当选择适当的材料时，用 户终端2的控制单元20扩展"它"的候选（内容数据块）的元数据，其是通过反馈学习的正确 的答案。
[0236] 如上所述，即使当用户不参加对话时，根据实施方案的用户终端2分析在终端2周 围的对话。由此，在某人对用户说话时从对话中提取指示代词的情况下，可能分析先前的对 话、基于标示的关键词估计候选材料，并且向用户显示候选材料。
[0237] <3-6.共享处理〉
[0238] 接着，将参照图23至图25描述通过启动回忆应用程序与另一用户共享向用户显示 的过去的数据(候选材料)的情况。应注意，作为实例，假设用户A与用户B共享过去的数据。
[0239] 图23是图示根据实施方案的共享处理的顺序图。如图23中所示，首先，在步骤S313 中，由用户A持有的用户终端2a的操作单元22接收与用户B共享过去的数据的设置。例如，如 图24中所示，通过选择对应于要共享的过去的数据的所显示的共享设置按钮425或426来进 行共享设置的操作。在只与用户B(其是对话者)共享的情况下选择共享设置按钮425。在与 所有公司共享的情况下选择共享设置按钮426。
[0240] 接着，在步骤S316中，用户终端2a的操作单元22将与用户B共享的设置的操作检测 输出到控制单元20。
[0241] 在步骤S319中，控制单元20然后通知云存储3与用户B共享指定材料(在图24中所 示的实例中，"由8女±作出的运个会议的材料2")。
[0242] 接着，在步骤S322中，云存储3的控制单元30W在访问权限被授予给用户A的存储 单元34中的区域中存储的指定材料上设置共享标志的方式进行控制。
[0243] 在步骤S325中，用户终端2a的控制单元20将指定材料传输到配置共享设置的用户 B所持有的用户终端化。
[0244] 接着，在步骤S328中，用户终端2b指示由用户B佩戴的HMD化显示从用户终端2a传 输的共享材料。
[0245] 接着，在步骤S331中，HMD化响应于来自用户终端2b的指令，在对应于用户A的位 置(例如，在用户A的头部上方)在显示屏中显示从用户A共享的材料。图25图示用于显示从 用户A到用户B共享的材料的屏幕的实例。图25图示佩戴HMD Ib的用户B的视场(显示单元12 的显示屏）。
[0246] 如图25中所示，在用户A的头部上方显示的言语气球图像4姑中显示从用户A到用 户B共享的材料。由此，用户B可W直观地识别用户A现在回忆的过去的数据。用户B可W打开 过去的数据，并且查看在用户的头部上方的言语气球图像42a中的过去的数据的内容，或用 户B可W将过去的数据复制到用户B的存储区域。稍后将描述共享材料的复制。
[0247] 如上所述，根据实施方案，可能与另一用户共享由用户回忆的过去的数据。由此， 可W进行有意义的讨论。在参照图23所述的共享处理中，用户终端2a将共享材料（内容数 据)传输到用户终端化。然而，实施方案不限于此。例如，在云存储3的存储单元34中设置共 享标志的情况下，云存储3的控制单元30可W将共享材料传输到配置共享设置的用户B的用 户终端2b。
[0248] <3-7.共享材料复制处理〉
[0249] 接着，参照图26至图28,将描述共享材料复制处理。运里，作为实例，描述从用户A 到用户B共享的材料(过去的数据)的复制。复制操作可W通过在用户终端2的操作单元22上 的拖放操作等进行，或可W是手势输入(诸如手指指向）。
[0250] 图26是图示根据实施方案的共享材料复制处理的顺序图。作为实例，图26中的顺 序图图示对用户终端化的操作单元22操作的情况。
[0251] 如图26中所示，首先，在步骤S343中，用户终端化的操作单元22接收共享材料复制 操作。
[0252] 接着，在步骤S346中，操作单元22将复制操作的检测输出到控制单元20。
[0253] 在步骤S349中，控制单元20然后指示云存储3将指定材料复制到用户B可访问的存 储区域。
[0254] 接着，在步骤S352中，云存储3的控制单元30将在用户A可访问的存储单元34的区 域中存储并且在上面设置共享标志的共享材料复制到用户B可访问的区域。
[0巧5] 在步骤S358中，用户终端2b的控制单元20 W在HMD 1的显示屏中在用户B的言语气 球图像中显示进行复制操作的共享材料的方式进行控制。
[0256] 接着，在步骤S361中，HMD化在从用户B查看的左上侧显示的言语气球图像中显示 进行复制操作的共享材料。运使得用户能够直观地识别共享材料已被复制。
[0257] 例如，如在图27中所示，也可W通过拖放操作进行共享材料复制操作。图27是图示 共享材料复制操作的说明图。
[0258] 如在图27的顶部所示，在用户A的头部上方显示的言语气球图像4^1中用手指化长 时间点击共享材料使得启动拖动。用户将进行长时间点击的共享材料移动到在左上侧显示 的自己的言语气球图像44的区域，并且使言语气球图像44中的共享材料落下。由此，共享材 料复制操作完成，并且将共享材料复制到在云存储3的存储单元34中的用户B可访问的存储 区域。
[0259] 接着，参照图28,将描述复制的共享材料的查看。当用户B点击复制到言语气球图 像44的共享材料（如在图28的顶部所示）时，共享材料的内容被打开并重叠在整个屏幕上 (如在图28的底部所示）。用户可W通过轻弹操作等滚动和查看共享材料的内容。
[0260] 在图28中所示的实例中，用户终端2的显示单元23显示类似于HMD 1的显示单元12 的屏幕。响应于从操作单元22接收的点击操作或轻弹操作的屏幕的变化反映在HMD 1的显 示单元12中。然而，实施方案不限于用户终端2的操作单元22的操作输入。手势输入(诸如手 指指向）也是可能的。
[0261] 《4.结论》
[0262] 如上所述，在根据本公开的实施方案的信息共享系统中，可W与对话者视觉上共 享与对话者有关的过去的数据。由此，可W进行有意义的讨论。另外，例如，在根据实施方案 的信息共享系统中，通过使用由用户进行的过去的记忆回忆运动(视线位置朝向左上侧的 运动)作为触发器，基于视线检测自动显示与对话者有关的过去的数据。因此，运个系统的 方便性可W提局。
[0263] 另外，在根据实施方案的信息共享系统中，可能通过基于与对话者对话的细节估 计候选材料(过去的数据)来更准确地显示用户需要的过去的数据。
[0264] 在上文中，尽管已参照附图详细地描述本公开的优选实施方案，但是本公开不限 于此。本领域技术人员应理解，各种修改、组合、子组合和变化可能根据设计要求和其他因 素而发生，只要它们在所附权利要求或其等效物的范围内。
[0265] 例如，也可能创建计算机程序，其用于使嵌入上述HMD 1、用户终端2或云存储3的 硬件(诸如CPU、R0M和RAM)执行HMD 1、用户终端2或云存储3的功能。此外，有可能提供具有 存储在其中的计算机程序的计算机可读存储介质。
[0266] 作为实例，在上述实施方案中，通过使用佩戴丽D Ia的人的视线朝向左上侧的运 动作为触发器，显示与用户B(其是对话者)有关的信息。然而，实施方案不限于此。换句话 说，由于在某人回忆过去的记忆时有视线移动方向的个体差异，故也可W在眼睛移动到左 下侧、右上侧、右下侧等时显示预定信息。
[0267] 上述实施方案描述在使用他/她的右脑时眼睛向左移动的实例。另一方面，左脑负 责逻辑、事实和语言。在创建"小说"、"图像"或"谎言"时使用左脑(其是用于逻辑的脑），W 免包括故事的崩溃或冲突，并且眼睛移动到与左边相反的右边。因此，也可能在实施方案中 通过使用HMD Ia的佩戴者的眼睛朝向右上侧的运动作为触发器，显示自动创建的虚构的故 事。
[0268] 例如，当在佩戴HMD Ia的用户A与用户B说话期间用户A的眼睛移动到右上侧时，提 取与用户B(其是对话者)有关的信息，并且将通过改变提取的信息（小说）的部分而获得的 信息显示给用户A。具体来说，例如，在提取与参与对话的用户A和用户C的晚餐有关的信息 作为与用户B(其是对话者)有关的信息的情况下，在将晚餐改变成与用户C、用户A和用户D 的午餐会议之后，HMD 1的显示单元12显示信息。如上所述，在实施方案中，如在佩戴者的眼 睛移动到左上侧的情况下显示过去的数据，并且在眼睛移动到右上侧的情况下显示通过改 变过去的数据的部分而获得的修改的信息。由此，可能显示适合佩戴者的需要的信息，并且 方便性可W提高更多。应注意，由于在某人创建小说或谎言时有眼睛的移动方向的个体差 异，故也可W在眼睛移动到右下侧、左上侧、左下侧等时显示预定信息。
[0269] 可W在没有用户终端2的情况下实现根据实施方案的信息共享系统。在运种情况 下，HMD 1的控制单元10或云存储3的控制单元30执行图4中所示的用户终端2的控制单元20 的功能。
[0270] 另外，内容数据(诸如生活日志)被积累到的区域不限于云存储3。例如，内容数据 可W被积累在局部存储器中，诸如用户的用户终端2或个别的个人计算机(PC)。
[0271] 另外，在本说明书中所述的效果仅是说明性和示范性的，而不是限制性的。换句话 说，根据本公开的技术可W连同基于本说明书的效果一起或替代基于本说明书的效果而呈 现对本领域技术人员显而易见的其他效果。
[0272] 另外，本技术也可W被配置如下。
[0273] (1)
[0274] 一种信息处理设备，包括：
[0275] 显示控制单元，其被配置成W安置在用户的眼睛之前的显示单元显示与识别的对 话者有关的过去的数据的方式进行控制；W及
[0276] 共享设置控制单元，其被配置成W与另一个人的所述过去的数据的共享被设置的 方式进行控制。
[0277] (2)
[0278] 根据(1)所述的信息处理设备，进一步包括
[0279] 捜索控制单元，其被配置成进行控制W基于与在存储单元中存储的过去的数据相 关联的元数据来捜索与所述对话者有关的所述过去的数据。
[0280] (3)
[0281] 根据(2)所述的信息处理设备，
[0282] 其中所述捜索控制单元参照当前日期和时间、当前位置或用户的当前时间表信息 捜索过去的数据。
[0283] (4)
[0284] 根据(2)或(3)所述的信息处理设备，
[0285] 其中所述捜索控制单元捜索与从对话中提取的关键词有关的过去的数据。
[0286] (5)
[0287] 根据(4)所述的信息处理设备，
[0288] 其中所述捜索控制单元通过比较在指示代词之前或之后的关键词与和所述过去 的数据相关联的元数据，捜索从对话中提取的所述指示代词的候选材料作为过去的数据。
[0289] (6)
[0290] 根据(I)至(5)中任一项所述的信息处理设备，
[0291] 其中所述显示控制单元W在检测到用户视线位置移动到预定区域并且进行回忆 运动时显示所述过去的数据的方式进行控制。
[0292] (7)
[0293] 根据(1)至(6)中任一项所述的信息处理设备，
[0294] 其中所述显示控制单元进行控制W显示对话者配置共享设置的过去的数据。
[02 巧](8)
[0296] 根据(7)所述的信息处理设备，
[0297] 其中所述显示控制单元W在对应于配置共享设置的对话者的位置显示所述过去 的数据的方式进行控制。
[029引（9)
[0299] -种控制方法，包括：
[0300] W安置在用户的眼睛之前的显示单元显示与识别的对话者有关的过去的数据的 方式进行控制；W及
[0301] W与另一个人的所述过去的数据的共享被设置的方式进行控制。
[0302] (10)
[0303] -种程序，其用于使计算机充当：
[0304] 显示控制单元，其被配置成W安置在用户的眼睛之前的显示单元显示与识别的对 话者有关的过去的数据的方式进行控制；W及
[0305] 共享设置控制单元，其被配置成W与另一个人的所述过去的数据的共享被设置的 方式进行控制。
[0306] (11)
[0307] -种系统，包括：
[0308] 服务器，其被配置成存储每个用户的过去的数据；
[0309] 可穿戴设备，其被配置成安装在用户的头上并且具有安置在所述用户的眼睛之前 的显示单元；W及
[0310] 用户终端，包括：
[0311] 显示控制单元，其被配置成W所述显示单元显示从所述服务器获取的过去的数据 的方式进行控制，所述过去的数据与识别的对话者有关，W及
[0312] 共享设置控制单元，其被配置成W与另一个人的所述过去的数据的共享被设置的 方式进行控制。
[0313] 参考符号列表
[0314] Ulaab HMD
[0315] 101 主体
[0316] 102前额衬垫
[0317] 103 鼻垫 [031引 104上带
[0319] 105 下带
[0320] 110 耳机
[0321] 10控制单元
[0322] 11通信单元
[0323] 12显示单元
[0324] 13声音收集单元 [03巧]14成像单元
[0326] 14a-14d 成像透镜
[0327] 15视线检测单元
[032引 16存储单元
[0329] 130麦克风(麦克风阵列）
[0330] 2、2a、2b 用户终端
[0331] 20控制单元
[0332] 210生活日志获取控制单元
[0333] 220说话者识别单元
[0334] 230捜索控制单元
[0335] 240显示控制单元
[0336] 250共享设置控制单元
[0337] 260语言处理单元
[033引 21通信单元
[0339] 22操作单元
[0340] 23显示单元
[0：341] 24存储单元
[0；342] 3云存储
[0343] 30控制单元
[0344] 31通信单元
[0345] 33元数据生成单元
[0346] 34存储单元
[0：347] 40 视线
[0%引 42言语气球图像
[0349] 421-423 材料组
[0；350] 5a、化手指 [0巧1] 425、426共享设置按钮。
【主权项】
1. 一种信息处理设备，包含： 显示控制单元，其被配置成以安置在用户的眼睛之前的显示单元显示与识别的对话者 有关的过去的数据的方式进行控制；以及 共享设置控制单元，其被配置成以与另一个人的所述过去的数据的共享被设置的方式 进行控制。2. 根据权利要求1所述的信息处理设备，进一步包含 搜索控制单元，其被配置成进行控制以基于与在存储单元中存储的过去的数据相关联 的元数据来搜索与所述对话者有关的所述过去的数据。3. 根据权利要求2所述的信息处理设备， 其中所述搜索控制单元参照当前日期和时间、当前位置或用户的当前时间表信息搜索 过去的数据。4. 根据权利要求2所述的信息处理设备， 其中所述搜索控制单元搜索与从对话中提取的关键词有关的过去的数据。5. 根据权利要求4所述的信息处理设备， 其中所述搜索控制单元通过比较在指示代词之前或之后的关键词与和所述过去的数 据相关联的元数据，搜索从对话中提取的所述指示代词的候选材料作为过去的数据。6. 根据权利要求1所述的信息处理设备， 其中所述显示控制单元以在检测到的用户视线位置已移动到预定区域并且已进行回 忆运动时显示所述过去的数据的方式进行控制。7. 根据权利要求1所述的信息处理设备， 其中所述显示控制单元进行控制以显示对话者配置了共享设置的过去的数据。8. 根据权利要求7所述的信息处理设备， 其中所述显示控制单元以在对应于配置了共享设置的对话者的位置显示所述过去的 数据的方式进行控制。9. 一种控制方法，包含： 以安置在用户的眼睛之前的显示单元显示与识别的对话者有关的过去的数据的方式 进行控制；以及 以与另一个人的所述过去的数据的共享被设置的方式进行控制。10. -种程序，其用于使计算机充当： 显示控制单元，其被配置成以安置在用户的眼睛之前的显示单元显示与识别的对话者 有关的过去的数据的方式进行控制；以及 共享设置控制单元，其被配置成以与另一个人的所述过去的数据的共享被设置的方式 进行控制。11. 一种系统，包含： 服务器，其被配置成存储每个用户的过去的数据； 可穿戴设备，其被配置成安装在用户的头上并且具有安置在所述用户的眼睛之前的显 示单元；以及 用户终端，包括： 显示控制单元，其被配置成以所述显示单元显示从所述服务器获取的过去的数据的方 式进行控制，所述过去的数据与识别的对话者有关，以及 共享设置控制单元，其被配置成以与另一个人的所述过去的数据的共享被设置的方式 进行控制。
【文档编号】H04N7/15GK105981375SQ201480075289
【公开日】2016年9月28日
【申请日】2014年12月1日
【发明人】小野秀行, 仓田雅友
【申请人】索尼公司