专利名称：信息处理装置、信息共享方法、程序以及终端设备的制作方法
技术领域：
本公开涉及ー种信息处理装置、信息共享方法、程序，以及终端设备。
背景技术：
近年来，ー种称为增强现实(AR，Augmented Reality)的用于将附加信息叠加在真实世界上并将其呈现给用户的技术得到了关注。在AR技术中要呈现给用户的信息也被称为注释，并且可以通过使用各种类型的虚拟对象(诸如文本、图标、动画制作等)将该注 释视觉化。AR技术的主要应用领域之一是真实世界中用户行为的支持。AR技术不仅用于支持单个用户的行为，而且用于支持多个用户的行为(例如，參见JP 2004-62756A和JP2005-49996A)。
发明内容
然而，当多个用户共享AR空间时，出现了哪一个信息要呈现给哪ー个用户的问题。例如，在真实世界的会议中，很多与会者对他们自己的想法或者会议的内容做笔记，但是他们不希望其它与会者自由地观看这些笔记。然而，在JP 2004-62756A和JP2005-49996A中描述的方法不在要在用户之间共享的信息和个别用户不希望共享的信息之间进行区分，存在这样的担忧多个用户将无视用户的意图而能够观看任何信息。在现有AR技术中，可以准备两种类型的AR空间，私人层(分级层)和共享层，并且通过在这些层之间进行切換来使用这些层，用户被允许分别持有要共享的信息和不期望分享的信息。然而，对用户来说，这种多层的处理是麻烦的，此外改变层的设置的操作是不直观且复杂的。考虑到上面的问题，期望提供ー种信息处理装置、信息共享方法、程序以及终端设备，其允许用户容易地处理期望与AR空间中的其它用户共享的信息，以及不期望共享的信
O因此，公开了ー种用于共享虚拟对象的装置。该装置可以包括通信単元和共享控制単元。通信単元可以被配置为接收指示虚拟对象相对于真实空间的位置的位置数据。共享控制単元可以被配置为将虚拟对象的位置与相对于真实空间限定的共享区域相比较。共享控制単元还可以被配置为基于比较的结果选择性地允许用显示设备显示虚拟对象。还公开了一种共享虚拟对象的方法。处理器可以执行程序，以使装置执行该方法。该程序可以被存储在该装置的存储介质和/或非易失性计算机可读存储介质上。该方法可以包括接收指示虚拟对象相对于真实空间的位置的位置数据。该方法还可以包括将虚拟对象的位置与相对于真实空间限定的共享区域相比较。另外，该方法可以包括基于比较的结果选择性地允许用显示设备显示虚拟对象。根据本公开的信息处理装置、信息共享方法、程序以及终端设备，允许用户容易地处理期望与AR空间中的其它用户共享的信息，以及不期望共享的信息。
图IA是示出根据实施例的信息共享系统的概览的说明图；图IB是不出/[目息共孚系统的另一实例的说明图；图2是示出根据实施例的終端设备(即，远程设备)的结构的实例的框图；图3是示出根据实施例的由終端设备拍摄的图像的实例的说明图； 图4是示出根据实施例的由終端设备显示的图像的实例的说明图；图5是示出根据实施例的信息处理装置的配置的实例的框图；图6是用于描述根据实施例的对象数据的说明图；图7是用于描述根据实施例的共享区域数据的说明图；图8是示出共享区域的第一实例的说明图；图9是示出共享区域的第二实例的说明图；图10是示出共享区域的第三实例的说明图；图11是用于描述共享区域的支持识别的方法的实例的说明图；图12是示出直到实施例中信息共享的开始的过程的流程的实例的序列图；图13是示出根据实施例的共享确定过程的流程的实例的流程图；图14是用于描述虚拟对象的显示位置的计算的说明图；图15是示出实施例中共享信息和非共享信息的实例的说明图；图16是用于描述用于共享图15中非共享的信息的第一场景的说明图；图17是用于描述用于共享图15中非共享的信息的第二场景的说明图；以及图18是示出根据变型实例的信息共享系统的概览的说明图。
具体实施例方式下文中，将參照附图来详细地描述本公开的实施例。请注意在本说明书和附图中，实质具有相同功能和配置的结构元件用相同的附图标记表示，并且省略这些结构元件的重复说明。还请注意如这里使用的，非限定冠词“一”和“ー个”意思是“ー个或更多”。在开放式权利要求中包含过渡短语“包括”、“包含”和/或“具有”。此外，在下文中，将按照下面的顺序描述“具体实施方式
”。I.系统的概览2.终端设备的示例配置3.信息处理装置的示例配置4.处理流程的实例5.共享信息和非共享信息的实例6.变型实例7.总结〈I.系统的概览〉
图IA是示出根据本公开实施例的信息共享系统I的概览的说明图。參考图1A，信息共享系统I包括终端设备IOOaUOOb和100c，以及信息处理装置200。在图IA的实例中，用户Ua、Ub和Uc围绕在作为真实空间中的真实对象的桌子3周围。分别地，用户Ua使用終端设备100a，用户Ub使用終端设备100b，且用户Uc使用終端设备100c。另外，图IA中所示实例中，三个用户加入信息共享系统1，但不限于该实例，两个或四个或更多用户可以加入信息共享系统I。终端设备IOOa被连接到安装在用户Ua头部的成像设备102a和显示设备160a。成像设备102a转向用户Ua的视线的方 向，拍摄真实空间，并将一系列输入图像输出到终端设备100a。显示设备160a向用户Ua显示由终端设备IOOa生成或获取的虚拟对象的图像。显示设备160a的屏幕可以是视透型(see-through)屏幕或非视透屏幕。在图IA的实例中，显示设备160a是头带式显示器(HMD)。终端设备IOOb被连接到安装在用户Ub头部的成像设备102b和显示设备160b。成像设备102b转向用户Ub的视线的方向，拍摄真实空间，并将一系列输入图像输出到終端设备100b。显示设备160b向用户Ub显示由终端设备IOOb生成或获取的虚拟对象的图像。终端设备IOOc被连接到安装在用户Uc头部的成像设备102c和显示设备160c。成像设备102c转向用户Uc的视线的方向，拍摄真实空间，并将一系列输入图像输出到終端设备100c。显示设备160c向用户Uc显示由终端设备IOOc生成或获取的虚拟对象的图像。终端设备IOOaUOOb和IOOc经由有线或无线通信连接与信息处理装置200进行通信。终端设备100a、IOOb和IOOc也可以能够彼此进行通信。终端设备100a、IOOb和IOOc与信息处理装置200之间的通信例如可以通过P2P (点对点)方法直接进行，或者可以经由诸如路由器或服务器(未示出)的另ー个设备间接进行。终端设备IOOa将用户Ua拥有的信息和在用户Ua、Ub和Uc之间共享的信息叠加在真实空间上，并将其显示在显示设备160a的屏幕上。終端设备IOOb将用户Ub拥有的信息和在用户Ua、Ub和Uc之间共享的信息叠加在真实空间上，并将其显示在显示设备160b的屏幕上。終端设备IOOc将用户Uc拥有的信息和在用户Ua、Ub和Uc之间共享的信息叠加在真实空间上，并将其显示在显示设备160c的屏幕上。另外，終端设备100a、IOOb和IOOc可以是具有照相机的移动终端，诸如智能手机，而不限于图IA的实例(见图1B)。在这种情况下，具有照相机的移动终端的照相机拍摄真实空间，并通过终端的控制单元(即，软件模块、硬件模块，或者软件模块和硬件模块的结合)进行图像处理，然后，可以将虚拟图像的图像叠加在真实空间的图像上，并显示在终端的屏幕上。此外，每个终端设备可以是另一种类型的设备，诸如PC(个人计算机)、游戏終端等。在本说明书下面的描述中，在终端设备IOOaUOOb和IOOc不需要彼此区分的情况下，省略附图标记末尾的字母，并将它们统称为终端100。成像设备102a、102b和102c (成像设备102)，显示设备160a、160b和160c (显示设备160)以及其它部件也是如此。信息处理装置200是用作支持多个终端设备100之间的信息共享的服务器的装置。在本实施例中，信息处理装置200保持指示虚拟对象的位置和属性的对象数据。虚拟对象可以是写入了某种文本信息的文本框，诸如是例如标签、气球或消息签。此外，虚拟对象可以是例如符号化表达某种信息的图或符号，诸如图标。此外，信息处理装置200保持限定在信息共享系统I内共同设定的共享区域的共享区域数据。共享区域可以例如与真实空间中的真实对象(诸如桌子3)相关联地设定，或可以在不与真实对象相关联的情况下被指定为真实空间的坐标系中的特定区域。此外，信息处理装置200根据每一虚拟对象的属性以及每一虚拟对象与共享区域的位置关系来控制每一虚拟对象的共享。在下面的部分中详细描述这种信息共享系统I的每ー设备的配置的具体例子。<2.终端设备的示例配置〉图2是示出根据本实施例的終端设备100的配置的实例的框图。參考图2，终端设备100包括成像单元102、传感器单元104、输入单元106、通信单元110、存储单元120、图像识别单元130、位置/姿态估计単元140、对象控制単元150和显示单元160。成像单元102与图IA或图IB中所示终端设备100的成像设备102相对应，其通 过拍摄真实空间获取一系列输入图像。然后，成像単元102将获取的输入图像输出到图像识别单元130、位置/姿态估计单元140和对象控制单元150。传感器単元104包括陀螺仪传感器、加速度传感器、地磁传感器和GPS (全球定位系统)传感器。用陀螺仪传感器、加速度传感器或者地磁传感器测量的終端设备100的倾斜角、3-轴加速度或朝向可以被用来估计终端设备100的姿态。此外，GPS传感器可以被用来测量终端设备100的绝对位置(纬度、经度和海抜)。传感器単元104将通过每ー传感器测量获得的測量值输出到位置/姿态估计単元140和对象控制単元150。終端设备100的用户使用输入单元106来操作終端设备100，或将信息输入到終端设备100。输入单元106可以包括例如键盘、按钮、开关或接触面板。此外，输入单元106可以包括根据用户发出的嗓音识别操作命令或信息输入命令的语音识别模块，或者识别反映在输入图像上的用户姿势的姿势识别模块。用户例如通过经由输入单元106的操作(例如，虚拟对象的拖拽、方向键的按压等)移动显示在显示单元160的屏幕上的虚拟对象。此夕卜，用户经由输入单元106编辑其拥有的虚拟对象的属性。通信単元110是作为通信设备100和另ー个设备之间的通信连接媒介的通信接ロ。当終端设备100加入信息共享系统I时，通信単元110建立終端设备100和信息处理装置200之间的通信连接。此外，通信単元110还可以建立多个终端设备100之间的通信连接。从而使得能够进行用于在信息共享系统I的用户之间共享信息的通信。存储单元120通过使用诸如硬盘、半导体存储器等的存储介质(即非易失性计算机可读存储介质)存储用于终端设备100进行的处理的程序和数据。例如，存储单元120存储由对象控制単元150产生的虚拟对象的对象数据，或者经由通信単元110从信息处理装置200获取的虚拟对象的对象数据。此外，存储单元120存储关于共享区域的共享区域数据，終端设备100的用户使用该共享区域数据进行登记。图像识别单元130对从成像单元102输入的输入图像进行图像识别处理。例如，图像识别单元130可以使用已知的图像识别方法(诸如模式匹配)识别输入图像中示出的、且与共享区域相关联的真实空间中的真实对象(例如，图IA或图IB中所示的桌子3)。可选择地，图像识别单元130可以在输入图像内识别物理上附到真实对象的标记、QR代码等。位置/姿态估计単元140通过使用从传感器104输入的每ー传感器的測量值估计終端设备100的当前位置和姿态。例如，位置/姿态估计単元140能够通过使用GPS传感器的测量值估计终端设备100的绝对位置。此外，位置/姿态估计単元140能够通过使用陀螺仪传感器、加速度传感器或地磁传感器的测量值估计终端设备100的姿态。可选择地，位置/姿态估计単元140可以基于图像识别单元130进行图像识别的结果估计终端设备100对真实空间中的真实对象的相对位置或姿态。此外，位置/姿态估计単元140也可以例如根据在 Andrew J. Davison 的“Real-Time Simultaneous Localization and Mappingwith a bingle Camera，，(Proceedings of the 9th IEEE International Conference onComputer Vision Volume 2, 2003, pp. 1403-1410)中描述的 SLAM 技术的原理,通过使用从成像単元102输入的输入图像动态地检测终端设备100的位置和姿态。另外，在使用SLAM技术的情况下，传感器単元104可以从终端设备100的配置中省略。位置/姿态单元140将以上面的方式估计的终端设备100的位置和姿态输出到对象控制単元150。对象控制单元150控制虚拟对象在终端设备100上的操作和显示。
更特别地，对象控制単元150产生表达由用户输入或选择的信息的虚拟对象。例如，围绕桌子3的三个用户之一经由输入単元106、以文本信息的形式输入关于其在会议或会议的几分钟期间产生的想法的笔记的信息。然后，对象控制単元150生成示出输入文本信息的虚拟对象(例如，文本框)。生成了虚拟对象的终端设备100的用户成为虚拟对象的拥有者。此外，对象控制単元150将生成的虚拟对象与真实空间中的位置相关联。虚拟对象要与之相关联的位置可以是由用户指定的位置，或者可以是预先设定的位置。然后，对象控制单元150经由通信単元110将指示生成的对象的位置和属性的对象数据发送到信息处理装置200。此外，对象控制単元150经由通信単元110从信息处理装置200获取关于被允许根据共享区域和每一虚拟对象之间的位置关系进行显示的虚拟对象的对象数据。然后，对象控制单元150基于由获取的对象数据指示的每一虚拟对象的三维位置和由位置/姿态估计单元140估计的终端设备100的位置和姿态来计算每一虚拟对象在屏幕上的显示位置。然后，对象控制単元150使由显示单元160显示的每一虚拟对象显示在计算出的显示位置。此外，对象控制単元150经由通信単元110从信息处理装置200获取限定设定在真实空间中的虚拟共享区域的共享区域数据。然后，对象控制単元150使用于允许用户察觉共享区域的辅助对象(例如，围绕共享区域的半透明区域或框)由显示单元160显示。可以基于由共享区域数据指示的共享区域的位置和終端设备100的位置和姿态来计算辅助对象的显示位置。此外，对象控制単元150使由显示单元160显示的虚拟对象根据经由输入单元106检测到的用户输入进行移动。然后，对象控制単元150经由通信単元110将虚拟对象的移动后的新位置发送到信息处理装置200。显示单元160与图IA或图IB中所示的终端设备100的显示设备160相对应。显示单元160将从信息处理装置200获取的虚拟对象叠加在真实空间上由对象控制单元150计算的显示位置，并显示叠加結果。此外，显示单元160根据从信息处理装置200获取的共享区域数据将用于允许用户察觉共享区域的辅助对象叠加在真实空间上，并显示叠加结果O图3是示出由終端设备100的成像単元102拍摄的图像的实例的说明图。參考图3，示出了从用户Ua的观察点拍摄的输入图像ImO。在输入图像ImO中示出了用户Ub和Uc以及桌子3。图4是示出由终端设备IOO(IOOa)的显示单元160显示的图像的实例的说明图。參考图4，多个对象ObjlU Obj 12、Obj 13、0bj21、0bj31、0bj32和ObjA被叠加在真实空间中、图3的输入图像ImO中示出的桌子3上显示。例如，对象0bjll、0bjl2和0bjl3是表达用户Ua已输入的信息的虚拟对象。对象0bj21是表达用户Ub已输入信息的虚拟对象。对象0bj31和0bj32是表达用户Uc已输入的信息的虚拟对象。对象ObjA是用于允许用户察觉共享区域的辅助对象。在信息共享系统I中，利用接下来说明的信息处理装置200的改进，显示这种对象的AR空间被呈现给用户，并使得能够进行用户之间信息的容易并灵活的共享。<3.信息处理装置的示例配置>图5是示出根据本实施例的信息处理装置200的结构的实例的框图。參考图5，信息处理装置200包括通信単元210、存储单元220、共享区域设定单元(即，共享区域限定単元)230以及共享控制単元240。(3-1)通信单元 通信単元210是作为信息处理装置200和終端设备100之间的通信连接媒介的通信接ロ。当从终端设备100接收到加入信息共享系统I的请求时，通信単元210建立与终端设备100的通信连接。从而，使得能够在终端设备100和信息处理装置200之间进行诸如对象数据、共享区域数据等各种数据的交换。(3-2)存储单元存储单元220存储关于叠加在真实空间上、并显示在每ー终端设备100的屏幕上的虚拟对象的对象数据。典型地，对象数据包括指示每ー对象在真实空间中的位置的位置数据，以及指示每ー对象的属性的属性数据。存储单元220还存储限定虚拟地设定在真实空间中的共享区域的共享区域数据。共享区域数据包括关于每一共享区域在真实空间中的范围的数据。此外，共享区域数据还可以包括关于使用每一共享区域的用户的数据。
(对象数据)图6是用于描述本实施例中要由信息处理装置200存储的对象数据的说明图。參考图6，示出了作为实例的对象数据212。对象数据212包括7个数据项对象ID、位置、姿态、拥有者、公共标志、共享标志以及内容。“对象ID”是用于每一虚拟对象的唯一标识的标识符。“位置”指示每一虚拟对象在真实空间中的位置。每一虚拟对象在真实空间中的位置可以例如通过指示诸如纬度、经度和海抜的绝对位置的全球坐标来表达，或者通过与特定空间(例如，建筑物、会议室等)相关联设定的本地坐标来表达。“姿态”使用四元数或欧拉角指示每一虚拟对象的姿态。“拥有者”是用于标识每ー对象的拥有者用户的用户ID。在图6的实例中，对象Objll、Obj 12和Obj 13的拥有者是用户Ua。另ー方面，对象0bj32的拥有者是用户Uc。“公共标志”是限定每一虚拟对象的属性(公共或私有)的标志。“公共标识”为“真”的虚拟对象(即，具有公共属性的虚拟对象)无论虚拟对象的位置在哪儿基本对所有用户是公共的。另ー方面，关于“公共标志”是“假”的虚拟对象(即，具有私有属性的虚拟对象)，根据共享标志的值和虚拟对象的位置来确定是否使该虚拟对象成为公共的。“共享标志”是能够由每一虚拟对象的拥有者编辑的标志。当特定虚拟对象的“共享标志”被设定为“真”时，如果该虚拟对象被定位在共享区域中，则使该虚拟对象对拥有者之外的用户成为公共的(即，其被共享)。另ー方面，当特定虚拟对象的“共享标志”被设定为“假”吋，即使该虚拟对象被定位在共享区域中，也不使该虚拟对象对拥有者之外的用户成为公共的(即，其不被共享)。“内容”指示要由每一虚拟对象表达的信息，其例如可以包括诸如文本框中的文本、图标的位图、三维对象的多边形等数据。
另外，可以简单地根据虚拟对象是否位于共享区域中来确定允许还是拒绝每一虚拟对象的显示。在这种情况下，可以从对象数据的数据项中省略“公共标志”和“共享标志”。(共享区域数据)图7是用于描述本实施例中由信息处理装置200存储的共享区域数据的说明图。參考图7，示出了作为实例的共享区域数据214。共享区域数据214包括5个数据项共享区域ID、顶点数、顶点坐标、用户数和登记用户。“共享区域ID”是用于每一共享区域的唯一标识的标识符。“顶点数”和“顶点坐标”是关于每一共享区域在真实空间中的范围的数据。在图7的实例中，共享区域SAl被限定为由位置以坐标Xaii到Xain给出的N个顶点形成的多边形。共享区域SA2由位置以坐标Xa21到Xa2m给出的M个顶点形成的多边形限定。共享区域可以是由一组多边形形成的三维区域，或者是多边形或椭圆形的ニ维区域。“用户数”和“登记用户”是限定使用每一共享区域的用户的组(下文中称为用户组)的数据。在图7的实例中，共享区域SAl的用户组包括Nm个登记用户。此外，共享区域SA2的用户组包括Nu2个登记用户。如果定位在特定共享区域中的虚拟对象的共享标志是“真”，则可以使该虚拟对象对登记在该虚拟对象用户组中的用户是公共的。另外，可以从共享区域数据的数据项中省略“用户数”和“登记用户”。(3-3)共享区域设定单元共享区域设定单元230设定(即，限定)真实空间中的虚拟共享区域。当由共享区域设定单元230设定了共享区域时，如图7中例示的限定该共享区域的共享区域数据被存储在存储单元220中。(共享区域的实例)图8是示出可以由共享区域设定单元230设定的共享区域的第一实例的说明图。在第一实例中，共享区域SAl是具有定位在桌子3的表面上的4个顶点Xaii到Xai4的四边平面区域。图9是示出可以由共享区域设定单元230设定的共享区域的第二实例的说明图。在第二实例中，共享区域SA2是具有定位在桌子3的上面或上方的8个顶点Xa21到Xa28的三维长方体区域。图10是示出可以由共享区域设定单元230设定的共享区域的第三实例的说明图。在第三实例中，共享区域SA3是定位在桌子3表面上的、以点Ca3为中心、Ra3为半径的圆形平面区域。如图8到图10所示，共享区域设定单元230可以在与真实空间中的预定真实对象相关联的位置处设定共享区域。预定真实对象可以例如是桌子、白板、PC(个人计算机)的屏幕、墙壁、地板等。可选择地，共享区域设定单元230还可以在不将共享区域与真实空间中的真实对象相关联的情况下，将共享区域设定在全球坐标系或本地坐标系中的特定位置。
可以预先固定地限定要有共享区域设定单元230设定的共享区域。此外，共享区域设定单元230可以通过从终端设备100接收新共享区域的限定重新设定共享区域。例如，參考图11，示出了 QR代码被附到与共享区域的顶点相对应的位置的桌子3。終端设备100通过拍摄这些QR代码来识别共享区域的顶点，并将要由识别出的顶点形成的共享区域的限定发送到信息处理装置200。于是，可以用共享区域设定单元230设定如图8中所示的四边平面共享区域。上面说明的QR代码(或标记等)也可以不布置在共享区域的顶点处，而是布置在共享区域的中心处。(用户组)此外，在本实施例中，共享区域设定单元230为每一共享区域设定通过将使用共享区域的用户分组获得的用户组。在设定特定共享区域后，共享区域设定单元230可以例如将信标广播到周边的终端设备100，以邀请要使用已经设定的共享区域的用户。然后，共 享区域设定单元230可以将已经响应信标的终端设备100的用户登记为将使用共享区域的用户(图7中共享区域数据214的“登记用户”)。可选择地，共享区域设定单元230可以从终端设备100接收登记到共享区域的请求，并将作为已经接收到的登记请求的发送源的終端设备100的用户登记为将使用该共享区域的用户。(3-4)共享控制单元共享控制单元240控制虚拟对象在呈现用于用户之间的信息共享的AR空间的终端设备100处的显示。更特别地，共享控制単元240依据每一虚拟对象是否被定位在共享区域中来允许或拒绝每一虚拟对象在终端设备100处的显示。此外，在本实施例中，共享控制単元240依据每一虚拟对象的属性允许或拒绝每一虚拟对象在每ー终端设备100处的显示。然后，共享控制单元240向每ー终端设备100发布允许在该终端设备100处显示的虚拟对象的对象数据。可选择地，共享控制単元240不管虚拟对象是否被允许在任何特定终端设备100处显示，而向每ー终端设备100发布虚拟对象的对象数据。在这种实施例中，共享控制単元240向每ー终端设备发布表示允许在终端设备100处显示的虚拟对象的特定朝向的对象数据。例如，特定朝向可以是面朝上的朝向。共享控制单元240也可以向每ー终端设备发布表示虚拟对象的多个朝向的对象数据，该多个朝向的至少之ー只能在被允许显示该虚拟对象的終端设备100处显示。在一个示例性实施例中，虚拟对象可以是虚拟游戏卡，且多个朝向可以是面朝上和面朝下的朝向。在这种实施例中，给定终端设备100可能能够显示面朝上朝向的特定虚拟游戏卡(例如，那些对给定终端设备100的用户“发牌”的虚拟游戏卡)，但只能显示面朝下朝向的其它虚拟游戏卡(例如，那些对给定终端设备100的用户之外的个体“发牌”的虚拟游戏卡)。例如，无论虚拟对象是否被定位在共享区域中，共享控制单元240都允许特定虚拟对象在该虚拟对象的拥有者用户的终端设备100处的显示。此外，在特定虚拟对象具有公共属性的情况下，无论虚拟对象是否被定位在共享区域中，共享控制単元240都允许虚拟对象在每ー终端设备100处的显示。根据“共享标志”的值和虚拟对象的位置确定不具有公共属性的虚拟对象在该虚拟对象的拥有者用户之外的用户的终端设备100处的显示的允许或拒绝。例如，当拥有者用户将特定虚拟对象设定为非共享对象时，即使该虚拟对象被定位在共享区域中，共享控制単元240也拒绝该虚拟对象在拥有者用户之外的用户的终端设备100处的显示。另ー方面，当特定虚拟对象被设定为共享对象吋，如果该虚拟对象被定位在共享区域中，则共享控制单元240允许该虚拟对象在该虚拟对象的拥有者用户之外的用户的终端设备100处的显示。在这种情况下，允许显示虚拟对象的終端设备100可以是属于虚拟对象所位于的共享区域的用户组的用户的终端设备100。在虚拟对象被完整地包括在共享区域中的情况下，共享控制単元240可以确定虚拟对象被定位在共享区域中。可选择地，在虚拟对象部分地与共享区域交叠的情况下，共享控制単元240可以确定虚拟对象被定位在共享区域中。此外，共享控制单元240根据在每ー终端设备100处检测到的虚拟对象的操作更新包括在被操作了的虚拟对象的对象数据中的位置和姿态。从而，可以在用户之间容易地共享虚拟对象，或可以简单地通过用户操作虚拟对象(共享标志为“真”的共享对象)并将虚拟对象移动到共享区域的内部或外部，来容易地结束该共享。<4.处理流程的实例>
接下来，将參考图12和图13描述根据本实施例的信息共享系统I处的处理的流程。(4-1)概览流程图12是示出直到信息共享系统I中的信息共享开始的过程的流程的实例的序列图。另外，为了说明简便，这里假设只有两个用户Ua和Ub的終端设备IOOa和IOOb加入信息共享系统I中。參考图12，首先，終端设备IOOa向信息处理装置200请求共享区域的设定(步骤S102)。然后，信息处理装置200的共享区域设定单元230设定新的共享区域(步骤S104)。然后，共享区域设定单元230向終端设备IOOb发送用于为新设定的共享区域邀请用户的信标(步骤S106)。接收到该信标的终端设备IOOb响应对共享区域的邀请(步骤S108)。这里，假设终端设备IOOb的用户Ub已经接受了邀请。然后，信息处理装置200的共享区域设定单元230将用户Ub登记在新共享区域的用户组中(步骤S110)。接下来，終端设备IOOa将在终端设备IOOa处生成的虚拟对象(即，拥有者是用户Ua的虚拟对象)的对象数据发送到信息处理装置200 (步骤S120)。同样地，終端设备IOOb将在终端设备IOOb处生成的虚拟对象的对象数据发送到信息处理装置200 (步骤S122)。从而将图6中所例示的对象数据登记(或更新)在信息处理装置200的存储单元220中(步骤S124)。可以周期性地执行，或者可以以虚拟对象的操作的定时不定期地执行对象数据的这种登记或更新。接下来，信息处理装置200的共享控制単元240对每ー用户执行共享确定处理。例如，共享控制単元240首先对用户Ua执行共享确定处理(步骤S132)，井向终端设备IOOa发布被允许在终端设备IOOa显示的虚拟对象的对象数据(步骤S134)。接下来，共享控制単元240对用户Ub执行共享确定处理(步骤S142)，井向終端设备IOOb发布被允许在终端设备IOOb处显示的虚拟对象的对象数据(步骤S144)。(4-2)共享确定处理的流程图13是示出由信息处理装置200的共享控制単元240进行的、针对每ー用户(下文中，称为目标用户)的共享确定处理的流程的实例的流程图。针对包括在对象数据212中的每一虚拟对象执行图13中的步骤S202到S216的处理。
首先，共享控制単元240确定目标用户是否是虚拟对象的拥有者(步骤S202)。这里，在用户是虚拟对象的拥有者的情况下，共享控制単元240允许向目标用户显示虚拟对象(步骤S216)。另ー方面，在目标用户不是虚拟对象的拥有者的情况下，处理进行到步骤S204。接下来，共享控制単元240确定虚拟对象是否具有公共属性(步骤S204)。这里，在虚拟对象具有公共属性的情况下，共享控制単元240允许向目标用户显示该虚拟对象(步骤S216)。另ー方面，在虚拟对象不具有公共属性的情况下，处理进行到步骤S206。接下来，共享控制単元240确定虚拟对象的共享是否被使能(步骤S206)。这里，在虚拟对象的共享不被使能的情况下(即，共享标志是“假”)，共享控制単元240拒绝向目 标用户显示该虚拟对象(步骤S214)。另ー方面，在虚拟对象的共享被使能的情况下，处理进行到步骤S208。接下来，共享控制単元240确定虚拟对象是否位于共享区域中(步骤S208)。这里，在虚拟对象不位于共享区域中的情况下，共享控制単元240拒绝向目标用户显示该虚拟对象(步骤S214)。另ー方面，在虚拟对象位于共享区域中的情况下，处理进行到步骤S212。在步骤S212中，共享控制单元240确定目标用户是否被包括在虚拟对象所位于的共享区域的用户组中(步骤S212)。这里，在目标用户被包括在用户组中的情况下，共享控制単元240允许向目标用户显示该虚拟对象(步骤S216)。另ー方面，在目标用户不被包括在用户组中的情况下，共享控制単元240拒绝向目标用户显示该虚拟对象(步骤S214)。(4-3)显示位置的计算另外，例如，可以根据诸如下面的公式的针孔模型来执行与信息处理装置200允许其显示的虚拟对象有关的坐标从由对象数据指示的三维位置到屏幕上的ニ维显示位置的转换。XCobj = ΑΩ (Xobj-Xc)... (I)在公式(I)中，Xtjw是指示虚拟对象在全球坐标系或本地坐标系中的三维位置的向量，X。是指示終端设备100的三维位置的向量，Ω是与终端设备100的姿态相对应的旋转矩阵，矩阵A是照相机内部參数矩阵，以及λ是用于归ー化的參数。此外，Ctjw指示虚拟对象在图像平面上的ニ维照相机坐标系(u，v)中的显示位置(见图14)。在虚拟对象的三维位置由距真实对象的位置Xtl的相对位置Vtjbj给定的情况下，可以用下面的公式计算Xobj。XQbj =(2)根据终端设备100的成像単元102的性质，将照相机内部參数矩阵A预先给出为下面的公式。
r-f-K f-K uo、A= O ~~~0 v°
OOI…
Vノ…(3)这里，f是焦距，Θ是图像轴的交角(理想值是90度)，ku是图像平面的垂直轴的标度(从真实空间的坐标系到照相机坐标系的标度的改变率)，kv是图像平面的水平轴的标度，且(H)是图像平面的中心位置。〈5.共享信息和非共享信息的实例>
图15是示出信息共享系统I中的共享信息和非共享信息的实例的说明图。在图15中，示出了在共享区域SAl内或外布置的多个虚拟对象。另外，这里假设用户Ua、Ub和Uc正參加信息共享系统I。图中加点的虚拟对象是允许用户Ua观看的对象(即，允许显示在终端设备IOOa处的对象)。另ー方面，未加点的虚拟对象是不允许用户Ua观看的对象(即，拒绝显示在終端设备IOOa处的对象)。在图15中所示的虚拟对象中的对象Objll和0bjl2的拥有者是用户Ua。因此，不管Objll和0bjl2的属性如何，它们都可以由用户Ua观看。另ー方面，对象0bj21和0bj22的拥有者是用户Ub0对象0bj31、0bj32和0bj33的拥有者是用户Uc。在这些虚拟对象中，对象0bj33具有公共属性，因此可以由用户Ua光看。此外，因为对象0bj21和0bj31的共享标志是“真”，并且它们被定位在共享区域内，所以可以由用户Ua观看。尽管对象0bj22的共享标志是“真”，其被定位在共享区域之外，因此，用户Ua不被允许观看对象Obj22。尽管对象Obj32被定位在共享区域内，其共享标志是 “假”，因此，用户Ua不被允许观看对象0bj32。图16和图17各自是用于描述用于共享图15中非共享信息的场景的说明图。參考图16，对象0bj22被用户Ub从共享区域外部移动到内部。于是，使得用户Ua能够观看对象0bj22。此外，參考图17，对象0bj32的共享标志被用户Uc从“假”改为“真”。于是，使得用户Ua能够观看对象0bj32。相反，在虚拟对象被从共享区域内部移动到外部的情况下，或在虚拟对象的共享标志被改为“假”的情况下，先前被共享的虚拟对象不再被共享。〈6.变型例〉在上述实施例中，描述了信息处理装置200被配置为与用户持有或佩戴的终端设备100分离的设备的实例。然而，如果任何終端设备具有信息处理装置200的服务器功能(主要是共享区域设定单元230和共享控制単元240的功能)，则信息处理装置200可以从信息共享系统的配置中省略。图18示出根据这种变型例的信息共享系统2的概览。參考图18，信息共享系统2包括由用户Ua佩戴的終端设备300a和由用户Ub佩戴的終端设备IOOb0除了上述終端设备100的功能之外，終端设备300a包括与信息处理装置200相关联描述的服务器功能。另ー方面，終端设备IOOb包括上述終端设备100的功能。此外，利用这种信息共享系统2，如利用信息共享系统I，使得用户能够容易地处理期望与AR空间中的其它用户共享的信息以及不期望共享的信息。<7.总结〉在上文中，參考图IA到图18说明了本公开的实施例(以及其变型例)。根据上述实施例，依据虚拟对象是否定位在虚拟地设定在真实空间中的共享区域中而允许或拒绝每一虚拟对象在終端设备处的用于增强现实的显示。因此，用户可以通过执行将指示信息的虚拟对象简单地移动到共享区域内部的操作共享期望与另ー用户共享的信息。这时，不必要进行诸如切換AR空间的层的复杂操作。根据实施例，提供一种用于共享虚拟对象的装置，包括通信単元，配置为接收指示虚拟对象相对于真实空间的位置的位置数据；以及共享控制単元，配置为将虚拟对象的位置与相对于真实空间限定的共享区域相比较；以及基于比较的结果选择性地允许用显示设备显示虚拟对象。根据另ー实施例，提供一种共享虚拟对象的方法，包括接收指示虚拟对象相对于真实空间的位置的位置数据；将虚拟对象的位置与相对于真实空间限定的共享区域相比较；以及基于比较的结果选择性地允许用显示设备显示虚拟对象。根据另ー实施例，提供一种非易失性、计算机可读存储介质，其存储程序，当由处理器执行程序时，使装置执行共享虚拟对象的方法，方法包括接收指示虚拟对象相对于真实空间的位置的位置数据；将虚拟对象的位置与相对于真实空间限定的共享区域相比较；以及基于比较的结果选择性地允许用显示设备显示虚拟对象。根据另ー实施例，提供一种用于共享虚拟对象的装置，包括存储程序的存储介质；以及处理器，配置为执行程序，以使装置执行共享虚拟对象的方法，方法包括接收指示虚拟对象相对于真实空间的位置的位置数据；将虚拟对象的位置与相对于真实空间限定的共享区域相比较；以及基于比较的结果，选择性地允许用显示设备显示虚拟对象。根据另ー实施例，一种用于共享虚拟对象的设备，包括通信装置，用于接收指示 虚拟对象相对于真实空间的位置的位置数据；以及共享装置，用于将虚拟对象的位置与相对于真实空间限定的共享区域相比较；以及基于比较的结果，选择性地允许用显示设备显示虚拟对象。此外，根据实施例，无论虚拟对象是否被定位在共享区域中，都允许特定虚拟对象在该虚拟对象的拥有者用户的终端处的显示。因此，用户可以自由地布置其已经在共享区域内或外生成的信息。此外，根据实施例，在特定虚拟对象具有公共属性的情况下，无论虚拟对象是否被定位在虚拟区域中，都允许虚拟对象在終端设备处的显示。因此，关于信息的特定类型，通过预先将公共属性附到该信息，可以在不对共享施加限制的情况下使得该信息由多个用户自由地观看。此外，根据实施例，如果特定虚拟对象被设定为非共享对象，则即使该虚拟对象被定位在共享区域中，也拒绝该虚拟对象在该虚拟对象的拥有者用户之外的用户的终端设备处的显示。因此，使得用户能够在不允许其它用户观看其生成的信息中不期望与其它用户共享的信息的同时，将该信息布置在共享区域中。此外，根据实施例，定位在每一共享区域中的虚拟对象被允许向属于该共享区域的用户组的用户的终端设备显示。因此，例如，可以防止恰巧路过共享区域的用户无条件地观看信息。此外，根据实施例，共享区域可以被设定为与真实空间中的特定真实对象相关联的位置。即，真实空间中的诸如桌子、白板、PC屏幕、墙壁或地板的真实对象可以被视为用于使用増加现实的信息共享的空间。在这种情况下，使得用户能够更直观地识别共享区域的范围。另外，在本说明书中，主要以由多个用户參加的会议的信息共享为例说明了本公开的实施例。然而，本说明书中描述的技术可以应用于各种其它用途。例如，本技术可以被应用到物理公告板，且代替将纸别在公告板上，可以将共享区域设定在公告板上，且可以将指示要共享的信息的虚拟对象布置在共享区域上。此外，本技术可以应用于卡片游戏，且指示要对其它用户显露的卡片的虚拟对象可以被移动到共享区域的内部。此外，可以通过使用软件、硬件以及软件和硬件的结合中的任ー个来实现在本说明书中描述的每一设备进行的一系列控制处理。例如，构造软件的程序被预先存储在设置在每ー设备之内或之外的存储介质(即，非易失性、计算机可读存储介质)中。例如，在执行时将每一程序加载到RAM (随机存取存储器)中，并利用诸如CPU (中央处理单元)的处理器来执行。本领域技术人员应该理解可能基于设计要求和其它因素发生各种变型、组合、子组合和改变，只要它们在所附权利要求书或其等同物的范围内。例如，本技术可以采用下面的配置。(I) ー种信息处理装置，包 括存储单元，用于存储指示叠加在真实空间上并显示在至少ー个终端设备的屏幕上的至少ー个虚拟对象的位置的位置数据；共享区域设定单元，用于在真实空间中设定至少ー个虚拟共享区域；以及控制单元，用于依据每一虚拟对象是否被定位在至少ー个共享区域中，允许或拒绝每一虚拟对象在至少ー个終端设备处的显示。(2)根据⑴所述的信息处理装置，其中，无论特定虚拟对象是否被定位在至少ー个共享区域中，控制单元都允许特定虚拟对象在该特定虚拟对象的拥有者用户的终端设备处的显示。(3)根据⑴或⑵所述的信息处理装置，其中，在特定虚拟对象具有公共属性的情况下，无论特定虚拟对象是否被定位在至少ー个共享区域中，控制单元都允许特定虚拟对象在每ー终端设备处的显示。(4)根据⑴到(3)中任一项所述的信息处理装置，其中，当特定虚拟对象的拥有者用户将该特定对象设定为非共享对象时，即使该特定虚拟对象被定位在至少ー个共享区域中，控制单元也拒绝特定虚拟对象在该特定虚拟对象的拥有者用户之外的用户的终端设备处的显示。(5)根据⑴到(4)中任一项所述的信息处理装置，其中，共享区域设定单元为至少一个共享区域的每ー个设定用户组，以及其中，控制单元允许属于每一共享区域的用户组的用户的终端设备显示定位在共享区域中的虚拟对象。(6)根据⑴到(5)中任一项所述的信息处理装置，其中，该至少一个共享区域被设定在与真实空间中的特定真实对象相关联的位置。(7)根据⑴到(6)中任何一项所述的信息处理装置，其中，控制单元根据在每一終端设备处检测到的对虚拟对象的操作，更新已经操作的虚拟对象的位置数据。(8)根据⑴到(7)中任一项所述的信息处理装置，其中，该信息处理装置是多个終端设备之一。(9) 一种由信息处理装置执行的信息共享方法，该信息处理装置在存储介质中存储指示叠加在真实空间上且显示在終端设备屏幕上的至少ー个虚拟对象的位置的位置数据，该方法包括在真实空间中设定虚拟共享区域；以及依据每一虚拟对象是否被定位在共享区域中来允许或拒绝每一虚拟对象在终端设备处的显示。(10) ー种程序，用于使用于控制信息处理装置的计算机作为如下単元操作，其中，信息处理装置在存储介质中存储指示叠加在真实空间上且显示在終端设备屏幕上的至少一个虚拟对象的位置的位置数据共享区域设定单元，用于在真实空间中设定虚拟共享区域；以及控制单元，用于依据每一虚拟对象是否被定位在共享区域中来允许或拒绝每一虚拟对象在終端设备处的显示。
(11) ー种终端设备，包括对象控制単元，用于从存储指示至少ー个虚拟对象的位置的位置数据的信息处理装置中获取虚拟对象，根据设定在真实空间中的虚拟共享区域和虚拟对象之间的位置关系允许所获取虚拟对象的显示；以及显示单元，用于将由对象控制单元获取的虚拟对象叠加在真实空间上，并显示该虚拟对象。(12)根据(11)所述的终端设备，其中，显示单元还显示用于允许用户察觉共享区域的辅助对象。(13)根据(11)或(12)所述的终端设备，其中，对象控制単元使由显示单元显示的虚拟对象根据用户输入进行移动。(14)根据(11)到(13)中任一项所述的終端设备，还包括通信単元，用于将已经根据用户输入移动了的虚拟对象的新位置发送到信息处理装置。
权利要求
1.一种用于共享虚拟对象的装置，包括 通信単元，配置为接收指示虚拟对象相对于真实空间的位置的位置数据；以及 共享控制単元，配置为 将所述虚拟对象的位置与相对于所述真实空间限定的共享区域相比较；以及 基于所述比较的结果选择性地允许用显示设备显示所述虚拟对象。
2.根据权利要求I所述的装置，其中，所述共享控制单元被配置为通过选择性地将表示所述虚拟对象的对象数据发布到远程设备，选择性地允许所述虚拟对象的显示。
3.根据权利要求2所述的装置，其中，所述共享控制单元被配置为通过选择性地发布表示所述虚拟对象的特定朝向的对象数据，选择性地允许所述虚拟对象的显示。
4.根据权利要求3所述的装置，其中，所述共享控制单元被配置为通过选择性地发布表示所述虚拟对象的面朝上朝向的对象数据，选择性地允许所述虚拟对象的显示。
5.根据权利要求I所述的装置，其中，所述共享控制单元被配置为发布表示所述虚拟对象的多个朝向的对象数据，所述多个朝向中至少之ー只能由被允许显示所述虚拟对象的显示设备显示。
6.根据权利要求I所述的装置，包括共享区域限定単元，所述共享区域限定単元被配置为限定所述共享区域相对于所述真实空间中的真实对象的位置。
7.根据权利要求6所述的装置，其中，所述共享区域限定単元被配置为存储与至少ー个用户相关联的共享区域数据。
8.根据权利要求I所述的装置，其中，所述共享控制单元被配置为存储指示所述虚拟对象的位置的对象数据。
9.根据权利要求8所述的装置，其中，所述共享控制单元被配置为 存储指示所述虚拟对象是公共虚拟对象还是私有虚拟对象的对象数据；以及 当所述虚拟对象是公共虚拟对象时，允许所述显示设备显示所述虚拟对象。
10.根据权利要求8所述的装置，其中，所述共享控制单元被配置为 存储指示所述虚拟对象的拥有者的对象数据；以及 允许所述拥有者所使用的显示设备显示所述虚拟对象。
11.根据权利要求10所述的装置，其中，所述共享控制单元被配置为 存储指示所述虚拟对象是否私有虚拟对象的对象数据； 存储指示所述虚拟对象是可共享虚拟对象的对象数据；以及 当所述虚拟对象是私有虚拟对象且不可共享时，拒绝除所述拥有者所使用的显示设备之外的显示设备显示所述虚拟对象。
12.根据权利要求11所述的装置，其中，所述共享控制单元被配置为当所述虚拟对象是私有的、可共享的并且位于所述共享区域内时，允许除所述拥有者所使用的显示设备之外的显示设备显示所述虚拟对象。
13.根据权利要求11所述的装置，其中，所述共享控制单元被配置为当所述虚拟对象是私有的、可共享的并且未位于所述共享区域内时，拒绝除所述拥有者所使用的显示设备之外的显示设备显示所述虚拟对象。
14.根据权利要求I所述的装置，其中，所述共享控制单元被配置为将所述虚拟对象的位置与相对于所述真实空间限定的圆形共享区域相比较。
15.根据权利要求I所述的装置，其中，所述共享控制单元被配置为将所述虚拟对象的位置与相对于所述真实空间限定的矩形共享区域相比较。
16.—种共享虚拟对象的方法，包括 接收指示虚拟对象相对于真实空间的位置的位置数据； 将所述虚拟对象的位置与相对于所述真实空间限定的共享区域相比较；以及 基于所述比较的结果选择性地允许用显示设备显示所述虚拟对象。
17.一种非易失性、计算机可读存储介质，其存储程序，当由处理器执行所述程序时，使装置执行共享虚拟对象的方法，所述方法包括 接收指示虚拟对象相对于真实空间的位置的位置数据； 将所述虚拟对象的位置与相对于所述真实空间限定的共享区域相比较；以及 基于所述比较的结果选择性地允许用显示设备显示所述虚拟对象。
18.一种用于共享虚拟对象的装置，包括 存储程序的存储介质；以及 处理器，配置为执行程序，以使所述装置执行共享虚拟对象的方法，所述方法包括 接收指示虚拟对象相对于真实空间的位置的位置数据； 将所述虚拟对象的位置与相对于所述真实空间限定的共享区域相比较；以及 基于所述比较的结果，选择性地允许用显示设备显示所述虚拟对象。
19.一种用于共享虚拟对象的设备，包括 通信装置，用于接收指示虚拟对象相对于真实空间的位置的位置数据；以及 共享装置，用干 将所述虚拟对象的位置与相对于所述真实空间限定的共享区域相比较；以及 基于所述比较的结果，选择性地允许用显示设备显示所述虚拟对象。
全文摘要
提供一种信息处理装置、信息共享方法、程序以及终端设备。用于共享虚拟对象的装置可以包括通信单元和共享控制单元。通信单元可以被配置为接收指示虚拟对象相对于真实空间的位置的位置数据。共享控制单元可以被配置为将虚拟对象的位置与相对于真实空间限定的共享区域相比较。共享控制单元还可以被配置为基于比较的结果选择性地允许用显示设备显示虚拟对象。
文档编号H04N7/14GK102695032SQ201210023940
公开日2012年9月26日 申请日期2012年2月3日 优先权日2011年2月10日
发明者本间俊一, 柏谷辰起, 福地正树, 芦原隆之 申请人:索尼公司