附近位置信息的增强现实布置的制作方法

附近位置信息的增强现实布置的制作方法
【专利摘要】公开了一种在电子设备上显示用户感兴趣的信息的方法，包括：经由照相机捕获周围区域的图像；在电子设备的显示器上显示图像；将图像的一部分中的感兴趣对象识别为对于用户的兴趣点(POI)；获取关于兴趣点的POI信息；布置所述POI信息；以及为所识别的对象在图像上利用增强现实显示所布置的信息。
【专利说明】附近位置信息的增强现实布置

【技术领域】
[0001]本发明一般涉及物理环境的增强现实，并且更具体地，涉及电子设备上的用于物理环境的增强现实布置信息。

【背景技术】
[0002]随着诸如移动电子设备的电子设备的激增，用户日益依赖于这样的设备来获取他们感兴趣的信息。诸如智能电话的许多移动设备为用户提供查看本地地图和用户相对于地图的位置的能力。


【发明内容】

[0003]技术问题
[0004]这样的移动电子设备进一步允许用户输入目的地和按照用户的请求接收驾驶方向和关于目的地的信息，诸如本地服务。所请求的信息被显示在移动设备的显示器上以用于被用户查看。
[0005]问题的解决方案
[0006]本发明一般涉及用于物理环境的、在电子设备上的信息的增强现实布置。在一个实施例中，本发明在电子设备上提供增强现实布置和对附近兴趣点(point-of-1nterest)信息的显示。
[0007]发明的有益效果
[0008]本发明在移动设备显示器上提供视觉上直观的增强现实布置和对附近景点(attract1n)信息的显示。

【专利附图】

【附图说明】
[0009]为了更充分地理解本发明的本质和优点以及优选的使用模式，应该参考下面的结合附图来阅读的详细描述，其中:
[0010]图1A-图1B示出了根据本发明实施例的、用于附近位置信息的增强现实布置的系统上的架构的框图。
[0011]图2A-图2C示出了根据本发明的实施例的、用于附近位置信息的增强现实布置的步骤的示例序列。
[0012]图3示出了根据本发明的实施例的、用于附近位置信息的增强现实布置的示例情形。
[0013]图4示出了根据本发明实施例的、在用户正在摇动移动设备照相机时的、用于附近位置信息的增强现实布置的示例情形。
[0014]图5示出了根据本发明实施例的、在用户已经完成了对移动设备照相机的摇动之后的、用于附近位置信息的增强现实布置的示例情形。
[0015]图6示出了根据本发明实施例的、增强现实布置和兴趣点的显示的图形示例。
[0016]图7示出了根据本发明实施例的、用于附近位置信息的增强现实布置的发现过程的流程图。
[0017]图8是示出包括实施本发明实施例的计算系统的信息处理系统的高级框图。

【具体实施方式】
[0018]在一个实施例中，一种在电子设备上显示用户感兴趣的信息的方法包括:经由照相机捕获周围区域的图像；在电子设备的显示器上显示图像；将图像的一部分中的感兴趣对象识别为对于用户的兴趣点(POI);获取关于兴趣点的POI信息；布置所述POI信息；以及为所识别的对象在图像上利用增强现实显示所布置的信息。
[0019]下面的描述是为了示出本发明的一般原理的目的而做出，并且无意于限制这里所要求保护的发明构思。在各种可能的组合和变换中的每一个中，这里描述的特定特征可以与所描述的其它特征组合使用。除非在这里另外具体定义，否则所有的术语都将被给出它们的可能的最广义的解释，包括说明书中隐含的含义以及本领域技术人员所理解的含义和/或如词典、论文、等等中所定义的含义。
[0020]本发明一般涉及用于物理环境的、在电子设备上的信息的增强现实布置。在一个实施例中，本发明在电子设备上提供增强现实布置和对附近兴趣点信息的显示。
[0021]在一个实施例中，电子设备包括能够通过诸如无线通信链路的通信链路进行数据通信的移动电子设备。这样的移动设备的示例包括移动电话设备、移动平板设备、等等。
[0022]图1A显示根据发明实施例的、用于在电子设备(诸如，如图1B中所示的移动设备20)上提供增强现实布置和对附近兴趣点信息的显示的增强现实布置系统10的实施例的功能框图。
[0023]系统10包括发现模块11，发现模块11包括增强现实模块14 (图1B)、基于位置的信息模块13 (图1B)、和基于对象的辨识模块12 (图1B)。发现模块11利用包括以下各项的移动设备硬件功能:摄像机15、全球定位卫星(GPS)接收器模块16、指南针模块17、以及加速度计和陀螺仪模块18。
[0024]照相机模块用于捕获周围环境的图像。GPS模块被用来识别移动设备(即，用户)的当前位置。指南针模块用于识别移动设备的方向。加速度计和陀螺仪模块用于识别移动设备的倾斜和在空间中分布兴趣点(POI)图标。
[0025]系统10在移动设备显示器21上提供视觉上直观的增强现实布置和对附近景点信息的显示。系统10提供简单的、流畅的、和迅速响应的用户体验。
[0026]增强现实(AR)功能包括其元素被诸如声音、视频、图形、或者GPS数据的由计算机生成的感官输入增强的、物理的真实世界的环境的、实时的(live)直接或间接的视图。在一个示例中，通过综合包括照相机数据、位置数据、传感器数据(即，磁场、加速度计、旋转矢量)等等的信息来利用AR技术。例如，提供这样的信息的谷歌安卓移动操作系统应用编程接口(API)组件可以被使用。
[0027]基于位置的信息/服务功能包括一般类别的计算机程序级服务19，其用来将用于位置和时间数据的特定控件作为控件特征包括在计算机程序和移动应用中。在一个示例中，基于位置的信息和有关的服务是移动应用的组件。在一个实施方式中，基于位置的服务组件可以通过集成下列谷歌安卓移动操作系统API组件来实施:(l)Access_Fine_Locat1n、(2)位置提供者、(3)位置监听者、(4)位置更新、和(5)反向地理编码。
[0028]基于对象的辨识包括,在计算机视觉中，在图像或视频序列中发现给定的(given)对象。在一个示例中，基于对象的辨识可以通过利用执行下列操作的算法来实施:(I)从连续的实时视图流中提取细节/特征、(2)与现有的照片数据库进行比较、和(3)即刻递送结果O
[0029]在一个实施例中，用户将包括发现模块的移动设备(例如，智能电话、平板)的摄像机瞄准诸如用户正在访问的城市中心的目标物理位置。来自照相机应用的物理位置的实时图像被移动设备处理，并且被显示在移动设备的显示监视器上。
[0030]在一个实施例中，一旦被激活，发现模块使得用户能够通过将照相机指向以便在显示屏上的框住(frame)该物理位置的视觉聚光灯内的感兴趣内容，来“扫描”周围环境。
[0031]发现模块使用基于位置的信息模块来获取附近兴趣点位置信息。基于位置的信息模块查询信息服务点(例如，经由无线链路在因特网上)以便获取相关的兴趣点信息搜索结果。
[0032]在一个实施例中，发现模块使用基于对象的辨识模块在物理位置图像中发现作为给定对象的每个兴趣点。这个功能在运行发现模块的同时连续地提取特征和属性，并且在运行于现有图像数据库的比较搜索之后，该功能能够“辨识”兴趣点并且放置召唤(callout)标签以便识别每个POI的位置。
[0033]在一个实施例中，发现模块11包括实施概念可视化功能的概念可视化模块22 (图1B)，该功能用于在显示设备上显示与所述图像中的所辨识的兴趣点(即，对象)相对应的附近兴趣点位置信息。在一个示例中，概念可视化模块可以实施在增强现实模块14(图1B)中。
[0034]在一个实施方式中，兴趣点信息使用增强现实被显示为缩略图，被基于与用户所持的移动设备的距离从左到右排列(例如，最近的兴趣点在显示器上的最左边)。
[0035]在一个实施例中，如果用户移动以便利用移动设备照相机“扫描”另一个目标，则发现模块更新缩略图并且刷新它们。当用户选择(例如，轻击)这些缩略图中的任何一个时，发现模块获取并显示包含更详细的兴趣点信息的信息单元(例如，卡片)。
[0036]在一个实施例中，使用GPS来显示兴趣点以便识别哪些位置在附近，并且指南针被用来确定这些兴趣点在哪个方向。发现模块通过基于与用户的距离排列和显示兴趣点信息，来在显不器上布置该信息。
[0037]发现模块通过最先列出最接近用户的位置(例如，在横排的最左边，如图6中所示)，来排列兴趣点搜索结果。
[0038]在一个实施例中，发现模块连续地扫描周围环境，经由照相机在背景中捕获图像，并且辨识所捕获的图像内的(例如，实时视图空间内的)内容(对象)。基于对象的辨识模块在所捕获的图像中执行对象辨识，其被用来递送除了主要对象/位置之外的附近的“相关的”搜索结果。
[0039]基于对象的辨识模块随着图像被捕获而提供基于对象的辨识，并且递送针对多个对象(例如，附近景点)的搜索结果(例如，POI信息)。
[0040]在一个实施例中，发现模块提供按照近似度和距离两者的对附近兴趣点的AR视觉分类。发现模块提供聚光灯视图，聚光灯视图允许用户在所捕获的图像中在视觉上框住至少一个兴趣点。发现模块以视觉上直观的方式(例如，落针(drop pin)和缩略图)显示兴趣点。发现模块提供对详细的兴趣点信息、地图、和方向的用户快速访问。
[0041]参考图2A到图2C中的序列，当用户将移动设备20瞄准周围环境(例如，城市景观)时，图像25被显示在显示器21上，如照相机模块15所捕获的。一旦发现模块11被用户激活以便帮助用户框住感兴趣内容，则发现模块在移动设备20上提供增强现实布置和对附近兴趣点信息的显示，如下面所描述的。
[0042]如图2A中所示，发现模块11在图像25上显示“聚光灯”(S卩，区域)26，以帮助用户框住感兴趣内容。用户轻击发现图标31以便激活这个模式31。一旦用户已经框住了感兴趣内容作为区域26，则聚光灯26 “锁定”并消失。
[0043]如图2B中所示，发现模块11为通过对象辨识模块12在聚光灯26中的感兴趣内容中识别的对象在图像25上显示兴趣点(例如，附近景点)。兴趣点信息是通过基于位置的信息模块13获取的。
[0044]增强现实模块14将针对诸如附近景点的兴趣点(POI)的信息显示为一排缩略图27,并且还在图像25上显示落入视图的相应的位置针(locat1n pin) 28。
[0045]如图2C中所示，当用户选择附近景点缩略图27时，发现模块11提供详细的位置信息29A、以及显示点到点方向信息的地图29B。
[0046]图3示出诸如城市位置40的物理位置，其中在实时捕获视图(用户能够在其中捕获图像或者视频，用户首先轻击发现图标31以激活发现模式31)中，用户将移动设备照相机瞄准城市位置40的一部分，并且相应的图像25被显示在移动设备显示器21上。
[0047]参考图3中的序列，在第一阶段中，用户激活发现模块11 (例如，通过轻击显示在图像25上的用于激活发现模式的图标31)。然后，用户将移动设备照相机向四周移动，其中设备显示器21上的图像25显示城市位置40的在照相机的视野内的部分。
[0048]然后，在第二阶段，用户对准图像25中的聚光灯26内的感兴趣内容。图像25中围绕聚光灯26的周围内容变暗淡。
[0049]在第三阶段，当用户停止对移动设备照相机进行移动时(如加速度计和陀螺仪模块18所感测到的)，聚光灯26被关闭并且落针28从顶部掉落到兴趣点上，并且缩略图27从右边以动画形式进入(animate in)(类似于以上关于图2A到图2C描述的过程)。
[0050]参考图4中的序列，在用户再次开始摇动(pan)移动设备的第四阶段中，其中落针28以动画形式向上离开图像25中的视图，并且缩略图图标27滑回图像25外面。
[0051]在第五阶段中，当用户移动移动设备照相机时，聚光灯26重新打开，同时图像25中围绕聚光灯26的内容变暗淡。在第六阶段中，当用户停止对移动设备照相机进行移动时，聚光灯26再次关闭，落针28再次从顶部掉落在图像25中，并且缩略图27再次以动画形式从右边进入图像25。
[0052]参考图5中的序列，在第七阶段中，用户轻击左起第4个缩略图27(例如，埃菲尔铁塔)，其中，在第八阶段中，信息卡片29A和29B从该排缩略图27后面向上滑出。除了被选择的一个缩略图之外的所有缩略图都变暗淡。
[0053]图6示出了增强现实布置以及对于在聚光灯范围26内检测到的POI的、从左到右位于聚光灯范围26内的最近的POI最先被列出的显不的图表不例。
[0054]图7示出了根据发明实施例的、用于附近位置信息的增强现实布置的发现过程50的流程图。过程块51包括经由移动设备照相机捕获周围区域的图像。过程块52包括在移动设备显示器上显示该图像。过程块53包括，当激活发现模式时，在所述图像上显示聚光灯区域。过程块54包括将聚光灯区域中的对象识别为兴趣点(POI)。
[0055]过程块55包括使用位置信息、从基于位置的信息/服务获取用于所识别的对象的POI信息。过程块56包括基于与用户的距离来布置用于所识别的对象的POI信息。
[0056]过程块57包括为所识别的对象在图像上利用增强现实显示POI信息。过程块58包括检测移动设备运动。过程块59包括在移动设备显示器上显示照相机捕获的图像。过程块60包括，当检测到移动设备不再移动时，前进到过程块51。
[0057]图8是显示包括实施本发明实施例的计算系统500的信息处理系统的高级框图。系统500包括一个或多个处理器511 (例如，ASIC、CPU等等)，并且还可以包括电子显示设备512 (用于显示图形、文本、及其他数据)、主存储器513 (例如，随机存取存储器(RAM))、存储设备514 (例如，硬盘驱动器)、可移动存储设备515 (例如，可移动存储驱动器、可移动存储器模块、磁带驱动器、光盘驱动器、其中存储了计算机软件和/或数据的计算机可读介质)、用户接口设备516 (例如，键盘、触摸屏、小键盘、指点设备)、和通信接口 517 (例如，调制解调器、无线收发器(诸如WiF1、蜂窝)、网络接口(诸如以太网卡)、通信端口、或者PCMCIA插槽和卡)。通信接口 517允许在计算机系统和外部设备之间传递软件和数据。系统500还包括通信基础结构518 (例如，通信总线、交叉条(cross-over bar)、或者网络)，上述的设备/模块511到517连接到所述通信基础结构518。
[0058]经由通信接口 517传递的信息可以是以信号的形式，诸如能够经由携载信号并且可以使用电线或电缆、光纤、电话线路、蜂窝电话链路、射频(RF)链路、和/或其它通信信道来实施的通信链路被通信接口 517接收的电信号、电磁信号、光信号、或者其它信号。
[0059]在本发明的一个实施方式中，在诸如移动电话的移动无线设备中，系统500还包括诸如照相机15的图像捕获设备。系统500还可以包括应用模块，如MMS模块521、SMS模块522、电子邮件模块523、社交网络接口(SNI)模块、音频/视频(AV)播放器525、网络浏览器526、图像捕获模块527等等。
[0060]根据本发明实施例，系统500还包括如这里所描述的发现模块11。在一个实施方式中，发现模块11和操作系统529 —起可以实施为驻留在系统500的存储器中的可执行代码。在另一个实施例中，这样的模块在固件等等。
[0061]如本领域技术人员所知，如上所述的前述的示例架构可以根据所述架构以许多方式(诸如用于被处理器执行的程序指令)实施为软件模块、微代码，实施为计算机可读介质上的计算机程序产品，实施为模拟/逻辑电路，实施为专用集成电路，实施为固件，实施为消费者电子设备、AV设备、无线/有线发送器、无线/有线接收器、网络、多媒体设备等等。另外，所述架构的实施例可以采取以下形式:完全硬件的实施例、完全软件的实施例、或者包含硬件元件和软件元件两者的实施例。
[0062]已经参考根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图例示和/或框图来描述了本发明的实施例。这样的例示/示图、或者它们的组合的每个块可以通过计算机程序指令来实施。当所述计算机程序指令被提供给处理器时，所述计算机程序指令产生机器，从而经由所述处理器执行的指令创建用于实施所述流程图和/或框图中规定的功能/操作的装置。所述流程图/框图中的每个块可以表示实施本发明实施例的硬件和/或软件模块或者逻辑。在替换的实施方式中，所述块中记录的功能可以不按照所述附图中记录的顺序发生、可以同时发生、等等。
[0063]术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”、和“计算机程序产品”被用来泛指诸如主存储器、辅助存储器、可移动存储驱动器、安装在硬盘驱动器中的硬盘的介质。这些计算机程序产品是用于向计算机系统提供软件的装置。计算机可读介质允许计算机系统从计算机可读介质读取数据、指令、消息或信息分组、以及其它计算机可读信息。计算机可读介质可以包括，例如，非易失性存储器(诸如，软盘、ROM、闪速存储器、磁盘驱动存储器、CD-ROM、和其它永久性存储器)。这对于例如在计算机系统之间传输信息(诸如数据和计算机指令)是有用的。计算机程序指令可以存储在能够指导计算机、其它可编程数据处理装置、或其它设备以特定方式运行(funct1n)的计算机可读介质中，从而存储在计算机可读介质中的指令产生一件包括实施所述流程图和/或框图的块或者(多个)块中规定的功能/动作的指令的制品。
[0064]表示这里的框图和/或流程图的计算机程序指令可以加载到计算机、可编程数据处理装置、或者处理设备上以使得一系列操作在其上被执行以产生计算机实施的过程。计算机程序(即，计算机控制逻辑)被存储在主存储器和/或辅助存储器中。也可以经由通信接口接收计算机程序。当这样的计算机程序被执行时，其使得计算机系统能够执行如这里所讨论的本发明的特征。具体地，当所述计算机程序被执行时，其使得处理器和/或多核处理器执行计算机系统的特征。这样的计算机程序表示计算机系统的控制器。计算机程序产品包括可被计算机系统读取的、并且存储用于被所述计算机系统执行以用于执行本发明的方法的指令的有形的存储介质。
[0065]工业应用
[0066]虽然已经参考本发明的某些版本描述了本发明，但是其他版本是可能的。因此，所附权利要求的精神和范围不应该限制在这里所包含的优选版本的描述中。
[0067]本发明涉及电子设备、信息显示方法，并且可以应用在包括移动电话设备、移动平板设备等等的移动设备中。
【权利要求】
1.一种在电子设备上显示用户感兴趣的信息的方法，包括: 经由所述电子设备的照相机捕获周围区域的图像； 在所述电子设备的显示器上显示所述图像； 将所述图像的一部分中的感兴趣对象识别为对于所述用户的兴趣点(POI)； 获取关于所述兴趣点的POI信息； 布置所述POI信息；以及 为所识别的对象在所述图像上利用增强现实显示所布置的信息。
2.如权利要求1所述的方法，还包括: 检测所述用户对所述图像的一部分的选择，以用于将其中的感兴趣对象识别为对于用户的兴趣点。
3.如权利要求2所述的方法，其中，获取关于所述兴趣点的信息包括: 检测所述移动设备的地理位置；以及 使用所述位置信息以便从基于位置的信息/服务中获取POI信息。
4.如权利要求3所述的方法，还包括: 基于与用户的距离布置所述POI信息。
5.如权利要求4所述的方法，还包括: 将所述图像上的POI信息显示为与所识别的对象相对应的一排缩略图。
6.如权利要求5所述的方法，还包括: 检测用户对缩略图的选择，并且显示用于与所述缩略图相对应的POI的进一步信息。
7.如权利要求4所述的方法，还包括: 检测所述电子设备的照相机的摇动，并且当检测到摇动完成时: 经由所述照相机捕获周围区域的图像； 在所述电子设备的显示器上显示所述图像； 将所述图像的一部分中的感兴趣对象识别为对于所述用户的兴趣点(POI)； 获取关于所述兴趣点的POI信息； 布置所述POI信息；以及 为所识别的对象在所述图像上利用增强现实显示所布置的信息。
8.如权利要求2所述的方法，其中，所述移动电子设备包括移动电话。
9.一种电子设备，包括: 摄像机； 显不器；和 发现模块，其基于经由所述电子设备的照相机捕获的周围区域的图像在所述显示器上显示用户感兴趣的信息； 其中，所述发现模块将所述图像的一部分中的感兴趣对象识别为对于用户的兴趣点(POI)，获取关于所述兴趣点的POI信息，布置所述POI信息，以及为所识别的对象在所述图像上利用增强现实显示所布置的信息。
10.如权利要求10所述的电子设备，其中，所述发现模块检测用户对所述图像的一部分的选择，以用于将其中的感兴趣对象识别为对于用户的兴趣点。
11.如权利要求11所述的电子设备，其中，所述发现模块通过检测所述移动设备的地理位置并且使用所述位置信息以便从基于位置的信息/服务中获取POI信息来获取关于所述兴趣点的信息。
12.如权利要求12所述的电子设备，其中，所述发现模块基于与用户的距离布置所述POI f目息。
13.如权利要求13所述的电子设备，其中，所述发现模块将所述图像上的POI信息显示为与所识别的对象相对应的一排缩略图。
14.如权利要求14所述的电子设备，其中，所述发现模块检测用户对缩略图的选择，并且显示用于与所述缩略图相对应的POI的进一步信息。
15.如权利要求13所述的电子设备，其中，所述发现模块检测所述电子设备的照相机的摇动，并且当检测到摇动完成时: 经由所述照相机捕获周围区域的图像； 在所述电子设备的显示器上显示所述图像； 将所述图像的一部分中的感兴趣对象识别为对于所述用户的兴趣点(POI)； 获取关于所述兴趣点的POI信息； 布置所述POI信息；以及 为所识别的对象在所述图像上利用增强现实显示所布置的信息。
【文档编号】G06T17/00GK104350736SQ201380030108
【公开日】2015年2月11日 申请日期:2013年6月7日 优先权日:2012年6月8日
【发明者】金炳周, 朴垠映, J.阿尔瓦雷斯, P.德赛 申请人:三星电子株式会社