用于提供增强现实个性化内容的系统和方法与流程

本技术涉及增强现实(ar)的领域。更具体地，本技术涉及用于提供与媒体内容相关联的ar效果或内容的技术。

背景

用户常常为了各种各样的目的而利用计算设备。用户可以使用他们的计算设备来例如，与彼此交互、访问媒体内容、共享媒体内容和创建媒体内容。媒体内容可以包括例如文本、图像、视频和音频中的一个或其组合。在一些情况下，媒体内容可以由社交网络系统的用户提供用于由其他人消费。媒体内容可以在用户的计算设备上被捕获并上传到社交网络系统。例如，用户可以在与应用(例如由社交网络系统提供的应用)相关联的照相机视图中捕获图像或视频。

概述

本公开的各种实施例可以包括被配置为从与计算设备相关联的照相机视图获得图像数据的系统、方法和非暂时性计算机可读介质，其中图像数据与内部空间相关联。可以确定图像数据的用于显示一个或更多个增强现实(ar)内容项目的一部分。可以确定要在照相机视图中显示的ar内容项目。可以基于图像数据的所确定的部分来提供ar内容项目以用于在照相机视图中的呈现。

在一些实施例中，可以识别在来自照相机视图的图像数据中包括的一个或更多个对象。

在某些实施例中，基于机器学习模型来识别一个或更多个对象。

在实施例中，该部分是在来自照相机视图的图像数据中识别的对象。

在一些实施例中，可以提供内部空间的三维(3d)地图。

在某些实施例中，3d地图基于即时定位与地图构建(slam)。

在实施例中，图像数据可以被映射到内部空间的3d地图，以便确定与照相机视图相关联的用户在3d地图中的位置或方向中的一个或更多个，其中，照相机视图表示用户的视角。

在一些实施例中，3d地图包括在内部空间中的一个或更多个对象的3d模型。

在某些实施例中，该部分与3d地图中的预定义区域(section)或预定义对象中的一个或更多个相关联。

在实施例中，可以响应于与ar内容项目相关联的手势来提供信息。

本公开的各种实施例可以包括被配置为确定在照相机视图中的植入(placement)以用于显示增强现实(ar)广告的系统、方法和非暂时性计算机可读介质，其中照相机视图与计算设备相关联。可以基于与关联于计算设备的用户相关联的属性来为该用户确定ar广告。可以使ar广告显示在照相机视图中的所确定的植入处。

在一些实施例中，确定在照相机视图中的植入包括识别照相机视图中的一个或更多个对象。

在某些实施例中，基于机器学习模型来识别照相机视图中的一个或更多个对象。

在实施例中，至少部分地基于一个或更多个对象来确定用户的ar广告。

在一些实施例中，一个或更多个对象包括在照相机视图中的外部空间中的对象。

在某些实施例中，确定在照相机视图中的植入包括将照相机视图的图像数据映射到在照相机视图中的内部空间的三维(3d)地图。

在实施例中，内部空间的3d地图基于即时定位与地图构建(slam)。

在一些实施例中，植入与3d地图中的预定义区域或预定义对象相关联。

在某些实施例中，与用户相关联的属性包括下列项中的一个或更多个：年龄、年龄范围、性别、地理区域或兴趣。

在实施例中，基于与在社交网络系统中的用户相关联的信息来确定ar广告。

应当理解，从附图中和从下面的详细描述中，所公开的技术的许多其他特征、应用、实施例和/或变形将是明显的。本文描述的结构、系统、非暂时性计算机可读介质和方法的附加和/或替代实现可以被使用而不偏离所公开的技术的原理。

附图简述

图1示出了根据本公开的实施例的包括示例增强现实效果模块的示例系统，该增强现实效果模块被配置为提供与照相机视图相关联的各种ar效果。

图2示出了根据本公开的实施例的被配置为提供与内部空间相关联的ar叠加(overlay)的示例ar内部叠加模块。

图3示出了根据本公开的实施例的被配置为提供ar个性化广告的示例ar个性化广告模块。

图4示出了根据本公开的实施例的用于提供与内部空间相关联的ar叠加的示例第一方法。

图5示出了根据本公开的实施例的用于提供ar个性化广告的示例第二方法。

图6示出了根据本公开的实施例的可以在各种场景中利用的示例系统的网络图。

图7示出了根据本公开的实施例的可以在各种场景中利用的计算机系统的示例。

附图仅为了说明的目的描绘了所公开的技术的各种实施例，其中附图使用相似的参考数字来标识相似的元件。本领域中的技术人员将从下面的讨论中容易认识到，在附图中示出的结构和方法的替代实施例可以被采用而不偏离本文描述的所公开的技术的原理。

详细描述

提供增强现实效果

用户常常为了各种各样的目的而利用计算设备。用户可以使用他们的计算设备来例如，与彼此交互、访问媒体内容、共享媒体内容和创建媒体内容。媒体内容可以包括例如文本、图像、视频和音频中的一个或其组合。在一些情况下，媒体内容可以由社交网络系统的用户提供用于由其他人消费。

媒体内容可以在用户的计算设备上被创建并上传到社交网络系统。例如，用户可以捕获在与应用(例如由社交网络系统提供的应用)相关联的照相机视图中示出的图像或视频。特别出现在计算机技术领域中的传统方法可以在与创建媒体内容相关联的照相机视图中提供叠加。然而，这种叠加可能与在照相机视图中示出的图像数据无关。因此，传统方法可能无法提供与在照相机视图中的图像数据有关的相关信息。

植根于计算机技术的改进的方法可以克服与特别出现在计算机技术领域中的传统方法相关联的前述和其他缺点。基于计算机技术，所公开的技术可以在与应用相关联的照相机视图中提供增强现实(ar)效果。所公开的技术可以结合照相机视图中示出的内部空间来在照相机视图中提供ar效果。在一些实施例中，可以识别在内部空间中的一个或更多个对象，并且可以结合所识别的对象来提供ar叠加。例如，可以基于对象检测或识别技术来识别对象。在其他实施例中，内部空间的3d地图构建(mapping)可以例如由与内部空间相关联的实体来提供。可以基于由照相机视图所表示的视角来将内部空间中的照相机视图映射到内部空间的3d地图。可以结合用户在内部空间的3d地图中的位置和/或方向来提供ar叠加。例如，可以确定用户在3d地图中的某个位置，以及用户正在看某个区域或某个对象，并且ar叠加可以基于某个区域或某个对象来被提供。所公开的技术还可以在照相机视图中提供诸如广告的ar个性化内容。可以基于选定的标准(例如与用户、对象等相关联的属性)来选择ar个性化广告。ar个性化广告可以显示在照相机视图内识别的一个或更多个对象上。ar个性化广告也可以显示在照相机视图中的预定义位置或区域中。以这种方式，所公开的技术可以提供与在照相机视图中示出的图像数据相关联的ar内容，并且提供交互式和有趣的用户体验。

图1示出了根据本公开的实施例的包括被配置为提供与照相机视图相关联的各种ar效果的示例增强现实效果模块102的示例系统100。增强现实效果模块102可以包括ar内部叠加模块104和ar个性化广告模块106。在一些实例中，示例系统100可以包括至少一个数据储存器120。在该附图和本文的所有附图中示出的部件(例如，模块、元件、步骤、块等)仅仅是示例性的，且其他实现可以包括附加的、更少的、集成的或不同的部件。一些部件可能未显示，以不使相关细节模糊。在各种实施例中，可以在任何合适的组合中实现结合增强现实效果模块102描述的一个或更多个功能。为了说明的目的，结合社交网络系统来描述所公开的技术，但是所公开的技术可以应用于任何类型的应用和/或系统。

增强现实效果模块102可以提供与在照相机视图中示出的图像数据相关联的各种ar效果。照相机视图可以示出由照相机获取的图像数据。在照相机视图中示出的图像数据可以作为媒体内容项目(例如图像或视频)被捕获。增强现实效果模块102可以提供与在照相机视图中示出的图像数据相关联的一个或更多个ar内容项目。ar内容项目可以包括提供ar效果的任何内容，例如ar叠加。可以在照相机视图中提供ar内容项目。ar内容项目可以被捕获作为媒体内容项目的一部分。例如，如果在照相机视图中显示ar叠加并且捕获如在照相机视图中所示的图像，则ar叠加可以作为图像的一部分被包括。在一些实施例中，媒体内容项目可以是实况的，并且可以在它被记录时上传到社交网络系统。在这样的实施例中，可以类似地为实况媒体内容项目提供ar内容项目。

ar内部叠加模块104可以提供与内部空间相关联的ar内容项目(例如ar叠加)。例如，ar内部叠加模块104可以为在示出内部空间的照相机视图内识别的一个或更多个对象提供ar叠加。作为另一示例，ar内部叠加模块104可以基于在照相机视图中示出的内部空间的3d地图构建来为用户提供ar叠加。内部空间可以包括任何内部环境，例如建筑物或构筑物的内部。内部空间的示例可以包括商店、办公室等。本文更详细地描述了ar内部叠加模块104的功能。

ar个性化广告模块106可以提供个性化ar内容项目，例如ar个性化广告。ar个性化广告模块106可以确定个性化广告在照相机视图内的植入。ar个性化广告模块106可以基于选定的标准来选择个性化广告以显示给特定用户。可以在照相机视图中的所确定的植入处提供所选择的个性化广告。本文更详细地描述了ar个性化广告模块106的功能。

在一些实施例中，增强现实效果模块102可以部分地或全部被实现为软件、硬件或其任何组合。通常，如本文讨论的模块可以与软件、硬件或其任何组合相关联。在一些实现中，模块的一个或更多个功能、任务和/或操作可以由软件例程、软件过程、硬件、和/或其任何组合来实施或执行。在一些情况下，增强现实效果模块102可以部分地或全部被实现为在一个或更多个计算设备或系统上(例如在服务器系统或客户端计算设备上)运行的软件。在一些实例中，增强现实效果模块102可以部分地或全部在社交网络系统(或服务)(例如图6的社交网络系统630)内实现或被配置为与社交网络系统(或服务)结合来操作或集成在一起。同样地在一些实例中，增强现实效果模块102可以部分地或全部在客户端计算设备(例如图6的用户设备610)内实现或被配置为与客户端计算设备结合来操作或集成在一起。例如，增强现实效果模块102可以被实现为在用户计算设备或客户端计算系统上运行的专用应用(例如，app)、程序或小应用程序，或者在专用应用(例如，app)、程序或小应用程序内实现。应当理解，许多变形是可能的。

数据储存器120可以被配置为存储并维护各种类型的数据，例如与增强现实效果模块102的支持和操作相关的数据。由数据储存器120维护的数据可以包括例如，与ar叠加、在照相机视图中的图像数据、对象识别(例如，对象检测或识别)、空间的3d地图构建等相关的信息。数据储存器120还可以维护与社交网络系统相关联的其他信息。与社交网络系统相关联的信息可以包括关于用户、社交关连、社交互动、位置、地理围栏区域、地图、地点、事件、群组、帖子、通信、内容、账户设置、隐私设置和社交图的数据。社交图可以反映社交网络系统的所有实体及其交互。如在示例系统100中所示的，增强现实效果模块102可以被配置成与数据储存器120通信和/或操作。在一些实施例中，数据储存器120可以是在客户端计算设备内的数据储存器。在一些实施例中，数据储存器120可以是与客户端计算设备进行通信的服务器系统的数据储存器。

图2示出了根据本公开的实施例的被配置为提供与内部空间相关联的ar叠加的示例ar内部叠加模块202。在一些实施例中，可以用示例ar内部叠加模块202来实现图1的ar内部叠加模块104。如在图2的示例中所示的，示例ar内部叠加模块202可以包括对象识别模块204、3d建模模块206和ar内容确定模块208。

对象识别模块204可以识别在照相机视图内示出的对象。可以基于适当的触发条件(例如，照相机视图的开始)来触发对象的识别。对象识别模块204可以基于对象识别或检测技术来检测照相机视图内的对象。对象识别模块204可以基于机器学习模型来检测照相机视图内的对象。在一些实施例中，机器学习模型可以是分类器。可以基于包括对象和相关联的图像的训练数据来对机器学习模型进行训练。经训练的机器学习模型可以应用于对象的图像或视频，以便确定在照相机视图内包括的对象。在一些情况下，对象可以在照相机视图内移动，并且对象可以被跟踪，以便检测对象。对象识别模块204可以实时或接近实时地检测照相机视图内的对象。在一些实施例中，对象可以是标识(logo)和/或品牌(brand)。在其他实施例中，对象可以是产品。在某些实施例中，对象可以是窗户、门、空墙壁等。许多变形是可能的。

3d建模模块206可以提供内部空间的三维(3d)地图构建。例如，内部空间的3d地图可以由与内部空间相关联的实体(例如，用户、企业所有者、公司等)提供。3d地图可以提供内部空间的3d深度图(depthmap)。在一些情况下，内部空间的3d地图还可以包括在内部空间内的对象的3d模型。在一些实施例中，可以基于即时定位与地图构建(slam)技术来提供内部空间的3d地图。例如，slam技术可以构建或更新未知环境的地图，而同时跟踪用户在环境中内的位置。也可以基于slam技术来在地图上标定内部空间内的对象。与内部空间相关联的实体可以规定或指定在内部空间的3d地图内的各个区域和/或对象，用于提供ar叠加。例如，与商店相关联的实体可以在商店的3d地图中指定不同的商店部门的区域以在其中提供ar叠加。

3d建模模块206可以将呈现给用户的照相机视图映射到内部空间的3d地图。可以基于适当的触发条件(例如，照相机视图的开始)来触发照相机视图中的图像数据到内部空间的3d地图的映射。3d建模模块206可以基于如在用户的照相机视图中所示的视角来确定用户在3d地图内的位置和/或方向。照相机视图中的图像数据可以表示用户在内部空间内的视点，并且3d建模模块206可以通过将图像数据映射到3d地图来确定用户在内部空间内的位置以及用户在内部空间内看到了什么。3d建模模块206可以确定用户通过照相机视图正在查看的任何区域和/或对象，并且相关ar叠加可以例如通过ar内容确定模块208结合所确定的区域和/或对象来被提供。

ar内容确定模块208可以确定并提供关于内部空间的ar叠加。ar叠加可以包括任何类型的内容项目。内容项目的示例可以包括文本、图像、视频、音频等。内容项目可以包括二维(2d)内容和/或三维内容。在一些实施例中，ar内容确定模块208可以为所有用户提供相同或相似的ar叠加。例如，ar叠加可以提供与商店事件或销售相关联的信息。在其他实施例中，ar内容确定模块208可以基于选定的标准来选择ar叠加来提供给特定用户。选定的标准可以包括与用户、产品等相关联的属性。例如，基于用户在商店内看着的产品，ar叠加可以为特定用户提供产品推荐。在一些实施例中，用户可以基于通过呈现照相机视图的界面应用的各种手势来与ar叠加进行交互。例如，特定手势(诸如触摸手势)可以对应于特定功能。作为示例，用户可以通过执行特定的触摸手势来访问与ar叠加相关联的附加信息(例如，上下文信息)。

在一些实施例中，ar内容确定模块208可以基于照相机视图内的所识别的对象来确定要提供的ar叠加。例如，ar内容确定模块208可以为由对象识别模块204识别的一个或更多个对象确定ar叠加。例如，对象可以是标识或品牌，并且ar叠加可以被显示在照相机视图中，以提供关于与标识或品牌相关联的一个或更多个产品的信息。在某些实施例中，ar内容确定模块208还可以基于在照相机视图内的所识别的对象来确定在照相机视图内用于提供ar叠加的位置。例如，可以在照相机视图中检测到的一个或更多个其他对象(例如门、窗户或空的空间)上提供ar叠加。许多变形是可能的。

在某些实施例中，ar内容确定模块208可以基于图像数据从照相机视图到内部空间的3d地图的映射来确定要提供的ar叠加。如上面所解释的，可以例如通过3d建模模块206来确定用户在内部空间的3d地图内的位置和/或方向。ar内容确定模块208可以基于用户在3d地图中的位置以及用户正在观看什么来提供ar叠加。例如，如果用户正在看某个产品，ar叠加可以提供与该产品相关联的信息。ar内容确定模块208可以在3d地图中的一个或更多个指定区域中提供ar叠加。ar内容确定模块208还可以结合在3d地图中的一个或更多个指定的对象来提供ar叠加。例如，可以由与内部空间相关联的实体来指定或预定义区域和/或对象以为其提供ar叠加。作为示例，与内部空间相关联的实体可以包括组织、个人或组织的代理等。例如，实体可以是与内部空间相关联的公司、公司的雇员、公司的管理者等。

ar内容确定模块208可以在ar叠加中提供各种类型的信息。在ar叠加中提供的信息的示例可以包括与产品、商店、事件(例如，销售)、对产品的推荐等相关的信息。在一些情况下，要在ar叠加中提供的信息可以由与内部空间相关联的实体定义。例如，实体可以选择视频或图像以显示在3d地图中的区域上。在一些实施例中，用于帮助用户的机器人程序(bot)可以作为ar叠加来被提供。例如，机器人程序可以作为对象或动画出现在照相机视图内。作为另一示例，机器人程序可以作为消息传送功能出现在照相机视图内。本文提供的所有示例都是为了说明的目的，并且可以有许多变形和其他可能性。

图3示出了根据本公开的实施例的被配置为提供ar个性化广告的示例ar个性化广告模块302。在一些实施例中，可以用示例ar个性化广告模块302来实现图1的ar个性化广告模块106。如在图3的示例中所示的，示例ar个性化广告模块302可以包括广告植入模块304和广告确定模块306。

广告植入模块304可以确定在照相机视图内的用于显示ar个性化广告的一个或更多个位置。在一些实施例中，广告植入模块304可以基于在照相机视图内识别的一个或更多个对象来确定位置。对象识别可以类似于上面所述的对象识别。例如，可以基于对象识别或检测技术来识别在照相机视图内的对象。机器学习模型可以用来识别对象。可以在照相机视图内的一个或更多个所识别的对象上提供个性化广告。在其他实施例中，广告植入模块304可以基于内部空间的3d地图构建来确定位置。内部空间的3d地图构建可以类似于上面所述的3d地图构建。例如，与内部空间相关联的实体可以指定或预定义在内部空间的3d地图内的一个或更多个区域和/或对象，用于提供ar个性化广告。可以在3d地图中的指定区域中或者结合在3d地图中的指定对象来提供个性化广告。广告植入模块304可以为外部空间以及内部空间提供个性化广告。外部空间的示例可以包括公园、体育场、地标、建筑物等。仅作为一个示例，可以在棒球场中的投球区土墩(mound)上提供个性化广告。广告植入模块304还可以为公共场所以及私人场所提供个性化广告。许多变形是可能的。

广告确定模块306可以在照相机视图内确定要为用户提供的一个或更多个个性化广告。广告确定模块306可以基于选定的标准来选择要为特定用户提供的广告。选定的标准可以包括与用户、对象(例如，产品)等相关联的属性。与用户相关联的属性的示例可以包括年龄、年龄范围、性别、地理区域(例如，国家、州、地区、城市等)、兴趣等。在一些实施例中，广告确定模块306可以基于与在社交网络系统中的用户相关联的信息来为用户选择广告。用户可以在社交网络系统中创建内容并参与各种活动，例如创建帖子、评论帖子、点赞(like)帖子、上传媒体内容等。广告确定模块306可以基于用户在社交网络系统内的内容和活动来确定广告。广告确定模块306还可以基于评级方法、社交图和与社交网络系统相关联的其他属性来为用户选择广告。ar个性化广告可以包括任何类型的内容项目。内容项目的示例可以包括文本、图像、视频、音频等。内容项目可以包括二维(2d)内容和/或三维内容。在一些实施例中，ar个性化广告可以与在照相机视图中示出的图像数据相关。例如，ar个性化广告可以与在照相机视图中所识别的对象相关。在其他实施例中，个性化的ar可以与在照相机视图中示出的图像数据无关，但是可以与用户相关。例如，ar个性化广告可以与用户的兴趣相关，而与照相机视图中的图像数据不直接相关联。ar个性化广告可以在照相机视图中作为叠加被提供。在一些实施例中，用户可以基于通过呈现照相机视图的界面应用的各种手势来与ar个性化广告进行交互。例如，特定手势(诸如触摸手势)可以对应于特定功能。作为示例，用户可以通过执行特定的触摸手势来访问与ar个性化广告相关联的附加信息(例如，上下文信息)。为了说明的目的，结合ar个性化广告来解释所公开的技术，但是所公开的技术可以应用于任何类型的内容。本文提供的所有示例都是为了说明的目的，并且可以有许多变形和其他可能性。

图4示出了根据本公开的实施例的用于提供与内部空间相关联的ar叠加的示例第一方法400。应当理解，基于本文讨论的各种特征和实施例，除非另有说明，否则可以以类似的或替代的顺序或者并行地执行附加的、更少的或替代的步骤。

在块402，示例方法400可以从与计算设备相关联的照相机视图获得与内部空间相关联的图像数据。在块404，示例方法400可以确定图像数据的用于显示一个或更多个增强现实(ar)内容项目的一部分。在块406，示例方法400可以确定要在照相机视图中显示的ar内容项目。在块408，示例方法400可以基于图像数据的所确定的部分来提供用于在照相机视图中呈现的ar内容项目。合并本公开的各种特征和实施例的其他合适的技术是可能的。

图5示出了根据本公开的实施例的用于提供ar个性化广告的示例第二方法500。应当理解，基于本文讨论的各种特征和实施例，除非另有说明，否则可以以类似的或替代的顺序或者并行地执行附加的、更少的或替代的步骤。可以结合上面所解释的示例方法400来执行方法500的某些步骤。

在块502，示例方法500可以确定在照相机视图中的植入以用于显示增强现实(ar)广告，该照相机视图与计算设备相关联。在块504，示例方法500可以基于与关联于计算设备的用户相关联的属性来为该用户确定ar广告。在块506，示例方法500可以使ar广告显示在照相机视图中的所确定的植入处。合并本公开的各种特征和实施例的其他合适的技术是可能的。

设想可以有与本公开的各种实施例相关联的许多其他用途、应用、特征、可能性和变形。例如，在一些情况下，用户可以选择是否选择加入(opt-in)以利用所公开的技术。所公开的技术还可以例如，确保各种隐私设置、偏好和配置被维护，并且可以防止隐私信息被泄露。在另一示例中，本公开的各种实施例可以随着时间的推移而学习、改进和/或被完善。

社交网络系统-示例实现

图6示出了根据本公开的实施例的可以在各种场景中被利用的示例系统600的网络图。系统600包括一个或更多个用户设备610、一个或更多个外部系统620、社交网络系统(或服务)630和网络650。在实施例中，关于上述实施例讨论的社交网络服务、提供者和/或系统可以被实现为社交网络系统630。为了说明的目的，图6所示的系统600的实施例包括单个外部系统620和单个用户设备610。然而在其他实施例中，系统600可以包括更多个用户设备610和/或更多个外部系统620。在某些实施例中，社交网络系统630由社交网络提供者进行操作，而外部系统620与社交网络系统630分离，因为它们可以由不同的实体进行操作。然而在各种实施例中，社交网络系统630和外部系统620协同操作以向社交网络系统630的用户(或成员)提供社交网络服务。在这个意义上，社交网络系统660提供了平台或骨干网，其他系统(例如外部系统620)可以使用该平台或骨干网来通过互联网向用户提供社交网络服务和功能。

用户设备610包括可以接收来自用户的输入并经由网络650来传输并接收数据的一个或更多个计算设备。在一个实施例中，用户设备610是执行例如microsoftwindows兼容操作系统(os)、appleosx和/或linux发行版的传统计算机系统。在另一实施例中，用户设备610可以是具有计算机功能的设备，例如智能电话、平板电脑、个人数字助理(pda)、移动电话等。用户设备610被配置成经由网络650进行通信。用户设备610可以执行允许用户设备610的用户与社交网络系统630交互的应用(例如浏览器应用)。在另一实施例中，用户设备610通过由用户设备610的本机(native)操作系统(例如ios和android)提供的应用编程接口(api)来与社交网络系统630交互。用户设备610被配置成使用有线和/或无线通信系统经由网络650来与外部系统620和社交网络系统630进行通信，网络650可以包括局域网和/或广域网的任何组合。

在一个实施例中，网络650使用标准通信技术和协议。因此，网络650可以包括使用诸如以太网、802.11、全球互通微波接入(wimax)、3g、4g、cdma、gsm、lte、数字用户线路(dsl)等的技术的链路。类似地，在网络650上使用的网络协议可以包括多协议标签交换(mpls)、传输控制协议/互联网协议(tcp/ip)、用户数据报协议(udp)、超文本传输协议(http)、简单邮件传输协议(smtp)、文件传输协议(ftp)等。可以使用包括超文本标记语言(html)和可扩展标记语言(xml)的技术和/或格式来表示通过网络650交换的数据。此外，可以使用诸如安全套接字层(ssl)、传输层安全(tls)和互联网协议安全(ipsec)的常规加密技术来对所有或一些链路进行加密。

在一个实施例中，用户设备610可以通过使用浏览器应用612处理从外部系统620和从社交网络系统630接收的标记语言文档614来显示来自外部系统620和/或来自社交网络系统630的内容。标记语言文档614识别内容以及描述内容的格式或表现形式的一个或更多个指令。通过执行在标记语言文档614中包括的指令，浏览器应用612使用由标记语言文档614所描述的格式或表现形式来显示所识别的内容。例如，标记语言文档614包括用于生成并显示具有多个帧(frame)的网页的指令，这些帧包括从外部系统620和社交网络系统630检索的文本和/或图像数据。在各种实施例中，标记语言文档614包括数据文件，该数据文件包括可扩展标记语言(xml)数据、可扩展超文本标记语言(xhtml)数据或其他标记语言数据。此外，标记语言文档614可以包括javascript对象简谱(json)数据、带填充的json(jsonp)和javascript数据，以便于在外部系统620和用户设备610之间的数据交换。用户设备610上的浏览器应用612可以使用javascript编译器来对标记语言文档614进行解码。

标记语言文档614还可以包括或链接到应用或应用框架，例如flash^tm或unity^tm应用、silverlight^tm应用框架等。

在一个实施例中，用户设备610还包括一个或更多个cookie616，cookie616包括指示用户设备610的用户是否登录到社交网络系统630内的数据，这可以实现从社交网络系统630传递到用户设备610的数据的修改。

外部系统620包括一个或更多个web服务器，其包括一个或更多个网页622a、622b，这些网页使用网络650被传递到用户设备610。外部系统620与社交网络系统630分离。例如，外部系统620与第一域相关联，而社交网络系统630与单独的社交网络域相关联。被包括在外部系统620中的网页622a、622b包括标记语言文档614，其识别内容并且包括指定所识别的内容的格式或表现形式的指令。

社交网络系统630包括用于社交网络(包括多个用户)并且向社交网络的用户提供与社交网络的其他用户通信并交互的能力的一个或更多个计算设备。在一些实例中，社交网络可以由图形(即，包括边和节点的数据结构)表示。其他数据结构也可以用来表示社交网络，包括但不限于数据库、对象、类、元元素(metaelement)、文件或任何其他数据结构。社交网络系统630可以由操作者掌管、管理或控制。社交网络系统630的操作者可以是人、自动化应用或用于管理内容、调节策略和收集在社交网络系统630内的使用度量的一系列应用。可以使用任何类型的操作者。

用户可以加入社交网络系统630，且然后添加对他们希望关连到的社交网络系统630的任何数量的其他用户的关连。如在本文所使用的，术语“朋友”指社交网络系统630的任何其他用户，用户经由社交网络系统630与任何其他用户形成关连、关联(association)或关系。例如在实施例中，如果在社交网络系统630中的用户被表示为在社交图中的节点，则术语“朋友”可以指在两个用户节点之间形成的并直接连接两个用户节点的边。

关连可以由用户明确地添加，或者可以由社交网络系统630基于用户(例如，作为同一教育机构的校友的用户)的共同特性来自动创建。例如，第一用户特别地将特定的其他用户选择为朋友。在社交网络系统630中的关连通常在两个方向上，但不需要是这样，因此术语“用户”和“朋友”取决于参考系。在社交网络系统630的用户之间的关连通常是双边的(“双向的”)或“相互的”，但是关连也可以是单边的或“单向的”。例如，如果鲍勃和乔都是社交网络系统630的用户并且关连到彼此，则鲍勃和乔是彼此的关连。另一方面，如果鲍勃希望关连到乔以查看由乔传递到社交网络系统630的数据，但是乔不希望形成相互关连，则单边连接可以被建立。在用户之间的关连可以是直接关连；然而，社交网络系统630的一些实施例允许经由一个或更多个级别的关连或分离的程度的关连是间接的。

除了建立并维护在用户之间的关连并允许在用户之间的交互之外，社交网络系统630还向用户提供对由社交网络系统630支持的各种类型的项目采取动作的能力。这些项目可以包括社交网络系统630的用户可能属于的群组或网络(即，人、实体和概念的社交网络)、用户可能感兴趣的事件或日历条目、用户可以经由社交网络系统630使用的基于计算机的应用、允许用户经由由社交网络系统630提供或通过社交网络系统630提供的服务来购买或销售项目的交易、以及用户可以在社交网络系统630上或外执行的与广告的交互。这些仅仅是用户可以在社交网络系统630上作用于的项目的几个示例，并且许多其他项目是可能的。用户可以与能够在社交网络系统630中或在外部系统620中被表示的、与社交网络系统630分离的、或者经由网络650耦合到社交网络系统630的任何事物进行交互。

社交网络系统630也能够链接各种实体。例如，社交网络系统630使用户能够通过api、web服务或其他通信渠道来与彼此以及外部系统620或其他实体进行交互。社交网络系统630生成并维护包括由多个边互连的多个节点的“社交图”。社交图中的每个节点可以表示可以作用于另一个节点和/或可以由另一个节点作用于的实体。社交图可以包括各种类型的节点。节点的类型的示例包括用户、非个人实体、内容项目、网页、群组、活动、消息、概念以及可以由社交网络系统630中的对象表示的任何其他事物。在社交图中的两个节点之间的边可以表示在两个节点之间的特定类型的关连或关联，这可以由节点关系或由节点中的一个节点在另一个节点上所执行的动作产生。在一些情况下，在节点之间的边可以被加权。边的权重可以表示与该边相关联的属性，例如在节点之间的关连或关联的强度。不同类型的边可以具有不同的权重。例如，当一个用户“赞”另一个用户时创建的边可以被赋予一个权重，而当一个用户加另一个用户为好友(befriend)时创建的边可以被赋予不同的权重。

作为示例，当第一用户将第二用户识别为朋友时，生成将表示第一用户的节点和表示第二用户的第二节点连接的在社交图中的边。当各种节点与彼此关联(relate)或交互时，社交网络系统630修改连接各种节点的边以反映关系和交互。

社交网络系统630还包括用户生成的内容，这增强了用户与社交网络系统630的交互。用户生成的内容可以包括用户可以添加、上传、发送或“发布”到社交网络系统630的任何内容。例如，用户将帖子从用户设备610传递到社交网络系统630。帖子可以包括数据(例如状态更新或其他文本数据)、位置信息、图像(例如照片)、视频、链接、音乐或其他类似数据或媒体。内容也可以由第三方添加到社交网络系统630。内容“项目”被表示为在社交网络系统630中的对象。以这种方式，通过经由各种通信渠道发布各种类型的媒体的文本和内容项目来鼓励社交网络系统630的用户与彼此进行通信。这种通信增加了用户与彼此之间的交互，并增加了用户与社交网络系统630交互的频率。

社交网络系统630包括web服务器632、api请求服务器634、用户简档储存器636、关连储存器638、动作记录器640、活动日志642和授权服务器644。在本发明的实施例中，社交网络系统630可以包括用于各种应用的附加的、更少的或不同的部件。没有示出其他部件(例如网络接口、安全机构、负载平衡器、故障转移服务器、管理和网络操作控制台等)，以便不使系统的细节模糊。

用户简档储存器636维护关于用户账户的信息，包括传记、人口统计和其他类型的描述性信息，例如由用户声明或由社交网络系统630推断的工作经历、教育历史、爱好或偏好、位置等。该信息存储在用户简档储存器636中，使得每个用户被唯一地识别。社交网络系统630还在关连储存器638中存储描述在不同用户之间的一个或更多个关连的数据。关连信息可以指示具有相似或共同的工作经历、组成员资格、爱好或教育历史的用户。另外，社交网络系统630包括在不同用户之间的用户定义的关连，允许用户指定他们与其他用户的关系。例如，用户定义的关连允许用户生成与其他用户的关系，这些关系并行于用户的真实生活关系，例如朋友、同事、伙伴等。用户可以从预定义的类型的关连中进行选择，或者根据需要定义他们自己的关连类型。与社交网络系统630中的其他节点(例如非个人实体、存储桶(bucket)、集群中心、图像、兴趣、页面、外部系统、概念等)的关连也存储在关连储存器638中。

社交网络系统630维护关于对象的数据，用户可以与该对象交互。为了维护该数据，用户简档储存器636和关连储存器638存储由社交网络系统630维护的相应类型的对象的实例。每种对象类型都有适于存储适合于对象的类型的信息的信息字段。例如，用户简档储存器636包含具有适于描述用户的账户的字段和与用户的账户相关的信息的数据结构。当特定类型的新对象被创建时，社交网络系统630初始化相应类型的新数据结构，给它分配唯一的对象标识符，并开始根据需要来向对象添加数据。例如，这可能在用户成为社交网络系统630的用户时出现，社交网络系统630在用户简档储存器636中生成用户简档的新实例，给用户账户分配唯一标识符，并开始用由用户提供的信息来填充用户账户的字段。

关连储存器638包括适于描述用户到其他用户的关连、与外部系统620的关连或与其他实体的关连的数据结构。关连储存器638还可以使关连类型与用户的关连相关联，用户的关连可以结合用户的隐私设置来被使用以调节对关于用户的信息的访问。在本发明的实施例中，用户简档储存器636和关连储存器638可以被实现为联合数据库(federateddatabase)。

存储在关连储存器638、用户简档储存器636和活动日志642中的数据使社交网络系统630能够生成社交图，该社交图使用节点来识别各种对象并且使用连接节点的边来识别在不同对象之间的关系。例如，如果第一用户与社交网络系统630中的第二用户建立关连，则来自用户简档储存器636的第一用户和第二用户的用户账户可以充当社交图中的节点。由关连储存器638存储的在第一用户和第二用户之间的关连是在与第一用户和第二用户相关联的节点之间的边。继续该示例，第二用户然后可以在社交网络系统630内向第一用户发送消息。可以被存储的发送消息的动作是在社交图中的表示第一用户和第二用户的两个节点之间的另一条边。另外，消息本身可以被识别并被包括在社交图中，作为关连到表示第一用户和第二用户的节点的另一个节点。

在另一示例中，第一用户可以在由社交网络系统630维护的图像中(或者可选地，在由在社交网络系统630外部的另一系统维护的图像中)标记第二用户。图像本身可以被表示为社交网络系统630中的节点。该标记动作可以在第一用户和第二用户之间创建边，以及在每个用户和图像之间创建边，图像也是社交图中的节点。在又一示例中，如果用户确认参加事件，则用户和事件是从用户简档储存器36获得的节点，其中事件的参加是在可以从活动日志642检索的节点之间的边。通过生成并维护社交图，社交网络系统630包括描述许多不同类型的对象以及在这些对象当中的交互和关连的数据，提供了社交相关信息的丰富源。

web服务器632经由网络650来将社交网络系统630链接到一个或更多个用户设备610和/或一个或更多个外部系统620。web服务器632提供网页以及其他网络相关内容，例如java、javascript、flash、xml等。web服务器632可以包括邮件服务器或用于在社交网络系统630和一个或更多个用户设备610之间接收并按规定路线发送消息的其他消息传送功能。消息可以是即时消息、排队消息(例如，电子邮件)、文本和sms消息或者任何其他合适的消息格式。

api请求服务器634允许一个或更多个外部系统620和用户设备610通过调用一个或更多个api函数来调用来自社交网络系统630的访问信息。api请求服务器634还可以允许外部系统620通过调用api来向社交网络系统630发送信息。在一个实施例中，外部系统620经由网络650向社交网络系统630发送api请求，并且api请求服务器634接收该api请求。api请求服务器634通过调用与api请求相关联的api来处理该请求以生成适当的响应，api请求服务器634经由网络650来将该响应传递到外部系统620。例如，响应于api请求，api请求服务器634收集与用户相关联的数据(例如已经登录到外部系统620内的用户的关连)，并将所收集的数据传递到外部系统620。在另一实施例中，用户设备610以与外部系统620相同的方式经由api来与社交网络系统630进行通信。

动作记录器640能够从web服务器632接收关于在社交网络系统630上和/或外的用户动作的通信。动作记录器640用关于用户动作的信息来填充活动日志642，使社交网络系统630能够发现由它的用户在社交网络系统630内和在社交网络系统630外采取的各种动作。特定用户相对于在社交网络系统630上的另一个节点采取的任何动作可以通过在活动日志642中或在类似数据库或其他数据仓库中维护的信息来与每个用户的账户相关联。被识别并存储的由用户在社交网络系统630内采取的动作的示例可以包括例如，添加到另一个用户的关连、向另一个用户发送消息、从另一个用户读取消息、查看与另一个用户相关联的内容、参加由另一个用户发布的事件、发布图像、尝试发布图像、或与另一个用户或另一个对象交互的其他动作。当用户在社交网络系统630内采取动作时，该动作被记录在活动日志642中。在一个实施例中，社交网络系统630将活动日志642维护为条目的数据库。当在社交网络系统630内采取动作时，该动作的条目被添加到活动日志642。活动日志642可以被称为动作日志。

此外，用户动作可以与在社交网络系统630外部的实体(例如与社交网络系统630分离的外部系统620)内出现的概念和动作相关联。例如，动作记录器640可以从web服务器632接收描述用户与外部系统620的交互的数据。在该示例中，外部系统620根据在社交图中的结构化动作和对象来报告用户的交互。

用户与外部系统620交互的动作的其他示例包括用户表达对外部系统620或另一实体的兴趣、用户将讨论外部系统620或在外部系统620内的网页622a的评论发布到社交网络系统630、用户将统一资源定位符(url)或与外部系统620相关联的其他标识符发布到社交网络系统630、用户参加与外部系统620相关联的事件、或者由用户进行的与外部系统620相关的任何其他动作。因此，活动日志642可以包括描述在社交网络系统630的用户和与社交网络系统630分离的外部系统620之间的交互的动作。

授权服务器644实施社交网络系统630的用户的一个或更多个隐私设置。用户的隐私设置确定与用户相关联的特定信息可以如何被共享。隐私设置包括与用户相关联的特定信息的规范以及信息可以被共享于的一个或更多个实体的规范。信息可以被共享于的实体的示例可以包括其他用户、应用、外部系统620、或可能潜在地访问信息的任何实体。可以由用户共享的信息包括用户账户信息(例如简档照片)、与用户相关联的电话号码、用户的关连、由用户采取的动作(例如添加关连)、改变用户简档信息等。

可以以不同的粒度级别提供隐私设置规范。例如，隐私设置可以识别要与其他用户共享的特定信息；隐私设置识别工作电话号码或一组特定的相关信息(例如，包括简档照片、家庭电话号码和状态的个人信息)。可选地，隐私设置可以应用于与用户相关联的所有信息。也可以以不同的粒度级别指定可以访问特定信息的该组实体的规范。信息可以被共享于的不同组的实体可以包括例如，用户的所有朋友、朋友的所有朋友、所有应用、或所有外部系统620。一个实施例允许该组实体的规范包括实体的枚举。例如，用户可以提供被允许访问某些信息的外部系统620的列表。另一实施例允许规范包括一组实体以及不被允许访问信息的例外。例如，用户可以允许所有外部系统620访问用户的工作信息，但是指定不被允许访问工作信息的外部系统620的列表。某些实施例将不被允许访问某些信息的例外的列表称为“黑名单”。属于由用户指定的黑名单的外部系统620被阻止访问在隐私设置中指定的信息。信息的规范的粒度和信息被共享于的实体的规范的粒度的各种组合是可能的。例如，所有个人信息可以与朋友共享，而所有工作信息可以与朋友的朋友共享。

授权服务器644包含确定与用户相关联的某些信息是否可以由用户的朋友、外部系统620和/或其他应用和实体访问的逻辑。外部系统620可能需要来自授权服务器644的授权来访问用户的更私密且敏感的信息，例如用户的工作电话号码。基于用户的隐私设置，授权服务器644确定另一用户、外部系统620、应用、或另一实体是否被允许访问与用户相关联的信息，包括关于由用户采取的动作的信息。

在一些实施例中，社交网络系统630可以包括增强现实效果模块646。增强现实效果模块646可以用增强现实效果模块102来实现，如在本文更详细讨论的。在一些实施例中，增强现实效果模块646的一个或更多个功能可以在用户设备610中实现。

硬件实现

前述过程和特征可以由各种机器和计算机系统架构以及在各种网络和计算环境中实现。图7示出了根据本发明的实施例的可以用于实现本文描述的一个或更多个实施例的计算机系统700的示例。计算机系统700包括用于使计算机系统700执行本文讨论的过程和特征的指令集。计算机系统700可以连接(例如，联网)到其他机器。在联网部署中，计算机系统700可以在客户端-服务器网络环境中的服务器机器或客户端机器的能力下进行操作，或者作为在对等(或分布式)网络环境中的对等机器来进行操作。在本发明的实施例中，计算机系统700可以是社交网络系统630、用户设备610和外部系统720、或者其部件。在本发明的实施例中，计算机系统700可以是在构成社交网络系统630的全部或部分的许多服务器当中的一个服务器。

计算机系统700包括处理器702、高速缓存704以及存储在计算机可读介质上的指向本文描述的过程和特征的一个或更多个可执行模块和驱动程序。另外，计算机系统700包括高性能输入/输出(i/o)总线706和标准i/o总线708。主桥(hostbridge)710将处理器702耦合到高性能i/o总线706，而i/o总线桥712将两个总线706和708耦合到彼此。系统存储器714和一个或更多个网络接口716耦合到高性能i/o总线706。计算机系统700还可以包括视频存储器和耦合到视频存储器的显示设备(未示出)。大容量存储装置718和i/o端口720耦合到标准i/o总线708。计算机系统700可以可选地包括键盘和定点设备、显示设备、或耦合到标准i/o总线708的其他输入/输出设备(未示出)。共同地，这些元件旨在表示广泛类别的计算机硬件系统，包括但不限于基于由加利福尼亚州(california)圣克拉拉(santaclara)的英特尔公司制造的x86兼容处理器和由加利福尼亚州森尼维尔(sunnyvale)的高级微器件(amd)公司制造的x86兼容处理器以及任何其他合适的处理器的计算机系统。

操作系统管理并控制计算机系统700的操作，包括往返软件应用(未示出)的数据输入和输出。操作系统提供在系统上执行的软件应用和系统的硬件部件之间的接口。可以使用任何合适的操作系统，例如linux操作系统、可从加利福尼亚州库比蒂诺(cupertino)的苹果计算机公司获得applemacintosh操作系统、unix操作系统、操作系统、bsd操作系统等。其他实现是可能的。

将在下面更详细地描述计算机系统700的元件。特别是，网络接口716提供在计算机系统700和各种网络(诸如以太网(例如，ieee802.3)网络)中的任一种、背板等之间的通信。大容量存储装置718提供数据和编程指令的永久存储，以执行由上面识别的相应计算系统实现的上述过程和特征，而系统存储器714(例如，dram)提供当由处理器702执行时的数据和编程指令的临时存储。i/o端口720可以是提供在可以耦合到计算机系统700的附加外围设备之间的通信的一个或更多个串行和/或并行通信端口。

计算机系统700可以包括各种系统架构，并且计算机系统700的各种部件可以被重新排列。例如，高速缓存704可以与处理器702一起在芯片上。可选地，高速缓存704和处理器702可以封装在一起作为“处理器模块”，处理器702被称为“处理器核心”。此外，本发明的某些实施例可能既不需要也不包括所有上述部件。例如，耦合到标准i/o总线708的外围设备可以耦合到高性能i/o总线706。此外，在一些实施例中，只有单个总线可以存在，计算机系统700的部件耦合到该单个总线。此外，计算机系统700可以包括附加部件，例如附加处理器、存储设备或存储器。

一般来说，本文描述的过程和特征可以被实现为操作系统或特定应用、部件、程序、对象、模块、或被称为“程序”的指令系列的一部分。例如，一个或更多个程序可以用于执行本文描述的特定过程。程序通常包括在计算机系统700中的各种存储器和存储设备中的一个或更多个指令，其当由一个或更多个处理器读取并执行时使计算机系统700执行操作以执行本文描述的过程和特征。可以在软件、固件、硬件(例如，专用集成电路)、或其任何组合中实现本文描述的过程和特征。

在一个实现中，本文描述的过程和特征被实现为由计算机系统700在分布式计算环境中单独或共同地运行的一系列可执行模块。前述模块可以由硬件、存储在计算机可读介质(或机器可读介质)上的可执行模块、或者两者的组合来实现。例如，模块可以包括由在硬件系统中的处理器(例如处理器702)执行的多个指令或指令系列。最初，指令系列可以存储在存储设备(例如大容量存储装置718)上。然而，指令系列可以存储在任何合适的计算机可读存储介质上。此外，指令系列不需要存储在本地，并且可以经由网络接口716从远程存储设备(例如网络上的服务器)被接收。指令从诸如大容量存储装置718的存储设备被复制到系统存储器714中，且然后由处理器702进行访问和执行。在各种实现中，一个或更多个模块可以由在一个或多个位置上的一个或多个处理器(例如在并行处理环境中的多个服务器)执行。

计算机可读介质的示例包括但不限于可记录类型的介质(例如易失性和非易失性存储设备)；固态存储器；软盘和其他可移动盘；硬盘驱动器；磁性介质；光盘(例如，光盘只读存储器(cdrom)、数字通用盘(dvd))；其他类似的非暂时性(或暂时性)、有形(或非有形)存储介质；或任何类型的介质，其适于存储、编码或携带一系列指令，用于由计算机系统700执行以执行本文描述的任何一个或更多个过程和特征。

为了解释的目的，阐述了许多具体细节，以便提供描述的透彻理解。然而对于本领域中的技术人员将明显，可以在没有这些具体细节的情况下实践本公开的实施例。在一些实例中，以框图形式示出了模块、结构、过程、特征和设备，以便避免使本描述模糊。在其他实例中，功能框图和流程图被示出为表示数据和逻辑流。框图和流程图的部件(例如，模块、块、结构、设备、特征等)可以以不同于如在本文明确描述并描绘的方式来被不同地组合、分离、移除、重新排序和替换。

在本说明书中对“一个实施例”、“实施例”、“其他实施例”、“一系列实施例”、“一些实施例”、“各种实施例”等的提及意指关于实施例描述的特定特征、设计、结构或特性被包括在本公开的至少一个实施例中。例如，短语“在一个实施例中”或“在实施例中”在说明书中的不同地方中的出现并不一定都指同一实施例，也不是与其他实施例相互排斥的单独的或可选的实施例。此外，无论是否存在对“实施例”等的明确提及，都描述了各种特征，这些特征可以多方面地被组合并且包括在一些实施例中，但是在其他实施例中也可以多方面地被省略。类似地，描述了各种特征，其可以是对于一些实施例而不是其他实施例的优先选择或要求。

本文使用的语言主要为了可读性和教学目的而被选择，并且它可以不被选择为描写或限制创造性主题。因此，意图是本发明的范围不由该详细描述进行限制，而是由在基于其的申请上发布的任何权利要求进行限制。因此，本发明的实施例的公开旨在是说明性的，但不是在下面的权利要求中阐述的本发明的范围的限制。