用户生成内容处理方法和装置与流程

本发明涉及社交技术领域，特别是涉及一种用户生成内容处理方法和装置。

背景技术：

社交应用是目前广泛应用的一种应用程序。基于社交应用，用户之间能够建立基于社交网络的社交关系，从而基于社交关系进行交互，如发送即时消息、语音通话、视频通话以及在线会议等，为人们的生活和工作提供了极大便利。目前，社交应用能够展示用户生成内容(ugc，usergeneratedcontent)。

目前，用户之间在建立社交关系后，才能够找到对方的个人主页，或者彼此出现在对方的好友共享页面，彼此的用户生成内容将展示在个人主页或者好友共享页面，因此目前用户生成内容的展示须依赖于社交关系，限制了用户生成内容的传播。

技术实现要素：

基于此，有必要针对目前用户生成内容的展示须依赖于社交关系，限制了用户生成内容的传播的问题，提供一种用户生成内容处理方法和装置。

一种用户生成内容处理方法，包括：

从现实世界采集图像帧；

将采集的图像帧按照采集的时序逐帧播放；

从采集的图像帧中选取图像帧；

获取与选取的图像帧匹配的模板图像所关联的用户生成内容；

获取所述用户生成内容在所述匹配的模板图像中的展示位置；

按照所述展示位置，在播放的图像帧中渲染所述用户生成内容。

一种用户生成内容处理装置，包括：

采集模块，用于从现实世界采集图像帧；

播放模块，用于将采集的图像帧按照采集的时序逐帧播放；

选取模块，用于从采集的图像帧中选取图像帧；

数据获取模块，用于获取与选取的图像帧匹配的模板图像所关联的用户生成内容；获取所述用户生成内容在所述匹配的模板图像中的展示位置；

渲染模块，用于按照所述展示位置，在播放的图像帧中渲染所述用户生成内容。

上述用户生成内容处理方法和装置，从现实世界采集图像帧并按照采集的时序播放，通过从采集的图像帧中选取的图像帧，就能够确定该图像帧所匹配的模板图像所关联的用户生成内容，并进行展示。能够通过现实世界中拍摄的图像帧定位到用户生成内容并展示，可以不必依赖社交关系，扩展了用户生成内容的传播方式。而且，按照用户生成内容在匹配的模板图像中的展示位置，在播放的图像帧中追踪渲染用户生成内容，将虚拟世界中的用户生成内容与播放的视频帧所反映的现实世界融合，提供了用户生成内容的新互动方式。

附图说明

图1为一个实施例中用户生成内容处理方法的应用环境图；

图2为一个实施例中移动终端的内部结构示意图；

图3为一个实施例中用户生成内容处理方法的流程示意图；

图4为一个具体应用场景中用户生成内容处理方法的流程示意图；

图5为一个实施例中社交应用的主页面的示意图；

图6为一个实施例中在主页面中展示工具菜单的示意图；

图7为一个实施例中通过功能入口进入的虚拟世界页面和现实世界物体的对比图；

图8为一个实施例中展示内容创建者头像列表的虚拟世界页面和现实世界物体的对比图；

图9为一个实施例中具有评论页面的虚拟世界页面和现实世界物体的对比图；

图10为一个实施例中具有内容创建入口的虚拟世界页面和现实世界物体的对比图；

图11为一个实施例中具有图片编辑页面的虚拟世界页面和现实世界物体的对比图；

图12为一个实施例中用户生成内容处理装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中用户生成内容处理方法的应用环境图。参照图1，该应用环境包括移动终端110和服务器120，移动终端110能够通过网络与服务器120连接通信。其中，移动终端110可用于从现实世界采集图像帧；将采集的图像帧按照采集的时序逐帧播放；从采集的图像帧中选取图像帧；从服务器120拉取与选取的图像帧匹配的模板图像所关联的用户生成内容，以及用户生成内容在匹配的模板图像中的展示位置；按照展示位置，在播放的图像帧中渲染用户生成内容。服务器120可用于存储模板图像、用户生成内容以及用户生成内容在匹配的模板图像中的展示位置之间的对应关系。

图2为一个实施例中移动终端110的内部结构示意图。参照图2，该移动终端110包括通过系统总线连接的处理器、非易失性存储介质、内存储器、网络接口、显示屏、摄像头和输入装置。其中，移动终端110的非易失性存储介质存储有操作系统，还存储有一种用户生成内容处理装置，该用户生成内容处理装置用于实现一种用户生成内容处理方法。移动终端110的处理器用于提供计算和控制能力，支撑整个移动终端110的运行。移动终端110中的内存储器为非易失性存储介质中的用户生成内容处理装置的运行提供环境。该内存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种用户生成内容处理方法。移动终端110的网络接口用于与服务器120进行网络通信，如上传图像帧、上传创建的用户生成内容或者拉取用户生成内容等。移动终端110的摄像头用于采集图像帧。移动终端110的显示屏可以是液晶显示屏或者电子墨水显示屏，移动终端110的输入装置可以是显示屏上覆盖的触摸层，也可以是移动终端110外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该移动终端110包括手机、平板电脑、个人数字助理和穿戴式设备等中的一种或几种的组合。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端110的限定，具体的终端110可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图3所示，在一个实施例中，提供了一种用户生成内容处理方法。本实施例主要以该方法应用于上述图1和图2中的移动终端110来举例说明。参照图3，该用户生成内容处理方法具体包括如下步骤：

s302，从现实世界采集图像帧。

其中，现实世界是自然存在的世界，也是人类所处的世界。图像帧是能够形成动态画面的图像帧序列中的单元，用来记录某时刻现实世界中的物体。

在一个实施例中，移动终端具体可按照固定或动态的帧率，从现实世界采集图像帧。其中，固定或动态的帧率能够使图像帧按照该固定或动态的帧率播放时形成连续的动态画面。

在一个实施例中，移动终端可通过摄像头，在摄像头当前的视野下，采集现实世界的图像帧。其中，摄像头的视野可因移动终端的姿态和位置的变化而变化。

在一个实施例中，移动终端可通过社交应用，提供ar(augmentedreality，增强现实)拍摄模式，并在选定该ar拍摄模式后，从现实世界采集图像帧。其中，社交应用是能够基于社交网络进行网络社交互动的应用。社交应用包括即时通信应用、sns(socialnetworkservice，社交网站)应用、直播应用或者拍照应用等。

s304，将采集的图像帧按照采集的时序逐帧播放。

其中，采集的时序是指采集图像帧时的时间顺序，可通过图像帧在采集时记录的时间戳的大小关系来表示。逐帧播放是指逐图像帧播放。

移动终端具体可按照采集图像帧的帧率，按照时间戳升序，逐个播放采集的图像帧。移动终端可以将采集的图像帧直接播放，也可以将采集的图像帧按照采集的时序存入缓存区，并按采集的时序从缓存区取出图像帧播放。

s306，从采集的图像帧中选取图像帧。

其中，选取的图像帧，可以是采集的图像帧中的关键帧。

在一个实施例中，移动终端可接收用户选择指令，根据该用户选择指令，从采集的图像帧中选取图像帧。

在一个实施例中，移动终端可在播放的图像帧符合画面稳定条件时，从采集的图像帧中选取当前采集或当前正播放的图像帧。画面稳定条件可以是播放的图像帧在预设时长内的差异在设定的范围内。

s308，获取与选取的图像帧匹配的模板图像所关联的用户生成内容。

其中，用户生成内容是指由用户产生的内容。用户生成内容可以包括文本、图片、音频或者视频中的至少一种。用户生成内容可以是用户发表的内容，也可以是用户对发表的内容的评论内容，还可以是用户对评论内容的回复内容。

模板图像与用户生成内容关联，用于标记用户生成内容。通过模板图像可以定位到相关联的用户生成内容。一个模板图像可以关联一个或多个用户生成内容。一个模板图像可以关联一个或多个用户所发表的用户生成内容。发表用户生成内容的用户可以称为内容创建者。

在一个实施例中，在判断选取的图像帧和模板图像是否匹配，具体可先计算选取的图像帧和模板图像之间的相似度，进而判断该相似度是否大于等于预设相似度；若是，则匹配；若否，则不匹配。

计算选取的图像帧和模板图像之间的相似度时，可先提取选取的图像帧和模板图像各自的特征，从而计算两特征之间的差异，特征之间的差异越大则相似度越低，特征之间的差异越小则相似度越高。具体可通过经过训练的神经网络模型来提取特征，具体可以提取颜色特征、纹理特征和形状特征中的一种或几种的组合。相似度可采用余弦相似度或者图像间各自感知哈希值的汉明距离。

在一个实施例中，移动终端可先从本地缓存区查询与选取的图像帧匹配的模板图像，当查询到匹配的模板图像时，再从本地缓存区或服务器拉取该模板图像所关联的用户生成内容。当本地缓存区中未查询到匹配的模板图像时，移动终端可进一步从服务器查询与选取的图像帧匹配的模板图像，当本地缓存区中查询到匹配的模板图像时，移动终端可从服务器拉取该模板图像所关联的用户生成内容。移动终端从服务器查询到匹配的模板图像后，可将匹配的模板图像存储在本地缓存区。

在一个实施例中，移动终端可获取用户生成内容，该用户生成内容所关联的模板图像与选取的图像帧匹配，该模板图像对应的地理位置与当前地理位置满足相近条件。相近条件是量化的表示两个地理位置接近的条件，相近条件如地理位置之间的距离小于或等于预设值。本实施例中，结合地理位置，可以进行更加准确的匹配。

s310，获取用户生成内容在匹配的模板图像中的展示位置。

其中，用户生成内容在匹配的模板图像中的展示位置，该展示位置表示用户生成内容在模板图像中所占的区域。展示位置可以由用户生成内容在模板图像中所占的区域在模板图像的坐标系中的坐标表示。

在一个实施例中，移动终端可在获取用户生成内容时，一并获取该用户生成内容的展示位置。移动终端具体可从本地缓存区或者服务器获取该展示位置。

s312，按照展示位置，在播放的图像帧中渲染用户生成内容。

具体地，移动终端可在当前播放的图像帧中，在获取的展示位置处渲染用户生成内容。移动终端可获取用户生成内容对应的样式数据，从而按照该样式数据和获取的展示位置，在播放的图像帧中渲染用户生成内容。

在一个实施例中，展示位置可以是用户生成内容相对于模板图像中物体区域的位置；移动终端可在播放的图像帧中追踪板图像中的物体区域，从而按照该展示位置和追踪到的物体区域，确定当前播放的图像帧中用户生成内容相对于追踪到的物体区域的位置，从而按照确定的位置渲染用户生成内容。

其中，物体区域是图像中可表示现实世界物体的区域，该物体可以是生物或者非生物，生物如人体、动物体或者植物体，非生物如建筑物、工业产品或者自然景观。

上述用户生成内容处理方法，从现实世界采集图像帧并按照采集的时序播放，通过从采集的图像帧中选取的图像帧，就能够确定该图像帧所匹配的模板图像所关联的用户生成内容，并进行展示。能够通过现实世界中拍摄的图像帧定位到用户生成内容并展示，可以不必依赖社交关系，扩展了用户生成内容的传播方式。而且，按照用户生成内容在匹配的模板图像中的展示位置，在播放的图像帧中追踪渲染用户生成内容，将虚拟世界中的用户生成内容与播放的视频帧所反映的现实世界融合，提供了用户生成内容的新互动方式。

在一个实施例中，在步骤s306之后，该用户生成内容处理方法还包括：判断选取的图像帧的特征是否符合预设的模板图像特征；当选取的图像帧的特征符合模板图像特征时，执行步骤s308；当选取的图像帧的特征不符合模板图像特征时，返回至步骤s306。

其中，预设的模板图像特征，是预先设置的作为模板图像的图像应当具备的特征。模板图像可具备良好的区分性，避免不同的模板图像关联的用户生成内容相混淆。

在一个实施例中，判断选取的图像帧的特征是否符合预设的模板图像特征包括：提取选取的图像帧的特征点，判断提取的特征点的数量是否达到预设的模板图像特征点数量阈值。本实施例中，预设的模板图像特征为特征点的数量达到预设的模板图像特征点数量阈值。

其中特征点是选取的图像帧中具有鲜明特性并能够有效反映图像本质特征的点，该特征点具有标识图像帧中的物体的能力。模板图像特征点数量阈值可根据需要设置。模板图像特征点数量阈值越高，能够作为模板图像的图像帧的区分性越好。

在一个实施例中，判断选取的图像帧的特征是否符合预设的模板图像特征包括：获取选取的图像帧的分辨率，判断分辨率是否达到预设的模板图像分辨率阈值。本实施例中，预设的模板图像特征为分辨率达到预设的模板图像分辨率阈值。

其中，选取的图像帧的分辨率，表示图像帧的宽度和高度，预设的模板图像分辨率阈值包括预设的模板图像宽度和模板图像高度。移动终端具体可获取选取的图像帧的宽度和高度，判断获取的宽度和高度是否均分别达到了预设的模板图像宽度和模板图像高度。

在一个实施例中，判断选取的图像帧的特征是否符合预设的模板图像特征包括：获取选取的图像帧的清晰度，判断清晰度是否达到预设的模板图像清晰度阈值。本实施例中，预设的模板图像特征为清晰度达到预设的模板图像清晰度阈值。

其中，清晰度与分辨率不同，是指相应图像帧上各细部影纹及其边界的清晰程度。移动终端可将选取的图像帧转化为灰度图像，检测灰度图像中的边缘，从而判断边缘处的灰度变化率，根据灰度变化率确定清晰度。边缘处灰度变化越快，表示清晰度越高；边缘处灰度变化越慢，表示清晰度越低。

在一个实施例中，判断选取的图像帧的特征是否符合预设的模板图像特征包括：获取选取的图像帧中的物体区域占选取的图像帧的占比，判断占比是否达到预设的模板图像物体占比。本实施例中，预设的模板图像特征为物体区域占选取的图像帧的占比达到预设的模板图像物体占比。

具体地，移动终端可检测选取的图像帧的边缘，将由检测到的边缘构成的面积达到预设面积的封闭区域作为物体区域，判断物体区域的面积占选取的图像帧的总面积的占比是否达到预设的模板图像物体占比。图像或区域的面积，可由该图像或区域所含像素点的数量表示。

上述各个实施例中判断选取的图像帧的特征是否符合预设的模板图像特征的条件可自由组合；当组合的条件均满足时，判定符合预设的模板图像特征；当组合的条件至少一个不满足时，判定不符合预设的模板图像特征。

上述实施例中，当选取的图像帧的特征符合模板图像特征时，获取与选取的图像帧匹配的模板图像所关联的用户生成内容，可以直接过滤掉难以匹配到模板图像的图像帧，提高处理效率。

在一个实施例中，步骤s308包括：将选取的图像帧上传至服务器；接收服务器反馈的表示查询到与上传的图像帧匹配的模板图像的第一通知；根据第一通知，获取与模板图像关联的用户生成内容。

其中，第一通知和下述的第二通知都是通知，第一和第二的描述用于区分不同的通知。通知可以是独立的消息，也可以是混合了多种类型信息的消息。

具体地，移动终端将选取的图像帧上传至服务器，由服务器查询与上传的图像帧匹配的模板图像。当查询到该模板图像时，服务器向移动终端返回第一通知，该第一通知表示查询到与上传的图像帧匹配的模板图像。

在一个实施例中，移动终端可将本地登陆所用的用户账号和选取的图像帧上传至服务器，接收服务器反馈的第一通知，该第一通知表示查询到与上传的图像帧匹配的模板图像，且该模板图像所关联的用户生成内容对上传的用户账号开放了访问权限。移动终端可进一步根据第一通知，获取与模板图像关联的、对上传的用户账号开放了访问权限的用户生成内容。

其中，访问权限可在用户生成内容创建时设置。比如，若内容创建者在创建用户生成内容时，设置了仅对好友可见的访问权限，则当上传的用户账号与创建者的用户账号存在好友关系时，上传的用户账号对该用户生成内容具有访问权限。若内容创建者在创建用户生成内容时，设置了对所有人可见的访问权限，则任意合法的用户账号对该用户生成内容具有访问权限。

移动终端可根据第一通知，获取匹配的模板图像，并将该模板图像缓存到本地的缓存区。移动终端还可以获取与用户生成内容相关的用户信息，该用户信息比如用户账号、用户头像或者用户昵称等。

在一个实施例中，移动终端可直接从第一通知中获取与模板图像关联的用户生成内容，还可以从第一通知中获取模板图像和/或与用户生成内容相关的用户信息。

在一个实施例中，移动终端可从第一通知获取匹配的模板图像的图像编号，从而向服务器发送携带该图像编号的查询请求，从而接收由服务器查询到并反馈的与该图像编号关联的用户生成内容。移动终端还可以从服务器查询与该图像编号对应的模板图像和/或用户信息。

上述实施例中，服务器实现对上传的图像帧和模板图像的匹配，这样基于服务器，各个用户都可以针对现实世界中相同或相似的场景进行基于用户生成内容的交互，实现了基于现实世界、虚拟世界和社交网络的社交互动。

在一个实施例中，步骤s308包括：将选取的图像帧上传至服务器；接收服务器反馈的表示未查询到与上传的图像帧匹配的模板图像的第二通知；根据第二通知展示内容创建入口；根据对内容创建入口的操作创建用户生成内容；将创建的用户生成内容上传至服务器，使得服务器将上传的用户生成内容与由上传的图像帧注册而成的模板图像关联存储。

其中，未查询到与上传的图像帧匹配的模板图像，可以是服务器上不存在与上传的图像帧匹配的模板图像；或者可以是虽然服务器上存在与上传的图像帧匹配的模板图像，但该模板图像对应的用户生成内容均未对触发图像帧上传的用户账号开放访问权限。

内容创建入口用于触发创建用户生成内容。内容创建入口可以是可视的能够触发事件的控件，如图标或者按钮。内容创建入口具体可以是触发创建全新用户生成内容的入口。其中全新用户生成内容是指与已有的用户生成内容在内容上相独立的用户生成内容。内容创建入口也可以是触发创建与已有的用户生成内容关联的用户生成内容的入口。其中，与已有的用户生成内容关联的用户生成内容比如评论内容或者对评论内容的回复内容。

具体地，移动终端将选取的图像帧上传至服务器，由服务器查询与选取的图像帧匹配的模板图像。服务器在查询到匹配的模板图像时，向移动终端反馈第一通知；服务器在未查询到匹配的模板图像时，将上传的图像帧注册为模板图像，并向移动终端反馈第二通知。移动终端接收到第二通知后，展示内容创建入口。

进一步地，移动终端检测对内容创建入口的操作，根据检测到的操作获取用户输入的内容，从而创建用户生成内容，将该用户生成内容上传至服务器，由服务器将上传的用户生成内容与由上传的图像帧注册而成的模板图像关联并存储。服务器若在将上传的图像帧注册为模板图像起的预设时长内未接收到创建的用户生成内容，或者接收到移动终端反馈的取消注册请求，则将对上传的图像帧的注册取消。

上述实施例中，针对现实世界的某一场景，当还未存在相关联的用户生成内容时，可以创建与该场景关联的用户生成内容，下次就能够以本次上传的图像帧作为模板图像进行匹配，不断丰富用户生成内容，为用户提供基于现实世界和虚拟世界的更加便利的互动方式。

在一个实施例中，在步骤s312之前，该用户生成内容处理方法还包括：获取在创建用户生成内容时配置的立体旋转参数。步骤s312包括：按照展示位置，在播放的图像帧中渲染按照立体旋转参数旋转后的用户生成内容。

其中，立体旋转参数是指将用户生成内容在虚拟世界的立体坐标系中旋转的参数。立体旋转参数比如水平旋转角度和/或垂直旋转角度。其中水平旋转角度是指将用户生成内容沿着虚拟世界的立体坐标系中的水平面进行旋转时所旋转的角度。垂直旋转角度则是用户生成内容沿着虚拟世界的立体坐标系中的垂直面进行旋转时所旋转的角度。立体旋转参数可在用户生成内容被创建时一并配置，并对应于该用户生成内容存储。

上述实施例中，用户可以在创建用户生成内容时配置用户生成内容的立体旋转参数，从而在播放反映现实世界的图像帧时，就可以展示按照该立体旋转参数旋转后的用户生成内容，提供了新的互动方式。

在一个实施例中，步骤s312包括：在播放的图像帧中追踪模板图像中的物体区域；根据展示位置和追踪到的物体区域确定追踪渲染位置；在播放的图像帧中按照追踪渲染位置渲染用户生成内容。

其中，追踪是指在连续播放的图像帧中定位物体区域的变化。物体区域的变化如位置的变化和/或形态的变化。追踪渲染位置是指用户生成内容在播放的图像帧中的实时渲染位置。选取的图像帧与模板图像匹配，移动终端可以将模板图像的图像区域作为选取的图像帧中的物体区域，进而在播放的图像帧中追踪物体区域。

展示位置可以表示待显示的用户生成内容在展示时相对于模板图像中的物体区域的位置，根据该展示位置和追踪到的物体区域的位置变化，就可以确定用户生成内容的追踪渲染位置。

进一步地，根据展示位置和踪到的物体区域的形态变化，便可以确定用户生成内容的追踪渲染形态，从而可在播放的图像帧中，按照追踪渲染位置和追踪渲染形态，渲染用户生成内容。追踪渲染形态可以用实时的立体旋转参数表示。

上述实施例中，在播放的图像帧中追踪模板图像中的物体区域，从而在播放的图像帧中根据追踪到的物体区域对用户生成内容进行追踪渲染，实现了虚拟世界中的用户生成内容和现实世界中物体的强关联，实现了虚拟世界和现实世界之间基于用户生成内容的全新互动方式。

在一个实施例中，移动终端可在播放的图像帧中追踪模板图像中的物体区域；检测追踪到的物体区域相对于模板图像中的物体区域的形态变化；根据形态变化确定表示观察方向的参数；根据展示位置，在播放的图像帧中渲染按照表示观察方向的参数变形后的用户生成内容。

本实施例中，当对现实世界中的物体的观察方向发生变化时，通过检测追踪到的物体区域相对于模板图像中的物体区域的形态变化，可以确定表示该观察方向的参数。按照该参数对用户生成内容进行变形，使得变形后的用户生成内容可以表示出观察方向的变化，实现了虚拟世界中的用户生成内容和现实世界中物体的强关联，实现了虚拟世界和现实世界之间基于用户生成内容的全新互动方式。

在一个实施例中，步骤s308包括：获取与选取的图像帧匹配的模板图像所关联的多个内容创建者信息及相对应的用户生成内容。步骤s312包括：展示多个内容创建者信息；选中多个内容创建者信息中的一个；按照选中的一个内容创建者信息相对应的展示位置，在播放的图像帧中渲染相对应的用户生成内容。

其中，内容创建者信息是指用户生成内容的内容创建者的身份信息，可以是相应内容创建者的用户头像、用户昵称或者用户账号等。同一个模板图像可以关联多于一个的用户生成内容，每个用户生成内容对应一个内容创建者信息，于是一个用户生成内容可以关联多个内容创建者信息。

多个内容创建者信息的数量取决于同一个模板图像所关联的用户生成内容的内容创建者的数量。每个内容创建者信息对应一个用户生成内容，每个用户生成内容对应一个展示位置，移动终端可按照选中的用户生成内容对应的展示位置，在播放的图像帧中渲染相对应的用户生成内容。

上述实施例中，一个模板图像可以关联多个内容创建者所创建的用户生成内容，扩充了现实世界中的物体所能够关联的用户生成内容的数量；用户可以在多个内容创建者所创建的用户生成内容之间切换，扩展了用于基于虚拟世界和现实世界进行交互的维度。

参照图4，下面用一个具体应用场景来说明上述用户生成内容处理方法的原理。用户可进入社交应用，社交应用展示如图5所示的主页面。用户可以点击主页面中的工具菜单触发按钮502，使得社交应用在如图6所示的主页面中展示工具菜单601，工具菜单601包括功能入口602。用户点击功能入口602，使得社交应用开始从现实世界采集图像帧，并将采集的图像帧按照采集的时序逐帧播放，参照图7左，移动终端形成反映现实世界的实时动态画面。

移动终端在播放图像帧时，若图像帧在预设时长内基本未发生变化，则选取当前播放的图像帧，判断选取的图像帧是否符合预设的模板图像特征。当选取的图像帧不符合模板图像特征时，提示用户未识别到物体，继续采集并播放图像帧。当选取的图像帧符合模板图像特征时，移动终端进一步判断本地是否缓存有与选取的图像帧匹配的模板图像。

当本地缓存有与选取的图像帧匹配的模板图像时，移动终端拉取与该模板图像关联的由多个内容创建者各自创建的用户生成内容、相应的内容创建者头像以及相应的展示位置，从而如图8左所示，在当前播放的视频帧上，展示内容创建者头像列表801。用户选中内容创建者头像列表中的一个内容创建者头像801a，使得社交应用按照与该选中的内容创建者头像相应的展示位置，展示相应的用户生成内容802和803。

如果模板图像配置了立体旋转角度，则移动终端会按照该立体旋转角度将用户生成内容802和803按照该立体旋转角度变形后展示。当物体区域(如酒杯和水杯)在播放的图像帧中变化时，用户生成内容802和803会跟着变化。当物体区域的观察角度变化时，用户生成内容802和803也会进行相应的旋转。

用户可以在如图8左所示的页面中进行向上滑动的操作，进入对于当前所展示的用户生成内容的评论页面，如图9所示，用户可在该评论页面中添加评论内容或者评论回复内容。

当本地未缓存与选取的图像帧匹配的模板图像时，移动终端将选取的图像帧上传至服务器，由服务器为上传的图像帧匹配模板图像。若服务器查询到匹配的模板图像，移动终端可拉取与该模板图像关联的由多个内容创建者各自创建的用户生成内容、相应的内容创建者头像以及相应的展示位置，从而如图8左所示，在当前播放的视频帧上，展示内容创建者头像列表801。用户选中内容创建者头像列表中的一个内容创建者头像801a，使得社交应用按照与该选中的内容创建者头像相应的展示位置，展示相应的用户生成内容802和803。

若服务器未查询到匹配的模板图像，移动终端可展示如图10所示的内容创建入口1001，用户点击内容创建入口1001后，用户可选择图片和/或输入文字，还可以在如图11所示的图片编辑页面中对图片进行编辑，如进行立体旋转，还可以设定是否仅对好友可见的访问权限，确认后创建用户生成内容，并将用户生成内容上传至服务器，由服务器将上传的用户生成内容与由上传的图像帧注册而成的模板图像关联存储。如果上传用户生成内容失败，则社交应用将提示出错，并进入用于重新上传用户生成内容的发件箱。

图12为一个实施例中用户生成内容处理装置1200的结构框图。参照图12，该用户生成内容处理装置1200包括：采集模块1201、播放模块1202、选取模块1203、数据获取模块1204和渲染模块1205。

采集模块1201，用于从现实世界采集图像帧。

播放模块1202，用于将采集的图像帧按照采集的时序逐帧播放。

选取模块1203，用于从采集的图像帧中选取图像帧。

数据获取模块1204，用于获取与选取的图像帧匹配的模板图像所关联的用户生成内容；获取用户生成内容在匹配的模板图像中的展示位置。

渲染模块1205，用于按照展示位置，在播放的图像帧中渲染用户生成内容。

在一个实施例中，选取模块1203还用于判断选取的图像帧的特征是否符合预设的模板图像特征；当选取的图像帧的特征符合模板图像特征时，通知获取模块，使获取模块工作；当选取的图像帧的特征不符合模板图像特征时，继续从采集的图像帧中选取图像帧。

在一个实施例中，数据获取模块1204还用于将选取的图像帧上传至服务器；接收服务器反馈的表示查询到与上传的图像帧匹配的模板图像的第一通知；根据第一通知，获取与模板图像关联的用户生成内容。

在一个实施例中，数据获取模块1204还用于将选取的图像帧上传至服务器；接收服务器反馈的表示未查询到与上传的图像帧匹配的模板图像的第二通知；根据第二通知展示内容创建入口；根据对内容创建入口的操作创建用户生成内容；将创建的用户生成内容上传至服务器，使得服务器将上传的用户生成内容与由上传的图像帧注册而成的模板图像关联存储。

在一个实施例中，数据获取模块1204还用于获取在创建用户生成内容时配置的立体旋转参数。渲染模块1205还用于按照展示位置，在播放的图像帧中渲染按照立体旋转参数旋转后的用户生成内容。

在一个实施例中，渲染模块1205还用于在播放的图像帧中追踪模板图像中的物体区域；检测追踪到的物体区域相对于模板图像中的物体区域的形态变化；根据形态变化确定表示观察方向的参数；根据展示位置，在播放的图像帧中渲染按照表示观察方向的参数变形后的用户生成内容。

在一个实施例中，数据获取模块1204还用于获取与选取的图像帧匹配的模板图像所关联的多个内容创建者信息及相对应的用户生成内容。渲染模块1205还用于展示多个内容创建者信息；选中多个内容创建者信息中的一个；按照选中的一个内容创建者信息相对应的展示位置，在播放的图像帧中渲染相对应的用户生成内容。

上述用户生成内容处理装置1200，从现实世界采集图像帧并按照采集的时序播放，通过从采集的图像帧中选取的图像帧，就能够确定该图像帧所匹配的模板图像所关联的用户生成内容，并进行展示。能够通过现实世界中拍摄的图像帧定位到用户生成内容并展示，可以不必依赖社交关系，扩展了用户生成内容的传播方式。而且，按照用户生成内容在匹配的模板图像中的展示位置，在播放的图像帧中追踪渲染用户生成内容，将虚拟世界中的用户生成内容与播放的视频帧所反映的现实世界融合，提供了用户生成内容的新互动方式。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等非易失性存储介质，或随机存储记忆体(randomaccessmemory，ram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。