基于增强现实技术的互动方法、系统和终端的制作方法_4

文档序号:9707927阅读:来源:国知局
图像提取图像中物体表面的图像特征点、图像中三维物体的轮廓特征点、图像中环境的特征点等并存储,同时一并存储该第一图像信息对应的互动信息。
[0102]例如,服务器接收用户A上传的照片和评论说明,提取照片中的法式红烩牛肉披萨并存储,同时一并存储用户A对于法式红烩牛肉披萨的评论说明。
[0103]第二终端300,用于获取第二图像作为真实场景,并实时提取第二图像中的第二图像信息作为被识别物体,将第二图像信息发送至服务器;第二图像信息包括第二图像中物体表面的图像特征点、第二图像中三维物体的轮廓特征点、第二图像中环境的特征点中的一种或几种;
[0104]在本实施方式中,用户可以开启第二终端的摄像头,对感兴趣的事物进行抓取以获取第二图像,同时第二终端实时提取第二图像信息,包括:图像中物体表面的图像特征点、图像中三维物体的轮廓特征点、图像中环境的特征点等;然后第二终端自动将第二图像信息发送至服务器。
[0105]例如,当用户B进入甲餐厅后,用手机对菜单上的法式红烩牛肉披萨进行抓取(SP打开摄像头后,直接在屏幕中显示待识别的画面);然后,手机实时自动提取取景画面中的法式红烩牛肉披萨作为被识别物体,并发送至服务器。
[0106]服务器200进一步用于接收第二图像信息,并查找与第二图像信息相关的互动信息作为虚拟信息,以及将虚拟信息返回至第二终端;如果服务器未查找到与第二终端发送的第二图像信息相关的互动信息,则根据第二图像建立新的互动信息。
[0107]在本实施方式中,当服务器接收到第二图像信息后,就会根据第二图像信息查找在已经建立好的数据库中查找与之相关的互动信息,然后将查找到的互动信息作为虚拟信息发送至第二终端。如果服务器未找到与第二图相信相关的互动信息,则服务器继续接收第二终端发送的图片和互动该信息,提取图片中的图像信息进行保存,同时一并保存互动?目息O
[0108]例如,如果服务器收到用户C的手机发送的乙餐厅的美味炸鸡的图像信息后,没有查找到与美味炸鸡相关的描述评论信息,则服务器可以继续接收用户C手机发送的美味炸鸡的图片及用餐评价,并提取图片中的美味炸鸡的图像信息进行保存,同时一并保存用户C关于美味炸鸡的用餐评价,据此服务器建立关于乙餐厅的美味炸鸡的互动信息,当其他用户来到乙餐厅时就可以通过服务器查找到乙餐厅的美味炸鸡的相关信息了。当服务器接收到用户B的手机发送的法式红烩牛肉披萨的图像信息后,就会查找到用户A手机上传的关于法式红烩牛肉披萨的相关信息或其他用户上传的关于法式红烩牛肉披萨的一些评论或点赞情况,然后将这些信息作为虚拟信息发送到用户B的手机。
[0109]第二终端进一步用于接收服务器返回的虚拟信息,并将虚拟信息与真实场景中的被识别物体叠加作为增强现实信息进行显示,虚拟信息实时追踪真实场景中的被识别物体;虚拟信息的呈现方式包括以窗口的形式悬浮在被识别物体上;窗口的数量为一个或多个,一个窗口包含至少一条互动信息,通过滑动输入载体查看不同的互动信息。
[0110]在本实施方式中,第二终端接收服务器返回的虚拟信息,并通过增强现实模块将虚拟信息与真实场景中的被识别物体叠加,获得增强现实信息,增强现实信息可以提供用户全方位多角度地了解取景事物的相关信息,使画面增加立体感,提升用户体验。当被识别物体在真实环境中发生了位置上的移动,则虚拟信息实时追踪被识别物体并叠加呈现在被识别物体上;该虚拟信息的呈现方式包括网页窗口、对话框窗口等,该窗口悬浮在被识别物体上进行呈现;窗口的数量可以是一个或多个,一个窗口包含至少一条互动信息,每条互动信息中包含了发送该条互动信息的用户昵称、该用户对于该被识别物体的描述和评论、用户点赞、收藏等;当一个窗口只包含一条互动信息时,窗口数量可能有多个(即当该被识别物体已被多名用户进行互动评论),用户可以通过左右滑动屏幕,查看不同用户给出的互动信息;或者当一个窗口内包含多条互动信息时,窗口的数量可以是一个也是可以是多个,用户可以通过上下滑动屏幕查看同一窗口内的多条互动信息或左右滑动屏幕,切换不同的窗口查看其他互动信息。
[0111]例如,用户B的手机将关于法式红烩牛肉披萨的描述评论或点赞情况与手机抓取的真实场景中的红烩牛肉披萨叠加后作为增强现实信息显示在手机屏上,用户B就可以看到关于法式红烩牛肉披萨的配料、口味是否鲜美、好评情况等。当用户B移动手中的菜单或手机,使得取景画面中的法式红烩牛肉披萨发生了位置移动,则红烩牛肉披萨的相关描述评论也会跟着被识别物体进行移动,使得该描述评论始终悬浮呈现在被识别物体上,画面真实立体,用户体验好。而关于法式红烩牛肉披萨的描述评论或点赞情况可以通过网页或对话框窗口的形式进行呈现,每个窗口呈现一条互动信息,其中包含了发送该条互动信息的用户昵称、用户头像、用户给出的评论、回复、用户是否点赞、收藏等;当已有多名用户已上传评论后,用户B可以用过左右滑动窗口查看其它用户给出的互动信息。
[0112]第二终端还用于获取用户的手势或语音命令,对虚拟信息进行缩放、拖拽或在虚拟信息的呈现窗口中开启内嵌的应用程序。
[0113]在本实施方式中,用户进一步的可以对所呈现的虚拟信息进行交互操作,可以通过手势或语音的方式对虚拟信息窗口进行缩放、拖拉拽至其他地方,甚至在虚拟信息窗口中打开内嵌的应用程序,如音频播放器、视频播放器等,互动形式多样化,提升用户体验。
[0114]例如,如果用户B觉得关于红烩牛肉披萨的评论信息窗口太小,可以通过手势对窗口进行缩放;或者信息窗口挡住了真实场景中的其他画面,则可将窗口拖拽至屏幕中的其他地方;甚至,用户B为了迎合当时的场景气氛,在信息窗口中开启音乐播放器,选取网络或本地的歌曲进行播放,以增强现场的互动气氛。
[0115]第二终端还用于接收用户对所显示的增强现实信息的操作并将操作后的信息发送至服务器;
[0116]操作包括对当前呈现的虚拟信息进行回复、收藏、点赞;或对当前真实场景中的被识别物体添加评论、收藏、点赞;信息的形式包括文字信息、视频信息、图片信息、音频信息中的一种或几种。
[0117]在本实施方式中,当用户查看第二终端上显示的增强现实信息时,可以在虚拟信息的窗口对其他用户给出的评论进行回复、点赞、收藏等操作,或对当前场景中的被识别物体添加新的评论、点赞、收藏等。进一步的,当用户进行回复或评论的内容需要上传第二终端的本地图片时,可通过调用本地图片接口,将图片上传,待文本编辑完成后,将图文信息一并上传至服务器,以提供后续其他用户参考。
[0118]例如,当用户B点选尝试了红烩牛肉披萨后,对红烩牛肉披萨给予了一些用餐感受,则可在手机呈现的增强现实信息中,点评餐感受并上传至服务器(如图7);同时,用户B也可以对用户A预先给出的评价说明进行回复,增强用户之间的互动性(如图8)。
[0119]实施例4
[0120]如图11所示,一种终端,包括:图像采集模块301、图像特征点识别模块302、互动信息识别模块303、增强现实模块304、显示模块305和信息操作模块306。
[0121]图像采集模块301,用于获取图像作为真实场景;
[0122]在本实施方式中,图像采集模块301可以为摄像头,通过抓取用户所在场景直接在屏幕中显示待识别的场景画面;
[0123]图像特征点识别模块302,用于实时提取图像的图像信息作为被识别物体;图像信息包括图像中物体表面的图像特征点、图像中三维物体的轮廓特征点、图像中环境的特征点中的一种或几种;
[0124]互动信息识别模块303,用于将图像信息发送至服务器,并接收服务器返回的互动信息作为虚拟信息,其中互动信息的形式包括文字信息、视频信息、图片信息、音频信息、动画特效中的一种或几种;互动信息的内容包括用户对第一图像信息的介绍、评论、收藏中的一种或几种;
[0125]增强现实模块304,用于将虚拟信息与真实场景中的被识别物体叠加以获得增强现实信息;虚拟信息实时追踪真实场景中的被识别物体,当被识别物体发生移动时,虚拟信息对被识别物体进行追踪呈现;虚拟信息的呈现方式包括以窗口的形式悬浮在被识别物体上;窗口的数量为一个或多个,一个窗口包含至少一条互动信息,通过滑动输入载体查看不同的互动信息。
[0126]在本实施方式中,移动终端可以通过增强现实模块304将虚拟信息与真实场景中的被识别物体叠加,获得增强现实信息,使用户从全方位多角度地了解取景事物的相关信息,增强画面感和真实感,具有更好的互动性和娱乐性,提升用户体验。当被识别物体在真实环境中发生了位置上的移动,则虚拟信息实时追踪被识别物体并叠加呈现在被识别物体上;该虚拟信息的呈现方式包括网页窗口、对话框窗口等,该窗口悬浮在被识别物体上进行呈现;窗口的数量可以是一个或多个,一个窗口包含至少一条互动信息,每条互动信息中包含了发送该条互动信息的用户昵称、该用户对于该被识别物体的描述和评论、用户点赞、收藏等;当一个窗口只包含一条互动信息时,窗口数量可能有多个(即当该被识别物体已被多名用户进行互动评论),用户可以通过左右滑动屏幕,查看不同用户给出的互动信息;或者当一个窗口内包含多条互动信息时,窗口的数量可以是一个也是可以是多个,用户可以通过上下滑动屏幕查看同一窗口内的多条互动信息或左右滑动
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1