基于增强现实的全景视频交互方法和系统的制作方法
【专利摘要】本发明公开了一种基于增强现实的全景视频交互方法，包括：通过全景摄像设备采集真实景物的视频数据，将视频数据输入到图像处理器中进行处理；图像处理器将视频数据转化为连续的单帧图像，并记录每帧单帧图像之间的先后顺序关系；在单帧图像中选定交互热区，设定交互热区的坐标及范围；图像处理器根据先后顺序关系将单帧图像转换为全景图像三维场景；将全景图像三维场景传输至终端设备；终端设备根据全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将球面全景图像输出至终端设备的屏幕上进行显示。本发明还提供了一种基于增强现实的全景视频交互系统，改善全景连续浏览体验，实现人机互动。
【专利说明】基于增强现实的全景视频交互方法和系统
【技术领域】
[0001] 本发明涉及视频展示【技术领域】，尤其涉及一种基于增强现实的全景视频交互方法 和系统。
【背景技术】
[0002] 目前全景图像处理技术得到了快速发展，可以建立全景视频展示系统应用于旅游 景点虚拟导览、企业展示宣传以及商业空间展示等方面。现有的全景图像或全景视频技术， 可以先摄取现实世界中的景物图片，利用专业设备或者软件将拍摄的图片转换为全景图 像，从而形成全景视频。
[0003] 现有技术主要存在如下两种具体实现方式：
[0004] (1)通过摄像机、鱼眼镜头等硬件设施进行拍摄，利用全景拍摄拼接软件将图片拼 接为全景图像，之后将多张全景图像导入全景制作软件中进行全景制作，并可添加一些功 能如：缩略图、地图导航、热点弹出图片或者文字介绍等，最后对全景视频进行发布。（2)利 用三维建模软件建立场景模型。
[0005] 第一种实现方式可以使用有限的图片实现全景视频，但是，这种全景技术通常仅 在一个大场景中采集一个或者几个视点，因而用户只能在选定的视点中观察到该全景场景 中的细节，而不能在其他三维场景中进行漫游。由于用户坐标相对固定，只能在几个固定的 点进行视角与视野的变换，切换场景只能点击其他三维全景的链接，因而无法实现连续的 浏览体验，增加了漫游的局限性。同时，该方式实现的全景场景无法加入虚拟物体进行展示 以及交互，因此系统的交互性、可操作性以及扩展性较差。第二种实现方式使用三维软件建 模，可以实现视点的自由移动，但是其开发工作量及其所需处理的数据量较大，模型精度相 对较低。
【发明内容】
[0006] 本发明所要解决的技术问题是，提供一种基于增强现实的全景视频交互方法和系 统，实现视点的自由移动，改善全景连续浏览体验，在全景视频中增加交互热区实现人机互 动。
[0007] 为解决以上技术问题，一方面，本发明实施例提供一种基于增强现实的全景视频 交互方法，包括 ：
[0008] 通过全景摄像设备采集真实景物的视频数据，将所述视频数据输入到图像处理器 中进行处理；
[0009] 所述图像处理器将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图 像之间的先后顺序关系；
[0010] 在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；
[0011] 所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景； [0012] 将所述全景图像三维场景传输至终端设备；
[0013] 所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将 全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏 幕上进行显示。
[0014] 进一步地，所述的基于增强现实的全景视频交互方法，还包括：
[0015] 所述终端设备实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨 迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。
[0016] 进一步地，所述的基于增强现实的全景视频交互方法，还包括：
[0017] 所述终端设备实时监测用户对所述交互区域的点击状态，并在所述交互区域接收 到点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视频的 播放。
[0018] 优选地，所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维 场景，包括：通过以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标（X，y)转 换为三维坐标PI (U, V，W):
[0019]
【权利要求】
1. 一种基于增强现实的全景视频交互方法，其特征在于，包括： 通过全景摄像设备采集真实景物的视频数据，将所述视频数据输入到图像处理器中进 行处理； 所述图像处理器将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之 间的先后顺序关系； 在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围； 所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景； 将所述全景图像三维场景传输至终端设备； 所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景 图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上 进行显示。
2. 如权利要求1所述的基于增强现实的全景视频交互方法，其特征在于，所述方法还 包括： 所述终端设备实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调 整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。
3. 如权利要求2所述的基于增强现实的全景视频交互方法，其特征在于，所述方法还 包括： 所述终端设备实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到 点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视频的播 放。
4. 如权利要求1?3任一项所述的基于增强现实的全景视频交互方法，其特征在于， 所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景，包括：通过 以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标（x，y)转换为三维坐标 PI (u, v, w)：
其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系 和世界坐标系纵轴夹角；W为所述单帧图像宽度，Η为所述单帧图像高度，f为所述全景摄像 设备以像素为度量单位时的焦距，且f = WA2tan (hfov/2))，其中，hfov为所述全景摄像设 备的水平视角。
5. 如权利要求4所述的基于增强现实的全景视频交互方法，其特征在于，所述终端设 备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转 换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示，具体 为： 将每一帧单帧图像上的任意像素点P的坐标（X，y)转换为在所述球面全景图像上对应 的像素点P'的坐标（X'，y'），包括： 计算判别因子：A= (y-H/2)sinacosi3-(x_W/2)sini3-fcosacosi3 ; 当所述判别因子Λ> 0时，在所述球面全景图像上对应的像素点P'的坐标（χ'，y'） 通过以下方程进行计算：
当所述判别因子Λ<〇时，在所述球面全景图像上对应的像素点P'的坐标（X'，y'） 通过以下方程进行计算：
将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。
6. -种基于增强现实的全景视频交互系统，其特征在于，包括：全景摄像设备、图像处 理器和终端设备； 所述全景摄像设备，用于采集真实景物的视频数据，将所述视频数据输入到所述图像 处理器中进行处理； 所述图像处理器，用于将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧 图像之间的先后顺序关系；在所述单帧图像中选定交互热区，设定所述交互热区的坐标及 范围； 所述图像处理器，还用于根据先后顺序关系将所述单帧图像转换为全景图像三维场 景；将所述全景图像三维场景传输至所述终端设备； 所述终端设备，用于根据所述全景摄像设备在采集真实景物时的视角确定投影范围， 将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的 屏幕上进行显示。
7. 如权利要求6所述的基于增强现实的全景视频交互系统，其特征在于， 所述终端设备，还用于实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移 动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕 上。
8. 如权利要求6所述的基于增强现实的全景视频交互系统，其特征在于， 所述终端设备，还用于实时监测用户对所述交互区域的点击状态，并在所述交互区域 接收到点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视 频的播放。
9. 如权利要求6?8任一项所述的基于增强现实的全景视频交互系统，其特征在于， 所述图像处理器，还用于：通过以下方程，将每一帧所述单帧图像上的任意一个像素点 P的坐标（X，y)转换为三维坐标PI (u, V，w):
其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系 和世界坐标系纵轴夹角；W为所述单帧图像宽度，Η为所述单帧图像高度，f为所述全景摄像 设备以像素为度量单位时的焦距，且f = WA2tan (hfov/2))，其中，hfov为所述全景摄像设 备的水平视角。
10.如权利要求9所述的基于增强现实的全景视频交互系统，其特征在于， 所述终端设备，还用于将每一帧单帧图像上的任意像素点P的坐标（x，y)转换为在所 述球面全景图像上对应的像素点P'的坐标（X'，y'），包括： 计算判别因子：A= (y-H/2)sinacosi3-(x_W/2)sini3-fcosacosi3 ; 当所述判别因子Λ> 〇时，在所述球面全景图像上对应的像素点P'的坐标（χ'，y'） 通过以下方程进行计算：
当所述判别因子Λ<〇时，在所述球面全景图像上对应的像素点P'的坐标（X'，y'） 通过以下方程进行计算：
将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。
【文档编号】H04N21/4725GK104219584SQ201410499692
【公开日】2014年12月17日 申请日期:2014年9月25日 优先权日:2014年9月25日
【发明者】黄成文, 梁泳山 申请人:广州市联文信息科技有限公司