一种全景图片AR显示方法、显示装置及存储介质与流程

一种全景图片ar显示方法、显示装置及存储介质
技术领域
1.本公开涉及图片处理技术领域，尤其涉及一种全景图片ar显示方法、显示装置及存储介质。


背景技术：

2.全景图片，又称为全景，通常是指符合人的双眼正常有效视觉(大约水平90度，垂直70度)或包括双眼余光视觉(大约水平180度，垂直90度)以上，乃至360度完整场景范围拍摄的照片。全景图片是一种新的图片合成技术，是将一个场景的各个方位图片合成一张全景图片的技术。这样，用户便能通过一张全景图片查看场景中各个方位的图片。显示全景图片可以通过机顶盒、电视机、个人计算机(pc)、服务器、工作站、膝上型计算机、个人数字助理(pda)、媒体播放器、成像设备、移动因特网设备(mid)、智能手机、智能平板或智能电视机(tv)重大任意一种智能设备
3.增强现实(augmented reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。随着智能手机越来越多，相机成为每一部手机的必备功能。在相机中，有一个全景拍照功能，可以把180度，甚至360度的景物合成在一张照片中，在拍摄大海，天空或是宏伟在建筑时，可以把一整幅画面都记录下来，支持对风景和地平线之类的宽阔场景进行拍摄，整体效果好。
4.但是，在智能手机中查看全景图片时，往往看到的是长条状的效果，在显示的时候要么是图片预览看起来比较小，不能像普通图片一样全屏预览；要么是放大来看图片的局部位置，然而这样又失去了全景图片本来的效果，查看体验差。
5.因此，本公开提供一种全景图片ar显示方法、显示装置及存储介质用于解决上述问题。
6.公开内容
7.本公开要解决的技术问题在于，在智能手机中查看全景图片时，往往看到的是长条状的效果，在显示的时候要么是图片预览看起来比较小，不能像普通图片一样全屏预览；要么是放大来看图片的局部位置，然而这样又失去了全景图片本来的效果，查看体验差，因此，本公开提供一种全景图片ar显示方法、显示装置及存储介质用于解决上述问题。
8.本公开解决技术问题所采用的技术方案如下：
9.第一方面，本公开提供一种全景图片ar显示方法，包括以下步骤：
10.获取全景图片，将所述全景图片分割成若干张图片；
11.将若干张图片贴图至预设的立方体模型上，得到3d全景图片；
12.对所述3d全景图片进行场景检测并分类；
13.对分类的3d全景图片进行zoom的缩放并自动播放。
14.在一种实现方式中，优选的，所述全景图片ar显示方法还包括：在所述3d全景图片
上叠加粒子ar或动画ar生成叠加图像后自动播放。
15.在一种实现方式中，优选的，所述粒子ar包括添加雪景、雨景或落花中的一种或多种，并与所述全景照片生成叠加图像；所述动画ar包括添加虚拟动画与所述3d全景图片生成叠加图像。
16.在一种实现方式中，优选的，所述获取全景图片，将所述全景图片分割成若干张图片的具体步骤包括：
17.通过相机拍摄并存储照片；
18.筛选视场角大于120度的图片得到全景照片；
19.根据视场角大小将所述全景图片分割成若干张图片。
20.在一种实现方式中，优选的，所述根据视场角大小将所述全景图片分割成若干张图片的具体步骤包括：
21.将视场角大于180度且小于270度的所述全景图片分割为三张图片，依次包括右图、前图和左图；将视场角大于270度的所述全景图片分割为四张图片，依次包括右图、前图、左图和后图。
22.在一种实现方式中，优选的，所述立方体模型是通过opengles构建的，所述立方体模型包括六个平面视图，分别包括主视图、后视图、右视图、左视图、俯视图和仰视图。
23.在一种实现方式中，优选的，所述将若干张图片贴图至所述立方体模型上，得到3d全景图片的具体步骤包括：
24.将切割的所述右图对应贴图至所述立方体模型的右视图；
25.将切割的所述前图对应贴图至所述立方体模型的前视图
26.将切割的所述左图对应贴图至所述立方体模型的左视图
27.将切割的所述后图对应贴图至所述立方体模型的后视图。
28.第二方面，本公开还提供一种全景图片ar显示装置，其包括全景图片获取模块、全景图片处理模块和全景图片显示模块。所述全景图片获取模块包括摄像机，用于获取全景图片；所述全景图片处理模块包括包括立方体构建模型、场景检测单元和ar效果叠加单元，所述立方体构建模型是通过opengles构建模型的，将全景图片贴图至指定的立方体模型上，所述场景检测单元对所述全景图片区域进行检测并标注分类，所述ar效果叠加单元用于进行粒子ar或动画ar的叠加，得到叠加的全景图片；所述全景图片显示模块用于显示或播放所述全景图片的投影视图。
29.在一种实现方式中，优选的，所述全景图片处理模块还包括：zoom缩放单元，其对所述场景检测单元标注的区域进行缩放处理。
30.第三方面，本公开还提供一种存储介质，所述存储介质上存储计算机程序，所述计算机程序被处理器执行时实现前述任意一项所述方法的步骤。
31.有益效果：本公开提供的全景图片ar显示方法通过对全景图片贴图到立方体模型上得到3d全景图片，再对3d全景图片进行场景检测，以及设置移动方向、移动速度和移动时间，在所述3d全景图片上叠加粒子ar或动画ar生成叠加图像后呈现给用户，实现在智能手机上自动播放带有ar效果的全景图片，增强用户查看全景图片的体验，整体效果更佳。
32.本公开的更多实施例还能够实现其它未一一列出的有利技术效果，这些其它的技术效果在下文中可能有部分描述，并且对于本领域的技术人员而言在阅读了本公开后是可
以预期和理解的。
33.本公开内容部分旨在以简化的形式引入将在“具体实施方式”中如下文进一步描述的构思和选择，以帮助阅读者更易于理解本公开。本公开内容并非旨在识别所要求保护的主题的关键特征或基本特征，也并非旨在用于限制所要求保护的主题的范围。所有的上述特征都将被理解为只是示例性的，并且可以从本公开公开中收集关于结构和方法的更多的特征和目的。对本公开的特征、细节、实用性以及优点的更全面的展示，将在以下对本公开的各种实施例的书面描述中提供，在附图中图示，并且在所附权利要求中限定。因此，如果不进一步阅读整个说明书以及权利要求书及附图，则无法理解对本公开内容的诸多限制性解释。
附图说明
34.图1是本公开提供的全景图片ar显示方法的步骤流程图；
35.图2是本公开提供的立方体模型示意图；
36.图3是本公开提供的立方体模型展开后得到的立方体投影图形示意图；
37.图4是图1所示的全景图片的显示方法的步骤s01的具体步骤的流程图；
38.图5是本公开提供的全景图片ar显示装置的结构示意图。
具体实施方式
39.为使本公开的目的、技术方案及优点更加清楚、明确，以下参照附图，并举实施例对本公开进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
40.应当理解，所图示和描述的实施例在应用中不限于在以下描述中阐明或在附图中图示的构件的构造和布置的细节。所图示的实施例可以是其它的实施例，并且能够以各种方式来实施或执行。各示例通过对所公开的实施例进行解释而非限制的方式来提供。实际上，将对本领域技术人员显而易见的是，在不背离本公开公开的范围或实质的情况下，可以对本公开的各实施例作出各种修改和变型。例如，作为一个实施例的一部分而图示或描述的特征，可以与另一实施例一起使用，以仍然产生另外的实施例。因此，本公开公开涵盖属于所附权利要求及其等同要素范围内的这样的修改和变型。
41.同样，要理解到，本文中所使用的词组和用语是出于描述的目的，而不应当被认为是限制性的。本文中的“包括”、“包含”或“具有”及其变型的使用，旨在开放式地包括其后列出的项及其等同项以及附加的项。除非另有限制，否则，本文中的用语“连接”、“联接”和“安装”及其变型广泛地使用，并且包含直接和间接的连接、联接以及安装。另外，用语“连接”和“相连”及其变型不局限于物理的或机械的连接或联接。在本公开中，“模块化”或“模块”意味着模块化的部件或构件是独立的、具有一致的机械或数据连接接口的单元，其中相同类型的模块化部件或模块在本公开的显示装置中可以是重复使用和可更换的。
42.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元
件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
43.下面将参考本公开的若干具体实施例结合附图对本公开进行更详细的描述。需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互结合。
44.请同时参阅图1
‑
图5，图1是本公开提供的全景图片ar显示方法的步骤流程图，图2是本公开提供的立方体模型示意图，图3是本公开提供的立方体模型展开后得到的立方体投影图形示意图，图4是图1所示的全景图片的显示方法的步骤s01的具体步骤的流程图，图5是本公开提供的全景图片ar显示装置的结构示意图。
45.请具体参阅图1，本公开提供一种全景图片ar显示方法，其中，所述显示方法包括以下步骤：
46.s01、获取全景图片，将所述全景图片分割成若干张图片；
47.s02、将若干张图片贴图至预设的立方体模型上，得到3d全景图片；
48.s03、对所述3d全景图片进行场景检测并分类；
49.s04、对分类的3d全景图片进行zoom的缩放并自动播放。
50.具体的，在步骤s01中，请参阅图4，步骤s01中还具体包括：
51.s11、通过相机拍摄并存储照片；
52.s12、筛选视场角大于120度的图片得到全景照片；
53.s13、根据视场角大小将所述全景图片分割成若干张图片。
54.首先需要获取视场角大于120度的全景图片，所述全景图片通过相机camera(摄像头)算法和全景算法拼接得到。所述全景图片的拍摄可由相机自带的摄像头完成拍摄，其通过对图形变形、特征匹配、使用ransac算法计算特征单应性以及将图形变形后合并在一起。其中，所述图形变换包括对图片的上下移动、部分缩放和变形；所述特征匹配包括识别关键点、提取围绕每个关键点的矢量特征描述符以及根据所述关键点确定图片描述符之间的对应关系；ransac是“random sample consensus(随机抽样一致)”的缩写，其可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。其中所述ransac算法能够避免特征匹配的的误匹配，对结果进行过滤。所述图形合并包括通过对应所述关键点将图片进行拼接并融合。需要说明的是，所述摄像头在拍摄全景图片时是边进行拍摄边进行全景算法拼接而得到全景图片。步骤s00中还可涉及通过sift算法辨别物体，所述sift(scale
‑
invariant feature transform，尺寸不变特征转换)是一种电脑视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。
55.在步骤s13中，具体的，根据所述全景图片的拍摄角度，将视场角大于180度且小于270度的所述全景图片分割为三张图片，依次包括右图、前图和左图。除此之外，还看可以根据全景图片的拍摄角度，将视场角大于270度的所述全景图片分割为四张图片，依次包括右图、前图、左图和后图。
56.在步骤s02中，通过opengles构建立方体模型，所述立方体模型包括六个平面视图，分别包括主视图、后视图、右视图、左视图、俯视图和仰视图。opengl是一种应用程序编程接口，它是一种可以跨平台的对图形硬件设备特性进行访问的软件库，主要应用领域为：
视频、图形图片处理，2d/3d游戏引擎开发，科学可视化，医学软件的开发，cad(计算机辅助技术)，虚拟实境(ar/vr)，ai人工智能等。opengles是opengl的子集，针对手机、pda和游戏主机嵌入式设备而设计。因此，通过opengles强大的渲染能力能够在嵌入式设备进行图形处理的优良选择，能够进行图片处理和视频处理等。需要说明的是，所述opengles也可以实现camera的预览。
57.请详细参阅图2和图3，所述立方体模型如图2所示，根据数学关系可知，所述立方体模型展开得到平面视图的拼接方式共有11种，然而，并不是所有方式展开得到的平面视图都能取得一样的技术效果。请参阅图3，当所述立方体模型展开后的平面视图为图4所示结构时，才能对平面视图进行后续的处理和操作。
58.进一步的，在步骤s02中，还包括：将切割的所述右图对应贴图至所述立方体模型的右视图，将切割的所述前图对应贴图至所述立方体模型的前视图，将切割的所述左图对应贴图至所述立方体模型的左视图，将切割的所述后图对应贴图至所述立方体模型的后视图。一般说来，纹理是表示物体表面的一幅或几幅二维图形，也称纹理贴图(texture)。当把纹理按照特定的方式映射到物体表面上的时候，能使物体看上去更加真实。当前流行的图形系统中，纹理绘制已经成为一种必不可少的渲染方法。在理解纹理映射时，可以将纹理看做应用在物体表面的像素颜色。在真实世界中，纹理表示一个对象的颜色、图案以及触觉特征。
59.进一步的，在步骤s03中，所述启动场景检测的具体步骤包括：对3d全景照片的场景进行检测，逐个区域检测全景图片中的内容，将风景、人物、宠物、运动、人物或美食识别并标记位置，为生成观察者移动路线提供依据。
60.进一步的，在步骤s04中，设置观察点、移动方向、移动速度和移动时间，通过识别标记的内容对场景检测的对象进行zoom的缩放。其中，zoom的缩放是按比例控制相对于左上角进行缩放，能够改变元素占据的空间大小。具体的，设置立方体模型的中心为观察点，识别场景检测的对象，如识别到场景对象为人物，则通过zoom进行自动放大，将所述全景图片慢慢拉近；如识别到场景对象为大海，则通过zoom进行自动缩小，将所述全景图片慢慢缩小，拉远距离。通过设置观察点、移动方向、移动速度和移动时间，将所述全景图片根据所述观察点按从左往右或从右至左按所述移动时间播放全景图片，即依次滚动所述右视图、前视图、左视图和后视图，或是依次滚动后视图、左视图、前视图和右视图。具体的，所述移动方向设置为从左至右或者从右至左，所述移动速度和所述移动时间可以根据用户的需求自行设置。使用该方法查看全景图片时，用户只需要通过设置相关参数就可以自动在智能手机上全屏查看所述全景图片。该方法还减少了查看全景照片所需要的步骤，能够轻松查阅全景照片，提高用户的体验。优选的，所述观察点可以改变，进而实现变换观察点查看全景图片进而增强查看效果。
61.除此之外，本公开提供的全景图片ar显示方法还可以通过旋转姿态传感器查看。首先，设置所述立方体模型的中心为观察点，然后设置姿态传感器的参数，最后通过左右旋转所述姿态传感器依次显示所述全景图片的投影视图。其中，姿态传感器(e.t
‑
ahrs)是基于mems技术的高性能三维运动姿态测量系统，其包括三轴陀螺仪、三轴加速度计(即imu)，三轴电子罗盘等辅助运动传感器，通过内嵌的低功耗arm处理器输出校准过的角速度，加速度，磁数据等，通过基于四元数的传感器数据算法进行运动姿态测量，实时输出以四元数、
欧拉角等表示的零漂移三维姿态数据。所述姿态传感器可广泛应用于航模无人机、机器人、天线云台、聚光太阳能、地面及水下设备、虚拟现实以及人体运动分析等需要低成本、高动态三维姿态测量的产品设备中。使用该方法查看全景图片时，用户通过旋转所述姿态传感器，能够实现从观察点向左边或向右边全屏查看所述全景照片，具有较佳的用户体验。
62.在步骤s04中，还可以在所述3d全景图片上叠加粒子ar或动画ar生成叠加图像后自动播放。所述粒子ar包括添加雪景、雨景或落花中的一种或多种，并与所述全景照片生成叠加图像；所述动画ar包括添加虚拟动画与所述3d全景图片生成叠加图像。具体的，还可以添加背景音乐，将查看全景图片的过程录制成视频，使得查看全景图片如观看记录视频的效果。
63.在另一方面，请具体参阅图5，本公开还提供一种全景图片ar显示装置100，其包括全景图片获取模块10、全景图片处理模块20和全景图片显示模块30。具体的，所述全景图片获取模块10包括摄像机，用于获取全景图片。所述全景图片的拍摄可由相机自带的摄像头完成拍摄，其通过对图形变形、特征匹配、使用ransac算法计算特征单应性以及将图形变形后合并在一起。所述全景照片的视场角大于120度。
64.所述全景图片处理模块20包括立方体构建模型、场景检测单元和ar效果叠加单元，所述立方体构建模型通过opengles构建模型，将全景图片贴图至指定的立方体模型上，所述场景检测单元对所述全景图片区域进行检测并标注内容，所述ar效果叠加单元用于进行粒子ar或动画ar的叠加，得到叠加的全景图片。优选的，所述全景图片处理模块还包括：zoom缩放单元，其对所述场景检测单元标注的区域进行缩放处理。
65.所述全景图片显示模块30包括显示屏幕，其用于显示或播放所述全景图片的投影视图。所述全景图片显示模块还包括姿态传感器，所述姿态传感器包括三轴陀螺仪、三轴加速对计和三轴电子罗盘中的一种或多种以及内嵌的arm处理器，所述arm处理器通过温度补偿得到所述全景图片的三维姿态与方位数据。
66.本公开还提供一种存储介质，所述存储介质上存储计算机程序，所述计算机程序被处理器执行时实现本公开提供的全景图片ar显示方法的步骤。
67.综上所述，本公开提供的全景图片ar显示方法通过对全景图片贴图到立方体模型上得到3d全景图片，再对3d全景图片进行场景检测，以及设置移动方向、移动速度和移动时间，在所述3d全景图片上叠加粒子ar或动画ar生成叠加图像后呈现给用户，实现在智能手机上自动播放带有ar效果的全景图片，使得查看全景图片如观看记录视频的效果；本公开提供的全景图片ar显示方法还可以通过旋转姿态传感器查看，增强用户查看全景图片的体验，整体效果更佳。
68.一些实施例可以，例如，使用机器或有形的计算机可读取的介质或制品来实现，所述介质或制品可以存储指令或一组指令，如果由机器执行，可以导致机器执行根据各实施例的方法和/或操作。这样的机器可以包括，例如，任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等等，并可以使用硬件和/或软件的任何合适的组合来实现。机器可读取的介质或制品可以包括，例如，任何合适类型的存储器单元、存储器设备、存储器制品、存储器介质、存储设备、存储器制品、存储器介质和/或存储器单元，例如，存储器、可移动或不可移动介质、可擦除的或非可擦除的介质，可写入的或重写的介质、数字或模拟介质、硬盘、软盘、只读光盘存储器(cd
‑
rom)、可记录光盘(cd
‑
r)、可重
写光盘(cd
‑
rw)、光盘、磁性介质、磁光介质、可移动存储器卡或盘、各种类型的数字多功能盘(dvd)、磁带、磁带盒等等。指令可包括任何合适类型的代码，如源代码、已编译的代码、已解释的代码、可执行代码、静态代码、动态代码、加密代码等等，使用任何合适的高级别的、低级别的、面向对象的、可视的、已编译的和/或解释性编程语言来实现。
69.除非特别声明，应该理解，诸如“处理”、“计算”、“运算”、“判断”等等之类的术语是指计算机或计算系统，或类似的电子计算设备的动作和/或进程，所述计算系统或类似的电子计算设备操纵和/或转换表示为计算系统的寄存器和/或存储器内的物理(如，电子)量的数据，将这些数据转换为类似地表示为计算系统存储器或寄存器或其他这样的信息存储器、传输或显示装置内的物理量的其他数据。在此上下文中，实施例不受限制。
70.此处可以使用术语“耦合”来指正被讨论的组件之间的任何类型的关系，直接的或间接的，并可以应用于电气的、机械的、流体的、光学的、电磁的、机电的或其他连接。另外，术语“第一”、“第二”等等此处只用于便于讨论，没有特定时间的或按时间顺序的意义，除非另有陈述。
71.所属领域的技术人员将从前面的描述理解，可以以各种形式来实现本发明的各实施例的广泛的技术。因此，尽管本发明的各实施例是结合其特定示例来描述的，但是，本发明的各实施例的真正的范围不应该受这样的限制，因为在研究附图、说明书，以及后面的权利要求书之后，其他修改对熟练的实践者将变得显而易见。
72.另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
73.最后应说明的是：对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。本发明的应用不限于上述的举例，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。