基于投屏技术的信息显示方法及装置与流程

1.本技术实施例涉及的电子技术领域，尤其涉及一种基于投屏技术的信息显示方法及装置。


背景技术：

2.随着电子技术的飞速发展，人们会利用投屏技术将终端的显示内容投放在大尺寸显示设备上，以提升显示内容的视觉效果。
3.在现有的终端对待投屏信息进行投屏显示的过程中，为了提升终端投屏界面的利用率，常常会在终端投屏界面上进行图像信息的展示。
4.但是，现有的图像信息的展示形式单一，展示效果较差，用户体验不佳。


技术实现要素：

5.本技术实施例提供的基于投屏技术的信息显示方法及装置，能够丰富终端投屏界面的图像信息的展示方式，提升展示效果和用户体验。
6.第一方面，本技术实施例提供了一种基于投屏技术的信息显示方法，在终端进行投屏显示的过程中，该信息显示方法包括：
7.响应用户的第一操作，获取终端的位姿变化信息；
8.根据位姿变化信息对预设的全景图像进行全景显示处理，并将处理得到的全景显示图像显示在终端投屏界面的第一预设显示位置。
9.可知的是，通过在投屏显示的过程中，终端利用位姿变化信息对全景图像进行全景显示处理，以将得到的全景显示图像显示在投屏界面的第一预设显示位置，从而能够提升终端对投屏界面上的图像的展示效果，进而提升用户体验。
10.可选的，获取终端的位姿变化信息，包括：
11.获取终端的陀螺仪的测量参数；根据测量参数确定位姿变化信息。
12.可知的是，通过调用陀螺仪以获取到终端的位姿变化信息，从而实现对终端位姿变化的准确测量，便于实现终端与用户之间的互动。
13.可选的，位姿变化信息包括终端的俯仰角变化信息和方位角变化信息。
14.可选的，根据位姿变化信息对预设的全景图像进行全景显示处理，包括：
15.调用全景图像播放组件；将全景图像和位姿变化信息输入至全景图像播放组件，得到全景显示图像。
16.可知的是，对全景图像的全景显示处理可通过调用全景图像播放组件实现，通过这样的方式能够有效提升全景图像的显示效率，为用户带来更好的视觉体验。
17.可选的，根据位姿变化信息对预设的全景图像进行全景显示处理，包括：
18.对全景图像进行空间映射处理以将全景图像映射至立方体模型上，得到立方体六面图像；以立方体六面图像所在的立方体模型中心为终端的视点，以视点为旋转原点对终端的视平面进行基于位姿变化信息的旋转处理；确定立方体六面图像投影在旋转处理后的
视平面上的图像，图像则为全景显示图像。
19.可选的，全景图像为球形全景图像。
20.可知的是，通过利用基于立方体六面图像的全景图像显示技术，能够实现基于终端位姿变化的全景图像的全景显示，给用户以图像沉浸感。
21.可选的，该方法还包括：
22.响应用户对终端触发的第二操作，建立投屏通道并加载全景图像；将预设的静态图像显示在投屏界面的第一预设显示位置，直至完成对全景图像的加载；利用全景图像的全景显示技术将全景图像显示在投屏界面的第一预设显示位置。
23.可知的是，由于对全景图像的加载和展示需要一定的时间，为了避免投屏界面的第一预设显示位置处出现空白图像的问题，本实施方式在终端展示全景图像之前，将在第一预设显示位置展示有静态图像，以提升用户体验。
24.可选的，该方法还包括：
25.将终端的投屏信息显示在投屏界面的第二预设显示位置。
26.可选的，该方法还包括：
27.根据终端的投屏状态对投屏信息进行更新。
28.可知的是，在终端投屏界面的第二预设显示位置处将展示有投屏信息，该投屏信息可用于表示终端的投屏状态，以便于用户快速了解终端当前的投屏状态。
29.第二方面，本技术实施例提供了一种基于投屏技术的信息处理装置，所述信息处理装置安装于终端中；所述信息处理装置，包括：
30.交互模块，用于在终端进行投屏显示的过程中，响应用户的第一操作，获取终端的位姿变化信息；
31.显示模块，用于根据位姿变化信息对预设的全景图像进行全景显示处理，并将处理得到的全景显示图像显示在终端投屏界面的第一预设显示位置。
32.可选的，交互模块，具体用于：获取终端的陀螺仪的测量参数；根据测量参数确定位姿变化信息。
33.可选的，位姿变化信息包括终端的俯仰角变化信息和方位角变化信息。
34.可选的，显示模块，具体用于：调用全景图像播放组件；将全景图像和位姿变化信息输入至全景图像播放组件，得到全景显示图像。
35.可选的，显示模块，具体用于：对全景图像进行空间映射处理以将全景图像映射至立方体模型上，得到立方体六面图像；以立方体六面图像所在的立方体模型中心为终端的视点，以视点为旋转原点对终端的视平面进行基于位姿变化信息的旋转处理；确定立方体六面图像投影在旋转处理后的视平面上的图像，图像则为全景显示图像。
36.可选的，全景图像为球形全景图像。
37.可选的，还包括：通信模块；
38.通信模块，用于在交互模块响应用户对终端触发的第二操作时，建立投屏通道并加载全景图像；
39.所述显示模块还用于将预设的静态图像显示在投屏界面的第一预设显示位置，直至通信模块完成对全景图像的加载；所述显示模块还用于利用全景图像的全景显示技术将全景图像显示在投屏界面的第一预设显示位置。
40.可选的，显示模块，还用于将终端的投屏信息显示在投屏界面的第二预设显示位置。
41.可选的，显示模块，还用于根据终端的投屏状态对投屏信息进行更新。
42.第三方面，本技术实施例提供了一种电子设备，包括：存储器，处理器；至少一个处理器；以及
43.存储器；
44.存储器存储计算机执行指令；
45.至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面方法。
46.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如第一方面方法。
47.第五方面，本技术实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面方法。
48.本技术实施例提供的基于投屏技术的信息显示方法及装置，其中，在终端进行投屏显示的过程中，用户可通过第一操作使得终端的位姿发生变化，从而使得终端可自身的位姿变化信息对全景图像进行全景显示处理，用户可终端的投屏界面上观看到在处理后的全景显示图像，从而实现用户与投屏界面上的图像进行交互，丰富图像展示手段，提升图像的展示效果和趣味性，提升用户体验。
附图说明
49.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
50.图1为现有的娱乐场景下的基于投屏技术的信息显示流程；
51.图2为本技术所基于的一种网络架构的示意图；
52.图3为本技术实施例提供的一种基于投屏技术的信息显示方法的流程示意图；
53.图4为本技术提供的一种基于投屏技术的信息显示的处理示意图；
54.图5为本技术提供的一种基于投屏技术的信息显示的第一显示效果示意图；
55.图6为本技术提供的一种基于投屏技术的信息显示的第二显示效果示意图；
56.图7为本技术提供的一种基于投屏技术的信息显示的第三显示效果示意图；
57.图8为本技术提供的一种基于投屏技术的信息显示的第一界面变化示意图；
58.图9为本技术提供的一种基于投屏技术的信息显示的第二界面变化示意图；
59.图10为本技术实施例提供的一种基于投屏技术的信息显示装置的结构示意图；
60.图11为本技术提供的一种电子设备的硬件结构示意图。
61.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
62.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及
附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
63.本技术的技术方案中，所涉及的各类信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
64.随着电子技术的飞速发展，人们会利用投屏技术将终端的显示内容投放在大尺寸显示设备上，以提升显示内容的视觉效果。
65.投屏技术可应用于各类场景中，如娱乐场景、会议场景、教育场景等等。
66.在娱乐场景下，用户可通过触发手机终端的娱乐app的投屏功能，以实现对娱乐app中待投屏内容的投屏展示。其中，娱乐app包括但不限于视频类app、直播类app、游戏类app等等。
67.图1为现有的娱乐场景下的基于投屏技术的信息显示流程，如图1左图所示的，用户可点击终端显示界面上的“视频app”图标以启动视频app。终端显示界面将切换至视频app的app界面。
68.如图1中间图所示的，用户在利用视频app观看视频时，可通过触发“点击投屏”功能，以对视频播放区域的可投屏内容进行投屏显示。
69.如图1右图所示的，当用户触发投屏功能后，终端可通过与投屏设备之间的投屏连接通道，实现对可投屏内容的投屏显示。其中，投屏设备包括但不限于投影仪、显示设备等。
70.当然，在其他场景下(如会议场景、教育场景等等)，用户可利用类似的操作实现对投屏内容的投屏显示。
71.无论在何种场景下，终端在投屏的过程中，终端的投屏界面上将显示有“投屏连接中
…”
的投屏状态提示，以用于提示用户当前终端的状态。此外，在终端投屏界面上一般还显示有“图像信息”，该“图像信息”的信息内容一般可由app服务商自行决定。但是，该“图像信息”一般采用静态显示的方式显示在投屏界面上，而这样的图像信息的展示形式单一，展示效果较差，用户体验不佳。
72.针对上述问题，本技术提供了一种基于投屏技术的信息显示方法及装置，以为用户提供和终端投屏界面上的图像进行交互的可能，丰富图像展示手段，提升图像的展示效果和趣味性，提升用户体验。
73.图2为本技术所基于的一种网络架构的示意图，图2所示网络架构具体可包括终端1、投屏设备2以及路由设备3。
74.其中，终端1具体可为具有网络通信功能、投屏功能、显示功能以及触控功能的硬件设备，其包括但不限于智能手机、平板电脑、台式电脑、物联网设备等，如图2所示的，该场景下终端1具体为智能手机。
75.投屏设备2具体可为具有网络通信功能以及投屏功能的硬件设备，其包括但不限于投影仪设备、智能投屏终端以及大尺寸显示器等。其中，如图2所示的，该场景下的投屏设备2具体为投影仪。
76.终端1和投屏设备2可基于wi-fi无线投屏实现投屏功能。其中，在如图2所示的场景下，终端1和投屏设备2可同时连入路由设备3提供的无线局域网，以利用该无限局域网实现投屏连接通道的建立和投屏数据的传输。
77.当然，在其他场景下，终端1和投屏设备2可基于whdi无线投屏技术或毫米波无线投屏技术来实现投屏功能，本技术对该两种技术的场景图示不再进行过多说明。
78.需要说明的是，本技术实施方式提供基于投屏技术的信息显示方法可应用在上述提及的任意一种投屏技术方案中。
79.下面通过具体的实施例对本技术提供的基于投屏技术的信息显示方法及装置进行详细说明。下面的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
80.需要说明的是，在本实施例中提供的基于投屏技术的信息显示方法的执行主体为前述提及的终端，图3为本技术实施例提供的一种基于投屏技术的信息显示方法的流程示意图。如图3所示的，该基于投屏技术的信息显示方法是在终端进行投屏显示的过程中触发的，该方法可以包括如下几个步骤：
81.步骤301、响应用户的第一操作，获取终端的位姿变化信息。
82.需要说明的是，本技术提供的信息显示方法是在终端在用户的操作下已经完成与投屏设备之间的投屏连接，或正在尝试与投屏设备之间的投屏连接的状态下执行的，即此时的终端的显示界面上应显示有投屏界面。
83.具体的，第一操作可为旋转终端的操作，其可表示为用户持终端以旋转轴为轴心对终端进行旋转的操作，其中，旋转轴的方向不进行任何限制。例如，旋转轴的轴向可与水平面垂直，或者，旋转轴的轴向可与水平面平行，或者，旋转轴的轴向可与水平面呈一定倾斜角等。
84.通过用户的第一操作，终端的位姿将发生变化，此时可获取到终端的位姿变化信息。示例性的，位姿变化信息包括终端的俯仰角变化信息和方位角变化信息，其中，俯仰角变化信息是指终端沿平行于水平面的旋转轴的转动角度；而方位角变化信息是指终端沿垂直于水平面的旋转轴的转动角度。
85.获取终端位姿变化信息的方式可包括多种，在可选实施方式中，获取位姿变化信息可通过陀螺仪实现，其中，陀螺仪是一种安装在终端内部的可用于检测终端姿态的传感器。当用户触发第一操作以使终端的位姿发生变化时，终端将监听到重力感应事件，此时，终端将调用重力感应接口以读取设置于终端内部的陀螺仪的测量参数，并根据测量参数确定终端的位姿变化信息。
86.在其他可选实施方式中，获取位姿变化信息还可通过终端摄像模组实现，其中，摄像模组是指安装在终端上的包括摄像单元、闪光单元、激光测距单元等在内的模块化组件。当用户触发第一操作以使终端的位姿发生变化时，终端将监听到重力感应事件，此时，终端还可调用摄像模组以利用视觉slam算法来获取终端的位姿变化信息。
87.步骤302、根据位姿变化信息对预设的全景图像进行全景显示处理，并将处理得到的全景显示图像显示在终端投屏界面的第一预设显示位置。
88.具体来说，全景图像是一种可给人以三维立体感觉的实景360度全方位图像。某一场景的全景图像可通过对该场景在不同拍摄角度所获得的图像进行图像拼接而得到。
89.在本技术的一种可选实施方式中，终端可直接调用预存在服务器中的全景图像播放组件，来实现全景显示处理。即，终端可调用全景图像播放组件，并将全景图像和前述得到的位姿变化信息输入至全景图像播放组件，得到全景显示图像。
90.通过这样方式能够实现全景图像的快速显示，提升显示效率，给用户更好的视觉体验。
91.全景图像播放组件可基于多种语言或多种平台实现，示例性的，该全景图像播放组件可利用webview实现，也可利用webglrender或css3drender或canvasrender实现，本技术将不对其实现方式进行限制。
92.而在另一种可选的实施方式中，终端还可利用全景显示算法对全景图像进行显示处理。图4为本技术提供的一种基于投屏技术的信息显示的处理示意图，如图4所示的，终端可对全景图像进行空间映射处理以将全景图像映射至立方体模型上，得到立方体六面图像。
93.随后，如图4左图所示的，终端将以立方体六面图像所在的立方体模型中心401为终端的视点，以视点为旋转原点对终端的视平面402进行基于位姿变化信息的旋转处理，如得到图4右图所示的视平面403。
94.最后，终端确定立方体六面图像投影在旋转处理后的视平面403上的图像404，图像404则为全景显示图像，即，图像404将显示在终端投屏界面的第一预设显示位置。
95.其中，在图4中全景图像为球形全景图像。
96.通过上述两种方式，均实现了对于全景图像的全景显示。为了进一步对本技术所提供的基于投屏技术的信息显示方法进行说明，下面将结合实际场景示意图，对本技术的显示效果进行进一步介绍。
97.可知的是，当用户对终端执行第一操作时，基于第一操作的旋转方向的不同，全景显示图像的显示效果将发生相应变化。
98.图5为本技术提供的一种基于投屏技术的信息显示的第一显示效果示意图，当用户以y轴为旋转轴对终端进行旋转时，终端投屏界面的第一预设显示位置501所显示的全景显示图像将发生相应的视角旋转，如图5所示的，视角旋转后的全景显示图像给用户呈现类似“歪头”观看图像的视觉体验。
99.图6为本技术提供的一种基于投屏技术的信息显示的第二显示效果示意图，当用户以y轴为旋转轴对终端进行旋转时，终端投屏界面的第一预设显示位置601所显示的全景显示图像将发生相应的视角旋转，如图6所示的，视角旋转后的全景显示图像给用户呈现类似“俯视”或“仰视”观看图像的视觉体验。
100.图7为本技术提供的一种基于投屏技术的信息显示的第三显示效果示意图，当用户以z轴为旋转轴对终端进行旋转时，终端投屏界面的第一预设显示位置701所显示的全景显示图像将发生相应的视角旋转，如图7所示的，视角旋转后的全景显示图像给用户呈现类似“环视”观看图像的视觉体验。
101.在上述各实施方式的基础上，由于对全景图像的加载和展示需要一定的时间，为了避免投屏界面的第一预设显示位置处出现空白图像的问题，本技术还包括如下方案：
102.图8为本技术提供的一种基于投屏技术的信息显示的第一界面变化示意图，如图8所示的，终端响应用户对终端触发的第二操作，建立投屏通道并加载所述全景图像。其中，第二操作具体可为用户控制终端启动投屏的操作。在加载全景图像的过程中，终端还会将预设的静态图像显示在投屏界面的第一预设显示位置801，直至完成对全景图像的加载；之后，利用全景图像的全景显示技术将全景图像显示在投屏界面的第一预设显示位置801。
103.随后，终端可按照前述提及的各实施方式，响应用户发起的第一操作，以处理对全景图像进行全景显示处理。通过这样的处理方式，能够有效避免在完成对全景图像的加载之前，投屏界面的第一预设显示位置处会出现空白图像的问题，提升用户体验。
104.在上述各实施方式的基础上，为了便于用户快速了解终端当前的投屏状态，在终端的投屏界面上还显示有投屏信息。换句话说，在可选方式中，信息显示方法还包括：将终端的投屏信息显示在所述投屏界面的第二预设显示位置901。
105.图9为本技术提供的一种基于投屏技术的信息显示的第二界面变化示意图，如图9左图所示的，投屏信息显示有“建立连接中”的用户提示。而当投屏状态发生变化，则投屏信息也将相应发生改变，即终端会根据投屏状态对投屏信息进行更新。图9右图所示的，当投屏通道完成建立之后，终端开始对投屏内容进行投屏显示，此时，投屏信息将显示有“投屏中”的用户提示。
106.本技术实施例提供的基于投屏技术的信息显示方法，在终端进行投屏显示的过程中，用户可通过第一操作使得终端的位姿发生变化，从而使得终端可自身的位姿变化信息对全景图像进行全景显示处理，用户可终端的投屏界面上观看到在处理后的全景显示图像，从而实现用户与投屏界面上的图像进行交互，丰富图像展示手段，提升图像的展示效果和趣味性，提升用户体验。
107.在上述各实施方式的基础上，在本实施例中提供的基于投屏技术的信息显示方法的执行主体为前述提及的终端。
108.图10为本技术实施例提供的一种基于投屏技术的信息显示装置的结构示意图。如图10所示的，所述信息处理装置，包括：
109.交互模块1010，用于在终端进行投屏显示的过程中，响应用户的第一操作，获取终端的位姿变化信息；
110.显示模块1020，用于根据位姿变化信息对预设的全景图像进行全景显示处理，并将处理得到的全景显示图像显示在终端投屏界面的第一预设显示位置。
111.可选的，交互模块1010，具体用于：获取终端的陀螺仪的测量参数；根据测量参数确定位姿变化信息。
112.可选的，位姿变化信息包括终端的俯仰角变化信息和方位角变化信息。
113.可选的，显示模块1020，具体用于：调用全景图像播放组件；将全景图像和位姿变化信息输入至全景图像播放组件，得到全景显示图像。
114.可选的，显示模块1020，具体用于：对全景图像进行空间映射处理以将全景图像映射至立方体模型上，得到立方体六面图像；以立方体六面图像所在的立方体模型中心为终端的视点，以视点为旋转原点对终端的视平面进行基于位姿变化信息的旋转处理；确定立方体六面图像投影在旋转处理后的视平面上的图像，图像则为全景显示图像。
115.可选的，全景图像为球形全景图像。
116.可选的，还包括：通信模块；
117.通信模块，用于在交互模块1010响应用户对终端触发的第二操作时，建立投屏通道并加载全景图像；
118.所述显示模块1020还用于将预设的静态图像显示在投屏界面的第一预设显示位置，直至通信模块完成对全景图像的加载；所述显示模块1020还用于利用全景图像的全景
显示技术将全景图像显示在投屏界面的第一预设显示位置。
119.可选的，显示模块1020，还用于将终端的投屏信息显示在投屏界面的第二预设显示位置。
120.可选的，显示模块1020，还用于根据终端的投屏状态对投屏信息进行更新。
121.本技术实施例提供的基于投屏技术的信息显示装置，在终端进行投屏显示的过程中，用户可通过第一操作使得终端的位姿发生变化，从而使得终端可自身的位姿变化信息对全景图像进行全景显示处理，用户可终端的投屏界面上观看到在处理后的全景显示图像，从而实现用户与投屏界面上的图像进行交互，丰富图像展示手段，提升图像的展示效果和趣味性，提升用户体验。
122.图11为本技术提供的一种电子设备的硬件结构示意图，如图11所示的，本技术实施例提供一种电子设备，电子设备的存储器可用于存储至少一个程序指令，处理器用于执行至少一个程序指令，以实现上述方法实施例的技术方案。其实现原理和技术效果与上述方法相关实施例类似，此处不再赘述。
123.本技术实施例提供一种芯片。芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
124.本技术实施例提供一种计算机程序产品，当计算机程序产品在电子设备运行时，使得电子设备执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
125.本技术实施例提供一种计算机可读存储介质，其上存储有程序指令，程序指令被电子设备执行时，使得电子设备执行上述实施例的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。
126.以上的具体实施方式，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本技术的具体实施方式而已，并不用于限定本技术的保护范围，凡在本技术的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本技术的保护范围之内。