数据同步显示方法和系统与流程

1.本发明涉及计算机技术领域，具体涉及一种数据同步显示方法和系统。


背景技术：

2.虚拟现实(vr)技术是一种创建和体验虚拟世界的计算机仿系统，可以根据观察者头部、眼部和手部的跟踪技术呈现相对应的三维实时图像，并通过观察者佩戴的头显设备将相应视角的视频数据显示在头显设备的显示设备上。


技术实现要素：

3.有鉴于此，本发明实施例提供一种数据同步显示方法和系统，以方便头显设备内显示图像的多方显示。
4.第一方面，本发明实施例提供一种数据同步显示方法，所述方法包括：
5.第一终端采集头显设备内的图像数据，所述图像数据与所述头显设备内的显示图像相对应；
6.第一终端将所述图像数据推流至服务器；
7.服务器对接收到的所述图像数据进行处理，以确定显示数据；
8.第二终端接收服务器发送的所述显示数据；
9.第二终端显示所述显示数据，以对所述头显设备内的显示图像进行显示。
10.进一步地，在所述第一终端采集头显设备内的图像数据之前，所述方法还包括：
11.服务器接收第二终端发送的监控指令，并将所述监控指令发送至第一终端。
12.进一步地，在所述第一终端采集头显设备内的图像数据之前，所述方法还包括：
13.第一终端开启监控操作，并向服务器发送反馈信息。
14.进一步地，所述方法还包括：
15.第二终端接收服务器发送的所述反馈信息；
16.第二终端响应于接收到所述反馈信息，开启显示界面。
17.进一步地，所述第二终端显示所述显示数据包括：
18.第二终端在所述显示界面显示所述显示数据。
19.进一步地，所述第二终端接收服务器发送的所述显示数据包括：
20.第二终端向服务器发送显示请求；
21.服务器接收所述显示请求，并向第二终端发送所述显示数据；
22.第二终端接收所述显示数据。
23.第二方面，本发明实施例提供一种数据同步显示系统，所述系统包括：
24.第一终端，被配置为采集头显设备内的图像数据，并将所述图像数据推流至服务器，其中，所述图像数据与所述头显设备内的显示图像相对应；
25.服务器，被配置为对接收到的所述图像数据进行处理，以确定显示数据，以及发送所述显示数据；
26.第二终端，被配置为接收服务器发送的所述显示数据，显示所述显示数据，以对所述头显设备内的显示图像进行显示。
27.进一步地，所述第二终端还被配置为发送监控指令；
28.所述服务器还被配置为接收第二终端发送的监控指令，并将所述监控指令发送至第一终端。
29.进一步地，所述第一终端还被配置为开启监控操作，并向服务器发送反馈信息。
30.进一步地，所述第二终端还被配置为接收服务器发送的所述反馈信息，以及响应于接收到所述反馈信息，开启显示界面。
31.本发明实施例的技术方案通过第一终端采集头显设备内的图像数据，并将图像数据推流至服务器。服务器对接收到的图像数据进行处理，以确定显示数据。第二终端接收和显示服务器发送的显示数据，以对头显设备内的显示图像进行显示。由此，通过上述处理过程使得头显设备内观看到的显示图像能够显示在第二终端上，实现头显设备内显示图像的多方显示，方便更多人观看，提升显示图像的观看体验。
附图说明
32.通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
33.图1是本发明实施例的数据同步显示系统；
34.图2是本发明实施例的建立通信连接的示意图；
35.图3是本发明实施例的数据同步显示方法；
36.图4是本发明实施例的另一种实现方式的数据同步显示方法；
37.图5是本发明实施例的另一种实现方式的数据同步显示方法；
38.图6是本发明实施例的另一种实现方式的数据同步显示方法。
具体实施方式
39.以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
40.此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
41.除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
42.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
43.图1是本发明实施例的数据同步显示系统。如图1所示，本实施例的数据同步显示系统包括第一终端1、服务器3和第二终端2，服务器3通过网络分别与第一终端1和第二终端2建立通信连接。其中，第一终端1被配置为采集头显设备内的图像数据，并将图像数据推流
至服务器3。服务器3被配置为对接收到的图像数据进行处理，以确定显示数据，并在确定显示数据后发送显示数据。第二终端2被配置为接收服务器3发送的显示数据，显示显示数据，以对头显设备内的显示图像进行显示。
44.可选地，本实施例中的服务器3可以是独立的计算机服务器或者服务器集群。服务器3用于存储各种数据以及处理这些数据的各种应用程序。服务器3上可以实时运行着各种处理进程，以处理服务器上的各种数据，以及响应于第一终端1和第二终端2的各种请求。网络可以是任意(一个或多个)网络，包括互联网、局域网或物联网等。
45.第一终端1可以是独立外接于头显设备的具有图像采集和传输功能的终端设备，也可以是于头显设备集成为一体的终端设备。其中，头显设备是头戴式显示设备的简称，用户通过佩戴头显设备，可以实现虚拟显示(vr)的效果。显示的内容可以来自个人电脑、游戏机或手机。vr头显设备有htc vive，oculus rift，playstation vr等。第二终端2可以是具有一个独立显示屏和一定数据处理能力的电子设备。进一步地，本实施例中的第一终端1为与头显设备集成为一体的终端设备。第二终端2可以为led视频显示屏。
46.图2是本发明实施例的建立通信连接的示意图。如图2所示，给出了服务器与第一终端以及第二终端建立通信连接的流程图。
47.在步骤s001，初始化socket。
48.本步骤中，socket(套接字)是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。一个套接字就是网络上进行通信的一端，提供了应用层进程利用网络协议交换数据的机制。
49.在步骤s002，为结构体“rtmp”分配内存。
50.在步骤s003，初始化结构体“rtmp”中的成员变量。
51.在步骤s004，设置输入的rtmp连接的url。
52.本步骤中，url即网络地址。每一个信息资源都有统一的且在网上唯一的地址，该地址就是url(uniform resource locator)。
53.在步骤s005，建立rtmp连接。
54.本步骤中，建立rtmp连接，创建一个rtmp协议规范中的net-connection(网络连接)
55.在步骤s006，创建网络流。
56.本步骤中，创建一个rtmp协议规范中的网络流(netstream)。
57.在步骤s007，读取数据。
58.本步骤中，从服务器读取相关数据。
59.在步骤s008，关闭rtmp连接。
60.在步骤s009，释放结构体“rtmp”。
61.在步骤s010，关闭socket。
62.由此，通过上述步骤分别建立第一终端与服务器以及第二终端与服务器之间的网络连接，实现服务器与第一终端和第二终端的通信连接。
63.图3是本发明实施例的数据同步显示方法。如图3所示，本实施例的数据同步显示方法包括以下步骤。
64.在步骤s110，第一终端采集头显设备内的图像数据。其中，图像数据与头显设备内
的显示图像相对应。
65.本实施例中，由于头显设备内的图像数据包括不同视角(包括左眼视角和右眼视角)能够看到的图像。因此，为保证图像同步显示的准确性和较优质的显示效果，图像数据包括第一图像数据、第二图像数据和视差图像数据。其中，第一图像数据为左眼视角下能够观看到的图像对应的图像数据。第二图像数据为右眼视角下能够观看到的图像对应的图像数据。视差图像数据为左眼视角和右眼视角下能够观看到的图像的重复信息对应的图像数据，视差图像数据可以基于同于同一视觉坐标系下同一坐标点对应的图像差异来表征。
66.在步骤s120，第一终端将图像数据推流至服务器。
67.本实施例中，推流就是将采集后封装好的内容传输至服务器。
68.在步骤s130，服务器对接收到的图像数据进行处理，以确定显示数据。
69.本实施例中，服务器在接收到采集的图像数据后需要对不同类型的图像数据进行处理，确定出显示数据。具体地，基于图像数据中的视差图像数据对第一图像数据和第二图像数据进行整合，确定出头显设备内显示图像对应的显示数据。
70.在步骤s140，第二终端接收服务器发送的显示数据。
71.在步骤s150，第二终端显示显示数据，以对头显设备内的显示图像进行显示。
72.本实施例中，第二终端通过显示数据对应的图像对显示数据进行显示。由于显示数据是基于头显设备内的显示图像对应的图像数据处理得到的，通过第二终端显示显示数据，即可以对头显设备内的显示图像进行显示。
73.本发明实施例的技术方案通过第一终端采集头显设备内的图像数据，并将图像数据推流至服务器。服务器对接收到的图像数据进行处理确定显示数据，并将显示数据发送至第二终端。第二终端接收显示数据，并基于显示数据对头显设备内的显示图像进行显示。由此，通过上述处理过程，使得头显设备内观看到的显示图像能够显示在第二终端上，实现头显设备内显示图像的多方显示，方便更多人观看，提升显示图像的观看体验。
74.图4是本发明实施例的另一种实现方式的数据同步显示方法。如图4所示，本实施例的数据同步显示方法通过以下步骤实现。
75.在步骤s210，第二终端向服务器发送监控指令。
76.本实施例中，监控指令用于表征第二终端2对头显设备内的图像进行同步显示的请求。通过第二终端2向服务器3发送监控指令的方式向第一终端1请求开启图像同步显示的权限。
77.在步骤s220，服务器接收第二终端发送的监控指令，并将监控指令发送至第一终端。
78.本实施例中，服务器3将接收到的监控指令发送至第一终端1，以使得第一终端1在获取到监控指令后，向第二终端2开启图像同步显示的权限。
79.在步骤s230，第一终端采集头显设备内的图像数据，图像数据与头显设备内的显示图像相对应。
80.本实施例中，由于头显设备内的图像数据包括不同视角(包括左眼视角和右眼视角)能够看到的图像。因此，为保证图像同步显示的准确性和较优质的显示效果，图像数据包括第一图像数据、第二图像数据和视差图像数据。其中，第一图像数据为左眼视角下能够观看到的图像对应的图像数据。第二图像数据为右眼视角下能够观看到的图像对应的图像
数据。视差图像数据为左眼视角和右眼视角下能够观看到的图像的重复信息对应的图像数据，视差图像数据可以基于同于同一视觉坐标系下同一坐标点对应的图像差异来表征。
81.在步骤s240，第一终端将图像数据推流至服务器。
82.本实施例中，第一终端1通过推流的方式将图像数据传输至服务器3。
83.在步骤s250，服务器对接收到的图像数据进行处理，确定显示数据。
84.本实施例中，服务器3在接收到采集的图像数据后需要对不同类型的图像数据进行处理，确定出显示数据。具体地，基于图像数据中的视差图像数据对第一图像数据和第二图像数据进行整合，确定出头显设备内显示图像对应的显示数据。
85.在步骤s260，服务器发送显示数据至第二终端。
86.在步骤s270，第二终端显示显示数据。
87.本实施例中，第二终端2通过显示数据对应的图像对显示数据进行显示。由于显示数据是基于头显设备内的显示图像对应的图像数据处理得到的，通过第二终端2显示显示数据，即可以对头显设备内的显示图像进行显示。
88.本发明实施例的技术方案通过服务器将第二终端发送的监控指令发送给第一终端。第一终端接收监控指令，向第二终端开启图像同步显示的权限之后，采集头显设备内的图像数据，并将图像数据推流至服务器。通过服务器对图像数据进行处理，在确定显示数据后将其发送至第二终端，由第二终端显示显示数据。由此，通过上述处理过程使得头显设备内观看到的显示图像能够显示在第二终端上，实现头显设备内显示图像的多方显示，方便更多人观看，提升显示图像的观看体验。
89.图5是本发明实施例的另一种实现方式的数据同步显示方法。如图5所示，本实施例的数据同步显示方法通过以下步骤实现。
90.在步骤s310，第二终端发送监控指令至服务器。
91.本实施例中，服务器3从功能结构上包括逻辑服务器31和播放服务器32。其中，逻辑服务器31用于处理第一终端1与服务器3以及第二终端2与服务器3之间的指令和信息传输。播放服务器32用于传输图像数据和显示数据。
92.本实施例中，第二终端2将监控指令发送至服务器3中的逻辑服务器31，以通过逻辑服务器31向第一终端请求开启图像同步显示的权限。
93.在步骤s320，第一终端接收服务器发送的监控指令。
94.本实施例中，服务器3中的逻辑服务器31接收第二终端2发送的监控指令，并将监控指令发送至第一终端1。第一终端1接收监控指令，并在接收监控指令后确定是否向第二终端2开启图像同步显示的权限。
95.在步骤s330，第一终端开启监控操作，并向服务器发送反馈信息。
96.本实施例中，第一终端1响应于接收到监控指令，开启监控操作，表明允许向第二终端2开启图像同步显示权限，并向逻辑服务器31发送反馈信息，以通知第二终端2能够进行图像同步显示。由此，通过发送反馈信息的方式表明第一终端允许向第二终端开启图像同步显示的权限。
97.在步骤s340，第一终端采集图像数据。
98.本实施例中，第一终端1采集头显设备内的图像数据，图像数据与头显设备内的显示图像相对应。
99.进一步地，本实施例中的图像数据包括第一图像数据、第二图像数据和视差图像数据。其中，第一图像数据为左眼视角下能够观看到的图像对应的图像数据。第二图像数据为右眼视角下能够观看到的图像对应的图像数据。视差图像数据为左眼视角和右眼视角下能够观看到的图像的重复信息对应的图像数据，视差图像数据可以基于同于同一视觉坐标系下同一坐标点对应的图像差异来表征。
100.在步骤s350，第一终端将图像数据推流至服务器。
101.本实施例中，第一终端1将图像数据推流至播放服务器32，通过播放服务器3对图像数据进行处理，并确定出显示数据。
102.进一步地，播放服务器32在接收到采集的图像数据后需要对不同类型的图像数据进行处理，确定出显示数据。具体地，基于图像数据中的视差图像数据对第一图像数据和第二图像数据进行整合，确定出头显设备内显示图像对应的显示数据。
103.在步骤s360，第二终端接收服务器发送的反馈信息，并开启显示界面。
104.本实施例中，第二终端2接收逻辑服务器31发送的反馈信息，获取同步显示头显设备内显示头像的权限。并且，第二终端2响应于接收到反馈信息，开启显示界面。
105.可选地，本实施例中的步骤s360发生在步骤s330之后，步骤s360可以与步骤s340和s350同时进行，此处并不限制其执行的时间先后顺序。
106.在步骤s370，第二终端向服务器拉取显示数据，并对显示数据进行显示。
107.本实施例中，播放服务器32接收到第一终端1推流来的图像数据后，对接收到的图像数据进行处理，确定显示数据，并对显示数据进行存储。第二终端2通过向播放服务器32拉取显示数据的方式，获取显示数据，并通过在显示界面显示显示数据对应的图像对显示数据进行显示。由于显示数据是基于头显设备内的显示图像对应的图像数据处理得到的，通过第二终端显示显示数据，即可以对头显设备内的显示图像进行同步显示。
108.可选地，本实施例中的监控指令、图像数据和显示数据中均携带有表征第一终端1或第一终端1对应头显设备的设备标识信息，通过设备标识信息表征当前的图像数据和显示数据与第一终端1或第一终端1对应头显设备之间的对应关系。由此，在第二终端向服务器拉取显示数据时，通过设备标识信息获取需要显示的视频图像对应的显示数据，避免数据获取错误，提高图像显示效率。
109.本发明实施例的技术方案通过第二终端向服务器发送监控指令获取同步显示头像设备对应显示图像的权限。第一终端接收服务器发送的监控指令，并在接收到监控指令后开启监控操作，向服务器发送反馈信息，以使得第二终端在接收服务器发送的反馈信息后获取到同步显示图像的权限。通过第一终端采集图像数据，将图像数据推流至服务器，使得第二终端能够通过拉取的方式获取显示数据，并对显示数据进行显示。由此，通过上述处理过程使得第二终端能够显示头显设备内观看到的显示图像，实现头显设备内显示图像的多方显示，方便更多人观看，提升显示图像的观看体验。
110.图6是本发明实施例的另一种实现方式的数据同步显示方法。如图6所示，本实施例的数据同步显示方法通过以下步骤实现。
111.在步骤s410，第二终端向服务器发送监控指令。
112.本实施例中，服务器3包括逻辑服务器31和播放服务器32。其中，逻辑服务器31用于处理第一终端1与服务器3以及第二终端2与服务器3之间的指令和信息传输。播放服务器
32用于传输图像数据和显示数据。
113.本实施例中，第二终端2将监控指令发送至服务器3中的逻辑服务器31，以通过逻辑服务器31向第一终端请求开启图像同步显示的权限。
114.在步骤s420，第一终端接收服务器发送的监控指令。
115.本实施例中，逻辑服务器31接收第二终端2发送的监控指令，并将监控指令发送至第一终端1。具体地，服务器3中的逻辑服务器31接收第二终端2发送的监控指令，并将监控指令发送至第一终端1。第一终端1接收监控指令，并在接收监控指令后确定是否向第二终端2开启图像同步显示的权限。
116.在步骤s430，第一终端开启监控操作，并向服务器发送反馈信息。
117.本实施例中，第一终端1响应于接收到监控指令，开启监控操作，表明允许向第二终端2开启图像同步显示权限，并向逻辑服务器31发送反馈信息，以通知第二终端2能够进行图像同步显示。由此，通过发送反馈信息的方式表明第一终端允许向第二终端开启图像同步显示的权限。
118.在步骤s440，第一终端采集图像数据。
119.本实施例中，第一终端1采集头显设备内的图像数据，图像数据与头显设备内的显示图像相对应。
120.进一步地，本实施例中的图像数据包括第一图像数据、第二图像数据和视差图像数据。其中，第一图像数据为左眼视角下能够观看到的图像对应的图像数据。第二图像数据为右眼视角下能够观看到的图像对应的图像数据。视差图像数据为左眼视角和右眼视角下能够观看到的图像的重复信息对应的图像数据，视差图像数据可以基于同于同一视觉坐标系下同一坐标点对应的图像差异来表征。
121.在步骤s450，第一终端将图像数据推流至服务器。
122.本实施例中，第一终端1将图像数据推流至播放服务器32，通过播放服务器32对图像数据进行处理，并确定出显示数据。
123.进一步地，播放服务器32在接收到采集的图像数据后需要对不同类型的图像数据进行处理，确定出显示数据。具体地，基于图像数据中的视差图像数据对第一图像数据和第二图像数据进行整合，确定出头显设备内显示图像对应的显示数据。
124.在步骤s460，第二终端接收服务器发送的反馈信息，并开启显示界面。
125.本实施例中，第二终端2接收逻辑服务器31发送的反馈信息，获取同步显示头显设备内显示头像的权限。并且，第二终端2响应于接收到反馈信息，开启显示界面。
126.可选地，本实施例中的步骤s460发生在步骤s430之后，步骤s460可以与步骤s440和s450同时进行，这里并不限制其执行的时间先后顺序。
127.在步骤s470，第二终端向服务器发送显示请求。
128.本实施例中，第二终端2通过向播放服务器32发送显示请求获取显示数据。其中，显示请求内包括用于表征第一终端1或第一终端1对应头显设备的设备标识信息。播放服务器32通过判断显示请求中的设备标识信息是否与显示数据内的设备标识信息一致，来确定是否向第二终端发送显示数据。
129.在步骤s480，第二终端接收和显示显示数据。
130.本实施例中，播放服务器32接收到显示请求后，当判断显示请求中的设备标识信
息与显示数据内的设备标识信息一致时，向第二终端2发送当前设备标识信息对应的显示数据，并由第二终端2显示显示数据。
131.本实施例中，第二终端通过显示数据对应的图像对显示数据进行显示。由于显示数据是基于头显设备内的显示图像对应的图像数据处理得到的，通过第二终端2显示显示数据，即可以对头显设备内的显示图像进行显示。进一步地，第二终端2在显示界面显示显示数据，以实现头显设备内的显示图像的同步显示。
132.本发明实施例的技术方案通过第二终端向服务器发送监控指令，以获取同步显示头显设备内显示图像的权限。第一终端接收服务器发送的监控指令确定是否向第二终端开启图像同步显示的权限，并在接收到监控指令后开启监控操作，向服务器发送反馈信息，以使得第二终端接收到服务器发送的反馈信息后获取到开启图像同步显示的权限。之后，第一终端采集图像数据，并将图像数据推流至服务器，由服务器对图像数据进行处理，确定对应的显示数据。第二终端通过向服务器发送显示请求的方式接收显示数据，并在接收到显示数据后，对显示数据对应的图像进行显示。由此，通过上述处理过程使得头显设备内观看到的显示图像能够显示在第二终端上，实现头显设备内显示图像的多方显示，方便更多人观看，提升显示图像的观看体验。
133.以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。