视频流数据推送方法、装置、设备和存储介质与流程

本发明涉及智能终端，尤其涉及一种视频流数据推送方法、装置、设备和存储介质。

背景技术：

1、随着科技的发展，智能终端设备的智能化程度越来越高，而人们的生活越来越离不开这些智能终端。其中，智能终端例如包括手机、平板电脑、智能手表、智能电视、可穿戴设备等等。

2、实际应用中，可以通过智能终端将一个用户所处的场景画面传送给其他用户进行观看。比如说，用户a可以通过手机进行直播，将自己表演才艺的场景画面传送给加入直播间的用户b进行观看。

3、一般来说，在与上述情况相似的情景中，用户通过智能终端中的单一摄像头拍摄二维的视频流数据，并将该视频流数据通过云端分享给其他用户。由于二维的视频流数据很难真实地复刻出实际的场景环境，导致代入感较差。

技术实现思路

1、本发明实施例提供一种视频流数据推送方法、装置、设备和存储介质，用以实现真实地复刻实际的环境场景的视频，提高用户代入感。

2、第一方面，本发明实施例提供一种视频流数据推送方法，应用于混合现实（mixedreality，简写为mr）可穿戴设备，所述mr可穿戴设备中设置有第一摄像头和第二摄像头，所述方法包括：

3、获取所述第一摄像头拍摄的第一视频流数据以及所述第二摄像头拍摄的第二视频流数据；

4、基于所述第一视频流数据和所述第二视频流数据中相应的视频帧，合成本地三维视频流数据；

5、将所述本地三维视频流数据上传到云端，以使得所述云端将所述本地三维视频流数据推送至其他mr可穿戴设备。

6、可选地，所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。

7、可选地，所述方法还包括：

8、响应于预设视频流接收事件，接收所述云端推送的目标三维视频流数据；

9、通过vst模式，播放所述目标三维视频流数据。

10、可选地，所述通过视频透视vst模式，播放所述目标三维视频流数据，包括：

11、响应于悬浮窗播放指令，在操作系统界面中创建目标悬浮窗口；

12、通过vst模式，在所述目标悬浮窗口中播放所述目标三维视频流数据。

13、可选地，所述基于所述第一视频流数据和所述第二视频流数据中相应的视频帧，合成本地三维视频流数据，包括：

14、对于所述第一视频流数据和所述第二视频流数据中相对应的任一组视频帧，将所述任一组视频帧拼接为第一视频帧，并确定所述第一视频帧中的重合区域，其中，所述重合区域包括属于所述任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分；

15、对所述重合区域进行剪裁，以仅保留所述第一重合部分和所述第二重合部分中的任一个，得到本地三维视频流数据中的第二视频帧；

16、所述将所述本地三维视频流数据上传到云端，包括：

17、获取剪裁后的重合区域在所述第二视频帧中的位置信息；

18、将所述第二视频帧以及所述位置信息上传到云端，以使得所述云端将所述第二视频帧以及所述位置信息推送至所述其他mr可穿戴设备，所述位置信息用于触发所述其他mr可穿戴设备将所述第二视频帧还原为所述第一视频帧。

19、第二方面，本发明实施例提供一种视频流数据推送装置，应用于mr可穿戴设备，所述mr可穿戴设备中设置有第一摄像头和第二摄像头，所述装置包括：

20、获取模块，用于获取所述第一摄像头拍摄的第一视频流数据以及所述第二摄像头拍摄的第二视频流数据；

21、合成模块，用于基于所述第一视频流数据和所述第二视频流数据中相应的视频帧，合成本地三维视频流数据；

22、上传模块，用于将所述本地三维视频流数据上传到云端，以使得所述云端将所述本地三维视频流数据推送至其他mr可穿戴设备。

23、可选地，所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。

24、可选地，所述装置还包括播放模块，所述播放模块，用于：

25、响应于预设视频流接收事件 ，接收所述云端推送的目标三维视频流数据 ；

26、通过vst模式，播放所述目标三维视频流数据。

27、可选地，所述播放模块，用于：

28、响应于悬浮窗播放指令，在操作系统界面中创建目标悬浮窗口；

29、通过vst模式，在所述目标悬浮窗口中播放所述目标三维视频流数据。

30、可选地，所述合成模块52，用于：

31、对于所述第一视频流数据和所述第二视频流数据中相对应的任一组视频帧，将所述任一组视频帧拼接为第一视频帧，并确定所述第一视频帧中的重合区域，其中，所述重合区域包括属于所述任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分；

32、对所述重合区域进行剪裁，以仅保留所述第一重合部分和所述第二重合部分中的任一个，得到本地三维视频流数据中的第二视频帧；

33、所述将所述本地三维视频流数据上传到云端，包括：

34、获取剪裁后的重合区域在所述第二视频帧中的位置信息；

35、将所述第二视频帧以及所述位置信息上传到云端，以使得所述云端将所述第二视频帧以及所述位置信息推送至所述其他mr可穿戴设备，所述位置信息用于触发所述其他mr可穿戴设备将所述第二视频帧还原为所述第一视频帧。

36、第三方面，本发明实施例提供一种mr可穿戴设备，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面中的视频流数据推送方法。

37、第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被mr可穿戴设备的处理器执行时，使所述处理器至少可以实现第一方面中的视频流数据推送方法。

38、采用本发明，可以通过双目摄像头采集两路视频流数据，由于双目摄像头的安装位置不同，导致采集到的两路视频流数据之间存在视差，可以基于两路视频流数据合成具有立体感的本地三维视频流数据。通过其他mr可穿戴设备播放该本地三维视频流数据以让佩戴该其他mr可穿戴设备的用户进行观看，可以给用户更强的代入感，让用户具有身临其境的体验感受。

技术特征：

1.一种视频流数据推送方法，其特征在于，应用于混合现实mr可穿戴设备，所述mr可穿戴设备中设置有第一摄像头和第二摄像头，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述通过视频透视vst模式，播放所述目标三维视频流数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述重合区域包括属于所述任一组视频帧中的一个视频帧的第一重合部分以及属于另一个视频帧的第二重合部分；

6.根据权利要求1所述的方法，其特征在于，所述将所述第二视频帧上传云端，包括：

7.一种视频流数据推送装置，其特征在于，应用于混合现实mr可穿戴设备，所述mr可穿戴设备中设置有第一摄像头和第二摄像头，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述视频流数据为直播视频流数据、视频通话视频流数据或者视频会议视频流数据。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括播放模块，所述播放模块，用于：

10.一种混合现实mr可穿戴设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的视频流数据推送方法。

11.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被混合现实mr可穿戴设备的处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的视频流数据推送方法。

技术总结
本发明实施例提供一种视频流数据推送方法、装置、设备和存储介质，该方法包括：获取第一摄像头拍摄的第一视频流数据以及第二摄像头拍摄的第二视频流数据；基于第一视频流数据和第二视频流数据中相应的视频帧，合成本地三维视频流数据；将本地三维视频流数据上传到云端，以使得云端将本地三维视频流数据推送至其他MR可穿戴设备。采用本发明，可以通过双目摄像头采集两路视频流数据，两路视频流数据之间存在视差，可以基于两路视频流数据合成具有立体感的本地三维视频流数据。通过其他MR可穿戴设备播放该本地三维视频流数据以让用户进行观看，可以给用户更强的代入感，让用户具有身临其境的体验感受。

技术研发人员：宛静川
受保护的技术使用者：中数元宇数字科技（上海）有限公司
技术研发日：
技术公布日：2024/1/13