一种基于虚拟现实技术的多人异地过节服务系统

本发明属于虚拟现实(英文名称：virtual reality，缩写为vr)，具体涉及一种基于虚拟现实技术的多人异地过节服务系统。

背景技术：

1、节日是指生活中值得纪念的重要日子，是世界人民为适应生产和生活的需要而共同创造的一种民俗文化，是世界民俗文化的重要组成部分。为了在节日进行庆祝等活动，亲朋好友们往往会聚在一起过节，例如一起出席诸如灯会、庙会、旅游景点、著名广场或特别节日活动现场等实地场所。但是目前大多亲朋好友们是日常工作生活在异地，使得要在节日聚在一起过节是非常困难的，例如时间不够和出行成本高就是非常显著的阻碍因素。

2、虚拟现实技术是20世纪发展起来的一项全新的实用技术，囊括了计算机、电子信息和仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对虚拟现实技术的需求日益旺盛，已经广泛应用在诸如娱乐、军事训练、医疗培训和产品三维虚拟展示等多个领域。因此如何基于虚拟现实技术为亲朋好友们提供异地聚集于三维虚拟场景中以获取过节沉浸感的信息服务，实现降低异地亲朋好友们当前过节的时间需求及出行成本的目的，是本领域技术人员亟需研究的课题。

技术实现思路

1、本发明的目的是提供一种基于虚拟现实技术的多人异地过节服务系统，用以解决异地亲朋好友们当前过节所存在时间不够及出行成本高的问题。

2、为了实现上述目的，本发明采用以下技术方案：

3、第一方面，提供了一种基于虚拟现实技术的多人异地过节服务系统，包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置有人机交互机、深度相机、3d全息眼镜、室内定位标签和室内定位基站，所述室内定位标签的数目有多个并分别固定布置在所述3d全息眼镜的各个不同部位，所述室内定位基站的数目有多个并分别固定布置在所属服务亭内的各个不同位置，所述多个边缘处理设备与所述多个异地过节服务亭一一对应；

4、所述人机交互机，通信连接与所属服务亭对应的所述边缘处理设备，用于供与所属服务亭对应的用户选择多人过节三维虚拟场景及入场位置，并将选择结果传送至与所属服务亭对应的所述边缘处理设备；

5、所述深度相机，通信连接与所属服务亭对应的所述边缘处理设备，用于实时采集与所属服务亭对应的用户的全身深度图像，并将所述全身深度图像实时传送至与所属服务亭对应的所述边缘处理设备；

6、所述3d全息眼镜，通信连接与所属服务亭对应的所述边缘处理设备，用于供与所属服务亭对应的用户佩戴使用，并接收展示来自与所属服务亭对应的所述边缘处理设备的3d眼前影像数据；

7、所述室内定位标签，通信连接所述室内定位基站，用于实时向各个所述室内定位基站发送定位用脉冲信号；

8、所述室内定位基站，通信连接与所属服务亭对应的所述边缘处理设备，用于针对各个所述室内定位标签，根据对应标签发送的所述定位用脉冲信号实时确定基站至对应标签的空间距离，并将所述空间距离实时传送至与所属服务亭对应的所述边缘处理设备；

9、所述边缘处理设备，通信连接所述云服务器，用于将所述选择结果上传至所述云服务器，以及根据所述全身深度图像实时生成对应的用户的人体三维模型和人体位置信息，并将所述人体三维模型及所述人体位置信息实时上传至所述云服务器，以及还针对各个所述室内定位标签，根据各个所述室内定位基站的已知布置坐标和各个所述室内定位基站至对应标签的空间距离，应用定位算法实时确定对应标签的空间坐标，并根据各个所述室内定位标签的空间坐标确定对应的3d全息眼镜的眼镜位置信息，然后将所述眼镜位置信息实时上传至所述云服务器，其中，所述人体位置信息是指用户身体各部位相对于异地过节服务亭的第一相对位置信息，所述眼镜位置信息是指3d全息眼镜的各部位相对于异地过节服务亭的第二相对位置信息；

10、所述云服务器，用于开展如下处理方式：（a）根据所述多名用户的所述选择结果，确定所述多名用户统一选定的多人过节三维虚拟场景，以及还确定在所述多名用户中的各名用户在所述多人过节三维虚拟场景中的初始所处虚拟位置；（b）针对所述各名用户，根据对应的所述初始所处虚拟位置以及所述人体位置信息实时更新对应用户在所述多人过节三维虚拟场景中的实时所处虚拟位置；（c）根据所述各名用户的所述实时所处虚拟位置，将所述各名用户的所述人体三维模型实时加载到所述多人过节三维虚拟场景中，得到实时3d场景影像数据；（d）针对所述各名用户，先从所述实时3d场景影像数据中分割出用于在对应用户的实时所处虚拟位置周围呈现近处事物影像的3d周围近景影像数据，再根据对应用户的所述人体位置信息确定对应用户对该3d周围近景影像数据的互动影响，并更新得到在互动影响后的且对应的3d周围近景影像新数据，最后将所述实时3d场景影像数据中的该3d周围近景影像数据刷新为该3d周围近景影像新数据；（e）针对所述各名用户，先根据对应用户佩戴的所述3d全息眼镜的所述眼镜位置信息确定该3d全息眼镜的虚拟视野范围，再从所述实时3d场景影像数据中分割出用于在该虚拟视野范围内呈现所有事物影像的3d眼前影像数据，最后将该3d眼前影像数据下发至该3d全息眼镜的所属体验亭的边缘处理设备；

11、所述边缘处理设备，还用于将来自所述云服务器的3d眼前影像数据转发至对应的3d全息眼镜。

12、基于上述
技术实现要素：
，提供了一种基于虚拟现实技术为亲朋好友们提供异地聚集于三维虚拟场景中以获取过节沉浸感的信息服务方案，即包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置有人机交互机、深度相机、3d全息眼镜、室内定位标签和室内定位基站，所述多个边缘处理设备与所述多个异地过节服务亭一一对应，并通过它们的通信连接关系及功能设计，可以借助服务亭为异地的多个用户提供在诸如灯会、庙会或特别节日活动场所等三维虚拟场景中的人体三维模型融入并进行联动阅览服务，使他们能够获取一定的过节沉浸感，进而可利于异地维护用户间关系，并实现降低异地亲朋好友们当前过节的时间需求及出行成本的目的，便于实际应用和推广。

13、在一个可能的设计中，所述异地过节服务亭的内部还配置有转台、跑步带和跑步带驱动电机，其中，所述转台的顶部载物面用于作为所属服务亭的内部地面，所述跑步带嵌设在所述顶部载物面中，所述跑步带驱动电机位于所述跑步带的下方；

14、所述转台，通信连接与所属服务亭对应的所述边缘处理设备，用于根据来自与所属服务亭对应的所述边缘处理设备的且根据所述人体位置信息实时确定的用户行走方向，旋转所述顶部载物面、所述跑步带和所述跑步带驱动电机，使所述跑步带的运动方向与该用户行走方向维持相反；

15、所述跑步带驱动电机，通信连接与所属服务亭对应的所述边缘处理设备，用于根据来自与所属服务亭对应的所述边缘处理设备的且根据所述人体位置信息实时确定的用户行走速度大小，驱动所述跑步带，使所述跑步带的运动速度大小与该用户行走速度大小维持相等。

16、在一个可能的设计中，所述人机交互机采用触控屏并设置在所述异地过节服务亭的内侧壁面上。

17、在一个可能的设计中，所述深度相机的数目有2×p个，并有p个所述深度相机环向等间距地布置在所述异地过节服务亭的内侧壁面顶部区域中，以及还有另外p个所述深度相机环向等间距地布置在所述异地过节服务亭的内侧壁面底部区域中，其中，p表示大于等于3的正整数。

18、在一个可能的设计中，根据所述全身深度图像实时生成对应的用户的人体位置信息，包括：

19、将某名用户的所述全身深度图像实时导入已完成预训练的人体关键点检测模型，实时输出得到所述某名用户的人体关键点检测结果，其中，所述人体关键点检测结果包含有多个人体关键点在某个相机坐标系下的三维坐标，其中，所述某个相机坐标系是指与所述某名用户对应的深度相机的相机坐标系；

20、针对在所述多个人体关键点中的各个人体关键点，根据对应点在所述某个相机坐标系下的三维坐标以及某个相机与某个异地过节服务亭的已知相对位置关系，换算得到对应点相对于所述某个异地过节服务亭的相对位置信息，其中，所述某个相机是指与所述某名用户对应的深度相机，所述某个异地过节服务亭是指与所述某名用户对应的异地过节服务亭；

21、汇总所述各个人体关键点的且相对于所述某个异地过节服务亭的相对位置信息，得到所述某名用户的人体位置信息，其中，所述人体位置信息是指用户身体各部位相对于异地过节服务亭的第一相对位置信息。

22、在一个可能的设计中，所述眼镜位置信息包含有左眼镜片位置信息和/或右眼镜片位置信息，其中，所述左眼镜片位置信息是指左眼镜片相对于异地过节服务亭的第三相对位置信息，所述右眼镜片位置信息是指右眼镜片相对于异地过节服务亭的第四相对位置信息；

23、针对所述各名用户，先根据对应用户佩戴的所述3d全息眼镜的所述眼镜位置信息确定该3d全息眼镜的虚拟视野范围，再从所述实时3d场景影像数据中分割出用于在该虚拟视野范围内呈现所有事物影像的3d眼前影像数据，包括：针对所述各名用户，先根据对应用户佩戴的所述3d全息眼镜的所述左眼镜片位置信息确定该3d全息眼镜的左眼虚拟视野范围，再从所述实时3d场景影像数据中分割出用于在该左眼虚拟视野范围内呈现所有事物影像的3d左眼前影像数据；和/或，先根据对应用户佩戴的所述3d全息眼镜的所述右眼镜片位置信息确定该3d全息眼镜的右眼虚拟视野范围，再从所述实时3d场景影像数据中分割出用于在该右眼虚拟视野范围内呈现所有事物影像的3d右眼前影像数据；

24、接收展示来自与所属服务亭对应的所述边缘处理设备的3d眼前影像数据，包括：在接收到来自与所属服务亭对应的所述边缘处理设备的3d左眼前影像数据后，将该3d左眼前影像数据传送至左眼影像显示镜片进行输出展示；和/或，在接收到来自与所属服务亭对应的所述边缘处理设备的3d右眼前影像数据后，将该3d右眼前影像数据传送至右眼影像显示镜片进行输出展示。

25、在一个可能的设计中，当所述多人过节三维虚拟场景为某个节日活动实地场所的实景三维场景时，所述多人过节三维虚拟场景预先采用如下步骤构建得到：

26、获取由无人机倾斜摄影设备对所述某个节日活动实地场所采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；

27、根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的实景三维场景，其中，所述实景三维场景包含有多个现场物体的三维模型。

28、在一个可能的设计中，根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的实景三维场景，包括：

29、根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述某个节日活动实地场所的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；

30、针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；

31、对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果；

32、针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络gan对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；

33、针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；

34、在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述某个节日活动实地场所的最终实景三维场景。

35、在一个可能的设计中，针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络gan对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，包括：

36、针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则按照区域面积从小到大顺序依次排列所述至少一个建模空洞区域，得到一个建模空洞区域序列；

37、针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络gan对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；

38、将与在所述建模空洞区域序列中的最末一个建模空洞区域对应的模型表面修复二维图像作为所述某个现场物体的模型完整最终二维图像。

39、在一个可能的设计中，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括：

40、针对在所述多个现场物体中的某个现场物体，将对应的模型表面初始二维图像导入基于yolo目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果；

41、若所述某个现场物体的建模空洞区域识别结果指示在所述某个现场物体的模型表面初始二维图像中存在有至少一个建模空洞区域标记框，则根据所述至少一个建模空洞区域标记框，从所述某个现场物体的模型表面初始二维图像中截取出与所述至少一个建模空洞区域标记框一一对应的至少一个建模空洞区域图像；

42、对所述至少一个建模空洞区域图像分别依次进行图像去噪处理、灰度转换处理和基于预设灰度阈值的二值化处理，得到与所述至少一个建模空洞区域图像一一对应的至少一个二值化图像，其中，所述预设灰度阈值根据建模空洞区域灰度值来预先设定；

43、针对在所述至少一个二值化图像中的各个二值化图像，基于canny算法提取得到对应的中心连通域，并将该中心连通域作为在对应建模空洞区域标记框内的建模空洞区域；

44、汇总所有的所述建模空洞区域，得到所述某个现场物体的且最终的建模空洞区域识别结果。

45、上述方案的有益效果：

46、（1）本发明创造性提供了一种基于虚拟现实技术为亲朋好友们提供异地聚集于三维虚拟场景中以获取过节沉浸感的信息服务方案，即包括有云服务器、多个异地过节服务亭和多个边缘处理设备，其中，所述多个异地过节服务亭与多名用户一一对应并分别部署在不同的用户所在地，所述异地过节服务亭的内部配置有人机交互机、深度相机、3d全息眼镜、室内定位标签和室内定位基站，所述多个边缘处理设备与所述多个异地过节服务亭一一对应，并通过它们的通信连接关系及功能设计，可以借助服务亭为异地的多个用户提供在诸如灯会、庙会或特别节日活动场所等三维虚拟场景中的人体三维模型融入并进行联动阅览服务，使他们能够获取一定的过节沉浸感，进而可利于异地维护用户间关系，并实现降低异地亲朋好友们当前过节的时间需求及出行成本的目的，便于实际应用和推广；

47、（2）还可通过转台、跑步带和跑步带驱动电机的具体功能设计，确保用户无论如何行走，都能呆在原地，避免出现撞墙现象；

48、（3）还可以实现对基于无人机倾斜摄影的实景三维建模初步成果进行再加工以修复三维模型空洞区域的目的，进而可得到节日活动实地场所的克隆式实景三维场景，保障用户的视听体验。