3D影像VR交互方法与流程

文档序号:11519261阅读:375来源:国知局

本发明涉及三维显示技术领域,更具体地,涉及一种适用于vr竞技等的3d影像vr交互方法。



背景技术:

现有技术中,关于裸眼三维背景影像的高效同步方法随着裸眼3d技术的日趋普及而变得越来越受到研究者的期待。然而,尽管无线带宽越来越大,网络传输变得越来越方便和快捷,但三维背景影像的共享仍然是一大难题。基于多个三维投影设备之间的信号协调和同步的技术尚不成熟,尤其是同一三维背景投影场景在多个不同地理位置之间进行交互的过程中的投影同步性技术尚存在空白。

例如,现有技术中存在这样的不足:当需要将某vr(virtualreality,虚拟现实)竞技场景的背景影像(例如,冒险类、格斗类等竞技场景的背景影像,其可以是背景中的人物和/或景物的内容相对固定不变的,也可以是背景中的人物和/或景物的内容随着与用户的交互而展开和变化的)共享给多个位于不同地理位置的用户时,期望的是这些用户同时看到这些vr竞技场景内的背景的各种事物而不是由于网速的快慢而产生差异。如果将vr竞技场景的三维背景与前台竞技人物的数据混合或共同处理,则由于三维背景的变化规律远比前台竞技人物要复杂,因此常常造成接收到三维影像数据的投影设备的处理负荷过重。而本领域技术人员应当知道的是,这种情况下,三维投影设备的信号同步(即,供各位于不同地理位置的用户能够同时观看到,彼此不存在提前或滞后)也显得尤其重要:竞技者需要提前一段事件(甚至几秒或更短)来了解未被涉及过的场景或者进入到的新场景的情况:如果有用户由于投影设备性能优势或者网络传输优势而提前了解到上述信息,则显然造成了vr竞技时三维背景影像无法同时在各用户的三维投影设备显示。

针对这一需求,现有技术中往往采用使不同地理位置的用户预先下载供三维显示的场景、人物等模型的数据,然后仅将事件驱动数据进行实时演算生成的方式,以降低网络传输带来的延迟造成的上述三维投影设备的信号不同步问题,或者采用同步传输三维影像数据的方式,以避免对三维投影设备造成的数据处理负担。然而,上述第一种做法存在三个弊端:第一是供位于不同地理位置的用户投影的三维影像往往数量较多,模型的数据量巨大,第二是场景和人物等的模型会不时更新,用户在使用前往往需要等待较长时间的初始化或更新操作;第三是一旦数据被提前下载,用户总可能想到办法破解到已经被载入本地的影像信息,这些都使得用户观看vr场景的三维投影的用户体验大大降低,同时造成了三维背景影像的非同时到达。此外,随着网络带宽的迅速扩大,无线通信协议不断更新换代,无线网络传输速度日益提高,上述的第二种方式也逐渐进入三维投影技术人员的视野。而且,当今便携式三维投影设备的出现,使得人们希望利用体积小巧的三维投影设备也能够实现针对上述三维投影设备的信号同步问题的完美解决,这种设备自身的处理能力和存储能力也决定了无法采用现有技术中的上述第一种方案,而只能够采用网络化实时数据传输的方式加载上述vr三维信息供同步投影。而这种解决途径又凸显了数据传输安全上的问题,给诸如网络化vr竞技等三维投影影像交互应用带来了不可逾越的障碍。



技术实现要素:

为了在上述vr场景共享期间使多个用户能够在各自不同的便携式三维投影设备上投影出来的同一个三维投影环境的信息能够尽可能同时地显示,同时确保数据传输过程中的安全性并降低三维信号同步对三维投影设备所需的系统开销和处理能力要求,本发明提供了一种3d影像vr交互方法,包括:

(1)分离3d影像中的三维背景影像和与所述三维背景影像相对应的三维前台影像,其中所述三维前台影像包括在vr交互过程中与位于三维投影设备处的用户进行交互的景物模型数据或人物模型数据,以及驱动它们的事件驱动数据;

(2)将三维前台影像中的全部景物模型数据和人物模型数据传输给处于不同地理位置的多个三维投影设备;

(3)将三维背景影像以具有两套不同序号的三维图片帧的方式同步地传输给各个所述三维投影设备;

(4)每当一个三维图片帧的两套序号被同步传输完成时,将与表示三维背景影像的该三维图片帧对应的三维前台影像中的事件驱动数据传输给所述三维投影设备,以驱动所述景物模型数据和人物模型数据。

进一步地,所述步骤(3)包括:

(31)在三维背景影像数据的发送端,构造待共享给处于多个不同地理位置的用户并供他们进行三维投影的三维背景影像数据,使之包括三维场景数据和与所述三维场景数据相关联的三维事件数据,其中三维场景数据表示三维场景内的景物模型和人物模型的数据,三维事件数据表示驱动所述三维场景内的景物模型和人物模型的状态信息发生变化的数据,其中所述景物模型和人物模型的数据包括景物和人物在三维背景影像数据中的空间位置,所述状态信息包括景物模型的物理特性、人物的动作表情,以及景物模型和人物模型的产生、出现、隐藏或消灭;

(32)对所述三维背景影像数据中的三维场景数据预处理,以向至少一些经过预处理的所述三维场景数据插入参考数据;

(33)将经过所述预处理的三维背景影像数据发送到所述处于多个不同地理位置的用户的三维投影设备;

(34)所述三维投影设备对接收到的所述三维背景影像数据进行同步显示。

进一步地,所述步骤(32)包括:

(321)对视频进行抽取视频帧操作,分离为多个三维图片,所述每个三维图片均包括三维场景数据和与所述三维场景数据相关联的三维事件数据;

(322)根据所述三维场景数据内的景物和人物在三维背景影像数据中的空间位置,对所述三维图片内预先确定的景物和/或预先确定的人物所处的空间位置进行地理位置标定;

(323)对于经过地理位置标定的预先确定的景物和/或预先确定的人物,确定预先确定的景物和/或预先确定的人物各自在相邻三维图片内的空间位置之间的第一空间距离差,若该第一空间距离差大于预设阈值或者在所述相邻三维图片内的空间位置存在为零的情况,则向该相邻三维图片之间插入至少一份参考数据,否则不向该相邻三维图片之间插入参考数据;

(324)对各个三维图片和被插入的参考数据进行顺序编号,使各个三维图片和被插入的参考数据依照它们应当被投影或播放的顺序,即逻辑顺序,被按照第一序号编号。

进一步地,所述对视频进行抽取视频帧操作包括逐视频帧抽取操作和间隔至少两帧的抽取视频帧操作。

进一步地,所述每一份参考数据均包括:

a.该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的、除所述预先确定的景物和/或预先确定的人物以外的其他三维场景数据:

b.带有预设空间位置的预先确定的景物和/或预先确定的人物。

进一步地,所述预设空间位置通过如下方式设置:

a.根据对所述处于多个不同地理位置的用户的三维投影设备预先确定的网络地址,向这些三维投影设备的通信模块发送与该通信模块所属的三维投影设备的网络地址一一对应的预定字符串;

b.确定该三维投影设备将该预定字符串返回后经历的时间;

c.求取这些时间的最小公倍数与这些时间之间的商之间的比值;

d.将所述第一空间距离差按照该比值进行等分后得到的具有n个数值的等差数列;

e.将该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的空间位置逐个增加该等差数列中的前n-1个值中的每一个值,获得该参考数据和与其相邻的、在其之前的参考数据或三维图片之间的、对于所述预先确定的景物和/或预先确定的人物的第二空间距离差;

f.根据确定所述第一空间距离差所依据的相邻三维图片之间的、所述预先确定的景物和/或预先确定的人物的空间方向,以及所述第二空间距离差,确定所述预先确定的景物和/或预先确定的人物在该参考数据中的预设空间位置。

进一步地,所述步骤(324)之后还包括:

(325)建立所述参考数据与该参考数据之前和之后的相邻的、经过所述预处理的三维背景影像数据中所述预先确定的景物和/或预先确定的人物——预定三维事件数据之间的映射,该预定三维事件发生在与该被插入的参考数据相邻的三维图片之间;

(326)确定所述映射的个数:当映射的个数为1时,对于在与所述被插入的参考数据相邻的、在时间上在该参考数据之后的三维图片上的一份参考数据,该份参考数据还包括与所述预先确定的景物和/或预先确定的人物相对应的三维事件数据;当映射的个数大于1时,重新进行所述抽取视频帧操作,直到映射的个数为1时为止。

进一步地,所述步骤(33)包括:

(331)将经过所述预处理的三维背景影像数据得到的多个三维图片发送给所述处于多个不同地理位置的用户的三维投影设备,并将所述被插入的参考数据发送给所述处于多个不同地理位置的用户的三维投影设备,发送时各个三维图片和各个参考数据均被编以不连贯顺序的第二序号,该第二序号以与各个所述三维投影设备相对应的方式在所述三维背景影像数据的发送端被记录;

(332)所述三维投影设备将接收到的各个三维图片和被插入的参考数据的第二序号发送给三维背景影像数据的发送端。

进一步地,所述步骤(34)包括:

(341)所述三维背景影像数据的发送端接收来自处于多个不同地理位置的用户的三维投影设备的所述第二序号;

(342)所述三维背景影像数据的发送端确定是否各个处于多个不同地理位置的用户的三维投影设备均已经向其发送了相同的所述第二序号;

(343)所述三维背景影像数据的发送端确定从所述各个三维投影设备发送来的第二序号是否与其自身记录的序号顺序一致;

(344)当各三维投影设备均发送了相同的所述第二序号,且该第二序号与所述三维背景影像数据的发送端自身记录的、与各个三维投影设备相对应的第二序号顺序一致时,所述三维背景影像数据的发送端向所述各个三维投影设备发送所述第一序号编号。

本发明的有益效果为:

(1)本发明避免了采用在三维投影设备所在端预先安装或加载三维背景影像数据和相应模型而可能造成的三维背景影像数据安全性隐患;

(2)以预先确定的景物和/或预先确定的人物作为三维背景影像中的关键信息,本发明能够向处于不同地理位置的三维投影设备提供几乎同时显示该关键信息,提高了处于不同地理位置的三维投影设备进行三维背景影像投影时对于关键信息的敏感性和同步性;

(3)本发明通过设置两套编号体系,避免了使用复杂加密算法和解密算法的需要,利用巧妙的构造方式提高了三维投影设备进行三维背景影像数据投影的安全性和可靠性;

(4)本发明采用了经过独特设计的参考数据,既不影响三维背景影像数据的实时显示,例如不会向三维投影设备发送无意义的插图而降低用户体验,相反地,经过在发送端对关键信息的位置演算,提高了三维投影设备进行三维背景影像数据投影的用户体验;

(5)从发送端到接收端,采用将三维影像处理为三维图片的方式,既降低了对三维投影设备的处理能力和3d演算能力的要求,又避免了发送端和三维投影设备使用复杂3d视频编码和复杂3d图像合成算法的需要;

(6)三维图片能够高效地被三维投影设备所接受和处理,因为这种格式既适用于仅能处理图片方式的三维投影设备,也能适用于向下兼容采用左右视差方式进行vr三维场景显示的三维投影设备。

(7)本发明的三维背景影像数据的同步方法避免了与vr场景中前台信息的堆叠,使得三维投影设备能够向vr场景中的前台信息提供更丰富的处理能力和系统资源,从而更加有利于提高用户体验。

附图说明

图1示出了根据本发明的3d影像vr交互方法的流程图。

具体实施方式

如图1所示,根据本发明的优选实施例,提供了一种3d影像vr交互方法,包括:

(1)分离3d影像中的三维背景影像和与所述三维背景影像相对应的三维前台影像,其中所述三维前台影像包括在vr交互过程中与位于三维投影设备处的用户进行交互的景物模型数据或人物模型数据,以及驱动它们的事件驱动数据;

(2)将三维前台影像中的全部景物模型数据和人物模型数据传输给处于不同地理位置的多个三维投影设备;

(3)将三维背景影像以具有两套不同序号的三维图片帧的方式同步地传输给各个所述三维投影设备;

(4)每当一个三维图片帧的两套序号被同步传输完成时,将与表示三维背景影像的该三维图片帧对应的三维前台影像中的事件驱动数据传输给所述三维投影设备,以驱动所述景物模型数据和人物模型数据。

优选地,所述步骤(3)包括:

(31)在三维背景影像数据的发送端,构造待共享给处于多个不同地理位置的用户并供他们进行三维投影的三维背景影像数据,使之包括三维场景数据和与所述三维场景数据相关联的三维事件数据,其中三维场景数据表示三维场景内的景物模型和人物模型的数据,三维事件数据表示驱动所述三维场景内的景物模型和人物模型的状态信息发生变化的数据,其中所述景物模型和人物模型的数据包括景物和人物在三维背景影像数据中的空间位置,所述状态信息包括景物模型的物理特性、人物的动作表情,以及景物模型和人物模型的产生、出现、隐藏或消灭;

(32)对所述三维背景影像数据中的三维场景数据预处理,以向至少一些经过预处理的所述三维场景数据插入参考数据;

(33)将经过所述预处理的三维背景影像数据发送到所述处于多个不同地理位置的用户的三维投影设备;

(34)所述三维投影设备对接收到的所述三维背景影像数据进行同步显示。

优选地,所述步骤(32)包括:

(321)对视频进行抽取视频帧操作,分离为多个三维图片,所述每个三维图片均包括三维场景数据和与所述三维场景数据相关联的三维事件数据;

(322)根据所述三维场景数据内的景物和人物在三维背景影像数据中的空间位置,对所述三维图片内预先确定的景物和/或预先确定的人物所处的空间位置进行地理位置标定;

(323)对于经过地理位置标定的预先确定的景物和/或预先确定的人物,确定预先确定的景物和/或预先确定的人物各自在相邻三维图片内的空间位置之间的第一空间距离差,若该第一空间距离差大于预设阈值或者在所述相邻三维图片内的空间位置存在为零的情况,则向该相邻三维图片之间插入至少一份参考数据,否则不向该相邻三维图片之间插入参考数据;

(324)对各个三维图片和被插入的参考数据进行顺序编号,使各个三维图片和被插入的参考数据依照它们应当被投影或播放的顺序,即逻辑顺序,被按照第一序号编号。

优选地,所述对视频进行抽取视频帧操作包括逐视频帧抽取操作和间隔至少两帧的抽取视频帧操作。

优选地,所述每一份参考数据均包括:

a.该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的、除所述预先确定的景物和/或预先确定的人物以外的其他三维场景数据:

b.带有预设空间位置的预先确定的景物和/或预先确定的人物。

优选地,所述预设空间位置通过如下方式设置:

a.根据对所述处于多个不同地理位置的用户的三维投影设备预先确定的网络地址,向这些三维投影设备的通信模块发送与该通信模块所属的三维投影设备的网络地址一一对应的预定字符串;

b.确定该三维投影设备将该预定字符串返回后经历的时间;

c.求取这些时间的最小公倍数与这些时间之间的商之间的比值;

d.将所述第一空间距离差按照该比值进行等分后得到的具有n个数值的等差数列;

e.将该参考数据被插入的相邻三维图片中的、在时间上比该参考数据早的三维图片的空间位置逐个增加该等差数列中的前n-1个值中的每一个值,获得该参考数据和与其相邻的、在其之前的参考数据或三维图片之间的、对于所述预先确定的景物和/或预先确定的人物的第二空间距离差;

f.根据确定所述第一空间距离差所依据的相邻三维图片之间的、所述预先确定的景物和/或预先确定的人物的空间方向,以及所述第二空间距离差,确定所述预先确定的景物和/或预先确定的人物在该参考数据中的预设空间位置。

优选地,所述步骤(324)之后还包括:

(325)建立所述参考数据与该参考数据之前和之后的相邻的、经过所述预处理的三维背景影像数据中所述预先确定的景物和/或预先确定的人物——预定三维事件数据之间的映射,该预定三维事件发生在与该被插入的参考数据相邻的三维图片之间;

(326)确定所述映射的个数:当映射的个数为1时,对于在与所述被插入的参考数据相邻的、在时间上在该参考数据之后的三维图片上的一份参考数据,该份参考数据还包括与所述预先确定的景物和/或预先确定的人物相对应的三维事件数据;当映射的个数大于1时,重新进行所述抽取视频帧操作,直到映射的个数为1时为止。

优选地,所述步骤(33)包括:

(331)将经过所述预处理的三维背景影像数据得到的多个三维图片发送给所述处于多个不同地理位置的用户的三维投影设备,并将所述被插入的参考数据发送给所述处于多个不同地理位置的用户的三维投影设备,发送时各个三维图片和各个参考数据均被编以不连贯顺序的第二序号,该第二序号以与各个所述三维投影设备相对应的方式在所述三维背景影像数据的发送端被记录;

(332)所述三维投影设备将接收到的各个三维图片和被插入的参考数据的第二序号发送给三维背景影像数据的发送端。

优选地,所述步骤(34)包括:

(341)所述三维背景影像数据的发送端接收来自处于多个不同地理位置的用户的三维投影设备的所述第二序号;

(342)所述三维背景影像数据的发送端确定是否各个处于多个不同地理位置的用户的三维投影设备均已经向其发送了相同的所述第二序号;

(343)所述三维背景影像数据的发送端确定从所述各个三维投影设备发送来的第二序号是否与其自身记录的序号顺序一致;

(344)当各三维投影设备均发送了相同的所述第二序号,且该第二序号与所述三维背景影像数据的发送端自身记录的、与各个三维投影设备相对应的第二序号顺序一致时,所述三维背景影像数据的发送端向所述各个三维投影设备发送所述第一序号编号。

相应地,本发明优选实施例中涉及的三维投影设备对于上述编号和序号的处理模块是本领域技术人员根据上述技术方案能够在不付出创造性劳动下就能够得到的,在此申请人不再赘述。

以上对于本发明的较佳实施例所作的叙述是为阐明的目的,而无意限定本发明精确地为所揭露的形式。其中未进行详细说明的内容和未及述及的内容可以由本领域技术人员根据显示器件和显示设备的实际应用要求以及设计要求结合现有技术获得和实现,本发明限于篇幅不可能也无必要进行穷举。基于以上的教导或从本发明的实施例学习而作修改或变化是可能的,实施例是为解说本发明的原理以及让所属领域的技术人员以各种实施例利用本发明在实际应用上而选择及叙述,本发明的技术思想企图由权利要求及其均等来决定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1