真实空间和虚拟空间的融合方法和融合系统的制作方法
【专利摘要】本发明提出了一种真实空间和虚拟空间的融合方法和一种真实空间和虚拟空间的融合系统，其中，所述真实空间和虚拟空间的融合方法包括：获取真实空间中多个点的真实空间坐标位置；根据所述真实空间中多个点的真实空间坐标位置确定所述多个点中的每个点在虚拟空间中对应的目标坐标位置；根据所述每个点在所述虚拟空间中对应的所述目标坐标位置，对所述虚拟空间中的物体执行相应的操作。通过本发明的技术方案，可以解决虚拟模型与真实物体位置之间的对应关系，正确地计算出虚拟物体对接点q与真实物体对接点p在观看时的位置关系，并实现真实物体与虚拟物体的融合，也便于对虚拟空间中的物体进行进一步的操作。
【专利说明】真实空间和虚拟空间的融合方法和融合系统
【技术领域】
[0001]本发明涉及图像显示【技术领域】，具体而言，涉及到一种真实空间和虚拟空间的融合方法和真实空间和虚拟空间的融合系统。
【背景技术】
[0002]以计算机软件技术为依托的虚拟现实技术包括多个细分领域的应用，如体感技术、实拍、虚拟三维场景融合技术等。伴随着立体显示技术的发展与成熟产生了许多与立体显示有关的应用。如真实物体与渲染出的虚拟物体相融合的应用。
[0003]关于这种应用，一个基本想法是观看立体时，在视觉上，可以实现真实物体和虚拟物体无缝对接，以根据真实物体在虚拟场景中的位置实现对虚拟空间中的虚拟物体的各种操作。例如，我们观看立体画面时，用一支笔点在立体屏幕上，这时，可以通过在虚拟场景中渲染这支虚拟的笔与真实的笔之间的一致的位置关系，进而判断虚拟场景中虚拟笔与其它虚拟物体的位置关系，以便于进一步操作。
[0004]因此，为了实现真实物体与虚拟物体的融合，如何解决虚拟模型与真实物体位置之间的对应关系，正确地计算出虚拟物体对接点q与真实物体对接点P在观看时的位置关系，成为目前亟待解决的技术问题。
【发明内容】
[0005]本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
[0006]为此，本发明的一个目的在于提出了一种真实空间和虚拟空间的融合方法。
[0007]本发明的另一个目的在于提出了一种真实空间和虚拟空间的融合系统。
[0008]为实现上述目的，根据本发明的第一方面的实施例，提出了一种真实空间和虚拟空间的融合方法，包括:获取真实空间中多个点的真实空间坐标位置；根据所述真实空间中多个点的真实空间坐标位置确定所述多个点中的每个点在虚拟空间中对应的目标坐标位置；根据所述每个点在所述虚拟空间中对应的所述目标坐标位置，对所述虚拟空间中的物体执行相应的操作。
[0009]在该技术方案中，通过真实空间中多个点的真实空间坐标位置，便于准确地确定所述多个点在虚拟空间中对应的目标坐标位置，在得到所述多个点的目标坐标位置时，就可以判断虚拟空间中的多个点是否与其它物体进行了交互或被其它虚拟物体遮挡，这便于进行进一步操作，提高虚拟空间的音视频、画面等方面的播放效果。例如:在计算出虚拟空间中的多个点目标坐标位置后，如果发现所述多个点被其它虚拟物体遮挡，就可以将其它物体从渲染效果上剔除，以提高画面效果；在计算出虚拟空间中的多个点目标坐标位置后，如果发现所述多个点被触碰到其它物体(如游戏)，就可以移动游戏并配合声音的播放，以提高播放画面的音视频效果。
[0010]其中，真实空间中多个点的真实空间坐标位置可以通过多种技术手段获得，如利用陀螺仪、深度摄像头以及电磁感应设备等装置。
[0011]在上述技术方案中，优选地，根据所述真实空间中多个点的真实空间坐标位置确定所述多个点中的每个点在虚拟空间中对应的目标坐标位置，具体包括:获取所述真实空间中观看者的双眼位置；根据所述观看者的双眼位置以及所述多个点中任一点的所述真实空间坐标位置，确定所述任一点投影到真实空间中的立体播放窗口上的投影坐标位置；根据所述任一点在所述立体播放窗口中的投影坐标位置，确定所述任一点在所述虚拟空间中对应的目标坐标位置。
[0012]在该技术方案中，通过三个点(多个点中的任一点以及双眼的位置)的真实空间坐标位置可以准确地确定出任一点在立体播放窗口的实际坐标位置，进而可以基于任一点的投影坐标位置准确地确定出任一点在虚拟空间内对应的目标坐标位置。其中，观看者的双眼位置也可以通过多种技术手段获得，如利用陀螺仪、深度摄像头等装置。
[0013]其中，任一点的投影坐标位置为由眼睛中心位置到该点的连接线段所在的直线与窗口相交的位置。
[0014]在上述技术方案中，优选地，根据所述观看者的双眼位置以及所述多个点中任一点的所述真实空间坐标位置，确定所述任一点在真实空间中的立体播放窗口上的投影坐标位置，具体包括:
[0015]根据所述观看者的左眼位置和所述任一点的真实空间坐标位置，以第一预设公式计算出所述任一点在所述立体播放窗口上的第一坐标位置的X分量，其中，所述第一预设公式为:
【权利要求】
1.一种真实空间和虚拟空间的融合方法，其特征在于，包括: 获取真实空间中多个点的真实空间坐标位置；根据所述真实空间中多个点的真实空间坐标位置确定所述多个点中的每个点在虚拟空间中对应的目标坐标位置； 根据所述每个点在所述虚拟空间中对应的所述目标坐标位置，对所述虚拟空间中的物体执行相应的操作。
2.根据权利要求1所述的真实空间和虚拟空间的融合方法，其特征在于，根据所述真实空间中多个点的真实空间坐标位置确定所述多个点中的每个点在虚拟空间中对应的目标坐标位置，具体包括: 获取所述真实空间中观看者的双眼位置； 根据所述观看者的双眼位置以及所述多个点中任一点的所述真实空间坐标位置，确定所述任一点投影到真实空间中的立体播放窗口上的投影坐标位置； 根据所述任一点在所述立体播放窗口中的所述投影坐标位置，确定所述任一点在所述虚拟空间中对应的目标坐标位置。
3.根据权利要求2所述的真实空间和虚拟空间的融合方法，其特征在于，根据所述观看者的双眼位置以及所述多个点中任一点的所述真实空间坐标位置，确定所述任一点在真实空间中的立体播放窗口上的投影坐标位置，具体包括: 根据所述观看者的左眼位置和所述任一点的真实空间坐标位置，以第一预设公式计算出所述任一点在所述立体播放窗口上的第一坐标位置的X分量，其中，所述第一预设公式为:
T/ -V — P7 τ — (ΕΙ.Χ~Ρ2'Ι)*Ρ2.Ζ
(Ε1.ζ~~ρ2,ζ) 其中，TLx为所述第一位置坐标的X分量，ρ2.X为所述任一点的真实空间坐标位置的X分量，ρ2.ζ为所述任一点的真实空间坐标位置的Z分量，EL.X为所述观看者的左眼位置的X分量，EL.ζ为所述观看者的左眼位置的Z分量； 根据所述观看者的右眼位置和所述任一点的真实空间坐标位置，以第二预设公式计算出所述任一点在所述立体播放窗口上的第二坐标位置的X分量，其中，所述第二预设公式为: ψΟγ — ψ- _ (ER.X-p2-X)*p2.Z I*■"""* Λ.JL '' ,
(ER,z~p2.z) 其中，TRx为所述第二位置坐标的X分量，p2.X为所述任一点的真实空间坐标位置的X分量，ρ2.ζ为所述任一点的真实空间坐标位置的Z分量，ER.X为所述观看者的右眼位置的X分量，ER.ζ为所述观看者的右眼位置的Z分量； 根据所述观看者的左眼位置或观看者的右眼位置和所述任一点的真实空间坐标位置，以第三预设公式计算出所述任一点在所述立体播放窗口上的第一坐标位置或第二坐标位置的Y分量，其中，所述第三预设公式为:τ、，,, (E.y-p2.y)*p2.z i JP........................................β
J(E.z-p2.z) 其中，Ty为所述第一坐标位置或第二坐标位置的Y分量，p2.y为所述任一点的真实空间坐标位置的Y分量，p2.Z为所述任一点的真实空间坐标位置的Z分量，E.y为所述观看者的左眼位置或右眼位置的Y分量，E.ζ为所述观看者的左眼位置或右眼位置的Z分量，其中，左眼位置或右眼位置的Y分量相同，Z分量也相同； 其中，所述立体播放窗口上的第一坐标位置和第二坐标位置的Y分量相同； 根据所述第一坐标位置的X分量和第一坐标位置的Y分量确定所述立体播放窗口上的第一坐标位置，根据所述第二坐标位置的X分量和第二坐标位置的Y分量确定所述立体播放窗口上的第二坐标位置，所述第一坐标位置和所述第二坐标位置即为所述投影坐标位置。
4.根据权利要求3所述的真实空间和虚拟空间的融合方法，其特征在于，根据所述任一点在所述立体播放窗口中的投影坐标位置，确定所述任一点在所述虚拟空间中对应的目标坐标位置，具体包括: 根据所述第一坐标位置和所述第二坐标位置计算出所述任一点在所述立体播放窗口上的视差值； 获取所述立体播放窗口的参数信息，其中，所述参数信息包括立体播放窗口的宽度和高度； 根据所述立体播放窗口上的视差值和所述立体播放窗口的宽度，计算出所述任一点在所述虚拟空间的视平面上的视差值，其中，所述视平面上的视差值与所述立体播放窗口上的视差值正相关，所述视平面上的视差值与所述立体播放窗口的宽度反相关； 根据所述任一点在所述 立体播放窗口上的第一坐标位置的X分量和所述立体播放窗口的宽度，以第四预设公式计算出所述任一点在所述视平面上的第三坐标位置的X分量，其中，所述第四预设公式为:
其中，VLx为所述任一点在所述视平面上的第三坐标位置的X分量，TLx为所述第一位置坐标的X分量，w为所述立体播放窗口的宽度； 根据所述任一点在所述立体播放窗口上的第二坐标位置的X分量和所述立体播放窗口的宽度，以第五预设公式计算出所述任一点在所述视平面上的第四坐标位置的X分量，其中，所述第五预设公式为:
其中，VRx为所述任一点在所述视平面上的第四坐标位置的X分量，TRx为所述第二位置坐标的X分量，w为所述立体播放窗口的宽度； 根据所述任一点在所述立体播放窗口上的第一坐标位置或第二坐标位置的Y分量和所述立体播放窗口的高度，以第六预设公式计算出所述任一点在所述视平面上的第三坐标位置或第四坐标位置的Y分量， 其中，所述第六预设公式为
其中，Vy为所述任一点在所述视平面上的第三坐标位置或第四坐标位置的Y分量，Ty为第一坐标位置或第二坐标位置的Y分量，h为所述立体播放窗口的高度。
5.根据权利要求3所述的真实空间和虚拟空间的融合方法，其特征在于，根据所述任一点在所述立体播放窗口中的投影坐标位置，确定所述任一点在所述虚拟空间中对应的目标坐标位置，还包括: 获取原始相机以及与所述原始相机相对应的左相机和右相机的当前参数，其中，所述左相机和所述右相机由所述原始相机分别向两侧水平移动形成， 其中，所述当前参数包括: 所述原始相机的近投影面在虚拟空间中的宽度，所述原始相机的近投影面距离所述虚拟空间坐标原点的距离，与所述原始相机相对应的左相机和右相机之间的分离值和零视差面深度值，所述原始相机的近投影面的上边界值和下边界值。
6.根据权利要求5所述的真实空间和虚拟空间的融合方法，其特征在于，根据所述任一点在所述立体播放窗口中的投影坐标位置，确定所述任一点在所述虚拟空间中对应的目标坐标位置，还包括: 根据所述当前参数和所述任一点在所述虚拟空间的视平面上的视差值以第七预设公式计算出所述任一点在所述虚拟空间中的目标坐标位置的深度值， 其中，所述第七预设公式为:
其中，Z为所述目标坐标位置的深度值，sep为所述分离值，near为所述原始相机的近投影面距离所述虚拟空间坐标原点的距离，U为所述原始相机的近投影面在虚拟空间中的宽度，con为所述零视差面深度值，Vw为所述视平面上的视差值； 根据所述深度值、所述当前参数和所述任一点在所述视平面上的第三坐标位置的X分量或在所述视平面上的第四坐标位置的X分量以第八预设公式计算出所述任一点在所述虚拟空间中的目标坐标位置的X分量， 其中，所述第八预设公式为:
其中，X为所述目标坐标位置的X分量，VLx为所述任一点在所述视平面上的第三坐标位置的X分量，ζ为所述目标坐标位置的深度值，sep为所述分离值，con为所述零视差面深度值，Θ为所述原始相机的水平张角； 根据所述深度值、所述当前参数和所述任一点在所述视平面上的第三坐标位置或第四坐标位置的Y分量，以第九预设公式计算出所述任一点在所述虚拟空间中的目标坐标位置的Y分量，其中，所述第九预设公式为:
其中，Y为所述目标坐标位置的Y分量，Vy为所述任一点在所述视平面上的第三坐标位置或第四坐标位置的Y分量，Z为所述目标坐标位置的深度值，near为所述原始相机的近投影面距离所述虚拟空间坐标原点的距离，top为所述近投影平面的上边界值，bottom为所述近投影平面的下边界值； 根据所述任一点在所述虚拟空间中的目标坐标位置的所述深度值、所述X分量、所述Y分量，确定所述任一点在所述虚拟空间中的目标坐标位置。
7.根据权利要求1至6中任一项所述的真实空间和虚拟空间的融合方法，其特征在于，还包括: 设置所述真实空间的坐标系，其中，以所述立体播放窗口的中心为坐标原点，以所述真实空间中立体播放窗口所在的平面为XY平面，立体播放窗口的左右边界垂直于X轴，立体播放窗口的上下边界垂直Y轴，Z轴垂直于XY平面。
8.一种真实空间和虚拟空间的融合系统，其特征在于，包括: 获取单元，获取真实空间中多个点的真实空间坐标位置； 确定单元，根据所述真实空间中多个点的真实空间坐标位置确定所述多个点中的每个点在虚拟空间中对应的目标坐标位置； 处理单元，根据所述每个点在所述虚拟空间中对应的所述目标坐标位置，对所述虚拟空间中的物体执行相应的操作。
9.根据权利要求8所述的真实空间和虚拟空间的融合系统，其特征在于， 所述获取单元还用于: 获取所述真实空间中观看者的双眼位置； 所述确定单元包括: 第一位置确定单元，根据所述观看者的双眼位置以及所述多个点中任一点的所述真实空间坐标位置，确定所述任一点投影到真实空间中的立体播放窗口上的投影坐标位置；第二位置确定单元，根据所述任一点在所述立体播放窗口中的投影坐标位置，确定所述任一点在所述虚拟空间中对应的目标坐标位置。
10.根据权利要求9所述的真实空间和虚拟空间的融合系统，其特征在于，所述第一位置确定单元具体用于: 根据所述观看者的左眼位置和所述任一点的真实空间坐标位置，以第一预设公式计算出所述任一点在所述立体播放窗口上的第一坐标位置的X分量，其中，所述第一预设公式为:
其中，TLx为所述第一位置坐标的X分量，p2.X为所述任一点的真实空间坐标位置的X分量，ρ2.ζ为所述任一点的真实空间坐标位置的Z分量，EL.X为所述观看者的左眼位置的X分量，EL.ζ为所述观看者的左眼位置的Z分量； 根据所述观看者的右眼位置和所述任一点的真实空间坐标位置，以第二预设公式计算出所述任一点在所述立体播放窗口上的第二坐标位置的X分量，其中，所述第二预设公式为:
其中，TRx为所述第二位置坐标的X分量，p2.X为所述任一点的真实空间坐标位置的X分量，ρ2.ζ为所述任一点的真实空间坐标位置的Z分量，ER.X为所述观看者的右眼位置的X分量，ER.ζ为所述观看者的右眼位置的Z分量； 根据所述观看者的左眼位置或观看者的右眼位置和所述任一点的真实空间坐标位置，以第三预设公式计算出所述任一点在所述立体播放窗口上的第一坐标位置或第二坐标位置的Y分量，其中，所述第三预设公式为:
其中，Ty为所述第一坐标位置或第二坐标位置的Y分量，p2.y为所述任一点的真实空间坐标位置的Y分量，ρ2.ζ为所述任一点的真实空间坐标位置的Z分量，Ε.y为所述观看者的左眼位置或右眼位置的Y分量，Ε.ζ为所述观看者的左眼位置或右眼位置的Z分量，其中，左眼位置或右眼位置的Y分量相同，Z分量也相同； 其中，所述立体播放窗口上的第一坐标位置和第二坐标位置的Y分量相同； 根据所述第一坐标位置的X分量和第一坐标位置的Y分量确定所述立体播放窗口上的第一坐标位置，根据所述第二坐标位置的X分量和第二坐标位置的Y分量确定所述立体播放窗口上的第二坐标位置，所述第一坐标位置和所述第二坐标位置即为所述投影坐标位置。
11.根据权利要求10所述的真实空间和虚拟空间的融合系统，其特征在于，所述第二确定单元具体用于: 根据所述第一坐标位置和所述第二坐标位置计算出所述任一点在所述立体播放窗口上的视差值； 获取所述立体播放窗口的参数信息，其中，所述参数信息包括立体播放窗口的宽度和高度； 根据所述立体播放窗口上的视差值和所述立体播放窗口的宽度，计算出所述任一点在所述虚拟空间的视平面上的视差值，其中，所述视平面上的视差值与所述立体播放窗口上的视差值正相关，所述视平面上的视差值与所述立体播放窗口的宽度反相关； 根据所述任一点在所述立体播放窗口上的第一坐标位置的X分量和所述立体播放窗口的宽度，以第四预设公式计算出所述任一点在所述视平面上的第三坐标位置的X分量，其中，所述第四预设公式为:
其中，VLx为所述任一点在所述视平面上的第三坐标位置的X分量，TLx为所述第一位置坐标的X分量，w为所述立体播放窗口的宽度； 根据所述任一点在所述立体播放窗口上的第二坐标位置的X分量和所述立体播放窗口的宽度，以第五预设公式计算出所述任一点在所述视平面上的第四坐标位置的X分量，其中，所述第五预设公式为:
其中，VRx为所述任一点在所述视平面上的第四坐标位置的X分量，TRx为所述第二位置坐标的X分量，w为所述立体播放窗口的宽度； 根据所述任一点在所述立体播放窗口上的第一坐标位置或第二坐标位置的Y分量和所述立体播放窗口的高度，以第六预设公式计算出所述任一点在所述视平面上的第三坐标位置或第四坐标位置的Y分量，其中，所述第六预设公式为
其中，Vy为所述任一点在所述视平面上的第三坐标位置或第四坐标位置的Y分量，Ty为第一坐标位置或第二坐标位置的Y分量，h为所述立体播放窗口的高度。
12.根据权利要求10所述的真实空间和虚拟空间的融合系统，其特征在于，所述第二位置确定单元还用于: 获取原始相机以及与所述原始相机相对应的左相机和右相机的当前参数，其中，所述左相机和所述右相机由所述原始相机分别向两侧水平移动形成， 其中，所述当前参数包括: 所述原始相机的近投影面在虚拟空间中的宽度，所述原始相机的近投影面距离所述虚拟空间坐标原点的距离，与所述原始相机相对应的左相机和右相机之间的分离值和零视差面深度值，所述原始相机的近投影面的上边界值和下边界值。
13.根据权利要求12所述的真实空间和虚拟空间的融合系统，其特征在于，所述第二位置确定单元还用于: 根据所述当前参数和所述任一点在所述虚拟空间的视平面上的视差值以第七预设公式计算出所述任一点在所述虚拟空间中的目标坐标位置的深度值， 其中，所述第七预设公式为:
其中，Z为所述目标坐标位置的深度值，sep为所述分离值，near为所述原始相机的近投影面距离所述虚拟空间坐标原点的距离，U为所述原始相机的近投影面在虚拟空间中的宽度，con为所述零视差面深度值，Vw为所述视平面上的视差值； 根据所述深度值、所述当前参数和所述任一点在所述视平面上的第三坐标位置的X分量或在所述视平面上的第四坐标位置的X分量以第八预设公式计算出所述任一点在所述虚拟空间中的目标坐标位置的X分量， 其中，所述第八预设公式为:
其中，X为所述目标坐标位置的X分量，VLx为所述任一点在所述视平面上的第三坐标位置的X分量，Z为所述目标坐标位置的深度值，sep为所述分离值，con为所述零视差面深度值，Θ为所述原始相机的水平张角； 根据所述深度值、所述当前参数和所述任一点在所述视平面上的第三坐标位置或第四坐标位置的Y分量，以第九预设公式计算出所述任一点在所述虚拟空间中的目标坐标位置的Y分量，其中，所述第九预设公式为:
其中，Y为所述目标坐标位置的Y分量，Vy为所述任一点在所述视平面上的第三坐标位置或第四坐标位置的Y分量，ζ为所述目标坐标位置的深度值，near为所述原始相机的近投影面距离所述虚拟空间坐标原点的距离，top为所述近投影平面的上边界值，bottom为所述近投影平面的下边界值； 根据所述任一点在所述虚拟空间中的目标坐标位置的所述深度值、所述X分量、所述Y分量，确定所述任一点在所述虚拟空间中的目标坐标位置。
14.根据权利要求8至13中任一项所述的真实空间和虚拟空间的融合方法，其特征在于，还包括: 设置单元，设置所述真实空间的坐标系，其中，以所述立体播放窗口的中心为坐标原点，以所述真实空间中立体播放窗口所在的平面为XY平面，立体播放窗口的左右边界垂直于X轴，立体播放窗口的上下边界垂直于Y轴，Z轴垂直于XY平面。
【文档编号】G06T5/50GK104134235SQ201410360771
【公开日】2014年11月5日 申请日期:2014年7月25日 优先权日:2014年7月25日
【发明者】李高峰 申请人:深圳超多维光电子有限公司