一种虚实融合方法、装置、设备及存储介质与流程

1.本发明涉及增强现实ar技术领域，具体是涉及一种虚实融合方法、装置、设备及存储介质。


背景技术：

2.沉浸式文化娱乐系统，是指借助立体影像系统、多声道音响系统、多自由度机械运动和自动控制系统、软件系统、置景系统、灯光系统、特技系统等子系统，并结合丰富的文化故事内容，为人们提供立体化、多维度、全方位身心感官体验的综合性文化娱乐集成系统。在产业应用领域以黑暗乘骑、4d影院、球幕飞行影院、幻影剧场等为代表，广泛应用在主题公园、科技馆、展览馆等文化和娱乐场景中。
3.沉浸式文化娱乐系统中的虚实结合系统，是指通过环境艺术、计算机图形图像、人机交互和智能传感与投影等技术手段，将虚拟影像与实景装置结合起来，以给观众一个虚实结合的真实感受。现有的虚实结合方法，对观众的位置有严格限制，一旦观众的位置发生改变，那么虚景和实景结合所呈现出来的视觉质量会偏离真实场景，从而降低了观众的体验感。
4.综上所述，现有的虚实结合方法因受限于观众的位置而降低了观众的体验感。
5.因此，现有技术还有待改进和提高。


技术实现要素：

6.为解决上述技术问题，本发明提供了一种虚实融合方法、装置、设备及存储介质，解决了现有的虚实结合方法因受限于观众的位置而降低了观众体验感的问题。
7.为实现上述目的，本发明采用了以下技术方案：
8.第一方面，本发明提供一种虚实融合方法，其中，包括：
9.采集观众的实时位置信息；
10.依据观众的所述实时位置信息，计算观众相对真实场景的位置变化信息；
11.依据所述位置变化信息，调整虚拟场景相对所述真实场景的位置信息，得到调整位置信息之后的所述虚拟场景；
12.对调整位置信息之后的所述虚拟场景和所述真实场景进行融合。
13.在一种实现方式中，所述依据观众的所述实时位置信息，计算观众相对真实场景的位置变化信息，包括：
14.依据观众的所述实时位置信息，得到所述实时位置信息中的观众的眼睛实时位置；
15.依据所述眼睛实时位置，计算观众的眼睛相对所述真实场景的位置变化信息。
16.在一种实现方式中，所述依据所述位置变化信息，调整虚拟场景相对所述真实场景的位置信息，得到调整位置信息之后的所述虚拟场景，包括：
17.依据所述位置变化信息，调整场景输出装置的位置，所述场景输出装置用于输出
所述虚拟场景；
18.依据调整位置之后的所述场景输出装置，得到调整位置信息之后的所述虚拟场景。
19.在一种实现方式中，所述依据调整位置之后的所述场景输出装置，得到调整位置信息之后的所述虚拟场景，包括：
20.将调整位置之后的所述场景输出装置所输出的所述虚拟场景投影至影像载体上，所述影像载体与所述真实场景并列设置；
21.通过所述影像载体得到调整位置信息之后的所述虚拟场景。
22.在一种实现方式中，所述采集观众的实时位置信息，包括：
23.通过人体位置追踪装置采集观众的实时位置信息，所述人体位置追踪装置位于所述影像载体上。
24.在一种实现方式中，所述依据观众的所述实时位置信息，计算观众相对真实场景的位置变化信息，包括：
25.依据所述实时位置信息，得到所述实时位置信息中的观众头部位置；
26.依据所述观众头部位置，计算观众相对真实场景的位置变化信息。
27.在一种实现方式中，还包括：
28.采集所述真实场景所在环境的真实光照信息；
29.依据所述真实光照信息，得到所述虚拟场景所对应的亮度，所述亮度与真实光照信息相匹配；
30.将带有所述亮度的所述虚拟场景与所述真实场景进行融合。
31.第二方面，本发明实施例还提供一种虚实融合装置，其中，所述装置包括如下组成部分：
32.位置采集模块，用于采集观众的实时位置信息；
33.计算模块，用于依据观众的所述实时位置信息，计算观众相对真实场景的位置变化信息；
34.调整模块，用于依据所述位置变化信息，调整虚拟场景相对所述真实场景的位置信息，得到调整位置信息之后的所述虚拟场景；
35.融合模块，用于对调整位置信息之后的所述虚拟场景和所述真实场景进行融合。
36.第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的虚实融合程序，所述处理器执行所述虚实融合程序时，实现上述所述的虚实融合方法的步骤。
37.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有虚实融合程序，所述虚实融合程序被处理器执行时，实现上述所述的虚实融合方法的步骤。
38.有益效果：本发明首先采集观众的实时位置信息，然后去计算观众的实时位置信息与真实场景之间的实时位置变化信息，再根据观众和真实场景之间的位置变化信息去计算应该怎么调整投放出来的虚拟场景相对真实场景的位置。通过本发明得到的调整位置之后的虚拟场景能够准确地仿照真实环境中的场景，从而使得调整位置之后的虚拟场景能够更好地与真实场景进行融合，以给观众营造一个更加接近真实环境的虚实结合场景，从而
提高了观众的体验感。
附图说明
39.图1为本发明的整体流程图；
40.图2为本发明的系统结构俯视图；
41.图3为本发明的系统结构透视图；
42.图4为实施例中的虚实结合系统原理图；
43.图5为本发明实施例提供的终端设备的内部结构原理框图。
44.图中标注符合的含义如下：
45.1-真实场景2-影像载体3-虚拟场景4-人体位置追踪装置
46.5-影像实时处理模块6-观察相机
具体实施方式
47.以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.经研究发现，沉浸式文化娱乐系统，是指借助立体影像系统、多声道音响系统、多自由度机械运动和自动控制系统、软件系统、置景系统、灯光系统、特技系统等子系统，并结合丰富的文化故事内容，为人们提供立体化、多维度、全方位身心感官体验的综合性文化娱乐集成系统。在产业应用领域以黑暗乘骑、4d影院、球幕飞行影院、幻影剧场等为代表，广泛应用在主题公园、科技馆、展览馆等文化和娱乐场景中。沉浸式文化娱乐系统中的虚实结合系统，是指通过环境艺术、计算机图形图像、人机交互和智能传感与投影等技术手段，将虚拟影像与实景装置结合起来，以给观众一个虚实结合的真实感受。现有的虚实结合方法，对观众的位置有严格限制，一旦观众的位置发生改变，那么虚景和实景结合所呈现出来的视觉质量会偏离真实场景，从而降低了观众的体验感。
49.为解决上述技术问题，本发明提供了一种虚实融合方法、装置、设备及存储介质，解决了现有的虚实结合方法因受限于观众的位置而降低了观众体验感的问题。具体实施时，本发明首先采集观众的实时位置信息，然后去计算观众的实时位置信息与真实场景之间的实时位置变化信息，再根据观众和真实场景之间的位置变化信息去计算应该怎么调整投放出来的虚拟场景相对真实场景的位置。本发明能够给观众营造一个更加接近真实环境的虚实结合场景，从而提高了观众的体验感。
50.举例说明，真实场景是一个人体雕塑，虚拟场景是需要投影的画板。观众所需要营造出来的接近真实场景是当观众站在人体雕塑的前方时，看到的是画板位于人体雕塑的前方，且是画板带有纸板的一面(正面)背离人体雕塑，没有带纸板的另一面(反面)朝向人体雕塑，而当观众站在人体雕塑的后方时，希望看到的画板位于人体雕塑的后方，上述从观众的角度看到人体雕塑与画板之间的位置变化才是符合观众在真实环境中应该看到的。为了营造真实环境，刚开始观众位于人体雕塑的前面时，采集观众此时的位置，根据观众此时的位置，将画板投影至人体雕塑的前方，且投影的是画板的正面(即将画板的正面呈现给观众)。当观众移动至人体雕塑的后方时，将画板投影至人体雕塑的后方，且投影的是画板的
反面(即将画板的反面呈现给观众)。本实施例通过计算观众与人体雕塑之间的位置变化信息，调整投影出的画板与人体雕塑之间的位置，以使得画板与人体雕塑位置变化信息符合观众在真实环境中因自己的位置改变而导致的画板与人体雕塑位置变化。
51.示例性系统
52.本实施例是依托于如图2和如图3所示的系统实现虚实融合的，该系统包括真实场景1、影像载体2、虚拟场景3、人体位置追踪装置4、影像实时处理模块5、观察相机6，其中人体位置追踪装置4位于影像载体2所在的平面上，并朝向观众的活动空间，人体位置追踪装置4用于实时追踪观众的头部相对于影像载体2的空间位置。
53.整个虚实融合系统的工作过程如下：
54.真实场景1位于影像载体2的前方，观众在移动的过程中，人体位置追踪装置4实时获取观众的位置，然后将观众的位置传送至影像实时处理模块5，影像实时处理模块5计算出此时的观众与真实场景1之间的相对位置，计算出相对位置之后调整观察相机6输出的虚拟场景3相对真实场景1的位置，之后将虚拟场景3投影在影像载体2上，投影在影像载体2的虚拟场景3再结合真实场景1就实现了虚实融合。调整位置之后的虚拟场景3，使得调整位置之后的虚拟场景3与观众的观看角度相匹配，从而提高了用户的体验感。
55.示例性方法
56.本实施例的虚实融合方法可应用于终端设备中，所述终端设备可为具有图像播放功能的终端产品。在本实施例中，如图1中所示，所述虚实融合方法具体包括如下步骤：
57.s100，采集观众的实时位置信息。
58.本实施例是通过人体位置追踪装置4去实时采集观众的头部位置，也可以通过人体位置追踪装置4去追踪观众的眼睛位置。前者由于头部的体积较大容易追踪，在追踪的过程中不易丢失观众的位置数据。后者追踪眼睛的位置，而眼睛才是真正用于观看虚实结合的，因此直接追踪眼睛的位置能够准确针对眼睛的位置调整输出的虚拟场景3相对真实场景1的位置，从而提高了虚实结合的效果。
59.本实施例中，真实场景1和影像载体2的位置都是固定不动的，而观众又是通过呈现在影像载体2内部的虚拟场景3以及位于影像载体2外部的真实场景1才看到虚实结合的场景。因此观众在移动过程中会始终看向影像载体2的，所以将人体位置追踪装置4放置在影像载体2上能够准确追踪到观众眼睛的位置，从而准确调整投影出来的虚拟场景3与真实场景1之间的相对位置，进而提高了最终的虚实结合的效果。另外，如果不将人体位置追踪装置4放置在影像载体2上，而是放置在其它位置上，因为观众的眼睛所锁定的目标只有虚拟场景3所在的影像载体2，而不是其它位置，因此如果将人体位置追踪装置4放置在其它位置上，将难以追踪观众的眼睛位置。
60.s200，依据观众的所述实时位置信息，计算观众相对真实场景的位置变化信息。
61.本实施例的实时位置信息既可以是观众的头部实时位置，也可以是观众的眼睛实时位置。
62.当根据观众的眼睛实时位置，计算观众相对真实场景的位置变化信息时，眼睛实时位置包括眼睛看向真实场景1的俯仰角度和眼睛偏离真实场景1正前方的角度。
63.举例说明，当观众直视真实场景1时，投影在影像载体2的虚拟场景3也是正面朝向观众的。当观众站在真实场景1左侧时(偏离真实场景1正前方)，在将虚拟场景3投影至影像
载体2上就将虚拟场景3左侧应该有的画面投影至影像载体2上而不是依然将虚拟场景3正面所对应的画面投影至影像载体2上。本实施例根据观众的位置变化而调整投影出来的虚拟场景3的角度，从而使得虚拟场景3能够更好地与真实场景1相结合，提高观众的体验感。
64.s300，依据所述位置变化信息，调整虚拟场景相对所述真实场景的位置信息，得到调整位置信息之后的所述虚拟场景。
65.步骤s300包括如下的步骤s301、s302和s303：
66.s301，依据所述位置变化信息，调整场景输出装置的位置，所述场景输出装置用于输出所述虚拟场景3。
67.本实施例的场景输出装置为观察相机6，当需要模拟出虚拟场景3跟随观众相对真实场景1的移动而移动时，就需要调整场景输出装置的位置，以使场景输出装置跟随观众的移动而移动，从而使得虚拟场景3与在真实环境中的相一致。
68.s302，将调整位置之后的所述场景输出装置所输出的所述虚拟场景3投影至影像载体2上，所述影像载体2与所述真实场景1并列设置。
69.s303，通过所述影像载体2得到调整位置信息之后的所述虚拟场景3。
70.举例说明，影像载体2和真实场景1前后并列设置的，当观众位于真实场景1正前方直视真实场景1时，虚拟场景3位于影像载体2内，且虚拟场景3和真实场景1左右并列设置的关系。当观众移动至真实场景1左侧时，如果是在真实环境中，观众看到的应该是虚拟场景3所呈现出来的物体和真实场景1前后设置，而如果场景输出装置的位置不调整，依然会将虚拟场景3所呈现出来的物体投影到之前在影像载体2的位置处，这样就会导致观众在真实场景1的左侧直视真实场景1时看不到虚拟场景3所呈现出来的物体。为了让观众在真实场景1的左侧直视真实场景1时能够看到虚拟场景3所呈现出来的物体和真实场景1构成前后位置关系，本实施例当观众移动位置时，就会移动场景输出装置的位置，使得移动位置之后的场景输出装置能够将虚拟场景3所呈现的物体投影到影像载体2与真实场景1相交的位置处，这样观众就能够在位于真实场景1左侧时看到虚拟场景3所呈现出来的物体和真实场景1构成前后位置关系，以吻合于在真实环境中应该看到的景象，从而提高了观众的体验感。
71.s400，对调整位置信息之后的所述虚拟场景3和所述真实场景1进行融合。
72.本实施例将虚拟场景3投影至影像载体2上就完成了虚拟场景3和真实场景1的融合，观众看到的就是融合之后的画面。为了使得融合之后的画面更接近真实场景1所在的环境信息，会根据环境中的光照调整虚拟场景3的光照，具体过程包括：采集所述真实场景所在环境的真实光照信息；依据所述真实光照信息，得到所述虚拟场景所对应的亮度，所述亮度与真实光照信息相匹配；将带有所述亮度的所述虚拟场景与所述真实场景进行融合。
73.本实施例不仅会调整虚拟场景3所呈现出来的物体亮度，还会保证真实场景1和所虚拟场景3在空间上是连续的，在表面纹理和质感效果上表现出整体性和统一性，以使得真实场景1和虚拟场景3构成一个完整的场景。
74.本实施例还会采集观众的手势，根据手势，得到与手势所对应的观众欲对虚拟场景3施加的动作，根据动作，使虚拟场景3所呈现的物体做出相应的形状变化。
75.本实施例实现虚实结合的整体过程如图4所示，最终在观众的大脑中呈现出虚实结合的景象。
76.综上，本发明首先采集观众的实时位置信息，然后去计算观众的实时位置信息与
真实场景之间的实时位置变化信息，再根据观众和真实场景之间的位置变化信息去计算应该怎么调整投放出来的虚拟场景相对真实场景的位置。通过本发明得到的调整位置之后的虚拟场景能够准确地仿照真实环境中的场景，从而使得调整位置之后的虚拟场景能够更好地与真实场景进行融合，以给观众营造一个更加接近真实环境的虚实结合场景，从而提高了观众的体验感。
77.示例性装置
78.本实施例还提供一种虚实融合装置，所述装置包括如下组成部分：
79.位置采集模块，用于采集观众的实时位置信息；
80.计算模块，用于依据观众的所述实时位置信息，计算观众相对真实场景的位置变化信息；
81.调整模块，用于依据所述位置变化信息，调整虚拟场景相对所述真实场景的位置信息，得到调整位置信息之后的所述虚拟场景；
82.融合模块，用于对调整位置信息之后的所述虚拟场景和所述真实场景进行融合。
83.基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图5所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种虚实融合方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
84.本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
85.在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的虚实融合程序，处理器执行虚实融合程序时，实现如下操作指令：
86.采集观众的实时位置信息；
87.依据观众的所述实时位置信息，计算观众相对真实场景的位置变化信息；
88.依据所述位置变化信息，调整虚拟场景相对所述真实场景的位置信息，得到调整位置信息之后的所述虚拟场景；
89.对调整位置信息之后的所述虚拟场景和所述真实场景进行融合。
90.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，
诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
91.综上，本发明公开了一种虚实融合方法、装置、设备及存储介质，所述方法包括：采集观众的实时位置信息；依据观众的所述实时位置信息，计算观众相对真实场景的位置变化信息；依据所述位置变化信息，调整虚拟场景相对所述真实场景的位置信息；得到调整位置信息之后的所述虚拟场景；对调整位置信息之后的所述虚拟场景和所述真实场景进行融合。通过本发明得到的调整位置之后的虚拟场景能够准确地仿照真实环境中的场景，从而使得调整位置之后的虚拟场景能够更好地与真实场景进行融合，以给观众营造一个更加接近真实环境的虚实结合场景，从而提高了观众的体验感。
92.另外，本实施例提供的虚实融合方法使得观众的观看位置和时间不受限制，可以在任意位置观看，具有实时展现，虚实结合效果好、沉浸感强等优点。有助于将虚拟场景与真实环境和装置完全融合为一体，在视觉上看到一个扩展了的环境，观众不能分辨何为实何为虚，观众的观看位置和时间不受限制，能够给观众带来强烈的沉浸感。
93.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。