一种AR沉浸式旅游导览方法、装置、存储介质及终端设备与流程

本发明涉及视觉处理技术领域，尤其涉及一种ar沉浸式旅游导览方法、装置、存储介质及终端设备。

背景技术：

现在的旅游景点，特别是一些文化古迹，历史场景难以重现，体验和所看到的皆是几千年以后的场景，光凭文字导览或导游的讲解，难以想象古人的场景，体验效果也不好。

技术实现要素：

本发明提供了一种ar沉浸式旅游导览方法、装置、存储介质及终端设备，以解决旅游景点中的历史场景无法重现给游客的技术问题，从而利用ar技术合成历史人物三维景象并进行呈现，进而实现游客在参观旅游景点时能重现历史场景，增加游客体验。

为了解决上述技术问题，本发明实施例提供了一种ar沉浸式旅游导览方法，包括：

识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；

根据所述需要构建的人体形象通过3d人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；

将所述合成的三维人体形象通过ar设备显示出来。

作为优选方案，所述根据所述需要构建的人体形象通过3d人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象，包括：

通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3d人体形状；

对所述3d人体形状进行一致形态评估，保留与所述需要构建的人体形象保持一致的所述3d人体形状；

对一致形态的偏离进行每一帧的优化，得到逐帧形态并计算所述3d人体形状的纹理图。

作为优选方案，所述通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3d人体形状，包括：

拟合smpl模型和2d检测，估计每一帧的初始人体形状和3d姿势；

基于拟合结果，将每一帧中的轮廓点与人体模型中的3d点结合起来，根据每个投影光线的对应3d模型点的反向变形模型，变换投影光线；

所有帧的拟合结果进行处理，得到了一个以标准姿势展示的人体形状。

作为优选方案，还包括：

采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令。

作为优选方案，还包括：

采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应。

作为优选方案，还包括：

实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。

作为优选方案，所述运动学算法包括：ik逆向运动学算法和fk正向运动学算法。

本发明实施例还提供了一种ar沉浸式旅游导览装置，包括：

识别判断模块，用于识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；

3d人体合成模块，用于根据所述需要构建的人体形象通过3d人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；

显示模块，用于将所述合成的三维人体形象通过ar设备显示出来；

还包括：

语音识别模块，用于采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令；

动作互动模块，用于采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应；

运动轨迹模块，用于实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述任一项所述的ar沉浸式旅游导览方法。

本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述任一项所述的ar沉浸式旅游导览方法。

相比于现有技术，本发明实施例具有如下有益效果：

本发明利用ar技术合成历史人物三维景象并进行呈现，解决旅游景点中的历史场景无法重现给游客的技术问题，实现游客在参观旅游景点时能重现历史场景，增加游客体验；

通过增加语音识别和动作互动功能，进一步提高游客的体验感；

通过捕捉当期环境中游客的动作识别运动轨迹并进行显示，再进一步提高游客的体验感。

附图说明

图1：为本发明实施例中的ar沉浸式旅游导览方法流程示意图；

图2：为本发明实施例中的ar沉浸式旅游导览装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，本发明优选实施例提供了一种ar沉浸式旅游导览方法，包括：

s1，识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；

s2，根据所述需要构建的人体形象通过3d人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；

s3，将所述合成的三维人体形象通过ar设备显示出来。

在本实施例中，所述根据所述需要构建的人体形象通过3d人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象，包括：

s21，通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3d人体形状；

s22，对所述3d人体形状进行一致形态评估，保留与所述需要构建的人体形象保持一致的所述3d人体形状；

s23，对一致形态的偏离进行每一帧的优化，得到逐帧形态并计算所述3d人体形状的纹理图。

在本实施例中，所述通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3d人体形状，包括：

s211，拟合smpl模型和2d检测，估计每一帧的初始人体形状和3d姿势；

s212，基于拟合结果，将每一帧中的轮廓点与人体模型中的3d点结合起来，根据每个投影光线的对应3d模型点的反向变形模型，变换投影光线；

s213，所有帧的拟合结果进行处理，得到了一个以标准姿势展示的人体形状。

在本实施例中，还包括：

s4，采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令。

在本实施例中，还包括：

s5，采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应。

在本实施例中，还包括：

s6，实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。

在本实施例中，所述运动学算法包括：ik逆向运动学算法和fk正向运动学算法。

请参照图2，相应地，本发明优选实施例还提供了一种ar沉浸式旅游导览装置，包括：

识别判断模块，用于识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；

3d人体合成模块，用于根据所述需要构建的人体形象通过3d人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；

显示模块，用于将所述合成的三维人体形象通过ar设备显示出来；

还包括：

语音识别模块，用于采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令；

动作互动模块，用于采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应；

运动轨迹模块，用于实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。

下面结合具体实施例，对本发明进行详细说明。

3d人体扫描技术，是利用光学测量技术、计算机技术、图像处理技术、数字信号处理技术等进行三维模拟人体表面轮廓的非接触自动测量。包含三个步骤：(1)姿势重建；(2)一致形态评估；(3)帧精炼和纹理图生成。

采用标准可视外壳方法从多个视角捕捉静态形状。穿过图像轮廓点的相机光线可以约束出一个3d人体形状。首先拟合smpl模型和2d检测，估计每一帧的初始人体形状和3d姿势。基于拟合结果，将每一帧中的轮廓点与人体模型中的3d点结合起来，根据每个投影光线的对应3d模型点的反向变形模型，变换投影光线；处理所有帧的拟合结果后，就得到了一个“可视外壳”，即以标准姿势展示的人体形状。

采用基于smpl高效优化单个位移面的方法，一次性拟合所有帧，这要求只能在内存中存储一个模型。他们的方法首次实现从单个运动人体视频(这样我们可以从各个侧面看到这个人)中提取出准确的3d人体模型(包括头发和衣服)。

最后，为了计算纹理和捕捉时间演化细节，第三步中将对一致形态的偏离进行每一帧的优化，从而给出精炼的逐帧形态，以此计算纹理图。

语音识别技术是将计算机接收、识别和理解语音信号转变为相应的文本文件或者命令的技术。它是一门涉及到语音语言学、信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能的交叉学科。在语音识别系统的帮助下，即使用户不懂电脑或者无法使用电脑，都可以通过语音识别系统对电脑进行操作。

互动系统是对游客说出的语音指令和捕捉的动作做出相应的反应，调用其预装的软件对特定的指令或动作做出反应，比如ar播放视频，ar叠加图片。

动作捕捉的实质就是要测量、跟踪并且记录物体在空间中的运动轨迹。大多数运动捕捉设备一般由传感器(固定在物体上的追踪装置)向信号捕捉设备(例如高分辨率的红外相机)提供位置信息，信号捕捉设备再将捕获的位移等信息通过数据传输设备传输到计算机，然后通过对应的数据处理软件进行计算和处理，最后才能在系统中做可视化的回放或者记录。这个过程的核心在于信号捕捉与最后的数据计算处理，以人的动作为例，当前的主流算法都是通过ik(逆向运动学,inversekinematics)和fk(正向运动学，forwardkinematics)进行计算，fk可以比较自然地实现运动状态，ik可以用在程序中实时生成骨骼模型的关键帧，这样就可以使角色根据外界环境实时的作出动作的反应看起来更加真实。

本文采用光学式运动捕捉，他是通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。

典型的光学式运动捕捉系统通常使用6～8个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为"marker"，视觉系统将识别和处理这些标志。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒60帧以上。

如果在表演者的脸部表情关键点贴上marker，则可以实现表情捕捉，大部分表情捕捉都采用光学式。

有些光学运动捕捉系统不依靠marker作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程等。研究人员正在研究不依靠marker而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术，估计将很快投入实用。

光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。marker数量可根据实际应用购置添加，便于系统扩充。

通过本发明技术，可以带上ar眼镜，实现把历史场景和人物再现，比如游览在秦始皇的古迹中。利用ar技术，合成一个3d立体的秦始皇人像，让秦始皇站在你面前处理国事。在游览李白的故居中，利用ar技术，合成一个3d立体的人体，让李白在你面前吟诗作对。在恐龙化石考古景点，可以模拟恐龙在你身边。对3d人物配置一套语音识别和互动系统(目前这样的系统市场上已经有了，智能家居，智能机器人等等)，让他可以回答一些常见的问题，与游客语音互动。甚至还可以捕捉游客的动作，进行简单的动作互动。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的ar沉浸式旅游导览方法。

本发明实施例还提供了一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一实施例所述的ar沉浸式旅游导览方法。

优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序、计算机程序)，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。

所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器也可以是任何常规的处理器，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。

所述存储器主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(smartmediacard，smc)、安全数字(securedigital，sd)卡和闪存卡(flashcard)等，或所述存储器也可以是其他易失性固态存储器件。

需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，上述终端设备仅仅是示例，并不构成对终端设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。