一种基于虚拟现实的文物交互系统及操作方法与流程

本发明属于人机交互技术领域，具体涉及一种基于虚拟现实的文物交互系统及操作方法。

背景技术：

现今博物馆普遍存在一种现象：历史文物资料记载虽然完备，但人们在游览的时候却无法进行翻阅了解；历史文物放在展柜进行展览的模式，让人与历史文物之间产生一种很强的距离感，这让人们直观了解文物历史存在困难。上述问题一直未得到很好的解决，同时，新兴的科技博物馆却因其互动性强、科技色彩浓厚，吸引了越来越多的人，人们发现在人机互动的情况下，不但可以真正把自己融入进去了解知识，还不会产生传统历史博物馆带来的隔阂感。

目前人们提出的方案，一种是对博物馆文物进行三维成像，给用户展现虚拟场景；一种是将博物馆文物信息进行数字化展示，将文物等形成图文知识展现给用户；这些方案要么专注于用户的体验效果，以渲染场景气氛为主旋律，偏离文物主体；要么罗列文物知识，毫无互动感，无法引起人们共鸣。

人们对文物本身的专注是当今博物馆交互系统未能满足的，博物馆的真正意义是呈现历史，解决人们无法近距离接触历史文物的问题才是我们提出本文物交互系统的出发点。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供了一种基于虚拟现实的文物交互系统及操作方法，解决人们无法近距离接触历史文物的问题。

本发明采用以下技术方案：

一种基于虚拟现实的文物交互系统，包括摄像头、人机交互单元和显示单元，所述摄像头设置在所述人机交互单元的下部，用于采集用户的手势动作，所述人机交互单元包括手势识别单元和效果匹配单元，所述手势识别单元用于识别人体的手势动作并发送给所述效果匹配单元，所述效果匹配单元根据所述手势动作生成控制效果，对文物进行虚拟控制并将结果传输至所述显示单元。

进一步的，所述手势识别单元包括数据预处理单元和预测单元，所述数据预处理单元将所述摄像头采集的手势动作视频数据进行处理后发送给所述预测单元，所述预测单元接收处理后的所述视频数据进行手势预测。

进一步的，所述显示单元采用头戴式VR眼镜。

进一步的，所述摄像头、人机交互单元与所述VR眼镜为一体式结构。

一种基于虚拟现实的文物交互系统的控制方法，包括以下步骤：

S1、摄像头采集用户的手势动作视频数据，并将视频数据传输至人机交互单元；

S2、数据预处理单元对所述视频数据进行预处理，再将处理过的数据送入预测单元进行手势判断；

S3、效果匹配单元根据预测的所述手势类型匹配对应的控制效果，使文物产生相应变化效果；

S4、将步骤S3产生的效果传输至显示单元并以虚拟现实的方式呈现文物变化效果。

进一步的，步骤S2中，采用深度递归神经网络进行手势识别，使用预先标定好的手势视频集当作训练数据进行网络参数训练，然后将训练好的网络模型和参数保存至预测单元；在进行实际使用时，数据预处理单元首先对摄像头传来的视频按帧取数据，进行去噪和下采样处理，再将处理过的数据送入预测单元，预测单元使用预训练好的模型和参数进行手势预测，从而识别出当前手势类型。

进一步的，所述控制效果包括放大效果、缩小效果、旋转效果，查看内部结构效果，浏览历史记载效果和文物制作流程效果。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于虚拟现实的文物交互系统，通过在人机交互单元上设置摄像头实时采集用户的视频数据，经过手势识别和效果匹配后，将结果传输至显示单元对文物进行虚拟控制实现交互，将当下最流行的手势识别技术与虚拟现实技术结合起来，提供了一种更加具有“沉浸式”的用户体验。

进一步的，摄像头、人机交互单元和显示单元为一体机式结构，用户无需其余设备即可使用，易于携带、操作简单、设备价格低廉，方便个人用户使用。

本发明还提供一种基于虚拟现实的文物交互系统的控制方法，以文物为主体，通过人机交互单元和显示单元，让用户通过控制文物模型看到文物细节，了解历史知识，又不失娱乐性，通过深度递归神经网络的方式实现手势识别，使得手势识别的抗干扰性得到很大提高，通过深度网络的训练改善了复杂环境下的识别率。

进一步的，预测单元通过调用提前训练好的网络模型和参数对视频流数据进行处理，可以直接得到视频中手势类别。流程简单，预测准确率高

进一步的，本发明围绕现有博物馆存在的问题，摒弃现有的博物馆交互系统注重历史情境渲染、单一罗列历史知识等问题，让用户对历史文物进行深入了解，易于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

【附图说明】

图1为本发明的整体结构框图；

图2为本发明的工作流程图；

图3为本发明的用户使用示意图。

其中：100.摄像头；200.人机交互单元；210.手势识别单元；211.数据预处理单元；212.预测单元；220.效果匹配单元；400.显示单元；300.手势动作。

【具体实施方式】

请参阅图1和图3所示，本发明一种基于虚拟现实的文物交互系统，包括摄像头100，人机交互单元200和显示单元400，所述摄像头100设置在所述人机交互单元200的上部，用于采集用户的手势动作300，所述人机交互单元200包括手势识别单元210和效果匹配单元220，所述手势识别单元210用于识别人体的手势动作并发送给所述效果匹配单元220，所述效果匹配单元220根据所述手势动作生成控制效果，对文物进行虚拟控制并将结果传输至所述显示单元400实现交互。

具体的，显示单元400采用头戴式VR眼镜，在用户使用时，戴上VR眼镜后选择文物，根据想要对文物进行的控制做出手势动作，摄像头100首先采集用户手势动作视频数据，接着人机交互单元200便通过一系列数据处理分析预测出用户手势类型，并匹配相应文物效果，最后将结果传输至VR眼镜进行显示，实现虚拟现实下的人与文物交互。

其中，人机交互单元200包括手势识别单元210和效果匹配单元220，手势识别单元210包括数据预处理单元211和预测单元212。

上述人机交互单元200通过深深度递归神经网络进行手势识别，数据处预理程序2111首先对摄像头传来的视频按帧取数据，进行去噪预处理和下采样处理，再将处理过的数据送入入测单元进行手势预测，从而预测出手势类型。

上述人机交互单元200通过效果匹配单元220进行手势动作效果匹配，效果匹配单元能够根据预测的手势类型匹配相应的文物效果，使文物产生相应的变化效果。文物效果包括文物放大效果、文物缩小效果、文物进行旋转效果，查看文物内部结构效果，浏览文物历史记载效果和浏览文物制作流程效果。例如，若判断出用户做出将文物顺时针旋转的手势动作，则将文物进行顺时针旋转，使得用户可以观察到文物另一面。其中，手势动作与文物产生的变化效果一一对应，即包括将文物进行放大、缩小、逆时针旋转、顺时针旋转、查看文物内部结构效果、浏览文物历史记载效果和浏览文物制作流程效果的手势动作。

上述人机交互单元200将生成的结果传输至VR眼镜进行显示，以虚拟现实的方式呈现文物效果。

需要说明的是，虽然上述将本发明的基于虚拟现实的文物交互系统分为三大模块，并细分为各工作单元，但本发明将各部分集成设计，所述摄像头100、人机交互单元200与所述VR眼镜为一体式结构，用户使用的为一体机设备。

请参阅图2所示，本发明还提供一种基于虚拟现实的文物交互系统的控制方法，包括以下步骤：

S1、摄像头采集视频数据。

用户使用时，首先戴上VR眼镜选择文物，再根据想要对文物进行的控制做出手势动作，摄像头采集用户的手势动作视频数据，并将数据通过有线连接传输至人机交互单元；

S2、人机交互模块通过视频信息预测出用户手势类型。

数据预处理单元对所述视频数据进行预处理，首先对摄像头传来的视频按帧取数据，进行去噪和下采样预处理，再将处过的数据送入预测单元，预测单元通过调用已训练好的模型和参数进行手势预测，从而预测出手势类型；

具体为，采用深度递归神经网络进行手势识别，首先使用3层卷积神经网络进行初步特征提取，然后将特征拉成一列送入时序为10的4层长短时记忆网络得到最终的视频特征，最后经过softmax分类器进行分类，得到最终分类结果，即手势类别。使用预先标定好的手势视频集当作训练数据进行训练，得到网络参数，然后将训练好的网络模型和参数保存至预测单元；在进行实际使用时，数据预处理单元首先对摄像头传来的视频按帧取数据，进行去噪和下采样处理，再将处理过的数据送入预测单元，预测单元使用预训练好的模型和参数进行计算，即可得到当前手势类型。

S3、根据预测的手势动作匹配文物效果。

效果匹配单元根据预测的所述手势类型匹配对应的控制效果，效果匹配单元能够根据预测的手势类型匹配相应的文物效果，使文物产生相应的变化效果，例如，若判断出用户做出将文物放大的手势动作，则将文物进行放大变化，使用户能够更清晰的观察文物表面细节；

S4、VR眼镜显示单元显示VR效果。

将上述处理结果传输至VR眼镜，以虚拟现实的方式呈现文物效果。

整个过程循环工作。

其中，摄像头和VR眼镜分别通过人机交互单元的外扩接口进行连接，由人机交互单元统一供电。

用户具体使用如下：

请参阅图3所示，本发明的基于虚拟现实的文物交互系统，摄像头100直接安装在人机交互单元200上，镜头朝下，以采集到用户的手势动作300为准。

用户使用时，只需和使用VR眼镜设备的方法一致即可，戴上设备，做出如下动作：

左手从左划向右，对应逆时针旋转文物模型；

右手从右划向左，对应顺时针旋转文物模型；

双手合并从内向外扩张，对应放大文物模型；

双手手心相对从外向内推进，对应缩小文物模型；

手从上向下划，对应劈开文物模型，查看内部结构等。

设备整体集成度高，使用方便。

需要说明的是，上述描述的不同手势动作对应不同效果为对本发明的部分示例，并不用于限制本发明。需要说明的是，上述工作流程虽划分为各步骤，但本发明考虑用户体验，集成为一体机，用户使用时为实时互动，过程流畅，并无步骤感；同时，上述工作流程仅为一种本发明的使用案例，应了解，相关技术人员在此基础上进行的若干改进或变形，都应视为本发明的保护范围。