基于Kinect的文化遗产数字化展示装置制造方法
【专利摘要】本发明公开了一种基于Kinect的文化遗产数字化展示装置，包括Kinect设备、主机、显示屏和服务器，所述Kinect设备和显示屏均通过数据线连接在主机上，所述主机和服务器通过互联网连接。通过使用Kinect设备代替原理复杂的鼠标、键盘、触摸屏为主，虽然虚拟头盔、3D眼镜和体感手套等，从而降低了装置的成本，并增强了体验真实感。
【专利说明】基于Kinect的文化遗产数字化展示装置
【技术领域】
[0001]本发明涉及信息处理领域，具体地，涉及一种基于Kinect的文化遗产数字化展示
>J-U装直。
【背景技术】
[0002]目前，现有文化遗产的数字化展示技术主要有基于虚拟现实技术的真实感绘制技 术、沉浸式投影技术、基于多媒体信息集成展示技术的数字博物馆等。其中真实感绘制技术 为用户提供一个由计算机制作的虚拟三维空间场景，用户通过鼠标、键盘等交互操作设备 可实现在场景中的自由移动和变换视角；沉浸式投影技术利用投影仪和相关设备为用户提 供高质量的立体影像与高度仿真的虚拟场景；数字博物馆利用计算机图像处理技术、多媒 体技术和人机交互技术等营造数字化展示系统，用户可通过电子书、视听光盘、网页浏览、 虚拟体验等方式访问文化遗产数字资源。
[0003]上述这些技术中采用的人机交互方式多以传统的交互设备如鼠标、键盘、触摸屏 为主，虽然虚拟头盔、3D眼镜、体感手套等人机交互设备也在逐渐引入，但一方面应用这些 设备的虚拟场景往往需要高昂的开发费用；另一方面用户需要额外穿戴外接设备，这会加 大用户学习使用系统的困难，并降低体验真实感。另外，现有体感交互设备多需要数字摄像 头和体感手套相互配合以提高对于人体姿态响应的精度，而且无法同时实现语音交互。
【发明内容】
[0004]本发明的目的在于，针对上述问题，提出一种于Kinect的文化遗产数字化展示装 置，以实现降低成本的优点。
[0005]为实现上述目的，本发明采用的技术方案是:
一种基于Kinect的文化遗产数字化展示装置，包括Kinect设备、主机、显示屏和服务 器，所述Kinect设备和显示屏均通过数据线连接在主机上，所述主机和服务器通过互联网 连接。
[0006]进一步的，所述主机为电脑。
[0007]进一步的，用户的肢体动作被Kinect设备识别后，用户通过肢体动作对显示屏界 面里的素材进行控制操作；用户的语音数据再Kinect设备监听后通过互联网发送至服务 器的语音识别引擎进行分析处理，并将结果返回主机中的语义库进行最终解析，并依据解 析结果对显示屏中界面里的素材进行控制操作。
[0008]本发明的技术方案具有以下有益效果:
本发明的技术方案，通过使用Kinect设备代替原理复杂的鼠标、键盘、触摸屏为主，虽 然虚拟头盔、3D眼镜和体感手套等，从而降低了装置的成本，并增强了体验真实感。而使用 Kinect设备的语音识别模块，通过语音识别模块对语音的识别和对服务器的调用，实现对 语音命令的识别，从而达到了语音交互的目的。【专利附图】
【附图说明】
[0009]图1为本发明实施例所述的Kinect的文化遗产数字化展示装置的原理框图。 【具体实施方式】
[0010]以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实 施例仅用于说明和解释本发明，并不用于限定本发明。
[0011]如图1所示，一种基于Kinect的文化遗产数字化展示装置，包括Kinect设备、主 机、显示屏和服务器，Kinect设备和显示屏均通过数据线连接在主机上，主机和服务器通 过互联网连接。其中，主机为电脑。用户的肢体动作被Kinect设备识别后，用户通过肢体 动作对显示屏界面里的素材进行控制操作；用户的语音数据再Kinect设备监听后通过互 联网发送至服务器的语音识别引擎进行分析处理，并将结果返回主机中的语义库进行最终 解析，并依据解析结果对显示屏中界面里的素材进行控制操作。
[0012]其具体实施如下:
基于Kinect的文化遗产数字化展示装置由I个或多个Kinect体感交互设备、I台电 脑、I套展示软件组成，其中Kinect设备与电脑连接，置于显示器附近。在电脑上安装完成 并打开展示软件后，用户站在Kinect前方，距离约1.8-3米，通过肢体动作和语音可以实 现对软件中展示素材的多种操作(即如触摸屏或鼠标样对程序进行操作)。主要技术方案如 下:
1、开发一个可在Windows操作系统上运行的具有良好交互界面的展示系统，实现向系 统导入图片等展示素材、在该系统中显示以及退出系统等功能。核心模块为显示模块，可以 实现三维立体翻页等各种动态效果，主要通过调用Windows API中的⑶I+实现。
[0013]2、利用微软研发的Kinect体感交互设备，编制具体的肢体交互动作并设计体感 交互算法，调用适用于Kinect的SDK所提供的景深与图像传感器API，将动作数据与执行操 作绑定，使Kinect能够识别相应的肢体动作。这些肢体动作能够实现对展示素材的打开、 切换，对图片的放大缩小和旋转，对视音频和动画的播放、暂停、快进、回放等操作。
[0014]其中关键为利用KinectGetDepthImage ()、KinectGetSkeleton()等函数实现 Kinect设备对数据流的获取,利用KinectJudgeTrackO判断当前跟踪状态以及控制权，通 过hook KinectSensor.ColorFrameReady事件及类似事件到合适的事件句柄并使用预先定 义的事件模型实现对动作的识别和相应执行操作。
[0015]3、利用微软研发的Kinect体感交互设备和科大讯飞提供的开源语音识别引擎， 设计开发具有简单语义识别功能的素材操作语音库，调用适用于Kinect的SDK所提供的 麦克风阵列控制API和科大讯飞提供的语音识别API，将语音识别数据与执行操作绑定，使 Kinect能够识别用户对于素材操作的常规语音控制命令，包括对展示素材的打开、切换，对 图片的放大缩小和旋转，对视音频和动画的播放、暂停、快进、回放等操作。
[0016]其中关键技术为创建一个〈TKey，TValue〉字典，键是用户说出的词或短语，值是 相关联的用户意图，接着定义上下文相关的短语，其中键是最终用户说出的与意图关联的 词和短语，单个意图可以映射到多个单词和短语，这样便可创建丰富的词汇库，系统可以通 过该方式实现对意思相近的短语实现语义分析并执行对应操作。
[0017]上述平台开发环境为Microsoft Visual Studio 2010,运行环境为.NetFramework 4.0,开发语言为C#,设备驱动程序为微软官方Kinect for Windows驱动程序。
[0018]如图1所示，用户站在Kinect设备与显示屏前方，Kinect设备与显示屏通过数据 连接线与电脑主机连接，电脑主机通过互联网与语音识别引擎相连。
[0019]展示软件安装于电脑主机中，用户的肢体动作被Kinect设备识别后，可对显示屏 中软件界面里的素材进行控制操作；用户的语音数据再被Kinect设备监听后通过互联网 发送至语音识别引擎进行分析处理，并将结果返回电脑主机中的语义库进行最终解析，并 依据结果对显示屏中软件界面里的素材进行控制操作。
[0020]本发明的技术方案中，用户不需要任何穿戴设备，只需要站立在Kinect设备可识 别的有效距离内，就能对显示屏上的文化遗产数字化素材通过肢体动作(例如手势)和语音 实现控制操作。该人机交互方式自然、简单，系统部署成本低。
[0021]最后应说明的是:以上所述仅为本发明的优选实施例而已，并不用于限制本发明， 尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可 以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。
【权利要求】
1.一种基于Kinect的文化遗产数字化展示装置，其特征在于，包括Kinect设备、主机、 显示屏和服务器，所述Kinect设备和显示屏均通过数据线连接在主机上，所述主机和服务器通过互联网连接。
2.根据权利要求1所述的基于Kinect的文化遗产数字化展示装置，其特征在于，所述主机为电脑。
3.根据权利要求1或2所述的基于Kinect的文化遗产数字化展示装置，其特征在于， 用户的肢体动作被Kinect设备识别后，用户通过肢体动作对显示屏界面里的素材进行控制操作；用户的语音数据再Kinect设备监听后通过互联网发送至服务器的语音识别引擎进行分析处理，并将结果返回主机中的语义库进行最终解析，并依据解析结果对显示屏中界面里的素材进行控制操作。
【文档编号】G06F3/01GK103605425SQ201310622387
【公开日】2014年2月26日 申请日期:2013年11月30日 优先权日:2013年11月30日
【发明者】杨裔, 邓毓博, 慕富强, 徐茂文, 周敏 申请人:兰州大学, 上海易可智联信息科技有限责任公司