专利名称：一种沉浸式隧道型多媒体交互展示系统及方法
一种沉浸式隧道型多媒体交互展示系统及方法本发明涉及多媒体系统及娱乐系统技术领域，具体的说是一种沉浸式隧道型多媒体交互展示系统及方法。目前，随着多媒体技术及自动化控制技术的迅猛发展，新的音视频播放系统和自动化控制系统不断涌现并大量的运用在多媒体展示及娱乐项目中，服务于广大用户。然而， 在技术手段和用户欣赏品味不断提高的同时，现有的多媒体展示方式却显得日趋落后。在国内外的同类技术中，还没有涉及到人机交互式隧道型多媒体展示系统的技术，特别是沉浸式的展示手段始终局限于展厅型及剧场型，无法满足人们对于多媒体展示系统求新、求奇、求刺激的欣赏需求。本发明的目的就是要弥补现有技术的空白，提供一种能有更好用户体验的，有更先进多媒体展示方式的沉浸式隧道型多媒体交互展示系统及方法。为实现上述目的设计一种沉浸式隧道型多媒体交互展示系统，包括隧道式屏幕、 播放系统、音系统、人机交互系统、演示装置、机械步道系统，其特征在于隧道式屏幕中央位置设有自动可调速机械步道，隧道式屏幕为背投屏幕，隧道式屏幕内部中央位置上面设有特效环境演示装置，投影机位于隧道式屏幕的外侧，隧道式屏幕内部左侧上端或右侧上端设有动作传感器，机械步道的左右两侧外设有音响装置，所述的特效环境演示装置由继电器信号线连接特效服务器信号线，特效服务器置由RJ45信号线连接交换机信号线，所述的动作传感器由同轴电缆信号线连接动作捕捉服务器信号线，动作捕捉服务器由RJ45信号线连接多媒体内容生成服务器信号线，所述的投影机由多模光纤信号线连接视频播放器信号线，视频播放器由RJ45信号线连接交换机信号线，所述的音响系统由音频信号线连接音频播放器，音频播放器由RJ45信号线连接交换机信号线，所述的机械步道由串口信号线连接机械步道控制器信号线，机械步道控制器由RJ45信号线连接交换机信号线，交换机由 RJ45信号线连接交互式多媒体内容生成服务器信号线。所述的隧道式屏幕是市售的背投幕。所述的投影机是市售的工程投影机。所述的音响系统的声卡是市售的声道数字音频控制卡。所述的动作传感器是市售的超声波传感器。所述的特效服务器上设有DMX512板卡或串口控制板卡。一种沉浸式隧道型多媒体交互展示系统的方法，其特征在于该方法包括以下步骤a、运动传感器向动作捕捉服务器发送动作捕捉信号，动作捕捉服务器通过串口协议接受动作捕捉信号，接受信号后转为TCP数据的用户交互请求发送至交互式多媒体内容生成服务器；b、交互式多媒体内容生成服务器判断特效内容是否与用户交互请求内容相关若不相关，则特效触发命令预存入特效服务器中，等待时间码作为触发条件，触发后特效服务器产生特效触发信号并发送至特效设备；若相关，则特效服务器需要实时触发命令来产生特效触发信号并发送至特效设备；C、交互式多媒体内容生成服务器通过动作捕捉服务器发送来的用户交互请求实时产生的视频内容和SMPTE时间码通过TCP协议发送至视频播放器，实时产生的互动内容与视频服务器中已有的内容相结合通过光纤将视频播放器产生的视频信号发送至显示设备；d、交互式多媒体内容生成服务器通过动作捕捉服务器发送来的用户交互请求实时产生的音频内容和SMPTE时间码通过TCP协议发送至音频播放器，音频播放器转为AC-3 信号的音频信号发送至音响系统；e、交互式多媒体内容生成服务器发送SMPTE时间码至机械步道控制器上，机械步道发送串行信号至步道上来控制步道的运行速度；f、交互式多媒体内容生成服务器、特效服务器，动作捕捉服务器、视频播放器、音频播放器、机械步道控制器通过网线连接到交换机上组成一个局域网。所述的交互式多媒体内容生成服务器、特效服务器，动作捕捉服务器、视频播放器、音频播放器、机械步道控制器的硬件平台均为Dell Precision T3500工作站或其他配置符合要求的PC。本发明的多媒体展示系统通过对一些列子系统的有机组合视频播放系统在隧道式的屏幕上播放交互式视频内容；特效系统根据音频展示内容，作出相应的特技效果，机械步道带领用户完整的、有效率的参观整套的参观，所有的子系统在一个控制系统内协调工作，为用户提供了非比寻常的奇妙体验，并且，本发明可根据实际场地的大小，隧道形状可扩展为任意形状，如环型、s型，应用范围更广。
图1是本发明的截面结构图；图2是本发明的模块组成及数据通信流程图；图3是本发明的媒体系统工作流程图；图中1、显示设备2、特效设备3、隧道式屏幕4、运动传感器5、音响系统6、机械步道。结合附图对本发明做进一步说明，这种装置的制造技术对本专业的人来说是非常清楚的。如图1所示，用户站立在机械步道上，随着机械步道的平缓运行，用户得以以一定的速度游览整个展示系统，在本实施例中，使用的是由富士达电梯公司生产的自动可调速机械步道；隧道式屏幕上播放全视角视频内容，结合环绕立体声系统，给用户一种沉浸在虚拟环境中的主观体验，其中，隧道式的屏幕可以使用多种显示技术，包括主动光源屏幕(LED或LCD屏幕墙)，正面投影或背面投影技术，这取决于现场条件限制和系统建设预算，不管使用何种显示技术，最终都需要将隧道式屏幕全部由图像铺满，本实例中采用的是背投幕技术，隧道式式屏幕使用的是丹麦DNP公司生产的knith-200背投幕，这种幕是一种菲涅尔透镜幕，屏幕漫射效果好，增益可以达到4. 0，投影机则使用的是三菱电机生产的 GU-8800工程投影机，两台投影机可以覆盖长度约5米的隧道幕；音响系统相对有较大的施工自由度，可以放置于屏幕后，也可以放置于步道两侧，在本实例中，我们使用的是德国坦克这家专业声卡厂商生产的DMX 6Fire LT5. 1声道数字音频控制卡，音响系统使用的是 JBL公司的音响系统；动作传感器用于捕捉用户的互动需求，当用户在运动捕捉区做出动作后，这一交互请求将被及时捕捉并交给实时成像系统，用以生成响应用户动作的画面并显示在隧道式屏幕上，同时音响系统也做出响应反应，这就提供给用户极强的交互感受，在本实施例中，动作传感器使用的是由昆山顺诺仪器有限公司生产的URM37V3. 2超声波传感器，该传感器能够通过距离的变化捕捉用户的动作并实时将电平信号发给交互服务器。特效系统作为展示系统的一个重要组成部分，在本系统中起到烘托气氛的作用，可以为烟雾， 喷水或气泡等，具体使用情况取决于展示的内容，特效系统应与展示的音视频内容紧密结合，才能发挥其最大的效果，本实例中，使用了由上海中奥特效设备公司生产的雨雾机及烟雾机，这些特效设备的连接通讯使用到了 DMX512协议。隧道的形状可以根据创意扩展为任意形状，如环形或S型，可以为本专利的应用提供更好的用户体验。如图2、图3所示，本实施例中交互式多媒体内容生成服务器发送给特效服务器的数据可以为纯时间码，也可以为时间码+特效出发命令，这取决于特效内容是否也需要与用户交互相关。若不相关，特效触发指令脚本可预存入特效服务器中，等待时间码作为触发条件；若相关，特效服务器就需要实时触发指令来触发特效装置。交互式多媒体内容生成服务器通过交互服务器发送来的交互请求实时生成音视频内容并分发到音视频播放器中，由于本系统可能需要若干音视频播放设备协同工作，因此，时间码作为音视频同步播放最有效的手段需要同内容一同发送给音视频播放器。机械步道控制器需要一个与音视频同步时间码来控制运行速度，在系统实际应用的时候，也可以通过时间码来控制步道的运行速度或步进方式来完成一些特殊的效果需求。交互式多媒体内容生成服务器，特效服务器，动作捕捉服务器，视频播放器，音频播放器，机械步道控制器，硬件平台均为Dell Precision T3500工作站，这些服务器通过 RJ45接口的网线连接到一台CISCO WS-(^960-24TTL交换机，从而组成一个局域网。交互式多媒体内容生成服务器发送给特效服务器的时间码为SMPTE时间码，特效触发命令为普通文本数据，时间码与触发命令均通过TCP协议发送至特效服务器，特效服务器上安装有一块DMX512板卡，通过RS485接口与特效设备连接，在收到特效触发指令后发送DMX512 特效控制信号来控制所有的特效设备；动作捕捉服务器使用RS232接口与超声波传感器相连接，通过串口协议来读取用户的交互请求，并转换为TCP数据发送给交互式多媒体内容生成服务器；在视频服务器中，已经存储了一定的视频内容，交互式多媒体内容生成服务器则将实时生成的互动视频内容和SMPTE时间码一并通过TCP协议发给视频服务器，实时的互动视频内容与视频服务器中已有的内容相结合通过光纤将高清视频内容发送到投影机上；音频服务器工作流程与视频服务器工作流程基本相同，只是它处理的是音频数据，音频服务器通过自身携带的专业级5. 1声道声卡通过双芯屏蔽电缆将AC-3信号发送至音响系统；机械步道控制器与机械步道的连接主要靠RS232协议，通过串行信号控制步道的运行速度，交互式多媒体内容生成服务器同样是发送SMPTE时间码给机械步道控制器来控制它的工作。
权利要求
1.一种沉浸式隧道型多媒体交互展示系统，包括隧道式屏幕、播放系统、音系统、人机交互系统、演示装置、机械步道系统，其特征在于隧道式屏幕中央位置设有自动可调速机械步道，隧道式屏幕为背投屏幕，隧道式屏幕内部中央位置上面设有特效环境演示装置，投影机位于隧道式屏幕的外侧，隧道式屏幕内部左侧上端或右侧上端设有动作传感器，机械步道的左右两侧外设有音响装置，所述的特效环境演示装置由继电器信号线连接特效服务器信号线，特效服务器置由RJ45信号线连接交换机信号线，所述的动作传感器由同轴电缆信号线连接动作捕捉服务器信号线，动作捕捉服务器由RJ45信号线连接多媒体内容生成服务器信号线，所述的投影机由多模光纤信号线连接视频播放器信号线，视频播放器由RJ45 信号线连接交换机信号线，所述的音响系统由音频信号线连接音频播放器，音频播放器由 RJ45信号线连接交换机信号线，所述的机械步道由串口信号线连接机械步道控制器信号线，机械步道控制器由RJ45信号线连接交换机信号线，交换机由RJ45信号线连接交互式多媒体内容生成服务器信号线。
2.如权利要求1所述的一种沉浸式隧道型多媒体交互展示系统，其特征在于所述的隧道式屏幕是市售的背投幕。
3.如权利要求1所述的一种沉浸式隧道型多媒体交互展示系统，其特征在于所述的投影机是市售的工程投影机。
4.如权利要求1所述的一种沉浸式隧道型多媒体交互展示系统，其特征在于所述的音响系统的声卡是市售的声道数字音频控制卡。
5.如权利要求1所述的一种沉浸式隧道型多媒体交互展示系统，其特征在于所述的动作传感器是市售的超声波传感器。
6.如权利要求1所述的一种沉浸式隧道型多媒体交互展示系统，其特征在于所述的特效服务器上设有DMX512板卡或串口控制板卡。
7.一种沉浸式隧道型多媒体交互展示系统的方法，其特征在于该方法包括以下步骤a、运动传感器向动作捕捉服务器发送动作捕捉信号，动作捕捉服务器通过串口协议接受动作捕捉信号，接受信号后转为TCP数据的用户交互请求发送至交互式多媒体内容生成服务器；b、交互式多媒体内容生成服务器判断特效内容是否与用户交互请求内容相关若不相关，则特效触发命令预存入特效服务器中，等待时间码作为触发条件，触发后特效服务器产生特效触发信号并发送至特效设备；若相关，则特效服务器需要实时触发命令来产生特效触发信号并发送至特效设备；C、交互式多媒体内容生成服务器通过动作捕捉服务器发送来的用户交互请求实时产生的视频内容和SMPTE时间码通过TCP协议发送至视频播放器，实时产生的互动内容与视频服务器中已有的内容相结合通过光纤将视频播放器产生的视频信号发送至显示设备；d、交互式多媒体内容生成服务器通过动作捕捉服务器发送来的用户交互请求实时产生的音频内容和SMPTE时间码通过TCP协议发送至音频播放器，音频播放器转为AC-3信号的音频信号发送至音响系统；e、交互式多媒体内容生成服务器发送SMPTE时间码至机械步道控制器上，机械步道发送串行信号至步道上来控制步道的运行速度；f、交互式多媒体内容生成服务器、特效服务器，动作捕捉服务器、视频播放器、音频播放器、机械步道控制器通过网线连接到交换机上组成一个局域网。
8.如权利要求2所述的一种沉浸式隧道型多媒体交互展示系统的方法，其特征在于所述的交互式多媒体内容生成服务器、特效服务器，动作捕捉服务器、视频播放器、音频播放器、机械步道控制器的硬件平台均为Dell Precision T3500工作站或其他配置符合要求的 PC。
全文摘要
本发明涉及多媒体娱乐系统技术领域，具体的说是一种沉浸式隧道型多媒体交互展示系统及方法，包括屏幕、播放系统、音响系统、人机交互系统、演示装置、机械步道和舞台，舞台中央设机械步道、左右设隧道式背投屏幕、正上方设特效设备、前方左右设投影机、左上或右上设动作传感器，机械步道左右外设音响装置，交互式多媒体内容生成器由信号线分别连接特效服务器、动作捕捉器、视频播放器、音频播放器和机械步道控制器，特效演示装置由信号线连接特效服务器，动作传感器由信号线连接动作捕捉服务器，显示设备由线连接视频播放器信号线，音响系统由信号线连接音频系统，机械步道由信号线连接机械步道控制器，具有更有效、能更好的提供客户体验的特点。
文档编号G11B31/00GK102339629SQ20111013856
公开日2012年2月1日 申请日期2011年5月26日 优先权日2011年5月26日
发明者上官思楠, 徐臻峰 申请人:上海德理孚自动化系统有限公司