一种TW_AR智能导览系统及导览方法与流程

本发明属于智能导览技术领域，具体涉及一种tw_ar智能导览系统导览方法。

背景技术：

在游览特定的展馆，如博物馆、科技馆、项目窗口展示馆等，或者小型景区，或者产品宣传、推广时，因为路线不清楚，或者误入展厅，找不到自己想要看的展览或者景色而导致游客或浪费了大量的时间，同时也增加了展馆的拥堵。另外，展馆的展品繁多，在不允许频繁接触或翻动展品的情况下，不容易直观全面地了解展品的内容，现有技术中的导览系统大多数只能根据现场游览的内容，再去选择相应的语音或者视频讲解，不能将讲解和现场画面进行很好的匹配、融合，更不能高速实时、更加逼真的将展览相关的音频、图像、视频或者三维场景呈现在游览者的眼前，降低了游览者的参观游览体验。

技术实现要素：

发明目的：针对现有技术存在的不足，本发明的目的是提供一种数据处理、传输速度快、通过ar眼镜高清的将处理后的视频语音数据呈现在游览者眼前的tw_ar智能导览系统及导览方法。

技术方案：为了实现上述发明目的，本发明采用的技术方案如下：

一种tw_ar智能导览系统，包括服务器、路由器和ar导览器终端，所述ar导览器终端和服务器之间通过路由器通信连接，所述ar导览器终端采集现场图像、视频数据，传输至服务器，所述服务器实时高速分析、识别、处理收集到的视频数据，以ar技术融合其他的处理信息，并加载增强到原视频信息中，实时地传输到ar智能导览终端上。

作为优选，所述ar导览器终端为ar眼镜，所述ar眼镜包括摄像头、显示镜片、音频模块、触控板、通信模块和电源模块；

所述摄像头，用于采集现场图像、视频数据；

所述显示镜片，用于显示从服务器获取的处理后的图像、视频信息；

所述音频模块，用于语音识别和播放从服务器获取的音频数据；

所述触控板，用于操作ar眼镜；

所述通信模块，用于与路由器和服务器进行信息双向传输。

作为优选，所述服务器安装有tw_arserver应用程序。

作为优选，所述ar导览器终端和服务器之间通过wifi进行信号传输。

本发明还公开一种tw_ar智能导览方法，主要包括以下步骤：

s1：ar导览器终端连接服务器并进行身份验证和登陆；

s2：ar导览器终端通过摄像头获取游览现场的实时图像、视频数据；

s3：ar导览器终端上传实时图像、视频数据至服务器；

s4：所述服务器接收实时图像、视频数据，并识别、跟踪提前预置于服务器上的识别图，如果服务器识别、跟踪成功，执行步骤s5，如果服务器识别、跟踪不成功，转至步骤s2；

s5：以ar技术融合附加的处理信息，并加载增强到原图像、视频数据信息中。

s6：服务器回传增强现实画面、配音至ar导览器终端；

s7：通过显示屏显示增强现实画面、通过耳机播放配音。

其中，所述服务器内安装有ar数据库，所述ar数据库内预存有游览场馆的识别图及其附加的处理信息。

其中，所述服务器通过tw_arserver应用程序实时识别、跟踪、分析、处理收集到的图像、视频数据；将识别图的特征提取并建成索引树，然后再以实时收到的图像、视频数据为被比对对象，根据索引树的信息，快速分类出结果，实现高速识别，跟踪。

其中，所述步骤5中，附加的处理信息为音频、视频、图片和/或三维场景，服务器通过tw_arserver应用程序把实时跟踪的识别图信息赋值到附加的处理信息上，使之实时“绑定”到收到的图像、视频数据之上，形成增强现实画面。

其中，在所述服务器内安装有tw_arserver服务器软件，在所述ar导览器终端内安装有tw_arclient客户端软件。

有益效果：与现有技术相比，本发明具有以下优点：

本发明的智能导览方法基于智能导览系统的软硬件而实现，本发明的服务器实时接收ar导览器终端上传的图像、视频数据，并通过tw_arserver应用程序实现高速识别和处理，并快速的将处理后的增强现实画面回传到ar导览器终端上，使游览者能实时、快速的进一步深入了解游览内容，将真实世界信息和虚拟世界信息“无缝”集成，给游览者带来超越现实的感官体验。

附图说明

图1是tw_ar智能导览系统拓扑图；

图2是tw_ar智能导览系统信号传输关系图；

图3是tw_ar智能导览系统数据关系图；

图4是tw_ar智能导览系统软件构架图；

图5是tw_ar智能导览系统软件流程图；

图6是tw_ar智能导览系统流程框图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

如图1所示，一种tw_ar智能导览系统，硬件系统包括服务器、路由器和ar导览器终端，软件系统由一套服务器软件server和一套客户端软件client构成，服务器软件server运行于高性能服务器中，客户端软件client分别运行于各ar导览器终端之中。ar导览器终端和服务器之间通过路由器通信连接，ar导览器终端采集现场视频数据，传输至服务器，服务器实时高速分析、识别、处理收集到的视频数据，以ar技术融合其他的处理信息，并加载增强到原视频信息中，实时地传输到ar智能导览终端上。

ar导览器终端为ar眼镜，ar眼镜包括摄像头、显示镜片、音频模块、触控板、通信模块和电源模块；摄像头，用于采集现场视频数据；显示镜片，用于显示从服务器获取的处理后的视频信息；音频模块，用于语音识别和播放从服务器获取的音频数据；触控板，用于操作ar眼镜；通信模块，用于与路由器和服务器进行信息双向传输。本实施例的ar眼镜采用1280x720高清摄像头，1080p显示屏，环绕立体声耳机，android，1.5g系统。

服务器采用高性能服务器，本实施例的服务器的配置为：cpu频率：频率3ghz；cpu核心：四核；cpu线程数：四线程；内存容量：8gb；硬盘接口类型：sata；标配硬盘容量：1tb；网络控制器：on-boardlom1gbe双端口(bcm5720gbelom)；系统：支持microsoftwindowsserver2012。

服务器安装有tw_arserver应用程序。ar导览器终端和服务器之间通过wifi进行信号传输，wifi支持802.11a/b/g/n/ac双频无线网络。

本发明还公开一种tw_ar智能导览方法，主要包括以下步骤：

s1：ar导览器终端连接服务器并进行身份验证和登陆；

s2：ar导览器终端通过摄像头获取游览现场的实时图像、视频数据；

s3：ar导览器终端上传实时图像、视频数据至服务器；

s4：所述服务器接收实时图像、视频数据，并识别、跟踪提前预置于服务器上的识别图，如果服务器识别、跟踪成功，执行步骤s5，如果服务器识别、跟踪不成功，转至步骤s2；

s5：以ar技术融合附加的处理信息，并加载增强到原图像、视频数据信息中。

s6：服务器回传增强现实画面、配音至ar导览器终端；

s7：ar导览器终端通过显示屏显示增强现实画面、通过耳机播放配音。

服务器内安装连接有ar数据库，所述ar数据库内预存有游览场馆的识别图及其附加的处理信息；在所述服务器内安装有tw_arserver服务器软件，在所述ar导览器终端内安装有tw_arclient客户端软件。

步骤4中，服务器通过tw_arserver应用程序实时识别、跟踪、分析、处理收集到的图像、视频数据；将识别图的特征提取并建成索引树，然后再以实时收到的图像、视频数据为被比对对象，根据索引树的信息，快速分类出结果，实现高速识别，跟踪。

步骤5中，附加的处理信息为音频、视频、图片和/或三维场景，服务器通过tw_arserver应用程序把实时跟踪的识别图信息赋值到附加的处理信息上，使之实时“绑定”到收到的图像、视频数据之上，形成增强现实画面。

tw_arserver应用程序是ar增强现实软件平台，tw_ar识别引擎是启迪数字天下自主开发的移动增强现实(ar)开发平台，提供一整套先进的增强现实(ar)技术服务。增强现实(augmentedreality，简称ar)，是一种实时地计算影像的位置及角度并叠加相应图像的技术，这种技术的目标是在屏幕上把虚拟三维世界叠加在现实世界并进行互动。tw_ar识别引擎sdk增强现实开发包旨在让各平台的开发者更方便地开发ar应用和游戏，以及快速集成tw_ar识别引擎云识别服务。在本发明中，tw_arserver应用程序实时高速分析、识别、处理从客户端软件收集到的图像、视频数据，以ar(增强现实)技术融合附加的处理信息，并加载增强到原视频信息中，实时地传输到ar智能导览终端上然后由ar智能导览终端在其显示装置上实时呈现。

本发明的工作原理：

该ar智能导览器以眼镜的方式给使用者现场佩戴，单目高清摄像头实时采集现场图像、视频数据，传输给后台处理的服务器，服务器通过tw_arserver应用程序实时高速分析、识别、处理收集到了的数据，再以ar技术融合更多的处理信息，并加载增强到原图像、视频信息中，再通过wifi信号实时地反馈到ar智能导览器上，通过视网膜显示屏幕现实图像和视频画面，通过音频装置播放配音。

本发明的ar导览器终端作为计算机的网路终端，一台计算机可以通过无线网络连接多台ar导览器终端；该ar导览器终端具有无线局域网高速通讯功能，能实时与服务器互通视频、语音等数据；该ar导览器终端以眼镜的方式给使用者佩戴，集成单目高清摄像头，数据显示以视网膜显示屏集成到眼镜镜片中；使得游览者方便的获取游览场景的具体信息，获取现场导视讲解宣传。

本发明的应用场景：特定的场馆，如科普馆、科技馆、项目窗口展示馆等，作为现场导视讲解宣传工具；小的景区，如特色小镇景区、特色景区、名人故居等，作为专业导览导游工具；作为特定环境下了技术展示，产品宣传、推广等应用。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。