专利名称：基于图像识别技术的导览方法及设备的制作方法
基于图像识别技术的导览方法及设备
技术领域：
本发明涉及导览方法和所用的设备，特别是一种基于PDA个人数字处 理技术、采用图像识别技术、能够自动检索获取相关信息，实现信息、影 音自动播放的导览方法，和实现该方法的手持设备。背景技术：
在参观展览、展示会时，人们往往会在琳琅满目的展位和展品前不知 所措，容易遗漏一些自己想看的展品，经常出现对自己感兴趣的展品由于 人多或者宣讲人的素质问题而达不到自己的愿望，因此研究一种可方便人 们有选择地参观展品的导览机，提高效率、节省时间时十分必要的。
导览机作为一种电子导游设备，已广泛应用于博物馆、展示会、博览 会、旅游景点等场所。目前，市场上有多种交互式导览机，这类设备可供 参观者在经过展品或景点时实时调阅相关导览数据，例如天津恒达科技有 限公司生产销售的第五代语音导览机。这类设备都需要人为操作，而且操 作程序可能较为繁瑣，对于年老或年幼使用者可能存在使用困难。
最常见的有基于无线射频辨识技术的导览机(例如中国专利申请CN 200710046263.6公开的" 一 种博物馆导览终端及4建盘布局"、CN 200610148802.2公开的"导游导览系统中信号交叉覆盖时的处理方法")， 使用时，由终端自动发出请求信号，系统按用户需要提供数据。这类产品 普遍存在的缺陷是由于射频技术有距离的限制，而且相互间容易干扰，所 以使用范围受到一定的限制。另一方面用户操作比较频繁，在人群中的适 应性较差。
或者基于条码扫描识别方式的导览机。它具备条码识别和扫描功能， 要求使用者将终端对准展品或景点条码进行扫描后，系统检索出相关信息， 然后进行播放讲解。这类产品能够有效克服干扰问题，但对有效使用距离的要求更加严格，只能够在很短的距离内实现有效扫描。因此若参观人数 较多，容易造成展品或景点拥挤，则系统实时性会大受影响。
还有基于红外收发技术的导览机，通过红外收发射电路启动编码接收 电路，接收编码后提取语音信息进行播放。这种产品成本较高，且相邻展 品之间极易产生干扰，其干扰程度甚至严重于基于无线射频辨识技术的导 览机。
鉴于上述产品所存在的缺陷及市场需求，本发明的申请人精心研究， 终于设计出一种崭新的基于图像识别技术的导览方法，和相关设备。
发明内容
[要解决的技术问题〗
本发明的目的是解决导览设备在使用时存在操作频繁、干扰严重等问 题，提供一种能够对展品或景点进行自动识别、减少使用者操作频率、尽 可能减少干扰以提高实用性的手持式导览终端。
为了实现上述目的，本发明提供一种基于图像识别技术的导览设备的
实现方法，包括以下步骤
(1) 对所有导览客体进行拍摄，获得客体图像信息；
(2) 通过步骤(1)的图像信息建立客体信息数据库，所述数据库装 载于存储设备中；
(3) 将所有导览客体的导览信息对应装载到步骤(2)所述的数据库
中；
(4) 使用时，用户对需要获得导览信息的客体进行拍摄，获得该客体 的图像信息；
(5) 在所述数据库中检索出与步骤(4)获得的图像信息相匹配的图 像信息，从数据库中获取步骤(4)的客体的导览信息；
(6) 将步骤(5)获得的导览信息输出给用户。
在本发明范围中，"导览客体"指用户在参观展览、陈列、景区时，需 要从导览机获得信息的对象，包括但不限于展品、陈列品、景点。在本发明范围中，"导览信息"指用户在参观展览、陈列、景区时，需 要通过导览机获得的客体信息，包括但不限于展品、陈列品、景点的文字 记录、语音讲解、图片展示等。
在上述方法中，步骤(5)中所述检索方法是现有的图像检索方法，优 选地可以选用多特征融合的直线提取算法、基于小波变换的边缘检测方法 或高速的搜索匹配算法的一种或多种算法的结合。
已知的多特征融合的直线提取算法可参考《一种基于多特征融合的直
线提取算法》，席学强等人，《计算机工程与应用》2002年第38巻第01期；
《基于多尺度分析的红外图像边缘特征融合算法》，陈晓钟等人，《电子技 术应用》2001年第27巻第05期；
已知的基于小波变换的边缘检测方法可参考《基于小波变换的图像识 别算法》，张振宇等人，《计算机应用》2007年第27巻第12期；或《基于 小波变换的图像边缘检测方法》，唐晶磊等人，《兵工自动化》2005年第24 巻第06期。
已知的高速的搜索匹配算法可参考《多分辨逐步消除快速匹配算法》， 马社祥等人，《计算机应用》2006年第26巻第2期；或《基于移位加速和 TCAM的高速多模式匹配算法》，贾明志等人，《计算机工程》2008年34 巻16期，或《基于图像中心矩的快速模板匹配算法》，沈海滨等人，《计算 机应用》2004年第24巻第11期。
为了实现上述方法，本发明还提供一种导览机，它包括外壳、安装在 外壳中的显示模块、音频模块、电源模块及控制面板，另外
所述外壳上装有能够获取导览客体图像信息的摄像头；
所述外壳中内设有装载了数据库的存储设备，所述数据库包含导览客 体的图像信息和导览信息；
所述外壳中内设有能够对导览客体的图像信息与所述数据库中的数据 进行检索匹配运算的微处理器，设有为其他模块提供驱动的协处理器，所 述微处理器分别与所述存储设备、显示模块、音频模块、协处理器、电源 模块及控制面板相连，所述外壳中内设有能够将检索获得的客体信息进行播;改的电路。
作为上述导览机的 一种优选的具体实施方式
，它还包括与所述存储设
备相连的数据输入输出接口 ，例如USB接口 。通过数据输入输出接口可以
实现数据的装载和更新。
作为一种优选的具体实施方案，所述微处理器具备浮点DSP内核与 ARM9内核的双核结构，例如选用OMAP-Lx系列微处理器，
利用浮点DSP (Digital Signal Processor)可以实时快速地实现各种数 字信号处理算法。DSP的特点主要包括快速的运算速度，具有低开销甚至 无开销的循环及跳转的硬件支持，快速的中断处理和硬件I/O支持，具有 在单周期内操作的多个硬件地址产生器，可以同时执行多个操作任务，支 持流水线操作，使取值、译码和执行等操作可以重叠执行。数字图像处理 在很大程度上是整个数字视频技术的关键。利用DSP数字图像处理可达到 很高的质量。
ARM9内核在高性能和低功耗特性方面提供最佳的性能。具有以下特 点5级整数流水线，指令执行效率更高；提供1.1 MIPS/MHz的哈佛结构； 支持32位ARM指令集和16位Thumb指令集；支持32位的高速AMBA 总线接口；全性能的MMU,能够支持Windows CE、 Linux、 Palm OS等多 种主流嵌入式操作系统；支持数据Cache和指令Cache,具有更高的指令 和数据处理能力。
上述协处理器采用可编程逻辑器件实现，如通过Altera或Xilinx销售 的FPGA ( Field - Programmable Gate Array,即现场可编禾呈门阵列)实现。 FPGA是专用集成电路(ASIC )中的一种，其内部包括可配置逻辑模块CLB (Configurable Logic Block )、输出输入才莫块I/OB (Input Output Block)和 内部连线(Interconnect)三个部分。用户可对FPGA内部的逻辑模块和I/O 模块重新配置，以实现用户的逻辑。用户对FPGA的编程数据放在Flash 芯片中，通过上电加载到FPGA中，对其进行初始化。也可在线对其编程， 实现系统在线重构。FPGA开发属于现有技术，目前已广泛应用到多个领 域如通讯、 一见频、信息处理等。上述摄像头可选用CCD摄像头。作为现有技术，其结构一般包含感光 二极管、移位寄存器(Shift Register,用于暂时储存感光后产生的电荷)、 传输寄存器(Transfer Register,用于暂时储存并行积存器的模拟信号并将 电荷转移放大)、信号放大器(用于放大微弱电信号)、数模转换器(将放大 的电信号转换成数字信号)。在此不做赘述。 [有益效果]
由于采用基于图像识别技术的导览方法和设备，本发明能够彻底解决 现有技术中存在容易受干扰、人为操作频繁复杂、设备受干扰后音质差、 设备、系统成本高昂等问题，大大提高了导览系统的性能，而且便于扩大 其使用范围，而且上述设备便于更新维护，可学习性能更好。说明书附图
图1为本发明导览机的结构图； 图2为本发明导览机的操作流程图。
具体实施方式
通过下面给出的本发明具体实施例可以进一步清楚地理解本发明，但 这些实施例不是对本发明保护范围的限制。
如图l所示，硬件部分包括采用9VDC供电的CCD摄像头，以TI公 司的C674x浮点DSP内核与ARM9内核的双核结构OMAP-L137应用处理 器作为主处理器，通过片上ARM9可充分利用浮点DSP支持高强度的实时 图像识别、匹配检索处理计算，同时让ARM9负责非实时任务，包括对各 个模块的管理控制，任务分配，界面显示，信息查询，数据存储等，利用 FPGA作为协处理器，将各个模块的驱动集成到一块FPGA芯片中完成， 以3.7英寸液晶触摸屏作为显示模块，连同音频模块和电源一起安装在外 壳中。采用WinCE5.0操作平台、VC6.0环境下，用C十+语言进行开发。
本发明的图像识别技术是建立在图片数据库的基础上，结合多种图像 识别算法，采用多媒体技术和神经网络智能识别技术相结合，应用多特征 融合的直线提取算法、基于小波变换的边缘检测方法、高速的搜索匹配算 法，通过特征库进行一级检索，在一级检索的基础之上采用次特征匹配的检索算法进行二级检索，最终使得图像识别技术在实际应用中取得良好效果。
以古剑展馆为例，建立展品特征数据库和展品影音数据库，所述数据 库的结构是多层次的数据库结构，展品特征数据库中涉及的展品信息包括 展品一级特征信息、展品属性特征信息、展品二级特征信息，其中一级特
征信息是边缘特征；属性特征信息是直线属性；二级特征信息是紋理特征。 展品影音据库中涉及的展品信息包括展品图像、展品文字介绍、展品影音 信息。依据展品特征数据库完成展品识别，此后链接到展品影音数据库， 调出相应的展品影音信息和文字信息进行播放。
每件展品的图像信息采用数据库的方式存放，如图2所示，当用户手 持本导览机在展馆中走到某一展品前，操作导览机对展品进行拍摄，导览 机对所得图像进行检索、识别后，自动读取存储设备中展品的影音信息， 进行播音或播放。可见，本发明的导览设备操作更加简单，在人群中适应 性良好。
本实施例中采用8G的SDRAM作为内部存储空间，每件展品的影音 导览信息更长更丰富，采用汉语、英语、法语、日语、德语等多国语言进 4亍介绍，默i人汉语介绍。
考虑到CCD摄像头的有效距离和角度，对展品进行拍摄识别时，要求 用户在拍摄时从正面150度、20米的范围内对预识别目标进行拍摄，就可 以快速准确的识别出目标展品，并自动进行影音播放。采用CCD摄像装置 使导览机克服相邻展品的干扰问题，只要目标展品的摄像范围包含中心点 就可以排除干扰，将目标展品迅速的识别出来。由于允许拍摄的有效范围 较大，本发明能够有效克服展品前拥挤的问题。
本发明利用液晶触摸屏，实现手指化操作，使用更方便，内设立体声 扬声器，保持完美立体音质。
本发明尤其适用于展品摆放较密集的博物馆、展览厅，对于旅游景点 的导览效果也很理想。
本发明通过稳定可靠的图像识别系统，利用双核处理器为导览系统提供高速稳定的硬件平台，保障图像识别系统的可靠运行，有效解决传统导
览系统中干扰问题。利用CCD摄像装置拍摄目标展品，图片信息自动存储 的特定内存空间，发出信号通知图像识别系统去访问特定内存，调出图片 信息进行分析处理，得出分析结果后，转向影音数据库调出目标展品的影 音信息并驱动播放装置开始播放。
权利要求
1、基于图像识别技术的导览设备的实现方法，其特征在于包括以下步骤(1)对所有导览客体进行拍摄，获得客体图像信息；(2)通过步骤(1)的图像信息建立客体信息数据库，所述数据库装载于存储设备中；(3)将所有导览客体的导览信息对应装载到步骤(2)所述的数据库中；(4)使用时，用户对需要获得导览信息的客体进行拍摄，获得该客体的图像信息；(5)在所述数据库中检索出与步骤(4)获得的图像信息相匹配的图像信息，从数据库中获取步骤(4)的客体的导览信息；(6)将步骤(5)获得的导览信息输出给用户。
2、 根据权利要求1所述的实现方法，其特征在于步骤(3)所述的装 载到数据库中的导览信息包括展品和/或陈列品和/或景点的文字记录和/或 语音讲解和/或图片展示。
3、 根据权利要求1所述的实现方法，其特征在于步骤(5)中所述检 索方法是多特征融合的直线提取算法、基于小波变换的边缘才企测方法或高 速的搜索匹配算法的一种或多种算法的结合。
4、 实现权利要求1所述方法的导览机，包括外壳、安装在外壳中的显 示模块、音频模块、电源模块及控制面板，其特征在于所述外壳上装有能够获取导览客体图像信息的摄像头；所述外壳中内设有装载了数据库的存储设备，所述数据库包含导览客体的图像信息和导览信息；所述外壳中内设有能够对导览客体的图像信息与所述数据库中的数据进行检索匹配运算的微处理器，所述微处理器分别与所述存储设备、显示模块、音频模块、电源模块、摄像头及控制面板相连，所述外壳中还设有能够为所述存储设备、显示模块、音频模块和摄像头提供驱动的协处理器；所述外壳中内设有能够将检索获得的客体信息进行播放的电路。
5、 根据权利要求4所述的导览机，其特征在于它还包括与所述存储设 备相连的数据输入输出接口 。
6、 根据权利要求5所述的导览机，其特征在于所述数据输入输出接口 选自USB接口、蓝牙接口、网络接口、红外接口中的一种或多种接口。
7、 根据权利要求4所述的导览机，其特征在于所述协处理器用FPGA 实现。
8、 根据权利要求4所述的导览机，其特征在于所述微处理器具备DSP 内核与ARM9内核的双核结构实现。
全文摘要
本发明涉及基于图像识别技术的导览方法及设备，它包括对客体进行拍摄客体图像信息，然后建立客体信息数据库，使用时，用户对特定客体进行拍摄，获得图像信息后在数据库中进行检索，从数据库中获取导览信息，然后向用户输出。本发明在使用时不易受干扰、操作简单、系统成本低，有利于提高了导览系统的性能，便于扩大其使用范围。
文档编号G06F17/30GK101567159SQ20091008630
公开日2009年10月28日 申请日期2009年6月10日 优先权日2009年6月10日
发明者张春生 申请人:北京豪仪测控工程有限公司