专利名称：路牌识别系统及路牌识别方法
技术领域：
本发明涉及路牌信息再显示技术领域，特别涉及一种路牌识别系统及路牌识别方
法。
背景技术：
随着我国的经济发展以及开放度的提高，近年来越来越多的外籍人士来到中国学习、工作、旅游及参加大型活动。但是，道路上的路牌和公共场所的标识一般都只有中文标注，少数场合会用中英文进行标注，对于不懂英语和汉语的外国人来说，辨识路牌无疑是一件极为困难的事情。
发明内容
本发明的目的在于提供一种路牌识别系统及路牌识别方法，能将路牌以用户设定的语言进行显示，方便用户辨认。本发明的技术方案如下一种路牌识别系统，包括路牌识别装置和服务器，路牌识别装置包括控制模块、显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块；显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块分别与控制模块连接，通信模块通过无线网络与服务器连接；服务器用于存储全景图像和进行文字翻译； 控制模块用于协调、控制各模块工作；人机交互模块用于接收用户的输入指令；计算机模式识别模块用于对路牌图像上的文字信息进行自动识别和提取；图像融合模块用于将翻译后的文字与路牌图像进行融合，并将该路牌图像融合到全景图中；存储模块用于存储地图数据、原始图像及融合后的图像；显示模块用于显示路牌图像或全景图像。所述的路牌识别系统，其中，还包括图像输入模块和文字翻译模块，图像输入模块和文字翻译模块分别与控制模块连接，图像输入模块用于获取路牌图像，文字翻译模块用于将提取出的文字信息翻译成用户指定的语言。所述的路牌识别系统，其中，无线网络是3G网络。所述的路牌识别系统，其中，路牌识别装置中集成有GPS接收芯片。一种路牌识别装置，包括图像输入模块、控制模块、显示模块、计算机模式识别模块、文字翻译模块、存储模块、图像融合模块，图像输入模块、显示模块、文字翻译模块、存储模块、计算机模式识别模块、图像融合模块分别与控制模块连接；图像输入模块用于获取路牌图像；控制模块用于协调、控制各模块工作；计算机模式识别模块用于对路牌图像中的字符信息进行自动识别和提取；文字翻译模块用于将提取出的文字信息翻译成用户指定的语言；图像融合模块用于将翻译后的文字与原路牌图像进行融合；存储模块用于存储原始图像及融合后的图像；显示模块用于显示融合后的图像。所述的路牌识别系统，其中，还包括人机交互模块，人机交互模块与控制模块连接，用于接收用户的输入指令。
所述的路牌识别系统，其中，人机交互模块采用便携式设备上的触摸屏实现，图像输入模块采用便携式设备内置的摄像头实现。一种路牌识别方法，包括获取用户选择的二维地图中的地点；调用与该二维地图中的地点最为接近的一帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像；显示全景图像。一种路牌识别方法，包括获取用户拍摄的路牌图像；将路牌图像与最接近的一帧全景图像进行匹配；调用该帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像；显示全景图像。一种路牌识别方法，包括获取用户拍摄的路牌图像；对路牌图像中的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合；存储融合后的图像；显示融合后的图像。本发明的有益效果是本发明的路牌识别系统及路牌识别方法可以将实景路牌中的文字按用户设定的语言进行翻译，并将翻译后的文字融合到路牌图像中进行显示，从而弥补了路牌标注信息因语言障碍造成的不足。
图1是离线模式下的路牌识别装置的示意图；图2是在线模式下的路牌识别系统的示意图。
具体实施例方式以下将结合附图，对本发明的具体实施方式
和实施例加以详细说明，所描述的具体实施例仅用以解释本发明，并非用于限定本发明的具体实施方式
。本发明路牌识别装置具有离线模式和在线模式两种工作模式。如图1所示，离线模式为单机模式，离线模式下的路牌识别装置包括图像输入模块、控制模块、显示模块、人机交互模块(可选)、计算机模式识别模块、文字翻译模块、图像融合模块、存储模块。图像输入模块、显示模块、人机交互模块、计算机模式识别模块、文字翻译模块、图像融合模块、存储模块分别与控制模块连接。图像输入模块采用便携设备内置的摄像头实现。用户可以通过内置的摄像头对路牌进行拍摄，图像输入模块将拍摄的路牌图像传送至控制模块。控制模块用于协调、控制各模块工作。控制模块将路牌图像传送至计算机模式识别模块，计算机模式识别模块用于对路牌图像中的字符信息进行自动识别和提取。具体实现方法为通过成熟模式识别技术(如 OCR技术)提取出图像中的文字信息。文字翻译模块用于将提取出的文字信息翻译成用户指定的语言。在离线模式下， 文字翻译模块采用便携设备内置的翻译词典实现。图像融合模块用于将翻译后的文字通过成熟的图像融合技术与原路牌图像进行融合(即将原路牌图像中的文字替换为翻译后的文字)，然后将融合后的图像发送至控制模块。 控制模块控制显示模块显示融合后的图像。显示模块可以采用便携设备(如手机、PDA等)上的液晶显示设备实现。存储模块用于存储原始图像及融合后的图像。人机交互模块不是必须的，主要是为了更便于用户使用。人机交互模块用于提供人为参与捕获路牌信息的功能，可以更加快速便捷的提取出用户自定义选择的路牌信息。 人机交互模块可以采用便携设备上的触摸屏实现。当启用此功能时，控制模块首先将图像输入模块获取的路牌图像传送至显示模块进行显示，用户通过触摸屏圈选出自己感兴趣的路牌所在范围，控制模块将此区域范围导入至计算机模式识别模块。之后重复以上的工作流程，直至显示模块显示出融合后的图像。此外，人机交互模块还可以采用便携设备上的键盘实现，通过键盘上的方向键移动图像，通过键盘上的确认键进行选定操作。请参阅图2，在线模式为服务器_客户端模式，在线模式下的路牌识别系统包括路牌识别装置(即客户端)和服务器。在线模式下的路牌识别装置包括图像输入模块(可选)、控制模块、显示模块、人机交互模块、计算机模式识别模块、文字翻译模块(可选)、存储模块、图像融合模块、通信模块。图像输入模块、显示模块、人机交互模块、计算机模式识别模块、存储模块、文字翻译模块、图像融合模块、通信模块分别与控制模块连接。通信模块通过无线网络与服务器连接。图像输入模块不是必须的，用户除了可以采用内置摄像头获取路牌图像外，还可以通过无线网络(如手机3G网络)从服务器调用360°全景图来获取图像。360°全景图来自服务器的数据库，这些高清的全景图像采用专业摄影测量设备进行数据采集，用户在获得许可的前提下便可调用这些全景图像。具体实现方法是用户通过路牌识别装置内置的二维地图(存储在存储模块中)选择自己感兴趣的地点，路牌识别装置将该地点坐标通过无线网络发送至服务器，服务器通过搜索调出与该地点最为接近的一帧全景图像，并将此图像传至路牌识别装置。用户通过触摸屏圈选出自己感兴趣的路牌所在范围并发出处理该范围内图像的指令，此区域范围随即导入至计算机模式识别模块。计算机模式识别模块对路牌图像上的文字信息进行自动识别和提取。控制模块将提取出的文字通过无线网络上传至服务器，借助互联网进行文字翻译(即在线翻译)。在线翻译的好处在于由于网络字典的单词量更大，所以翻译后的内容将更为准确。当然，这个翻译工作也可以采用文字翻译模块实现(即本地翻译)。或者采用本地翻译与在线翻译相结合的方式。控制模块将翻译后的文字传送至图像融合模块，图像融合模块将翻译后的文字与路牌图像进行融合，并将融合后的路牌图像融合到360°全景图中。控制模块控制显示模块显示全景图像，此时的全景图像还可以调用服务器里已有的建筑物和道路等兴趣点(Ρ0Ι， Point Of Interest)的名称信息，一并显示给用户。如果用户是采用内置摄像头来完成路牌图像的输入功能，则在调用全景图像时， 服务器将自动匹配摄像头拍摄的路牌图像至与其最接近的一帧全景图像，并调用此全景图像，此时需要有图像获取处的地理坐标信息(可以由用户自定义输入，或在路牌识别装置中集成GPS接收芯片进行自身定位，或者通过手机信号基站GPRS定位)，该地理坐标信息将使得服务器的匹配更加快速准确。存储模块用于存储二维地图、原始图像及融合后的图像。在图1和图2中，路牌识别装置可以采用便携式设备(如手机、PDA、便携式笔记本电脑)实现。下面通过一个应用实例对上述路牌识别系统进行更清楚的说明，在此应用实例中，用户采用离线模式进行图像输入，采用在线模式进行翻译，采用离线和在线两种模式进行图像再显示，用户的使用语言为德语。步骤一，拍摄照片此用户处于深圳某地，并拍摄了一张包含文字地标路牌信息的照片。步骤二，选定区域用户通过触摸屏选出包含文字信息的区域。步骤三，文字翻译路牌识别装置将选定区域内的中文“深圳世界之窗”提取出来，上传至服务器，服务器将文字翻译成德文“funster der Welt，Shenzhen”。步骤四，图像再显示路牌识别装置将文字“!^enster der Welt, Sienzhen”融合在拍摄的路牌图像中， 替换原有文字“深圳世界之窗”，并在显示模块中显示出融合后的图像。步骤五，在线全景显示路牌识别装置向服务器发送该装置的位置，服务器调用与该装置位置最接近的全景图像进行匹配，匹配出包含该路牌信息的一帧全景图像之后，融合翻译过的路牌图像以及一些POI信息显示给用户。此外，本发明还提供了三种图像融合的方法，分别如下第一种图像融合的方法包括获取用户拍摄的路牌图像；对路牌图像中的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合； 存储融合后的图像；显示融合后的图像。第二种图像融合的方法包括获取用户选择的二维地图中的地点；调用与该二维地图中的地点最为接近的一帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像；显示全景图像。第三种图像融合的方法包括获取用户拍摄的路牌图像；将路牌图像与最接近的一帧全景图像进行匹配；调用该帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像；显示全景图像。应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
权利要求
1.一种路牌识别系统，其特征在于包括路牌识别装置和服务器，路牌识别装置包括控制模块、显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块；显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块分别与控制模块连接，通信模块通过无线网络与服务器连接；服务器用于存储全景图像和进行文字翻译； 控制模块用于协调、控制各模块工作； 人机交互模块用于接收用户的输入指令；计算机模式识别模块用于对路牌图像上的文字信息进行自动识别和提取； 图像融合模块用于将翻译后的文字与路牌图像进行融合，并将该路牌图像融合到全景图中；存储模块用于存储地图数据、原始图像及融合后的图像； 显示模块用于显示路牌图像或全景图像。
2.根据权利要求1所述的路牌识别系统，其特征在于，还包括图像输入模块和文字翻译模块，图像输入模块和文字翻译模块分别与控制模块连接，图像输入模块用于获取路牌图像，文字翻译模块用于将提取出的文字信息翻译成用户指定的语言。
3.根据权利要求1所述的路牌识别系统，其特征在于，无线网络是3G网络。
4.根据权利要求1所述的路牌识别系统，其特征在于，路牌识别装置中集成有GPS接收芯片。
5.一种路牌识别装置，其特征在于包括图像输入模块、控制模块、显示模块、计算机模式识别模块、文字翻译模块、存储模块、图像融合模块，图像输入模块、显示模块、文字翻译模块、存储模块、计算机模式识别模块、图像融合模块分别与控制模块连接；图像输入模块用于获取路牌图像； 控制模块用于协调、控制各模块工作；计算机模式识别模块用于对路牌图像中的字符信息进行自动识别和提取； 文字翻译模块用于将提取出的文字信息翻译成用户指定的语言； 图像融合模块用于将翻译后的文字与原路牌图像进行融合； 存储模块用于存储原始图像及融合后的图像； 显示模块用于显示融合后的图像。
6.根据权利要求5所述的路牌识别装置，其特征在于，还包括人机交互模块，人机交互模块与控制模块连接，用于接收用户的输入指令。
7.根据权利要求6所述的路牌识别装置，其特征在于，人机交互模块采用便携式设备上的触摸屏实现，图像输入模块采用便携式设备内置的摄像头实现。
8.一种路牌识别方法，其特征在于，包括 获取用户选择的二维地图中的地点；调用与该二维地图中的地点最为接近的一帧全景图像； 获取用户圈选出的图像范围； 对图像范围内的文字信息进行自动识别和提取； 对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中；存储全景图像； 显示全景图像。
9.一种路牌识别方法，其特征在于，包括 获取用户拍摄的路牌图像；将路牌图像与最接近的一帧全景图像进行匹配；调用该帧全景图像；获取用户圈选出的图像范围；对图像范围内的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合，并将融合后的图像融合到全景图像中； 存储全景图像； 显示全景图像。
10.一种路牌识别方法，其特征在于，包括 获取用户拍摄的路牌图像；对路牌图像中的文字信息进行自动识别和提取；对提取出的文字进行翻译；将翻译后的文字与原图像进行融合；存储融合后的图像；显示融合后的图像。
全文摘要
本发明公开了一种路牌识别系统及路牌识别方法，路牌识别系统包括路牌识别装置和服务器，路牌识别装置包括控制模块、显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块；显示模块、人机交互模块、计算机模式识别模块、存储模块、图像融合模块、通信模块分别与控制模块连接，通信模块通过无线网络与服务器连接。本发明的路牌识别系统及路牌识别方法可以将实景路牌中的文字按用户设定的语言进行翻译，并将翻译后的文字融合到路牌图像中进行显示，从而弥补了路牌标注信息因语言障碍造成的不足。
文档编号G06K9/20GK102156866SQ20111005660
公开日2011年8月17日 申请日期2011年3月9日 优先权日2011年3月9日
发明者张小星, 徐兵, 潘长松, 石璕, 罗泽刚, 郑爽, 陈宝权 申请人:深圳百维达科技有限公司