识别车辆和生成预约信息的系统和方法与流程

文档序号:14941252发布日期:2018-07-13 20:52阅读:224来源:国知局
共享车辆和自助车辆租赁服务使得消费者能够预约基于站点使用的车辆,尤其是在城市环境中。这些出租的车辆通常位于预约的停靠点,停靠点通过永久安装的标志或标识识别。理想情况下,用户从预约的停靠点开走车辆,并将车辆归还到该停靠点或附近具有类似标记的停靠点。然而,由于这些预约停靠点通常见于公共停靠区域,用户很难确定车辆的预约状态。这可能使用户感到沮丧,并且使他们不能及时租用车辆。因此,期望提供一种识别是否可预约车辆的系统和方法。另外还希望额外提供预约车辆的能力。技术实现要素:本发明提出了一种生成预约信息的方法。该方法包括以下步骤:(a)提供一种存储器,其配置为至少包括一个可执行指令模块,该存储器还配置为包括预约信息的数据库;(b)提供一种控制器,其配置为执行所述模块并与数据库通信;(c)提供一种移动计算设备,其具有配置为显示信息的显示器;(d)在所述移动计算设备上提供照相机,所述照相机配置为记录视觉内容图像;(e)提供一种视觉识别模块,其配置为识别至少一个目标对象;(f)通过照相机记录视觉内容图像;(g)通过控制器将照相机记录的图像以数字形式作为数字图像存储在存储器中;(h)通过所述控制器执行所述视觉识别模块以识别至少一个数字图像内的至少一个目标对象;(i)通过控制器生成所述视觉识别模块的识别结果;(j)通过控制器将识别结果在预约信息中验证;以及(k),基于步骤(j)的结果,通过显示器显示预约信息。该方法还可以包括以下步骤:(l)在移动计算设备上提供收发器,该收发器配置为传送一个或多个数据传输;(m),基于步骤(j)的结果,经由收发器将数字图像传送到控制器;以及(o),在步骤(j)之后,在收发器处接收预约信息。在这种情况下,存储器和控制器可以位于呼叫中心。可执行指令模块还可以是配置为辅助完成车辆预约的预约模块。在这种情况下,该方法还可以包括以下步骤:(l)基于步骤(j)的结果,按照预约信息内容通过控制器请求预约;以及(m),基于步骤(i),通过控制器根据预约请求生成完整预约。预约模块还可以包括camshift模块,其配置为辅助追踪至少一个目标对象的位置。在这种情况下,该方法将包括以下步骤——在步骤(g)之后的(n),经由控制器执行camshift模块以辅助追踪至少一个数字图像内的至少一个目标对象的位置。所述视觉识别模块可以包括:级联分类器模块,其配置为使用滑动窗口搜索方案,其中各种比例的窗口可以横在至少一个数字图像的内容上滑动;mser模块,其配置为在至少一个数字图像的内容中检测关注区域;以及ocr模块,其配置为从至少一个数字图像的内容内的所检测的关注区域中提取任意文本。至少一个数字图像的内容可以至少是牌照的一部分。目标对象可以是位于牌照上的字符或符号。预约信息可以包括:车辆名称;车辆位置;预约费用;是否可预约的事实;以及预约请求选项。本发明还提出了一种生成车辆预约信息的系统。该系统包括存储器、控制器、移动计算设备、照相机和视觉识别模块。存储器配置为包括可执行指令模块并且包括车辆预约信息的数据库。控制器配置为执行模块并与数据库通信。该移动计算设备包括配置为显示信息的显示器。照相机位于移动计算设备上并配置为记录视觉内容图像。视觉识别模块配置为识别至少一个目标对象。此外,该模块使控制器能够:操作照相机以记录视觉内容图像;将记录的图像存储到存储器中,记录的图像以数字形式作为数字图像存储;执行视觉识别模块以识别至少一个数字图像内的至少一个目标对象;生成视觉识别模块的识别结果;将识别结果在车辆预约信息中验证;并且当根据车辆预约信息识别结果已经得到验证时,操作显示器以显示预约信息。附图说明下文将结合以下附图描述本发明的实施例,其中相同的附图标记表示相同的元件,并且其中:图1示出根据本发明所提出的系统和方法的一方面的通信系统的示例性实施例;图2是根据本发明所提出的系统和方法的一方面的基于限制的视觉识别代码段的示例性示意图;图3和图4是根据本发明所提出的系统和方法的一方面的视觉识别模块的示例性示意图;图5是根据本发明所提出的系统和方法的一方面的camshift模块的示例性示意图;图6是根据本发明所提出的系统和方法的一方面的示例性预约模块的示例性应用;图7是根据本发明所提出的系统和方法的一方面的示例性预约模块的另一示例性应用;图8是根据本发明所提出的系统和方法的一方面的示例性预约模块的另一示例性应用;图9是根据本发明所提出的系统和方法的一方面的示例性预约模块的另一示例性应用;并且图10是根据本发明所提出的系统和方法的一方面的预约模块的示例性示意图。具体实施方式以下具体实施方式本质上仅是示例性的,并不旨在限制应用和用途。此外,并不旨在受前述
技术领域
:、技术背景、
发明内容或以下具体实施方式描述中呈现的任意表达或暗示的理论束缚。如本文所用,术语“模块”是指专用集成电路(asic)、电子电路、处理器(共享、专用或组)和存储器,其执行一个或多个软件或固件程序、组合逻辑电路、以及/或提供所述功能的其他合适的组件。参考图1示出了通信系统10的非限制性示例,通信系统10可以与本发明公开的设备/系统示例一起使用或者用于实施本发明公开的方法示例。通信系统10通常包括车辆12、无线载体系统14、陆地网络16和呼叫中心18。应该理解的是,所示系统的总体架构、设置和操作以及各个部件仅仅是示例性的,并且不同配置的通信系统也可以用于实施本发明公开的方法示例。因此,提供所示通信系统10的简要概述的以下段落并不旨在限制。车辆12可以是任意类型的移动车辆,例如摩托车、汽车、卡车、休闲车(rv)、船、飞机等,并且配备有合适的硬件和软件,使其能够通过通信系统10进行通信。车辆的某些硬件20总体上在图1中示出,其包括远程信息处理单元24、麦克风26、扬声器28以及连接到远程信息处理单元24的按钮和/或控制器30。与远程信息处理单元24可操作地连接的是网络连接或车辆总线32。正确的网络连接示例包括控制器区域网络(can)、媒体导向系统传输(most)、本地互联网络(lin)、以太网以及其他适当的连接,例如符合已知的iso(国际标准化组织)、sae(车辆工程师协会)和/或ieee(电气和电子工程师协会)等的标准和规范的连接,仅举几例。远程信息处理单元24是通过其与呼叫中心18的通信提供各种服务的车辆上的设备,并且通常包括电子处理设备38、一种或多种电子存储器40、蜂窝芯片组/部件34、无线调制解调器36、双模式天线70以及包含gnss芯片组/部件42的导航单元。在一个示例中,无线调制解调器36包括适于在电子处理设备38内执行的计算机程序和/或代码段。远程信息处理单元24可以提供各种服务,包括:结合gnss芯片组/部件42提供的分路段指引和其他导航相关服务;提供与位于整个车辆的各种碰撞和/或碰撞传感器接口模块66和碰撞传感器68相关联的安全气囊展开通知以及其他紧急或路边援助相关服务;和/或信息娱乐相关服务,其中音乐、互联网网页、电影、电视节目、视频游戏和/或其他内容经由信息娱乐中心46下载,信息娱乐中心46通过车辆总线32和音频总线22可操作地连接到远程信息处理单元24。在一个示例中,下载的内容被存储用于当前或稍后回放。以上列出的服务没有完全列出远程信息处理单元24的所有功能,而仅仅示出远程信息处理单元24能够提供的一些服务。可以预料的是,远程信息处理单元24可以包括多个除以上列出的部件以外的和/或不同的部件的附加部件。车辆通信可以使用无线电传输来与无线载体系统14建立语音通道,使得通过语音通道可以发送和接收语音和数据传输。通过蜂窝芯片组/部件34实现车辆通信以用于声音通信,以及通过无线调制解调器36实现车辆通信以用于数据传输。任何合适的编码或调制技术可以用于本示例,包括数字传输技术,诸如tdma(时分多址)、cdma(码分多址)、w-cdma(宽带cdma)、fdma(频分多址接入)、ofdma(正交频分多址)等。双模式天线70服务于gnss芯片组/部件42和蜂窝芯片组/部件34。麦克风26向驾驶员或其他车辆用户提供用于输入口头或其他听觉命令的装置,并且可以使用本领域已知的人/机接口(hmi)技术来为麦克风26配备嵌入式语音处理单元。相反,扬声器28向车辆用户提供可听输出,并且可以是专门用于与远程信息处理单元24一起使用的独立扬声器,或车辆音频部件64的一部分。在任意情况下,麦克风26和扬声器28使得车辆硬件20和呼叫中心18能够通过可听语音与用户进行通信。车辆硬件还包括用于使车辆用户能够激活或使用一个或多个车辆硬件部件20的一个或多个按钮和/或控制器30。例如,一个按钮和/或控制器30可以是用于启动与呼叫中心18(无论是诸如顾问58的人还是自动化呼叫响应系统)的语音通信的电子按钮。在另一个例子中,一个按钮和/或控制器30可以用于启动应急服务。音频部件64可操作地连接到车辆总线32和音频总线22。音频部件64通过音频总线22接收模拟信息,输出声音。通过车辆总线32接收数字信息。音频部件64提供独立于信息娱乐中心46的调幅(am)和调频(fm)无线电、压缩盘(cd)、数字视频光盘(dvd)以及多媒体功能。音频部件64可以包含扬声器系统,或者可以经由车辆总线32和/或音频总线22上的裁定来使用扬声器28。车辆碰撞和/或碰撞检测传感器接口66可操作地连接到车辆总线32。碰撞传感器68经由碰撞和/或碰撞检测传感器接口66向远程信息处理单元提供关于车辆碰撞严重性的信息,例如碰撞角度和碰撞持续力度。车辆传感器72以位于整个车辆中的电子硬件部件的形式连接到各种传感器接口模块44(vsm),并使用感测输入以执行诊断、监测、控制、报告和/或其他功能。每个vsm44优选地由车辆总线32连接到其他vsm和远程信息处理单元24,并且每个vsm44可以编程为运行车辆系统和子系统诊断测试。作为示例,一个vsm44可以是控制发动机操作的各个方面(例如燃料点火和点火正时)的发动机控制模块(ecm),另一个vsm44可以是调节车辆动力系的一个或多个部件的操作的动力系控制模块。另一个vsm44可以是控制位于整个车辆中的各种电气部件的主体控制模块(bcm),如车辆的电动门锁、发动机点火和前照灯。根据一个实施例,发动机控制模块配备有车辆上的诊断(obd)特征部,其提供诸如包括车辆排放传感器的从各种传感器接收的无数实时数据,并且提供一系列标准化的诊断故障代码(dtc),使技术人员能够快速识别和纠正车辆的内部故障。被动进入被动启动(peps)模块是可以连接到车辆总线32的另一种vsm44,并提供被动物理钥匙或虚拟车辆钥匙的存在或不存在的被动检测。当具有虚拟车钥匙的被动物理钥匙或智能电话57接近时,peps模块44可以确定被动物理钥匙是否属于车辆12和/或(在一些实施例中)确定虚拟车钥匙是否授权/真实。如果虚拟车辆钥匙是真实的,则peps模块44可以将命令发送到bcm,允许访问车辆12。如本领域技术人员所理解的那样,上述vsm仅是可以在车辆12中使用的一些模块的示例,因为许多其他模块也是可能的。无线载体系统14可以是移动电话系统或者任意在车辆硬件20和陆地网络16之间传输信号的其他合适的无线系统。根据示例,无线载体系统14包括一个或多个手机信号发射塔48。陆地网络16可以是连接到一个或多个陆线电话并且将无线载体系统14连接到呼叫中心18的传统的基于陆地的电信网络。例如,如本领域技术人员所理解的,陆地网络16可以包括公共交换电话网络(pstn)和/或互联网协议(ip)网络。当然,陆地网络16的一段或多段可以以多种形式实施:标准有线网络、光纤或其它光网络、电缆网络、其他例如无线局域网(wlan)或提供宽带无线接入(bwa)的网络或其任意组合的无线网络。可以与远程信息处理单元24通信的联网设备之一是移动计算设备57,其诸如但不限于,智能电话、个人手提计算机或具有双向通信功能的平板电脑、诸如但不限于智能手表或眼镜、或其他任意合适的组合的可穿戴计算机。移动计算设备57可以包括计算机处理能力、能够与无线载体系统14通信的收发器53、数字照相机55、视觉显示器59和/或能够接收gps卫星信号并基于该信号生成gps坐标的gps模块。在一些实施中,显示器59还包括交互式触摸屏图形用户界面。数字照相机55可以包括生成数字图像的能力,该数字图像是通过照相机55的一般已知操作捕捉和存储的有形物体的位图数据表示。移动计算设备57的示例包括由苹果公司制造的iphonetm和applewatchtm以及由摩托罗拉公司或其他厂商制造的droidtm智能电话等。移动设备57可以用在例如图1所示的车辆12的移动车辆的内部或外部,并且可以通过有线或无线的方式与车辆连接。移动设备还可以配置为根据与第三方设施或无线/电话服务提供商的订购协议来提供服务。应当理解,各种服务提供商可以使用无线载体系统14,并且远程信息处理单元30的服务提供商可能不一定与移动设备57的服务提供商相同。当使用诸如蓝牙低功耗、wi-fi等的短距离无线连接(srwc)协议时,移动计算设备57和远程信息处理单元24可以在个案情况下无线范围内彼此配对,或彼此连接。这种独特的配对还可以允许移动计算设备57充当钥匙扣来通过远程信息处理单元24操作车辆12。为了以这种方式进行配对,可以将一组特有的加密密钥发送至移动计算设备57和远程信息处理单元24。呼叫中心20还可以参与。例如,呼叫中心20可以为远程信息处理单元24和移动计算设备57生成加密密钥和对应的访问令牌。呼叫中心18设计为向车辆硬件20提供多个不同系统的后端功能,并且根据本发明所示的示例,通常包括一个或多个交换机52、服务器54、数据库56、顾问58以及各种其他电信/计算机设备60。这些各种呼叫中心部件适当地经由网络连接或诸如上文提及的连接车辆硬件20的总线的总线62相互连接。可以是专用小交换机(pbx)的交换机52传入输入信号,使得语音传输通常被发送到顾问58或自动响应系统,并且数据传输被传送到调制解调器或其他通信/计算机设备60用于解调和进一步处理信号。调制解调器或其他电信/计算机设备60可以包括如前所述的编码器,并且可以连接到多种诸如服务器54和数据库56的设备。数据库56可以设计为保存共享车辆服务记录,即车辆预约信息,例如但不限于共享车辆服务预约账户记录、共享车辆的车辆记录、诸如预约日历的预约档案记录、承租人行为模式记录或任意其他相关的共享车辆服务的信息。该存储和生成的后端信息可以用sql(结构化查询语言)编写。可以创建一个后端信息的实施例,使得每个记录通过列表形式(电子表格)编排。例如,移动计算设备57的用户可以创建自己的个性化共享车辆服务预约账户,即“预约账户”,以存储在数据库56中。用户可以通过诸如远程计算机18和移动计算设备57的各种设备或通过呼叫中心20的实时顾问86来执行创建该账户的任务。用户账户可以在服务器82上访问,即支持后端功能。呼叫中心20还可以访问一个或多个附加的远程服务器和/或远程数据库,例如机动车辆数据库部门,以接收支持预约账户的信息。用户账户可以包括验证数据以验证和/或验证将来的登录尝试是安全的,例如仅授予该用户访问。验证数据可以包括账户用户名、账户密码、诸如驾驶证号的用户信息以及移动计算设备信息,例如唯一的移动设备标识符,即序列号。用户账户可以另外存储多种用户偏好。移动计算设备57可以接收软件模块99,即“预约模块”,其可以与预约账户相关联。例如,移动设备57的用户可以访问在线软件应用商店或网络服务,并从其下载预约模块99。此外,移动计算设备57可以将预约模块99的前端部分安装到移动计算设备57的移动存储器61上。此外,预约模块99可以包括将通过显示器59显示的一个或多个图形用户界面(gui),并且其包括一个或多个提示以指示用户提供诸如验证数据的信息以支持用户账户创建。预约模块99通过可操作地访问数据库56中的后端共享车辆的服务记录并与其通信,辅助共享车辆系统用户,即移动计算设备用户,预约至少一个车辆12。此外,预约模块99可以访问数字照相机55,并且其包括下文讨论的视觉识别模块和camshift模块或与其通信,以在识别到预约的特定车辆12时帮助用户。虽然所示的示例已经被描述为将与有人接听的呼叫中心18一起使用,但是应该理解,呼叫中心18可以是任意中央或远程设施、可以配备或不配备人员、可以使移动或固定的,可以希望从中发出或接收语音和数据。视觉识别模块图2示出了用于形成基于限制的视觉识别模块100的系统流程的至少一个代码段的实施例的示例性示意图,该基于限制的视觉识别模块100可以与预约模块99通信或者集成一体。可以执行视觉识别模块100以识别例如车辆牌照的视觉内容中的至少一个诸如字符的目标对象,并且可以将其结合到本发明所示的系统和方法的实施例中。如图2所示,系统流程100采用输入110,如图所示输入110包括视觉内容111和传感器模态112,并且其与从图像数据库120检索的信息一起执行对象识别过程130以便到达识别结果140。系统流程100将在下文中更详细地讨论。本发明呈现的系统和方法的实施例使用诸如定位系统数据、3d加速计数据以及陀螺仪和数字罗盘信息之类的传感器模态来降低图像搜索复杂度。定位系统数据可以包括来自gps模块、广域网(wan)、无线网络等的数据。例如,如果查询图像的gps位置靠近“新罕布什尔州康科德市中心街50号”,则不需要将查询图像与显著不同的gps位置的图像进行比较。因此,例如,查询图像将不会与在芝加哥或德国慕尼黑的房屋的图像混淆。图3是根据图像匹配过程130的一方面的示例性视觉识别算法200的示意图。如图所示,在其他代码段中,视觉识别模块200包括级联分类器模块210、mser模块220和ocr扫描模块230。级联分类器模块210包括多级检测框架。在该实施例中,多级分类器模块210接收输入201,输入201通常由数字照相机55生成并包括诸如数字图像的视觉内容205。级联分类器模块210还包括一组分类器211,其已经在haar上训练以识别该输入视觉内容205内的诸如牌照的字符和符号的关注对象。例如,级联分类器模块210使用滑动窗口搜索方案,其中各种比例的窗口滑过视觉内容205的内容。因此,每个分类器考虑在视觉内容205中的特定位置处的相邻矩形图像块并且总计每个区域的像素强度。当滑动窗口跨越视觉内容205移动以基于已培训过分类器的haar特征来区分目标对象与非目标对象块时,在滑动窗口下方的矩形图像块由来自该组haar分类器211的一个或多个弱分类器检查。级联分类器模块210的实施例通常以以下方式工作,第一步骤,级联分类器模块210接收视觉内容205。下一个步骤,滑动窗口迭代地应用于视觉内容205上。在下一步骤中,窗口的每个滑动窗口的位置和大小,根据现在将讨论的分级分层体系结构,通过应用来自该组分类器211中的一个或多个弱分类器测试,其中该组分类器211已经在haar特征上训练。将对级联分类器模块210的每一层执行以下步骤。在第一步骤中,该层的所有弱分类器都应用于视觉内容205。(可能存在一些adaboost体系结构,其中只有选择的弱分类器以类似决策体系的方式被应用。)所有弱分类器关于是否已经检测到目标对象或者未检测到目标对象的决定在第二步骤中统一为单个决策。在接下来的步骤中,如果没有检测到目标对象,则该处理退出并且视觉识别模块200移动到完成。该完成的同时,可以有指示视觉内容205不能检测到目标对象的通知。或者,如果目标对象已被所有层次,包括当前层次,检测到,则该处理确定是否存在另外层。如果有另外层,则该处理返回到第一步骤。如果不存在另外层,则将最终声明滑动窗口位置为所需对象类的一个实例,并将其添加到结果集中。在第三步骤中,执行非最大抑制操作,通过消除高度重叠的窗口位置来减小结果集的大小。然后将剩下的零个或多个检测到的目标对象集确定为车辆牌照。例如,当确定目标对象是车辆牌照时,模块210输出视觉内容205。如果目标对象不是牌照,则视觉内容205被拒绝并且视觉识别模块200移动到完成,完成未示出。该完成的同时,可以有指示视觉内容205不能检测到目标对象的通知。级联分类器模块210的主题公布在于2013年5月21日发布的标题为“使用haar特征和定向梯度直方图进行目标识别”(objectrecognitionusinghaarfeaturesandhistogramsoforientedgradients)的美国专利8,447,139中,正如上文所讨论的,该专利最初被分配给国际商业机器公司(ibm),在此引入其相关部分。在该实施例中,当从级联分类器模块210输出时,mser模块220接收视觉内容205。如通常所知,mser模块220用于检测视觉内容205的内容中的任意关注区域。mser(最大稳定极值区域)本质上是包含通过密度分割处理获得的对象特征的强度等高线的图像。mser区域可以是比其周围更暗或更亮的区域,并且在该强度函数的阈值范围内是稳定的。例如,mser可以是具有浅色背景如下图7所述的牌照上的深色字符或符号。产生mser的过程通常从一些黑色或白色的基本阈值级别开始,并且通过在选定区域周围增长一个区域来继续,直到获得稳定的强度等值线图。应该理解的是,mser可以具有100×100像素的分辨率。mser的基本原理在一些文章中得到探讨,例如kmikolajczyk、ttuytelaars、cschmid、azisserman、jmatas、fschaffalitzky,tkadir和lvangool发表于2005年11月出版的国际计算机视觉杂志,65(7):43-72,题为“仿射区域检测器的比较”(acomparisonofaffineregiondetectors)。mser的进一步细节见于j.matas、o.chum、u.martin和tpajdla撰写的文章,标题为“从最稳定的极值区域获得稳健的宽基线立体声”(robustwidebaselinestereofrommaximallystableextremalregions),发表于出版于2002年英国机器视觉会议记录的卷1,第384-393页。mser模块220的实施例通常以以下方式工作,在第一步骤中,执行视觉内容205对象的仿射变换以允许定向独立的图像匹配。仿射变换的原理众所周知。仿射变换是一类重要的线性二维几何变换,其通过应用平移旋转缩放和/或剪切,即一些方向上的不均匀缩放,操作的线性组合将诸如输入图像中的位置处的像素强度值等变量映射到输出图像中诸如新变量等。在基本术语中,仿射变换是保留共线性(即所有最初位于一条线上的点变换后仍然位于一条线上)的任意变换和诸如线段的中点在转换后保持在中点的距离比率。在第二步骤中,mser图像被标准化。基本上,标准化程序包括从每个像素中减去mser中的所有像素的平均像素强度值,并用结果除以mser中像素的标准偏差。在第三步骤中,将mser数据转换成适合与数据库120中的一组图像进行比较的形式。在这种情况下,本领域技术人员将会看到,这些图像通常与诸如从a到z的阿拉伯字母表或诸如从0到9的整数数字之类的字符相关联,并且在某些实施例中可以是与在美国或欧洲发行的牌照上常见的字符和符号一致的字体。在第四步骤中,数据库120的每个图像依次与每个mser进行比较,直到至少获得一个匹配。一旦获得匹配,mser被认为是关注区域。但是,如果某个mser没能得到匹配,则该mser将被拒绝,因为它不是一个关注区域。例如,如果mser对应于牌照上的车辆检查标签82,则mser将被拒绝,因为它不能与存储在数据库120中的已知字符或符号匹配。但是,可能会生成其他可拒绝的mser。当确定已经获得全部mser匹配时,从模块210输出视觉内容205。如果没有获得mser匹配或者未满足最少数量的匹配,例如七个,则视觉内容205被拒绝并且视觉识别模块200移动到完成,完成未示出。完成时,可以有宣布视觉内容205不能检测到足够的mser匹配的通知。mser模块220的主题在美国专利申请公开2009/0232358(以申请号12/382,021提交)中公布,其标题为“处理图像的方法与装置”(methodandapparatusforprocessinganimage),出版于2009年9月17日,如上所述,在此并入其中的一部分。在该实施例中,当从mser模块220输出时,ocr扫描模块230接收视觉内容205。如通常所知,ocr扫描模块230用于从视觉内容205的内容内检测到的关注区域提取文本,即基于文本的检索。此外,ocr扫描模块230不需要手动干预来指示读取文本的正常顺序。熟练的技术人员将会看到,这种基于文本的检索具有计算成本低、存储要求低、传输带宽低的优点。这些基于文本的输入有助于搜索系统实时缩小搜索空间。文本信息也有助于区分具有相似外观的对象。在第一步骤中,扫描视觉内容205。在第二步骤中,ocr模块230隔离并平移每个关注区域的文本。在该步骤中,也可以解析视觉内容205。在第三步骤中,通过字符识别处理来识别单个字符的形状。应该理解的是,ocr扫描模块230能够识别任意数量的字符字体中的字符。还可以采用上下文分析处理来检查在字符识别过程中识别的形状的相对大小和位置,以将文本分成单词并解决形状不定性。在第四步骤中,格式化识别的字符并输出作为识别结果140。ocr扫描模块230的主题公开在1992年7月14日发布的标题为“光学字符识别方法和装置”(opticalcharacterrecognitionmethodandapparatus)的美国专利5,131,053中,该专利最初授权给nuance通信公司,如上文所述,此文并入其相关部分。在一个实施例中,视觉识别模块200还结合传感器模态分析。该分析在图3中示出。图4展示该分析,图4是根据本发明所呈现的系统和方法的实施例的视觉识别模块200的示意图。为简单起见,图2中省略了视觉识别模块200的某些部件。如图所示,视觉识别模块200的输入201可以进一步包括传感器模态305。这些可以包括gps数据310或其他合适位置的传感器数据、对齐信息311、时间320、视角和方向数据330等。因此,一个实施例将诸如视觉内容205的图像内容与传感器模态305组合,以提高视觉识别准确性和效率。例如,给定gps位置、视角、方向等,在关键点提取之前,可以使用视角和方向数据330来对齐从不同视角和方向拍摄的同一对象的两个图像。通过这样做,可以更加准确地匹配在不同旋转331、不同视角等处捕捉的相同对象。作为另一个例子,如果捕捉时间320示出一个图像是在白天拍摄的,而另一个是在夜间拍摄的,则不会使用颜色比较,以减少由于白天/夜晚和白天/夜晚照明差异导致的大的颜色变化而可能引起的匹配错误。另外,ocr的准确性要求文本位于水平位置。借助诸如视角、方向等的传感器信息330,如果需要,可以将图像旋转到水平位置以便增加ocr处理231的精确度。如图3所示,传感器模态305可以作为视觉识别算法200的初始步骤发生。传感器模态305可以充当图像识别过程中的额外的细化层,其可以减小图像搜索空间的尺寸。应该理解,本发明图2-4讨论的视觉识别算法可以构成基于限制的视觉识别模块200的一个实施例的一部分或全部。已经设想其他算法可以并入到模块100的内容中。camshift模块如图5所示,预约模块99的实施例可以包括camshift模块400以帮助用户追踪位于视觉识别算法200的前端gui处的牌照字符和符号的位置。当用户已经正确地聚焦视觉内容205以捕捉正确的字符和符号时,camshift模块400进一步通知用户。camshift模块400的主题公开于2002年5月28日公布的标题为“使用连续自适应均值漂移跟踪对象的方法和装置”(methodandapparatusfortrackinganobjectusingacontinuouslyadaptingmeanshift)的美国专利6,394,557中,其最初授权给英特尔公司,本文并入其相关部分。在步骤410和420中,选择初始搜索窗口大小和初始搜索位置。如通常所知,这可以通过移动计算设备57上的数字照相机55调整特征或其移动来执行。在步骤430中,如通常所知,camshift模块400执行一个或多个均值漂移方法的迭代以移动搜索窗口。在步骤440中,该方法调整搜索窗口的大小。步骤440可以通过移动计算设备57和/或数字照相机55的用户的物理移动来执行。接下来,在步骤450中,如通常所知,camshift模块400确定其是否已经聚集到概率分布的中心。如果均值漂移方法已经聚集,那么方法已完成。如果camshift方法没有聚集,则camshift模块400返回到步骤430,该步骤使用新的搜索位置执行均值漂移方法,并计算新的搜索窗口的大小。方法现在来通过图9比较图6。可以看到通过预约模块99生成预约信息的方法的应用。该方法的一个或多个方面可以通过控制器52执行,例如,实施存储在数据库56或移动存储器61上的预留模块99的一部分的后端功能。另外,可以通过移动计算设备57执行一些方面,例如,实现存储在移动存储器61上的预约模块99的一部分的前端功能。还应该理解,可以在用户通过预约模块99访问其预约账户之后执行该方法的各方面。如图6所示,移动计算设备57的用户74开始使用预约模块99,将通过照相机镜头看到的视野75由车辆12的总体方向指向用户期望预约的方向,即期望的视觉内容。然后用户74需要调整照相机55以集中于车辆12的目标部分,该目标部分将为期望的结果提供合适的信息。在这个实施例中,用户将注意力集中在车辆牌照76上,特别是以精确地捕捉组成注册号码的字符和符号的方式。如图7所示,用户74一旦对焦,就可以通过显示器59的触摸屏图形用户界面特征来操作预约模块99以记录车辆牌照76的图像。如图所示,当预约模块99包括camshift模块时,可以显示camshift特征78以帮助用户76确保用户已经正确地聚焦在形成注册号码80的目标字符和符号上。如图所示,例如矩形,camshift特征78是以目标对象80为中心的自调节区域。通过使用该目标对象80的大小和位置,前文所讨论的运动跟踪器的“锁定”在关注的目标对象上得以加强。如图7所示实施例,目标对象80的概率分布将是较大的,并且任意对视觉内容做出的明确修改也将在平移像素的绝对数量上较大,因此计算区域必须较大。相反地,诸如但不限于检查标签82、下发牌照的州名84和州的标语86的非目标对象的概率分布将是较小的,并且即使用户74相当快地移动照相机55,平移像素的数量将足够小并且将不会为camshift模块400检测到,因此camshift特征将不会以这些非目标对象为中心。一旦捕捉到一个或多个关键数字图像,可以根据实施例将其发送到移动存储器61或数据库56,从而以诸如.jpg的数字格式存储为一个或多个数字图像。例如,当预约模块99配置为在移动计算设备57处实施所有方法的方面(并且可以通过从数据库56周期性下载共享车辆的服务记录来支持该努力)时,数字图像可以简单地保存在移动存储器61中。然而,在预约模块99配置为将一个或多个方面实现为后端功能的那些实施例中,图像可以通过收发器53传输到数据库56。应该理解,在被下载到移动存储器61或数据库56中(例如,一些图片的内容不能充分反映目标对象80)之前,非关键性数字图像可能被丢弃。在下载一个或多个关键性数字图像时,预约模块99将响应视觉识别模块200以执行识别和验证目标对象80所需的步骤。如上所述,当级联分类器模块210、mser模块220和ocr扫描模块230中的每一个产生积极结果时,视觉识别模块220将生成识别结果140。否则将不会生成识别结果140,例如由于数字图像中的数据不足。这样,视觉识别模块220将对一个或多个其他数字图像执行所需的步骤,或者与预约模块99进行通信以反馈无法生成识别结果140。该反馈可以进一步在显示器55上显示。然后预约模块99可以取得识别结果140,并如上所述,根据实施例将其存储到移动存储器61或数据库56中。也可以将识别结果140独立地存储到移动存储器61或数据库56中以供预约模块99访问。一旦正确存储,识别结果140可以与共享车辆的服务记录进行比较。因此,处理后的牌照信息可以用于查找对应的车辆12的共享车辆记录。然后可以从移动存储器61或数据库56中搜索、选择和访问这些记录。为辅助该努力,每个记录可以包括与识别结果140相对应的标签。例如,如果识别结果140生成字符和符号“abc1234”,预约模块99可以在记录中搜索“abc1234”标签(或对应的源代码语言中的等同物)。当被访问时,预约模块99将验证每个与识别结果140匹配的记录是否符合逻辑。例如,预约模块99可以查看所访问的记录中的所有可变信息,可变信息在下文中讨论。如果确定任意信息不足(例如,对应的预约档案记录缺失)或不合逻辑,例如根据传感器模态(例如,记录显示对应的车辆将停放在很远的位置),预约模块99可以通知用户或呼叫中心20。预约模块99还可以再次与移动存储器61或数据库56通信以搜索记录、选择并访问另一个可能具有足够可变信息的记录。一旦可变信息被充分验证,预约模块99将生成可视格式的且有序的预约信息88。如图8所示,预约模块99将依次显示预约信息88,如显示器59的触摸屏图形用户界面特征。在预约信息88在数据库56中生成的情况下,在生成完成之后,这些信息可以经由无线载体系统48发送并且在收发器53处被接收。预约模块99可以通过显示为预约信息屏幕89(经由显示器59的触摸屏图形用户界面特征)的一方面以像素化格式显示预约信息88。此外,预约信息88还可以包括诸如但不限于车辆名称90、车辆位置92、预约费用94、预约是否可用的事实96和预约请求选项98的变量。例如,车辆名称90可以包括通用描述性信息,诸如但不限于车辆年份(例如“2016”)和车辆型号(例如“雪佛兰太浩”)、车辆颜色(例如“白色”)、共享车辆系统注册号码(例如,“#m28”或“dlt-45xx”),或者甚至可以包括车辆的熟知的、商业上独特的或幽默的名称,例如“李宏玮”(thejennylee)、“贝特西·玛蒂尔达”(betsymatilda)、“奈丽”(nelly)等。车辆位置92可以包括车辆的当前位置、指定的车辆停放位置的位置或车辆通常位于的停放位置。预约费用94可以包括与选定的时长(例如,“2小时25美元”、“11月3日星期五下午8点至10点55美元”等)对应的费用信息。预约是否可用的事实96可以包括关于车辆可用性(例如,“不可用—11月3日星期五晚上10点—凌晨2点”)的日程安排信息或者上下车要求(“在埃尔塞贡多街123号上车”和“在主街345号下车”)。应该理解,上述各个可变信息可以来自单个对应的共享车辆的服务记录。预约请求选项98可以另外包括选择,诸如但不限于预约时间延长、燃料信息、旅程信息、现场顾问58沟通选项费用协商选项。应该理解,所列出的车辆名称90、车辆位置92、预约费用94、预约是否可用的事实96和预约请求选项98不被认为是详尽的列表,并且可以显示其他预约信息。如图9所示,预约模块99可以实施为显示预约信息88,其中通过被示为预约确认屏幕101的一方面(经由显示器59的触摸屏图形用户界面特征)以像素化格式显示预约信息88为确认信息。基于用户74的个人时间,并且响应于由预约信息88(图8)中的可变信息设定的预约参数,用户74可以使用预约信息屏幕101来请求预约车辆。例如,当用户74的时间安排和预约参数一致时,用户相应地可以希望预约车辆12。用户74可以通过使用虚拟确认按钮97生成预约请求,并且因此通过预约模块99形成预约交易。因此,从预约请求中除去任意不可预见的后果,预约模块99可以导出完成的预约,并且可以相应地更新共享车辆的服务记录。可以看出,预约确认屏幕101可以包括作为确认信息的预约信息88变量(车辆名称90’、通工具位置92’、预约费用94’、是否可预约的事实96’和预约请求选项98’)的副本,但预约确认屏幕101的其他配置可以包括更多、更少或其他未公开的变量。基于上文,图10示出了预约模块99的实施例,其配置为辅助完成车辆预约。如上所述,预约模块99可以安装到数据库56或移动计算设备57上,或者其一部分可以安装到数据库56和移动计算设备57上。因此,预约模块99的一些方面可以实施为后端(即,经由数据库56和服务器54或移动计算设备57和移动存储器61),并且其他方面可以实施为前端(即,经由移动计算设备57、移动存储器61)。在步骤510中,如上所述,预约模块99操作照相机55以记录诸如车辆牌照的视觉内容图像。在步骤520中,预约模块99将记录的图像以数字形式(作为一个或多个数字图像)存储到移动存储器61或数据库56。应该理解,预约模块99的实施例可能不需要存储或者临时存储数字图像。在步骤530中,预约模块99访问、协作并且随后执行视觉识别模块200以在一个或多个存储的数字图像内识别至少一个目标对象80。在步骤540中,预约模块99使得视觉识别模块200生成识别结果140。在步骤560中,预约模块99访问数据库56并将识别结果与共享车辆的服务记录进行比较。在步骤570中,预约模块99根据步骤560的比较结果生成预约信息。在步骤580中,预约模块99操作显示器59以显示预约信息。此外,预约模块99可以配置为包括可选步骤(未示出)以根据预约信息的内容来创建预约。在该步骤中,如上文所述,例如当时间匹配时,预约模块99可以进一步根据预约请求生成完整预约。应该理解,预约模块可以通过应用收发器53来完成这些步骤中的一个或多个。本发明公开的过程、方法或算法可以交付给/由处理设备、控制器或计算机来实施,处理设备、控制器或计算机可以包括任意现有的可编程电子控制单元或专用电子控制单元。类似地,所述过程、方法或算法可存储为可由控制器或计算机以多种形式执行的数据和指令,所述多种形式包括但不限于永久存储在诸如rom设备的不可写存储介质上的信息以及可更改地存储在可写存储介质上的信息,诸如软盘、磁带、cd、ram设备以及其它磁介质和光学介质。过程、方法或算法也可以在软件可执行对象中实施。或者,过程、方法或算法可以使用适当的硬件组件全部或部分地实现,诸如专用集成电路(asic)、现场可编程门阵列(fpga)、状态机、控制器或其他硬件组件或设备,或硬件、软件和固件组件的组合。尽管在前文的具体描述中已经呈现了各种示例性实施例,应当理解,存在大量的变型。还应该理解,示例性实施例仅是示例,并不旨在以任意方式限制本公开的范围、适用性或配置。而是,前文的详细描述将为本领域技术人员提供用于实施示例性实施例的便利的路线图。应该理解,在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下,可以对元件的功能和布置进行各种改变。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1