一种基于视觉的抬头显示器控制系统及方法_3

文档序号:9910575阅读:来源:国知局
曾嘉亮.的方法。完成上述的操作后,可再进行特征抽取,可以采用卡亨南-勒维展开式为基 础进行的线性变换。或者采用非线性映射方法,例如多维定标法和参数映射法。最后可完成 图像的识别。
[0069]步骤S303获取所述二维手型上的二维信息后输入得到第一图像;获得上述的二维 手型后可以获取二维信息,得到的第一图像为经过图像处理后的图像,
[0070] 步骤S304与预设的手势进行匹配识别;预设的手势包括了所有的单、双手的手势 图像,即左右手或者单支手。
[0071] 步骤S305若找到与所述的第一图像匹配的第二图像则触发操作指令;所述的第二 图像为预存的手势图像,若匹配识别成功则会触发相应的指令,比如静止的手势"1",可对 应指令播放音乐,则根据匹配的结果对抬头显示器进行控制,进行播放音乐。比如静止的手 势"拳头",可以对应开启导航功能,则根据匹配的结果对抬头显示器进行控制,在完成唤醒 后,开始进行导航。
[0072]或者在步骤S302后,进入S306二维手势的静止状态基于二维手势进行识别追踪。 二维手势的涵盖范围大于二维手型的范围。
[0073]图4示出手势的静止状态包含的具体实施例子,其中在步骤S401的手势的静止状 态中,包括了 :握拳、五指张开、剪刀手,可以采用Flutter公司的手势识别技术。在使用了上 述技术后用户可以用几个手型来控制抬头显示器。比如,驾驶者将手掌举起来放到抬头显 示器中的摄像头前,抬头显示器就开始播放音乐了,再把手掌放到摄像头前,音乐即又停止 播放了。采用上述基于模式匹配技术,通过计算机视觉算法分析图像,和预设的图像模式进 行比对,可以实现手势的静止状态识别。当驾驶员坐上驾驶座位,只需要凭空做个手势,抬 头显示器就可以开始进行播放音乐,比使用手指按动来控制是方便了很多。
[0074] 步骤S401还包括,将手势和手部运动结合在一起的手势运动,相比于二维手型识 另II,手势和手部运动结合在一起的手势运动属于二维手势识别的方式,将手势和手部运动 可以包括,挥一挥手、转动拳头、摇动"Γ字手势的手型。具体可采用以色列的PointGrab, EyeSight和ExtremeReality。所述二维手势识别拥有了动态的特征,可以追踪手势的运动, 进而识别将手势和手部运动结合在一起的复杂动作不仅可以通过手势来控制抬头显示器 播放/暂停,还可以实现前进/后退/向上翻页/向下滚动这些需求二维坐标变更信息的复杂 操作了。可以采用单独的手势的静止状态或者单独的手势的运动状态,也可以是通过手势 的运动状态+手势的静止状态组合模式进行手势识别。
[0075] 表 1
[0076]
[0077] 其中,"expositive(即可激活手势操作指令),"X"negative(即不激活手势操作 指令)。
[0078] 表 2
[0079]
[0080] 表 3
[0081]
[0082] 图5示出图1中另一种手势指令流程示意图。
[0083] 步骤S301开始,
[0084]步骤S302手势的静止状态基于二维手型进行识别,
[0085] 步骤S304与预设的手势进行匹配识别,若否则进入S307,
[0086]步骤S307重新获取驾驶环境中的光照值,根据光照值开启补偿光照,再次进行二 维手型匹配。当车内光照不足时,抬头显示器会自动开启补偿光照,并提示驾驶员再次进行 手型操作,或者在驾驶员还未做出指令手型操作时,提前开启补偿光照,避免二次操作。上 述调节的光路方式可采用《基于物理光照变化反应的智能调光算法研究》.陈中银.的调光 算法。
[0087]图6是图1中手势指令的一实施方式示意图。
[0088] S401手势的静止状态或者S601手势的运动状态,都属于基于抬头显示器的操作指 令:唤醒指令、导航指令,电话指令,音乐指令,微信指令中的一种或者多种,导航指令,包括 用语音指令选择目的地指定、判断是否躲避拥堵路线指令、导航来源指令、行车路况指令、 电子狗指令。本领域技术人员能够明了,用语音指令选择目的地指定包括但不限于,目的地 的直接导航,或者基于Ρ0Ι的地址查询方法。所述导航来源指令包括但不限于,选择地图的 接入的地图供应商,比如可以选择高德,或者百度地图进行接入。所述行车路况指令包括但 不限于,是否堵车的路况,是否有红灯、拍照的交通信号,是否可以路边停车、前方是否有行 人等。所述电子狗指令,包括但不限于全频反测速雷达、GPS电子狗、GPS雷达电子狗。作用是 提前提醒车主电子眼或测速雷达的存在,可防止因为超速或违规而被罚款和扣分,让驾驶 者有防备的尽享驾驶乐趣。唤醒指令,用以唤醒休眠的抬头显示器;本领域技术人员能够明 了,可以将手势与所述唤醒指令提前进行关联,这样在作出手势后,就可以实现对抬头显示 器的唤醒。电话指令,可发出电话指令进行语音控制接听、拨出电话,当被呼叫方存号多于 一个的时候,可以语音选择;比如当手机与抬头显示器蓝牙连接后,外接来电时,可以直接 通过手势的静止状态,比如"手掌",亦可用手势的运动状态,比如"握拳向右滑动",来拒绝 或者接受该通来电。音乐指令,根据语音操作,可以播放SD卡的音乐,或者播放电台内容;比 如使用播放电台内容时,可以直接通过手势的静止状态,比如"剪刀手",亦可用手势的运动 状态,比如"握拳向左滑动",来切换音乐、增大声音等。微信指令,可提前通过扫码登陆微 信,收到微信时会有语音提示是否播报,回复时通过语音输入、识别转换成问文字。可以直 接通过手势的运动状态,比如"向右滑动食指"来发送微信信息。
[0089] 图7示出手势的运动状态包含的具体实施例子。
[0090] S601手势的运动状态,包括了,采用结构光技术、光飞时间技术或者多角成像技术 输入手势指令。三维手势识别,需要的输入是包含有深度的信息,可以识别各种手型、手势 和动作。相比于前两种二维手势识别技术,三维手势识别不能再只使用单个普通摄像头,因 为单个普通摄像头无法提供深度信息。要得到深度信息需要特别的硬件,目前世界上主要 有3种硬件实现方式。加上新的先进的计算机视觉软件算法就可以实现三维手势识别了。以 "结构光(Structure Light)"为例,这种技术的基本原理是,加载一个激光投射器,在激光 投射器外面放一个刻有特定图样的光栅,激光通过光栅进行投射成像时会发生折射,从而 使得激光最终在物体表面上的落点产生位移。当物体距离激光投射器比较近的时候,折射 而产生的位移就较小;当物体距离较远时,折射而产生的位移也就会相应的变大。这时使用 一个摄像头来检测采集投射到物体表面上的图样,通过图样的位移变化,就能用算法计算 出物体的位置和深度信息,进而复原整个三维空间。以"光飞时间(Time of Flight)"为例, 光飞时间是SoftKinetic公司所采用的技术,提供带手势识别功能的三维摄像头。该技术的 原理是加载一个发光元件,发光元件发出的光子在碰到物体表面后会反射回来。使用一个 特别的CMOS传感器来捕捉这些由发光元件发出、又从物体表面反射回来的光子,就能得到 光子的飞行时间。根据光子飞行时间进而可以推算出光子飞行的距离,也就得到了物体的 深度信息。以"多角成像(fclti-camera)"为例,是Leap Motion公司的同名产品和Usens公 司的Fingo。这种技术的基本原理是使用两个或
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1