者两个以上的摄像头同时摄取图像，而可以 在抬头显示上选择增加摄像头，通过比对这些不同摄像头在同一时刻获得的图像的差别， 使用算法来计算深度信息，从而多角三维成像。
[0091] 图8按照本发明一实施方式基于视觉的抬头显示器控制系统的结构示意图；所述 图像采集装置801，用于获取驾驶环境中的图像数据;本领域技术人员能够明了，图像采集 装置801可以包括一个或者两个摄像头，所述摄像头为彩色图像摄像头和/或红外摄像头， 且图像采集装置801可以设置于所述HUD 805的正前端。所述光照感应装置802,用于获取驾 驶环境中的光照值;本领域技术人员能够明了，光照感应装置802可以采用光照感应器，或 者光敏元件。所述光照源803,用于提供补偿光照，可以采用近红外LED提供补偿光照。所述 处理装置804，在与图像采集装置连接时，用于根据上述的图像数据，形成静态或者动态的 图像数据，其中静态或者动态是手势的运动状态或者手势的静止状态;如果上述的图像数 据不满足预定的手势图像标准，则不对上述的图像数据进行储存;若满足，则对上述的图像 数据进行储存后输出手势指令;在与光照感应装置连接时，用于根据上述的光照值，判断是 否开启补偿光照;若是，则开启补偿光照射并再次获取驾驶环境中的图像数据。所述处理装 置804可提供高速的处理能力，可采用ARM 4核处理器单元，同时支持micro SD储存卡最大 支持32GBAUD 805,用以提供上述装置的载体。
[0092] 图9示出图8中一种优选实施例的结构示意图，本实施例中的基于视觉的抬头显示 器控制系统，在HUD上包括，图像采集装置，光照感应装置，光照源和处理装置，所述处理装 置分别与图像采集装置，光照感应装置以及光照源连接。其中，上述的图像采集装置包括至 少一个摄像头，该摄像头采集到二维手型形成静态图像数据，与预设的手势进行匹配成功 后输出唤醒指令、音乐切换指令、接听或拒绝来电指令或者切换页面指令。上述的光照感应 装置，与上述光照源连接，在光照值大于设定阈值时关闭，所述光照源在光照值小于设定阈 值时，控制所述光照源打开为图像采集装置提供的光照，上述的光照源为近红外LED806。还 包括OBD通讯接口 807和显示界面808，与上述处理装置连接，用于读取车辆CAN上的信息并 实时显示在所述显示界面上。显示界面808与车辆车辆CAN通信总线连接，用以实时显示车 辆的状态。
[0093]所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并 不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均 应包含在本发明的保护范围之内。
【主权项】
1. 一种基于视觉的抬头显示器控制系统，其特征在于包括： 图像采集装置，用于获取驾驶环境中的图像数据； 光照感应装置，用于获取驾驶环境中的光照值； 光照源，用于提供补偿光照； 处理装置，与图像采集装置连接，用于根据上述的图像数据，形成静态或者动态的图像 数据，其中静态或者动态是手势的运动状态或者手势的静止状态;如果上述的图像数据不 满足预定的手势图像标准，则不对上述的图像数据进行储存;若满足，则对上述的图像数据 进行储存后输出手势指令； 与光照感应装置连接，用于根据上述的光照值，判断是否开启补偿光照;若是，则开启 补偿光照射并再次获取驾驶环境中的图像数据。2. 根据权利要求1所述的基于视觉的抬头显示器控制系统，其特征在于，上述的图像采 集装置包括至少一个摄像头，该摄像头采集到二维手型形成静态图像数据，与预设的手势 进行匹配成功后输出唤醒指令、音乐切换指令、接听或拒绝来电指令或者切换页面指令。3. 根据权利要求1所述的基于视觉的抬头显示器控制系统，其特征在于，上述的光照感 应装置，与上述光照源连接，在光照值大于设定阈值时关闭， 所述光照源在光照值小于设定阈值时，控制所述光照源打开为图像采集装置提供的光 照，上述的光照源为近红外LED。4. 根据权利要求1所述的基于视觉的抬头显示器控制系统，其特征在于，还包括OBD通 讯接口和显示界面，与上述处理装置连接，用于读取车辆CAN上的信息并实时显示在所述显 示界面上。5. -种基于视觉的抬头显示器控制方法，其特征在于，包括以下步骤： 获取驾驶环境中的图像数据； 根据上述的图像数据，形成静态或者动态的图像数据，其中静态或者动态是手势的运 动状态或者手势的静止状态； 如果上述的图像数据不满足预定的手势图像标准，则不对上述的图像数据进行储存； 若满足，则对上述的图像数据进行储存后输出手势指令； 获取驾驶环境中的光照值； 根据上述的光照值，判断是否开启补偿光照;若是，则开启补偿光照射并再次获取驾驶 环境中的图像数据。6. 根据权利要求5所述的基于视觉的抬头显示器控制方法，其特征在于，所述手势的静 止状态基于二维手型进行识别， 获取所述二维手型上的二维信息后输入得到第一图像； 与预设的手势进行匹配识别，若找到与所述的第一图像匹配的第二图像则触发操作指 令； 或二维手势的静止状态基于二维手势进行识别追踪。7. 根据权利要求5或6所述的基于视觉的抬头显示器控制方法，其特征在于，所述手势 的静止状态包括:握拳、五指张开、剪刀手、食指开张中的一种或者多种， 或者，将手势和手部运动结合在一起的手势运动。8. 根据权利要求6所述的基于视觉的抬头显示器控制方法，其特征在于，若与预设的手 势进行匹配识别时，没有找到，则重新获取驾驶环境中的光照值，根据光照值开启补偿光 照，再次进行二维手型匹配。9. 根据权利要求6所述的基于视觉的抬头显示器控制方法，其特征在于，所述操作指令 包括:唤醒指令、导航指令，电话指令，音乐指令，微信指令中的一种或者多种， 导航指令，包括用语音指令选择目的地指定、判断是否躲避拥堵路线指令、导航来源指 令、行车路况指令、电子狗指令； 唤醒指令，用以唤醒休眠的抬头显示器； 电话指令，可发出电话指令进行语音控制接听、拨出电话，当被呼叫方存号多于一个的 时候，可以语音选择； 音乐指令，根据语音操作，可以播放SD卡的音乐，或者播放电台内容； 微信指令，可提前通过扫码登陆微信，收到微信时会有语音提示是否播报，回复时通过 语音输入、识别转换成文字。10. 根据权利要求5所述的基于视觉的抬头显示器控制方法，其特征在于，所述手势的 运动状态基于获取驾驶环境中的图像数据和光照值判断，采用结构光技术、光飞时间技术 或者多角成像技术输入手势指令。
【专利摘要】本发明公开了一种基于视觉的抬头显示器控制系统及方法，系统包括，图像采集装置，用于获取驾驶环境中的图像数据；光照感应装置，用于获取驾驶环境中的光照值；光照源，用于提供补偿光照；处理装置，用以处理获得的数据。本系统能够智能实现唤醒指令、音乐切换指令、接听或拒绝来电指令、切换页面指令。且系统优选采用近红外LED在不干扰人眼的情况下在黑暗中提供照明。本发明中的控制方法操作方便、指令明确无歧义、无需附加设备，能够驾驶者满足全天候、在不同光照条件下手势的检测与识别，优选地，能同时支持静态手势和动态手势的检测识别，操作功能强大。
【IPC分类】G06F3/0487
【公开号】CN105677206
【申请号】CN201610013309
【发明人】王建辉, 倪卫, 苗顺平, 王艳龙
【申请人】北京乐驾科技有限公司
【公开日】2016年6月15日
【申请日】2016年1月8日