数据处理系统、计算机实现方法及非暂态计算机可读介质与流程
本发明的实施方案属于数据和图像处理以及用户辨识、识别和验证领域。更具体地，本发明的实施方案涉及用于汽车的用户识别和表情的方法和系统。
背景技术：
汽车已经变得更加复杂，具有先进的电子控件和集成的计算机，驾驶体验得以增强。此类控制器和计算机可提供一系列用户应用程序，通过这些应用程序可访问大量信息，包括私人信息。这些电子控件和计算机的安全性和访问权限限于钥匙、门锁系统和计算机的登录名/密码。如果钥匙、门锁和登录名/密码受到损害，未经授权的用户或驾驶员即可获得汽车的访问和进入，包括电子控件和与私人信息关联的计算机的访问。汽车中需要有效的驾驶员或用户标识以仅允许经授权后访问汽车及其电子控件和计算机。
技术实现要素：
本发明公开了用于汽车的用户识别和表情的方法和系统。作为一个示例，汽车的数据处理系统包括数据库、用户捕获设备和计算机。数据库存储汽车用户的至少一个图像。用户捕获设备捕获用户的至少一个图像。计算机联接到数据库和用户捕获设备。如果通过确定用户的存储图像是否与用户的捕获图像匹配将用户验证为有效用户，则计算机允许用户访问汽车。作为一个示例，用户图像包括具有面部特征的二维(two-dimensional,2d)或三维(three-dimensional,3d)用户图像。
作为一个示例，如果将用户验证为有效用户，则计算机允许用户访问汽车以及汽车的控件。如果未将用户验证为有效用户，则计算机也可拒绝用户访问汽车以及汽车的控件。作为一个示例，用户为汽车的驾驶员或乘客。如果驾驶员或乘客被验证并识别为有效用户，计算机还可为其配置设置或偏好。
作为一个示例，用户捕获设备可位于汽车内部或外部。作为一个示例，用户捕获设备捕获用户的表情，包括例如自拍、微笑、皱眉、睡觉、打盹、睁眼和闭眼、愤怒、快乐、疲倦、紧张或震惊。作为一个示例，计算机可基于捕获的表情提供响应(例如，在闭眼超过规定的时间段后，发出音频警告驾驶员您快睡着了)。作为一个示例，用户捕获设备包括一个或多个摄像机，其中包括立体摄像机、rgb(红、绿、蓝)摄像机或红外线摄像机。用户捕获设备可使用红外摄像机捕获温差信息，以进一步验证和识别有效用户。
本发明还描述了用于汽车的用户识别和表情的其它方法、系统和计算机可读介质。
本发明提供一种用于汽车的数据处理系统，该数据处理系统包括：
数据库，该数据库用于存储汽车的用户的至少一个图像；
用户捕获设备，该用户捕获设备用于捕获用户的图像；以及
计算机，该计算机联接到数据库和用户捕获设备，如果通过确定用户的存储图像是否与用户的捕获图像匹配而将用户验证为有效用户，则计算机允许用户访问汽车。
进一步地，用户的图像包括二维(2d)或三维(3d)图像。
进一步地，用户捕获设备捕获用户的表情，表情包括自拍、微笑、皱眉、睡觉、打盹、睁眼和闭眼、愤怒、快乐、疲倦、紧张或震惊。
进一步地，计算机基于捕获的表情提供反应。
进一步地，用户捕获设备包括一个或多个摄像机。
进一步地，一个或多个摄像机包括立体摄像机、rgb(红、绿、蓝)摄像机或红外线摄像机。
进一步地，用户捕获设备使用红外摄像机捕获温差信息以进一步识别有效用户。
进一步地，如果用户被验证为有效用户，则计算机允许用户访问汽车以及汽车的控件。
进一步地，如果用户未被验证为有效用户，则计算机拒绝用户访问汽车以及汽车的控件。
进一步地，如果用户被验证为有效用户，则计算机利用用户的设置和偏好来配置汽车。
进一步地，用户捕获设备位于汽车的内部或外部。
进一步地，用户为汽车的驾驶员或乘客。
本发明还提供一种计算机实现的方法，该计算机实现的方法包括：
接收汽车的用户的捕获图像；以及
如果用户的捕获图像与数据库中的存储图像匹配，则将用户验证为有效用户。
进一步地，该计算机实现的方法还包括：
如果用户被验证为有效用户，则允许用户访问汽车。
进一步地，该计算机实现的方法还包括：
如果用户未被验证为有效用户，则拒绝用户访问汽车。
进一步地，该计算机实现的方法还包括：
如果用户被验证为有效用户，则利用用户的设置和偏好来配置汽车。
进一步地，该计算机实现的方法还包括：
在数据数据库中存储包括面部特征的用户的图像。
进一步地，接收的用户的捕获图像包括二维(2d)或三维(3d)图像。
进一步地，该计算机实现的方法还包括：
接收用户的温度信息以进一步将用户验证为有效用户。
进一步地，该计算机实现的方法还包括：
接收用户的捕获表情，捕获表情包括自拍、微笑、皱眉、睡觉、打盹、睁眼和闭眼、愤怒、快乐、疲倦、紧张或震惊。
进一步地，该计算机实现的方法还包括：
根据捕获表情提供反应。
本发明提供一种非暂态计算机可读介质，该非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机：
接收汽车的用户的捕获图像；以及
如果用户的捕获图像与数据库中用户的存储图像匹配，则将用户验证为有效用户。
进一步地，该非暂态计算机可读介质包括指令，在计算机执行该指令的情况下，如果用户被验证为有效用户，则使得计算机允许用户访问汽车。
进一步地，该非暂态计算机可读介质包括指令，在计算机执行该指令的情况下，如果用户未被验证为有效用户，则使得计算机拒绝用户访问汽车。
进一步地，该非暂态计算机可读介质包括指令，在计算机执行该指令的情况下，如果用户被验证为有效用户，则使得计算机利用用户的设置和偏好来配置汽车。
进一步地，该非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机在数据数据库中存储包括面部特征的用户的图像。
进一步地，该非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机接收用户的温度信息，以进一步将用户验证为有效用户。
进一步地，该非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机接收用户的捕获表情，捕获表情包括自拍、微笑、皱眉、睡觉、打盹、睁眼和闭眼、愤怒、快乐、疲倦、紧张或震惊。
进一步地，该非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机基于捕获表情提供响应。
进一步地，该非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机接收用户的捕获二维(2d)或三维(3d)图像。
附图说明
附图示出了示例，因此为示例性实施方案，不能被视为限制范围。
图1a示出了具有用户标识(identification,id)设备的汽车的顶视图的一个示例。
图1b示出了具有用户捕获和姿势控制设备的汽车的内部视图的一个示例。
图2a-图2b示出了通过用户捕获设备捕获用户图像和特征的示例。
图3a-图3b示出了具有用户捕获设备的汽车的示例性驾驶员控制环境。
图4示出了可用于图1a-图3b的汽车的数据处理或计算系统架构的一个示例框图。
图5示出了用于图4的数据处理系统架构的计算系统的一个示例框图。
图6示出了用于为汽车识别用户并捕获用户表情的计算系统的框图。
图7a示出了登记汽车的用户生物扫描的示例操作的流程图。
图7b-图7c示出了验证汽车用户的示例操作的流程图。
图8示出了处理汽车用户的中性和非中性的面部表情的示例操作的流程图。
具体实施方式
本发明公开了用于汽车的用户识别和表情的实施方案和示例。作为一个示例，汽车的数据处理系统包括数据库、用户捕获设备和计算机。数据库存储汽车的用户的至少一个图像。用户捕获设备捕获用户的至少一个图像。计算机联接到数据库和用户捕获设备。如果通过确定用户的存储图像是否与用户的捕获图像匹配将用户验证为有效用户，则计算机可允许用户访问汽车。作为一个示例，面部特征包括具有面部特征的二维(2d)或三维(3d)图像。
作为一个示例，如果将用户验证为有效用户，则计算机允许用户访问汽车以及汽车的控件。如果未将用户验证为有效用户，则计算机也可拒绝用户访问汽车以及汽车的控件。作为一个示例，用户为汽车的驾驶员或乘客。如果驾驶员或乘客经验证为有效用户，计算机还可为其配置设置或偏好。
如本文所列出，将参考下面讨论的细节描述各种实施方案、示例和方面，并且附图将示出各种实施方案和示例。以下说明书和附图为例示性的，不应被理解为限制性的。描述了许多具体细节，以便彻底理解各种实施方案和示例。然而，在特定实例中，为了简洁地讨论实施方案和示例，并未描述熟知的或常规的细节。
尽管以下示例和实施方案针对汽车的用户识别和表情检测技术，但可将此类技术应用于需要进入和访问的任何类型环境。本发明所公开的技术可避免需要钥匙才能进入和访问，以及防止无效用户假冒和未经授权地使用电子控件和计算机。
具有用户识别和表情检测的示例性汽车
图1a-图1b示出了具有用户标识(id)设备和姿势控制设备的汽车110的顶视图(100)和内部视图(150)的示例。作为一个示例，一个或多个用户(例如驾驶员或乘客)可具有登记的生物扫描信息以访问和使用汽车。作为一个示例，生物扫描信息可存储在安全的数据库或安全的云存储设备中。生物扫描信息的示例可包括用户的二维(2d)或三维图像，包括用户的2d或3d面部图像。
用户的生物扫描信息登记可由用于购买或订购汽车110的应用程序发起。例如，当购买和交付汽车110之后，在已通过个人标识和密码验证、指纹验证或两级验证对汽车110进行了验证的移动设备(例如移动电话、平板计算机、笔记本电脑等)上运行的应用程序可使用移动设备上的一个或多个摄像机捕获用户的图像，并且针对汽车110将图像作为有效用户在安全的环境下存储和登记。可将登记的有效用户登记为经授权可驾驶汽车110或禁止驾驶汽车110。例如，丈夫和妻子都登记为可驾驶汽车110，但所有儿童则没有驾驶汽车110的授权。作为一个示例，汽车110可包括一个或多个摄像机来捕获用户的图像，并且针对汽车110将图像存储和登记为有效用户。
参考图1a，顶视图100示出具有柱子a、b和c(101,102,103)的汽车110，这些柱子形成在汽车110的右侧和左侧。作为一个示例，可将多个用户id设备(107-a至107-d)安装在汽车的不同位置上，这些用户id设备可用于辨识、识别和验证汽车110的用户(例如驾驶员或乘客)，以允许进入和访问汽车110，包括访问汽车220内的控件和计算机。也可使用用户id设备107-a至107-d捕获已针对汽车110作为有效用户登记的一个或多个用户的图像。例如，用户可接近用户id设备107-b并在已对汽车110进行验证的移动设备上运行的应用程序中发起生物扫描登记，其中用户id设备107-b捕获用户的图像以针对汽车110存储和登记为有效用户。
每个用户id设备107-a至107-d可包括一个或多个摄像机，例如立体摄像机、rgb(红、绿、蓝)摄像机或红外摄像机，以捕获用户生物扫描信息，该用户生物扫描信息包括2d或3d面部图像和特征以及热差信息。摄像机可为任何类型的可商购获得的摄像机，该摄像机包括的相应硬件和软件被构造成使用和实施图1a-图8中所描述的技术和操作。作为一个示例，可将捕获的用户图像与存储或登记的用户图像例如存储在数据库中的用户图像进行比较，以确定捕获图像是否匹配存储图像，并且在存在匹配时将用户验证为有效用户。如果验证为有效用户，汽车110可允许用户访问和进入。这样，通过具备用户id设备107-a至107-d来捕获用于检测和识别有效用户例如汽车110的驾驶员或乘客的用户的图像，汽车110的钥匙已不是必要的。
在图1a的顶视图100中，用户id设备107-c和107-d可位于汽车110的两侧车门之间的柱子b(102)上，以辨识和识别接近汽车110的右侧或左侧的用户。作为一个示例，安装在并位于驾驶员侧的车门支撑件上的用户id设备107-b可检测接近的驾驶员，以确定人员是否为可访问并进入汽车的有效授权人员。例如，如果用户id设备107-b、107-c或107-d将用户辨识并识别为有效用户，用户无需插入或激活汽车110的钥匙，汽车110即可自动为用户解锁车门。作为一个示例，连接到柱子a(101)的用户id设备107-a可检测从后端接近汽车的用户(驾驶员)。用户id设备107-a至107-d中的每一个可与包括汽车110的锁定系统和机构的汽车110计算机系统联接和通信，并且如果通过例如将捕获的用户图像与数据库中存储的用户图像匹配检测到有效用户，汽车110的锁定系统和机构可自动地解锁该有效用户的相应车门并且允许访问汽车110。作为一个示例，仅被辨识为有效驾驶员的有效用户可访问驾驶控件来驾驶汽车110。
参考图1b，从朝向仪表板137的后座视角示出了汽车110的内部视图150。作为一个示例，汽车110包括多个用户捕获设备117-a至117-c以及姿势控制设备127-a至127-c。作为一个示例，用户捕获设备117-a位于前挡风玻璃顶端处的仪表板137的上方，用户捕获设备117-b和117-c位于驾驶员和乘客座椅头枕的背面。每个用户捕获设备117-a至117-c可包括一个或多个立体、rgb(红色、绿色、蓝色)或红外摄像机以捕获用户图像(例如用户面部图像、表情和特征)或热差信息(例如用户头部和周边区域的温差信息)。
作为一个示例，用户捕获设备117-a可捕获驾驶员或乘客的用户图像以将用户辨识和识别为有效用户。作为一个示例，如果确定用户为有效用户，汽车110的计算系统和控件可对作为驾驶员或乘客的用户配置设置和偏好。例如，驾驶员可能希望气候控制为凉爽，并且可根据识别的驾驶员对设置和偏好进行设定。乘客也可优选能够在汽车110的显示屏上为所识别的乘客设定的特定音乐和音乐控件。作为一个示例，仅被辨识为有效驾驶员的有效用户可访问汽车110的驾驶控件并且能够驾驶汽车110。
作为一个示例，用户捕获设备117-a可捕获用户的一个或多个图像或表情(例如驾驶员或乘客的表情)，例如自拍、微笑、皱眉、睡觉、打盹、睁眼和闭眼、愤怒、快乐、疲倦、紧张或震惊。作为一个示例，汽车110的计算系统和控件可对捕获的用户表情进行反应，例如在快睡着时提供音频警告或在音乐声过大而识别到恼怒表情时降低收音机音量。可将计算系统和控件编程为以任何所需的方式对汽车110的每个有效用户进行不同反应。
作为一个示例，用户捕获设备117-b和117-c以与驾驶员座椅和前排乘客座椅后面的乘客的用户捕获设备117-a相同的方式工作，并且显像计算机151-a和151-b的设置和偏好也可相应地设置为针对后座上已识别用户的设置和偏好。作为一个示例，用户捕获设备117-a至117-c可包括红外摄像机并在确定健康状况例如检测用户是否生病发烧时检测用户的温差信息。
作为一个示例，汽车110包括位于汽车110的仪表板和显像计算机151-a和151-b下方的姿势控制设备127-a至127-c。在控制或访问汽车110的仪表板的显示屏或显像计算机151-a和151-b上提供的功能、应用程序、信息、选项、图标或对象时，这些姿势控制设备127-a至127-c中的每一个可包括一个或多个摄像机(例如飞行时间tof(timeofflight，飞行时间)摄像机)或动作传感器来检测用户(例如汽车110的驾驶员或乘客)的手势和移动。作为一个示例，姿势控制设备127-a至127-c可包括得自intel
示例性用户特征和表情
图2a-2b示出了通过用户捕获设备207捕获用户图像和特征的示例。参考图2a，以三维方式描绘了用户头部201。作为一个示例，用户捕获设备207可捕获具有用户头部201的面部特征211的二维(2d)或三维(3d)图像。用户头部201描绘为示出用户的头部，该用户可能为汽车110的驾驶员或乘客，由用户捕获设备207辨识或识别。用户捕获设备207可与图1a中示出的用户id设备107-a至107-d以及图1b中示出的用户捕获设备117-a至117-c相同的方式包括一个或多个摄像机。
作为一个示例，用户捕获设备207可包括任何类型的rgb摄像机来捕获用户头部201的2d用户特征(例如2d面部特征211)或包括立体摄像机来捕获用户头部201的3d用户特征(例如3d面部特征211)。用户图像中面部特征的示例可包括例如用户头部201的鼻子、嘴巴、耳朵、眼睛、眉毛、嘴唇、脸颊、胎记、脸宽、头部尺寸、发色等的形状、尺寸和维度。作为一个示例，可在为汽车110的用户登记生物扫描信息期间存储2d或3d用户图像和面部特征信息，这些用户图像和面部特征信息可存储在汽车110内的安全数据库中或远程存储在安全的云环境中。作为一个示例，可使用用户捕获设备207来辨识和识别用户头部201的面部特征，以在将用户验证为汽车110的有效用户时，确定此类特征是否与为用户存储在数据库中的那些匹配。可使用任何类型的面部特征识别算法，例如opencv软件提供的开源面部识别算法。作为一个示例，用户捕获设备207可捕获能够成为汽车110的有效乘客的儿童的面部图像，但汽车110的计算机可拒绝并阻止该儿童操作驾驶员控件和驾驶汽车110。
作为一个示例，用户捕获设备207可用于捕获用户图像以检测用户的表情。例如，用户捕获设备207可捕获用户的自拍、微笑、皱眉、睡觉、打盹、睁眼和闭眼、愤怒、快乐、忧伤、疲倦、紧张或震惊。作为一个示例，在确定是需要进行反应还是不需要进行反应时，可通过汽车110内的计算系统处理和分析捕获的表情。例如，如果用户捕获设备207捕获到用户闭眼达到预定时间段，则表明驾驶员快睡着了，汽车110的计算机可通过提供音频响应例如“tim，请醒一醒，您快睡着了”来进行反应。其它反应可包括显示屏上的消息、显示屏上的灯光闪烁、更改设置和偏好等。
参考图2b，作为一个示例，用户捕获设备207可包括能够捕获温度信息203的红外摄像机。此类信息可包括温差信息。例如，人将具有与无生命对象不一样的温差红外图像。此类温度信息203可进一步用于确定用户头部201是否匹配有效用户并且可检测假冒。用户捕获设备207可位于汽车110的内部和外部，并且对准以捕获用户头部201的用户图像。还可比较汽车110的不同用户之间的温度信息，以确定驾驶员座椅或乘客座椅上用户的健康状况。
具有用户捕获设备的示例性驾驶员控制环境
图3a-3b示出了具有用户捕获设备377的汽车(例如汽车110)的示例性驾驶员控制环境300和350。
参考图3a，以前座椅视角示出了驾驶员控制环境300。作为一个示例，驾驶员控制环境300包括具有方向盘312和横贯显示屏(coast-to-coastdisplay)302的汽车仪表板337。横贯显示屏302包括三个显示区域：显示区域1(304)、2(306)和3(308)。尽管未示出，但在汽车仪表板337内可包括一个或多个计算设备(计算机)来提供汽车控件和应用程序。作为一个示例，用户捕获设备377可安装在并位于仪表板337的上方并且包括一个或多个摄像机来捕获用户(例如前排座椅上的驾驶员或乘客)的图像或表情。姿势控制设备327可安装在汽车仪表板337上的横贯显示屏302的下方。姿势控制设备327可包括一个或多个动作摄像机(例如飞行时间tof摄像机)和传感器来捕获例如用户的手势，以访问和控制横贯显示屏302的显示区域1-3(304,306和308)上的应用程序和界面。
作为一个示例，用户捕获设备377可安装在汽车仪表板337的上方，例如安装在汽车的挡风玻璃上，并且可包括一个或多个摄像机并以与图1a-图2b中所述的用户捕获设备相同的方式工作以捕获用户图像、特征和表情。如图2a-2b中所示，用户捕获设备377的位置可以定位为或安装为对准以捕获驾驶员或前排座椅乘客的用户图像和表情。用户捕获设备377的其它位置可位于仪表板337、方向盘312左侧的柱子(汽车内部或外部)、乘客座椅右侧的柱子(汽车内部或外部)。尽管未示出，但可在汽车内部或外部安装其它摄像机以拍摄侧视和后视图像，这些图像可显示在横贯显示屏302上，例如显示在显示区域1(304)中的左侧以避免必须使用侧视镜和后视镜。
参考图3b，以前座椅视角示出了驾驶员控制环境350，其中在汽车仪表板337的横贯显示屏302上提供用户界面和应用程序。方向盘312和驾驶员平板计算机310安装在仪表板337上。驾驶员平板计算机310可提供驾驶员界面以访问控件，该控件包括汽车(例如汽车110)的设置和偏好。作为一个示例，用户捕获设备377可位于并定位在仪表板337的上方，用户捕获设备377具有一个或多个摄像机以检测和辨识驾驶员(例如，辨识出的驾驶员371“tim”或辨识出的乘客381“jenny”)。作为一个示例，使用用户捕获设备377验证tim为有效用户或驾驶员(例如，将tim的用户图像与存储的用户图像匹配，以将tim检测为有效用户)。用户捕获设备377也可捕获驾驶员或乘客的表情，例如tim或jenny的表情，并且在驾驶员快睡着时提供反应，例如音频警告。对于其它示例，如果儿童坐在驾驶员座椅上，用户捕获设备377可捕获儿童的图像，并且驾驶员平板计算机310或汽车计算机可检测儿童并且拒绝其控制驾驶员平板计算机310或横贯显示屏302以及阻止儿童驾驶汽车或访问其任何控件。
作为一个示例，一旦验证为有效驾驶员，例如tim，则驾驶员平板计算机310或汽车计算机(例如位于汽车仪表板337内)可为tim配置设置和偏好，包括横贯显示屏302上控制界面的设置和偏好。例如，如显示区域3(308)中所示，可为tim设置娱乐设置，其中有如显示区域3(308)中所示的关于音乐、有声读物、电影、游戏的偏好，并且针对tim的相应旋转多面体317。一旦通过验证，乘客，例如jenny，也可以具有在横贯显示屏302上的为jenny指定的设置和偏好。设置和偏好的示例可包括横贯显示屏302上的个性化用户界面、个性化座椅控件、个性化方向盘控件、脚踏板位置、个性化气候控件、个性化电话界面、个性化地图设置等。
作为一个示例，姿势控制设备327位于并定位在汽车仪表板337的下方，该姿势控制设备327具有一个或多个摄像机和动作传感器以检测用户手部301的手势和移动。例如，在控制或访问横贯显示屏302上提供的功能、应用程序、信息、选项、图标或对象时，用户手部301可表示驾驶员或乘客(例如，被正确识别为有效用户的人)的手，而姿势控制设备327可捕获用户姿势(例如，用户手部301的姿势)。作为一个示例，姿势控制设备327可包括得自intel
作为一个示例，驾驶员平板计算机310是一种平板计算机，可提供具有触觉反馈和控件的触摸屏。驾驶员平板计算机310可为驾驶员或用户提供主要的车辆功能控件，例如气候控件和环境350的各种设置，这些都可在辨识并验证为有效用户例如辨识出的驾驶员371tim或辨识出的乘客381jenny之后设置。驾驶员平板计算机310可联接到汽车仪表板337内的汽车计算机(未示出)、用户捕获设备377或姿势控制设备327。驾驶员平板计算机310、汽车计算机或二者可被配置成识别驾驶员(例如tim)或乘客(例如jenny)并且允许驾驶员或乘客使用姿势控制设备327和访问横贯显示屏302。作为一个示例，驾驶员平板计算机310可在其触摸屏上提供任何数目的表示、对象、图标或按钮，从而提供各种功能、导航用户界面、电话控制用户界面，以经由与移动电话333连接的蓝牙接听电话或从可穿戴设备例如智能手表313接收数据和信息，例如活动信息，例如心跳或攀登步数。
横贯显示屏302可包括发光二极管(lightemittingdiode,led)显示屏、液晶显示屏(liquidcrystaldisplay,lcd)、有机发光二极管(organiclightemittingdiode,oled)或量子点显示屏，该显示屏可从汽车仪表板337的一端延伸到另一端。作为一个示例，横贯显示屏302可为集成到汽车仪表板337并横跨汽车仪表板337的弯曲显示屏。可在多个显示区域例如横贯显示屏302的显示区域1(304)、显示区域2(306)和显示区域3(308)提供一个或多个图形用户界面。此类图形用户界面可包括在例如显示区域1(304)和显示区域3(308)中显示的状态菜单。
作为一个示例，显示区域1(304)可通过一个或多个摄像机显示车辆或汽车的后视或侧视图像，该一个或多个摄像机可位于汽车的外部或内部，用于捕获后视或侧视图像。作为一个示例，显示区域2(306)可提供和显示可旋转的三维对象，例如具有由点和线限定的多边形面的旋转多面体317。另选地，显示区域3(308)可显示旋转多面体317。旋转多面体317可以漂浮在空间中的形式出现在显示区域2(306)，并且可以恒定或可变的速度旋转。
作为一个示例，旋转多面体317可使用一个或多个面、点和线提供一组信息，该组信息可为经验证为有效用户的每个用户(驾驶员或乘客)提供明确形式的各种参数以及各种类型的用户信息。即，汽车的每个通过验证或有效的用户可具有个性化的旋转多面体317，用于访问和控制显示在显示区域2(306)和显示区域3(308)上的用户信息和应用程序。例如，可通过在数据库中存储的生物扫描信息，例如面部特征或表情，登记任何数目的驾驶员或用户。用户捕获设备377可用于辨识、识别和验证用户是否有效，驾驶员平板计算机310可为每个有效用户提供个性化的旋转多面体317。
可为每个有效用户(例如有效驾驶员或乘客)关联和个性化的信息或应用程序的类型或组的示例可包括用户信息和应用程序，例如在显示区域2(306)中所示的旋转多面体317上具有相应的面的“我的娱乐”、“我的娱乐”以及“我的健康”。限定旋转多面体317上的多边形面的点或线以及点数和线数也可表示与用户信息相关的各种参数，例如“我的娱乐”、“我的娱乐”和“我的健康”。例如，限定“我的健康”的多边形面的点数可指示有效用户的健康信息的类别数。
作为一个示例，驾驶员或用户手部301可使用姿势控制设备327捕获的手势沿着任何轴线旋转多面体317，以通过将多面体327的期望面移动至前台，例如显示区域2(306)的前台，来选择用户信息或应用程序。参考图3b，“我的娱乐”的面位于前台，表示其为所选择的用户信息或应用程序。作为一个示例，当通过用户手部301将所选择的用户信息或应用程序例如“我的娱乐”定位在前台时，用户信息或应用程序图标、类别、项目、控件等显示在显示区域3(308)。对于其它示例，控制对象或光标或头像可显示在横贯显示屏302中以选择多面体317的面。用于旋转多面体的用户姿势的示例包括将手部或手指从左到右或从右到左移动，以相应地旋转多面体317。可识别其它移动以沿着不同的轴线将多面体317旋转至前台，以将多面体317的期望面移动至前台，从而选择期望的用户信息或应用程序，例如“我的娱乐”。当多面体317的期望面位于前台之后，用户可通过用户手部301提供抓取和释放动作，以获取有关所选择的用户信息或应用程序的其它信息。
参考图3b，例如“我的娱乐”的多边形面包括四个点或边，当访问“我的娱乐”时，这些点和边可对应于用户的四个参数或类别，例如在显示区域3(308)中显示的“音乐”、“有声读物”、“电影”和“游戏”。驾驶员或用户可通过用户手部301的动作来旋转多面体317，使得“我的娱乐”面位于前台，以选择“我的娱乐”并在显示区域3(308)中显示“我的娱乐”的特定项目。驾驶员或用户可随后通过由姿势控制设备327捕获的对于显示区域3(308)的用户手部301的动作来访问例如“音乐”类别下的显示区域3(308)中的具体音乐项目来进行播放。类似地，“我的活动”和“我的健康”包括四个点和四条线，这些点和线表示用户信息的不同参数或类别，例如电话呼叫、心率、攀登步数等。对于其它示例，点可表示用户的体重、用户的心率等。点和线的数目可改动和修改旋转多面体317的形状。例如，如果有更多点与健康相关，“我的健康”的多边形面可具有包括更多数目的点和线以及更大的面的多边形表面。
参考“我的娱乐”示例，当用户观看电影时，可在旋转多面体317的“我的娱乐”面生成数据点。参考“我的活动”示例，可为未接的移动电话来电生成数据点。还可生成指示未读文本消息的数据点。对于“我的健康”示例，可预先配置旋转多面体317上的一些点，例如用于指示用户体重。在其它示例中，驾驶员或用户可通过驾驶员平板计算机310添加点，例如指示血压的点或出于健康目的持续跟踪步数的点。添加的点可改变旋转多面体317上“我的健康”的多边形面。每个驾驶员或用户可具有用户帐户，当在横贯显示屏302上呈现旋转多面体317时，该用户帐户可生成最少数目的基线点。驾驶员或用户还可添加有关特定类型信息的点来跟踪例如未接来电。
与信息和参数相关的类别可由用户通过驾驶员平板计算机310生成或输入，或者使用例如移动电话333或智能手表313(或任何其它移动计算设备)下载或输入到对横贯显示屏302进行控制并提供信息的驾驶员平板计算机110。作为一个示例，在可为旋转多面体317生成或输入信息或参数之前，验证或辨识出用户或驾驶员，这些信息和参数可存储在一个或多个存储在或联接到驾驶员平板计算机310的存储器或数据库中。对于每个用户或驾驶员，可提供个性化的旋转多面体317并将其与相应的个人信息和参数例如心跳、心率等关联。例如，每个驾驶员用户可生成数据点或可自动生成数据点，这些数据点可改变旋转多面体317的形状。使用旋转多面体317的示例和实施方案可用于任何显示界面环境，例如台式计算机、笔记本电脑、平板计算机、上网本、移动电话和减少显示器的混乱的设备的显示界面。
示例性数据处理和计算系统架构
图4示出了图1a-1b及图3a-3b的示例性环境100,150,300和350的数据处理(或计算系统)架构400的一个示例框图。作为一个示例，数据处理系统架构400可表示图1b、3a-3b中仪表板137,337内的汽车110的计算系统。对于其它示例，架构400可表示图1a-图1b和图2中驾驶员平板计算机310或显像计算机151-a、151-b的计算系统。
参考图4，数据处理系统架构400包括处理器412、实时操作系统410和进程间通信408，它们与hmi(humanmachineinterface,人机界面)中间件402、虚拟机404、虚拟设备环境406和安全/在线服务414连接。处理器412可包括任何类型的
作为一个示例，实时操作系统410可为基于
人机界面(hmi)中间件402可包括软件来为环境100或驾驶员平板计算机310的驾驶员或用户提供图形用户界面和控件。作为一个示例，hmi中间件402可包括
图5示出了用于图4的数据处理系统架构400的计算系统500的一个示例框图。例如，计算机系统500可表示用于计算机的各种部件，例如图1b、图3a-图3b中仪表板137,337内的汽车110的汽车计算机，或驾驶员平板计算机310或显像计算机151-a,151b。尽管图5示出了数据处理或计算系统的各种部件，但这些部件并非意在代表任何具体架构或部件互连方式，因为此类细节对于公开的示例或实施方案没有密切关系。还可将部件更少或部件可能更多的网络计算机和其它数据处理系统或其它消费电子设备与本发明所公开的示例和实施方案一起使用。
参考图5，计算系统500是数据处理或计算系统的一种形式，包括联接到与高速缓存504联接的处理器502的总线501、与显示屏515联接的显示控制器514、网络接口517、非易失性存储设备506、联接到存储器510的存储器控制器508、联接到i/o设备520的i/o控制器518以及数据库512。处理器502可包括一个或多个中央处理单元(cpu)、图形处理单元(graphicalprocessingunit,gpu)、专用处理器或它们的任何组合。处理器502可通过包括非易失性存储设备506、存储器510或数据库512的任意存储器检索指令，并且执行指令以执行公开的示例和实施方案中所述的操作。
i/o设备520的示例包括鼠标、键盘、打印机以及由i/o控制器518控制的其它类似设备。网络接口517可包括调制解调器、有线和无线收发器，并且使用任何类型的联网协议进行通信，包括(包括lte和
作为一个示例，存储器设备510或数据库512可为汽车(例如汽车110)的任何数目用户(例如驾驶员或乘客)存储生物扫描信息。生物扫描信息可包括用户图像，用户图像包括2d或3d面部图像以及特征和表情。对于其它示例，存储器设备510或数据库512可为横贯显示屏302上的应用程序存储与例如“我的健康”、“我的活动”或“我的娱乐”类型的用户信息相关的用户信息和参数。尽管示出的存储器设备510和数据库512联接到系统总线501，但处理器502可在本地或远程通过网络接口517联接到任何数目的外部存储器设备或数据库，例如数据库512可安全地存储在云环境中。作为一个示例，处理器502可实施图1a-图8中所述的用于识别用户和表情的技术和操作。显示屏515可表示图1b和3a-3b中的横贯显示屏302或显像计算机151-a,151-b的显示屏。
本文所公开的示例和实施方案可在数据处理系统架构、数据处理系统或计算系统或者计算机可读介质或计算机程序产品中体现。所公开的示例和实施方案的各个方面、特征和详细信息可采用硬件或软件或二者的组合，这些可称为一个系统或引擎。所公开的示例和实施方案还可以包括一个或多个计算机可读介质的计算机程序产品的形式体现，其中计算机可读介质具有可由一个或多个处理器(例如处理器502)执行以实施图1a-图8中所公开技术和操作的计算机可读代码。
示例性用户标识系统和操作
图6示出了计算系统600验证汽车的驾驶员或用户的框图。计算系统600包括联接到用户捕获和表情引擎622的存储器或数据库630。作为一个示例，数据库630存储多个生物扫描用户信息，例如包括用户1面部特征(603)、用户2面部特征(604)直至用户n面部特征(606)的用户图像。数据库630可存储其它类型的生物扫描信息，包括2d和3d图像和面部表情。存储的面部特征可包括用户1(603)至用户n(606)的面部特征的形状、尺寸和维度，这些面部特征包括例如鼻子、嘴巴、眼睛、嘴唇、脸颊等。作为一个示例，存储在数据库630中的信息可在为汽车例如汽车110的一个或多个用户登记生物扫描信息期间存储。数据库630可为位于可由用户访问的汽车或计算机内或安全云环境中的安全存储设备。
作为一个示例，一旦用户(例如驾驶员或乘客)进入汽车、或者靠近汽车、或者身处汽车内(例如汽车110)，用户捕获设备607即可捕获用户图像，例如面部特征图像。用户捕获和表情引擎622可将具有面部特征的捕获的用户图像与存储在数据库630中的具有用户1面部特征(603)至用户n面部特征(606)的用户图像进行对比，以确定是否存在已对汽车登记的匹配。引擎622可使用任何面部识别算法来识别用户图像和面部特征。如果引擎622检测到匹配，引擎622可验证用户为有效用户，并进一步确定用户是否有驾驶员凭据而允许使用汽车，包括访问驾驶控件。作为一个示例，引擎622可检测进入乘客车门的儿童并允许车门解锁，但拒绝儿童访问汽车的驾驶控件。用户捕获设备607还可使用例如红外摄像机来捕获用户温差信息，从而可由引擎622处理以确定例如驾驶员或乘客的健康状况。例如，如果温度信息指示驾驶员具有比乘客更高的温差读数，引擎622可决定驾驶员可能健康状况不佳，例如发烧，并且可通过汽车进行反应。作为一个示例，引擎622可实施图1a-图8中所述的技术和操作。
图7a示出了登记汽车的用户的生物扫描的示例操作700的流程图。
在框702处，发起用户生物扫描登记。作为一个示例，用户的生物扫描信息的登记可由用于购买或订购汽车(例如汽车110)的应用程序发起。作为一个示例，在已通过个人标识和密码验证、指纹验证或两级验证对汽车进行验证的移动设备上运行的应用程序可发起登记流程。用户也可为其他用户例如配偶、儿童等发起生物扫描登记。
在发起之后，在框704捕获到用户的生物扫描，例如捕获到2d或3d面部图像。作为一个示例，移动设备或汽车可具有一个或多个摄像机来捕获例如2d或3d面部图像的用户图像。在登记期间可捕获多个用户的图像。
在框706处，用户(或每个用户)的生物扫描存储在安全的数据库中。作为一个示例，捕获的生物扫描，例如包括面部图像的2d或3d用户图像，本地存储在汽车的安全数据库中，或远程存储在安全的云环境中。
在框708处，对汽车登记用户的已存储的生物扫描。可有限制地对汽车将每个捕获的图像登记为驾驶员或乘客或两者。例如，第一用户可为汽车的所有者，且可仅具有驾驶员访问权限，并且第二用户可为第一用户的小孩，且不能具有驾驶员访问权限并且仅限制为乘客身份。用户的登记可对汽车的访问和控制施加任何数目的控制和限制。例如，丈夫和妻子都登记为可驾驶汽车(例如汽车110)，但所有儿童没有权限驾驶并且仅有乘客显像计算机115-a和115-b的访问权限。
图7b示出了验证汽车的用户的一个示例操作710的流程图。在框712处，接收用户的二维(2d)或三维(3d)面部特征(例如，用户头部201的2d或3d面部特征211)。
在框714处，根据所接收的2d或3d面部特征将用户验证为有效用户。例如，参考图6，引擎622可从用户捕获设备607接收2d或3d面部特征，然后将它们与数据库630中存储的具有面部特征的用户图像进行比较，以通过确定具有面部特征的用户图像是否匹配来验证用户。如果存在匹配，可确定用户为有效用户。如果不存在匹配，可确定用户为无效用户。
在框716处，如果将用户验证为有效用户，则允许用户访问汽车(例如，汽车110)和控件(例如，横贯显示屏302上的控制界面)。在框718处，如果未将用户验证为有效用户，则拒绝用户访问汽车及其控件。
图7c示出了验证汽车的用户的一个示例操作720的流程图。
在框722处，接收用户的二维(2d)或三维(3d)面部特征。在框724处，接收用户的温度信息。例如，参考图2b，用户捕获设备207可包括红外摄像机来捕获用户头部201的温差信息。
在框726处，根据所接收的2d或3d面部特征和温度信息将用户验证为有效用户。例如，参考图6，引擎622可从用户捕获设备607接收2d或3d面部特征和温度信息。引擎622可将所接收的2d或3d图像与数据库630中存储的具有面部特征的用户图像进行比较，以通过确定具有面部特征的用户图像是否匹配来验证用户。引擎622还可分析温度信息，以在检测真实用户和防止假冒时确定用户图像是否示出无生命对象。如果存在对于用户图像的匹配并且温度信息指示为真实用户，则可确定用户为有效用户。如果不存在匹配并且温度信息指示并非真实用户，则可将用户确定为无效用户。
在框728处，如果将用户验证为有效用户，则允许用户访问汽车(例如，汽车110)和控件(例如，横贯显示屏302上的控制界面)。在框730处，如果未将用户验证为有效用户，则拒绝用户访问汽车及控件。
图8示出了处理汽车用户的中性和非中性面部表情的示例操作800的流程图。在框802处，接收用户的捕获图像。例如，图1b、图2a-图2b和图3a-图3b中的用户捕获设备117-a至117-c、用户捕获设备207和用户捕获设备377可捕获用户(例如，驾驶员和乘客)的图像。
在框804处，确定用户的捕获图像中是非中性还是中性表情。非中性表情的示例可包括自拍、微笑、皱眉、睡觉、打盹、睁眼和闭眼、愤怒、快乐、疲倦、紧张或震惊。中性表情是指未被识别出而无法提供反应的表情。
在框806处，如果在捕获图像中确定是非中性表情，汽车可提供反应。例如，如果捕获到非中性表情，例如用户闭眼达到一定时间段，引擎622可通过提供音频警告唤醒用户来提供反应。可提供任何类型的反应，例如显示屏上的消息、显示屏上的灯光闪烁、更改设置和偏好、振动座椅等。
在框808处，如果在捕获图像中确定是中性表情，则汽车将不提供反应。中性表情可为没有任何确定性变化或特征的普通面部表情。
本发明还公开一种非暂态计算机可读介质。该非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机实现本文所公开的技术和操作。
在一实施例中，非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机：
接收汽车的用户的捕获图像；以及
如果用户的捕获图像与数据库中用户的存储图像匹配，则将用户验证为有效用户。
在某一实施方式中，非暂态计算机可读介质包括指令，在计算机执行该指令的情况下，如果用户被验证为有效用户，则使得计算机允许用户访问汽车。
在某一实施方式中，非暂态计算机可读介质包括指令，在计算机执行该指令的情况下，如果用户未被验证为有效用户，则使得计算机拒绝用户访问汽车。
在某一实施方式中，非暂态计算机可读介质包括指令，在计算机执行该指令的情况下，如果用户被验证为有效用户，则使得计算机利用用户的设置和偏好来配置汽车。
在某一实施方式中，非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机在数据数据库中存储包括面部特征的用户的图像。
在某一实施方式中，非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机接收用户的温度信息，以进一步将用户验证为有效用户。
在某一实施方式中，非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机接收用户的捕获表情，捕获表情包括自拍、微笑、皱眉、睡觉、打盹、睁眼和闭眼、愤怒、快乐、疲倦、紧张或震惊。
在某一实施方式中，非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机基于捕获表情提供响应。
在某一实施方式中，非暂态计算机可读介质包括指令，如果计算机执行该指令，则使得计算机接收用户的捕获二维(2d)或三维(3d)图像。
在上述说明书中，已经参考本发明的具体示例性实施方案描述了本发明。然而，显而易见的是，可在不脱离所公开示例和实施方案的更广泛实质和范围的前提下对其进行各种修改和改变。因此，说明书和附图应被视为是例示性的而非限制性的。
- 还没有人留言评论。精彩留言会获得点赞！