用于识别眼睛和手的系统和方法与流程

背景技术：

从现有技术中已知用于检测和探测使用者的眼睛和其他身体部分、尤其是手的系统，例如从等人的“eyeblinkingdetectiontoperformselectionforaneyetrackingsystemusedinassistivetechnology”，（designandtechnologyinelectronicpackaging(siitme)2016ieee22ndinternationalsymposiumfor,第213-216页,2016）中或者从f.weichert等人的“analysisoftheaccuracyandrobustnessoftheleapmotioncontroller"（sensors2013,13,6380-6393）中已知。在此，眼睛或手的检测也可以包括用于姿态识别的对眼睛或手的移动的检测。

眼睛和手的检测和探测通过传感器、尤其是摄像机来进行，所述传感器与计算机、也称为计算单元或处理器连接，用于处理来自传感器的数据。在此，通常使用具有用于眼睛探测的第一传感器的第一计算机和具有用于手探测的第二传感器的第二计算机，因为眼睛和手的检测和探测具有不同的技术前提条件，尤其是由于要检测的眼睛和手的时间上强烈不同的移动。

技术实现要素：

本发明的优点

在该背景下，本发明涉及一种用于在图像的序列中识别眼睛和手的系统、尤其是用于机动车的系统以及所属的方法，所述图像的序列利用所述系统的摄像机来记录。该系统包括计算机，该计算机被设立用于交替地输送所述序列的第一部分序列给用于眼睛识别的第一算法和所述序列的第二部分序列给用于手识别的第二算法，其中该第一部分序列包括能预给定的第一数目的彼此相继的图像并且该第二部分序列包括能预给定的第二数目的彼此相继的图像。优选地，第一和/或第二算法在此在计算机中被设立。换言之，该计算机尤其是被设立、例如编程用于执行用于眼睛识别或手识别的第一和/或第二算法。第一算法在此被设立用于，根据第一部分序列来识别第一部分序列的图像是否包括眼睛的图像。第二算法被设立用于，根据第二部分序列来识别第二部分序列的图像是否包括手的图像。

尤其是通过第一或第二算法进行的眼睛或手的识别尤其是应理解为：在由系统的摄像机所记录的图像中标识一个或多个眼睛本身或一个或多个手本身。该识别在此可以优选地包括：将通过所识别的眼睛或所识别的手所执行的移动识别为姿态。例如，用于眼睛识别的第一算法可以是基于上面提及的等人的文献的或基于smarteyeab算法的图像识别算法，并且用于手识别的第二算法可以是基于上面提及的f.weichert等人的文献的图像识别算法。例如，所述眼睛的识别可以被用于状态识别、例如确定该系统的使用者的疲劳度或视线方向，或者用于通过眼睛的位置和/或移动、也即通过眼睛的姿态来控制系统。例如，所述手的识别可以被用于控制系统、尤其是通过识别手的位置和/或移动、尤其是也即通过识别由手所实施的姿态来控制系统。尤其是，在此将所识别的眼睛姿态或手姿态与系统中所保存的预给定的姿态进行比较。

图像的序列可以被理解为图像的顺序、尤其是彼此相继的图像的顺序。在此，可以优选地涉及直接彼此相继的图像。部分序列尤其是应理解为来自该序列的片段，也即来自该图像的序列的彼此相继的图像的子集，优选来自该序列的直接彼此相继的图像的子集。能预给定数目的图像应理解为：所述计算机被设立用于改变部分序列的原则上固定数目的图像。该改变可以在此尤其是在计算机的相应编程中被预给定。

如上所述地，计算机被设立用于交替地将第一部分序列输送给第一算法并且将第二部分序列输送给第二算法。图像的序列因此包括多个第一和第二部分序列，其中第二部分序列分别跟随第一部分序列。根据通过摄像机所记录的图像的总数，在此，最后的第一部分序列或最后的第二部分序列可能是不完整的。优选地，所有第一和第二部分序列的总和得出所记录的图像的总序列，使得有利地每个所记录的图像被进一步处理。可替代地，该序列可以包括如下图像，这些图像并不是第一或第二部分序列的部分，例如在这些部分序列之间的一个或多个图像。通过计算机进行的交替的输送因此应理解为轮流地、单独地输送至第一和第二算法。此外，输送至第一和第二算法可以被理解为：计算机被构造、尤其是编程用于轮流地执行第一和第二算法。

根据按照本发明的方法所设立的按照本发明的系统具有如下优点：对于共同的眼睛和手识别需要仅一个摄像机和仅一个与其连接并且按照本发明所设立的计算机。通过本发明对唯一的图像流的可能划分有利地实现了，不仅关于硬件而且也关于计算性能需要更少的资源来用于同步的手和眼睛识别。这此外实现了，对于该系统来说除了运行成本也节省了制造或购置成本。此外，尽管节省了硬件，通过本发明有利地可能的是，无延迟地检测眼睛和手的在时间上强烈不同的移动。

优选地，该系统、尤其是计算机可以被设立用于，根据所识别的眼睛或所识别的手、尤其是根据眼睛或手的所识别的移动和姿态来实施该系统的预给定的控制，所述控制例如实现通过眼睛或手移动来操作该系统。这具有如下优点：利用仅一个摄像机和计算机就有可能不仅通过眼睛也通过手来对该系统进行姿态控制。

优选地，预给定、也即规定图像的第一数目大于图像的第二数目。这引起：在所记录的图像序列的总数目方面，与用于手识别的算法相比，将更大份额的图像输送给用于眼睛识别的算法。这实现了总体上更可靠的识别，因为对于眼睛识别而言由于与手相比眼睛更小的尺寸和大多更快速地移动，为了高品质识别需要每时间单位更多的图像。

按照本发明的一种有利的构型方案，第一数目是在9至29之间、优选16至22之间、完全优选为20的数字，并且第二数目是在1至5之间、优选1至3之间、完全优选为1的数字。因此第一数目与第二数目的比例被预给定在29比1和9比5之间、优选22比1和16比3之间、完全优选为20比1。如上所述地，对于所有这些数目和比例共同的是：为了有利的高可靠性而将更大数目或更大分额的输送给算法的图像输送给眼睛识别。

在本发明一种特别有利的扩展方案中，该系统被设立用于，如果在第二部分序列中识别出手，则改变第一数目与第二数目的比例。这可以通过改变第一数目和/或改变第二数目来进行。尤其是，可以减小所述比例，使得按份额将更多图像输送给用于手识别的算法。优选地，因此朝数字1的方向来改变所述比例。换言之，第一数目与第二数目的差可以通过对第一数目和/或对第二数目的改变而被改变，尤其是减小。这具有如下优点：在不存在手识别的情况下可以将所记录的图像主要用于眼睛识别，并且在手识别的情况下才进行对图像的更均匀的划分。因此有利地，为了可靠的并且在时间上高分辨率的手识别而将更大份额的手识别期间所记录的图像输送给第二算法。此外，有利地改善了系统的资源划分。尤其是可以将尤其是计算机的在不识别手的情况下所不被需要的资源用于眼睛识别。

在一种有利的构型方案中，该系统被设立用于，如果在第二部分序列中识别出手，则对于接下来的、尤其是对于下个和/或下下个第一部分序列将第一数目预给定为在2至10之间、优选在3至7之间、完全优选为5的数字。可替代地或附加地，可以将该系统设立用于，如果在第二部分序列中识别出手，则对于下个和/或下下个第二部分序列将第二数目预给定为在1至5之间、优选在3至5之间、完全优选为5的数字。如果期望通过该系统来快速切换图像的分派，则可以在直接在前的第二部分序列中识别出手之后就已经在下个第一或第二部分序列中进行上面列举的对第一或第二数目的改变。在没有对该系统的这样高的要求的情况下，也可以替代地在下下个部分序列中才进行改变。

优选地，该系统的摄像机是红外摄像机。这有利地实现了，使用并不干扰使用者的红外光来用于照亮使用者。尤其是，该系统也可以包括用于照亮使用者的红外光源，尤其是用于照亮使用者的眼睛和/或手，其中能由红外光源发射的光优选地包括大约920纳米的波长。摄像机可以例如是被构造用于记录每秒至少60个图像的摄像机。鉴于以上建议的针对两种算法对图像的划分，这样的记录速率支持可靠的眼睛或手识别。

按照本发明的另一构型方案，该系统包括用于检测使用者的眼睛的第二摄像机，其中该第二摄像机优选地被布置在该系统的布置在使用者之前的部分中。这具有如下优点：用于检测眼睛的区域可以被扩大并且每时间单位能够记录的图像的数目能够被提高，这导致还要更可靠的眼睛识别。第二摄像机可以在此与用于支持眼睛识别的系统的计算机连接或者与另一计算机连接，例如用于识别使用者的第二个眼睛。

本发明也涉及一种具有按照本发明的系统的用于机动车的控制台、尤其是中央控制台。该系统、尤其是计算机在此被设立用于，根据所识别的手的位置和/或移动来识别用于控制该系统的姿态并且实施控制。此外，该系统、尤其是计算机可以被设立用于，根据所识别眼睛的位置和/或移动来识别用于控制该系统的姿态并且实施控制。可替代地或附加地，该系统、尤其是计算机可以被设立用于，通过眼睛识别来执行使用者或驾驶员的状态识别、例如视线方向识别或疲劳度确定，并且优选地根据所识别的状态来操控该系统和/或对使用者或驾驶员给出反馈，例如通过系统的显示来给出反馈。

本发明还涉及一种具有按照本发明的控制台的机动车。本发明在机动车中的使用是特别有利的，因为使用仅一个摄像机与按照本发明的所属的计算机满足了在机动车中优先的结构空间的需求。此外，按照本发明的系统可以在机动车的安全运行时有利地对驾驶员进行支持，因为基于眼睛或手识别对系统的控制不需要使驾驶员从交通情况上分心。

如上所述地，本发明也涉及用于在通过摄像机所记录的图像的序列中识别眼睛和手的方法，其中在与摄像机连接的计算机中交替地输送第一部分序列给用于眼睛识别的尤其是在该计算机中所设立的第一算法和输送第二部分序列给用于手识别的尤其是在该计算机中所设立的第二算法，其中该第一部分序列包括能预给定的第一数目的彼此相继的图像并且该第二部分序列包括能预给定的第二数目的彼此相继的图像，其中第一算法根据第一部分序列识别第一部分序列的图像是否包括眼睛的图像，并且其中第二算法根据第二部分序列识别第二部分序列的图像是否包括手的图像。优选地，预给定第一数目大于第二数目。

关于按照本发明的方法和以下有利扩展方案和构型方案的优点参照按照本发明的系统的如上所述的对应的扩展方案和构型方案。

按照一种特别有利的扩展方案，所述方法是用于识别通过眼睛或手所实施的姿态的方法，其中根据所识别的姿态来操控按照本发明的系统。尤其是，可以根据所识别的姿态来操控该系统的功能性。例如，可以根据所识别的姿态来操控机动车的功能性。

在所述方法的有利的构型方案中，针对第一数目预给定在9至29之间、优选16至22之间、完全优选为20的数字，并且针对第二数目预给定在1至5之间、优选1至3之间、完全优选为1的数字。

按照本发明的特别有利的构型方案，如果在第二部分序列中识别出手，在第二部分序列中识别出手时，则改变第一数目与第二数目的比例。这可以通过改变第一数目和/或改变第二数目来进行。尤其是，可以减小所述比例。优选地，因此朝数字1的方向来改变所述比例。尤其是，对于接下来的、尤其是对于下个和/或下下个第一部分序列将第一数目预给定为在2至10之间、优选在3至7之间、完全优选为5的数字。优选地，可替代地或附加地，如果在第二部分序列中识别出手，则对于接下来的、尤其是对于下个和/或下下个第二部分序列将第二数目预给定为在1至5之间、优选在3至5之间、完全优选为5的数字。

本发明还包括计算机程序和计算机可读的存储介质，它们分别包括指令，所述指令在通过计算机实施时促使所述计算机执行或实施按照本发明的方法。

附图说明

本发明的实施例在附图中示意性地示出并且在接下来的描述中进一步阐述。

图1示出按照本发明的系统的实施例；以及

图2和图3示出关于按照本发明的方法的实施例的流程图。

具体实施方式

图1示出用于识别使用者的眼睛和手的按照本发明的系统100的实施例。该系统100在该示例中作为按照本发明的机动车1的中央控制台9的实施例的部分来实施，从而该系统在驾驶员1朝向挡风玻璃11的视线方向时处于驾驶员1的右方。

该系统100包括用于在摄像机110的检测范围111中记录图像的摄像机110。在该示例中，摄像机110是红外摄像机110，其这样构造和布置，使得其检测范围111包括在车辆10的驾驶员1和方向盘12之间的范围中驾驶员1的右手2的移动。例如，在此可以涉及smarteyemultiblackbird®摄像机。此外，该系统100可以包括用于照亮驾驶员的光源130，该光源能够由计算机150来操控。在该示例中，光源130是红外光源130，该红外光源这样构造和布置，使得其能够照亮该摄像机110的检测范围111的至少一部分。例如，红外光源130能够被构造用于发出具有大约920纳米的波长的红外光。例如红外光源130可以是920纳米照明灯或者是在schimmelm.等人的“distancesbetweenfaciallandmarkscanbemeasuredaccuratelywithanewdigital3-dimensionalvideosystem”，（2016年2月,http://smarteye.se/wp-contenvuploads/2015/01/schimmel-et-al..pdf）中所提到的光源。

系统100还包括计算机150，该计算机与摄像机110连接并且被设立用于处理由摄像机110所记录的图像的序列。该计算机150可以为此具有例如微处理器和与其连接的存储器，例如pokini®的车内pc或者具有多核处理器和2gigabyte（千兆字节）或者以上的工作存储器的intel®nuc。按照该实施例，在计算机150中、尤其是在计算机150的存储器中保存用于眼睛识别的第一算法和用于手识别的第二算法。例如，用于眼睛识别的第一算法可以是上面提及的图像识别算法（smarteye），并且用于手识别的第二算法可以是上面提及的图像识别算法（leapmotion（体感控制））。该计算机150、尤其是该计算机150的微处理器被构造用于，将该序列的图像输送给这两种算法，用于利用这些算法来进行处理。在该示例中，该系统100被构造用于，根据所识别的眼睛或所识别的手、尤其是根据眼睛或手的所识别的位置、移动和姿态来实施该系统100的预给定的控制，例如机动车10的功能性的控制，诸如空调设施、导航系统、娱乐系统的控制和/或用于生成对于手的触觉反馈。

该计算机150被设立用于，交替地输送第一部分序列给用于眼睛识别的第一算法和输送第二部分序列给用于手识别的第二算法，其中该第一部分序列包括能预给定的第一数目的彼此相继的图像并且该第二部分序列包括能预给定的第二数目的彼此相继的图像，其中该第一算法根据第一部分序列来识别该第一部分序列的图像是否包括眼睛的图像，并且其中第二算法根据第二部分序列来识别该第二部分序列的图像是否包括手的图像。例如，作为第一数目预给定在9至29之间、在该示例中为20的数字，并且作为第二数目预给定在1至5之间、在该示例中为1的数字。此外，在该示例中所有由摄像机150所记录的图像被输送给这两种算法之一。因此，按照该示例将20个直接彼此相继的图像的第一部分序列输送给用于眼睛识别的第一算法，接下来是将具有仅一个图像的第二部分序列输送至用于手识别的第二算法，接下来又是将具有20个图像的另一第一部分序列输送至第一算法，并且如此继续。执行图像至这两种算法的交替输送，直至通过第二算法在第二部分序列的图像中识别出手2。该系统100、尤其是计算机150被设立用于改变第一数目与第二数目的比例，如果在第二部分序列中识别出手，则在该示例中减小所述第一数目与第二数目的比例。按照该实施例，在下个第一部分序列中的第一数目被预给定为5。这意味着：只要在第二部分序列中识别出手，就仅分别将5个图像输送给用于眼睛识别的第一算法、接着是分别将1个图像输送给用于手识别的第二算法，使得在手识别期间所记录的图像的更大份额被输送给第二算法以用于可靠的和时间上高分辨率的识别。如果在第二部分序列中不再探测到手，则该第一数目又被设置为20。如上所述地，也可以为第一和/或第二数目预给定其他数字。

该系统100可以包括用于检测驾驶员1的眼睛的第二摄像机140，其中该第二摄像机140优选地被布置在该系统100的在驾驶员1之前所布置的部分中。如在图1中所示，该第二摄像机140可以尤其是被布置在组合式仪表的范围中或车辆10的方向盘12处。如在第一摄像机110的情况下那样，第二摄像机140优选是红外摄像机。

图2示出关于按照本发明的方法500的实施例的流程图，该方法例如能够通过按照图1的实施例的系统100来运行。

在该方法500的第一步骤501中，该系统100的摄像机110记录图像的序列，所述图像的序列被转给该系统的计算机150。在第二步骤中，计算机150交替地输送第一部分序列给用于眼睛识别的尤其是在该计算机中所设立的第一算法和输送第二部分序列给用于手识别的尤其是在该计算机中所设立的第二算法，其中该第一部分序列包括来自该序列的能预给定的第一数目的彼此相继的图像并且该第二部分序列包括来自该序列的能预给定的第二数目的彼此相继的图像。在尤其是时间上与第二步骤502重叠的第三步骤503中，通过第一算法根据第一部分序列来识别第一部分序列的图像是否包括眼睛的图像，并且通过第二算法根据第二部分序列来识别第二部分序列的图像是否包括手的图像。在第四步骤504中，该系统100优选根据所识别的眼睛或所识别的手被操控、尤其是根据通过所述眼睛或通过所述手来实施的所识别的姿态被操控。

图3示出关于该方法的有利构型方案的实施例的流程图600，例如作为关于按照图1和2的实施例的方法500的构型方案。在该实施例中，首先将计数器610设置为针对第一部分序列的预给定的第一数目，例如设置为数字20。然后，来自通过摄像机110所记录的图像的序列的图像被输送给用于眼睛识别的第一算法601。换言之，将计算机150中的用于眼睛识别的第一算法601应用到该图像。接下来，在第一比较603中确定计数器610是否还大于0。如果是的话，则计数器610被减小1，也即在该示例中被设置为19（604），并且将来自该序列的下个图像输送给第一算法601（601）。接下来，计数器610重新就数字是否大于0被询问（603）并且如果情况如此就减小1（604），也即在该示例中现在设置为18，并且来自该序列的下个图像被输送给第一算法601（601）。该循环一直被执行，直至第一比较603得出否定的结果，该计数器610因此为0。如果情况如此，则来自该序列的下个图像被输送给用于手识别的第二算法602。换言之，将计算机150中的用于手识别的第二算法602应用到该图像上。该图像现在表示上面提及的第二部分序列。预给定的第二数目在该示例中因此为1。如果在该图像中并没有通过第二算法602识别出手，则计数器610再次被设置为预给定的第一数目（606），也即在该示例中设置为20，并且来自该序列的下个图像再次被输送给用于手识别的第一算法601。然而，如果在来自第二部分序列的该图像中已经通过第二算法602识别出手，则以预给定的方式来改变预给定的第一数目（607），例如改变为5，并且计数器610被设置为经改变的预给定的第一数目。因此在这种情况下，仅将来自该序列的经改变的第一数目的图像输送给第一算法601，之后将来自该序列的后续图像再次输送给第二算法602。如果在后面提及的图像中再次识别出手（602），则将计数器重新设置为经改变的预给定的第一数目，在此是5（605、607）。如果没有识别出手（602），则该计数器被设置为最初的预给定的第一数目，也即在此再次为20。