基于雷达点云检测座位布置的座位占用状态的方法和系统与流程

本发明涉及一种方法、计算机程序和被配置用于执行该方法的系统，在每种情况下用于自动检测具有多个座位的座位布置的座位占用状态。

背景技术：

1、在各种情况下，可能需要自动确定具有多个座位的座位布置的当前座位占用状态。这种情况可能特别发生在车辆中，例如机动车辆中，其中依赖当前座位占用状态执行车辆的配置或一个或多个车辆功能的激活、去激活和/或控制。例如，在机动车辆中，已知依赖检测到的座位占用状态向车辆乘员输出声学或视觉警告以应用安全带或控制安全气囊的激活或去激活。

2、对于具有一个或多个座位的座位布置(特别是车辆中的车辆座位布置)的当前座位占用状态的自动检测，为此目的已知所谓的座位占用垫，其集成到座位中(通常每个座位一个)，并且使用压敏传感器来检测相应的座位是否被占用。通常借助于阈值比较，依赖这些传感器的传感器信号或传感器数据来确定座位的座位占用状态。

3、因此，这些已知的解决方案要求座位配备有内置传感器，并且通常也无法区分除了“被占用”和“未被占用”之外的不同座位占用状态。另外，传感器通常必须在工厂集成到座位中，使得改装变得困难或不可能，并且消除了检测未以这种方式装备的座位的座位占用状态的能力。

4、此外，对于当前座位占用状态的自动检测，已知具有用于座位布置的雷达扫描的雷达传感器的系统，其基于多个雷达点云来确定座位是否被占用，每个雷达点云表示在具有不同持续时间的不同测量帧中采集的测量数据。然而，如果座位上的人在很大程度上移动，雷达点云将朝向该人移动，这可能会掩盖或阻止对其他座位上可能移动较小量的人的检测。

技术实现思路

1、本发明的目的是提供一种改进的解决方案，用于自动检测具有至少一个座位的座位布置的座位占用状态。

2、根据独立权利要求的教学实现了该目的。本发明的各种实施例和发展是从属权利要求书的主题。

3、本文提出的解决方案的第一方面涉及一种特别是计算机实现的方法，用于特别是基于单个座位位置自动检测具有多个座位位置(或等效的：座位)的座位布置的座位占用状态，特别是在诸如汽车(例如卡车、汽车或公共汽车)的车辆中或用于车辆的座位，对于该车辆，座位占用状态将作为该方法的一部分被单独地或累积地确定。该方法包括：在表示来自多个测量帧的每个测量帧的相关联的雷达点云的每种情况下，接收或生成测量数据，使得测量数据表示对应于多个测量帧的多个雷达点云，其中多个雷达点云中的每个雷达点云已是或是基于在分配给相应测量帧的测量时间处或测量周期期间发生的对围绕座位布置的至少一些区段的空间区域的雷达扫描而获得的，并且包含雷达点，多个测量帧包括多个测量帧群组，每个测量帧群组包括相同时间长度的一个或多个测量帧，不同测量帧群组的测量帧的时间长度不同，并且一个对应雷达点云群组被分配给多个测量帧群组中的每个群组；以及基于评估模型确定座位布置的座位占用状态，该评估模型取决于至少两个雷达点云群组返回座位布置的多个预定义的可能座位占用状态中的一个作为评估结果；其中每个雷达点云的各个雷达点各自至少由相应雷达点在三维空间中的一个位置表示；对于每个雷达点云，其雷达点的集合通过聚类的方式，取决于雷达点相对于座位的相应空间位置被细分为多个聚类，每个聚类包含雷达点的子集，以便向每个座位单独分配在空间上位置最接近其的聚类之一；座位布置的座位占用状态的确定包括取决于至少两个雷达点云群组的相应相关联聚类，对每个座位的相应单独座位占用状态的单独确定，以便获得标识相应座位的座位占用状态的评估结果；对于至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的那个群组中的至少一个雷达点云的每个聚类，确定包含在相应聚类中的雷达点的数量或依赖于该数量的量，确定至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的特定群组的单个雷达点云的相应聚类中包含的雷达点的数量或依赖于该数量的量，或者至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的特定群组的、在空间上彼此对应的多个雷达点云的相应聚类中包含的雷达点的相应数量的平均值或依赖于该值的量是否小于第一预定义阈值，以及仅当对于至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的特定群组的各个雷达点云的每个聚类，雷达点的数量或依赖于该数量的量小于第一预定义阈值时，或者如果至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的特定群组的、在空间上彼此对应的多个雷达点云的相应聚类中的雷达点的相应数量的全部平均值或依赖于它们的量小于第一预定义阈值时，才基于评估结果更新存储的座位占用状态，以及如果已更新存储的座位占用状态，则输出根据评估结果定义的信息。

4、如本文所使用的，具有多个座位的座位布置的术语“座位占用状态”应被特别理解为意为指示该座位布置或其至少一个座位是否或在多大程度上被对象，特别是人或物品占用或占据的信息。简单示例中的座位占用状态可以仅指示对象的存在或不存在，或者在进一步发展的示例中，在座位布置或其一个或多个座位上存在至少一个对象的情况下，做出关于对象的性质或另一特征(例如，其空间范围)的声明。

5、本文中使用的术语“雷达点云”应被特别地理解为意为通过对至少一个对象表面的雷达扫描的方式获得的矢量空间的点集，其具有典型的无组织空间结构(“云”)。在雷达点云的情况下，雷达点云的点可以被称为“雷达点”。(雷达)点云可以特别用其中包含的(雷达)点来描述。反过来，每个雷达点可以特别地通过它们的空间坐标来描述，这些雷达点中的每个点都指定了在雷达扫描中测量的对象表面上辐射的雷达信号的反射位置。除了雷达点之外，还可以获取诸如测量的多普勒速度或信噪比(snr)之类的属性。

6、如本文所使用的术语“测量帧”被特别地理解为意为定义的、特别是周期性的连续测量点或测量周期的按时间顺序排列的测量时间或测量周期，在该测量时间或测量周期处或期间，发生或已经发生了每个测量，在本例中是至少一个对象表面的雷达扫描。每个测量帧都被分配有与其相关联的测量结果，在这种情况下是通过雷达扫描为测量帧生成的雷达点云。

7、如本文所使用的术语“评估模型”被理解为意为雷达点云或其一个或多个特征参数用作(多个)输入变量以返回依赖于它的评估结果(在本情况下是座位布置的多个预定义的可能座位占用状态中的一个)的特定数学模型。具体地，评估模型可以是数学估计函数，其中雷达点云将经验数据表示为随机样本，并且评估结果表示作为取决于其确定的估计。评估模型可以具体是“机器学习模型”，这里特别理解为意为数学的(特别是统计的)模型，用于基于被称为训练数据的示例数据，借助于至少一个机器学习算法做出预测或决策，无需(多个)算法被显式编程以做出这样的预测或决策。特别地，用于机器学习的基于决策树的模型是机器学习模型。

8、特别地，要输出的信息可以表示评估结果本身。它也可以是信号，特别是可以用人的感觉检测到的信号，诸如警告，或者用于激活信号源的控制信号，或者携带信息的数据信号。

9、术语“包括(comprise)”、“包含(contains)”、“包括(include)”、“具有(has)”、“具有(having)”或其任何其他变体(如本文所使用)旨在涵盖非排他性包含。作为示例，包括或具有元素列表的方法或设备因此不一定限于这些元素，而是可以包括未明确列出的或在这种方法或这种设备中固有的其他元素。

10、此外，除非另有明确说明，“或”是指包容性的或，而不是排他性的或”。例如，条件a或b由以下条件之一满足：a为真(或存在)，b为假(或不存在)，a为假(或不存在)，b为真(或存在)，a和b两者都为真(或存在)。

11、本文使用的术语“一个(a)”或“一个(an)”被定义为“一个或多个”。术语“另一个”和“更多的”及其任何其他变体应理解为“至少另一个”。

12、这里使用的术语“多个”应理解为“两个或更多个”。

13、为了本发明的目的，本文可以使用的术语“被配置”或“被设计”以实现特定功能(及其任何变体)被理解为意为对应的设备已经存在于其可以执行该功能的配置或设置中，或者该设备至少是可调节的-即可配置的一使得其可以在适当的调节之后执行该功能。该配置可以例如通过适当设置用于激活或去激活功能或设置的处理序列或开关或类似物的参数来应用。具体地，该设备可以包括多个预定配置或操作模式，使得该配置可以通过选择这些配置或操作模式中的一个的方式来执行。

14、根据本发明，通过将雷达点的子集作为聚类、依赖每个座位各自的位置分配给每个座位(特别是每个雷达点唯一地分配给每个座位)，将雷达点云分割成多个聚类，使得聚类的雷达点位于座位附近的定义的封闭的，特别是长方体的空间区域中。具体地，可以这样一种方式来执行分配，即每个雷达点被分配给离它最近的座位聚类。因此，雷达点云可以被划分成聚类，即定位在相应座位附近的雷达点云的子集，从而可以基于分配给相应座位的聚类以目标方式并且因此具有高可靠性地确定座位特定的座位占用状态。

15、因此，每个聚类包含相关雷达点云的雷达点集的(特别是真的)子集。在一些实施例中，可以特别地执行聚类，使得聚类是不相交的，从而没有雷达点被分配给两个不同的聚类。

16、使用根据第一方面的方法，可以基于从围绕座位布置的空间区域的实际或模拟雷达扫描收集的雷达点云来获得表征(特别是在预测或分类的意义上)座位布置的座位占用状态的评估结果。因此，可以实现基于雷达的解决方案，特别是在车辆环境中(特别是对于汽车)，其可以借助于雷达可靠地(特别是专门地)检测座位占用状态，并且在此基础上，可以全部地或选择性地激活、去激活或控制某些功能或系统，诸如安全带警告系统或安全气囊系统。

17、在很多雷达测量技术中，每个雷达点云生成的雷达点的数量取决于对象是否移动或以何种方式移动。在实验中已经发现，如果位于座位上的对象快速移动，特别是在具有短的，特别是最小时间长度的测量帧中获得的雷达点的数量急剧增加，这些雷达点被分配给相应的聚类。因此，通过选择可以基于经验数据确定的合适的第一预定义阈值，并将所获取的雷达点的数量或由其导出的量与第一预定义阈值进行比较，可以判断或确定由评估模型返回的评估结果是否不正确。

18、具体地，通过对于至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的群组中的至少一个雷达点云的每个聚类确定包含在相应聚类中的雷达点的数量或依赖于它的量，可以确定至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的该群组中的单个雷达点云的相应聚类中包含的雷达点的数量或依赖于它的量，或者至少两个雷达点云群组中与具有最小时间长度的测量帧相关联的该群组中的多个雷达点云的在空间上彼此对应的每个聚类中包含的雷达点的相应数量的平均值或依赖于该值的量是否小于基于该(多个)确定的第一预定义阈值，即，特别地，如果对于至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的群组中的单个雷达点云的每个聚类，雷达点的数量或依赖于它的量大于第一预定阈值，或者如果至少两个雷达点云群组中被分配给具有最小时间长度的测量帧的群组中的在空间上彼此对应的多个雷达点云的相应聚类中包含的雷达点云的相应数量的全部平均值大于第一预定义阈值，则可以高度确定地检测基于评估确定的座位布置的座位占用状态是不正确的。如果是这种情况，则丢弃所执行的雷达扫描，并且不使用最近执行的雷达扫描来更新使用先前雷达扫描确定和存储的座位占用状态。以这种方式，可以降低座位占用状态输出中的错误率。

19、下面将描述该方法的各种示例性实施例，除非明确排除或技术上不可能，否则其中的每个实施例都可以根据需要彼此组合，并且与也描述的本解决方案的其他方面组合。

20、在实验中，还发现如果位于座位上的对象快速移动，特别是对于分配给对应座位的聚类中包含的雷达点，在相应雷达点处的雷达信号的多普勒频移值也大大增加。因此，通过选择可以基于经验数据确定的合适的第二预定义阈值，并且(附加地)将包含在聚类中的雷达点的多普勒频移值与第二预定义阈值进行比较，可以判断或确定由评估模型返回的评估结果是否不正确。

21、因此，在一些实施例中，每个雷达点云的各个雷达点在每种情况下还由相应雷达点处的雷达信号的多普勒频移值表示，其中对于至少两个雷达点云群组中的至少一个雷达点云的每个聚类，确定相应聚类的每个雷达点的多普勒频移值或相应聚类的所有雷达点的多普勒频移值的平均值是否小于第二预定义阈值，以及仅当对于至少两个雷达点云群组的单个雷达点云的每个聚类，相应聚类的每个雷达点的多普勒频移值或相应聚类的所有雷达点的多普勒频移值的平均值小于第二预定义阈值时，或者仅当至少两个雷达点云群组的、空间上彼此对应的多个雷达点云的相应聚类中包含的所有雷达点的多普勒频移值的相应平均值的平均值小于预定义的第二阈值时，基于评估结果更新所存储的座位占用状态。以这种方式，可以进一步降低座位占用状态输出中的错误率。

22、在一些实施例中，至少两个测量帧群组具有多个时间上连续的测量帧。这可以提高座位占用状态的检测的准确性和/或可以对对象的运动进行检测或分类。

23、在一些实施例中，该方法还包括：对于在确定座位占用状态时考虑的至少两个雷达点云群组的相应(多个)雷达点云中的每个雷达点云，确定用于表征雷达点云的至少一个定义的特征值的相应值，其中评估模型以或将以这样的方式定义：当确定座位布置的座位占用状态时，取决于在确定座位占用状态时被考虑的至少两个雷达点云群组的雷达点云的至少一个特征值的相应值来确定评估结果。以此方式，可以以简化的方式定义和应用评估模型，因为不是整个雷达点云，而是只需要考虑至少一个特征值的值作为输入变量。在这种情况下，这些值的时间曲线可以反映座位布置上的一个或多个对象的运动或特定运动模式，使得评估模型可以在此基础上以特别可靠的方式确定座位布置的座位占用状态。

24、在一些实施例中，对于至少两个雷达点云群组的每个群组的多个雷达点云的特征值中的至少一个，以检测特征值的周期曲线的方式分析特征值的相应值，其中取决于分析的结果来确定评估结果。特别地，不仅可以检测座位布置的座位上任何对象的存在，而且甚至具有高可靠性，也可以区分座位布置上存在的活的对象，特别是人和诸如宠物(例如狗)的哺乳动物之间的区分。特别地，可能可以根据依赖这种周期曲线的检测或未检测的方法来显示要输出的信息。特别地，可以考虑周期曲线的一个或多个检测到的频率，特别是以这样的方式，即信息取决于频率是否在诸如典型呼吸频率范围的特定频率范围内而被定义。特别地，安全带紧固警告功能或安全气囊系统可以依赖是否在座位布置或其特定座位上检测到呼吸频率来控制，并且因此很有可能检测到人。

25、在一些实施例中，特征值或其中一个特征值由或将由相应雷达点云中的雷达点的数量或依赖于该数量的量来定义。如果在测量帧中的雷达扫描中，生成的雷达点云的雷达点的数量依赖被扫描对象移动的程度，则移动的程度因此可以用(多个)特征值来表示，特别是关于上述对象呼吸频率的检测。

26、在一些实施例中，至少两个测量帧群组中的一个群组的至少一个测量帧和至少两个测量帧群组中的另一个群组的一个测量帧在时间上重叠。以这种方式，具有短时间长度的测量帧群组中的一个或多个测量帧可以用于检测对象的快速运动，而同时具有长时间长度的另一测量帧群组中的一个或多个测量帧可以用于检测对象的慢速运动。例如，如果使用五个测量帧群组，每个群组具有128ms、256ms、512ms、1024ms或2048ms的时间长度，那么可以借助于评估模型检测对象的所有或至少几乎所有可能的运动。

27、在一些实施例中，评估模型包括经过训练的机器学习模型，其中表示至少两个雷达点云群组或为它们定义的一个或多个特征值的值的数据作为输入数据被提供给机器学习模型，以便获得作为其输出的评估结果。这允许评估模型的特别灵活和适应性强的实现，其中机器学习可以用于持续改进评估模型，并且从而改进座位占用标识的质量和可靠性。特别地，评估结果可以指示座位占用状态分类的类别。特别地，机器学习模型可以是基于决策树的模型或基于人工神经网络的模型。在这种情况下，特征值可以例如通过至少两个雷达点云群组的雷达点云中的雷达点的数量或依赖于该数量的量来确定。

28、在一些实施例中，信息的输出包括取决于信息来激活信号源，以依赖于该激活使信号源输出定义的信号。信号源特可以特别是音频源、光信号源、特别是用于图像或文本的显示设备、和/或触觉致动器或前述信号源中的至少两个的组合。这意味着借助于信令，检测到的座位占用状态可以被通信给用户或用于控制另一技术系统，诸如安全气囊系统。

29、在一些实施例中，信号源取决于信息被激活，以便如果信息是从评估结果得出的，则输出信号，根据评估结果，座位布置的至少一个座位被占用和/或存在所选择的预定义座位占用状态。

30、在一些实施例中，该方法附加地包括检测座位布置中的至少一个座位的安全带紧固状态或接收标识这一安全带紧固状态的安全带信息，其中信号源取决于安全带信息和来自评估结果的信息被激活，以这样的方式，如果根据该信息，座位布置的至少一个座位被占用和/或存在所选择的预定义座位占用状态并且安全带信息指示相关联的安全带未被系紧，则输出安全带紧固警告信号。以此方式，可以实现基于雷达的安全带检查和警告系统，特别是仅关于检测的方面。

31、在一些实施例中，每个雷达点云的各个雷达点在每种情况下还由在相应雷达点处的雷达信号的信噪比表示。在这种情况下，多普勒频移值和/或信噪比可以用于对雷达点云进行预过滤，作为特征提取之前的预处理阶段的一部分。

32、在一些实施例中，基于评估模型对座位布置的座位占用状态的确定被专门地，或者至少主要在数值意义上基于其多普勒频移值处于或高于预定义的非零位移阈值的那些雷达点来执行。因此，仅使用或至少主要使用所谓的动态雷达点作为评估的基础，即这样的雷达点指示被扫描对象的运动，其多普勒频移值处于或高于频移阈值。这可以特别地用于进一步提高质量，特别是该方法的可靠性，因为静态的，即对象表面上基本静止的点(诸如座位的座位表面上的点)不包括在评估中，或者仅比显示动态的点的数量少，并且因此非常可能被分配给生物，特别是人或动物。这允许利用从评估中获得的输出信息(例如用于安全气囊控制或安全带警告系统)，特别是根据是否已经检测到生物或静态对象表面。

33、本解决方案的第二方面涉及一种系统，特别是一种数据处理设备，用于自动检测具有至少一个座位的座位布置的座位占用状态，特别是任何座位占用状态，特别是在车辆中或用于车辆的至少一个车辆座位。在这种情况下，该系统包括数据处理设备，该数据处理设备被配置为特别地通过对应的计算机程序执行根据第一方面的方法来检测座位占用状态。

34、本解决方案的第三方面涉及一种包括指令的计算机程序或计算机程序产品，该指令在根据第二方面的系统的数据处理设备上执行时，使系统执行根据第一方面的方法。

35、该计算机程序特别地可以存储在非易失性数据载体中。这优选地是光学数据载体或闪存模块形式的数据载体。如果要独立于一个或多个程序要在其上运行的处理器平台来处理这样的计算机程序，这可能是有利的。在另一实现中，计算机程序可以作为文件存在于数据处理单元上，特别是在服务器上，并且可以经由数据链路(例如互联网或诸如专有或本地网络的专用数据链路)下载。另外，计算机程序可以具有多个单独的交互程序模块。特别地，模块可以被配置为以这样的方式使用，或者在任何情况下都可以被使用，即它们可以在地理上远程并经由数据网络彼此连接的不同设备(计算机或处理器单元)上的分布式计算的意义上使用。

36、根据第二方面的系统可以对应地具有存储计算机程序的程序存储器。可替代地，该系统还可以被配置为经由通信链路访问外部可用的计算机程序，例如在一个或多个服务器或其他数据处理单元上，特别是以便与它们交换在该方法或计算机程序运行时使用的数据，或者构成计算机程序输出的数据。

37、本解决方案的第四方面涉及一种车辆，其包括具有至少一个座位的座位布置、用于雷达扫描座位布置的至少部分的雷达传感器、以及根据第二方面的系统，该系统用于取决于雷达传感器对座位布置的至少部分进行的雷达扫描，自动检测座位装置的特别是相应的座位占用状态。

38、关于本解决方案的第一方面所解释的特征和优点也对应地应用于本发明的其他方面。

39、在下面结合附图的详细描述中可以找到本解决方案的进一步优点、特征和应用可能性。