检查机动车的车载语音识别器的方法、控制装置和机动车与流程

本发明涉及一种用于检查在机动车中提供的自动语音识别器的方法。该语音识别器在下面被称为车载语音识别器。该车载语音识别器可以执行自动语音识别(asr–automaticspeechrecognition)，以便识别出使用者语音输入中的语音内容。本发明还包括用于机动车的、以便能执行根据本发明的方法的控制装置，以及具有控制装置的机动车。

背景技术：

在机动车中例如为了声控车辆部件而可以提供车载语音识别器。使用者例如可以说出语音命令，该语音命令作为语音输入被传输给车载语音识别器。然后该车载语音识别器针对语音输入产生识别结果，该识别结果描述或表明在语音输入中识别出的语音内容、即语音命令。

然而由于计算资源有限，车载语音识别器的识别词汇是有限的。此外，统计性的识别模型、例如hmm(隐马尔可夫模型hiddenmarkovmodel)也受到机动车可用的计算能力的限制。

出于这个原因，在机动车中可以设置所谓的混合语音识别，其中通过通信链路附加地使用在线语音识别服务。通过通信链路同样将语音输入提供给该在线语音识别服务。在线语音识别服务例如可以通过互联网的服务器来实现。语音识别服务的识别结果然后又通过通信链路在机动车中提供。然而因此在机动车中现在存在两个识别结果，即车载语音识别器的识别结果和在线语音识别服务的识别结果。这两个识别结果都被提供给决策装置或仲裁装置，其首先通过比较来查明比较结果，该比较结果表明，两个识别结果是否彼此不同。然后基于这个比较结果可以决定，是否应使用识别结果之一。通常在线语音识别服务的识别结果更为可靠并且因此要优选使用，因为与车载语音识别器相比，更多的计算资源且进而更广泛的识别词汇以及更复杂的统计性的识别模型可供在线语音识别服务使用。因此车载语音识别器的错误的识别结果在存在通信链路时可以被认出和克服。

但可能出现如下情况，在机动车中因为通信链路断开或不可用，所以必须仅依赖车载语音识别器。通信链路例如可以基于移动无线电连接和/或wlan连接(wlan–无线局域网)来实现。如果现在不能实现这种无线电链路，则在机动车中不能使用在线语音识别服务。

用于声控的车载语音识别器例如由de102009051508a1和de102008025532a1已知。为了对车载语音识别器的识别结果进行可信度评估，由de102005018174a1已知，由更多的可能的识别结果中选出那个与数据库的数据库输入项最相符的识别结果。

技术实现要素：

本发明的目的在于，在目前不能借助在线语音识别服务进行检查的情况下对机动车的车载语音识别器的识别结果进行可信度评估。

所述目的通过独立权利要求的主题来实现。本发明的有利的实施方式通过从属权利要求、下述说明书以及附图来描述。

通过本发明提供了一种用于检查机动车的车载语音识别器的方法。所述检查针对与在线语音识别服务的通信链路断开的情况来进行。如果通信链路存在或可供使用，则存在在线模式，而在通信链路断开时存在离线模式。在该方法中，在在线模式(具有通信链路)中由机动车的仲裁装置或决策装置针对使用者的至少一个语音输入、即话语表达或语句既接收通过通信链路联接的在线语音识别服务的识别结果、又接收车载语音识别器的识别结果。由仲裁装置确定比较结果，该比较结果表明所述两个识别结果彼此是否有偏差。这一点就此而言由现有技术已知。然后根据比较结果可以使用两个识别结果之一，但这不是根据本发明的方法的部分。

根据本发明的方法在此涉及所述的离线模式。为此，首先在在线模式中针对至少一个语音输入由机动车的车载语音识别器除了接收所述语音输入的识别结果外还接收结果模板/样式/样本(ergebnismuster)。该结果样本描述车载语音识别器的相应的目前的识别情境。该结果样本连同与所述两个所接收的识别结果有关的对应的比较结果一起被存储在针对识别情境的样本存储器中。即在样本存储器中可以与关联的或对应的比较结果一起存储至少一个结果样本。但也可以把多个结果样本和对应的比较结果汇总，即通常借助目前的结果样本和对应的比较结果来更新样本存储器。针对在车载语音识别器中已经得出了结果样本的相应识别情境，之后还可以借助样本存储器来检查：已经得出何种比较结果，即两个识别结果彼此是否有偏差。

在与在线语音识别服务的通信链路断开的离线模式中，由仲裁装置针对至少一个另外的语音输入接收车载语音识别器的识别结果和车载语音识别器的对应的结果样本。由于通信链路断开所以不能确定在线语音识别服务的识别结果。因此仅存在车载语音识别器的识别结果。现在必须检查这个识别结果是否可信。这在在线模式中可以对此使用在线语音识别服务的识别结果。因为这在现在是缺失的，所以根据本发明在样本存储器中搜索根据预先确定的一致性标准与车载语音识别器的目前的结果样本相一致的所存储的结果样本，并且确定或从样本存储器中读取该结果样本的对应的或关联的比较结果。通常可以规定，在样本存储器中借助目前的结果样本搜索根据预先确定的一致性标准相一致的、存储的识别情境，并且读取针对该识别情境存储的代表性的比较结果。也就是确定过去在在线模式中在根据一致性标准与目前的识别情境一致的识别情境中得出了何种比较结果。如果这个比较结果表明存在偏差，则在离线模式中弃用目前的识别结果。相反如果该比较结果表明存在一致性，则在机动车中可以将所述识别结果用于例如声控的操作过程或者用于语音对话的控制。

因此尽管通信链路断开，借助样本存储器仍重构了在在线模式曾起作用时、即在线语音识别服务的识别结果曾可供使用时在类似的识别情境中或在根据一致性标准一致的识别情境中曾得出了哪个比较结果。因为现在在离线模式中不能得到在线语音识别服务的识别结果，所以基于样本存储器重构比较结果。为此，样本存储器例如可以设计成数据库或数据存储器。

通过本发明得出下述优点，即使当在线语音识别服务不可使用时，也能够对车载语音识别器的识别结果检查其可信度。在此如果在离线模式中针对目前的结果样本在样本存储器中不能确定相一致的结果样本，则必须基于至少一个另外的标准检查目前的识别结果——但这不是本发明的内容。在这种情况下也可以简单地弃用目前的识别结果。

本发明还包括得出其他附加优点的实施方式。

一种实施方式提出，车载语音识别器的所述结果样本包括由车载语音识别器的统计性的识别模型识别出的音节序列(silbenfolge)。这种识别模型例如可以基于hmm形成。音节序列是分别描述单词构成的音节的顺序。其涉及的是统计性的识别模型在语音输入中所能够识别出的音节的顺序。附加地或替选地，结果样本为此可以包括车载语音识别器的统计语言模型的可能的识别结果的列表。这种语言模型例如可以是slm(统计语言模型)。借助这种语言模型可以将由识别模型识别出的音节序列组成一个或多个可能的词语。如果能实现更多的识别结果，则得出了可能的识别结果的所述列表。针对语音输入“触摸屏(touchscreen)”，识别模型可以产生例如音节序列“ta-tsch-creen”，从中语言模型又可以产生可能的识别结果的列表：“触摸屏(touchscreen)”，“触摸我(touchme)”。该列表项能以所谓的置信值的顺序排列，该置信值表明该列表项表达正确识别结果的概率。这例如可以被称作为置信度的所谓的对数似然值(log-likelihood-wert)。包括音节序列和/或可能的识别结果的列表的结果样本具有下述优点，为了确定识别情境不需要评估识别背景，例如目前的操作背景(机动车中目前激活的功能或设备)。

一种实施方式提出，如果在离线模式中弃用目前的识别结果(因为比较结果表明有偏差)，则向使用者发出关于通信链路断开的提示。由此得出的优点是，只有确实重要时，使用者才得到通信链路断开的消息且由此例如从驾驶机动车转移注意力。相反，如果可以使用车载语音识别器的识别结果，即无须弃用该识别结果，那么通信链路断开的提示对于使用者而言是不重要的。

一种实施方式提出，一致性标准——借助该一致性标准在样本存储器中识别目前的结果样本与在样本存储器中的输入内容是否一致——包括如下内容。可以要求，在结果样本与存储在样本存储器中的结果样本之间的一致性的百分比必须大于预先确定的阈值。即不必要求百分之百的一致性，而是阈值例如可以在小于百分之100、例如大于百分之50或大于百分之60或大于百分之70的区间中。对此附加地或替选地，通常可以通过一致性标准要求：通过结果样本所描述的识别情境是相同的。换句话说，样本存储器可以描述一定数量的或者多个可能的识别情境并且然后检查：目前的结果样本是否描述或认证了可能的识别情境之一。每个识别情境例如可以分别通过至少一个代表性的识别样本来描述，该识别样本分别能与目前的识别样本来比较。该实施方式的优点在于，类似的结果样本(未百分之百的一致)也被识别为一致，从而样本存储器的内容还可以在未得出百分之百一致的情况下使用。

在对识别情境的一致性的检查方面，一种实施方式提出，在样本存储器中，把要存储在该样本存储器中的结果样本(在在线模式中)归类于多个可能的识别情境中的一个识别情境中。因此以有利的方式不必单独存储每个结果样本，而是形成了类别，即可能的识别情境。因此多个结果样本能被汇总或归类于一个识别情境中。这提高了样本存储器的效率。

在样本存储器中可以规定，定义一个或多个可能的识别情境，其中为每个识别情境分别分配一个代表性的比较结果。这种代表性的比较结果例如可以是由所基于的各单个识别样本的比较结果得出的平均值。一种实施方式对此提出，针对每个可能的识别情境附加地存储在此被称为暂时的权重分量/加权量(gewichtungskomponente)的值。即针对每个可能的识别情境管理一暂时的权重分量。该暂时的权重分量表明：针对该相应的识别情境已经输入或存在了多少结果样本。因此权重分量表明，相应的识别情境实际上已经在在线模式中出现或者被监测了多少次。由此以有利的方式给出针对该识别情境所存储的比较结果有多可信的数值。如果在离线模式中存在与可能的识别情境的一致性且对应的比较结果表明有偏差，则目前的识别结果在此仅在下述情况下被弃用：针对该识别情境的权重分量大于预先确定的阈值。换句话说，来自样本存储器的比较结果因此仅在下述情况下用于评估或检查识别结果：针对相应的识别情境存在足够的统计描述或基础(权重分量大于阈值)。

一种实施方式能实现样本存储器的所谓的基于云的训练或增添。在此使用在在线模式起作用时已经在至少一个另外的机动车中确定了的至少一个比较结果。为此从至少一个另外的机动车和/或从车辆外部的中央控制装置接收至少一个附加的识别样本以及对应的比较结果，并且将其存储在样本存储器中。但这不必是具有相应比较结果的单一识别样本。而是可以从至少一个另外的机动车和/或从车辆外部的中央服务器设备接收样本存储器数据并且存储在样本存储器中。这种服务器设备例如可以是互联网的服务器。通过车辆与车辆-通信链路可以从一个另外的机动车接收样本存储器数据。例如通过互联网连接可以从服务器设备接收样本存储器数据。通过样本存储器数据能以有利的方式使用来自其他机动车比较结果或检查结果，以便补充样本存储器，从而例如获得关于至少一个暂时的权重分量的更高的值。

为了在机动车中能执行根据本发明的方法，通过本发明提供了一种用于机动车的控制装置。该控制装置例如可以设计成机动车的控制器。控制装置具有处理器装置，该处理器装置被设计用于执行根据本发明的方法的实施方式。为此，处理器装置可以具有至少一个微控制器和/或至少一个微处理器。处理器装置可以具有程序编码，其被设计用于，在由处理器装置实施时执行根据本发明的方法的实施方式。程序编码可以存储在处理器装置的数据存储器中。处理器装置在实施所述方法时运行所述仲裁装置，该仲裁装置例如可以被设计或实现为程序模块。

最后本发明还包括一种机动车，其具有根据本发明的控制装置的实施方式。根据本发明的机动车尤其是设计成汽车、例如乘用车或商用车。

本发明还包括所述实施方式的组合。

附图说明

下面描述了本发明的实施例。其中示出了：

图1示出了根据本发明的机动车于在线模式中的实施方式的示意图；和

图2示出了机动车在离线模式中的示意图。

图3示出了根据本发明的方法的实施例的流程图。

具体实施方式

下面阐述的实施例是本发明的优选实施例。在所述实施例中，实施例的所述组成部分分别为本发明的各个要彼此独立地看待的特征，所述特征还分别彼此独立地改进本发明并且因此还能单独地或在不同于所示出的组合中被视为本发明的组成部分。此外，所述实施方式还能通过本发明的其他已经描述的特征来补充。

在附图中，功能相同的元件分别具有相同的附图标记。

图1示出了机动车10，该机动车可以是汽车、尤其是乘用车或商用车。机动车10针对车辆部件11可以设置声控。为此，使用者可以完成或说出话语表达12。话语表达12可以具有语音内容12‘。语音内容12‘例如可以是用于操作车辆部件11的语音命令。

话语表达12在机动车10中或机动车处可以作为语言声音13被麦克风装置14检测，该麦克风装置可以包括一个或多个麦克风。麦克风装置14可以将话语表达12的语音信号从语言声音13转换成语音输入15。语音输入15可以是电信号和/或数字信号。语音输入15可以被传输给车辆本身的或车辆内部的车载语音识别器16并且通过通信装置17传输给互联网19的服务器设备18，该服务器设备可以运行或提供在线语音识别服务20。通信装置17例如可以具有移动无线电模块和/或wlan模块(wlan–无线局域网)。至服务器设备18的传输可以通过通信链路21来实现，该通信链路例如还可以包括无线电路径。在通信装置17和无线移动通信网22之间例如可以设置无线电链路23作为通信链路21的组成部分。语音输入15可以从无线移动通信网22通过互联网19传输给服务器18。通过车载语音识别器16可以根据或基于语音输入15产生识别结果23，该识别结果表明，在语音输入15中识别出了哪些语音内容12‘。相应地，识别结果24可以从服务器设备18的在线语音识别服务20通过通信链路21传输回机动车10。

因为现在存在两个识别结果23、24，在机动车10中借助仲裁装置25来决定：识别结果23、24中的哪一识别结果应被用作控制车辆部件11所基于的最终的识别结果26。车辆部件11可以例如是语音对话系统和/或声控系统。

仲裁装置25例如可以通过控制装置27、例如机动车10的控制器来实现。仲裁装置25例如可以被实现为程序编码，该程序编码可以在控制装置27的处理器装置28上运行或执行。

仲裁装置25可以具有决策逻辑模块29，通过决策逻辑模块来比较所述两种识别结果23、24。该比较被作为比较结果30给出，该比较结果表明或指明：车载语音识别器16的识别结果23与在线语音识别服务的识别结果24是否有偏差。可以规定，在存在偏差的情况下，使用在线语音识别服务20的识别结果24作为最终识别结果。

例如可以在如下情况下进行该检查：例如，由在线语音识别服务20和车载语音识别器16识别出：语音输入15对应于同样由车载语音识别器16提供的识别词汇31。但是因为在线语音识别服务20可以提供更多的计算资源，所以识别词汇31也可能还由在线语音识别服务20提供，但该语音识别在此被以更大的可靠性进行。决策逻辑模块29因此一方面对车载语音识别器16的识别结果23进行可信度评估，但在比较结果30表明有偏差时利用在线语音识别服务20的识别结果24。在这种情况下该识别结果24是最终的识别结果26。

如果在线语音识别服务20不可用，则必须使用识别结果23。但在这种情况下人们关注的是：车载语音识别器16的识别结果23能够被检查。为此，仲裁装置25可以具有样本存储器32和被适应的暂时的权重分量33。对于该样本存储器32，通过仲裁装置25从车载语音识别器16除了接收识别结果23外还接收结果样本34。作为内容，结果样本可以例如包含来自语音识别器16的统计语言模型37‘(slm—statisticallanguagemodel)的多个可能的识别结果的列表和/或来自车载语音识别器16的统计性的识别模型37的音节序列36。例如关于车载语音识别器16可以规定，借助统计性的识别模型37分析语音输入15的可能的音节和音节序列，并且借助统计语言模型37’将得出的音节序列36转换成多个可能的识别结果。由此，可以选择最佳的或最可能的识别结果来作为真正要使用的识别结果23。现在还通过将结果样本34与作为基础的音节序列36和/或可能的其余的识别结果来一起提供，总体地描述了从车载语音识别器16的角度得出的识别情境。

在此可以将结果样本34与比较结果30一起存储在样本存储器32中。为此，样本存储器32例如可以通过数据库来实现。可以规定，将结果样本34与多个可能的识别情境35之一关联。由此结果样本34被归类。然后，针对所选择的识别情境35，可以掌握比较结果30在此是否已经表明车载语音识别器16与在线语音识别服务20有偏差。针对每个识别情境35，此外可以通过暂时的权重分量33来掌握或计数得出：针对该相应识别情境35，比较结果30已经被存储或使用了多少次。

仲裁装置25的在图1中示出的运行方式相应于在线模式m1，在该在线模式中，通信链路21可供使用并且因此在线语音识别服务20的识别结果24也可供使用。

而图2则示出了处于离线模式m2中的仲裁装置25，在此存在所述通信链路21的断开u，从而不能接收在线语音识别服务20的识别结果24。如果出现另一话语表达37，则该相应的语音输入38必须仅利用车载语音识别器16以所述方式被分析，这就是说例如借助统计性的识别模型37和统计语言模型37’来为该语音输入38匹配识别结果39。此外，在此为对识别结果39进行监测或检查，同样又可以以所述方式将结果样本34与仲裁装置25的识别结果39一起来提供。因为不存在在线语音识别服务20的识别结果，决策逻辑模块29在此不能做出决策。但在此在样本存储器32中针对结果样本34可以选出可能的识别情境35，该识别情境根据预先确定的一致性标准40具有相对于结果样本34的预先确定的最低一致性。因为通过权重分量33针对识别情境35已经掌握了识别情境35的统计数字的可靠程度，所以可以决定是否应使用样本存储器32来检查识别结果39。如果权重分量高于针对该识别情境35的阈值，则样本存储器32可以被使用，即针对识别情境35确定出了：针对该识别情境所存储的比较结果30表明“在识别情境35中在线语音识别服务20也产生与车载语音识别器16的识别结果39相同的识别结果”的概率或比例是多少。针对识别情境35，如果为此存储的(平均)比较结果得出了车载语音识别器16与在线语音识别服务20具有偏差，则可以通过否定量41(ablehnungskomponente)而弃用该识别结果39。而如果来自样本存储器32的所确定的比较结果表明存在一致性，则可以将识别结果39传输给车辆部件11。

如果弃用识别结果39，则可以向机动车10的例如说出的话语表达37的使用者发出关于通信链路21断开u的提示42。

图3再次说明方法34的实施例，该方法可以通过控制装置27来执行。在步骤s10中，在在线模式m1中针对使用者的至少一个语音输入15，通过仲裁装置25不仅可以接收经由通信链路21联接的在线语音识别服务20的识别结果24，而且可以接收车载语音识别器16的识别结果23，并且在步骤s11中确定比较结果30，该比较结果指出了两个识别结果是否彼此偏差。在步骤s12中针对语音输入15可以附加地由车载语音识别器16来接收结果样本34——该结果样本描述了车载语音识别器16的相应的目前的识别情境，并且将结果样本34与对应的比较结果30一起存储在样本存储器32中。

在离线模式m2中——其中与在线语音识别服务20的通信链路21断开——在步骤s13中通过仲裁装置25针对一个另外的语音输入38可以接收车载语音识别器16的识别结果39和对应的目前的结果样本34。在步骤s14中，可以在样本存储器32中搜索根据一致性标准40与目前的结果样本34一致的所存储的结果样本，并且确定其对应的比较结果30‘。在步骤s15中，如果比较结果30‘表明存在偏差，可以通过例如否定量41而弃用目前的识别结果39。

因此目前的混合语音识别的缺点在于，所述系统在缺失数据连接时车载语音识别的显著性范围更低。这在许多情况下导致了，车载语音识别所识别的词语错误。但因为该错误的词语通常仍超过识别阈值，并且此前对于仲裁器(仲裁装置27)仍是唯一的决策标准，所以该当然是错误的识别结果仍被继续使用。这又导致了，语音识别被客户认为价值较低或者在最严重情况下导致了客户投诉。在此，进行自主学习的仲裁器为混合语音识别提供了补救。该基本思想在于，仲裁原则不是像此前那样在车辆的交货时刻被固定不变地限定，而是在车辆整个使用期间不断地借助由客户使用的搜索词语和由此形成的结果样本得到改进。

进行自主学习的仲裁器是此前的仲裁器的扩展方案。通过混合-结果样本-记忆(hybrid-ergebnismuster-)把此前在混合语音识别中经历的情境加以归类且一直存储。通过暂时的权重分量确保了：不是一次的识别结果就已经导致做出决定，而是该决策逻辑模块持续发展。

如果现在出现不存在在线连接的情况，那么在此不会像此前那样仅借助车载识别器的可信度做出决定，而是通过附加的弃用量(rejection-komponente)来检查。在此把说出的命令与此前在结果样本-记忆中存储的识别情境进行比较。如果所说出的样本以非常高的百分比符合已经保存的样本，则即使在没有存在数据连接的情况下也重又使用当时存储的措施。如果当时车载识别的主题与通过在线识别器确定的主题不相符，则弃用车载结果，并且告知客户在线连接不存在。如果在线结果和车载结果完全一致，则继续使用车载结果。由此获得的识别可靠性即使在没有在线数据连接的情况下也显著地提高了语音识别的质量。

混合-结果样本-记忆：在混合-结果样本-记忆中不仅在线地而且车载地归类和持久地存储每个识别情境35。样本存储器32的结果样本-记忆在此存储了全部情境而不是仅存储最好的识别结果。因为整个识别情境在语义解释之前已经被留存，所以可以非常好地推断出由使用者说出的完整语句、即语音内容12‘。因此，自主学习的仲裁器25在此随着每个识别情境进行学习，尤其是以专门匹配于车辆所有者的方式。

暂时的权重分量33：通过暂时的权重分量33确保了，不是在一次出现识别情境时就已经在仲裁器中做出了可能错误的判断。而是只有当识别情境以数目(n)次出现时才整体给予权重。在此之前，在每次出现识别情境时都将此前的值增加因数(m)，直至达到最大的限定权重值(max)。以这种方式，进行自主学习的仲裁器不仅在内容方面、而且还在暂时的量方面进一步学习。

否定量41：否定量41检查车载结果的有效性。如果在以前的识别情境中已经确定了车载识别的主题与由在线识别器提供的主题不一致，且如果针对该识别情境的权重分量已经足够高，则车载的主题被否定(rejection–弃用)，且客户被告知在线连接不存在。

总之所述实例表明，如何能通过本发明来为混合语音识别提供进行自主学习的车载仲裁装置。