语音信号处理方法及实现此的终端和服务器的制造方法
【技术领域】
[0001]本发明涉及一种信号处理方法及装置，具体而言，涉及一种可利用私密化模型而 保护个人信息的同时确保通信的迅捷性的语音信号处理方法及实现此的终端和服务器。
【背景技术】
[0002]语音识别（speech recognition)是接收用户语音的输入并将其转换为文字的技 术。因为这些过程是自动执行的，因此还可以将其称之为自动语音识别(Automatic Speech Recognition，以下简称为ASR)。近来，其作为在智能手机或者TV等设备中代替键盘输入的 接口技术而广为流传。语言理解(Natural Language Understanding，以下简称为NLU)是从 语音识别的识别结果中提取用户的话语的含义的技术。其并不是单纯地识别用户的语音， 而是执行高水准的用户语音分析，从而可以进一步精确地掌握语音的含义。
[0003] 这种语音识别以及语音理解系统一般可以分为接收语音信号的客户端(client) 和由语音信号执行语音识别以及语言理解的语音识别及语言理解引擎(ASR/NLU engine)， 而且为提高语音信号处理速度，两个模块可以相互分离地设计。在此情况下，处理能力和数 据存储能力有限的智能手机或者TV等设备可以配备为客户端，语音识别及语言理解引擎可 以配备为具有较高的运算能力的独立的服务器形式，而且该两种模块通过网络形成连接。 位于与用户较近的位置的设备执行接收语音信号的作用，数据处理速度较快的服务器执行 语音识别以及语言理解的作用。作为其他形态，还可以配备有如下的构造：除了服务器以 外，还在设备内部安装语音识别及语言理解引擎，从而使语音识别以及语言理解这两方面 的引擎可以相互协助而执行语音识别以及语言理解。
[0004] 作为用于提高这种语音识别及语言理解系统的性能的方法之一，存在一种按用户 分别收集数据而生成按用户模型的方法。所述按用户模型称为私密化模型(personalized model)，而相应的方法称为私密化建模(personalized modeling)。私密化模型可以生成对 应于特定的个人的匹配型模型，因此与为了非特定的多数而制作的一般模型相比而言通常 具有更尚的性能。
[0005] 然而，在利用私密化模型的情况下，为了生成私密化模型而需要利用到用户的个 人信息，然而在个人信息的传输以及处理过程中可能会发生信息保护问题，如果为了解决 这种问题而应用加密技术，则可能会发生处理速度变慢的问题。
【发明内容】
[0006] 本发明公开的实施例的目的在于提供一种利用私密化模型而保护个人信息的同 时可以确保通信的迅捷性的语音信号处理方法及实现此的终端和服务器。
[0007] 具体而言，本发明公开的实施例的目的在于提供一种将私密化信息区间以及一般 信息区间分开到终端和服务器而处理的语音信号处理方法以及实现此的终端和服务器。
[0008] 此外，本发明公开的实施例的目的在于提供一种终端利用私密化模型而对由服务 器处理过的语音信号再次进行处理的语音信号处理方法及实现此的终端和服务器。
[0009] 此外，本发明公开的实施例的目的在于提供一种利用到基于ID的私密化模型的语 音信号处理方法及实现此的终端和服务器。
[0010] 根据本发明公开的实施例的一种终端的语音信号处理方法包括如下步骤:接收语 音信号（speech signal);检测出所述语音信号中包含个人信息的私密化信息区间 (personalized information section);针对所述语音信号中对应于所述私密化信息区间 的语音信号，利用基于所述个人信息而生成的私密化模型(personalized model)而进行数 据处理；从服务器接收针对与作为所述私密化信息区间以外的区间的一般信息区间 (general information section)相对应的语音信号进行数据处理的结果。
[0011] 此外，所述终端的语音信号处理方法还可以包括如下步骤:生成关于所述私密化 信息区间和所述一般信息区间的语音区间信息并传输到所述服务器。
[0012] 此外，所述语音区间信息可以包括：区间掩蔽信息，用于在所述语音信号中掩蔽所 述私密化信息区间以及所述一般信息区间中的至少一个区间。
[0013] 此外，所述终端的语音信号处理方法还可以包括如下步骤:从所述服务器接收关 于所述私密化信息区间和一般信息区间的语音区间信息。
[0014] 其中，从所述服务器接收到的针对与所述一般信息区间相对应的语音信号进行数 据处理的结果可以是所述服务器利用一般模型而对与所述一般信息区间相对应的语音信 号进行处理的结果。
[0015] 根据本发明公开的实施例的一种服务器的语音信号处理方法包括如下步骤:接收 语音信号;检测出所述语音信号中包含个人信息的私密化信息区间；针对所述语音信号中 的与作为所述私密化信息区间以外的区间的一般信息区间相对应的语音信号，利用一般模 型而进行数据处理;将针对与所述一般信息区间相对应的语音信号进行数据处理的结果传 输到终端。
[0016] 此外，所述服务器的语音信号处理方法还可以包括如下步骤:生成关于所述私密 化信息区间和一般信息区间的语音区间信息并传输到所述终端。
[0017] 此外，所述语音区间信息可以包括：区间掩蔽信息，用于在所述语音信号中掩蔽所 述私密化信息区间以及所述一般信息区间中的至少一个区间。
[0018] 此外，所述服务器的语音信号处理方法还可以包括如下步骤:从所述终端接收关 于所述私密化信息区间和一般信息区间的语音区间信息。
[0019] 根据本发明公开的实施例的一种终端的语音信号处理方法包括如下步骤:接收语 音信号;从服务器接收利用一般模型而对所述语音信号进行数据处理的结果;利用基于个 人信息而生成的私密化模型以及所述数据处理的结果而对所述语音信号进行数据处理。
[0020] 其中，利用数据处理结果以及基于个人信息而生成的私密化模型而对所述语音信 号进行数据处理的步骤可以包括如下步骤:针对与包含所述个人信息的私密化信息区间相 对应的语音信号进行数据处理。
[0021] 此外，所述终端的语音信号处理方法还可以包括如下步骤:所述语音信号中检测 出所述私密化信息区间。
[0022] 此外，所述终端的语音信号处理方法还可以包括如下步骤:从所述服务器接收关 于所述私密化信息区间和一般信息区间的语音区间信息。
[0023] 其中，所述语音区间信息可以包括：区间掩蔽信息，用于在所述语音信号中掩蔽 (marking)所述私密化信息区间以及所述一般信息区间中的至少一个区间。
[0024] 此外，所述私密化模型可以是私密化语音识别模型（personalized speech recognition model)、语言理角军模型（personalized natural language understanding model)以及私密化词汇模型(personalized lexical model)中的至少一个模型。
[0025] 根据本发明公开的另一实施例的终端的语音信号处理方法包括如下步骤:把ID映 射于个人信息而生成映射表;利用所述映射表而生成基于ID的私密化模型；将所述基于ID 的私密化模型传输到服务器;从所述服务器接收利用基于ID的私密化模型而对语音信号进 行数据处理的结果;利用所述数据处理的结果以及所述映射表而使对应于所述ID的所述个 人信息复原。
[0026]其中，利用所述映射表而生成基于ID的私密化模型的步骤可以包括如下步骤:将 映射于所述个人信息的ID表示成作为映射于声音的ID的声音单位ID。
[0027]此外，所述声音单位ID可以是根据与所述服务器达成的协议而映射于所述声音的 ID。
[0028]此外，所述终端的语音信号处理方法还可以包括如下步骤:把ID映射于由所述个 人信息生成的附加信息并生成所述映射表。
[0029] 根据本发明公开的又一实施例的服务器的语音信号处理方法包括如下步骤:从终 端接收基于ID的私密化模型；接收语音信号；利用所述基于ID的私密化模型而对所述语音 信号进行数据处理;将所述数据处理的结果传输到所述终端。
[0030] 其中，利用所述基于ID的私密化模型而对语音信号进行数据处理的步骤可以包括 如下步骤:根据与所述终端达成的协议而利用作为映射于声音的ID的声音单位ID表示映射 于个人信息的ID。
[0031 ]根据本发明公开的实施例的一种终端包括:接收单元，用于接收语音;通信单元， 用于与服务器执行通信;控制单元，以如下方式执行控制:得以接收语音信号，并使所述语 音信号中包含个人信息的私密化信息区间被检测出，并且利用基于所述个人信息而生成的 私密化模型而使所述语音信号中的与所述私密化信息区间相对应的语音信号得到数据处 理，并实现从所述服务器接收针对与作为所述私密化信息区间以外的区间的一般信息区间 相对应的语音信号进行数据处理的结果。
[0032] 此外，所述控制单元可构成为以如下方式执行控制：使关于所述私密化信息区间 和所述一般信息区间的语音区间信息生成并传输到所述服务器。
[0033] 此外，所述语音区间信息可以包括:区间掩蔽信息，用于在所述语音信号中掩蔽所 述私密化信息区间以及所述一般信息区间中的至少一个区间。
[0034] 此外，所述控制单元可以构成为以如下方式执行控制：实现从所述服务器接收关 于所述私密化信息区间和所述一般信息区间的语音区间信息。
[0035] 此外，从所述服务器接收到的针对与所述一般信息区间相对应的语音信号进行数 据处理的结果可以是所述服务器利用一般模型而对与所述一般信息区间相对应的语音信 号进行处理的结果。
[0036] 根据本发明公开的实施例的一种服务器包括:接收单元，用于接收语音；通信单 元，用于与终端执行通信;控制单元，以如下方式执行控制:得以接收语音信号，并使所述语 音信号中包含个人信息的私密化信息区间被检测出，且利用一般模型而使所述语音信号中 的与作为所述私密化信息区间以外的区间的一般信息区间相对应的语音信号得到数据处 理，并实现将针对与所述一般信息区间相对应的语音信号进行数据处理的结果传输到所述 终端。
[0037] 此外，所述控制单元可构成为以如下方式执行控制：使关于所述私密化信息区间 和所述一般信息区间的语音区间信息生成并传输到所述终端。
[0038] 其中，所述语音区间信息可以包括:区间掩蔽信息，用于在所述语音信号中掩蔽所 述私密化信息区间以及所述一般信息区间中的至少一个区间。
[0039] 此外，所述控制单元可构成为以如下方式执行控制：实现从所述终端接收关于所 述私密化信息区间和所述一般信息区间的语音区间信息。
[0040] 根据本发明公开的另一实施例的一种终端包括:通信单元，用于与服务器执行通 信;控制单元，以如下方式执行控制:实现从所述服务器接收利用一般模型而对所述语音信 号进行数据处理的结果，并利用所述数据处理的结果以及基于个人信息而生成的私密化模 型而对所述语音信号进行数据处理。
[0041] 此外，所述控制单元可构成为以如下方式执行控制：在利用所述数据处理的结果 以及基于个人信息而生成的私密化模型而对所述语音信号进行数据处理时，实现针对与包 含所述个人信息的私密化信息区间相对应的语音信号执行数据处理。
[0042] 此外，所述控制单元可构成为以如下方式执行控制：使所述语音信号中检测出私 密化信息区间。
[0043] 此外，所述控制单元可构成为以如下方式执行控制：从所述服务器接收关于所述 私密化信息区间和一般信息区间的语音区间信息。
[0044] 此外，所述语音区间信息可以包括:区间掩蔽信息，用于在所述语音信号中掩蔽所 述私密化信息区间以及所述一般信息区间中的至少一个区间。
[0045] 此外，所述私密化模型可以是私密化语音识别模型、语言理解模型以及私密化词 汇模型中的至少一个模型。
[0046] 根据本发明公开的又一实施例的一种终端包括:接收单元，用于接收语音信号;通 信单元，用于与服务器执行通信;控制单元，以如下方式执行控制:使ID对应于个人信息而 生成映射表，并利用所述映射表而使基于ID的私密化模型生成，并使所述基于ID的私密化 模型传输到所述服务器，并实现从所述服务器接收利用基于ID的私密化模型而对语音信号 进行数据处理的结果，且利用所述数据处理的结果以及所述映射表而使对应于所述ID的所 述个人信息复原。
[0047]此外，所述控制单元可通过如下方式执行控制：在利用所述映射表而生成基于ID 的私密化模型时，使映射于所述个人信息的ID表示成作为映射于声音的ID的声音单位ID。
[0048] 此外，所述声音单位ID可以是根据与所述服务器达成的协议而映射于所述声音的 ID。
[0049] 此外，所述控制单元可通过如下方式执行控制：使ID映射于由所述个人信息生成 的附加信息而生成所述映射表。
[0050] 根据本发明公开的又一实施例的一种服务器包括:接收单元，用于接收语音信号； 通信单元，用于与终端执行通信;控制单元，以如下方式执行控制:实现从终端接收基于ID 的私密化模型，并接收语音信号，且利用所述基于ID的私密化模型而使所述语音信号得到 数据处理，并使所述数据处理的结果传输到所述终端。
[0051]此外，所述控制单元可通过如下方式执行控制:根据与所述终端达成的协议而利 用作为映射于声音的ID的声音单位ID来表示映射于个人信息的ID。
【附图说明】
[0052]图1是表示根据本发明公开的实施例的终端的内部构造的模块图。
[0053]图2是表示根据本发明公开的实施例的服务器的内部构造的模块图。
[0054]图3是进一步详细地表示图1所示出的终端的内部构造的模块图。
[0055] 图4是进一步详细地表示图2所示出的服务器的内部构造的模块图。
[0056] 图5是表示根据本发明公开的实施例的终端设备的语音处理方法的顺序图。
[0057]图6是表示根据本发明公开的实施例的服务器的语音处理方法的顺序图。
[0058]图7是对私密化信息区间和一般信息区间进行说明的图。
[0059] 图8是表示根据本发明公开的实施例的终端和服务器的具体操作过程的示例的顺 序图。
[0060] 图9是表示根据本发明公开的另一实施例的终端的语音处理方法的顺序图。
[0061] 图10是表示根据本发明公开的另一实施例的服务器的语音处理方法的顺序图。
[0062] 图11是表示根据本发明公开的另一实施例的终端和服务