用于对音频信号进行处理的方法以及采用该方法的音频信号处理设备的制作方法
【专利摘要】提供了一种用于对音频信号进行处理的方法以及采用所述方法的音频信号处理设备。用于对音频信号进行处理的方法包括：对用户面部和听觉信息进行匹配和存储；识别用户面部；搜索与识别出的用户面部匹配的听觉信息；使用搜索到的听觉信息对音频信号进行处理。因此，在没有任何单独的操作的情况下，用户能够听到已根据用户的听觉特性自动调整过的音频信号。
【专利说明】用于对音频信号进行处理的方法以及采用该方法的音频信
号处理设备
【技术领域】
[0001]本发明总体上涉及一种用于对音频信号进行处理的方法以及采用所述方法的音频信号处理设备，更具体地讲，涉及一种用于对音频信号进行处理的方法和采用所述方法的音频信号处理设备，其中，所述方法和设备可识别用户并根据用户的听觉信息对音频信号进行校正。
【背景技术】
[0002]由于不同的声音再现环境和用户听觉特性，即使是相同的音频信号，也会根据用户或用户听到音频信号的地点而听起来不同。由此，用户期望听到与声音再现环境和听觉特性一致地被最优化的音频。
[0003]当前，一般来说，已广泛普及和使用的A/V装置(例如，TV、DVD播放器等)采用能够使用由用户输入的音频信号处理的设置值来对音频信号进行处理的功能。
[0004]然而，在现有技术中，由于在没有考虑用户的个别的听觉特性的情况下使用预定的设置值对音频信号进行处理，因此在再现音频信号时不能够反映用户的听觉特性。另外，如果用户期望听到已使用另一音频设置值处理的音频，则用户应每次改变音频设置值。
[0005]因此，需要这样的方案:即，可自动向用户提供已根据用户的听觉信息处理的音频信号。
【发明内容】
[0006]技术问题
[0007]本发明意在至少解决以上问题和/或缺点，并至少提供下述优点。相应地，本发明的一方面提供一种用于对音频信号进行处理的方法以及采用所述方法的音频信号设备，其中，所述方法和设备可对用户面部和听觉信息进行匹配并存储用户面部和听觉信息，如果识别出用户面部，则所述方法和设备根据与用户面部匹配的听觉信息对音频信号进行处理以自动向用户提供根据用户的听觉信息处理的音频信号。
[0008]解决方案
[0009]根据本发明的一方面，一种用于对音频信号进行处理的方法包括:对用户面部和听觉信息进行匹配，并存储用户面部和听觉信息；识别用户面部；搜索与识别出的用户面部匹配的听觉信息；使用搜索到的听觉信息对音频信号进行处理。
[0010]存储步骤可包括:对用户面部进行成像；测试步骤，包括以下操作:针对测试音频执行不同的校正以输出多个校正后的测试音频，如果多个输出的测试音频之一被选择，则将针对选择的测试音频执行的校正处理信息确定为听觉信息，并对确定的听觉信息和成像后的用户面部进行匹配，并存储确定的听觉信息和成像后的用户面部。
[0011]可通过改变测试音频的频率来执行多次测试步骤。
[0012]不同的校正可以是针对测试音频的具有不同的电平的升高校正或针对测试音频的具有不同的电平的下调校正。
[0013]存储步骤可包括:对用户面部进行成像；通过输出多个频率的纯音来确定针对所述多个频率的用户的可听范围，确定所述可听范围作为听觉信息，对确定的听觉信息和成像后的用户面部进行匹配，并存储确定的听觉信息和成像后的用户面部。
[0014]处理步骤可通过根据针对所述多个频率的可听范围将所述多个频率乘以根据所述可听范围确定的增益值来对音频信号进行放大。
[0015]存储步骤可包括:对用户面部进行成像；针对多个音素输出具有不同电平的测试音频，根据关于用户是否能够听到测试音频的用户输入来确定针对所述多个音素的用户的可听范围，将所述可听范围确定为听觉信息，并对确定的听觉信息和成像后的用户面部进行匹配，并存储确定的听觉信息和成像后的用户面部。
[0016]处理步骤可通过根据针对所述多个音素的可听范围将多个频率乘以根据所述可听范围确定的增益值来对音频信号进行放大。
[0017]可从外部服务器或便携式装置接收听觉信息。
[0018]根据本发明的另一方面，一种音频信号处理设备包括:存储单元，对用户面部和听觉信息进行匹配，并存储用户面部和听觉信息；面部识别单元，识别用户面部；音频信号处理单元，对音频信号进行处理；控制单元，搜索与识别出的用户面部匹配的听觉信息，并控制音频信号处理单元使用搜索到的听觉信息对音频信号进行处理。
[0019]根据本发明的一方面的音频信号处理设备还可包括:音频信号输出单兀，输出音频信号；成像单元，对用户面部进行成像，其中，控制单元针对测试音频执行不同的校正以通过音频信号输出单元输出多个校正后的测试音频，如果多个输出的测试音频之一被选择，则将针对选择的测试音频执行的校正处理信息确定为听觉信息，对确定的听觉信息和通过成像单元成像的用户面部进行匹配并将听觉信息和通过成像单元成像的用户面部存储在存储单元中。
[0020]控制单元可通过改变测试音频的频率来确定针对多个频率区域的听觉信息，对针对多个频率区域的听觉信息和用户面部进行匹配，并存储针对多个频率区域的听觉信息和用户面部。
[0021]不同的校正可以是针对测试音频的具有不同的电平的升高校正或针对测试音频的具有不同的电平的下调校正。
[0022]根据本发明的一方面的音频信号处理设备还可包括:音频信号输出单元，输出音频信号；成像单元，对用户面部进行成像，其中，通过经过音频信号输出单元输出多个频率的纯音来确定针对所述多个频率的用户的可听范围，将所述可听范围确定为听觉信息，对确定的听觉信息和成像后的用户面部进行匹配并将确定的听觉信息和成像后的用户面部存储在存储单元中。
[0023]控制单元可控制音频信号处理单元通过根据针对所述多个频率的可听范围将所述多个频率乘以根据所述可听范围确定的增益值，来对音频信号进行放大。
[0024]根据本发明的一方面的音频信号处理设备还可包括:音频信号输出单元，输出音频信号，成像单元对用户面部进行成像；其中，控制单元控制音频信号输出单元针对多个音素输出具有不同电平的测试音频，根据关于用户是否能够听到测试音频的用户输入确定针对所述多个音素的用户的可听范围，将所述可听范围确定为听觉信息，并对确定的听觉信息和成像后的用户面部进行匹配并将确定的听觉信息和成像后的用户面部存储在存储单元中。
[0025]控制单元可控制音频信号处理单元通过根据针对所述多个音素的可听范围将多个频率乘以根据所述可听范围确定的增益值来对音频信号进行放大。
[0026]可从外部服务器或便携式装置接收听觉信息。
[0027]有益效果
[0028]根据如上所述的本发明的各种实施例，可根据用户的听觉信息对音频信号进行校正。
【专利附图】
【附图说明】
[0029]通过下面结合附图进行的详细描述，本发明的上述和其他方面、特点和优点将会变得更加清楚，其中:
[0030]图1是示出根据本发明的实施例的音频信号处理设备的配置的框图；
[0031]图2至图5是不出根据本发明的各种实施例的用户偏好首频设置UI的不图；
[0032]图6是示出根据本发明的实施例的用于对音频信号进行处理的方法的流程图；
[0033]图7至图9是示出根据本发明的各种实施例的对用户面部和听觉信息进行匹配和存储的方法的流程图。
【具体实施方式】
[0034]以下，将参照附图详细描述本发明的优选实施例。
[0035]图1是示出根据本发明的音频信号处理设备的配置的框图。如图1所示，根据本发明的实施例的音频信号处理设备100包括音频输入单元110、音频处理单元120、音频输出单元130、成像单元140、面部识别单元150、用户输入单元160、存储单元170、测试音频产生单元180和控制单元190。在这种情况下，音频信号处理设备100可以是TV。然而，这仅是示例性的，音频信号处理设备100可以是诸如桌上型PC、DVD播放器或机顶盒的装置。
[0036]音频输入单元110从外部基站、外部装置(诸如，DVD播放器)和存储单元170接收音频信号。在这种情况下，音频信号可与视频信号和附加信号(例如，控制信号)中的至少一个一起被输入。
[0037]音频处理单元120对在控制单元190的控制下输入的音频信号进行处理而使其成为可通过音频信号输出单元130输出的信号。具体地讲，音频处理单元120可使用预先存储在存储单元190中的听觉信息对输入的音频信号进行处理或校正。例如，音频处理单元120可通过根据用户的听觉信息将多个频率或多个音素乘以不同的增益值来对音频信号进行放大。稍后将详细描述由音频处理单元120执行的使用听觉信息对音频信号进行处理的方法。
[0038]音频输出单元130输出由音频处理单元120处理的音频信号。在这种情况下，可通过扬声器来实现音频输出单元130。然而，这仅是示例性的，可通过将音频信号输出到外部装直的终纟而来实现首频输出单兀130。
[0039]成像单元140通过用户的操作对用户面部进行成像，接收与成像后的用户面部相应的图像信号(例如，帧)，并将图像信号发送到面部识别单元150。具体地讲，可通过由镜头和图像传感器组成的相机单元来实现成像单元140。另外，成像单元140可被设置在音频信号处理设备100内部(例如，构成音频信号处理设备100的框(bezel)等)，并可被设置在外部并通过有线网络或无线网络被连接。
[0040]面部识别单元150通过对由成像单元140成像的图像信号进行分析来识别用户的面部。具体地讲，面部识别单元150可通过对成像后的用户面部的对称构图、外貌(例如，眼睛、鼻子和嘴的形状和位置)、头发、眼睛的颜色和面部肌肉的运动中的至少一个进行分析来提取面部特征，并随后将提取的面部特征与预先存储的图像数据进行比较，从而识别用户面部。
[0041]用户输入单元160接收用于控制音频信号处理设备100的用户命令。在这种情况下，可通过各种输入装置(诸如，遥控器、鼠标和触摸屏)来实现用户输入单元160。
[0042]存储单元170存储用于驱动音频信号处理设备100的各种程序和数据。具体地讲，存储单元170对用户的听觉信息和用户面部进行匹配和存储，以根据用户的听觉特性对音频信号进行处理。
[0043]测试音频产生单元180可产生在多个频带(例如，250Hz、500Hz和IkH)应用了校正的测试音频，以便设置用户偏好音频。例如，测试音频产生单元180可输出这样的音频信号:该音频信号已在多个频带中被升高或下调预设等级(例如，5dB和10dB)。
[0044]另外，测试音频产生单元180可针对多个频带输出具有多个电平的纯音，以便确认用户针对多个频带的可听范围。另外，测试音频产生单元180可针对多个音素输出具有多个电平的测试音频，以便确定针对多个音素的用户的可听范围。另外，测试音频产生单元180在相同的频率处顺序地输出具有多个电平的测试音频，以使得用户确认用户的针对多个频带的可听范围。
[0045]控制单元190可根据通过用户输入单元160输入的用户命令控制音频信号处理设备100的整体操作。具体地讲，为了根据用户听觉特性提供定制化的音频，如果通过面部识别单元150识别出用户面部，则控制单元190可搜索与所述用户面部匹配的听觉信息，并根据听觉信息对音频信息进行处理。
[0046]具体地讲，为了根据用户的听觉特性提供定制化的音频，控制单元190根据用户输入对用户的听觉信息和用户面部进行匹配，以将它们存储在存储单元170中。
[0047]根据本发明的实施例，控制单元190可确定用户偏好校正处理信息作为听觉信息，对听觉信息和用户面部进行匹配，并将其存储在存储单元170中。以下，参照图2至图5,将描述用于确定用户偏好校正处理信息的方法。
[0048]作为用于确定用户偏好的校正处理信息的第一实施例，控制单元190可使用如图2和图3所示的用户偏好音频设置Π 200和300来对听觉信息和用户面部进行匹配和存储，其中，所述用户偏好音频设置UI 200和300可逐级选择已被执行了多个校正的测试音频。
[0049]具体地讲，控制单元190将由成像单元140成像的用户面部存储在存储单元170中。
[0050]为了针对多个频率之中的个频率设直用户偏好首频，控制单兀190可在个频率处顺序地输出进行了第一校正的第一测试音频和进行了第二校正的第二测试音频。此时，第一校正和第二校正可以是在一个频带中已升高或下调预设电平的校正。例如，第一测试音频可以是在250Hz的频带中执行了第一校正(例如，校正升高5dB)的测试音频，第二测试音频可以是在250Hz的频带中执行了第二校正(例如，校正下调5dB)的测试音频。此时，第一测试音频与图2中示出的图标“测试1”220相应，第二测试音频与图2中示出的图标“测试2 ”230相应。
[0051]如果通过用户输入选择了图标“测试1”220，则如图3所示，控制单元190可显示用于选择第一测试音频和第三测试音频之一的用户偏好音频设置Π 300，其中，已经在250Hz的频带中对第一测试音频执行了第一校正，对第三测试音频执行了第三校正。此时，第一校正可以是在250Hz的频带中升高5dB的校正，第三校正可以是在250Hz的频带中升高1dB的校正。另外，第一测试音频与图标“测试1”320相应，第三测试音频与图标“测试3” 330相应。
[0052]另外，如果通过用户输入选择了图标“测试1”320，则控制单元190可将用于校正音频信号使得250Hz的频带升高5dB的信息确定为听觉信息。然而，如果通过用户输入选择了图标“测试3 ”330，则控制单元190可将用于校正音频信号使得250Hz的频带升高1dB的信息确定为听觉信息，或者控制单元190可选择升高1dB的校正和升高15dB的校正。
[0053]控制单元190可通过针对多个频率(例如，500Hz和IkHz)重复地执行上述处理，确定针对所述多个频率的用户偏好校正处理信息作为听觉信息。
[0054]另外，控制单元190可对成像后的用户面部和针对多个频率的听觉信息进行匹配，并将其存储在存储单元190中。
[0055]作为用于确定用户偏好的校正处理信息的第二实施例，控制单元190可使用图4中示出的用户偏好音频设置Π 400对听觉信息和用户面部进行匹配和存储，其中，所述用户偏好音频设置UI 400可一次选择已经针对指定的频带执行了多个校正的测试音频。
[0056]具体地讲，控制单元190将由成像单元140成像的用户面部存储在存储单元170中，并将用户面部显示在图4中示出的用户偏好音频设置Π 400的一区域410上。
[0057]为了针对多个频率之中的一个频率设置用户偏好音频，控制单元190在一个频率处顺序地输出进行了第一校正的第一测试音频至进行了第五校正的第五测试音频。此时，第一校正至第五校正可以是已经在一个频带中升高或下调了预设电平的校正。例如，第一测试音频可以是在250Hz的频带中执行了第一校正(例如，升高1dB的校正)的测试音频，第二测试音频可以是在250Hz的频带中执行了第二校正(例如，升高5dB的校正)的测试音频，第三测试音频可以是在250Hz的频带中没有执行校正的测试音频。第四测试音频可以是在250Hz的频带中执行了第四校正(例如，下调5dB的校正)的测试音频，第五测试音频可以是在250Hz的频带中执行了第五校正(例如，升高5dB的校正)的测试音频。此时，第一测试音频与图4中示出的图标“测试1”420相应，第二测试音频与图4中示出的图标“测试2”430相应，第三测试音频与图4中示出的图标“测试3”440相应。第四测试音频与图4中示出的图标“测试4”450相应，第五测试音频与图4中示出的图标“测试5”460相应。
[0058]如果通过用户输入选择了指定的图标，则控制单元可将与所述指定的图标相应的测试音频的校正处理信息确定为听觉信息。例如，如果通过用户输入选择了 “测试1”420，则控制单元190可将用于校正音频信号使得250Hz的频带升高1dB的信息确定为听觉信肩、O
[0059]另外，控制单元190可通过针对多个频率(例如，500Hz和IkHz)重复地执行上述处理来将针对所述多个频带的偏好校正处理信息确定为听觉信息。
[0060]另外，控制单元190可对成像后的用户面部和针对多个频带的听觉信息进行匹配，并将其存储在存储单元190中。
[0061]然而，如图2至图4所示，用于针对多个频带顺序地确定听觉信息的方法仅是示例性的，可使用图5中所示的用户偏好音频设置UI 500针对多个频带同时确定听觉信息。
[0062]在本发明的一实施例中，已描述了直接对确定的听觉信息和用户面部进行匹配并进行存储。然而，这仅是示例性的，可以按照其它方法对听觉信息和用户面部进行匹配和存储。例如，可通过对例如确定的听觉信息和用户文本信息(例如，用户名、用户ID等)进行第一匹配和存储，并随后通过对用户文本信息和用户面部进行匹配和存储，对确定的听觉信息和用户面部进行匹配。另外，可对用户文本信息和用户面部进行匹配和存储，并随后通过对听觉信息和用户文本信息进行匹配和存储，从而对确定的听觉信息和用户面部进行匹配和存储。
[0063]在本发明的另一实施例中，控制单元190可将针对多个频率的用户的可听范围确定为听觉信息，并对可听范围和用户面部进行匹配和存储。
[0064]具体地讲，控制单元190将由成像单元140成像的用户面部存储在存储单元170中。随后，为了确定用户的可听范围，控制单元190可控制测试音频产生单元180针对具有多个频带(例如，250Hz、500Hz和IkHz)之中的指定的频带的纯音来调整和输出电平。
[0065]当测试音频产生单元180针对具有指定的频带的纯音来调整和输出电平时，控制单元190可通过用户输入(例如，在用户无法听到的情况下按压指定的按钮)来确定针对指定的频带的可听范围。例如，如果当针对具有250Hz的频带的纯音对电平进行调整和输出时，在输出具有20dB的纯音时接收到用户输入，则控制单元190可确定250Hz的听觉阈值是20dB并且可听范围等于或大于20dB。
[0066]控制单元190可通过针对其它频带执行上述处理来确定其它频带的可听范围。例如，控制单元190可确定500Hz的可听范围等于或大于15dB并且IkHz的可听范围等于或大于10dB。
[0067]另外，控制单元190可确定针对多个频带的用户的可听范围作为听觉信息，对成像后的用户面部和确定的听觉信息进行匹配，并将其存储在存储单元170中。
[0068]在上述实施例中，已使用纯音确定了针对多个频带的可听范围。然而，这仅是示例性的，可以按照其它方法确定针对多个频带的可听范围。例如，可针对指定的频率顺序地输出具有多个电平的测试音频，并根据用户输入确定用户能够听到的测试音频的数量，从而确定针对指定的频率的可听范围。
[0069]在本发明的另一实施例中，控制单元190可将针对多个音素的可听范围确定为听觉信息，并对可听范围和用户面部进行匹配和存储。
[0070]具体地讲，控制单元190将由成像单元140成像的用户面部存储在存储单元170中。随后，控制单元190可控制测试音频产生单元180针对多个音素(例如，“ah”和“se”)之中的指定的音素来调整和输出电平。
[0071]当测试音频产生单元180针对指定的音素对电平进行调整和输出时，控制单元190可通过用户输入(例如，在用户无法听到的情况下按压指定的按钮)来针对指定的音素确定可听范围。例如，如果在针对具有所谓的音素“ah”的测试音频对电平进行调整和输出时，在输出具有20dB的测试音频时接收到用户输入，则控制单元190可确定音素“ah”的听觉阈值是20dB并且可听范围等于或大于20dB。
[0072]控制单元190可通过针对其它音素执行上述处理来确定其它音素的可听范围。例如，控制单元190可确定所谓的音素“se”的可听范围等于或大于15dB，并且所谓的音素“bee”的可听范围等于或大于10dB。
[0073]另外，控制单元190可将针对多个音素的用户的可听范围确定为听觉信息，对成像后的用户面部和确定的听觉信息进行匹配并将其存储在存储单元170中。
[0074]在如上所述的各种实施例中，可确定听觉信息，并可对通过各种方法确定的听觉信息和用户面部进行匹配和存储。
[0075]如果用户面部通过成像单元140被成像，则控制单元190通过面部识别单元190识别成像后的用户面部。具体地讲，控制单元190通过确定是否存在与成像后的用户面部匹配的预先存储的用户面部来识别用户面部。
[0076]如果存在与识别出的用户图像匹配的预先存储的用户面部，则控制单元190搜索与预先存储的用户面部相应的听觉信息，并控制音频处理单元120使用搜索到的听觉信息对输入的音频信号进行处理。
[0077]具体地讲，如果用户偏好音频设置被确定为听觉信息，则控制单元190可控制音频处理单元120根据存储的校正处理信息对音频信号进行处理。具体地讲，如果校正处理信息包括用于执行校正以便在指定的频带中将音频信号的指定频带升高或下调预设电平的信息，则控制单元190可控制音频处理单元120执行校正以便根据校正处理信息将音频信号的指定的频带升高或下调预设电平。
[0078]在另一实施例中，如果针对多个频率的可听范围被确定为听觉信息，则控制单元190可控制信号处理单元120通过根据针对多个频带的可听范围将输入音频信号的多个频带乘以根据可听范围确定的增益值来对音频信号进行放大。例如，如果250Hz的可听范围等于或大于20dB，500Hz的可听范围等于或大于15dB并且IkHz的可听范围等于或大于10dB，则控制单元190可将250Hz的频带乘以增益值2，将500Hz的频带乘以增益值1.5，并将IkHz的频带乘以增益值I。
[0079]在另一实施例中，如果针对多个音素的可听范围被确定为听觉信息，则控制单元190可控制音频信号处理单元120通过根据针对多个音素的可听范围将输入音频信号的多个音素乘以不同的增益值来对音频信号进行放大。例如，如果音素“ah”的可听范围是等于或大于20dB，音素“se”的可听范围是等于或大于15dB并且音素“she”的可听范围是等于或大于10dB，则可使用音素的可听范围导出多个频率的可听范围，控制单元190可将输入音频信号的上述频带乘以与导出的可听范围相应的增益值。
[0080]如上所述，如果识别出用户面部，则使用与用户面部匹配的听觉信息对音频信号进行处理，因此在没有任何单独的操作的情况下，用户可听到根据用户的听觉特性自动调整的音频信号。
[0081]以下，参照图6至图9，将详细描述用于对音频信号进行处理的方法。图6是示出根据本发明的实施例的用于对音频信号进行处理的方法的流程图。
[0082]首先，音频信号处理设备100对用户面部和听觉信息进行匹配和存储(S610)。将参照图7至图9描述对用户面部和听觉信息进行匹配和存储的各种实施例。
[0083]图7是示出根据本发明的实施例的在用户偏好音频设置被确定为听觉信息的情况下对用户面部和听觉信息进行匹配和存储的方法的流程图。
[0084]首先，音频信号处理设备100使用成像单元140(S710)对用户面部进行成像。可在确定听觉信息(S740)之后执行用户面部成像(S710)。
[0085]随后，音频信号处理设备100输出执行了不同的校正的测试音频(S720)。具体地讲，音频信号处理设备100可执行校正，从而多个频带之中的各种频带被升高或下调到预设电平，并输出在各种频带中进行了校正的多个测试音频。
[0086]随后，音频信号处理设备100确定多个测试音频之一是否被选择(S730)。
[0087]如果多个测试音频之一被选择(S730-是)，则音频信号处理设备100将针对选择的测试音频执行的校正处理信息确定为听觉信息(S740)。
[0088]随后，音频信号处理设备100对在步骤S710成像的用户面部和在步骤S740确定的听觉信息进行匹配和存储(S750)。
[0089]如上所述，通过经过用户偏好音频设置对音频信号进行均衡，用户可听到具有用户期望的音频设置的输入的音频信号。
[0090]图8是示出根据本发明的实施例的在针对多个频带的可听范围被确定为听觉信息的情况下对用户面部和听觉信息进行匹配和存储的方法的流程图。
[0091]首先，音频信号处理设备100使用成像单元140对用户面部进行成像(S810)。可在确定听觉信息(S840)之后执行用户面部成像(S810)。
[0092]随后，音频信号处理设备100输出针对多个频率区域的纯音(S820)。具体地讲，音频信号处理设备100可在调整音量电平的同时输出针对多个频率区域的纯音。
[0093]音频信号处理设备100根据用户输入确定可听范围，并将可听范围确定为听觉信息(S830)。具体地讲，当针对指定的频带调整了音量电平的测试纯音被输出时，音频信号处理设备100根据用户输入确定用户是否能够听到测试纯音。如果在针对指定的频带设置了第一音量电平时接收到用户输入，则音频信号处理设备100确定第一音量电平是针对所述指定的频带的听觉阈值，并且等于或大于听觉阈值的音量电平是可听范围。另外，音频信号处理设备100可通过针对多个频带执行上述处理来将针对多个频带的可听范围确定为听觉信息。
[0094]随后，音频信号处理设备100对在步骤S810成像的用户面部和在步骤S830确定的听觉信息进行匹配和存储(S840)。
[0095]如上所述，通过将针对多个频带的可听范围确定为听觉信息并进一步对用户无法很好地听到的频带的音频信号进行放大和输出，用户也可听到用户本不能很好地听到的频带的音频信号。
[0096]图9是示出根据本发明的实施例的在针对多个音素的可听范围被确定为听觉信息的情况下对用户面部和听觉信息进行匹配和存储的方法的流程图。
[0097]首先，音频信号处理设备100使用成像单元140对用户面部进行成像(S910)。
[0098]随后，音频信号处理设备100确定用户是否能够听到多个音素(S920)。具体地讲，当输出了调整了针对指定的音素的音量电平的测试音频时，音频信号处理设备100根据用户输入确定用户是否能够听到指定的音素。如果当第二音量电平针对指定的音素被设置时接收到用户输入，则音频信号处理设备100确定第二音量电平是针对指定的音素的听觉阈值，并且等于或大于听觉阈值的音量电平是可听范围。另外，音频信号处理设备100可通过针对多个音素执行上述处理来确定针对多个音素的可听范围。
[0099]随后，音频信号处理设备100产生针对多个音素的听觉信息(S930)。具体地讲，音频信号处理设备100可导出多个频率的可听范围，并使用针对多个音素的可听范围产生听觉信息。
[0100]随后，音频信号处理设备100对在步骤S910成像的用户面部和在步骤S930确定的听觉信息进行匹配和存储(S940)。
[0101]如上所述，通过将针对多个频带的可听范围确定为听觉信息并进一步对用户无法很好地听到的频带的音频信号进行放大和输出，用户能够听到包括用户本不能很好地听到的频带的音频信号。
[0102]另一方面，除在图7至图9中示出的上述实施例以外，可使用其它方法对听觉信息和用户面部进行匹配和存储。
[0103]再次参照图6，音频信号处理设备100使用面部识别单元150识别出用户面部(S620)。具体地讲，音频信号处理设备100可对成像后的用户面部的对称构图、外貌(例如，眼睛、鼻子和嘴的形状和位置)、头发、眼睛的颜色和面部肌肉的运动中的至少一个进行分析来提取面部特征，并随后将提取的面部特征与预先存储的图像数据进行比较，从而识别用户面部。
[0104]随后，音频信号处理设备100搜索与识别出的用户面部匹配的听觉信息(S630)。具体地讲，音频信号处理设备100可基于在步骤S610预先存储的用户面部和听觉信息搜索与识别出的用户面部匹配的听觉信息。
[0105]随后，音频信号处理设备100使用听觉信息对音频信号进行处理(S640)。具体地讲，如果用户偏好音频设置被确定为听觉信息，音频信号处理设备100可根据存储的校正处理信息对音频信号进行处理。另外，如果针对多个频带的可听范围被确定为听觉信息，则音频信号处理设备100可通过根据针对多个频带的可听范围将输入音频信号的多个频带乘以根据可听范围确定的增益值来对音频信号进行放大。另外，如果针对多个音素的可听范围被确定为听觉信息，音频信号处理设备100可通过根据针对多个音素的可听范围将多个频带的输入的音频信号乘以根据可听范围确定的增益值来对音频信号进行放大。根据如上所述的用于对音频信号进行处理的方法，如果识别出用户面部，则使用与用户面部匹配的听觉信息对音频信号进行处理，因此在没有任何单独的操作的情况下用户能够听到根据用户的听觉特征自动调整的音频信号。
[0106]另一方面，在上述实施例中，已描述用户使用音频处理设备100直接确定听觉信息。然而，这仅是示例性的，可通过外部装置或服务器接收听觉信息。例如，用户可从外部服务器下载在医院诊断的听觉信息，并对听觉信息和用户面部进行匹配和存储。另外，用户可使用移动电话确定用户的听觉信息，将听觉信息发送到音频信号处理设备100，并对听觉信息和用户面部进行匹配和存储。
[0107]用于执行根据本发明的各种实施例的用于对音频信号进行处理的方法的程序代码可存储在各种类型的非暂时性记录介质中。例如，程序代码可存储在可由终端读取的各种类型的记录介质(诸如，硬盘、可移除盘、USB存储器和⑶-ROM)中。
[0108]尽管已参照特定实施例示出和描述了本发明，本领域的技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。
【权利要求】
1.一种用于对音频信号进行处理的方法，包括: 对用户面部和听觉信息进行匹配，并存储用户面部和听觉信息； 识别用户面部； 搜索与识别出的用户面部匹配的听觉信息； 使用搜索到的听觉信息对音频信号进行处理。
2.如权利要求1所述的用于对音频信号进行处理的方法，其中，存储步骤包括: 对用户面部进行成像； 包括以下操作的测试步骤:针对测试音频执行不同的校正以输出多个校正后的测试音频，如果输出的多个测试音频之一被选择，则将针对选择的测试音频执行的校正处理信息确定为听觉信息，对确定的听觉信息和成像后的用户面部进行匹配，并存储确定的听觉信息和成像后的用户面部。
3.如权利要求2所述的用于对音频信号进行处理的方法，其中，通过改变测试音频的频率来执行多次测试步骤。
4.如权利要求2所述的用于对音频信号进行处理的方法，其中，所述不同的校正是针对测试音频的具有不同电平的升高校正或针对测试音频的具有不同电平的下调校正。
5.如权利要求1所述的用于对音频信号进行处理的方法，其中，存储步骤包括: 对用户面部进行成像； 通过输出多个频率的纯音来确定用户针对所述多个频率的可听范围，将可听范围确定为听觉信息，对确定的听觉信息和成像后的用户面部进行匹配，并存储确定的听觉信息和成像后的用户面部。
6.如权利要求5所述的用于对音频信号进行处理的方法，其中，处理步骤通过根据针对所述多个频率的可听范围将所述多个频率乘以根据可听范围确定的增益值来对音频信号进行放大。
7.如权利要求1所述的用于对音频信号进行处理的方法，其中，存储步骤包括: 对用户面部进行成像； 针对多个音素输出具有不同电平的测试音频，根据关于用户是否能够听到测试音频的用户输入来确定用户针对所述多个音素的可听范围，将可听范围确定为听觉信息，对确定的听觉信息和成像后的用户面部进行匹配，并存储确定的听觉信息和成像后的用户面部。
8.如权利要求7所述的用于对音频信号进行处理的方法，其中，处理步骤通过根据针对所述多个音素的可听范围将多个频率乘以根据可听范围确定的增益值来对音频信号进行放大。
9.如权利要求1所述的用于对音频信号进行处理的方法，其中，听觉信息从外部服务器或便携式装置被接收。
10.一种音频信号处理设备，包括: 存储单元，对用户面部和听觉信息进行匹配，并存储用户面部和听觉信息； 面部识别单元，识别用户面部； 音频信号处理单元，对音频信号进行处理； 控制单元，搜索与识别出的用户面部匹配的听觉信息，并控制音频信号处理单元使用搜索到的听觉信息对音频信号进行处理。
11.如权利要求10所述的音频信号处理设备，还包括: 音频信号输出单元，输出音频信号； 成像单元，对用户面部进行成像， 其中，控制单元针对测试音频执行不同的校正以通过音频信号输出单元输出多个校正后的测试音频，如果输出的多个测试音频之一被选择，则将针对选择的测试音频执行的校正处理信息确定为听觉信息，对确定的听觉信息和通过成像单元成像的用户面部进行匹配并将确定的听觉信息和通过成像单元成像的用户面部存储在存储单元中。
12.如权利要求11所述的音频信号处理设备，其中，控制单元通过改变测试音频的频率来确定针对多个频率区域的听觉信息，对针对所述多个频率区域的听觉信息和用户面部进行匹配，并存储针对所述多个频率区域的听觉信息和用户面部。
13.如权利要求11所述的音频信号处理设备，其中，所述不同的校正是针对测试音频的具有不同电平的升高校正或针对测试音频的具有不同电平的下调校正。
14.如权利要求10所述的音频信号处理设备，还包括: 音频信号输出单元，输出音频信号； 成像单元，对用户面部进行成像， 其中，控制单元通过经由音频信号输出单元输出多个频率的纯音来确定用户针对所述多个频率的可听范围，将可听范围确定为听觉信息，对确定的听觉信息和成像后的用户面部进行匹配并将确定的听觉信息和成像后的用户面部存储在存储单元中。
15.如权利要求14所述的音频信号处理设备，其中，控制单元控制音频信号处理单元通过根据针对所述多个频率的可听范围将所述多个频率乘以根据可听范围确定的增益值来对音频信号进行放大。
【文档编号】H04N5/60GK104365085SQ201380031111
【公开日】2015年2月18日 申请日期:2013年6月12日 优先权日:2012年6月12日
【发明者】李英宇, 金荣泰, 金承勋 申请人:三星电子株式会社