面向讲话者的助听功能提供方法和装置制造方法
【专利摘要】助听功能提供方法和装置向听力受损者提供基于通过社交网络服务(SNS)共享的听力受损信息来增强的音频。用户设备工作于环境自适应助听模式下。助听功能提供方法包括：在设备处接收设备所有者输入的音频；基于听力受损者的听力受损信息来增强音频；以及输出增强的音频。可以按照多种方式增强音频，包括放大、移动、扩展和划分，其可以基于设备的听力图或提供给设备的此类信息。
【专利说明】面向讲话者的助听功能提供方法和装置
【技术领域】
[0001]本发明涉及助听功能提供方法和装置。更具体地，本发明涉及能够以环境自适应助听模式操作的用户设备。
【背景技术】
[0002]听力受损者在日常对话中倾听有困难，S卩，听力受损者无法像具有正常听力的人通常感知的那样来感知声音。为了减少听力受损的个人在日常生活中的困难，使用助听器可以帮助补偿听力损失。助听器是能够放大声波以帮助更清楚地倾听声音的装置。尽管这种放大由于放大背景噪声所以无法总是像正常人听力那样很好地起作用，但助听器的质量随时间也在持续提闻。
[0003]助听器典型地包括:麦克风，接收声波并将声波转换为电信号；放大器，对电信号进行整流和放大；接收器，将放大信号转换为声音，并将声音发送到耳道中；以及电池，向麦克风、放大器和接收器供电。存在多种类型的助听器:盒式助听器，耳后助听器，眼镜式助听器，耳内助听器，从耳内助听器发展而来的耳道内助听器。
[0004]然而，通常的助听器装置购价相对昂贵，因此正在研究和开发比先前所知的方式以更低成本来实现助听功能的技术。
【发明内容】
[0005]本发明提供了一种助听功能提供方法和设备，其向听力受损者提供基于通过社交网络服务(SNS)共享的听力受损信息来增强的音频。本发明可以利用大多数人目前在其日常生活中随身携带的便携式终端。
[0006]本发明提供一种面向讲话者的助听功能提供方法和设备，用于辅助听力受损者正常听到声音，而无需佩戴额外的助听装置。
[0007]本发明提供一种面向讲话者的助听功能提供方法和设备，用于通过在环境适应的助听模式下操作用户设备来辅助听力受损者听到音源。
[0008]本发明的示例性目的是提供一种面向讲话者的助听功能提供方法和设备，可以通过社交网络服务(SNS)在听力受损者和其他人(例如，家庭成员、朋友、熟人、同事等)之间共享听力受损信息，以允许其他人通过扬声器或无线电通信信道向听力受损者提供基于听力受损信息的音频补偿信息。
[0009]本发明的另一示例性目的是提供一种用于辅助听力受损者的面向讲话者的助听功能提供方法和设备，其可以通过对输入到以面向讲话者的助听模式操作的用户设备的音频执行噪声消除，来向听力受损者提供消除了噪声的声音。
[0010]本发明的再一示例性目的是提供一种面向讲话者的助听功能提供方法和设备，其能够通过与环境自适应助听功能的整合来提高用户便利性和用户设备的可用性和竞争力。
[0011]根据本发明的一个方面，一种设备的助听功能提供方法可以包括:在设备处接收设备所有者输入的音频；基于听力受损者的听力受损信息来增强音频；以及输出增强的音频。
[0012]根据本发明的另一方面，一种设备的助听功能提供方法可以包括:确定设备的当前助听模式的子模式；依据子模式，选择至设备的扬声器和通信单元的音频路径之一；基于听力受损者的听力受损信息来增强输入的音频；以及向设备的扬声器输出增强的音频。
[0013]根据本发明的再一方面，一种设备的助听功能提供方法可以包括:接收响应于呼叫建立请求的反馈；当所述反馈指示在助听模式下的呼叫建立请求重传时，暂停呼叫建立；根据所述反馈从正常远程通信模式切换到助听远程通信模式；在助听远程通信模式下重传呼叫建立请求；以及当完成呼叫建立时，在助听远程通信模式下基于听力受损信息来处理远程通信。
[0014]根据本发明的又一方面，一种设备的助听功能提供方法可以包括:在用户设备处根据联系人信息向呼叫服务器发送呼叫建立请求；在呼叫服务器处响应于呼叫建立请求，在听力受损信息数据库中搜索映射至所述联系人信息的听力受损信息；当存在任何映射至所述联系人信息的听力受损信息时，发送用于请求传输呼叫建立请求的反馈；在从正常远程通信模式切换到助听远程通信模式之后，重传呼叫建立请求；基于听力受损信息对通过麦克风输入的音频进行增强；以及通过无线电通信单元发送增强的音频。
[0015]根据本发明的又一方面，一种设备的助听功能提供方法可以包括:接收呼叫请求输入；确定是否有任何听力受损信息映射至从呼叫请求检查得到的联系人信息；当无听力受损信息映射至联系人信息时，以正常呼叫建立过程发送呼叫建立请求；当有任何听力受损信息映射至联系人信息时，从正常远程通信模式切换到助听远程通信模式；获取映射至联系人信息的听力受损信息；基于获取的联系人信息发送呼叫建立请求；以及当完成呼叫建立时，在助听远程通信模式下基于听力受损信息来处理远程通信。
[0016]根据本发明的另一方面，一种非暂时性计算机可读存储介质存储机器可执行代码的程序，用于使处理器执行上述方法。
[0017]根据本发明的另一方面，一种设备包括:存储单元，包括非暂时性机器可读存储器，存储包括机器可执行代码的至少一个程序；以及控制单元，包括硬件例如加载有机器可执行代码的处理器或微处理器，控制单元控制执行所述至少一个程序，基于听力受损信息增强音频输入，并输出增强的音频，其中所述至少一个程序包括如下命令:接收音频输入；基于听力受损者的听力受损信息增强音频；以及输出增强的音频。
[0018]根据本发明的再一方面，一种非暂时性计算机可读存储介质存储包括机器可执行代码的程序，用于以适应于助听应用环境的助听模式来配置硬件，在助听模式下基于通过社交网络服务(SNS)共享的听力受损信息来增强输入音频；以及输出增强的音频。
[0019]以上概述了本发明的一些方面和技术优点，以便本领域技术人员可以更好理解下面对本发明的详细描述。以下将描述形成本发明主题内容的本发明其他示例和优点。
【专利附图】
【附图说明】
[0020]图1是示出了根据本发明示例实施例的面向讲话者的助听系统的示例架构的图；
[0021]图2是示出了根据本发明示例实施例的用户设备的配置的框图；
[0022]图3是示出了根据本发明示例实施例的用户设备的面向讲话者的助听功能的机制的不意图；[0023]图4是示出了根据本发明示例实施例的在用户设备中增强语音信号的原理的图；
[0024]图5是示出了根据本发明示例实施例的用户设备的助听方法的示例操作的流程图；
[0025]图6是示出了根据本发明另一示例实施例的用户设备的助听方法的示例操作的流程图；
[0026]图7是示出了根据本发明另一示例实施例的用户设备的助听方法的示例操作的流程图；
[0027]图8是示出了根据本发明示例实施例的用户设备的助听功能提供方法的信号流图；
[0028]图9是示出了根据本发明示例实施例的助听系统的操作机制的图；
[0029]图10是示出了根据本发明示例实施例的用户设备的助听方法的示例操作的流程图；以及
[0030]图11是示出了根据本发明另一示例实施例的用户设备的助听方法的示例操作的流程图。
【具体实施方式】
[0031]下面参照附图更加详细地描述本发明的示例实施例。在所有附图中通常使用相同附图标记表示相同或类似部件。可以省略对此处结合的已知功能和结构的详细描述，以避免造成本领域普通技术人员对本发明主题的不清楚理解。
[0032]还应该理解，在说明书和权利要求中术语“设备所有者”可以是用户，并且该术语应该解释为表示设备的任何用户，而不限于所有者。
[0033]本发明提供了一种支持用户设备的面向讲话者的助听功能的方法和装置。根据本发明的示例实施例，在发送发(而非接收方)增强音频输入，使得通过发送方设备的扬声器输出增强的声音，或通过无线电或其他无线通信信道向接收方的设备传输增强的声音。
[0034]更具体地，在本发明的示例实施例中，用户设备向听力受损用户提供帮助，从而无需佩戴常规助听设备就能正常听见声音。根据本发明示例的助听方法和设备可以通过例如社交网络服务(SNS)与其他人(家庭成员、朋友、熟人、同事等)共享听力受损者的听力受损信息，以便基于提供的受损信息来增强信息共享者的语音，并根据对话环境，通过扬声器输出或通过无线电信道发送语音。
[0035]下面参照附图描述根据本发明示例实施例的用户设备的结构和控制方法。然而，本发明的用户设备的结构和控制方法不限于以下示意性的描述，而是可以在不背离本发明精神和所附权利要求范围的前提下以多种改型来实施。
[0036]图1是示出了根据本发明示例实施例的面向讲话者的助听系统的示例架构的图。
[0037]现在参照图1，面向讲话者的助听系统可以包括用户设备100、云服务器200、第一设备群300和第二设备群400。虽然图1示出了示例的面向讲话者的助听系统，但是本发明不限于此，而可以实现为具有比图1所示更多或更少的部件。此外，虽然该示例中用户设备是便携式终端、平板电脑等，但是本发明不限于此。
[0038]图1针对面向讲话者的助听系统，其中用户设备100是听力受损的用户拥有的支持助听的设备。用户设备100向云服务器200发送关于听力受损用户的听力受损信息，以通过SNS与其他人共享该信息。然而，虽然示出了云服务器，但是应该理解，本发明可应用于对等系统，其中用户设备可以在对等模式下或经由用作中继的接入点，向第一或第二设备群中的设备发送信息。
[0039]用户设备100通过例如蜂窝通信网络或无线局域网(WLAN)等任何已知方法连接至云服务器200，以发送受损信息。当用户设备100确定要共享受损信息时，用户设备可以缺省地配置受损信息的信息共享范围，该信息共享范围可以通过用户设备的使用或后续更新/升级而改变。例如，用户可以将信息共享范围设定或改变为在SNS中形成的至少一个社交关系或所有SNS用户。
[0040]在本发明中，听力受损信息例如可以包括:频率(Hz)和强度(dB)，作为指示了用户听力图(audiogram)的准则；引导信息，用于引导讲话者；以及对应于一种或多种助听模式操作类型的配置信息，依据随后描述的示例，这是可选的。听力受损者的听力受损信息可以响应于用户请求而存储在例如用户设备100中的非暂时性介质中。听力受损信息可以包括通过操作用户设备100进行的听力图测量而获取的听力受损信息。因此，用户设备100可以包括加载到控制器/处理器中以测量听力受损用户的听力图的模块。换言之，用户设备可以管理听力测试，或者也可以从管理听力检查的听力学家或其他人那里接收听力图信息。可以电子邮件、SMS等形式发送信息。由于在美国患者隐私是主要问题，所以这些信息的一些或所有可以被加密。上述测量可以包括使用头戴式耳机来单独地测试左耳和右耳，或者如同对话期间通常进行的那样将移动终端持于特定耳朵处，或者在扬声器电话模式下测试听力。此外，设备进行的测量可以用于补充或更新先前的信息。此外，在要求保护的本发明的精神和范围内，用户设备也可以自动或根据用户提示向医生、听力学家或其他管理人员通知结果，并且可以在存在程度大于预定阈值的改变时对结果加标志。事实上，本发明另一方面是为了在许多情况下消除任何人访问听力学家以进行听力测试的需要，因为这可以通过用户设备来管理。在这方面，测试可以是用户从云服务器获得或经由云服务器更新的应用(“app”)。
[0041]云服务器200可以在内部数据库(DB)(未示出)中存储由用户设备登记的听力受损信息以共享。可以由用户或在云上对信息进行加密。接收信息的用户也可以获得用于解密该信息的密钥，使得用户不是仅仅就听力受损程度方面来公开个人健康信息。如果用户设备100发送听力受损信息，则云服务器200可以在用户特定听力受损信息表中存储关于用户设备100的设备信息(例如，设备标识符、联系人信息(电话号码)等)。听力受损信息表可以如表I形成。
[0042]表I
[0043]
【权利要求】
1.一种设备的助听功能提供方法，所述方法包括: 检测从设备所有者输入的音频； 基于听力受损者的听力受损信息来增强音频；以及 向听力受损者输出增强的音频。
2.根据权利要求1所述的方法，其中听力受损信息包括:设备所有者以及与设备所有者面对面对话或远程通信的听力受损者两者的听力受损信息。
3.根据权利要求2所述的方法，其中在控制单元的控制下将增强的音频输出至设备的扬声器，或者通过通信单元发送给听力受损者的接收设备。
4.根据权利要求3所述的方法，其中基于设备所有者和听力受损者之一的听力受损信息来增强音频，并在设备所有者和听力受损者的面对面对话期间通过设备的扬声器输出增强的音频。
5.根据权利要求3所述的方法，其中基于与设备所有者进行远程通信的听力受损者来增强通过通信单元输出的增强的音频。
6.根据权利要求1所述的方法，其中音频输入包括设备所有者的语音输入以及设备产生的声音效果。
7.一种设备的助听功能提供方法，所述方法包括: 确定设备的当前助听模式的子模式； 依据子模式，选择至扬声器`或通信单元的音频路径之一； 基于听力受损者的听力受损信息来增强输入的音频；以及 通过设备的扬声器输出增强的音频。
8.根据权利要求7所述的方法，其中所述选择包括: 当子模式是助听扬声器模式时，由控制单元选择至扬声器的音频路径；以及 当子模式是助听远程通信模式时，由控制单元选择至通信单元的音频路径。
9.根据权利要求8所述的方法，还包括: 由控制单元获取呼叫建立请求所针对的听力受损者的联系人信息； 由控制单元获取映射至所述联系人信息的听力受损信息； 由音频增强单元基于获取的听力受损信息对通过麦克风输入的音频进行增强；以及 由通信单元向听力受损者的接收设备输出增强的音频。
10.根据权利要求7所述的方法，其中通过社交网络服务SNS与其他人共享所述听力受损信息。
11.根据权利要求8所述的方法，还包括: 由控制单元确定助听扬声器模式的子模式包括私密模式还是公共模式； 当子模式包括私密模式时，向扬声器输出基于设备所有者的听力受损信息而增强的音频； 当子模式包括公共模式时，确定音频输出端子是否开放； 当音频输出端子开放时，根据公共模式的子模式，通过设备的扬声器输出第一和第二音频之一；以及 当音频输出端子未开放时，分别向扬声器和音频输出端子输出第一和第二音频。
12.根据权利要求11所述的方法，还包括:确定公共模式的子模式包括面向主人的音频输出模式还是面向客人的音频输出模式。
13.根据权利要求12所述的方法，还包括: 当在音频输出端子开放的状态下，公共模式的子模式包括面向主人的音频输出模式时，通过设备的扬声器为设备所有者输出第一音频；以及 当在音频输出端子开放的状态下，公共模式的子模式包括面向客人的音频输出模式时，通过设备的扬声器为其他用户输出第二音频。
14.根据权利要求12所述的方法，还包括: 当在音频输出端子未开放的状态下，公共模式的子模式包括面向主人的音频输出模式时，通过设备的扬声器为设备所有者输出第一音频，并通过音频输出端子为其他用户输出第二音频；以及 当在音频输出端子未开放的状态下，公共模式的子模式包括面向客人的音频输出模式时，通过音频输出端子为设备所有者输出第一音频，并通过设备的扬声器为其他用户输出第二音频。
15.根据权利要求8所述的方法，还包括: 当激活助听扬声器模式时，由控`制单元确定助听扬声器模式的子模式包括私密模式还是公共模式； 当助听扬声器模式的子模式是公共模式时，由控制单元获取其他用户的听力受损信息； 当助听扬声器模式的子模式是私密模式时，由控制单元获取设备所有者的听力受损信息； 当输入音频时，基于获取的听力受损信息来增强音频；以及 通过设备的扬声器输出增强的音频。
16.根据权利要求15所述的方法，其中公共模式是用于输出根据面对面对话的其他用户而增强的音频的操作模式，私密模式是用于输出根据设备用户的听力受损信息而增强的音频的操作模式。
17.一种设备的助听功能提供方法，所述方法包括: 接收响应于呼叫建立请求的反馈； 当所述反馈指示在助听模式下的呼叫建立请求重传时，暂停呼叫建立； 根据所述反馈从正常远程通信模式切换到助听远程通信模式； 在助听远程通信模式下重传呼叫建立请求；以及 当完成呼叫建立时，在助听远程通信模式下基于听力受损信息来处理远程通信。
18.根据权利要求17所述的方法，其中所述处理包括: 基于与所述反馈一起接收的听力受损信息，对通过麦克风输入的音频进行增强；以及 通过无线通信单元输出增强的音频。
19.根据权利要求17所述的方法，其中所述重传包括:向呼叫服务器通知在助听远程通信模式下呼叫建立请求的重传。
20.根据权利要求17所述的方法，其中所述接收包括: 向呼叫服务器发送基于设备接收到的联系人信息而产生的呼叫建立请求； 在呼叫服务器处，响应于呼叫建立请求，在听力受损信息数据库中搜索映射至所述联系人信息的听力受损信息；以及 当存在映射至所述联系人信息的任何听力受损信息时，发送所述反馈以请求所述呼叫建立请求的传输。
21.根据权利要求20所述的方法，其中听力受损信息数据库包括如下之一:呼叫服务器的数据库；以及社交网络服务SNS上与呼叫服务器互操作的云服务器的数据库。
22.根据权利要求17所述的方法，还包括: 接收呼叫请求输入； 确定是否有任何听力受损信息映射至从呼叫请求检查得到的联系人信息； 当无听力受损信息映射至联系人信息时，以正常呼叫建立过程发送呼叫建立请求； 当有任何听力受损信息映射至联系人信息时，从正常远程通信模式切换到助听远程通信模式； 获取映射至联系人信息的听力受损信息； 基于获取的联系人信息发送呼叫建立请求；以及 当完成呼叫建立时，在助听远程通信模式下基于获取的听力受损信息来处理远程通?目。
23.—种设备,包括: 非暂时性存储单元，存储至`少一个程序；以及 控制单元，控制执行所述至少一个程序，基于听力受损信息增强音频输入，并向通信单兀或扬声器输出增强的音频。
24.根据权利要求23所述的设备，还包括: 音频增强单元，在助听模式下基于听力受损信息增强音频，并通过预定音频路径输出增强的音频；以及 切换器，根据控制单元产生的切换信号将增强的音频切换至音频路径。
25.根据权利要求24所述的设备，其中控制单元在助听模式下产生至切换器的切换信号，以便在助听扬声器模式下建立至扬声器的音频路径或在助听远程通信模式下建立至通信单元的音频路径。
26.一种非暂时性计算机可读存储介质，存储包括机器可执行代码的程序，所述机器可执行代码用于配置设备的控制单元以便适应于助听应用环境来控制助听模式，在助听模式下基于通过社交网络服务SNS共享的听力受损信息来增强输入音频；以及向扬声器输出增强的音频，或输出增强的音频以由无线通信设备发送。
【文档编号】H04R25/00GK103517191SQ201310208285
【公开日】2014年1月15日 申请日期:2013年5月30日 优先权日:2012年6月18日
【发明者】朴珍 申请人:三星电子株式会社