用于在低功率下提供相关内容的系统和方法以及其中记录有程序的计算机可读记录介质与流程

本发明涉及一种用于在低功率下提供相关内容的系统和方法、以及其中记录有程序的计算机可读记录介质，其中，所述系统和方法在低功率下接收包括在内容中的声音并提供相关内容。

本发明由地区中小企业管理的国家研究和开发项目业务支持(管理机构：中小企业技术和信息推广机构，项目标号：S2145032，研究企业名称：日益增长的健康诊断相关基础技术开发企业，研究项目题目：用于使用智能手机准确地估计室内位置的声波多址技术开发)。

【支持本发明的国家研究和开发项目业务】

【项目编号】S2145032

【相关部门】区域中小企业管理局

【科研管理专门机构】中小企业技术和信息推广机构

【研究企业名称】日益增长的健康诊断相关基础技术开发企业

【研究项目题目】

用于使用智能手机准确地估计室内位置的声波多址技术开发

背景技术：

现有技术产品广告方法不仅包括通过报纸、电台和TV广播直接地提供广告的直接广告方法，而且包括通过将将被广告的产品应用到在诸如电影、戏剧、电台广播等的内容中出现的道具或者作为内容的部分被自然地提到的产品来间接地为产品做广告的方法(在下文中，产品间接广告或间接广告)。具体而言，在产品间接广告的情况下，可向观众和听众提供有力的广告效果，并且其重要性增加。然而，现有技术间接广告将产品简单地暴露在屏幕上或仅作为声音提到。因此，存在这样的问题：当观众或听众想要购买产品时，他们需要单独地搜索关于产品的相关信息和零售商，并随后基于搜索的信息来购买产品。用于解决这个问题的各种技术已经被建议。例如，韩国专利注册号10-1310943(2013年9月11日)(用于提供与广播内容相关的内容相关信息的系统和方法)、韩国专利注册号10-1313293(2013年9月24日)(用于提供广播内容的附加信息的系统和方法)、和韩国专利注册号10-0893671(2009年4月9日)(多媒体内容的哈希表的生成和匹配)公开了用于使用广播的或播放的内容的声音特性提供关于包括在观众或听众通过他们的移动接收器观看或收听的内容中的产品间接广告的相关内容的方法。在另一个示例中，韩国专利注册号10-1363454(2014年2月10日)(用于基于从TV输出的声音信号来提供用户定制的广告的系统、用于提供用户定制的广告的方法、和其中记录有MIM服务程序的计算机可读记录介质)公开了用于通过将非可听声波插入到广播的或播放的内容中来提供关于包括在观众或听众通过他们的移动接收器观看或收听的内容中的产品间接广告的相关内容的方法。

然而，上面解释的技术依然存在这样的问题：观众或听众应使用他们自己的移动接收器主动地请求相关的内容。即，当播放内容时，用户应执行移动接收器的应用以接收相关的内容，或者应指示提供相关内容的移动接收器的应用识别所述内容。需要用户做出额外努力来接收相关内容违背了被动地享受内容的观众或听众的行为模式，或者做出额外努力可能干扰观众的或听众的沉浸。因此，可能降低相关内容的效率。

这个问题可通过在移动接收器中连续地提取声音特性或非可听声波被克服。然而，这会造成在通过有线电池进行操作的移动接收器中的电力短缺。

技术实现要素：

技术目标

本发明的示例性实施例提供了一种低功率相关内容提供系统，其中，所述低功率相关内容提供系统在低功率下正常地进行操作，并且能够自动地提供关于观众或听众正在观看或收听的主要内容的相关内容，而无需观众或听众主动地寻找相关内容。

本发明的示例性实施例提供了一种低功率相关内容提供系统，其中，所述低功率相关内容提供系统在低功率下提取在通过内容播放装置广播或播放的主要内容中包括的声波ID，并可提供关于在主要内容中包括的间接广告产品的相关内容，而无需观众或听众通过移动接收器做出额外的努力或者无需干扰用户沉浸于主要内容。

本发明的示例性实施例提供了一种低功率相关内容提供方法，其中，所述低功率相关内容提供方法在低功率下正常地操作，并可自动地提供关于观众或听众正在观看或收听的主要内容的相关内容，而无需观众或听众主动地寻找相关内容。

本发明的示例性实施例提供了一种用于提供相关内容的方法，其中，所述方法在低功率下提取在通过内容播放装置广播或播放的主要内容中包括的声波ID，并可提供关于在内容中包括的间接广告产品的相关内容，而无需观众或听众通过移动接收器做出额外的努力，或者无需干扰用户沉浸在主要内容上。

本发明的示例性实施例提供了一种记录介质，其中，所述记录介质中记录有用于通过计算机执行低功率相关内容提供方法的程序，其中，所述方法在低功率下正常地操作并能够自动地提供关于观众或听众正在观看或收听的主要内容的相关内容，而无需观众或听众主动地寻找相关内容。

本发明的示例性实施例提供了一种记录介质，其中，所述记录介质中记录有用于通过计算机执行用于提供相关内容的方法的程序，其中，所述方法在低功率下提取在通过内容播放装置广播或播放的主要内容中包括的声波ID，并能够提供关于在主要内容中包括的间接广告产品的相关内容，而无需观众或听众通过移动接收器做出额外的努力，或者无需干扰用户沉浸在主要内容上。

技术解决方案

根据本发明的实施例，提供了一种用于在低功率下提供相关内容的系统和方法、或者一种在其中记录有程序的计算机可读记录介质。

根据示例性实施例，提供了一种用于提供相关内容的方法，所述方法包括以下步骤：检测从再现内容(被称为“主要内容”)的内容播放装置输出的声音；将检测到的声音转换成数字数据；从数字数据提取声波ID；选择与声波ID相应的相关内容；并由移动接收器将相关内容显示为图像和/或语音。

根据示例性实施例，提供了一种用于提供相关内容的包括存储器和处理器的移动接收器，其中，所述移动接收器包括：麦克风，被配置为检测从再现内容(被称为“主要内容”)的内容播放装置输出的声音；ADC，被配置为将由麦克风检测到的声音转换成数字数据；声波ID提取单元，被配置为从数字数据提取声波ID；和显示单元，被配置为显示根据声波ID选择的相关内容。

根据示例性实施例，提供了一种计算机可读介质，其中，所述计算机可读介质中记录有用于在计算机中执行用于提供相关内容的方法的程序，其中，所述计算机包括存储器、处理器、检测从产生内容(被称为“主要内容”)的内容播放装置输出的声音的麦克风、以及将由麦克风检测到的声音转换成数字数据的ADC，所述用于提供相关内容的方法包括以下步骤：从数字数据提取声波ID；并通过在计算机中设置的显示单元来显示根据声波ID选择的相关内容。

有益效果

根据本发明的一个或更多个实施例，在低功率下提取在通过内容播放装置广播或播放的主要内容中包括的声波ID，并且可提供关于在主要内容中包括的间接广告产品的相关内容，而无需观众或听众通过移动接收器做出额外的努力或者无需干扰用户沉浸于主要内容。

附图说明

图1是示出根据本发明的示例性实施例的使用声波ID来提供相关内容的相关内容提供系统的示图；

图2是示出移动接收器的示例性实施例的示图；

图3是示出移动接收器的另一实施例的示图；

图4是示出根据本发明的示例性实施例的相关内容提供方法的示图；

图5是示出根据本发明的示例性实施例的相关内容提供方法的示图；

图6是示出根据本发明的示例性实施例的相关内容提供方法的示图；

图7是用以示出根据本发明的示例性实施例的相关内容提供方法的示图；

图8是示出主要内容的示图；

图9是示出根据预定周期被激活以在低功率下进行操作的声音识别模块的示图；

图10是示出在主要内容被广播和播放的时间期期根据可提取声波ID的时间被激活的声音识别模块的示图；

图11是示出当通过声波ID提取处理估计出声波ID的存在超过预定概率时声音识别模块的激活周期的示图；

图12是示出根据使用在移动接收器中为共享资源的麦克风的另一应用被激活的事件来调整声音识别模块的周期的示图；

图13是示出根据使用在移动接收器中为共享资源的麦克风的另一应用被激活的事件来调整声音识别模块的周期的示图；

图14是示出用于接收移动接收器的事件的通知以便声音识别模块在低功率下进行操作的方法的示图；

图15是示出根据本发明的示例性实施例的用于提供相关内容的方法的示图。

【符号说明】

100：内容播放装置 201、401：麦克风

203、403：ADC 205：声波ID提取单元

207、407：处理器 209、409：存储器

211、411：存储装置 213、413：显示单元

215、415：通信单元

221、421：DMB应用、视频播放器、或编解码器

223、423：相关内容提供应用

200、400：移动接收器 300服务器

402、低功率声音强度测量单元 404：声波模式识别单元

实施本发明的最佳方式

现将参照附图对示例性实施例进行更全面的描述以阐明本发明的各方面、其它方面、特征和优点。然而，可按照许多不同形式实施示例性实施例，并且不应将示例性实施例理解为限于在此阐述的示例性实施例；相反地，提供示例性实施例使得本公开将是彻底和完整的，并将向本领域的普通技术人员充分地传达本申请的范围。

在这里使用的术语仅仅是为了描述特定示例性实施例的目的而并非意在限制。如这里所使用的情况，单数形式意在也包括复数形式，除非上下文清楚地另有指示。还将理解：当在本说明书中使用时，术语“包括”和/或“包含”不排除存在或添加一个或更多个其它组件。

在下文中，将参照附图更加详细地描述示例性实施例。提供在描述中限定的事项(诸如详细构造和元件)以帮助全面理解示例性实施例。然而，可在没有那些具体限定事项的情况下由本领域的普通技术人员实施示例性实施例。在示例性实施例的描述中，当认为相关技术的某些详细解释会不必要地模糊本发明的实质时，省略相关技术的某些详细解释。

■术语的定义

－内容：这里记载的内容是以图像、声音或声音和图像的组合的形式的数字数据，并且指用于提供教育的、文化的、信息的和/或娱乐的价值的信息。

－内容播放装置：这里记载的内容播放装置指用于播放内容的装置，并且例如包括用于输出声音的扬声器或声音输出终端，并且还包括显示器或图像输出终端，如TV、收音机、台式计算机、或移动装置(例如，膝上型计算机、平板计算机、智能电话、可穿戴计算机等)。

－内容：这里记载的内容可指i)主要内容或相关内容、或者ii)主要内容和相关内容两者。

－主要内容：主要内容是通过内容播放装置输出(广播或播放)的内容。

－相关内容：相关内容是通过移动接收器输出的内容，并指与通过内容播放装置输出的主要内容的细节相关或者与用于传送所述细节的背景知识相关的声音、图像、文档、互联网地址等的信息、和/或指示所述信息的数字标识符值。例如，相关内容可以是由于对内容的安排的限制或对相关规程的限制而难以被包括在主要内容中的内容、引导观众或听众参与的内容、关于难以吸引观众或听众的注意力的间接广告的内容、或者关于出现在间接广告中的产品或用于购买该产品的内容的信息。

－移动接收器：移动接收器是能够输出相关内容的装置，并且是这样的移动装置，其中，所述移动装置包括麦克风和模拟-数字转换器(ADC)以分析包括在主要内容中的声音的移动装置，并且通过分析主要内容的声音来掌握主要内容或掌握主要内容的相对时间位置，并随后以用眼睛或耳朵来识别关于主要内容的全部或部分的相关内容这样的形式向内容观看者或听者提供相关内容。在这种情况下，观众或听众可以是拥有移动接收器的人。例如，移动接收器可以是诸如膝上型计算机、平板计算机、智能电话、可穿戴装置等的移动装置。

－产品间接广告或间接广告：这个术语是指作为主要内容的全部或部分被包括的广告(比如产品、服务、品牌标志、标语等)，并且是被输出作为主要内容的图像的部分或声音的部分的广告。产品间接广告或间接广告是包括赞助广告的概念(即，商品在内容被生成时以免费或以降低的价格被提供，并随后所述商品被暴露作为内容的部分)。相关内容是例如与产品间接广告或间接广告相关的内容。

－间接广告产品：这个术语是指通过产品间接广告或间接广告被输出作为主要内容的全部或部分的产品或服务，并被用于指示服务、品牌、标志和标语以及具有特定形式的产品。

－声波ID(标识符)：声波ID指(1)指示被人为地插入到主要内容的声音中的非可听声音的数字数据(即，非可听声波ID)、或者(2)指示可从作为主要内容的一部分被包括的声音提取的声音的特征的浓缩的数字数据(即，可听指纹ID)。人为地插入的非可听声波ID具有使用心理声学被调制到对人是听不见的非可听声波的特性。指示声音的特征的可听指纹声波ID不必人为地插入，但可仅当主要内容包括声音时被提取。两种类型的声波ID可被用于：(1)识别主要内容，(2)识别主要内容中的相对时间位置，(3)识别与主要内容中的间接广告相关的相关内容，或者(4)识别与在主要内容中的相对时间位置的间接广告相关的相关内容。非可听声波ID可包括序列号、有意义的词语、互联网链接等。可使用技术(诸如奇异/特征值分解(SVD/EVD)、主成分分析(PCA)、地标峰值检测、零交叉计数、梅尔频率倒谱系数(MFCC)、感知线性预测系数(PLPC)、线性预测系数(LPC)等)作为哈希函数来提取可听指纹声波ID，并且提取的值可被用作哈希键。为了对非可听声波ID的简单描述，非可听声波ID可指示以从数字数据、调制前的数字数据和解调后的数字数据转换的模拟形式的非可听声波中的任何一个。此外，为了容易描述，通过提取声音的特征而获得的可听指纹声波ID可指示以下项中的任何一个：提取的特征数字数据、可从其提取特征数字数据的主要内容声音的部分、可从其提取通过移动接收器检测的特征数字数据的主要内容声音的部分、和通过移动接收器提取的特征数字数据。

－声音识别模块：这个术语用于指示被用于检测和提取声波ID的至少一个元件，例如，可指麦克风、ADC、声波ID提取单元和相关内容提供应用中的至少一个。

■相关内容提供系统

图1是示出根据本发明的示例性实施例的用于使用声波ID来提供相关内容的系统(在下文中，被称为“相关内容提供系统”)的示图。

参照图1，相关内容提供系统是通过移动接收器200提供与从内容播放装置100输出的主要内容的全部或部分相关的相关内容的系统。

例如，移动接收器200可提供包括与作为主要内容被输出的图像和声音中的至少一个相关的广告的相关内容。例如，移动接收器200可提供关于在主要内容中被显示为图像或作为声音被提到的间接广告产品的相关内容。根据示例性实施例，当在主要内容中存在被显示为图像或被提到为声音的多个间接广告产品时，移动接收器200可提供关于各个产品的相关内容。

根据示例性实施例的相关内容提供系统可包括内容播放装置100、移动接收器200和服务器300。

内容播放装置100可输出图像和/或声音。移动接收器200可从内容播放装置100输出的声音提取至少一个声波ID。例如，声波ID可通过相关内容数据库(DB)(即，声波ID和相关内容彼此匹配的DB)来匹配相关内容。

例如，声波ID可被用于识别主要内容，识别主要内容中的相对时间位置，识别与主要内容中的间接广告相关的(相应的)相关内容，或识别与在主要内容中的相对时间位置的间接广告相关的(相应的)相关内容。

内容播放装置100可包括用于播放声音的扬声器或声音输出终端，并还包括用于显示图像的显示器或图像输出终端，比如TV、收音机、台式计算机和移动装置(例如，膝上型计算机、平板计算机、智能电话、可穿戴装置等)。

移动接收器200是这样的装置，其中，所述装置提取从内容播放装置100输出的主要内容的声音中包括的声波ID，并以与声波ID相应的相关内容被使用眼睛或耳朵识别的这样的形式向观众或听众提供相关内容。在这种情况下，观众或听众可以是拥有移动接收器的人。例如，移动接收器200可包括诸如膝上型计算机、平板计算机、智能电话、可穿戴装置等的移动装置。此外，移动接收器200可包括接收声波ID的麦克风(未示出)以及ADC(未示出)。

在示例性实施例中，当声波ID被提取出时，移动接收器200将声波ID发送到服务器300，并从服务器300接收与声波ID相应的相关内容，并且将相关内容显示为声音或图像。例如，移动接收器200可以以通知消息、图像、和/或语音的形式为用户显示与声波ID相应的相关内容。

在示例性实施例中，移动接收器200是具有像移动装置(诸如膝上型计算机、平板计算机、可穿戴计算机、智能电话等)的移动性的装置，并可包括识别声音的麦克风(未示出)、与服务器进行通信的通信单元(未示出)、计算机处理器(未示出)、存储器(未示出)和程序(未示出)。在这里，程序可在计算机处理器的控制下被加载到存储器中以执行总体操作(例如，以下操作：识别声波ID，将识别的声波ID发送到服务器300，并以通知消息、图像和/或语音的形式显示从服务器300接收到的相关内容)。

接下来，将提供关于如何将声波ID包括在内容中的描述。

将声波ID插入到主要内容中和提取声波ID的技术可使用在下面的专利文档中公开的技术。

例如，将ID插入到声音中的技术和从声波提取内容ID的技术可使用由同一的发明人于2012年4月12日向KIPO申请的第10-2012-0038120号韩国专利申请中公开的技术(标题为“用于使用声音系统来估算移动终端的位置的方法和系统以及使用其的声音系统”)。

在另一示例中，可使用在由本申请的发明人于2012年7月18日向KIPO申请的第10-2012-0078410号韩国专利申请中公开的技术(标题“用于收集接近数据的方法和系统”)(在声音信号中包括ID并且识别和提取包括在声音信号中的ID的特性的特征)。

在另一示例中，可使用在由本申请的发明人于2012年5月18日向KIPO申请的第10-2012-0053286号韩国专利申请中公开的技术(标题为“用于识别说话者的系统以及使用所述系统的位置估算系统”)(在声音信号中包括ID并且识别和提取包括在在声音信号中的ID的特征)。

在另一示例中，可使用在由本申请的发明人于2012年7月18日向KIPO申请的第10-2012-0078446号韩国专利申请中公开的技术(标题为“用于使用接近信息来计算用户之间的亲密关系的方法和设备”)(在声音信号中包括ID并且识别和提取在声音信号中包括的ID的特征)。

在另一示例中，可使用在由本申请的发明人于2013年9月6日向KIPO申请第10-2013-0107604号韩国专利申请中公开的技术(标题为“用于使用基于时变频率的符号来发送和接收声波的方法以及使用所述方法的设备”)(在声音信号中包括数字信息并且识别和提取在声音信号中包括的数字信息的特征)。

在上述第10-2012-0038120号、10-2012-0078410号、10-2012-0053286号、10-2012-0078446号和10-2013-0107604号专利申请的说明书中公开的技术可被合并到本申请的说明书中，并被处理为本申请的说明书的一部分。

提取与在主要内容中包括的声音的特征相应的可听指纹声波ID的技术可使用在下面的专利文档中公开的技术。

例如，可使用在韩国专利注册号10-1310943(2013年9月11日)(标题为“用于提供与广播内容相关的内容相关信息的系统和方法”)、韩国专利注册号10-1313293(2013年9月24日)(标题为“用于提供广播内容的附加信息的系统和方法”)、和韩国专利注册号10-0893671(2009年4月9日)(标题为“多媒体内容的哈希表的生成和匹配”)中公开的技术。

在上述韩国专利注册号10-1310943、10-1313293和10-0893671的说明书中公开的技术可被合并到本申请的说明书中，并被处理为本申请的说明书的部分。

服务器300可从移动接收器200接收声波ID并参照相关内容DB(未示出)来选择与声波ID相应的相关内容，并且将选择的相关内容发送到移动接收器200，其中，在相关内容DB中，声波ID与相关内容相匹配。

在示例性实施例中，服务器200可以是存储并管理广告的广告服务器，或者可以是将指纹和/或多媒体数据发送到属于同一组的朋友的多媒体即时通讯(MIM)服务服务器。

当通过使用MIM服务服务器来实现服务器200时，服务器200可将相关内容发送到与MIM服务服务器交互的客户端程序。

■用于提取声波ID的移动接收器

图2是示出移动接收器的示例性实施例的示图。

参照图2，移动接收器200可包括麦克风201、ADC 203、处理器207、存储装置209、显示单元213和通信单元215。

根据示例性实施例，麦克风201可检测从内容播放装置100输出的声音。即，麦克风201可将声音转换成电信号。

根据示例性实施例，ADC 203可将声音转换成数字数据，其中，所述声音是由麦克风101检测到的模拟声波信号。在示例性实施例中，ADC 203可将由麦克风检测到的在预定频率范围或硬件可允许的最大频率范围内的声波信号转换成数字数据。

根据可选实施例，ADC 203可仅当声音具有大于或等于预定阈值的强度时将声音转换成数字数据。此外，ADC 203可仅当声音具有大于或等于预定阈值的强度时将在预定频率范围内的声音转换成数字数据。

例如，所述阈值可以是相对值(诸如信噪比(SNR))或绝对值(诸如声音的强度)。

处理器207是解释计算机命令并执行所述命令的装置，并可以是通用计算机的中央处理单元(CPU)。处理器207可以是在移动装置(诸如智能电话)的情况下的应用处理器(AP)，并可执行加载到存储器209中的程序。

存储器209可通过使用易失性存储装置(诸如随机存取存储器(RAM))来实现，并且用于驱动移动装置200、应用、数据等所必需的操作系统(OS)可被加载到存储器209中。存储装置211是存储数据的非易失性存储装置，并且例如，可通过使用硬盘驱动器(HDD)、闪存、安全数字(SD)存储卡等来实现。

显示单元213可为用户将内容显示为语音、图像和/或指纹。例如，显示单元213可通过使用显示器和声音输出终端或连接到声音输出终端的扬声器来实现。

通信单元215可通过使用用于与外部进行通信的装置来实现。例如，通信单元215可与服务器100进行通信。

根据示例性实施例，相关内容提供应用223可在处理器207的控制下被加载到存储器209中并被操作。相关内容提供应用223可使用麦克风201和ADC 203接收声音，并且当从声音成功地提取到声波ID时，相关内容提供应用223通过通信单元215将提取的声波ID发送到服务器300。

根据示例性实施例，相关内容提供应用223可包括以下功能来作为附加功能：确定由ADC 203检测到的声音是否具有大于或等于阈值的强度，并仅当声音具有大于或等于预定阈值的强度时从声音提取声波ID。

根据另一示例性实施例，相关内容提供应用223可包括以下功能来作为附加功能：确定由ADC 203检测的声音是否在预定频率范围内具有大于或等于阈值的强度，并仅当声音在预定频率范围内具有大于或等于预定阈值的强度时从检测的声音提取声波ID。

根据另一个示例性实施例，检测和提取声波ID的操作可通过单独的硬件而非相关内容提供应用223来实现。即，由图2中的虚线示出的声波ID提取单元205可被实现为硬件，并且移动接收器200可被配置为还包括声波ID提取单元205。在这种情况下，声波ID提取单元205从由ADC 203转换的数字数据提取声波ID，并且相关内容提供应用223通过通信单元215将由声波ID提取单元205提取的声波ID发送到服务器300。

根据本发明的示例性实施例，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可根据安排或当预定事件发生时在它们处于未激活状态之后被激活以执行它们各自的操作。

例如，麦克风201和ADC 203可根据安排或当预定事件发生时被激活以执行它们各自的操作。在这个示例中，麦克风201和ADC 203是根据安排或当预定事件发生时在它们处于未激活状态之后被激活的元件。

例如，当相关内容提供应用223被实现为具有确定由麦克风201检测到的声音在预定频率范围内是否具有大于或等于阈值的强度的功能时，相关内容提供应用223在麦克风201和ADC 203被激活时被激活以执行自己的操作。

例如，当相关内容提供应用223被实现为具有提取声波ID的功能时，相关内容提供应用223在麦克风201和ADC 203被激活时被激活以执行自己的操作。

例如，在由声波ID提取单元205执行声波ID提取功能的实施例中，相关内容提供应用223可仅在声波ID被成功地提取时被激活。被激活的相关内容提供应用223可将提取的声波ID发送到服务器300，并且从服务器300接收与声波ID相应的相关内容并通过显示单元213将相关内容显示为语音和/或图像。可选地，被激活的相关内容提供应用223可搜索并选择与提取的声波ID相应的相关内容，并通过显示单元213将相关内容显示为语音和/或图像。在这种情况下，相关内容数据库可被加载到存储器209中，并且相关内容提供应用223可扫描相关内容数据库并选择与声波ID相应的相关内容。

例如，麦克风201可根据安排或当事件发生时在处于未激活状态之后被激活。当麦克风201检测到声音(例如，属于预定频带的声音)时，其它元件(例如，ADC 203、相关内容提供应用22和声波ID提取单元205)可同时地或依次地被激活。

例如，当由麦克风201检测到声音时，用于确定检测到的声音是否具有大于或等于预定阈值的强度的元件(例如，相关内容提供应用)可被激活。此外，当确定检测到的声音具有大于或等于预定阈值的强度时，用于提取声波ID的元件(例如，声波ID提取单元)可被激活。

将在参照图4描述的实施例中详细地描述安排。将在参照图9至图11描述的实施例中描述根据安排周期性地或非周期性地进行激活的操作，并且将在参照图12至图14描述的实施例中描述当预定事件发生时进行激活的操作。

例如，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可根据参照主要内容安排制定的安排在处于未激活状态之后被周期性地或非周期性地激活。例如，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可在播放主要内容的时间期间按照预定周期被激活。可选地，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可在播放主要内容的时间期间按照预定周期被操作，并可在未播放主要内容的时间期间按照比预定周期长的周期被操作。

例如，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可根据参照声波ID安排制定的安排被周期性地或非周期性地激活。例如，所述至少一个元件可在可提取声波ID的时间被激活。

例如，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可按照预定周期被执行，并且，当声波ID的提取失败但确定存在声波ID时，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可按照比预定周期短的周期被激活。此后，当ID被提取到时，所述至少一个元件可按照原始周期被激活。

例如，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可按照预定周期被执行，并且当满足下面的方程式时，按照比第一周期短的第二周期被执行：

阈值>检测到的声音的强度>(α×阈值)(这里，α小于1)。

也就是说，在示例性实施例中，当检测到的声音的强度比阈值小但接近所述阈值时，确定很可能存在具有声波ID的声音，并且，当满足上面的方程式时，所述至少一个元件可按照比原始周期短的周期被激活。

例如，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可在预定事件发生时被激活。这里，所述预定事件指特定应用被执行的情况、移动接收器200的显示单元被激活或被禁用的情况、或者移动接收器200从外部接收到推送消息的情况。

这里，特定应用可以是将麦克风用于它自己使用的应用。然而，这仅仅是示例并且特定应用可以是其它应用。

例如，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个可按照预定周期被执行，并且当预定事件发生时可不被执行。此外，当预定事件完成时，所述至少一个元件可根据原始周期被激活。

例如，当预定事件发生时，麦克风201、ADC 203、声波ID提取单元205、显示单元213、通信单元215和相关内容提供应用223中的至少一个，处理器207可将事件的发生传送到移动接收器200的操作系统(OS)(未示出)(其中，操作系统可被加载到存储器209中)，并且OS可将事件的发生传送到被提供以与在移动接收器200中运行的各个应用相应的筛选器(未示出)(其中，筛选器可被加载到存储器209中)。所述筛选器可根据预定设置将事件的发生传送到与所述筛选器相应的应用或不将事件的发生传送到与所述筛选器相应的应用。将在参照图14描述的实施例中详细地描述这些操作。

图3是示出移动接收器的另一实施例的示图。

参照图3，移动接收器400可包括麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404、处理器407、存储器409、存储装置411、显示单元413和通信单元415。

比较图3的实施例和图2的实施例，可以看出图2的声波ID提取单元205被划分为低功率声音强度测量单元402和声波模式识别单元404。

根据示例性实施例，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个可根据安排被激活或可当预定事件发生时被激活。所述安排可被制定以周期性地或非周期性激活元件。将在参照图4描述的实施例中详细地描述所述安排。将在参照图9至图11描述的实施例中描述根据安排周期性地或非周期性地进行激活的操作，并且将在参照图12至图14描述的实施例中描述当预定事件发生时进行激活的操作。

例如，麦克风401、低功率声音强度测量单元402和ADC 403可根据安排或当预定事件发生时被激活以执行它们自己的操作。在这个示例中，麦克风401、低功率声音强度测量单元402和ADC 403是根据安排或当预定事件发生时在处于未激活状态之后被激活的元件。

例如，麦克风401、低功率声音强度测量单元402、ADC 403和声波模式识别单元404可根据安排或当预定事件发生时被激活以执行它们自己的操作。

例如，相关内容提供应用423可仅当声波ID被成功地提取时被激活。被激活的相关内容提供应用423可将提取的声波ID发送到服务器300，并且从服务器300接收与声波ID相应的相关内容并通过显示单元413将相关内容显示为语音和/或图像。可选地，被激活的相关内容提供应用423可搜索并选择与声波ID相应的相关内容，并通过显示单元413将相关内容显示为语音和/或图像。在这种情况下，相关内容数据库可被加载到存储器409中，并且相关内容提供应用423可扫描相关内容数据库并选择与声波ID相应的相关内容。

例如，麦克风401可根据安排或当事件发生时在处于未激活状态之后被激活，并且，当麦克风401检测到声音(例如，属于预定频带的声音)时，其它元件(例如，ADC 403、相关内容提供应用423、低功率声音强度测量单元402、或声波模式识别单元401)可同时地或依次地被激活。

例如，当由麦克风401检测到声音时，用于确定检测到的声音是否具有大于或等于预定阈值的强度的低功率声音强度测量单元可被激活。此外，当确定检测到的声音具有大于或等于预定阈值的强度时，用于提取声波ID的声波模式识别单元404可被激活。

例如，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个可根据参照主要内容安排制定的安排在处于未激活状态之后被周期性地或非周期性地激活。例如，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个可在主要内容被播放的时间期间按照预定周期被激活。可选地，麦克风401、低功率声音强度测量单元402、ADC403、声波模式识别单元404和相关内容提供应用423中的至少一个可在主要内容被播放的时间期间按照预定周期被操作，并可在主要内容未被播放的时间期间按照比原始周期长的周期被操作。

例如，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个可根据参照声波ID安排制定的安排被周期性地或非周期性地激活。例如，所述至少一个元件可在声波ID能够被提取的时刻被激活。

例如，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个可按照预定周期被激活，并且，当声波ID的提取失败但确定存在声波ID时，所述至少一个元件可按照比原始周期短的周期被激活。此后，当ID被提取到时，所述至少一个元件可按照原始周期被操作。

例如，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个可按照预定周期被操作，并且当满足下面的方程式时可按照比预定周期短的周期被操作：

阈值>检测到的声音的强度>(α×阈值)(这里，α小于1)。

也就是说，当检测到的声音的强度小于阈值但接近阈值时，确定很可能存在具有声波ID的声音，并且，当满足上述方程式时，上述元件可按照比原始周期短的周期被激活。

例如，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个可在预定事件发生时被激活。在这里，所述事件可指特定应用被执行的情况、移动接收器200的显示单元被激活或被禁用的情况、或者移动接收器200从外部接收到推送消息的情况。

在这里，特定应用可以是将麦克风用于自己使用的应用。然而，这仅仅是示例并且特定应用可与其它应用相应。

例如，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个可按照预定周期被操作，并且当预定事件发生时可不被操作。此外，当预定事件完成时，所述至少一个元件可根据原始周期被激活。

例如，当预定事件发生时，麦克风401、低功率声音强度测量单元402、ADC 403、声波模式识别单元404和相关内容提供应用423中的至少一个，处理器407可将事件的发生传送到移动接收器400的操作系统(OS)(未示出)(其中，操作系统可被加载到存储器409中)，并且OS可将事件的发生传送到被提供以与在移动接收器400中进行操作的各个应用相应的筛选器(未示出)(其中，筛选器可被加载到存储器409中)。筛选器可根据预定设置将事件的发生传送到与所述筛选器相应的应用或不将事件的发送传送到与所述筛选器相应的应用。将在参照图14描述的实施例中详细地描述这些操作。

根据示例性实施例，低功率声音强度测量单元402可消耗低功率，但是可以连续不断地被激活，并且声波模式识别单元404可消耗比低功率声音强度测量单元402更多的功率，但是可频繁地被禁用并且可根据安排或当预定事件发生时被激活(即，间歇地被激活)。低功率声音强度测量单元402可检测在预定频率范围内的声音，并连续不断地确定检测到的声音的强度是否大于或等于预定阈值。

在实施例中，低功率声音强度测量单元402可确定通过麦克风401输出的声音在预定频率范围内是否具有大于或等于预定阈值的强度。当强度大于或等于阈值时，低功率声音强度测量单元402可激活为了低功耗操作而已经被禁用的ADC 403和声波模式识别单元404。在这种情况下，激活的ADC 403可将声音转换成数字数据并将数字数据发送到激活的声波模式识别单元404。

根据示例性实施例，声波模式识别单元404可从ADC 403接收呈数字数据形式的声音，并可当声波ID被包括在声音中时从接收的声音提取声波ID。在这种情况下，当处理器被禁用以在低功率下进行操作时，声波模式识别单元404可激活处理器407。在示例性实施例中，声波模式识别单元404可向相关内容提供应用423提供提取的声波ID。

根据另一个示例性实施例，声波模式识别单元404可从ADC 403接收呈数字数据形式的声波，通过将接收的声波和至少一个预存储的声波ID进行比较来确定是否能够从从ADC 403接收的声波提取声波ID，并且，当确定能够提取声波ID时，直接提取声波ID。根据可选实施例，声波模式识别单元404可确定是否能够从从ADC 403接收的声音提取声波ID，并且，当确定能够提取声波ID时，将从ADC 403接收的声音提供给相关内容提供应用423，并且相关内容提供应用423可提取声波ID。

通过使用单独的硬件来实现检测并提取声波ID的操作的技术可使用在下面提出的专利文档中公开的技术。

例如，在低功率下提取被调制为非可听声音的声波的技术可使用在由与本申请相同的发明人于2013年11月20日向KIPO提交的第10-2013-0141504号韩国专利申请中公开的技术(标题为“用于接收低功率声波的方法以及使用所述方法的移动装置”)。

在第10-2013-0141504号韩国专利申请的说明书中公开的技术可被合并到本申请的说明书中并可被处理为本申请的说明书的一部分。

在处理器407的控制下操作的DMB应用或视频播放器、或者通过DMB应用或视频播放器播放内容所必需的编解码器221可被加载到存储器409中。DMB应用、视频播放器或编解码器221可被存储在存储装置411中，并且可根据用户的命令被加载到存储器409中并被操作。另外，虽然在附图中未示出，但是当从服务器300接收到消息时，消息处理程序(未示出)可被加载到存储器409中并通过显示单元413显示所述消息。

在图3的实施例中未描述的元件执行与图2的实施例中被给予相似附图标号的元件的操作相同或相似的操作，所以请参考图2的实施例的描述。

■低功率声波ID的提取

为了描述本发明的目的，在本申请的说明书中使用的术语“声音识别模块”指在移动接收器中包括的的麦克风、ADC、声波ID提取单元、相关内容提供应用、低功率声音强度测量单元和声波模式识别单元中的至少一个，并且所述至少一个元件可检测或检测声波ID或者激活用于检测或提取声波ID的元件。

根据本发明的示例性实施例，声音识别模块可根据安排或当预定事件发生时(或间歇地)被激活，使得声音识别模块可在低功率下进行操作。当声音识别模块被激活时，声音识别模块可检测声音，并且检测并提取声音ID。在这种情况下，激活可指执行总体操作，诸如运行必要的硬件模块、运行必要的软件、或向操作系统请求必要的输入信息，以便从声音识别模块执行最小功能以最小化功耗的状态切换到声音识别模块可以检测并提取声波ID的状态。

图9至图14的实施例中示出了在低功率下进行操作的间歇激活。

在低功率下进行操作的间歇激活可指示(A)图9中示出的针对10分钟的周期激活并操作声音识别模块的状态。在另一示例中，间歇激活可指示(B)图10中示出的通过利用用于从主要内容提取声波ID的时间特性或考虑包括将被提取的声波ID的主要内容的广播时间来非周期性地激活并操作声音识别模块的状态。在另一示例中，间歇激活可指示(C)图11中示出的考虑按照先前周期尝试接收声波ID的结果来非周期性地激活并操作声波识别模块的状态。在另一示例中，间歇激活可指示(D)在图12至图14中示出的根据在移动接收器中发生的事件来非周期性地激活并操作声音识别模块的状态。图14示出在移动接收器中发生的事件如何被传送到声音识别模块。

(A)周期性激活

图9是示出声音识别模块根据预定周期被激活以在低功率下进行操作的示图。

图9的示图(a)示出声音识别模块在与输出主要内容的时间相同的时间被激活。图9的示图(b)示出在与主要内容的输出时间的后半段相应的时间或者在完成主要内容的时间激活声音识别模块。图9的示图(c)示出在主要内容的输出时间期间按照预定间隔间隔多次(例如，两次)激活声音识别模块。

(B)根据内容的广播时间和可提取声波ID的时间的激活。

图10是示出在主要内容被广播和播放的时间期间根据可提取声波ID的时间来激活声音识别模块的示图。

根据示例性实施例，当周期性地激活声音识别模块时，可考虑从通过内容播放装置100输出的主要内容提取的声波ID的时间位置以及可提取的声波ID的连续性确定激活周期。例如，可以假设具有总共4分钟的图案的内容被连续地输出，其中，在第一个2分钟可连续不断地并重复地提取内容中的声波ID，但是在第二个2分钟不能提取内容中的声波ID。在这个示例中，当声波识别模块识别出是否可以基于最多2分钟来提取声波ID时，声音识别模块可在短时间内从内容提取声波ID，并且还可间歇地尝试提取声波ID，使得可减小由声波ID的提取而引起的功耗。

根据另一示例性实施例，当可以预先知道从内容播放装置100输出的内容的广播日期和时间时，声音识别模块可在内容被广播的相应时间以较短的周期被激活。例如，假设声音识别模块的周期被设置为10分钟。在这种情况下，当TV的特定内容被安排在每周六的下午6点播放一个小时，并且从内容提取声波ID是可能的时，声音识别模块可从每周六的下午6点至7点按照5分钟的周期而不是按照10分钟的周期被操作。此外，已持续处于未激活的声音识别模块可仅在每周六的从下午6点至7点的一个小时内被激活。

将参照图10来描述上述两个示例性实施例。移动接收器200或移动接收器400可得知声波ID可被提取的时间，即，声波ID1、声波ID2和声波ID3的播放时间。可由移动接收器200或移动接收器400的声音识别模块通过服务器来接收关于时间的信息。当再现声波ID1的时间到来时，声音识别模块可被激活以提取声波ID1。在这种情况下，当声波识别模块提取声波ID1失败时，声波识别模块可确定移动接收器200或移动接收器400的用户既不观看也不收听主要内容1。当声波识别模块成功提取出声波ID1时，移动接收器200或移动接收器400可从服务器300接收与声波ID1相应的相关内容并显示相关内容。同样，声音识别模块根据声波ID2和声波ID3的播放时间被激活并提取声波ID，并且，当声波识别模块成功提取出声波ID时，移动接收器200或移动接收器400可从服务器300接收与声波ID相应的相关内容，并显示相关内容。以这种方式，移动接收器200或移动接收器400可仅在期望声音识别模块提取声波ID的时间非周期性地激活声音识别模块，使得移动接收器200或移动接收器400可在低功率下提取声波ID并显示相关内容。

(C)根据提取先前的声波ID的结果的激活

图11是示出当通过声波ID提取处理估计声波ID的存在具有预定概率或更大的概率时声音识别模块的激活周期的示图。

参照图11，移动接收器200或移动接收器400的声波识别模块可根据原始安排的周期被激活。在这种情况下，可确定可以提取声波ID(在下文中，被称为“确定声波ID的存在/不存在”)，但是声波识别模块可能未能成功提取。也就是说，例如，当在提取的声波ID与在相关内容DB中存在的特定声波ID之间的汉明距离小于或等于预定值时，声波识别模块可能无法成功提取声波ID，但是可估计存在声波ID。此外，声波ID可包括用于确定声波ID的存在/不存在以及确定提取失败的循环冗余检验(CRC)信息，因此可基于CRC信息来确定声波ID的存在/不存在。此外，为了确定声波ID的存在/不存在，声音识别模块可测量信噪比(SNR)。当SNR大于或等于预定阈值时，可估计出存在声波ID。假设按照上述方式声波ID被确定为存在，但是声波ID的提取失败。在这种情况下，为了不错过声波ID可被提取的时间，声音识别模块可取消被安排为在周期3之后执行的声音识别模块的激活(其中，所述周期3是原始安排的周期)，并可按照比周期3短的周期4被激活，并且在周期4之后的周期可根据原始周期被调整。通过这样做，可不错过可从主要内容提取声波ID的时区。因此，通过基于对提取声波ID的试验的结果来调整周期，提取到声波ID的可能性增加，并且还可以保持现有的激活的频率，使得移动接收器可以在低功率下进行操作。

(D)根据移动接收器的内部事件的激活

根据示例性实施例，声音识别模块可根据在移动接收器200或移动接收器400中发生的事件非周期性地被激活并被操作。下面将参照图12和图13对此进行描述。

图12是示出根据使用为移动接收器200或移动接收器400中的公共资源的麦克风201或401的另一应用被激活的事件来调整声音识别模块的周期的示图。

各种应用同时在移动接收器200或移动接收器400上运行。在这种情况下，为移动接收器200或移动接收器400的部件的麦克风201或401是被各种应用共享的资源，并可以以先到先服务(FCFS)方式(即，以这样的方式：另一应用不能使用麦克风201，直至首先使用麦克风201的应用被停止为止)被共享。在这种情况下，间歇地被激活的声音识别模块即使在应用尝试使用麦克风201或麦克风401时也可防止另一应用使用麦克风201或401。因此，当能够使用麦克风201或401的应用被检测到时或者当声音识别模块未能成功尝试使用麦克风201或麦克风401时，声音识别模块可推迟被激活，直至该应用完成为止，因此声音识别模块不会干扰使用麦克风201或401的另一应用的操作并还可减少激活的总次数，使得移动接收器可以在低功率下进行操作。

例如，包括在声音识别模块中的应用1可在如图12所示的时间t1被加载到移动接收器200的存储器209中或移动接收器400的存储器409中。声音识别模块被安排为根据预定周期5被激活，但是可被通知很可能使用麦克风201或401的应用2在时间t2之前被执行，或者可在在时间t2提取声波ID之前从操作系统获得关于当前执行的应用的信息，从而检测应用2(将参照图14来详细地描述在这种情况下用于检测或接收通知的方法)。当应用2被执行时，声音识别模块可取消被安排为在时间t2被执行的激活，并重新设置在时间t2之后的下一激活周期。重新设置的周期可以是从时间t1开始过去两倍于周期5长的时间的用于激活声音识别模块的周期。另外，如图12所示，重新设置的周期可以是被调整使得声音识别模块在声音识别模块被通知了应用2的结束的时间t3被激活的周期，并且可在应用2向声音识别模块通知的时间被更改。

在另一个示例中，当相机相应被激活时，应用可排他地使用声音识别模块的部分以制作录像。在这种情况下，声音识别模块可停止周期性的激活，使得相机应用可排他地使用声音识别模块的部分，并可在相机应用完成时被激活。

图13是示出根据使用为移动接收器200或移动接收器400中的公共资源的麦克风201或401的另一应用被激活的事件来调整声音识别模块的周期的示图。

假设移动接收器200或移动接收器400的声音识别模块在时间t4被激活并尝试提取声波ID。原始安排的周期是周期7并且声音识别模块可被安排为在时间t6被再次激活。然而，操作系统可通知声音识别模块使用麦克风201或401的应用4在时间t5被执行(将参照图14详细地描述用于检测或接收通知的方法)。当操作系统允许麦克风201或麦克风401被共享时，被通知应用4的执行的声音识别模块可共享由应用4使用的并且是提取声波ID所必需的硬件和软件资源，诸如麦克风201或401、ADC 203或403、处理器207或407等。例如，操作系统可同时地将通过ADC 203或ADC 403对从经由麦克风201或麦克风401进入的声音进行转换而得到的数字数据发送到声音识别模块以及应用4，使得与声音有关的数据可以在声音识别模块和应用4两者被接收。与声音识别模块被单独地激活并尝试提取声波ID的情况相比，通过以这种方式由操作系统进行支持，就移动接收器200或移动接收器400的总功耗而言，声音识别模块可在低功率下提取声波ID。此外，当以这种方式执行激活时，被安排为在时间t6执行的激活可被取消，使得声音识别模块可在低功率下进行操作。

例如，当电话应用被激活时，所述应用通常使用麦克风201或401以及ADC 203或403并激活处理器207或407。因此，当声音识别模块被同时激活时，可在低功率下提取声波ID。在另一个示例中，当视频播放器、DMB应用、或者编解码器221或编解码器421被操作时，移动接收器200或移动接收器400可被认为作为内容播放装置来进行服务，因此声音识别模块可被激活以提供相关内容。

在图12和图13中，声音识别模块已经被示出为能够估计特定应用是否将使用麦克风201或麦克风401。声音识别模块可通过读取关于每个应用从操作系统接收的对于使用硬件的许可的信息来进行估计。声音识别模块可向操作系统请求正在被执行的应用的列表，并获得所述列表。

在图12和图13中，声音识别模块已经被示出为根据移动接收器中特定应用被执行或被结束的事件被非周期性地操作。然而，所述事件不限于上述类型的事件。例如，图12和图13中描述的事件除了可以是特定应用被执行或被结束的事件之外，还可以是应用从后台模式切换到前台模式或者从前台模式切换到后台模式的事件。在另一示例中，图12的事件可以是移动接收器200或400的内部元件中的一个或更多个元件而不是特定应用被激活的事件，并且图13的事件可以是所述元件中的一个或更多个元件被禁用的事件。具体地，所述事件可以是显示单元的显示器被激活或被禁用的事件。在另一示例中，所述事件可以是移动接收器200或移动接收器400从推送服务器接收推送消息的事件。

图14是示出移动接收器200或移动接收器400被通知事件以便如图12和图13所示在低功率下操作声音识别模块的方法的示图。

图14A示出用于当操作系统通知正在被执行的应用特定事件发生时接收通知的方法。图14B示出特定应用通知与声音识别模块相应的应用事件发生的方法。图14C示出用于当在低功率下从服务器接收消息的推送服务器发送消息时声音识别模块接收通知的方法。

将通过示例的方式来描述图14A的情况。

移动接收器200或移动接收器400可包括接收电话呼叫的功能。在这种情况下，当电话呼叫呼入时，操作系统可操作应用以接收电话呼叫，并将电话呼叫接收事件传送到各个应用的筛选器，使得其它应用对呼叫事件进行响应。例如，应用5可以是用于处理电话呼叫接收的应用，应用6可以是正在播放背景音乐的应用。当电话呼叫呼入时，操作系统将呼叫事件传送到各个应用的筛选器。由于应用6在电话呼叫呼入时应停止播放音乐，故应用6的筛选器可被设置为通过呼叫接收事件。由于应用5的筛选器在电话呼叫呼入时应该准备用户接口并使得能够接收电话呼叫，故应用5可被设置为通过呼叫接收事件。假设操作系统可以同时地将通过麦克风201或麦克风401输入的以及通过ADC 203或ADC 403输入的数字数据传送到各种应用。在这种情况下，声音识别模块可接收声音数字数据并提取声波ID。因此，与声音识别模块的应用相应的应用可设置它们自己的筛选器以通过电话呼叫接收事件。简言之，从通过操作系统发送的事件之中在低功率下进行操作所必需的事件被设置为通过筛选器，使得声音识别模块可以在低功率下提取声波ID。

将通过示例的方式来解释图14B的情况。

当图12的应用2和图13的应用4通知声音识别模块应用的激活和结束时，声音识别模块可以在低功率下进行操作。假设图14B的应用7是图12的应用2或图13的应用4。在这种情况下，应用7可将传送到其它应用的事件传送到操作系统。所述事件可以是图12的应用2的激活事件或图13的应用4的结束事件。相应的事件可被传送到操作系统并且操作系统可将所述事件传送到所有应用的筛选器。在这种情况下，在声音识别模块中包括的应用的筛选器可被设置为通过激活事件或结束事件。按照这种方式，可将特定应用的激活或结束通知给声音识别模块。在另一示例中，可将将被使用的硬件或软件的使用或使用结束作为事件通知给声音识别模块，而不是将应用的激活或结束作为事件通知给声音识别模块。

将使用另一示例来详细地描述图14B的情况。

可预先得知图10的主要内容1和主要内容2的广播或播放安排。在这种情况下，图14B的应用7可以是与声波ID提取应用相同的应用。声波ID提取应用可从服务器接收主要内容1和主要内容2的广播和播放安排，并将相应时间登记为操作系统的警报。当相应时间到达时，登记的警报可将登记的事件发生到应用的筛选器。由于应用5运行而不考虑警报事件如何，故应用5的筛选器不将该事件传送到应用5。然而，在声音识别模块中包括的应用的筛选器(图14B的声波ID提取单元的筛选器)可接收警报事件并开始提取声波ID。按照相同的方式，主要内容1和主要内容2的声波ID结束的时间被登记为操作系统的警报，并且在声音识别模块中包括的应用可结束提取声波ID。

将通过示例的方式描述图14C的情况。

在图14C中，移动接收器200或移动接收器400可从推送服务器接收消息并通过操作系统将消息传送到应用。假设接收推送消息的应用是应用8。具体地，假设应用8是MIM服务。在这种情况下，移动接收器200或移动接收器400可从服务器接收推送消息并将推送消息传送到操作系统，并且操作系统可将推送消息发送到应用的筛选器。应用8的筛选器可被设置为通过推送消息以执行MIM功能。应用9被操作而不考虑相应的推送消息如何，并且应用9的筛选器可被设置为不通过推送消息。移动接收器200或移动接收器400可在激活用于接收推送消息的仅最小硬件和软件的中间接收推送消息，以便在降低功耗的同时进行操作。在这种情况下，从操作系统接收推送消息的MIM服务可执行适合于推送消息的操作。声音识别模块的应用的筛选器可被设置为通过推送消息。在这种情况下，声音识别模块可被激活以在移动接收器200或移动接收器400的各种元件(诸如AP、显示器等)被激活时处理推送消息，并且可使用应用8共享移动接收器200或移动接收器400的元件之中的由声音识别模块所需的硬件和软件。通过共享硬件和软件，声音识别模块可在就移动接收器200或400而言的低功率下进行操作。

■用于基于服务器的相关内容DB来提供相关内容的方法

图4是示出根据本公开的示例性实施例的用于提供相关内容的方法的示图。

在根据示例性实施例的用于提供相关内容的方法被应用于图1的系统的假设下，将解释图4的实施例。

根据示例性实施例的用于提供相关内容的方法可包括以下步骤：由内容播放装置100输出主要内容(S101)；激活移动接收器的声音识别模块(S103)；提取声波ID(S105)；由服务器300来接收在步骤S105中提取的声波ID，并且搜索并选择与声波ID相应的相关内容(S107)；由移动接收器200显示在步骤S107中选择的相关内容(S109)。

在步骤103中，声音识别模块可根据安排被激活或者可当预定事件发生时被激活。所述安排可被制定以周期性地和/或非周期性地激活声音识别模块。例如，所述安排可参照主要内容安排(指示主要内容被播放的时间的安排)或声波ID安排(指示声波ID可被提取的时间的安排)来制定，但是这仅是示例。所述安排可不必参照主要内容安排或声波ID安排来制定。

根据示例性实施例，安排可被制定以周期性地激活声音识别模块或者可被制定以非周期性地激活声音识别模块。在参照图9至图11描述的实施例中已经示出了根据安排激活的声音识别模块的示例，但是容易理解本发明不限于这些实施例。

在参照图12至图14描述的实施例中已经示出了根据事件激活的声音识别模块的示例，但是容易理解本发明不限于这些实施例。

当相关内容提供应用作为声音识别模块的一部分被使用时，在移动接收器200的存储器209中运行的相关内容提供应用可将提取的声波ID发送到服务器300。服务器300可搜索与接收的声波ID相应的相关内容(S107)。此后，服务器300将选择的相关内容发送到移动接收器200，并且移动接收器200向用户显示相关内容(S109)。

■用于基于移动接收器的相关内容DB来提供相关内容的方法

图5是示出根据本公开的示例性实施例的用于提供相关内容的方法的示图。

在根据示例性实施例的用于提供相关内容的方法被应用于图1的系统的假设下，将基于与图3的实施例的差异来描述图5的实施例。

根据示例性实施例的用于提供相关内容的方法可包括以下步骤：由内容播放装置100输出主要内容(S201)；激活移动接收器的声音识别模块(S203)；提取声波ID(S207)；由移动接收器搜索并选择与在步骤S205中提取的声波ID相应的相关内容(S209)；由移动接收器200显示在步骤S209中选择的相关内容(S211)。

根据示例性实施例的用于提供相关内容的方法还可包括以下步骤：由服务器将用于对相关内容DB进行更新的数据发送到移动接收器(S205)，并且移动接收器可从服务器接收用于更新的数据并更新在移动接收器中存储的相关内容DB。

例如，在移动接收器的存储器209中操作的相关内容提供应用可将从服务器300接收到的相关内容DB存储在存储装置211中或更新预先存储的DB。例如，在存储器209中进行操作的相关内容提供应用可搜索并选择与声波ID相应的相关内容DB(S209)，并通过显示单元213显示选择的相关内容(S211)。

激活移动接收器的声音识别模块的步骤(S203)可以是以与上面参照图4描述的激活步骤相同的方式来根据安排进行激活或当预定事件发生时进行激活。

和图4的实施例不同，在图5的实施例中，移动接收器200直接选择与声波ID相应的相关内容。为了实现这一点，服务器300可将相关内容DB的部分或全部发送到移动接收器200，使得在移动接收器200中预先存储的相关内容的部分或全部可以被更新。

由服务器300发送相关内容DB的时间不限于在图5上显示的时间。也就是说，当服务器300发送相关内容DB以更新在移动接收器200中预先存储的相关内容DB时，由服务器300发送相关内容DB的时间不限于特定时间。

■用于移动接收器作为内容播放装置进行服务的方法

图6是示出根据本发明的示例性实施例的用于提供相关内容的方法的示图。

假设：在图1的系统中，移动接收器200而不是内容播放装置300输出主要内容并且移动接收器200识别声音。在根据示例性实施例的用于提供内容的方法被应用于图1的系统的假设下，将基于与图4的实施例的差异来描述图6的实施例。

根据示例性实施例的用于提供相关内容的方法可包括以下步骤：由移动接收器200输出主要内容(S301)；激活移动接收器的声音识别模块(S305)；提取声波ID(S307)；由服务器搜索并选择与在步骤S307中提取的声波ID相应的相关内容(S309)；由移动接收器显示在步骤S309中选择的相关内容(S311)。

激活移动接收器的声音识别模块的步骤(S203)可以是以与上面参照图4描述的激活步骤相同的方式来根据安排进行激活或当预定事件发生时进行激活。

例如，可以以下面的方法来实现步骤S307。

第一种方法是促使麦克风201检测通过扬声器(未示出)输出的声音，并促使声音识别模块从检测到的声音提取ID，其中，扬声器是移动接收器200的显示单元213的一部分。

第二种方法是促使声音识别模块在数字数据通过扬声器(未示出)被输出之前从操作系统接收数字数据，并提取声波ID，其中，扬声器是移动接收器200的显示单元213的一部分。

第三种方法是促使与移动接收器200连接的头戴式耳机(未示出)的麦克风201的输入端与头戴式耳机(未示出)的小声音输出端相连接，并促使声音识别模块从发送到头戴式耳机(未示出)的小扬声器的电信号提取ID。

声音识别模块将在步骤S307中提取的声波ID发送到服务器300(S307)。服务器300可参照相关内容DB(其中，相关内容DB被存储在服务器300中或者被存储在单独的存储装置(未示出)中)搜索并选择与声波ID相应的相关内容(S309)。服务器300将选择的结果发送到移动接收器200，并且移动接收器200显示选择的结果。

图7是示出根据本发明的示例性实施例的用于提供相关内容的方法的示图。

假设：在图1的系统中，移动接收器200而不是内容播放装置100输出主要内容并且移动接收器200识别声音。在根据示例性实施例的用于提供相关内容的方法被应用于图1的系统的假设下，将基于与图4的实施例的差异来描述图7的实施例。

根据示例性实施例的用于提供相关内容的方法可包括以下步骤：由内容播放装置100输出主要内容(S401)；激活移动接收器的声音识别模块(S403)；提取声波ID(S407)；由移动接收器搜索并选择与在步骤S407中提取的声波ID相应的相关内容(S409)；由移动接收器200显示在步骤S409中选择的相关内容(S411)。

根据示例性实施例的用于提供相关内容的方法还可包括以下步骤：由服务器将用于对相关内容DB进行更新的数据发送到移动接收器(S405)，并且移动接收器可从服务器接收用于更新的数据并更新在移动接收器中存储的相关内容DB。

可以以与上述步骤S307相同的方式来实现上述步骤S407。

激活移动接收器的声音识别模块的步骤(S403)可以是以与上面参照图4描述的激活步骤相同的方式来根据安排进行激活或当预定事件发生时进行激活。

和图4的实施例不同，在图7的实施例中，移动接收器200直接选择与声波ID相应的相关内容。为了实现这一点，服务器300可将相关内容DB的部分或全部发送到移动接收器200，使得在移动接收器200中预先存储的相关内容的部分或全部可以被更新。

由服务器300发送相关内容DB的时间不限于在图7上显示的时间。也就是说，当服务器300发送相关内容DB以更新在移动接收器200中预先存储的相关内容DB时，由服务器300发送的相关内容DB的时间不限于特定时间。

■可从内容提取的声波ID的位置

图8是示出主要内容的示图。

图8的示图(a)示出主要内容的示例，其中，每个主要内容由图像和声音的组合形成，并且在相应的主要内容时间从主要内容提取声波ID。

例如，在如图8的示图(a)所示的主要内容在图4的实施例中被输出的假设下，将描述主要内容的操作。

内容播放装置100可随着时间输出主要内容(主要内容1、主要内容2和主要内容3)，并且可从这些内容中的每个内容提取声波ID。当输出主要内容1时可从声音提取声波ID 1。当输出主要内容2时可从声音提取声波ID 2。当输出主要内容3时可从声音提取声波ID 3。

移动接收器200可按顺序提取各个声波ID并将这些声波ID发送到服务器300，并且从服务器300接收与声波ID相应的相关内容并显示相关内容。

移动接收器200可根据安排或当预定事件发生时(即，间歇地)提取声波ID。这与上述示例性实施例相同，因此省略对其的详细描述。

图8的示图(b)示出通过内容播放装置输出的主要内容的其它示例，其中，每个主要内容由图像和声音的组合形成，并且可从声音提取声波ID。

图8的示图(b)不同于图8的示图(a)，其中，在图8的示图(b)中存在从其提取两个不同声波ID的内容。

例如，在如图8的示图(b)所示的主要内容在图6的实施例中被输出的假设下，将描述主要内容的操作。

移动接收器200可随着时间输出主要内容(主要内容4、主要内容5和主要内容6)，并从主要内容提取声波ID。当输出主要内容4时可从声音提取声波ID 1。当输出主要内容5时可从声音提取声波ID 2和声波ID 3。当输出主要内容6时可从声音提取声波ID 4。

移动接收器200可按顺序提取声波ID并将这些ID发送到服务器300，并且从服务器300接收与声波ID相应的相关内容并显示相关内容。

■用于在不干扰沉浸的情况下输出相关内容的方法

根据本发明的示例性实施例，通过移动接收器显示相关内容的时间可以是观众或听众不必沉浸于主要内容的时间，例如，显示广告或结束标题的时间。例如，当主要内容是戏剧并且相关内容是关于在戏剧中出现的间接广告产品的信息时，即使当从其获得相关内容的声波ID位于戏剧的中间时，移动接收器也可推迟在移动接收器上显示相关内容，直至戏剧结束或结束标题被显示为止。

提供了一种计算机可读记录介质，其中，在计算机可读记录介质中记录有用于执行上面参照图4至图7描述的方法的步骤的程序。

■用于提供相关内容的方法

图15是示出根据本发明的示例性实施例的用于提供相关内容的方法的示图。

在根据本发明的示例性实施例的用于提供相关内容的方法被应用于图1的系统的假设下，将描述根据本发明的示例性实施例的用于提供相关内容的方法。

参照图15，根据本发明的示例性实施例的用于提供相关内容的方法可包括以下步骤：由移动接收器200检测从再现内容的内容播放装置输出的声音(S501)；由移动接收器200将检测的声音转换成数字数据(S503)；由移动接收器200从数字数据提取声波ID(S505)；搜索并选择与提取的声波ID相应的相关内容(S507)；由接收器200将选择的相关内容显示为图像和/或语音(S509)。

另外，根据本发明的示例性实施例的用于提供相关内容的方法还可包括确定在步骤S501中检测到的声音是否具有大于或等于预定阈值的强度的步骤，并且可在步骤S501与步骤S505之间执行确定步骤。

例如，可在步骤S501与步骤S503之间执行确定步骤。在这种情况下，可在确定在步骤S501中检测到的声音具有大于或等于预定阈值的强度时执行将在步骤S501中检测到的声音转换成数字数据的步骤(S503)。

另外，在根据示例性实施例的用于提供相关内容的方法中，可由移动终端200或服务器300执行选择相关内容的步骤(S507)。当搜索并选择相关内容的步骤(S507)被实现为由服务器300执行时，根据本发明的示例性实施例的用于提供相关内容的方法还可包括以下步骤：由移动接收器200将在步骤S505中提取的声波ID发送到服务器300；将由服务器300选择的相关内容发送到移动接收器200。这里，可在步骤S505之后执行将声波ID发送到服务器300的步骤，并且可在步骤S507与步骤S509之间执行将由服务器300选择的相关内容发送到移动接收器200的步骤。

另外，根据示例性实施例的用于提供相关内容的方法还可包括以下步骤：确定在步骤S501中检测到的声音是否具有大于或等于预定阈值的强度(为了解释的目的被称为步骤S502)；激活用于执行步骤S501的元件、用于执行步骤S502的元件、用于执行步骤S503的元件、用于执行步骤S505的元件和用于执行步骤S507的元件中的至少一个元件(为了解释的目的被称为步骤S504)。

例如，激活步骤(S504)可以是激活用于执行步骤S501的元件、用于执行步骤S502的元件和用于执行步骤S503的元件的步骤。在这个示例中，用于执行步骤S501的元件、用于执行步骤S502的元件和用于执行步骤S503的元件可以是在处于未激活状态之后被激活的元件，并且用于执行步骤S505的元件和用于执行步骤S507的元件已经被激活。

例如，激活步骤(S504)可包括以下步骤：激活用于执行步骤S501的元件和用于执行步骤S502的元件；并且，当执行步骤S502的结果成功时，激活用于执行步骤S503的元件和用于执行步骤S507的元件。

例如，激活步骤(S504)可包括以下步骤：激活用于执行步骤S501的元件；当作为执行步骤S501的结果检测到声音时(例如，当属于预定频带的声音被检测到时)，激活用于执行步骤S502的元件和用于执行步骤S503的元件。这里，用于执行步骤S507的元件和用于执行步骤S509的元件可以已经被激活，可以当步骤S503成功时被激活，或者可以当步骤S503被激活时被激活。

例如，激活步骤(S504)可包括以下步骤：当作为执行步骤S501的结果而声音被检测到时，激活用于执行步骤S502的元件；并且，当作为执行步骤S502的结果而确定在步骤S501中检测到的声音具有大于或等于预定阈值的强度时，激活用于执行步骤S503的元件和用于执行步骤S505的元件。这里，当作为执行步骤S505的结果而声波ID被提取到时，用于激活步骤S507的元件和用于执行步骤S509的元件可同时地且依次地被激活。

例如，激活步骤(S504)可根据安排或当预定事件发生时被执行。所述安排在参照图4描述的实施例中已经详细地被描述。例如，可如上面参照图9至图11描述的实施例中所描述的根据安排来执行激活步骤(S504)，或者可如上面参照图12至图14描述的实施例中所描述的当预定事件发生时执行激活步骤(S504)。

例如，激活步骤(S504)可根据参照主要内容安排制定的安排被周期性地和/或非周期性地执行。例如，激活步骤(S504)可在播放主要内容的时间期间按照预定周期被执行。可选地，激活步骤(S504)可在主要内容被播放的时间期间按照第一预定周期被执行，并且可在主要内容未被播放的时间期间按照比第一周期长的第二周期被执行。

例如，激活步骤(S504)可根据参照声波ID安排制定的安排被周期性地和/或非周期性地执行。例如，激活步骤(S504)可在声波ID可被提取的时间执行。

例如，激活步骤(S504)可按照第三预定周期被执行，并且当声波ID的提取失败，但是确定存在声波ID时，激活步骤(S504)可按照比第三周期短的第四周期被执行。此后，当ID被提取出时，激活步骤(S504)可按照第三周期被执行。

例如，激活步骤(S504)可按照第五预定周期被执行，并且当下面的方程式被满足作为执行步骤S502的结果时，激活步骤(S504)可按照比第五周期短的第六周期被执行：

阈值>检测到的声音的强度>(α×阈值)(这里，α小于1)。

也就是说，根据示例性实施例，当检测到的声音的强度小于阈值但是接近阈值时，可确定很可能存在具有声波ID的声音，并且，当满足上述方程式时，激活步骤可按照比第五周期短的第六周期被执行。

例如，激活步骤(S504)可当预定事件发生时被执行。这里，所述事件可以是特定应用被执行的事件、移动接收器200的显示单元被激活或禁用的事件、或者移动接收器200从外部接收推送消息的事件。

这里，所述特定应用可以是将麦克风用于自己使用的应用，但这仅是示例并且所述特定应用可相应于其它应用。

例如，激活步骤(S504)可按照第七预定周期被执行，并且当预定事件发生时可不被执行。另外，当预定事件结束时，激活步骤(S504)可根据预定周期(例如，第七周期)再被执行。

例如，激活步骤(S504)可包括以下步骤：当预定事件发生时，将事件的发生传送到移动接收器的操作系统(OS)(未示出)；由OS将事件的发生传送到在移动接收器200中进行操作的应用中设置的筛选器；由筛选器根据预定设置将事件的发生传送到与筛选器相应的应用或者限制将事件的发生传送到与筛选器相应的应用。在参照图14描述的实施例中已经详细地描述了此操作。

在上面参照图15所述的用于提供相关内容的方法中，用于执行检测声音的步骤的元件可以是麦克风，用于执行将声音转换成数字数据的步骤的元件可以是ADC，用于执行提取声波ID的步骤的元件可以是声波ID提取单元或相关内容提供应用，用于执行搜索并选择相关内容的步骤的元件可以是移动接收器(例如，相关内容提供应用)或服务器，并且用于执行将相关内容显示为图像和/或语音的步骤的元件可以是显示单元。

在上面参照图15所述的用于提供相关内容的方法中，移动接收器检测从内容播放装置输出的声音。然而，这仅是示例，并且如图6和图7的实施例中，移动接收器可被配置为检测从移动接收器输出的声音。

当移动接收器被配置为接收从移动接收器输出的声音时，用于提供相关内容的方法可包括以下步骤：由移动接收器检测从移动接收器输出的声音；由移动接收器将检测到的声音转换成数字数据；由移动接收器从数字数据提取声波ID；选择与提取的声波ID相应的相关内容；由移动接收器将选择的相关内容显示为图像和/或语音。另外，用于提供相关内容的方法还可包括以下步骤：确定检测到的声音是否具有大于或等于预定阈值的强度；激活以下元件中的至少一个元件：用于执行由移动接收器将检测到的声音转换成数字数据的步骤的元件、用于执行由移动接收器从数字数据提取声波ID的步骤的元件、用于执行选择与提取的声波ID相应的相关内容的步骤的元件、用于执行由移动接收器将选择的相关内容显示为图像和/或语音的步骤的元件。在上述实施例中已经详细地描述了激活步骤。

■在其中记录有用于执行用于提供相关内容的方法的程序的计算机可读介质

根据本发明的上述示例性实施例的用于提供相关内容的方法可通过使用在设置有存储器、处理器、麦克风和ADC的移动接收器中执行的程序(为了描述的目的，被称为“用于执行用于提供相关内容的方法的程序”)来实现。也就是说，设置有存储器、处理器、麦克风和ADC的移动接收器具有像计算机一样的功能，并且用于提供相关内容的方法可以以在移动接收器中执行的程序的形式来实现。

用于执行根据本发明的实施例的用于提供相关内容的方法的程序可包括相关内容提供应用。

根据示例性实施例，用于执行用于提供相关内容的方法的程序可在处理器的控制下被加载到存储器中并被执行。

用于执行用于提供相关内容的方法的程序可执行在上面参照图15所述的实施例中描述的方法之一。

例如，在移动接收器中，用于执行用于提供相关内容的方法的程序可执行在参照图15描述的步骤之中的可通过使用程序来实现的步骤。

例如，用于执行用于提供相关内容的方法的程序可在移动接收器中执行步骤S502、步骤S503、步骤S504、步骤S505、步骤S507和/或步骤S509。也就是说，步骤S502、步骤S503、步骤S504、步骤S505、步骤S507和步骤S509中的所有步骤可通过使用程序来实现，或者步骤S502、步骤S503、步骤S504、步骤S505、步骤S507和步骤S509中的一些步骤可通过使用硬件来实现，并且其它步骤可通过使用程序来实现。在参照图15所述的实施例中已经详细地描述了步骤S502、步骤S503、步骤S504、步骤S505、步骤S507和步骤S509。

虽然已经参照本发明的特定优选的实施例和附图描述了本发明，但是本发明不限于上述实施例，并且本领域的技术人员可基于在这里提供的描述来做出各种变化或修改。

本公开的范围应不被限于上述示例性实施例且不由上述示例性实施例限定，并且应不仅通过所附权利要求，而且通过权利要求的范围的等同物来限定。