多媒体文件的处理方法、客户端及互动系统的制作方法
【专利摘要】本发明提供了一种多媒体文件的处理方法、客户端及互动系统。其中，该互动系统包括：应用于第一终端的第一客户端配置为：获取当前环境中的多媒体信息，其中，多媒体信息包括图片信息和/或音频信息；提取多媒体信息中的特征数据，其中，特征数据包括声音特征和/或人脸特征；将特征数据与数据库预存储的情感模型进行匹配，其中，情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；根据匹配结果执行相应处理操作，并发送处理结果至第二客户端；应用于第二终端的第二客户端配置为，接收处理结果，以供第二客户端的用户使用。依据本发明实施例能够根据确定第一客户端用户的情感状态执行相应处理操作。
【专利说明】多媒体文件的处理方法、客户端及互动系统
【技术领域】
[0001]本发明涉及文件处理，特别是涉及一种多媒体文件的处理方法、客户端及互动系统。
【背景技术】
[0002]随着网络技术的发展，人们越来越习惯通过网络进行互动。但是当家长们利用现有技术中的互动系统与儿童进行交流，或者对儿童所处环境进行监测时，需要家长持续将注意力集中到儿童。即现有技术中无法自动根据儿童当前的反应信息做出相应处理。因此，需要家长花费大量精力关注儿童所处的环境，以及儿童的反应信息等信息，以便能够及时了解儿童的情绪等反应信息，进而避免儿童处于危险情况和/或及时记录儿童的精彩瞬间，以供后续回忆等使用。反之，若家长无法花费大量精力关注儿童所处环境及其实时的反应信息，则可能导致儿童处于危险情况(如遭遇坏人或者发生触电危险等)，对儿童身心健康的发展造成不可估计的影响。
【发明内容】
[0003]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的多媒体文件的处理方法和相应的客户端及互动系统。
[0004]依据本发明的一个方面，提供了一种互动系统，包括应用于第一终端的第一客户端及应用于第二终端的第二客户端，其特征在于，
[0005]所述第一客户端配置为:获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；根据匹配结果执行相应处理操作，并发送处理结果至所述第二客户端；
[0006]所述第二客户端配置为，接收所述处理结果，以供所述第二客户端的用户使用。
[0007]进一步地，所述情感类型包括以下至少之一:快乐；伤心；恐惧。
[0008]进一步地，所述第一客户端还配置为:若所述多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，所述记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频；若所述多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行所述记录操作，并发送所述记录操作的结果至所述第二客户端；若所述多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至所述第二客户端，以提示所述第二客户端的用户检测到包含恐惧的音频信息。
[0009]进一步地，所述第二客户端还配置为:接收所述恐惧捕捉信息，并发送通信请求至所述第一客户端，其中，所述通信请求包括语音信息和/或实时通话请求。
[0010]进一步地，所述第一客户端还配置为:接收所述第一客户端的用户的通信指令，并根据所述通信指令发送所述通信请求至所述第二客户端。
[0011]进一步地，所述第一二客户端还配置为:接收所述第二客户端的用户的通信指令，并根据所述通信指令发送所述通信请求至所述第一客户端。
[0012]进一步地，所述第二客户端还配置为:接收所述第二客户端的用户的操作指令，并根据所述操作指令执行对应操作。
[0013]进一步地，所述操作指令包括以下至少之一:获取所述第一终端状态信息的指令，其中，所述第一终端状态信息至少包括以下之一:所述第一终端的位置信息，所述第一终端的使用时间信息，所述第一终端的电量信息，所述第一终端的存储空间信息，所述第一终端的网络流量使用信息；获取所述第一客户端的用户的视频信息指令；获取所述第一客户端的用户的音频信息指令；获取所述第一客户端的用户的图片信息指令。
[0014]进一步地，所述数据库包括所述第一客户端本地数据库和/或云服务器数据库。
[0015]依据本发明的另一方面，还提供了一种客户端，应用于第一终端，包括:多媒体信息获取模块，配置为获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；特征数据提取模块，配置为提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；情感模型匹配模块，配置为将将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；操作处理模块，配置为根据匹配结果执行相应处理操作，并发送处理结果至第二客户端。
[0016]进一步地，所述情感类型包括以下至少之一:快乐；伤心；恐惧。
[0017]进一步地，所述操作处理模块还配置为:若所述多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，所述记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频；若所述多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行所述记录操作，并发送所述记录操作的结果至所述第二客户端；若所述多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至所述第二客户端，以提示所述第二客户端的用户检测到包含恐惧的音频信息。
[0018]进一步地，所述客户端还包括:接收模块，配置为接收所述本客户端的用户的通信指令；所述操作处理模块，还配置为根据所述通信指令发送所述通信请求至所述第二客户端。
[0019]依据本发明的另一方面，还提供了一种客户端，应用于第二终端，包括:接收模块，配置为接收来自第一客户端的处理结果，其中，所述第一客户端应用于第一终端，并且所述第一客户端的处理结果按如下步骤得到:获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；根据匹配结果执行相应处理操作，并发送处理结果至本客户端。
[0020]进一步地，所述客户端还包括:所述接收模块，还配置为接收所述恐惧捕捉信息；发送模块，配置为发送通信请求至所述第一客户端，其中，所述通信请求包括语音信息和/或实时通话请求。
[0021]进一步地，所述客户端还包括:所述接收模块，还配置为接收所述第二客户端的用户的通信指令；所述发送模块，还配置为根据所述通信指令发送所述通信请求至所述第一客户端。
[0022]进一步地，所述客户端还包括:所述接收模块，还配置为接收本客户端的用户的操作指令；处理模块，配置为根据所述操作指令执行对应操作。
[0023]进一步地，所述操作指令包括以下至少之一:获取所述第一终端状态信息的指令，其中，所述第一终端状态信息至少包括以下之一:所述第一终端的位置信息，所述第一终端的使用时间信息，所述第一终端的电量信息，所述第一终端的存储空间信息，所述第一终端的网络流量使用信息；获取所述第一客户端的用户的视频信息指令；获取所述第一客户端的用户的音频信息指令；获取所述第一客户端的用户的图片信息指令。
[0024]依据本发明实施例的再一方面，还提供了一种多媒体文件的处理方法，应用于上述的互动系统，包括:获取第一客户端当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；根据匹配结果执行相应处理操作，并发送处理结果至所述第二客户端，由所述第二客户端接收并使用所述处理结果。
[0025]进一步地，所述情感类型包括以下至少之一:快乐；伤心；恐惧。
[0026]进一步地，根据匹配结果执行相应处理操作，并发送处理结果至所述第二客户端，包括:若所述多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，所述记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频；若所述多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行所述记录操作，并发送所述记录操作的结果至所述第二客户端；若所述多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至所述第二客户端，以提示所述第二客户端的用户检测到包含恐惧的音频信息。
[0027]依据本发明实施例提供的互动系统，应用于第一终端的第一客户端能够获取当前环境中的多媒体信息，提取多媒体信息中的特征数据，并将该特征数据与数据库中预存储的情感模型进行匹配。之后，根据匹配结果执行相应处理操作，并发送处理结果至第二客户端，并由互动系统中的第二客户端接收该处理结果，以供第二客户端的用户使用。因此，依据本发明实施例提供的互动系统能够通过获取当前环境中的多媒体信息，并对多媒体信息中的特征数据与预存储的情感模型相匹配，得到当前环境中第一客户端用户的反应信息(即匹配结果)，并根据该反应信息自动执行相应处理操作，避免由于第二客户端的用户未能够及时发现第一客户端用户的情感状态导致的错过。例如，当第一客户端的用户为儿童，第二客户端的用户为家长，则依据本发明实施例的互动系统，能够通过提取当前环境中的多媒体信息中的特征数据，将该特征数据与数据库预存储的情感模型相匹配，得到匹配结果(即儿童对当前环境的反应信息)。之后，第一客户端能够根据儿童的反应信息执行相应处理操作，如当儿童的反应信息为快乐时，能够记录儿童的图片或者视频或者语音，以供后续能够重温儿童的成长过程，再例如当儿童的反应信息为恐惧时，由于通常情况下当儿童的情感状态为恐惧时，儿童可能处于危险的情况下，如被人威胁等，因此，此时可以向第二客户端发送信息，以提示家长儿童可能处于危险的情况，以更好地保护儿童的安全。
[0028]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
[0029]根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
【专利附图】
【附图说明】
[0030]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0031]图1示出了根据本发明一个实施例的互动系统的结构示意图；
[0032]图2示出了根据本发明一个优选实施例的第一客户端获取到的多媒体信息的示意图；
[0033]图3示出了根据本发明一个优选实施例的提取到的人脸特征的示意图；
[0034]图4示出了根据本发明一个优选实施例的数据库中预存储的情感模型的示意图；
[0035]图5示出了根据本发明一个优选实施例的在第一客户端本地保存记录操作结果的界面示意图；
[0036]图6示出了根据本发明一个优选实施例的儿童与家长通过第一客户端以及第二客户端进行语音信息交流的界面示意图；
[0037]图7示出了根据本发明一个优选实施例的在家长手机侧展示儿童位置信息的界面示意图；
[0038]图8示出了根据本发明一个优选实施例的在家长手机侧展示儿童玩具终端状态信息的界面示意图；
[0039]图9示出了根据本发明一个实施例的第一客户端的结构示意图；
[0040]图10示出了根据本发明一个优选实施例的第一客户端的结构示意图；
[0041]图11示出了根据本发明一个实施例的第二客户端的结构示意图；
[0042]图12示出了根据本发明一个优选实施例的第二客户端的结构示意图；以及
[0043]图13示出了根据本发明一个实施例的多媒体文件的处理方法的处理流程图。
【具体实施方式】
[0044]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0045]为解决上述技术问题，本发明实施例提供了一种互动系统。图1示出了根据本发明一个实施例的互动系统的结构示意图。参见图1，本发明实施例的互动系统至少包括第一客户端110以及第二客户端120。
[0046]现对本发明实施例的互动系统的各器件或组成的功能以及各部分间的连接关系进行介绍:
[0047]第一客户端110，配置为获取当前环境中的多媒体信息，其中，多媒体信息包括图片信息和/或音频信息；提取多媒体信息中的特征数据，其中，特征数据包括声音特征和/或人脸特征；将特征数据与数据库预存储的情感模型进行匹配，其中，情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；根据匹配结果执行相应处理操作，并发送处理结果至第二客户端；
[0048]第二客户端120，与第一客户端110相耦合，配置为接收处理结果，以供第二客户端的用户使用。
[0049]依据本发明实施例提供的互动系统，应用于第一终端的第一客户端110能够获取当前环境中的多媒体信息，提取多媒体信息中的特征数据，并将该特征数据与数据库中预存储的情感模型进行匹配。之后，根据匹配结果执行相应处理操作，并发送处理结果至第二客户端120，并由互动系统中的第二客户端120接收该处理结果，以供第二客户端120的用户使用。因此，依据本发明实施例提供的互动系统能够通过获取当前环境中的多媒体信息，并对多媒体信息中的特征数据与预存储的情感模型相匹配，得到当前环境中第一客户端110用户的反应信息(即匹配结果)，并根据该反应信息自动执行相应处理操作，避免由于第二客户端120的用户未能够及时发现第一客户端110的用户的反应信息导致的错过。例如，当第一客户端110的用户为儿童，第二客户端120的用户为家长，则依据本发明实施例的互动系统，能够通过提取当前环境中的多媒体信息中的特征数据，将该特征数据与数据库预存储的情感模型相匹配，得到匹配结果(即儿童对当前环境的反应信息)。之后，第一客户端110能够根据儿童的反应信息执行相应处理操作，如当儿童的反应信息为快乐时，能够记录儿童的图片或者视频或者语音，以供后续能够重温儿童的成长过程，再例如当儿童的反应信息为恐惧时，由于通常情况下当儿童的情感状态为恐惧时，儿童可能处于危险的情况下，如被人威胁等，因此，此时可以向第二客户端120发送信息，以提示家长儿童可能处于危险的情况，以更好地保护儿童的安全。
[0050]上文提及，本发明实施例中，第一客户端110将当前环境中的多媒体信息中的特征数据与数据库预存储的情感模型进行匹配，并根据匹配结果执行相应处理操作，例如，若匹配结果为多媒体信息中的特征数据与数据库预存储的快乐或者伤心的情感模型相匹配，则第一客户端110可以根据匹配结果执行记录操作，例如录制音频、拍摄图片、录制视频等；若匹配结果为多媒体信息中的特征数据与数据库预存储的空间的情感模型相匹配，则第一客户端110的用户可能处于能够威胁到其安全或者财产的环境下，则第一客户端110可以生成恐惧捕捉信息，并发送至第二客户端120，以保证第二客户端120的用户能够及时获知第一客户端110的用户可能处于危险情况的信息，并根据该信息作出相应处理，例如及时发送通信请求至第一客户端110，通过发送语音信息和/或实时通话请求的方式确认第一客户端110的用户当前的状态(如是否处于危险情况)。
[0051]本发明实施例中，数据库预存储的情感模型可以是包括任意人类情感类型的情感模型，上文提及的快乐、伤心以及恐惧的情感模型仅用于示例，并非对本发明的限制。本领域的技术人员在阅读本发明的基础上，可以预存储其他任意类型的情感模型至数据库，以供后续匹配使用，其皆应在本发明的保护范围之内。另外，本发明实施例的数据库包括第一客户端110本地数据库和/或云服务器数据库。即，当第一客户端110处于网络连接状态时，为保证能够匹配到最适合的情感模型，第一客户端110可以在本地数据库和/或云服务器数据库获取预存储的情感模型，以与提取的特征数据相匹配；当第一客户端110未处于网络连接状态时，可以仅利用本地数据库预存储的情感模型与特征数据进行匹配，避免由于第一客户端110处于非网络连接环境下则不能够进行匹配的情况。因此，本发明实施例通过将数据库设置于第一客户端110本地和/或云服务器，降低匹配操作的执行条件，增加互动系统的实用性。
[0052]除如上文所述，第一客户端110能够提取当前环境的多媒体信息中的特征数据，并将该特征数据与数据库中的情感模型相匹配，以根据匹配结果执行相应操作外，本发明实施例的互动系统中，第一客户端110和/或第二客户端120还能够接收本客户端用户的通信指令，并根据接收到的通信指令发送通信请求至对应客户端(即第一客户端110发送通信请求至第二客户端120，第二客户端120发送通信请求至第一客户端110)。另外，为保证第二客户端120的用户能够更加及时高效地获知第一客户端110的用户所处的环境和/或对所处环境的反应，第二客户端120还能够接收第二客户端120的用户的操作指令，并根据接收到的操作指令执行相应操作。
[0053]具体地，第二客户端120的用户的操作指令可以包括获取第一客户端110所处的第一终端状态信息的指令，获取所述第一客户端的用户的视频信息指令，获取所述第一客户端的用户的音频信息指令，获取所述第一客户端的用户的图片信息指令等。其中，第一终端的状态信息可以是第一终端的位置信息、第一终端的使用时间信息、第一终端的电量信息、第一终端的存储空间信息，以及第一种的网络流量使用信息等。
[0054]例如，当第二客户端120接收到第一客户端110发送的恐惧捕捉信息，第二客户端120的用户获知第一客户端110的用户可能处于危险环境，则第二客户端120的用户可以通过第二客户端120发送获取第一终端的位置信息的指令，获知第一客户端110的用户所处的具体位置，以便能够及时赶赴第一客户端110所处的位置，第二客户端120的用户还可以通过第二客户端120发送“获取第一客户端110的用户的图片信息指令”至第一客户端110，以通过获取到的图片查看第一客户端110的用户当前所处环境的具体信息。
[0055]实施例一
[0056]为将上文各实施例提供的互动系统阐述得更加清楚明白，现提供一个优选实施例对本发明实施例的互动系统进行介绍。为将本实施例介绍得简洁，将第一客户端的用户设置为儿童，将第二客户端的用户设置为家长，将第一客户端所在终端设置为儿童玩具终端，并将第二客户端所在终端设置为家长手机。
[0057]本例中，设置于儿童玩具终端的第一客户端获取当前环境中的多媒体信息。实际操作中，多媒体信息可以是第一客户端在当前环境中获取的多种类型的信息(如图片信息、音频信息)。因此，在获取多媒体信息时，第一客户端可以仅获取一种类型的多媒体信息，还可以获取不同类型的多媒体信息。
[0058]优选地，第一客户端在获取多媒体信息时获取何种类型的多媒体信息可以进行预先设置。例如，若儿童处于比较活泼好动的年龄，为更大可能地避免儿童处于危险情况，可以设置获取图片信息以及音频信息作为多媒体信息。再例如，若儿童处于已有一定自我保护意识的年龄，可以设置仅获取图片信息作为多媒体信息，避免由于儿童观看可能包含恐怖元素的书籍或者视频等造成其音频信息中的声音特征对应的情感模型为恐惧模型，从而执行错误的处理，发送恐惧捕捉信息至家长手机，导致家长获取到错误信息等情况的发生。
[0059]如图2示出了根据本发明一个优选实施例的第一客户端获取到的多媒体信息的示意图。参见图2，本例中，第一客户端获取到的多媒体信息为图片信息。当获取到多媒体信息之后，提取多媒体信息中的特征数据。本发明实施例中，根据多媒体信息的类型不同，提取的特征数据不同，如多媒体信息为图片信息时，提取的特征数据可以是人脸特征，而当多媒体信息为音频信息时，提取的特征数据可以是声音特征。根据图2所示的多媒体信息，第一客户端提取的人脸特征如图3所示。将图3所示的人脸特征与图4所示的数据库中预存储的情感模型进行匹配。得到匹配结果为获取的多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则第一客户端可以执行记录操作，如拍摄儿童当前的视频，对儿童当前状态执行图片抓拍，还可以录制音频(如录制儿童当前的笑声)。
[0060]优选地，本例中，对第一客户端执行的记录操作也可以进行预先设置。例如，根据第一客户端每个月的网络数据流量使用情况，设置数据流量使用小于某一预定数值时，执行视频拍摄操作，而当数据流浪使用超过该预定数值时，执行图片拍摄操作。再例如，若家长与儿童相隔较远(如家长出差)，为保证通过家长手机对记录的图片或者视频或者音频进行获取时，能够尽快获取到记录的内容，可以设置记录操作为拍摄图片和/或录制音频，则由于图片和/或音频文件相对于视频文件较小，因此更易于发送或者接收。
[0061]当第一客户端执行记录操作之后，第一客户端可以将记录操作的结果(即拍摄的图片和/或拍摄的视频和/或录制的音频)保存至第一客户端本地，如图5所示，可以将记录操作的结果上传至云服务器进行存储，还可以根据预先的设置或者默认设置确定是否将记录操作的结果发送至家长手机的第二客户端，以便家长观看或者收听或者保存至第二客户端本地。例如，设置第一客户端将记录操作的结果全部发送至家长手机的第二客户端，以保证家长能够及时查看儿童所处的环境和/或儿童对环境的反应和/或儿童的情绪。再例如，设置第一客户端仅在匹配结果为特征数据与情感类型为恐惧的情感模型相匹配时，将记录操作的结果发送至家长手机的第二客户端，保证家长除接收到第一客户端根据特征数据与恐惧的情感模型相匹配生成的恐惧捕捉信息之外，还能够根据接收到的图片和/或视频和/或音频对儿童是否真的处于危险环境进行确定。
[0062]另外，设置于儿童玩具终端的第一客户端以及设置于家长手机的第二客户端能够分别接受来自儿童以及家长的通信指令，并根据通信指令发送通信请求至对应的客户端。其中，本例中的通信请求包括语音信息和/或实时通话请求，并且，实时通话请求至少包括视频通话以及语音通话。图6示出了根据本发明一个优选实施例的儿童与家长通过第一客户端以及第二客户端进行语音信息交流的界面示意图。
[0063]图7示出了根据本发明一个优选实施例的在家长手机侧展示儿童位置信息的界面示意图。本例中，设置于家长手机的第二客户端能够接收来自家长的操作指令，并根据操作指令执行对应的操作。如根据家长的“获取儿童玩具终端的位置信息指令”，获取儿童玩具终端当前的位置信息(即儿童的位置信息)，并在家长手机一侧对获取到的位置信息进行展示，如图7所示。而图8示出了根据本发明一个优选实施例的在家长手机侧展示儿童玩具终端状态信息的界面示意图。参见图8，当接收到家长的“获取儿童玩具终端状态信息的指令”，第二客户端获取儿童玩具终端状态信息，并在家长手机侧进行如图8所示的展示，保证家长能够及时了解儿童玩具终端的状态，并通过儿童玩具终端的状态更好地掌握儿童的生活，促进儿童的健康发展，例如，家长能够通过了解儿童玩具终端的状态信息中儿童玩具终端的剩余电量了解儿童每日使用儿童玩具终端的时长，并在儿童使用时间过长时，及时阻止儿童的继续使用，避免儿童的过度用眼。
[0064]基于上文各优选实施例提供的互动系统，基于同一发明构思，本发明实施例提供了一种客户端，应用于第一终端。图9示出了根据本发明一个实施例的第一客户端的结构示意图。参见图9，本发明实施例的第一客户端至少包括:多媒体信息获取模块910、特征数据提取模块920、情感模块匹配模块930以及操作处理模块940。
[0065]现介绍本发明实施例的第一客户端的各器件或组成的功能以及各部分间的连接关系:
[0066]多媒体信息获取模块910，配置为获取当前环境中的多媒体信息，其中，多媒体信息包括图片信息和/或音频信息；
[0067]特征数据提取模块920，与多媒体信息获取模块910相耦合，配置为提取多媒体信息中的特征数据，其中，特征数据包括声音特征和/或人脸特征；
[0068]情感模型匹配模块930，与特征数据提取模块920相耦合，配置为将将特征数据与数据库预存储的情感模型进行匹配，其中，情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；
[0069]操作处理模块940，与情感模型匹配模块930相耦合，配置为根据匹配结果执行相应处理操作，并发送处理结果至第二客户端。
[0070]在一个优选的实施例中，情感类型包括以下至少之一:快乐；伤心；恐惧。
[0071]在一个优选的实施例中，操作处理模块940还配置为:
[0072]若多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频；
[0073]若多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行记录操作，并发送记录操作的结果至第二客户端；
[0074]若多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至第二客户端，以提示第二客户端的用户检测到包含恐惧的音频信息。
[0075]图10示出了根据本发明一个优选实施例的第一客户端的结构示意图。参见图10，第一客户端还包括:
[0076]接收模块950，与操作处理模块930相耦合，配置为接收本客户端的用户的通信指令；
[0077]操作处理模块940，还配置为根据通信指令发送通信请求至第二客户端。
[0078]基于上文各优选实施例提供的互动系统，基于同一发明构思，本发明实施例提供了另一种客户端，应用于第二终端，称为第二客户端。图11示出了根据本发明一个实施例的第二客户端的结构示意图。参见图11，本发明实施例的第二客户端至少包括接收模块1110。其中，
[0079]接收模块1110，配置为接收来自第一客户端的处理结果，其中，第一客户端应用于第一终端，并且第一客户端的处理结果按如下步骤得到:
[0080]获取当前环境中的多媒体信息，其中，多媒体信息包括图片信息和/或音频信息；
[0081]提取多媒体信息中的特征数据，其中，特征数据包括声音特征和/或人脸特征；
[0082]将特征数据与数据库预存储的情感模型进行匹配，其中，情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；
[0083]根据匹配结果执行相应处理操作，并发送处理结果至本客户端。
[0084]图12示出了根据本发明一个优选实施例的第二客户端的结构示意图。参见图12，第二客户端还包括:
[0085]接收模块1110，还配置为接收恐惧捕捉信息；
[0086]发送模块1120，与接收模块1110相耦合，配置为发送通信请求至第一客户端，其中，通信请求包括语音信息和/或实时通话请求。
[0087]在一个优选的实施例中，本发明实施例的第二客户端还包括
[0088]接收模块1110，还配置为接收第二客户端的用户的通信指令；
[0089]发送模块1120，还配置为据通信指令发送通信请求至第一客户端。
[0090]在一个优选的实施例中，本发明实施例的第二客户端还包括:
[0091]接收模块1110，还配置为接收本客户端的用户的操作指令；
[0092]处理模块1130，与接收模块1010相耦合，配置为据操作指令执行对应操作。
[0093]在一个优选的实施例中，操作指令包括以下至少之一:
[0094]获取第一终端状态信息的指令，其中，第一终端状态信息至少包括以下之一:第一终端的位置信息，第一终端的使用时间信息，第一终端的电量信息，第一终端的存储空间信息，第一终端的网络流量使用信息；
[0095]获取第一客户端的用户的视频信息指令；
[0096]获取第一客户端的用户的音频信息指令；
[0097]获取第一客户端的用户的图片信息指令。
[0098]基于上文各优选实施例提供的互动系统及客户端(包括第一客户端、第二客户端)，基于同一发明构思，本发明实施例还提供了一种多媒体文件的处理方法，应用于上文介绍互动系统。图13示出了根据本发明一个实施例的多媒体文件的处理方法的处理流程图。参见图13，本发明实施例的多媒体文件的处理方法至少包括步骤S1302至步骤S1308。
[0099]步骤S1302、获取第一客户端当前环境中的多媒体信息，其中，多媒体信息包括图片?目息和/或音频?目息；
[0100]步骤S1304、提取多媒体信息中的特征数据，其中，特征数据包括声音特征和/或人脸特征；
[0101]步骤S1306、将特征数据与数据库预存储的情感模型进行匹配，其中，情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；
[0102]步骤S1308、根据匹配结果执行相应处理操作，并发送处理结果至第二客户端，由第二客户端接收并使用处理结果。
[0103]在一个优选的实施例中，情感类型包括以下至少之一:快乐；伤心；恐惧。
[0104]在一个优选的实施例中，根据匹配结果执行相应处理操作，并发送处理结果至第二客户端，包括:
[0105]若多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频；
[0106]若多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行记录操作，并发送记录操作的结果至第二客户端；
[0107]若多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至第二客户端，以提示第二客户端的用户检测到包含恐惧的音频信息。
[0108]根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果:
[0109]依据本发明实施例提供的互动系统，应用于第一终端的第一客户端能够获取当前环境中的多媒体信息，提取多媒体信息中的特征数据，并将该特征数据与数据库中预存储的情感模型进行匹配。之后，根据匹配结果执行相应处理操作，并发送处理结果至第二客户端，并由互动系统中的第二客户端接收该处理结果，以供第二客户端的用户使用。因此，依据本发明实施例提供的互动系统能够通过获取当前环境中的多媒体信息，并对多媒体信息中的特征数据与预存储的情感模型相匹配，得到当前环境中第一客户端用户的反应信息(即匹配结果)，并根据该反应信息自动执行相应处理操作，避免由于第二客户端的用户未能够及时发现第一客户端用户的反应信息导致的错过。例如，当第一客户端的用户为儿童，第二客户端的用户为家长，则依据本发明实施例的互动系统，能够通过提取当前环境中的多媒体信息中的特征数据，将该特征数据与数据库预存储的情感模型相匹配，得到匹配结果(即儿童对当前环境的反应信息)。之后，第一客户端能够根据儿童的反应信息执行相应处理操作，如当儿童的反应信息为快乐时，能够记录儿童的图片或者视频或者语音，以供后续能够重温儿童的成长过程，再例如当儿童的反应信息为恐惧时，由于通常情况下当儿童的情感状态为恐惧时，儿童可能处于危险的情况下，如被人威胁等，因此，此时可以向第二客户端发送信息，以提示家长儿童可能处于危险的情况，以更好地保护儿童的安全。
[0110]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0111]类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。
[0112]本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0113]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0114]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置或者设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0115]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0116]至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
[0117]本发明还公开了 A1.—种互动系统，包括应用于第一终端的第一客户端及应用于第二终端的第二客户端，其特征在于，
[0118]所述第一客户端配置为:获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；根据匹配结果执行相应处理操作，并发送处理结果至所述第二客户端；
[0119]所述第二客户端配置为，接收所述处理结果，以供所述第二客户端的用户使用。
[0120]A2.根据A1所述的互动系统，其特征在于，所述情感类型包括以下至少之一:
[0121]快乐；
[0122]伤心；
[0123]恐惧。
[0124]A3.根据A2所述的互动系统，其特征在于，所述第一客户端还配置为:
[0125]若所述多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，所述记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频；
[0126]若所述多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行所述记录操作，并发送所述记录操作的结果至所述第二客户端；
[0127]若所述多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至所述第二客户端，以提示所述第二客户端的用户检测到包含恐惧的音频信息。
[0128]A4.根据A3所述的互动系统，其特征在于，所述第二客户端还配置为:
[0129]接收所述恐惧捕捉信息，并发送通信请求至所述第一客户端，其中，所述通信请求包括语音信息和/或实时通话请求。
[0130]A5.根据A4所述的互动系统，其特征在于，所述第一客户端还配置为:
[0131]接收所述第一客户端的用户的通信指令，并根据所述通信指令发送所述通信请求至所述第二客户端。
[0132]A6.根据A4所述的互动系统，其特征在于，所述第一二客户端还配置为:
[0133]接收所述第二客户端的用户的通信指令，并根据所述通信指令发送所述通信请求至所述第一客户端。
[0134]A7.根据A1所述的互动系统，其特征在于，所述第二客户端还配置为:
[0135]接收所述第二客户端的用户的操作指令，并根据所述操作指令执行对应操作。
[0136]A8.根据A7所述的互动系统，其特征在于，所述操作指令包括以下至少之一:
[0137]获取所述第一终端状态信息的指令，其中，所述第一终端状态信息至少包括以下之一:所述第一终端的位置信息，所述第一终端的使用时间信息，所述第一终端的电量信息，所述第一终端的存储空间信息，所述第一终端的网络流量使用信息；
[0138]获取所述第一客户端的用户的视频信息指令；
[0139]获取所述第一客户端的用户的音频信息指令；
[0140]获取所述第一客户端的用户的图片信息指令。
[0141]A9.根据A1所述的互动系统，其特征在于，所述数据库包括所述第一客户端本地数据库和/或云服务器数据库。
[0142]本发明还公开了 B10.—种客户端，应用于第一终端，包括:
[0143]多媒体信息获取模块，配置为获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；
[0144]特征数据提取模块，配置为提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；
[0145]情感模型匹配模块，配置为将将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；
[0146]操作处理模块，配置为根据匹配结果执行相应处理操作，并发送处理结果至第二客户端。
[0147]B11.根据B10所述的客户端，其特征在于，所述情感类型包括以下至少之一:
[0148]快乐；
[0149]伤心；
[0150]恐惧。
[0151]B12.根据B11所述的客户端，其特征在于，所述操作处理模块还配置为:
[0152]若所述多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，所述记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频；
[0153]若所述多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行所述记录操作，并发送所述记录操作的结果至所述第二客户端；
[0154]若所述多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至所述第二客户端，以提示所述第二客户端的用户检测到包含恐惧的音频信息。
[0155]B13.根据B10所述的客户端，其特征在于，所述客户端还包括:
[0156]接收模块，配置为接收所述本客户端的用户的通信指令；
[0157]所述操作处理模块，还配置为根据所述通信指令发送所述通信请求至所述第二客户端。
[0158]本发明还公开了 C14.一种客户端，应用于第二终端，包括:
[0159]接收模块，配置为接收来自第一客户端的处理结果，其中，所述第一客户端应用于第一终端，并且所述第一客户端的处理结果按如下步骤得到:
[0160]获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；
[0161]提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；
[0162]将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；
[0163]根据匹配结果执行相应处理操作，并发送处理结果至本客户端。
[0164]C15.根据C14所述的客户端，其特征在于，还包括:
[0165]所述接收模块，还配置为接收所述恐惧捕捉信息；
[0166]发送模块，配置为发送通信请求至所述第一客户端，其中，所述通信请求包括语音信息和/或实时通话请求。
[0167]C16.根据C14所述的客户端，其特征在于，还包括
[0168]所述接收模块，还配置为接收所述第二客户端的用户的通信指令；
[0169]所述发送模块，还配置为根据所述通信指令发送所述通信请求至所述第一客户端。
[0170]C17.根据C14所述的客户端，其特征在于，还包括:
[0171]所述接收模块，还配置为接收本客户端的用户的操作指令；
[0172]处理模块，配置为根据所述操作指令执行对应操作。
[0173]C18.根据C17所述的客户端，其特征在于，所述操作指令包括以下至少之一:
[0174]获取所述第一终端状态信息的指令，其中，所述第一终端状态信息至少包括以下之一:所述第一终端的位置信息，所述第一终端的使用时间信息，所述第一终端的电量信息，所述第一终端的存储空间信息，所述第一终端的网络流量使用信息；
[0175]获取所述第一客户端的用户的视频信息指令；
[0176]获取所述第一客户端的用户的音频信息指令；
[0177]获取所述第一客户端的用户的图片信息指令。
[0178]本发明还公开了 D19.—种多媒体文件的处理方法，应用于A1至A9所述的互动系统，包括:
[0179]获取第一客户端当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；
[0180]提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；
[0181]将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；
[0182]根据匹配结果执行相应处理操作，并发送处理结果至所述第二客户端，由所述第二客户端接收并使用所述处理结果。
[0183]D20.根据D19所述的方法，其特征在于，所述情感类型包括以下至少之一:快乐；伤心；恐惧。
[0184]D21.根据D20所述的方法，其中，根据匹配结果执行相应处理操作，并发送处理结果至所述第二客户端，包括:
[0185]若所述多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，所述记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频；
[0186]若所述多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行所述记录操作，并发送所述记录操作的结果至所述第二客户端；
[0187]若所述多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至所述第二客户端，以提示所述第二客户端的用户检测到包含恐惧的音频信息。
【权利要求】
1.一种互动系统，包括应用于第一终端的第一客户端及应用于第二终端的第二客户端，其特征在于， 所述第一客户端配置为:获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息；提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征；将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系；根据匹配结果执行相应处理操作，并发送处理结果至所述第二客户端； 所述第二客户端配置为，接收所述处理结果，以供所述第二客户端的用户使用。
2.根据权利要求1所述的互动系统，其特征在于，所述情感类型包括以下至少之一: 快乐； 伤心； 恐惧。
3.根据权利要求2所述的互动系统，其特征在于，所述第一客户端还配置为: 若所述多媒体信息的特征数据与情感类型为快乐的情感模型相匹配，则执行记录操作，其中，所述记录操作至少包括以下任意之一:录制音频、拍摄图片、录制视频； 若所述多媒体信息的特征数据与情感类型为伤心的情感模型相匹配，则执行所述记录操作，并发送所述记录操作的结果至所述第二客户端； 若所述多媒体信息的特征数据与情感类型为恐惧的情感模型相匹配，则生成恐惧捕捉信息，并发送至所述第二客户端，以提示所述第二客户端的用户检测到包含恐惧的音频信息。
4.根据权利要求3所述的互动系统，其特征在于，所述第二客户端还配置为: 接收所述恐惧捕捉信息，并发送通信请求至所述第一客户端，其中，所述通信请求包括语音信息和/或实时通话请求。
5.根据权利要求4所述的互动系统，其特征在于，所述第一客户端还配置为: 接收所述第一客户端的用户的通信指令，并根据所述通信指令发送所述通信请求至所述第二客户端。
6.根据权利要求4所述的互动系统，其特征在于，所述第一二客户端还配置为: 接收所述第二客户端的用户的通信指令，并根据所述通信指令发送所述通信请求至所述第一客户端。
7.根据权利要求1所述的互动系统，其特征在于，所述第二客户端还配置为: 接收所述第二客户端的用户的操作指令，并根据所述操作指令执行对应操作。
8.一种客户端，应用于第一终端，包括: 多媒体信息获取模块，配置为获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息； 特征数据提取模块，配置为提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征； 情感模型匹配模块，配置为将将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系； 操作处理模块，配置为根据匹配结果执行相应处理操作，并发送处理结果至第二客户端。
9.一种客户端，应用于第二终端，包括: 接收模块，配置为接收来自第一客户端的处理结果，其中，所述第一客户端应用于第一终端，并且所述第一客户端的处理结果按如下步骤得到: 获取当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息； 提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征； 将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系； 根据匹配结果执行相应处理操作，并发送处理结果至本客户端。
10.一种多媒体文件的处理方法，应用于权利要求1至权利要求7所述的互动系统，包括: 获取第一客户端当前环境中的多媒体信息，其中，所述多媒体信息包括图片信息和/或音频信息； 提取所述多媒体信息中的特征数据，其中，所述特征数据包括声音特征和/或人脸特征； 将所述特征数据与数据库预存储的情感模型进行匹配，其中，所述情感模型包括多个特征数据，多个情感类型，以及各特征数据与各情感类型间的映射关系； 根据匹配结果执行相应处理操作，并发送处理结果至所述第二客户端，由所述第二客户端接收并使用所述处理结果。
【文档编号】H04L29/08GK104486331SQ201410766548
【公开日】2015年4月1日 申请日期:2014年12月11日 优先权日:2014年12月11日
【发明者】张峰, 赖伟, 陈良军, 吴义坚 申请人:上海元趣信息技术有限公司