跨媒体的情感关联方法和系统的制作方法
【技术领域】
[0001] 本发明涉及智能电视技术领域，具体而言，本发明涉及一种跨媒体的情感关联方 法和系统。
【背景技术】
[0002] 智能电视具有全开放式平台，搭载了操作系统，可以由用户自行安装和卸载软件、 游戏等第三方服务商提供的程序，拥有传统电视厂商所不具备的应用平台优势。
[0003] 连接网络后，可以实现网络搜索、IP电视、视频点播（V0D)、数字音乐、网络新 闻、网络视频电话等各种应用服务，带给用户更便捷的体验。例如，在智能电视中，Media Center等应用程序是智能电视用户进行图像浏览、音频播放、视频赏析的重要表现场景。 [0004] 实际应用中，在一些平台上可以针对一段文字或一篇文章，预先设置与该文字或 文章的意境相适应的背景音乐。这样，在用户浏览该段文字或该篇文章时，平台可以自动播 放预先设置的背景音乐，以此提高用户体验。因此，现有在智能电视用户进行图像浏览时， 可以播放针对浏览的图像所预先设置的背景音乐。
[0005] 然而，本发明的发明人发现，智能电视用户浏览一组图像时，可能会出现不同意境 的背景音乐，即与该组图像的整体意境不适应、不关联的背景音乐，引起智能电视用户的反 感，导致用户体验不佳。
[0006] 因此，有必要提供一种跨媒体的关联方法，使得在智能电视用户进行图像浏览时， 能够基于准确度较高的情感识别结果为用户自动检索并播放适应于当前图像组意境的音 频信息，实现不同媒体数据之间的关联。
【发明内容】
[0007] 针对上述现有技术存在的缺陷，本发明提供了一种跨媒体的情感关联方法和系 统，可以实现在智能电视用户浏览图像时，基于准确度较高的情感识别结果自动播放适应 于浏览图像意境的音频文件，提高用户体验。
[0008] 本发明提供了一种跨媒体的情感关联方法，包括：
[0009] 智能电视播放一组图像，提取该组图像的底层视觉特征集合发送至服务器；
[0010] 服务器对所述底层视觉特征集合进行属性约简，将约简后的底层视觉特征集合输 入预先训练的情感模型，得到该组图像的情感类别；
[0011] 所述服务器利用所述情感模型，以及得到的情感类别进一步确定与输入的约简后 的底层视觉特征集合相应的情感特征向量；
[0012] 所述服务器根据确定的情感特征向量，从音频数据库中查找出与该组图像情感相 关联的音频文件向所述智能电视返回；
[0013] 所述智能电视将返回的音频文件关联该组图像进行播放。
[0014] 根据本发明的另一个方面，还提供了一种跨媒体的情感关联系统，包括：
[0015] 智能电视，用于播放一组图像，提取该组图像的底层视觉特征集合进行网络发送； 以及将接收到的音频文件关联该组图像进行播放；
[0016] 服务器，用于经由网络接收到所述智能电视发送的底层视觉特征集合后，对所述 底层视觉特征集合进行属性约简，将约简后的底层视觉特征集合输入预先训练的情感模 型，得到该组图像的情感类别；利用所述情感模型，以及得到的情感类别进一步确定与输入 的约简后的底层视觉特征集合相应的情感特征向量；根据确定的情感特征向量，从音频数 据库中查找出与该组图像情感相关联的音频文件向所述智能电视返回。
[0017] 根据本发明的另一个方面，还提供了一种服务器，包括：
[0018] 视觉特征接收模块，用于接收智能电视发送的一组图像的底层视觉特征集合；
[0019] 情感识别模块，用于对所述底层视觉特征集合进行属性约简，将约简后的底层视 觉特征集合输入预先训练的情感模型，得到该组图像的情感类别；利用所述情感模型，以及 得到的情感类别进一步确定与输入的约简后的底层视觉特征集合相应的情感特征向量；
[0020] 音频文件查找模块，用于根据所述情感识别模块确定的情感特征向量，从音频数 据库中查找出与该组图像情感相关联的音频文件，发送至所述智能电视。
[0021] 根据本发明的另一个方面，还提供了一种智能终端，包括：
[0022] 图像播放单元，用于在播放图像时，发送特征提取通知；
[0023] 特征提取单元，用于接收到所述特征提取通知后，对当前播放的一组图像提取底 层视觉特征集合；
[0024] 特征发送单元，用于将所述特征提取单元提取的底层视觉特征集合发送至服务 器；
[0025] 关联音频播放单元，用于接收到所述服务器返回的音频文件后，将所述音频文件 关联该组图像播放。
[0026] 根据本发明的另一个方面，还提供了一种图像的情感识别方法，包括：
[0027] 对一组图像的底层视觉特征集合进行属性约简；
[0028] 将约简后的底层视觉特征集合输入预先训练的情感模型，得到该组图像的情感类 另IJ ;利用所述情感模型，以及得到的情感类别进一步确定与输入的约简后的底层视觉特征 集合相应的情感特征向量，将所述情感特征向量作为该组图像的情感识别结果。
[0029] 根据本发明的另一个方面，还提供了一种图像的情感识别装置，包括：
[0030] 约简处理单元，用于对一组图像的底层视觉特征集合进行属性约简；
[0031] 情感识别单元，用于将约简后的底层视觉特征集合输入预先训练的情感模型，得 到该组图像的情感类别；利用所述情感模型，以及得到的情感类别进一步确定与输入的约 简后的底层视觉特征集合相应的情感特征向量，将所述情感特征向量作为该组图像的情感 识别结果。
[0032] 本发明的技术方案中，可以提取智能电视用户浏览的一组图像的底层视觉特征集 合，通过对底层视觉特征集合进行属性约简，消除冗余、无关的视觉特征，得到约简后可描 述该组图像的情感信息的数据；之后，根据约简后的底层视觉特征集合、以及预先训练的情 感模型，确定出该组图像较为准确的情感识别结果。这样，后续可以根据该组图像的情感识 别结果，来查找出与该组图像情感相关联的、适应于该组图像意境的音频文件。继而，智能 电视可以播放适应于该组图像意境的音频文件，增强了适用于当前图像组的情感意境，提 高智能电视用户体验。
[0033] 本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0034] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中：
[0035] 图1为本发明实施例的跨媒体的情感关联系统的结构示意图；
[0036] 图2为本发明实施例的图像的情感识别方法的流程示意图；
[0037] 图3为本发明实施例的跨媒体的情感关联方法的流程示意图；
[0038] 图4为本发明实施例的服务器的内部结构示意图；
[0039] 图5a、5b为本发明实施例的情感识别模块的内部结构示意图；
[0040] 图6为本发明实施例的智能终端的内部结构示意图；
[0041] 图7为本发明实施例的图像的情感识别装置的内部结构示意图。
【具体实施方式】
[0042] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0043] 本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式"一"、"一 个"、"所述"和"该"也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措 辞"包括"是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加 一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元 件被"连接"或"耦接"到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在 中间元件。此外，这里使用的"连接"或"耦接"可以包括无线连接或无线耦接。这里使用 的措辞"和/或"包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0044] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术 术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应 该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中 的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含 义来解释。
[0045] 本技术领域技术人员可以理解，这里所使用的"终端"、"终端设备"既包括无线信 号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件 的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备 可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示 器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统），其可 以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个 人数字助理），其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、 日历和/或GPS (Global Positioning System，全球定位系统）接收器；常规膝上型和/或 掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算 机或其他设备。这里所使用的"终端"、"终端设备"可以是便携式、可运输、安装在交通工具 (航空、海运和/或陆地）中的，或者适合于和/或配置为在本地运行，和/或以分布