一种基于目标面部表情采集的音乐自动播放系统及方法与流程
本发明涉及日常娱乐领域，具体涉及一种基于面部表情采集的音乐自动播放系统及方法。
背景技术：
情感是人们日常交流中的重要一部分，而一个人的表情则从很大程度上反应了这个人的情感，这些情感信息将会产生很多实际的应用。而基于一系列分离的静态图片的面部表情识别极容易出现误判。
保罗·艾克曼提出不同文化的面部表情都有共通性，他发现某些基本情绪(快乐、悲伤、愤怒、厌恶、惊讶和恐惧)的表达在两种文化中都很雷同。因此，他和他的研究伙伴较早地对脸部肌肉群的运动及其对表情的控制作用做了深入研究，开发了面部动作编码系统(facialactioncodingsystem，facs)。
现在的音乐播放器往往只能基于用户的历史记录实现音乐的推荐，而不能根据用户的实时心理变化自动播放音乐。
技术实现要素：
本发明的目的在于针对现有技术的不足，提供一种操作简易、适用范围广、可移植性强的音乐自动播放系统及方法。
本发明的目的是通过以下技术方案来实现的：一种基于目标面部表情采集的音乐自动播放系统，其特征在于，包括采集单元、处理单元和音乐播放单元，其中：
所述的采集单元用于获取用户面部情绪的视频信息，并将其传递给处理单元；
所述的处理单元用于控制采集单元对用户的视频采集，把采集到的视频信息整合处理生成视频信号，再从整合后的视频信号中提取出用户的情绪信号，并将其传递给音乐播放单元；
所述的音乐播放单元根据用户的面部表情变化实现音乐的自动播放。
进一步地，面部情绪的观测部位是用户身体上具有情绪信息的部位，包括额头、眉毛、眼睛、面颊、鼻翼、嘴巴等。
进一步地，所述音乐播放单元在得到用户表情愉悦的信息时，继续播放当前播放的，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐。
进一步地，所述的处理单元还包括心率信息的采集，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
一种基于目标面部表情采集的音乐自动播放方法，该方法包括以步骤：
(1)视频采集：采集单元在处理单元的控制下获取用户面部的视频信息，将其传递给处理单元；
(2)面部情绪提取：处理单元对采集单元采集到的视频信息加以整合处理，再从整合后的视频信号中提取出用户的面部情绪信号；
(3)音乐自动播放：根据用户的面部表情变化实现音乐的智能播放。
进一步地，所述的步骤1中，当用户进入摄像头采集范围内时，处理单元锁定待测目标身上能提取面部情绪的部位，并控制采集单元对其进行视频采集。
进一步地，所述步骤2中，提取面部情绪信号采用基于图像空间变换的放大算法，具体包括以下子步骤：
(2.1)把图像分割为若干帧；
(2.2)对于分割好的帧图，在每一帧上选取特征点，记录坐标。再任选其中某一帧为标准帧，通过对各帧中特征点的坐标进行计算，可得标准帧之外的每一帧变换到标准帧的转移矩阵。对标准帧之外的每一帧用对应的转移矩阵进行变换，即将视频信息中每一帧图像都重叠到了标准帧上。
(2.3)在变换后的图像上锁定能提取出面部情绪信号的关注部位，选取各个关注部位边缘为特征点，记录坐标。通过对各帧中特征点坐标相对于标准帧特征点坐标的计算，得出各个特征点的位移方向和位移速度，从而获得基于时间序列的各个情绪识别部位的动作变化与动作速度。
(2.4)通过与面部动作编码系统facs中的数据对比，从而判定用户此时的心情。
进一步地，所述步骤3中，处理单元自动识别用户的心情后，作记录。当用户表情愉悦时，则继续播放该歌曲，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，作记录，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐。
进一步地，所述波形调制具体为：
假设初始音频在调制时刻的表达式为y＝u(x)，目标音频在该时刻的表达式是h＝g(x)，其中u(x)、g(x)皆为三角函数表达式。通过开关的切换，改变音频在状态空间的切换面s(x)＝0两边的结构，切换函数为s＝s(x)。
即在系统
在切换面上某一区域内所有点均是终止点的话，则一旦运动点rp趋近于该区域时，就被吸引在该区域(模态区)内运动，当运动点rp到达切换面s(x)＝0附近时，有：
等效于：
不等式对系统提出形如v(x1,x2,…,xn)＝[s(x1,x2,…,xn)]2的李亚普洛夫稳定的必要条件。
设系统的状态方程为：
如果实现了滑模变，系统已进入滑动模态区，此时ds/dt＝0，则
即：
对u的解为u*＝u*(x)，将等效控制u*(x)代入方程式
从而实现波形调制。
进一步地，该方法还包括采集心率信息的步骤，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
本发明的有益效果是：
(1)本发明方法可以对目标进行面部情绪的准确检测，并且根据用户的实时心理变化智能播放音乐，给用户以最好的体验。
(2)本发明方法在硬件方面需求简单，软件方面也仅需普通的视频、图像处理软件，不涉及额外的硬件采购和软件部署。
(3)本发明采集系统的所有单元可以集成在一个移动智能终端上，因此有很高的可移植性。
(4)本发明最终实现的波形调制体现在音乐的节拍、节奏等方面上，可以趋于缓慢从而引导用户平静下来；也可使节奏适当加快，让用户适度提高心跳变得兴奋愉悦(节奏的加快有上限阈值，不能高于一定的心跳速率，否则不利于健康)。
附图说明
图1为本发明的系统组成图。
图2为本发明的方法流程图。
图3为本发明中面部情绪提取及音乐自动播放的流程图。
图4为本发明中初始信号转化为目标信息的信息传递图。
图5为本发明中初始信号转化为目标信息的信息传递图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提供的一种基于目标面部表情采集的音乐自动播放系统，包括采集单元、处理单元和音乐播放单元，其中：
所述的采集单元用于获取用户面部情绪的视频信息，并将其传递给处理单元；
所述的处理单元用于控制采集单元对用户的视频采集，把采集到的视频信息整合处理生成视频信号，再从整合后的视频信号中提取出用户的情绪信号，并将其传递给音乐播放单元；
所述的音乐播放单元根据用户的面部表情变化实现音乐的自动播放。
其中，所述的采集单元与处理单元之间、处理单元与音乐自动播放单元可部分或全部通过有线或无线方式进行连接，以保证数据的有效传输。可以根据实际需要，全部采用有线方式连接，全部采用无线方式连接，或部分采用有线方式连接、部分采用无线方式连接。
进一步地，面部情绪的观测部位是用户身体上具有情绪信息的部位，包括额头、眉毛、眼睛、面颊、鼻翼、嘴巴等。
进一步地，所述音乐播放单元在得到用户表情愉悦的信息时，继续播放当前播放的，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐。
进一步地，所述的处理单元还包括心率信息的采集，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
进一步地，采集单元、处理单元和音乐播放单元可以集成在台式电脑、笔记本电脑、移动智能终端、各种智能手机、平板电脑(如ipad等)、掌上电脑、智能掌上游戏机等。
如图2所示，本发明提供的一种基于目标面部表情采集的音乐自动播放方法，该方法包括以步骤：
(1)视频采集：采集单元在处理单元的控制下获取用户面部的视频信息，将其传递给处理单元；
(2)面部情绪提取：处理单元对采集单元采集到的视频信息加以整合处理，再从整合后的视频信号中提取出用户的面部情绪信号；
(3)音乐自动播放：根据用户的面部表情变化实现音乐的智能播放。
进一步地，所述的步骤1中，当用户进入摄像头采集范围内时，处理单元锁定待测目标身上能提取面部情绪的部位，并控制采集单元对其进行视频采集。
进一步地，所述步骤2中，提取面部情绪信号采用基于图像空间变换的放大算法，具体包括以下子步骤：
(2.1)把图像分割为若干帧；
(2.2)对于分割好的帧图，在每一帧上选取特征点，记录坐标。再任选其中某一帧为标准帧，通过对各帧中特征点的坐标进行计算，可得标准帧之外的每一帧变换到标准帧的转移矩阵。对标准帧之外的每一帧用对应的转移矩阵进行变换，即将视频信息中每一帧图像都重叠到了标准帧上。
(2.3)在变换后的图像上锁定能提取出面部情绪信号的关注部位，选取各个关注部位边缘为特征点，记录坐标。通过对各帧中特征点坐标相对于标准帧特征点坐标的计算，得出各个特征点的位移方向和位移速度，从而获得基于时间序列的各个情绪识别部位的动作变化与动作速度。
(2.4)通过与面部动作编码系统facs中的数据对比，从而判定用户此时的心情。
进一步地，所述步骤3中，处理单元自动识别用户的心情后，作记录。当用户表情愉悦时，则继续播放该歌曲，并记录歌曲的频率和柔和度。当用户表情显示不愉悦时，作记录，减少该音乐的播放次数，并即时进行波形调制，逐步过渡到用户表现出愉悦表情的音乐，并不产生明显突兀的变化。
进一步地，所述波形调制具体为：
假设初始音频在调制时刻的表达式为y＝u(x)，目标音频在该时刻的表达式是h＝g(x)，其中u(x)、g(x)皆为三角函数表达式。通过开关的切换，改变音频在状态空间的切换面s(x)＝0两边的结构，切换函数为s＝s(x)。
即在系统
在切换面上某一区域内所有点均是终止点的话，则一旦运动点rp趋近于该区域时，就被吸引在该区域(模态区)内运动，当运动点rp到达切换面s(x)＝0附近时，有：
等效于：
不等式对系统提出形如v(x1,x2,…,xn)＝[s(x1,x2,…,xn)]2的李亚普洛夫稳定的必要条件。
设系统的状态方程为：
如果实现了滑模变，系统已进入滑动模态区，此时ds/dt＝0，则
即：
对u的解为u*＝u*(x)，将等效控制u*(x)代入方程式
从而实现波形调制。
本发明最终实现的波形调制体现在音乐的节拍、节奏等方面上，可以趋于缓慢从而引导用户平静下来；也可使节奏适当加快，让用户适度提高心跳变得兴奋愉悦(节奏的加快有上限阈值，不能高于一定的心跳速率，否则不利于健康)。
进一步地，该方法还包括采集心率信息的步骤，将心率信息作为音乐调节的参考，心率过快则调节音乐缓慢过度到平静的节奏，如果心跳较慢且情绪不愉悦，调节音乐过渡到欢快的节奏。
实施例
下面以用一个由可移动的摄像头和笔记本电脑组成的系统采集某利用听音乐缓解紧张情绪的学生的面部情绪为例，具体说明面部情绪的采集方法和音乐自动播放系统。
(1)视频采集：采集单元在处理单元的控制下获取用户被观测部位持续、完整的视频信息，再将其传递给处理单元；具体地，当该学生处于摄像头采集范围内时，笔记本电脑通过图像识别算法锁定该学生面部，并控制摄像头开始对其进行视频采集。在采集过程中，其面部可能会脱离摄像头的采集范围，此时，由笔记本电脑发出指令控制可移动摄像头跟随学生同步运动，以保持学生面部仍处于采集范围之内。采集结束后，摄像头将视频信息传递给笔记本电脑。
(2)面部情绪提取：处理单元对采集单元采集到的视频信息加以整合处理，再从整合后的视频信号中提取出用户的面部情绪信号；所述的提取面部情绪信号的方法是基于图像空间变换的放大算法。
具体地，当接收到学生面部的视频信息以后，笔记本电脑锁定视频中学生面部的具体位置。由于视频信息来源于一台可移动的摄像头，笔记本电脑可直接获得学生面部的视频信号。此后，对整合后的视频采用基于图像空间变换的频率放大算法，即提取出学生的面部情绪信号。更具体地，首先把学生面部信息图像分割为800帧。对于分割好的帧图，在每一帧上选取面部特征点，如嘴部、鼻翼的边缘，记录坐标。再任选其中某一帧，如第一帧，为标准帧，通过对各帧中特征点的坐标进行计算，可得标准帧之外的每一帧变换到标准帧的转移矩阵。对标准帧之外的每一帧用对应的转移矩阵进行变换，即将视频信息中每一帧图像都重叠到了标准帧上。然后在变换后的图像上锁定面部能凸显出肌肉运动与面部动作的具体部位，进行滤波、去噪，选取各个具体部位边缘为特征点，记录坐标。通过对各帧中特征点坐标相对于标准帧特征点坐标的计算，可以得出各个特征点的位移方向和位移速度，从而获得基于时间序列的各个情绪识别部位的动作变化与动作速度。通过与面部动作编码系统中的数据对比，可以判定每一小段时间内学生的面部情绪，进而可以获得学生面部情绪随时间的变化。
(3)音乐自动播放：对获得的学生面部情绪进行分析，得出该学生此时的情绪状态，如果呈现为正面情绪则继续播放与当前歌曲频率和柔和度相似的歌曲，如果呈现为偏负面情绪或有向负面情绪变化的趋势，则根据曲库中已经存储的数据，选择该学生喜欢的歌曲进行非感知性切换，实现音乐的自动播放。
在上述实施例中，步骤(2)和(3)的流程图如图3所示。
整个方法过程中，信息量的转化关系如图4和图5所示，在音乐的调节中参考了心率这个数值，来实现平静或欢快的过度，最终从原始视频提取出用户的面部情绪信号。
对本领域的技术人员来说应理解，根据设计要求和其他因素可以进行各种修改、组合、自组合和变化，只要它们都落于所附权利要求及其等效方案所限定的范围内。
- 还没有人留言评论。精彩留言会获得点赞！