一种情感交互的照明系统的制作方法

本发明涉及照明系统
技术领域：
，尤其涉及一种情感交互的照明系统。
背景技术：
：在文化旅游和城市夜景照明项目中，灯光不仅让建筑更美丽，也让城市和景区更有活力，从而吸引更多的游客，促进夜经济发展。现在照明技术的发展，使灯光更容易被控制和调节，可以通过灯光的亮度、颜色和形态变化的行为，表达出更多文化信息和精神内涵，并能够通过物联网传感器的应用，感知周边的环境，与人的动作、声音等进行交互，实现在智慧照明、智慧景区等场景中的应用。现有照明系统与人的互动仍主要停留在动作和声音的识别，通过识别人的声音或动作实现照明系统的开或关。但通过识别人的情绪、情感并自动作出相应的反馈的照明系统相关技术尚存在空缺。技术实现要素：鉴于上述的分析，本发明旨在提供一种情感交互的照明系统，用以解决现有照明系统只能对人的动作和声音做出机械反馈，而无法针对人的情绪或情感做出情感反馈的问题。本发明提供了一种情感交互的照明系统，包括，信息采集模块，用于采集目标人物的声音及图像；信息识别模块，用于对采集的所述声音及图像进行识别，获得目标人物的声音信息、表情信息及动作信息；处理控制模块，用于解析所述目标人物的声音信息、表情信息及动作信息获得目标人物的情感状态，并基于所述灯光及辅助设备的情感响应模式根据目标人物的情感状态控制灯光及辅助设备做出响应反馈。进一步的，所述处理控制模块包括情感解析子模块、控制器、灯光及辅助设备控制子模块；所述情感解析子模块，用于解析所述目标人物的声音信息、表情信息及动作信息获得所述目标人物的情感状态；所述控制器，用于发送与所述情感状态相对应的控制信号至所述灯光及辅助设备控制子模块；所述灯光及辅助设备控制子模块，用于根据所述控制信号控制灯光及辅助设备做出响应反馈。进一步的，所述情感解析子模块包括声音解析模型、表情解析模型及动作解析模型；将所述声音信息、表情信息及动作信息作为输入量分别输入所述声音解析模型、表情解析模型及动作解析模型获得对应的声音值、表情值及动作值，不同的值表示目标人物不同的情感状态。进一步的，通过下述方式确定目标人物的情感状态：当表情值表示的情感状态不是中性时，则将所述表情表示的情感状态作为目标人物的情感状态；当表情值表示的情感状态是中性，且声音值表示的情感状态不是中性时，则将所述声音值表示的情感状态作为目标人物的情感状态；当表情值表示的情感状态是中性，声音值表示的情感状态是中性，且动作值表示的情感状态不是中性，则将所述动作值表示的情感状态作为目标人物的情感状态；当表情值表示的情感状态、声音值表示的情感状态及动作值表示的情感状态均是中性时，则目标人物的情感状态为中性。进一步的，所述灯光及辅助设备的情感响应模式包括：直接模式，工作于该模式的灯光及辅助设备做出与所述目标人物情感状态相同或相似的响应反馈；对话模式，工作于该模式的灯光及辅助设备根据所述目标人物的情感状态做出仿生的响应反馈；告警模式，工作于该模式的灯光及辅助设备对存在安全隐含的所述目标人物情感状态做出告警的响应反馈。进一步的，所述信息识别模块通过下述方式识别获得目标人物的声音信息、表情信息及动作信息：利用训练好的声音识别模型对采集到的声音进行语音识别获得目标人物的声音信息；利用训练好的人脸表情识别模型基于采集到的图像中的目标人物的面部几何特征或局部纹理变化对其进行识别，以获得所述目标人物的表情信息；所述几何特征包括面部特征点的距离变化、变形程度及曲率；利用训练好的动作识别模型提取采集到的图像中的目标人物的动作特征，以获得所述目标人物的动作信息。进一步的，所述语音识别包括情绪韵律识别和非言语情绪识别；所述情绪韵律识别包括识别目标人物声音的音高、短时平均能量值、时长、基频及共振峰。进一步的，通过下述方式训练动作识别模型：分别采集不同人物在不同情感状态下的图像；从所述图像中提取所述目标人物的动作特征，所述动作特征包括手部动作特征、手臂动作特征、身体动作特征及腿部动作特征；将所述图像作为所述动作识别模型的输入量，对应的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征作为输出量，对所述动作识别模型进行训练，获得训练好的动作识别模型。进一步的，通过下述方式从所述图像中提取所述目标人物的动作特征：采用三维人体姿态估计提取所述目标人物的手部动态、手臂动态、身体动态及腿部动态；利用长短期记忆lstm网络根据所述目标人物的手部动态、手臂动态、身体动态及腿部动态提取所述目标人物的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征。进一步的，还包括触发模块；所述照明系统包括情感交互模式和正常照明模式；根据使用需求通过触发模块直接触发所述照明系统的情感交互模式；或者，所述触发模块根据预先设置的声音、表情或动作触发所述照明系统的情感交互模式。与现有技术相比，本发明至少可实现如下有益效果之一：1、本发明提出的情感交互的照明系统，通过识别目标人物的表情、声音及动作确定目标人物的情感状态，并控制照明系统的灯光及辅助设备对目标人物的情感状态做出响应反馈，实现人与照明系统间的情感交互，提供更和谐、更智慧的光环境，提高照明系统的智慧化水平。2、本发明提出的情感交互的照明系统，通过配置不同的灯光及辅助设备可以应用于家居室内、酒店房间室内、建筑媒体立面互动场景及灯光秀表演等不同的场景，使建筑、景观、家居环境等的灯光呈现出拟人化的响应反馈，为人们提供更和谐、更智慧的光环境。3、本发明提出的情感交互的照明系统，对公共场合中的人的情感状态进行识别，当识别到人的情感状态处于恐惧或愤怒的状态时，可以初步判断可能存在危险状况或安全隐患，并发出告警，以便及时确认是否存在安全隐患并及时处理。本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。附图说明附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。图1为本发明实施例情感交互的照明系统的示意图。具体实施方式下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。本发明的一个具体实施例，公开了一种情感交互的照明系统。如图1所示。该系统包括：信息采集模块，即图1所示的感知设备，用于采集目标人物的声音及图像。信息识别模块，用于对采集的声音及图像进行识别，获得目标人物的声音信息、表情信息及动作信息。其中，信息识别模块位于图1所示的网关中。处理控制模块，用于解析目标人物的声音信息、表情信息及动作信息获得目标人物的情感状态，并基于灯光及辅助设备的情感响应模式根据目标人物的情感状态控制灯光及辅助设备做出响应反馈。具体的，交换机是转换通讯协议的设备，通常用于单类设备。工控机本义是为了控制包含多个设备的系统，由于系统内的不同设备控制协议相互之间不同，与通过网络传输至中心服务器的协议也往往不同，因此也属于涉及通讯协议转换的设备。图1中，交换机用于根据感知设备和网关之间的转换通讯协议对感知设备采集到的数据进行转换，工控机用于根据子控制器与处理控制模块间的转换通讯协议对灯光及辅助设备控制子模块解析后的控制信号数据进行转换。具体的，云计算指通过网络将数据传输至远程控制中心的服务器中完成的计算过程；边缘计算指在本地设备的微型处理器中完成的计算过程。在本发明中，处理控制模块中的情感解析子模块、控制器、灯光及辅助设备控制子模块内的计算通过云计算来完成，信息识别模块中声音及图像的识别过程通过边缘计算来完成。优选的，信息采集模块包括麦克风和摄像头，通过麦克风采集目标人物的声音，通过摄像头采集目标人物的图像，将采集到的声音及图像传送至信息识别模块。优选的，信息识别模块通过下述方式识别获得目标人物的声音信息、表情信息及动作信息：步骤1、利用训练好的声音识别模型对采集到的声音进行语音识别获得目标人物的声音信息。优选的，语音识别包括情绪韵律识别和非言语情绪识别；其中，情绪韵律识别包括识别目标人物声音的音高、短时平均能量值、时长、基频及共振峰；非言语情绪包括笑声、叹息声、哭声、尖叫声等。具体的，通过下述方式训练声音识别模型：分别采集人处于不同情感状态下的声音，并为非言语情绪进行赋值。示例性的，笑声对应的值为0、哭声对应的值为1、叹息声对应的值为2、尖叫声对应的值为3。将不同情感状态下的人的声音作为输入量，声音的音高、短时平均能量值、时长、基频及共振峰，以及赋值后的非言语情绪，包括笑声、叹息声、哭泣声、尖叫声作为输出量，对声音识别模型进行训练，获得训练好的声音识别模型。具体的，声音识别模型可以是基于gmm(gaussianmixturemodel)模型、ann(artificialneuralnetwork)或svm(supportvectormachine)模型等训练得到的。示例性的，将采集到的声音输入训练好的声音识别模型，获得声音的音高值、短时平均能量值、时长、基频及共振峰值，以及代表笑声、叹息声、哭声或尖叫声的值。步骤2、利用训练好的人脸表情识别模型基于采集到的图像中的目标人物的面部几何特征或局部纹理变化对其进行识别，以获得目标人物的表情信息。其中，几何特征包括面部特征点(包括嘴、眼睛、眉毛、鼻子、嘴巴、皱纹等)的距离变化、变形程度及曲率。具体的，通过下述方式训练人脸表情识别模型。分别采集人处于不同情感状态下的图像。将不同情感状态下人脸部的图像作为输入量，人的面部几何特征，包括面部特征点的距离变化、变形程度及曲率，以及局部纹理变化作为输出量，对模型进行训练获得训练好的人脸识别模型。优选的，将采集到的人脸图像输入人脸表情识别模型，首先通过过滤器(如局部二元模式、gabor滤波器、金字塔梯度直方图等)对人脸局部纹理进行编码，并与中性状态下的人脸局部纹理编码进行比较，从而获取局部纹理变化值。以及应利用大间隔最近邻居(largemarginnearestneighbor，lmnn)分类算法、il-cnn算法、iacnn算法、dlp-cnn算法或sjmt算法等对人脸的几何特征进行计算获得面部特征点的距离变化值、变形程度及曲率。使用卷积神经网络(cnn)通过多层次自动学习的方式基于获得三维面部特征点的距离变化值、变形程度及曲率获取对应的情感状态。步骤3、利用训练好的动作识别模型提取采集到的图像中的目标人物的动作特征，以获得目标人物的动作信息。具体的，通过下述方式训练动作识别模型：分别采集不同人物在不同情感状态下的图像；从图像中提取目标人物的动作特征，具体的，动作特征包括手部动作特征、手臂动作特征、身体动作特征及腿部动作特征。将图像作为动作识别模型的输入量，对应的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征作为输出量，对动作识别模型进行训练，获得训练好的动作识别模型。具体的，通过下述方式从图像中提取目标人物的动作特征：采用三维人体姿态估计提取所述目标人物的手部动态、手臂动态、身体动态及腿部动态。利用长短期记忆lstm网络根据目标人物的手部动态、手臂动态、身体动态及腿部动态提取目标人物的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征。声音识别模块通过交换机将获得声音信息、表情信息及动作信息发送至网关的端口，并通过网关传输至处理控制模块。优选的，处理控制模块包括情感解析子模块、控制器、灯光及辅助设备控制子模块。情感解析子模块，用于解析目标人物的声音信息、表情信息及动作信息获得目标人物的情感状态。控制器，用于发送与所述情感状态相对应的控制信号至灯光及辅助设备控制子模块。灯光及辅助设备控制子模块，用于根据控制信号控制灯光及辅助设备做出响应反馈。优选的，情感解析子模块包括声音解析模型、表情解析模型及动作解析模型。将声音信息，包括声音的音高、短时平均能量值、时长、基频及共振峰，以及赋值后的非言语情绪，包括笑声、叹息声、哭泣声、尖叫声，作为输入量，其对应的情感状态值(声音值)作为输出量对声音解析模型进行训练，获得训练好的声音解析模型。将表情信息，包括面部特征点的距离变化、变形程度、曲率及局部纹理变化值作为输入量，对应的情感状态值(表情值)作为输出量，对表情解析模型进行训练，获得训练好的表情解析模型。将动作信息，包括目标人物的手部动作特征、手臂动作特征、身体动作特征及腿部动作特征作为输入量，对应的情感状态值(动作值)作为输出量，对动作解析模型进行训练，获得训练好的动作解析模型。示例性的，将声音信息、表情信息及动作信息作为输入量分别输入训练好的声音解析模型、表情解析模型及动作解析模型获得对应的声音值、表情值及动作值，不同的值表示目标人物不同的情感状态。示例性的，不同声音信息对应的情感状态如表1所示。表1不同动作信息对应的情感状态如表2所示。表2考虑到，情感状态为中性时，人的肢体可能处于各种随意的状态，并不存在象征性的动作，因此未设置对应的特征动作识别。对于不同表情信息的表情值，示例性的，使用卷积神经网络(cnn)通过多层次自动学习的方式从表情数据(三维面部特征点的距离变化值、变形程度及曲率)中获取不同情感的表情特征。通过深层神经网络架构和损失函数，显式地为局部面部区域和表情建模，利用ck+、jaffe等公开的数据集来评估深层神经网络模型的识别准确性。例如：ck+数据集中已经对人脸面部特征点进行标注，可以直接用于模型训练。具体的，ck+和jaffe数据集的分类识别准确率如表3所示：表3示例性的，解析模型获得的值为0时，表示人物的情感状态为中性；值为1时，表示人物的情感状态为喜悦；值为2时，表示人物的情感状态为悲伤；值为3时，表示人物的情感状态为愤怒；值为4时，表示人物的情感状态为恐惧。优选的，通过下述方式确定目标人物的情感状态：当表情值表示的情感状态不是中性时，则将表情值表示的情感状态作为目标人物的情感状态。当表情值表示的情感状态是中性，且声音值表示的情感状态不是中性时，则将声音值表示的情感状态作为目标人物的情感状态。当表情值表示的情感状态是中性，声音值表示的情感状态是中性，且动作值表示的情感状态不是中性，则将动作值表示的情感状态作为目标人物的情感状态。当表情值表示的情感状态、声音值表示的情感状态及动作值表示的情感状态均是中性时，则目标人物的情感状态为中性。情感解析子模块获得目标人物的情感状态后，控制器基于灯光及辅助设备子模块的情感相应模式，发送与情感状态相对应的控制信号至灯光及辅助设备子模块。灯光及辅助设备子模块通过工控机及子控制器控制灯光及辅助设备做出响应反馈。示例性的，灯光的响应反馈行为与情感表达的对应关系如表4所示。表4实现灯光情感表达的灯具，应能输出彩色光，例如红r、绿g、蓝b、白w或者其他颜色搭配组合；应具有亮度调节能力，可以通过dmx512或其他协议来改变发光的亮度、颜色、角度和投射物体。优选的，灯光及辅助设备的情感响应模式包括：直接模式，工作于该模式的灯光及辅助设备做出与目标人物情感状态相同或相似的响应反馈。对话模式，工作于该模式的灯光及辅助设备根据目标人物的情感状态做出仿生的响应反馈。告警模式，工作于该模式的灯光及辅助设备对存在安全隐含的目标人物情感状态做出告警的响应反馈。示例性的，如表5所示：表5具体的，在实际应用中，可以根据不同的应用场景预先设置灯光及辅助设备的情感响应模式。优选的，在不同的应用场景，灯光及辅助设备工作于不同的情景响应模式。示例性的，如表6所示。表6应用场景情感响应模式家居直接模式/对话模式酒店直接模式/对话模式公共空间媒体立面体验直接模式/对话模式灯光秀表演直接模式/对话模式园区安防告警模式优选的，在不同的应用场景中，可以根据需求配置灯光及辅助设备。示例性的，不同场景中配置的灯光及辅助设备如表7所示。表7示例性的，在家居场景中，当照明系统确定目标人物的情感状态为悲伤时，可以控制灯光设备发出动态变化频率低、中低亮度及低色温暖的黄光，并控制智能音箱播放舒缓的音乐，以起到安慰目标人物悲伤状态的效果。示例性的，在灯光秀表演的场景中，当照明系统确定目标人群的情感状态为喜悦时，可以控制的灯光设备发出动态变化频率高、大色块及高饱和度彩光，并控制音箱、舞台机械设备、喷泉、雾森及焰火等呈现动感的效果。示例性，在园区安防场景中，当照明系统确定某一人物的情感状态为恐惧或愤怒时，则控制灯光及辅助设备发出红色闪烁灯光及警报声。优选的，该照明系统还包括触发模块。照明系统包括情感交互模式和正常照明模式。用户可以根据使用需求通过触发模块直接触发照明系统的情感交互模式。或者，触发模块根据预先设置的声音、表情或动作触发照明系统的情感交互模式。在不同的应用场景中，可以通过设置不同的触发方式，示例性的，如表8所示。表8与现有技术相比，本发明公开的的情感交互的照明系统，首先，通过识别目标人物的表情、声音及动作确定目标人物的情感状态，并控制照明系统的灯光及辅助设备对目标人物的情感状态做出响应反馈，实现人与照明系统间的情感交互，提供更和谐、更智慧的光环境，提高照明系统的智慧化水平；其次，通过配置不同的灯光及辅助设备可以应用于家居室内、酒店房间室内、建筑媒体立面互动场景及灯光秀表演等不同的场景，使建筑、景观、家居环境等的灯光呈现出拟人化的响应反馈，为人们提供更和谐、更智慧的光环境；最后，本发明提出的情感交互的照明系统，对公共场合中的人的情感状态进行识别，当识别到人的情感状态处于恐惧或愤怒的状态时，可以初步判断可能存在危险状况或安全隐患，并发出告警，以便及时确认是否存在安全隐患并及时处理。本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。当前第1页12