基于情绪识别的ATM智能关怀方法及装置与流程

本技术涉及生物识别和金融领域，具体涉及基于情绪识别的atm智能关怀方法及装置。

背景技术：

1、atm是人们进行小额存取的重要渠道之一，因其便利性，实时性，还有全天24小时自助，深受人们青睐，目前已成为各银行不可或缺的一部分。是一种高度精密的机电化一体化装置。其利用磁性代码卡或者智能卡实现金融交易的自助服务，代替银行坐席人员的部分工作，比如提取现金，查询余额，进行账户间资金划拨。随着我行数字化建设的不断深入，银行同业间的竞争，以及人们生活水平的提高，使现在的人们追寻更加智能化，个性化的服务。传统的atm无法以目前的功能交互吸引并留住客户，增加客户黏性。传统atm在交互上具有存在以下问题和不足。

2、1.对客户关怀不足，客户在atm房使用atm机自助存取款时，只能在atm存取款时枯燥的慢慢等待atm机器的响应过程，这个过程没有任何人性化的服务，对于需要使用atm时间较长的客户来说，大部分的时间用来等待机器的交互，而atm并不能柜台人员一样与客户进行交流，导致交互体验差。对于客户的使用体验来说并不好。

3、2.无法对客户的情绪进行识别，并及时执行相应的策略去调整客户的情绪，无法让客户在使用atm时从低落，紧张等负面情绪中摆脱，处于一种放松，积极稳定的心情。

4、在当前，生物特征识别已成为日常生活中不可或缺的一部分，对于atm来说，人脸识别是一种方便实用的生物信息获取手段，不必如传统atm机只能通过密码验证身份。基于人脸识别技术可以对现有atm交互做出改进优化，在客户输入密码后，通过人脸识别中的情绪识别自动获取客户的面部表情、情绪，并放出对应的背景音乐去舒缓使用者的情绪，让整个过程客户使用无感。

技术实现思路

1、为了解决现有技术中存在的问题，第一方面，本技术提供一种基于情绪识别的atm智能关怀方法，包括：

2、实时采集进入atm预设监测范围内的用户图像；

3、对所述用户图像进行预处理和人脸检测，得到用户的人脸图像；

4、基于所述人脸图像中的面部表情特征以及预先训练的情绪分类模型进行情绪识别，得到用户的情绪识别结果；所述情绪分类模型是基于预先采集的多个面部表情图像及其情绪分类标签训练得到的；

5、基于所述情绪识别结果确定对应的音乐名单并播放所述音乐名单中的音乐。

6、在一实施例中，所述实时采集进入atm预设监测范围内的用户图像，包括：

7、判断是否有用户进入atm的预设监测范围内；

8、若是，则调用预先搭建的图像采集设备进行实时抓拍，得到所述用户图像。

9、在一实施例中，所述对所述用户图像进行预处理和人脸检测，得到用户的人脸图像，包括：

10、对所述用户图像进行灰度调整；

11、基于人脸检测算法对预处理后的用户图像中的人脸进行定位，得到用户的人脸图像。

12、在一实施例中，所述基于所述人脸图像中的面部表情特征进行情绪识别，得到用户的情绪识别结果，包括：

13、从所述人脸图像中提取n个标志点，并基于所述标志点确定所述人脸图像的形状特征向量；

14、分别以所述n个标志点中心提取所述人脸图像中的纹理特征，并基于所述纹理特征确定所述人脸图像的外观特征向量；

15、基于所述形状特征向量、所述外观特征向量以及预先训练的情绪分类模型确定所述人脸图像对应的情绪识别结果。

16、在一实施例中，所述从所述人脸图像中提取n个标志点，并基于所述标志点确定所述人脸图像的形状特征向量，包括：

17、使用dlib标志提取器对所述人脸图像进行标志提取，得到n个标志点；

18、对各所述标志点分别进行插值运算，生成各所述标志点对应的二进制补丁；

19、基于各所述标志点及其对应的二进制补丁确定所述人脸图像的形状特征向量。

20、在一实施例中，所述分别以所述n个标志点中心提取所述人脸图像中的纹理特征，并基于所述纹理特征确定所述人脸图像的外观特征向量，包括：

21、分别以所述n个标志点为中心，从所述人脸图像中划分出n个子图像；

22、分别将每个子图像划分为w×w个非重叠图像块；

23、基于opd-gqmbp运算符分别提取各子图像中的w×w个非重叠图像块的纹理特征并进行空间串联，得到各子图像对应的子图像直方图；

24、将各子图像对应的子图像直方图进行连接，得到所述人脸图像的外观特征向量。

25、在一实施例中，所述基于所述形状特征向量、所述外观特征向量以及预先训练的情绪分类模型确定所述人脸图像对应的情绪识别结果，包括：

26、将所述形状特征向量和所述外观特征向量进行连接，得到所述人脸图像的图像描述符；

27、基于所述图像描述符以及预先训练的情绪分类模型确定所述人脸图像对应的情绪识别结果。

28、第二方面，本技术提供一种基于情绪识别的atm智能关怀装置，包括：

29、图像采集模块，用于实时采集进入atm预设监测范围内的用户图像；

30、人脸检测模块，用于对所述用户图像进行预处理和人脸检测，得到用户的人脸图像；

31、情绪识别模块，用于基于所述人脸图像中的面部表情特征以及预先训练的情绪分类模型进行情绪识别，得到用户的情绪识别结果；所述情绪分类模型是基于预先采集的多个面部表情图像及其情绪分类标签训练得到的；

32、情绪关怀模块，用于基于所述情绪识别结果确定对应的音乐名单并播放所述音乐名单中的音乐。

33、在一实施例中，所述图像采集模块具体用于：

34、判断是否有用户进入atm的预设监测范围内；

35、若是，则调用预先搭建的图像采集设备进行实时抓拍，得到所述用户图像。

36、在一实施例中，所述人脸检测模块具体用于：

37、对所述用户图像进行灰度调整；

38、基于人脸检测算法对预处理后的用户图像中的人脸进行定位，得到用户的人脸图像。

39、在一实施例中，所述情绪识别模块包括：

40、形状特征向量确定单元，用于从所述人脸图像中提取n个标志点，并基于所述标志点确定所述人脸图像的形状特征向量；

41、外观特征向量确定单元，用于分别以所述n个标志点中心提取所述人脸图像中的纹理特征，并基于所述纹理特征确定所述人脸图像的外观特征向量；

42、情绪识别单元，用于基于所述形状特征向量、所述外观特征向量以及预先训练的情绪分类模型确定所述人脸图像对应的情绪识别结果。

43、在一实施例中，所述形状特征向量确定单元包括：

44、标志点提取子单元，用于使用dlib标志提取器对所述人脸图像进行标志提取，得到n个标志点；

45、插值运算子单元，用于对各所述标志点分别进行插值运算，生成各所述标志点对应的二进制补丁；

46、形状特征向量确定子单元，用于基于各所述标志点及其对应的二进制补丁确定所述人脸图像的形状特征向量。

47、在一实施例中，所述外观特征向量确定单元包括：

48、第一图像划分子单元，用于分别以所述n个标志点为中心，从所述人脸图像中划分出n个子图像；

49、第二图像划分子单元，用于分别将每个子图像划分为w×w个非重叠图像块；

50、直方图确定子单元，用于基于opd-gqmbp运算符分别提取各子图像中的w×w个非重叠图像块的纹理特征并进行空间串联，得到各子图像对应的子图像直方图；

51、外观特征向量确定子单元，用于将各子图像对应的子图像直方图进行连接，得到所述人脸图像的外观特征向量。

52、在一实施例中，所述情绪识别单元包括：

53、图像描述符确定子单元，用于将所述形状特征向量和所述外观特征向量进行连接，得到所述人脸图像的图像描述符；

54、情绪识别子单元，用于基于所述图像描述符以及预先训练的情绪分类模型确定所述人脸图像对应的情绪识别结果。

55、第三方面，本技术提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术提供的任一基于情绪识别的atm智能关怀方法。

56、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本技术提供的任一基于情绪识别的atm智能关怀方法。

57、第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现本技术提供的任一基于情绪识别的atm智能关怀方法。

58、本技术的基于情绪识别的atm智能关怀方法及装置基于人脸情绪识别，对现有atm机器交互进行优化，基于用户的人脸表情快速识别客户的情绪，进而播放对应的音频，以此提升客户的使用体验，确保客户得到更好的关怀，提升atm使用率。