健康管理辅助装置及健康管理辅助方法与流程

本发明涉及用于辅助人的精神健康的管理的技术。

背景技术：

近年来，抑郁症、痴呆症等精神疾病的患者数显著增加，成为大的社会问题。特别是在日本，据说伴随老人的增加，针对精神疾病的对策今后将日益成为重要的课题。关于精神疾病，普通生活中的预防极其重要，并且，早期阶段的察觉(早期发现)和适当的治疗是恢复的捷径。但是，实际情况是具有对于精神疾病的正确的认识或知识的人少，一般人难以察觉精神疾病的信号(征兆)或症状。

以辅助精神疾病的诊断为目的，在专利文献1中提出了下述装置，即根据被诊断者的面部图像，生成将表情的左右对称度、眼的紧张度、脸颊的紧张度、嘴角的角度数值化了的诊断数据向量，基于该诊断数据向量和将医学见解数值化了的诊断矩阵，图表显示偏执程度/神经衰弱程度/反社会程度/抑郁程度/紧张(stress)程度的诊断结果。的确，精神疾病的信号多为面部的表情或紧张而表现出，在实际的诊断或心理治疗中，专家也将面部表情的变化作为推测患者的精神健康状态的手段之一。但是，例如，即使是专家，也不能通过仅观察一张面部图像来区分该表情或眼/脸颊·嘴角的状态是精神疾病的信号还是个性(本来的相貌、普通的表情)。因此，认为根据专利文献1中提出的方法，难以获得可靠性高的诊断信息。

现有技术文献

专利文献

专利文献1：特开2006－305260号公报

技术实现要素：

发明要解决的课题

本发明是鉴于上述实际情况而完成的，其目的在于，提供一种基于从图像识别出的面部表情来估计该人的精神健康状态，可以提供对精神健康的管理有用的信息的技术。

用于解决课题的手段

为了实现上述目的，本发明中采用下述结构，即从面部表情的时间序列数据中检测与对象者的面部表情的时间变化有关的特征，基于检测到的该特征来估计对象者的精神健康状态。

具体而言，本发明的健康管理辅助装置是，辅助对象者的精神健康的管理的健康管理辅助装置，其特征在于，具有：图像取得部，取得以时间序列拍摄所述对象者所得的多个图像；表情识别部，根据由所述图像取得部取得的多个图像的每一个，识别所述对象者的表情的特征；存储部，将所述多个图像的表情识别结果作为时间序列数据进行存储；健康状态估计部，根据存储于所述存储部的时间序列数据来检测与所述对象者的表情的时间变化有关的特征，基于检测到的该特征来估计所述对象者的精神健康状态；以及输出部，基于所述健康状态估计部的估计结果，输出与所述对象者的精神健康状态有关的信息。

根据本发明，因为关注与面部表情的时间变化有关的特征，所以能够检测作为面部表情的变化表现的精神健康状态的变化(恶化或好转)，与仅通过一张图像上的面部表情进行估计相比，能够获得可靠性高的估计结果。而且，因为能够自动且早期获得这种可靠性高的估计结果，所以能够适时提供与对象者的精神健康状态对应的有用的信息，能够适当辅助对象者的精神健康管理。

优选的是，所述健康状态估计部在作为与表情的时间变化有关的特征而检测到表示积极情绪的表情的减少的情况下，估计为所述对象者的精神健康状态在恶化。这是因为在作为抑郁症、痴呆症等精神疾病的信号(征兆)或症状之一的“郁闷状态”中，表示积极情绪的表情(快乐的表情等)显著减少。或者，优选的是，所述健康状态估计部在作为与表情的时间变化有关的特征而检测到表示消极情绪的表情的增加的情况下，估计为所述对象者的精神健康状态在恶化。这是因为在作为抑郁症、痴呆症等精神疾病的信号(征兆)或症状之一的“郁闷状态”中，表示消极情绪的表情(伤心的表情等)显著增加。

优选的是，所述表情识别部根据所述对象者的图像，计算将多种表情各自的程度进行了数值化的得分，并将各表情的得分作为表情识别结果而输出，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示积极情绪的程度的积极表情得分，在作为与表情的时间变化有关的特征而检测到最近的规定期间的积极表情得分与正常值相比处于降低倾向的情况下，估计为所述对象者的精神健康状态在恶化。由此，能够定量评价表示积极情绪的表情的减少，能够高可靠地估计精神健康状态的恶化。或者，也可以是，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示消极情绪的程度的消极表情得分，在作为与表情的时间变化有关的特征而检测到最近的规定期间的消极表情得分与正常值相比处于上升倾向的情况下，估计为所述对象者的精神健康状态在恶化。由此，能够定量评价表示消极情绪的表情的增加，能够高可靠地估计精神健康状态的恶化。

优选的是，所述表情识别部根据所述对象者的图像，计算将多种表情各自的程度进行了数值化的得分，并将各表情的得分作为表情识别结果而输出，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示积极情绪的程度的积极表情得分，在作为与表情的时间变化有关的特征而检测到最近的规定期间的积极表情得分与正常值相比处于上升倾向的情况下，估计为所述对象者的精神健康状态在好转。由此，能够定量评价表示积极情绪的表情的上升，能够高可靠地估计精神健康状态的好转。或者，也可以是所述健康状态估计部，根据所述多种表情的得分而选择或生成表示消极情绪的程度的消极表情得分，在作为与表情的时间变化有关的特征而检测到最近的规定期间的消极表情得分与正常值相比处于降低倾向的情况下，估计为所述对象者的精神健康状态在好转。由此，能够定量评价表示消极情绪的表情的减少，能够高可靠地估计精神健康状态的好转。

另外，也优选的是，所述表情识别部根据所述对象者的图像，计算将多种表情各自的程度进行了数值化的得分，并将各表情的得分作为表情识别结果而输出，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示积极情绪的程度的积极表情得分，在作为与表情的时间变化有关的特征而检测到最近的规定期间的积极表情得分的变动幅度与正常值相比处于减少倾向的情况下，估计为所述对象者的精神健康状态在恶化。由此，能够定量评价表示积极情绪的表情的减少，能够高可靠地估计精神健康状态的恶化。或者，也优选的是，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示消极情绪的程度的消极表情得分，在作为与表情的时间变化有关的特征而检测到最近的规定期间的消极表情得分的变动幅度与正常值相比处于增加倾向的情况下，估计为所述对象者的精神健康状态在恶化。由此，能够定量评价表示消极情绪的表情的减少，能够高可靠地估计精神健康状态的恶化。

另外，也优选的是，所述表情识别部根据所述对象者的图像，计算将多种表情各自的程度进行了数值化的得分，并将各表情的得分作为表情识别结果而输出，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示积极情绪的程度的积极表情得分，在作为与表情的时间变化有关的特征而检测到最近的规定期间的积极表情得分的变动幅度与正常值相比处于增加倾向的情况下，估计为所述对象者的精神健康状态在好转。由此，能够定量评价表示积极情绪的表情的增加，能够高可靠地估计精神健康状态的好转。或者，也优选的是，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示消极情绪的程度的消极表情得分，在作为与表情的时间变化有关的特征而检测到最近的规定期间的消极表情得分的变动幅度与正常值相比处于减少倾向的情况下，估计为所述对象者的精神健康状态在好转。由此，能够定量评价表示消息情绪的表情的减少，能够高可靠地估计精神健康状态的好转。

另外，也优选的是，所述表情识别部根据所述对象者的图像，计算将多种表情各自的程度进行了数值化的得分，并将各表情的得分作为表情识别结果而输出，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示积极情绪的程度的积极表情得分，在作为与表情的时间变化有关的特征而检测到积极表情得分的日内变动处于傍晚的得分与清晨的得分相比相对高的倾向的情况下，估计为所述对象者的精神健康状态在恶化。或者，也优选的是，所述健康状态估计部，根据所述多种表情的得分而选择或生成表示消极情绪的程度的消极表情得分，在作为与表情的时间变化有关的特征而检测到消极表情得分的日内变动处于傍晚的得分与清晨的得分相比相对低的倾向的情况下，估计为所述对象者的精神健康状态在恶化。由此，能够定量评价清晨心境低落，当到傍晚时心境上升的症状的出现，能够高可靠地估计精神健康状态的恶化。

优选的是，所述健康状态估计部在作为与表情的时间变化有关的特征而检测到多种表情的出现比例的变化的情况下，估计为所述对象者的精神健康状态在恶化。这是因为在痴呆症等精神疾病中，例如会发生易怒等情绪表现的变化(人格的变化)。

优选的是，所述表情识别部根据所述对象者的图像，计算将多种表情各自的程度进行了数值化的得分，并将各表情的得分作为表情识别结果而输出，所述健康状态估计部在作为与表情的时间变化有关的特征而检测到与所述多种表情中的一部分或全部表情有关的最近的规定期间的得分平均和正常值之差大于阈值的情况下，估计为所述对象者的精神健康状态在恶化。由此，能够定量评价表情的出现比例的变化，能够高可靠地估计精神健康状态的恶化。

优选的是，所述表情识别部根据所述对象者的图像，计算将多种表情各自的程度进行了数值化的得分，并将各表情的得分作为表情识别结果而输出，所述健康状态估计部在作为与表情的时间变化有关的特征而检测到最近的规定期间的某一表情的得分的变动幅度与正常值相比处于增加倾向的情况下，估计为所述对象者的精神健康状态在恶化。能够定量评价情绪的起伏剧烈这一症状的出现，能够高可靠地估计精神健康状态的恶化。

优选的是，所述正常值是根据存储于所述存储部的所述对象者的时间序列数据，以统计方式求出的值。通过将根据对象者自身的时间序列数据以统计方式求出的值作为正常值来使用，能够以该对象者的表情的个性(本来的样貌、正常时的表情或情绪表现等)为基准来评价表情的时间变化，因此，能够抑制个体差异引起的估计精度的降低，能够进一步提高估计处理的可靠性。

优选的是，所述健康状态估计部使用所述对象者的多天的时间序列数据，进行精神健康状态的估计。另外，优选的是，所述“最近的规定期间”是比1天长的期间。这是因为即使是健康的人，也会存在心情的起伏或情绪的变化，因此，仅凭几个小时～1天左右的期间的表情变化，不易估计此人的精神健康状态(即使能够估计，可靠性也低)。虽然也取决于要检测的“与表情的时间变化有关的特征”，但优选评价天单位、周单位、月单位、或年单位的表情变化。因此，“最近的规定期间”例如可以设定为几天、1周～几周、1个月～几个月、或1年～几年之类的期间。

此外，本发明能够作为具有上述结构或功能的至少一部分的健康管理辅助装置来掌握。另外，本发明也能够作为包含上述处理的至少一部分的健康管理辅助方法、或用于使计算机执行该方法的程序、或非暂时性记录这种程序的计算机可读取的记录介质来掌握。只要不产生技术上的矛盾，上述结构及处理就能够相互组合而构成本发明。

发明效果

根据本发明，能够基于从图像识别出的面部表情来估计此人的精神健康状态，能够提供对精神健康的管理有用的信息。

附图说明

图1是表示健康管理辅助装置的结构例的图。

图2是表示表情识别处理的流程的流程图。

图3是存储于存储部的表情识别结果的时间序列数据的一例。

图4是基于精神疾病的积极(positive)表情得分的变化的例子。

图5a是表示具体例(1)的健康状态估计部的估计逻辑的图。

图5b是表示具体例(1)的健康状态估计部的估计逻辑的图。

图6a是表示具体例(2)的健康状态估计部的估计逻辑的图。

图6b是表示具体例(2)的健康状态估计部的估计逻辑的图。

图7a是表示具体例(3)的健康状态估计部的估计逻辑的图。

图7b是表示具体例(3)的健康状态估计部的估计逻辑的图。

图8a是表示具体例(4)的健康状态估计部的估计逻辑的图。

图8b是表示具体例(4)的健康状态估计部的估计逻辑的图。

图9a是表示具体例(5)的健康状态估计部的估计逻辑的图。

图9b是表示具体例(5)的健康状态估计部的估计逻辑的图。

具体实施方式

以下，参照附图，示例性地详细说明用于实施本发明的优选的方式。但是，以下的实施方式所记载的构成元件的尺寸、材质、形状、其相对配置等只要没有特别记载，就不是将发明的范围仅限定于这些实施方式的意思。

(装置结构)

图1是表示本发明的实施方式的健康管理辅助装置的结构例的图。健康管理辅助装置1是对拍摄对象者2所得的图像进行分析，用于提供对对象者2的精神健康(心理健康)的管理有用的信息的装置。该健康管理辅助装置1可应用于对象者自身进行的自检、用于医师或顾问等专家的诊断工具、企业或学校等的心理保健等各种用途。

图1的健康管理辅助装置1作为主要的结构，具有图像取得部10、表情识别部11、存储部12、健康状态估计部13、结果输出部14。

图像取得部10具有从拍摄装置3取得图像的功能。本实施方式中，从拍摄装置3依次取入以时间序列拍摄对象者2的面部所得的多个图像。拍摄装置3由黑白或彩色照相机构成。图1中，将拍摄装置3与健康管理辅助装置1分别设置，但也可以将拍摄装置3搭载于健康管理辅助装置1。表情识别部11具有通过图像传感处理而从图像识别面部表情的特征的功能。存储部12具有将从表情识别部11输出的表情识别结果作为时间序列数据进行存储的功能。健康状态估计部13具有根据存储于存储部12的时间序列数据而检测与对象者2的表情的时间变化相关的特征，基于该检测出的特征来估计对象者2的精神健康状态的功能。结果输出部14具有输出健康状态估计部13的估计结果的功能。

拍摄乃至于取入对象者2的图像的间隔只要根据健康管理辅助装置1的用途或使用环境适当设定即可。例如，如果是评价面部表情的日内变动或遍及多日(例如几天、几周、几个月等)的变化的目的，则只要以几秒至几分钟1次左右的频率、或者几十分钟至几小时1次左右的频率拍摄乃至于取入图像即可。在对象者2总是存在于拍摄装置3的视野内的情况下，能够在预定的时间间隔或确定的时刻进行拍摄。在不限于对象者2总是存在于拍摄装置3的视野内的情况下，例如也可以采用通过人体感应传感器等能够探测到对象者2时进行拍摄、或者对象者自身按规定的频率进行自拍等的结构。

健康管理辅助装置1能够由具备cpu(处理器)、存储器、辅助存储装置、输入装置、显示装置、通信装置等的计算机构成。健康管理辅助装置1的各功能通过将存储于辅助存储装置的程序载入存储器并由cpu执行来实现。但是，也能将健康管理辅助装置1的一部分或全部功能由asic或fpga等电路实现。或者，也可以通过云计算或方差计算来实现健康管理辅助装置1的一部分功能(例如表情识别部11、存储部12、健康状态估计部13的功能)。

(表情识别结果的时间序列数据)

参照图2，说明由健康管理辅助装置1执行的表情识别处理的流程。图2是表示表情识别处理的流程的流程图。图2的处理是每次由拍摄装置3拍摄对象者2时执行的处理。

在步骤s201中，图像取得部10从拍摄装置3取得拍摄了对象者2的图像。由于以面部表情的识别为目的，因此期望是(尽可能)从正面拍摄了对象者2的面部的图像。接着，表情识别部11从图像检测面部(步骤s202)，进而检测面部器官(眼、眉、鼻、口等)(步骤s203)。面部检测及面部器官检测可以使用包括公知的方法在内的任何算法，因此省略详细的说明。

接着，表情识别部11利用步骤s202及s203的检测结果来识别对象者2的面部表情的特征(步骤s204)。在本实施方式中，基于保罗·艾克曼(paulekman)的表情分析，将面部表情分类成“愤怒”、“厌恶”、“恐惧”、“快乐”、“伤心”、“惊讶”、“严肃(无表情)”这7种。作为表情识别结果，输出将7种表情各自的程度(也称作表情估量、表情度)以合计为100的方式进行了数值化的得分。各表情的得分也被称作表情分量值。在以后的说明中，有时对7个表情标注以下的编号，并将各表情的得分记为s1～s7。

1：愤怒

2：厌恶

3：恐惧

4：快乐

5：伤心

6：惊讶

7：严肃

另外，步骤s204的表情识别可以使用包括公知的方法在内的任何算法。以下，叙述表情识别处理的一例。首先，表情识别部11基于面部器官的位置信息来提取有关面部器官的相对位置或形状的特征量。作为特征量，能够使用haar-like特征量、特征点间距离、傅立叶描述符等。接着，表情识别部11将所提取的特征量输入到7种面部表情各自的判别器，计算各表情的程度。各判别器能够通过使用了样本图像的学习而生成。最后，表情识别部11将来自7个判别器的输出值进行标准化以使其合计成为100，输出7种表情的得分(表情分量值)。

表情识别部11将表情识别结果与时间戳信息一同存储于存储部12内的数据库(步骤s205)。图3是存储于存储部12内的表情识别结果的时间序列数据的一例。各行表示从1张面部图像得到的表情识别结果。

(精神健康状态的估计)

接着，说明精神健康状态的估计处理。在本实施方式的健康管理辅助装置1中，健康状态估计部13从表情识别结果的时间序列数据检测有关对象者2的面部表情的时间变化的特征(也将该处理称作“表情数据的时间序列分析”)，基于该检测到的特征，估计对象者2的精神健康状态。通过表情数据的时间序列分析能够检测出的“有关面部表情的时间变化的特征”中有各种特征。以下，说明具体例(1)～(5)。

(1)表示积极的情绪的表情的减少(得分的降低)

作为精神疾病之一的“抑郁症”的典型的症状，有下述等：

·精神不振(心情郁闷)

·提不起兴趣

·感觉疲惫或精力衰弱

·无法专心工作或家务，无法决断

·行为或讲话迟慢、或者焦躁、不安

·食欲降低(增加)、体重增减

·睡不着，半夜或清晨醒来

·觉得自己没有价值或者觉得愧疚

·想过从这个世界上消失。

这些症状中的多数会引起面部表情的变化、例如作为“表情暗淡”、“笑脸减少”、“表情匮乏”之类的信号表现。

因此，在具体例(1)中，作为有关表情的时间变化的特征，关注“表示积极的情绪的表情的减少”。详细而言，在本实施方式中，作为表示积极情绪的程度的指标，如下定义“积极表情得分spos”。

spos＝快乐得分s4-愤怒得分s1-伤心得分s5

该积极表情得分spos如下进行设计，在对象者2的心情良好且积极的情况下表示高的值，在心境低落或焦躁的情况下表示低的值。

图4表示积极表情得分spos的日内变动的例子。在精神健康状态良好的人的情况下，通常会在一天之中有情绪的变化，因此，如图4的左侧的图表那样，得分spos大幅变动。与之相对，在抑郁症的人的情况下，如图4的右侧的图表，处于得分spos整体降低、或者得分spos的变动幅度减小的倾向。另外，作为抑郁症的典型症状，也有清晨情绪低落、随着到傍晚而情绪高涨之类的情况。因此，通过利用表情数据的时间序列分析来检测这种得分变化，可以发现作为精神疾病(特别是抑郁症)的征兆或症状的精神健康状态的变化(恶化)。在本说明书中，“精神疾病的征兆”是指在成为精神疾病之前或精神疾病的非常早期阶段出现的症状。

参照图5a、图5b，说明健康状态估计部13的处理。图5a是表示某对象者2的积极表情得分spos的变化的图表，横轴表示天数，纵轴表示积极表情得分spos的每天的平均(以下称作得分日平均dspos)。最近的得分日平均dspos处于降低的倾向，表现出精神疾病(抑郁症)的征兆。图5b表示具体例(1)的健康状态估计部13的处理流程。

步骤s500中，健康状态估计部13从存储部12读入必要的期间量(例如过去一个月量)的时间序列数据，对各数据计算积极表情得分spos。接着，健康状态估计部13计算积极表情得分spos的日平均dspos(步骤s501)。另外，健康状态估计部13取得得分日平均dspos的正常值rds(步骤s502)。正常值rds是精神健康状态处于正常状态时的得分日平均dspos的值。在此，设为将对象者2自身的得分日平均dspos的过去一个月的平均作为正常值rds使用。

接着，健康状态估计部13将最近的规定期间(例如几天～1周)量的得分日平均dspos和正常值rds进行比较，判断最近的值相对于正常值rds是否处于降低倾向(步骤s503、s504)。在此，在将得分日平均dspos的过去一个月的标准偏差设为σ时，满足

dspos＜rds－n×σ

的得分日平均dspos持续了规定期间(例如几天～1周)的情况下，判定为最近的值处于降低倾向。n是调整检测灵敏度的参数，例如设定为1～3的值。

在步骤s504中检测到得分的降低倾向的情况下，健康状态估计部13输出对象者2的精神健康状态在恶化这一估计结果(步骤s505)。相反，在未检测到得分的降低倾向的情况下，健康状态估计部13输出在对象者2的精神健康状态上没有变化这一估计结果(步骤s506)。由此，能够自动且早期地发现对象者2的精神疾病的征兆或症状(例如疑似抑郁症)。

(2)表示积极情绪的表情的减少(得分的变动幅度的减少)

如图4所说明，在抑郁状态下，积极表情得分spos的变动幅度有减少的倾向。因此，在具体例(2)中，通过检测积极表情得分spos的方差的降低，从而发现精神疾病(特别是抑郁症)的征兆或症状。

参照图6a、图6b，说明健康状态估计部13的处理。图6a是表示某对象者2的积极表情得分spos的变化的图表，横轴表示天数，纵轴表示积极表情得分spos的每天的方差(以下称作得分日方差vspos)。最近的得分日方差vspos处于降低倾向，表现出精神疾病(抑郁症)的征兆。图6b表示具体例(2)的健康状态估计部13的处理流程。

在步骤s600中，健康状态估计部13从存储部12读入必要的期间量(例如过去一个月量)的时间序列数据，对各数据计算积极表情得分spos。接着，健康状态估计部13计算积极表情得分spos的日方差vspos(步骤s601)。另外，健康状态估计部13取得得分日方差vspos的正常值rvs(步骤s602)。正常值rvs是精神健康状态处于正常状态时的得分日方差vspos的值。在此，设为将对象者2自身的得分日方差vspos的过去一个月的平均作为正常值rvs来使用。

接着，健康状态估计部13将最近的规定期间(例如几天～1周)量的得分日方差vspos和正常值rvs进行比较，判断最近的值相对于正常值rvs是否处于降低倾向(步骤s603、s604)。在此，在将得分日方差vspos的过去一个月的标准偏差设为σ时，满足

vspos＜rvs－n×σ

的得分日方差vspos持续了规定期间(例如几天～1周)的情况下，判定为最近的得分日方差处于降低倾向(即，得分变动幅度处于减少倾向)。n是调整检测灵敏度的参数，例如被设定为1～3的值。

在步骤s604中检测到得分变动幅度的减少倾向的情况下，健康状态估计部13输出对象者2的精神健康状态在恶化这一估计结果(步骤s605)。相反，在未检测到得分变动幅度的减少倾向的情况下，健康状态估计部13输出在对象者2的精神健康状态上没有变化这一估计结果(步骤s606)。由此，能够自动且早期地发现对象者2的精神疾病的征兆或症状(例如，疑似抑郁症)。

此外，虽然在具体例(2)中检测了得分日方差的降低，但通过检测积极表情得分spos的值超过阈值的频率或时间的减少，也能够掌握得分变动幅度的减少倾向。

(3)清晨和傍晚之间的表情的变化

如图4所说明，作为抑郁症的典型症状，有清晨情绪低落、随着到傍晚而情绪高涨之类的情况。因此，在具体例(3)中，通过评价积极表情得分spos的日内变动，从而发现精神疾病(特别是抑郁症)的征兆或症状。

参照图7a、图7b，说明健康状态估计部13的处理。图7a是表示抑郁症的人所表现出的积极表情得分spos的日内变动的图表，横轴表示时间，纵轴表示积极表情得分spos。清晨的得分最低，随着时间经过，得分逐渐上升，傍晚的得分与清晨相比，相对升高。图7b表示具体例(3)的健康状态估计部13的处理流程。

在步骤s700，健康状态估计部13从存储部12读入一天量的时间序列数据，对各数据计算积极表情得分spos。接着，健康状态估计部13计算清晨和傍晚各自的积极表情得分spos的平均(步骤s701)。在此，根据上午7点～上午9点的数据求出清晨的得分平均aspos，根据下午4点～下午6点的数据求出傍晚的得分平均pspos。

接着，健康状态估计部13计算清晨的得分平均aspos和傍晚的得分平均pspos的差δspos(＝pspos－aspos)(步骤s702)，将差δspos与阈值th1进行比较(步骤s703)。在差δspos大于阈值th1的情况下(步骤s703；是)，健康状态估计部13输出对象者2的精神健康状态在恶化这一估计结果(步骤s704)。相反，在差δspos为阈值th1以下的情况下(步骤s703；否)，健康状态估计部13输出在对象者2的精神健康状态上没有变化这一估计结果(步骤s705)。由此，能够自动且早期地发现对象者2的精神疾病的可能性(例如疑似抑郁症)。

此外，在具体例(3)中，仅评价了一天量的日内变动，但也可以在评价最近几天量的日内变动且图7a那样的日内变动持续了几天的情况下，判断为精神健康状态的恶化。

(4)表情的出现比例的变化

在作为精神疾病之一的“痴呆症”的情况下，作为行动/心理症状，有下述等：

·不安及焦燥

·郁闷状态

·幻觉及妄想

·兴奋及暴力。

这些症状引起情绪表现的变化(人格的变化)，例如有时作为“易怒”、“情绪的起伏剧烈”、“厌恶或伤心的表情增加”之类的信号表现。

因此，在具体例(4)中，通过评价7种表情的出现比例的变化，发现精神疾病(特别是痴呆症)的征兆或症状。

参照图8a、图8b，说明健康状态估计部13的处理。图8a是表示7种表情的出现比例的图表，横轴表示表情的编号(1：愤怒、2：厌恶、3：恐惧、4：快乐、5：伤心、6：惊讶、7：严肃)，纵轴表示得分s1～s7的月平均。可知在精神健康状态为良好时，如左侧的图表，“4：快乐”或“5：伤心”的表情多，与之相对，因痴呆症的症状，如右侧的图表，“4：快乐”的表情减少，“1：愤怒”或“2：厌恶”的表情增多。图8b表示具体例(4)中的健康状态估计部13的处理流程。

在步骤s800中，健康状态估计部13从存储部12读入必要的期间量(例如过去两个月量)的时间序列数据，计算7种表情各自的得分s1～s7的每个月的平均(得分月平均ms1～ms7)(步骤s800)。另外，健康状态估计部13取得得分月平均ms1～ms7的正常值rms1～rms7(步骤s801)。正常值rms1～rms7是精神健康状态处于正常状态时的得分月平均ms1～ms7的值。在此，设为将对象者2自身的过去(例如一个多月以前)的得分月平均ms1～ms7作为正常值rms1～rms7来使用。

接着，健康状态估计部13通过下式，计算得分月平均ms1～ms7和正常值rms1～rms7的差δs(步骤s803)。

δs＝σ(|rmsi－msi|)(i＝1，2，…，7)

该差δs是表示最近的规定期间(在此为一个月)和正常时的期间的表情的出现比例的变化的大小的指标。

健康状态估计部13将差δs与阈值th2进行比较(步骤s803)。而且，在差δs比阈值th2大的情况下(步骤s803；是)，健康状态估计部13输出对象者2的精神健康状态在恶化这一估计结果(步骤s804)。相反，在差δs为阈值th2以下的情况下(步骤s803；否)，健康状态估计部13输出在对象者2的精神健康状态上没有变化这一估计结果(步骤s805)。由此，能够自动且早期地发现对象者2的精神疾病的征兆或症状(例如疑似痴呆症)。

此外，在具体例(4)中，评价了月平均，但也可以使用多天的平均或多周的平均来进行评价。另外，也可以不使用7种表情所有的得分，而只将因痴呆症而出现增多或减少的表情(例如“愤怒”、“厌恶”、“快乐”)的得分用于评价。

(5)情绪的起伏的激化

如上述，作为痴呆症的症状，有情绪的起伏变得剧烈的情况。因此，在具体例(5)中，通过检测7种表情中的任一表情的得分的变动幅度的增加，从而发现痴呆症的征兆或症状。

参照图9a、图9b，说明健康状态估计部13的处理。图9a是表示某一对象者2的愤怒得分s1的变化的图表，横轴表示天数，纵轴表示愤怒得分s1的每天的方差(以下称作得分日方差vs1)。最近的得分日方差vs1处于上升倾向，表现出精神疾病(痴呆症)的征兆。图9b表示具体例(5)中的健康状态估计部13的处理流程。

在步骤s901中，健康状态估计部13从存储部12读入必要的期间量(例如过去一个月量)的时间序列数据，计算愤怒得分s1的日方差vs1。另外，健康状态估计部13取得得分日方差vs1的正常值rvs1(步骤s902)。正常值rvs1是精神健康状态处于正常状态时的得分日方差vs1的值。在此，设为将对象者2自身的得分日方差vs1的过去一个月的平均作为正常值rvs1来使用。

接着，健康状态估计部13将最近的规定期间(例如几天～1周)量的得分日方差vs1和正常值rvs1进行比较，判断最近的值相对于正常值rvs1是否处于上升倾向(步骤s903，s904)。在此，在将得分日方差vs1的过去一个月的标准偏差设为σ时，满足

vs1＞rvs1+n×σ

的得分日方差vs1持续了规定期间(例如几天～1周)的情况下，判定为最近的得分日方差处于上升倾向(即，愤怒得分的变动幅度处于增加倾向)。n是调整检测灵敏度的参数，例如被设定为1～3的值。

在步骤s904中，在检测到愤怒得分的变动幅度的增加倾向的情况下，健康状态估计部13输出对象者2的精神健康状态在恶化这一估计结果(步骤s905)。相反，在未检测到愤怒得分的变动幅度的增加倾向的情况下，健康状态估计部13输出在对象者2的精神健康状态上没有变化这一估计结果(步骤s906)。由此，能够自动且早期地发现对象者2的精神疾病的征兆或症状(例如疑似痴呆症)。

此外，在具体例(5)中检测了得分日方差的上升，但通过检测愤怒得分s1的值超过阈值的频率或时间的增加，也能够掌握愤怒得分的变动幅度的增加倾向。另外，不仅可以评价愤怒得分s1，而且还可以评价其它表情的得分(例如厌恶得分s2)的方差或变动幅度。

本实施方式的健康状态估计部13具有上述的具体例(1)～(5)中的一个或多个估计逻辑。但是，这些估计逻辑只不过是基于有关表情的时间变化的特征来估计精神健康状态的处理的一例，也可以将这些以外的估计逻辑安装于健康状态估计部13。

(估计结果的输出)

如上，如果得到健康状态估计部13估计的估计结果，则结果输出部14基于该估计结果而输出有关对象者2的精神健康状态的信息。输出目的地的设备、输出信息、输出方法是任意的，能够根据健康管理辅助装置1的用途或结构适当变更。例如，结果输出部14能够在显示装置上显示图像或消息、或者对扬声器输出声音信息、或者向外部装置(智能手机、其它计算机、外部存储器等)传送信息。作为输出的信息，例如只要是精神疾病的可能性、应对策略或建议(advice)等对心理保健有用的信息，则可以输出任何信息。另外，也可以输出图5a、图6a、图7a、图8a、图9a所示的表示表情的时间变化的图表。通过观察这种图表(时间变化)，能够直观地理解精神健康状态的好坏或倾向等。

此外，在健康状态估计部13具有多个估计逻辑的情况下，结果输出部14可以分别输出通过各逻辑得到的估计结果，也可以输出综合了多个逻辑的估计结果的结果(例如在任一逻辑中判定为真(true)(＝精神健康状态在恶化)就输出真(true)的方法、仅在所有的逻辑中判定为真(true)时才输出真(true)的方法等)。

(健康管理辅助装置的应用例)

作为健康管理辅助装置1的应用例，例如假定以下的例子。

(应用例1)职场的健康管理

通过设置于桌子或天花板的传感器定期拍摄正在工作的对象者(伏案工作人员等)的面部。健康管理辅助装置1(服务器)经由lan从各传感器收集图像，进行各对象者的表情识别及健康状态估计，蓄积估计结果。当检测到精神疾病的征兆时，将该信息通知给上司。另外，上司能够访问健康管理辅助装置1，确认下属的心理健康状态。根据这种系统，上司能够将下属的心理健康状态作为实时且客观的信息进行确认，因此，能够迅速觉察到心理健康的降低或精神疾病的征兆。而且，能够迅速采取进行面谈、或减轻工作负担、或者早期与健康管理室合作等适当的行动。

(应用例2)关注老人

对象者是独居老人。通过设置于电视机或厨房的传感器定期拍摄对象者的面部。设置于家庭内的健康管理辅助装置1从传感器收集图像，进行对象者的表情识别及健康状态估计，将估计结果上传到云服务器。分开居住的家族、社会工作者、医生等在必要时访问云服务器，能够确认对象者的心理健康状态。或者，从云服务器接收对象者的心理健康状态的通知。根据这样的系统，能够远距离简单地确认独居老人的健康状态，也能够早期发现痴呆症的征兆等。

(应用例3)在自家的自我诊断

通过设置于梳妆台或洗手盆的传感器定期拍摄对象者的面部。健康管理辅助装置1(例如智能手机的应用)从传感器收集图像，进行对象者的表情识别及健康状态估计，蓄积估计结果。根据这种系统，用户能够在必要时在智能手机上检查自身的心理健康状态。

以上所述的本实施方式的结构具有如下的优点。健康管理辅助装置1关注有关面部表情的时间变化的特征，因此，能够检测作为面部表情的变化表现的精神健康状态的变化(恶化或好转)，与仅通过一张图像上的面部表情进行估计相比，能够获得高可靠的估计结果。而且，因为能够自动且早期获得这种高可靠的估计结果，所以能够适时提供与对象者的精神健康状态对应的有用的信息，能够适当辅助对象者的精神健康管理。另外，如具体例(1)～(5)所述，因为基于将7种表情数值化的得分的时间序列数据来定量评价表情的时间变化，所以能够高可靠性地估计与抑郁症或痴呆症等精神疾病相关的精神健康状态的恶化。进而，通过将从对象者自身的时间序列数据以统计方式求出的值(上述的例子中为平均值)作为正常值使用，能够以该对象者的表情的个性(本来的样貌、正常时的表情或情绪表现等)为基准而评价表情的时间变化，因此，能够抑制个体差异引起的估计精度的降低，能够进一步提高估计处理的可靠性。

此外，上述的实施方式的结构只不过示出本发明的一具体例，不是限定本发明的范围的意思。本发明在不脱离其技术思想的范围内能够采用各种具体的结构。例如，在上述实施方式中，使用了7种表情分类，但也可以使用其它表情分类。另外，在上述实施方式中，根据快乐得分、愤怒得分和伤心得分生成积极表情得分，但积极表情得分的定义不限于此。例如，也可以将7种表情中的一个(例如快乐得分)直接作为积极表情得分来选择并使用。另外，在上述实施方式中，作为精神疾病的例子，举出抑郁症和痴呆症，但只要是在面部表情上表现征兆(信号)的精神疾病，本发明的方法就有效。例如，假定分离性障害、适应性障害、精神分裂症、恐慌症/焦虑症等。另外，作为表情数据的时间序列分析，也可以应用回归分析、频率分析、倾向估计等任何方法。另外，在上述实施方式中，作为正常值，使用了平均值，但只要是根据对象者自身的时间序列数据以统计方式求出的值，则也优选使用其它统计值(例如中间值、最频值等)。

有关用于时间序列分析的表情数据的期间，能够根据估计逻辑、表情的时间变化的特征、精神疾病或其征兆/症状的种类等，以天单位、周单位、月单位、或年单位适当设定。在上述具体例(1)等中，以最近的几天～1周的表情作为评价对象，将其与以统计方式求出的正常值进行了比较，但对评价对象进行采样的期间能够设定为几天、1周～几周、1个月～几个月、或1年～几年等期间。同样，对正常值进行采样的期间也能够设定为几天、1周～数周、1个月～几月、或1年～数年等期间。例如，考虑如果最近的一个月的积极表情得分与之前的得分相比在恶化(得分降低或变动幅度减少)，则判定为“精神健康状态的恶化”，进而如果该状态持续三个月，则判定为“抑郁症的可能性高”。

另外，根据精神疾病，症状存在季节变动。在有季节变动的情况下，可以从与对评价对象进行采样的期间相同季节的过去的数据中，对正常值进行采样。例如，在以年单位评价痴呆症的症状发展的情况下，考虑将今年的最近一个月的表情和过去几年的同一月的表情进行比较。

在上述具体例(1)中，在检测到积极表情得分spos比正常值低的情况下，判定为“精神健康状态的恶化”，但相反，也能够在检测到积极表情得分spos比正常值上升的情况下，判定为“精神健康状态的好转”。例如，在将得分日平均设为dspos，将正常值设为rds，将得分日平均dspos的过去一个月的标准偏差设为σ，将调整检测灵敏度的参数设为n时，满足

dspos＞rds+n×σ

的得分日平均持续了规定期间的情况下，能够判定为最近的值处于上升倾向。同样，也可以在检测到积极表情得分spos的变动幅度比正常值(过去的统计值)增加的情况下，判定为“精神健康状态的好转”。

另外，除积极表情得分spos之外，也可以关注将表示消极情绪的表情的程度数值化的消极表情得分sneg的时间变化。伤心的表情、愤怒的表情等符合表示消极情绪的表情，消极表情得分sneg例如能够如下定义。

sneg＝伤心得分s5+愤怒得分s1

具体而言，在消极表情得分sneg相较于正常值上升的情况、或消极表情得分sneg的变动幅度相较于正常值增加的情况下，能够判定为“精神健康状态的恶化”。相反，在消极表情得分sneg相较于正常值降低的情况、或消极表情得分sneg的变动幅度相较于正常值减少的情况下，能够判定为“精神健康状态的好转”。另外，也能代替具体例(3)的积极表情得分spos，评价消极表情得分sneg的日内变动，在消极表情得分sneg在清晨高且在傍晚相对低的情况下，判定为”精神健康状态的恶化”。

标号说明

1：健康管理辅助装置

2：对象者

3：拍摄装置

10：图像取得部

11：表情识别部

12：存储部

13：健康状态估计部

14：结果输出部