情绪监视系统的制作方法
【专利摘要】情绪监视系统(1)的特征在于具备：面部图像取得部(3)，能够针对车辆的两个以上的就坐位置，取得就坐于该就坐位置的乘客(101)的面部图像；情绪信息取得部(13)，基于由所述面部图像取得部取得的面部图像，取得表示所述乘客的情绪的情绪信息；以及情绪显示制作部(15)，制作与由所述情绪信息取得部取得的情绪信息对应的情绪显示。
【专利说明】情绪监视系统
[0001] 相关申请的交叉引用
[0002] 本申请基于2012年4月10日提交的日本专利申请2012-89493,在此引用其记载 内容。
【技术领域】
[0003] 本申请涉及一种情绪监视系统。
【背景技术】
[0004] 在专利文献1中，公布了以下技术。取得车辆内的多位乘客的面部表情，将各乘客 的表情的良好度与车外环境建立关联地学习，并按照时序进行检测。并且，提议乘客表情保 持为良好的行驶路线（车外环境）。
[0005] 在先技术文献
[0006] 专利文献
[0007] 专利文献1 :特开2011 - 117905号公报
【发明内容】
[0008] 在专利文献1所述的技术中，有关乘客的面部表情的信息仅用于路线选择支援处 理，并不显示，因此各乘客无法了解其他乘客的情绪。本申请就是鉴于上述问题点而提出 的，其目的在于提供一种能够使各乘客了解其他乘客的情绪的情绪监视系统。
[0009] 本申请的一方面的情绪监视系统具备：面部图像取得部，能够针对车辆的两个以 上的就坐位置，取得就坐于该就坐位置的乘客的面部图像；情绪信息取得部，基于由面部图 像取得部取得的面部图像取得表示乘客的情绪的情绪信息；以及情绪显示制作部，制作与 由情绪信息取得部取得的情绪信息对应的情绪显示。
[0010] 本方面的情绪监视系统例如在车辆内有多位乘客时，能够制作表示各乘客的情绪 的情绪显示。因此，即使乘客例如就坐于其他乘客无法直接看到的位置，也能够轻松地注意 到那位乘客的异常情况等。
【专利附图】
【附图说明】
[0011] 通过一边参照附图一边进行下述的详细记述，有关本申请的上述目的以及其他目 的、特征或优点将会变得更为明确。
[0012] 图1为表示情绪监视系统的构成的框图，
[0013] 图2为表示情绪监视系统所执行的主处理的流程图，
[0014] 图3为表示情绪监视系统所执行的情绪判定处理的流程图，
[0015] 图4为表示情绪监视系统所执行的情绪显示制作处理的流程图，
[0016] 图5为表示乘客面部的AU(Action Unit :动作单元）的说明图，
[0017] 图6为表示情绪显示的显示例的说明图，
[0018] 图7为表示情绪显示的显示例的说明图，
[0019] 图8为表示情绪显示的显示例的说明图，
[0020] 图9为表示情绪显示的显示例的说明图。
【具体实施方式】
[0021] 1.情绪监视系统1的构成
[0022] 基于图1说明情绪监视系统1的构成。情绪监视系统1为搭载于车辆的车载系统， 具备相机（camera，面部图像取得部）3、就坐位置检测部5、乘客识别部7、存储部9、特征量 提取部11、情绪判定部（情绪信息取得部）13、情绪显示制作部15、存储部（第1存储部、第 2存储部）17、以及界面（interface)部19。就坐位置检测部5、乘客识别部7、特征量提取 部11、情绪判定部13、以及情绪显示制作部15由公知的计算机构成。
[0023] 相机3设置于车室内的顶棚，其摄像范围覆盖车室内的所有就坐位置（驾驶席、副 驾驶席、后侧右座席，后侧左座席等）。因而，相机3能够针对车室内的所有就坐位置拍摄就 坐于该就坐位置的乘客101的面部以及身体。另外，亦可针对各就坐位置逐一设置相机3。 此时，各相机3拍摄就坐于所对应的就坐位置的一位乘客101的面部以及身体。另外，作为 相机3而言，亦可设置拍摄车室内的前方（驾驶席以及副驾驶席）的相机以及拍摄车室内 的后方（后侧座席）的相机。
[0024] 就坐位置检测部5根据由相机3拍摄的图像检测乘客101的就坐位置。即、通过 图像识别，判断在由相机3拍摄的图像中，在各就坐位置，乘客101是否就坐。
[0025] 乘客识别部7使用由相机3拍摄的图像，识别乘客101。详细后述。
[0026] 存储部9存储用于识别乘客101的识别符。该识别符为能够通过图像识别从图像 中提取的各乘客固有的特征，例如，能够列举出面部的图案（眼、鼻、嘴等的面部要素的形 状或大小、面部要素相互之间的位置关系等）、衣服的形状或颜色、体型等。存储部9针对各 乘客存储以往登记的乘客101的识别符。另外，在存储部9中，能够与识别符建立关联地存 储就坐位置、后述的情绪信息、以及乘客的名称等。另外，存储部9存储情绪判定部13在判 定情绪时所参照的数据库。
[0027] 另外，在本申请中，"信息"既可作为不可数名词使用亦可作为可数名词使用。
[0028] 特征量提取部11根据由相机3拍摄的图像识别乘客101的面部，进而，通过图像 处理在其面部中提取预先设定的特征量（AU)。若在由相机3拍摄的图像中识别出多位乘客 101的面部，则针对各位乘客提取特征量（AU)。另外，特征量提取的细节后述。
[0029] 情绪判定部13根据由特征量提取部11提取的特征量（AU)判定乘客101的情绪， 制作情绪信息。若在由相机3拍摄的图像中识别出多位乘客101的面部，则针对各位乘客 制作情绪信息。另外，情绪信息的制作的细节后述。
[0030] 情绪显示制作部15使用情绪判定部13所制作的情绪信息，制作情绪显示。另外， 情绪显示制作部15也会制作通知声音。情绪显示以及通知声音的制作的细节后述。
[0031] 存储部17存储情绪显示制作部15在制作情绪显示以及通知声音时所使用的映射 (与情绪信息的种类有关的基准、情绪的强烈程度与情绪显示的形态的对应关系）。该映射 中，存在两种映射，即（i)按每位乘客101存储、且与该乘客101的识别符建立了关联的映 射，以及（ii)通用的映射。有关映射的内容以后会详述。
[0032] 界面部19具备能够显示图像的显示器19a、能够输出声音的扬声器19b、能够输 入声音的麦克风19c、以及接受乘客101的输入操作的操作部（键盘、各种开关、触控面板 等）19d。界面部19在显示器19a上显示情绪显示制作部15所制作的情绪显示。另外，通 过扬声器19发出情绪显示制作部15所制作的通知声音。另外，通过针对麦克风19c的声 音输入或针对操作部19d的输入操作，能够对存储于存储部17的映射进行编辑（新的映射 的追加、针对已有的映射的内容的追加或更新、映射的删除等）。
[0033] 界面部19的显示器19a可设为车辆的驾驶员能够观察的显示器（例如其他乘客 难以观看、或无法看到的显示器）。作为这样的显示器19a而言，例如，能够列举出仪表的显 示画面、导航画面的双显示器显示画面等。另外，显示器19a亦可为驾驶员以外的部分或所 有乘客能够观看的显示器（例如驾驶员难以观看、或无法看到的显示器）。作为这样的显示 器19a而言，例如，能够列举出设置在座椅的背面侧或顶棚的显示器。另外，显示器19a亦 可为驾驶员与其他乘客双方均能够观看的显示器。
[0034] 2.情绪监视系统1所执行的处理
[0035] 基于图2?图8说明情绪监视系统1所执行的处理。
[0036] 在此，该申请所述的流程图或者流程图的处理由多个段（或者说是步骤）构成，各 段例如表现为Sl。进而，各段能够分割为多个子段，另一方面，也能够多段合并来形成一个 段。进而，这样构成的各段可以作为器件、模块、手段。
[0037] 情绪监视系统1在搭载有该系统的车辆的点火开关为"打开"期间，按规定时间反 复执行图2所示的处理。在图2的Sl中，相机3取得覆盖车辆的所有就坐位置的范围的图 像。若乘客就坐于车辆内的任意的就坐位置，则所述的图像中包含有该乘客的面部以及身 体。另外，若乘客分别就坐于车辆内的两个以上的就坐位置，则所述的图像中包含所有乘客 的面部以及身体。
[0038] 在S2中，就坐位置检测部5通过对在所述Sl取得的图像进行图像解析，按车辆的 每个就坐位置判断乘客是否就坐。
[0039] 在S3中，乘客识别部7针对在所述S2中判断为乘客就坐的所有的就坐位置，如下 地执行就坐的乘客的识别。首先，针对在所述S2中判断为乘客就坐的一个就坐位置a，使 用在所述Sl取得的图像提取就坐于该就坐位置a的乘客的识别符。接着，将提取的识别 符与已经存储于存储部9的识别符进行对比。就对比的结果而言，若在存储于存储部9的 识别符之中，存在与就坐于就坐位置a的乘客的识别符相同或者相近似的识别符，则将该 识别符与就坐位置a建立关联地存储于存储部9。另一方面，就对比的结果而言，若在存储 于存储部9的识别符之中，不存在与就坐于就坐位置a的乘客的识别符相同或者相近似的 识别符，则将就坐于就坐位置a的乘客的识别符与就坐位置a建立关联地新存储于存储 部9。
[0040] 不仅针对就坐位置a，针对在所述S2中判断为乘客就坐的所有的就坐位置3、 Y ? --也同样地执行上述的处理。
[0041] 在S4中，针对在所述S2中判断为乘客就坐的就坐位置，执行取得表示乘客的情绪 的情绪信息的情绪判定处理。若在所述S2中判断为乘客就坐的就坐位置存在多个，则针对 该所有多个就坐位置取得乘客的情绪信息。
[0042] 基于图3说明该情绪判定处理。在图3的Sll中，由相机3按规定时间反复取得 覆盖车室内的所有就坐位置的图像。
[0043] 在S12中，特征量提取部11通过针对在所述Sll中反复取得的各图像（包含乘客 的面部的面部图像）进行图像解析，提取乘客的面部的特征部（例如，眉毛、眼睑、嘴），进 而，提取伴随时间经过的特征部的动作（以下，称为AU(Action Unit:动作单元））。作为 AU,有表1以及图5所示的单元。
[0044] 另外，图5中的R、L是指面部的右、左。
[0045] [表 1]
【权利要求】
1. 一种情绪监视系统（1)，其特征在于，具备： 面部图像取得部（3)，能够针对车辆的两个以上的就坐位置，取得就坐于该就坐位置的 乘客（101)的面部图像； 情绪信息取得部（13)，基于由所述面部图像取得部取得的面部图像，取得表示所述乘 客的情绪的情绪信息；以及 情绪显示制作部（15)，制作与由所述情绪信息取得部取得的所述情绪信息对应的情绪 显不。
2. 如权利要求1所述的情绪监视系统，其特征在于，具备： 显示部（19a)，将所述情绪显示与该情绪显示所对应的所述乘客的所述就坐位置建立 关联地显示。
3. 如权利要求1或2所述的情绪监视系统，其特征在于， 该情绪监视系统具备第1存储部（17)，该第1存储部（17)存储与所述情绪信息的种类 有关的基准， 所述情绪显示制作部针对符合与所述情绪信息的种类有关的基准的所述情绪信息制 作所述情绪显示。
4. 如权利要求3所述的情绪监视系统，其特征在于， 该情绪监视系统具备乘客识别部（7)，该乘客识别部（7)识别所述乘客， 所述第1存储部按每个所述乘客存储与所述情绪信息的种类有关的基准， 所述情绪显示制作部基于所述乘客识别部的识别结果，按每个所述乘客使用与该乘客 对应的与所述情绪信息的种类有关的基准。
5. 如权利要求1至4的任一项所述的情绪监视系统，其特征在于， 所述情绪信息包含所述情绪的强烈程度， 该情绪监视系统具备第2存储部（17)，该第2存储部（17)存储所述情绪的强烈程度与 所述情绪显不的形态的对应关系， 所述情绪显示制作部基于所述对应关系决定所制作的所述情绪显示的形态。
6. 如权利要求5所述的情绪监视系统，其特征在于， 该情绪监视系统具备乘客识别部（7)，该乘客识别部（7)识别所述乘客， 所述第2存储部按每个所述乘客存储所述对应关系， 所述情绪显示制作部基于所述乘客识别部的识别结果，按每个所述乘客使用与该乘客 对应的所述对应关系。
【文档编号】B60R11/04GK104244824SQ201380019356
【公开日】2014年12月24日 申请日期:2013年4月4日 优先权日:2012年4月10日
【发明者】蜂须贺知理, 野添聪司, 盐谷武司, 坂井诚 申请人:株式会社电装