图像处理装置及图像处理程序的制作方法

1.本发明涉及对由拍摄部拍摄到的影像进行处理的图像处理装置及图像处理程序。


背景技术：

2.2020年至当前，covid-19(以下，称为新型冠状病毒)的感染在全世界扩展开来。作为新型冠状病毒的感染防御对策，举出口罩、洗手、确保社交距离等。另外，为了预防经由物品的感染，要求对人接触的物品进行擦拭消毒。
3.存在许多人聚集在会议室和会展中心的情况，并且存在集群感染的风险。在会议室、会展中心使用结束后，需要仔细地进行清扫、消毒。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2011-257849号公报


技术实现要素：

7.然而，在需要短时间内进行清扫、消毒的情况下，难以细致地清扫、消毒整个房间。在对房间进行清扫、消毒时，如果知道有可能附着病毒的场所，则能够优先对该场所进行消毒，能够使消毒作业高效化。
8.本实施方式是鉴于这样的状况而完成的，其目的在于提供一种辅助空间高效消毒的技术，所述空间存在病毒附着在某处的可能性。
9.为了解决上述课题，本实施方式的某个方式的图像处理装置具备：影像获取部，获取由拍摄部拍摄的有人的空间的影像；影像解析部，解析所获取的影像来检测所述人在所述空间内停留的场所；以及图像生成部，生成显示用图像，从所述显示用图像中能够识别从所述拍摄部开始拍摄起所述人停留的所有停留场所。
10.另外，将以上的构成要素的任意组合、本实施方式的表现在装置、方法、系统、记录介质、计算机程序等之间变换后的方案也作为本实施方式的方案是有效的。
11.根据本实施方式，能够辅助空间的高效消毒，所述空间存在病毒附着在某处的可能性。
附图说明
12.图1是示出车辆内的拍摄装置的设置例的图。
13.图2是示出实施方式1所涉及的人监视系统的结构例的图。
14.图3是示出实施方式1所涉及的在车辆行驶中拍摄到的帧图像的一例的图。
15.图4是示出实施方式1所涉及的接触场所图像的一例的图。
16.图5是示出实施方式1所涉及的接触场所图像的另一例的图。
17.图6是示出实施方式2所涉及的停留场所图像的第一例的图。
18.图7是示出实施方式2所涉及的停留场所图像的第二例的图。
19.图8(a)-图8(c)是示出实施方式2所涉及的停留场所图像的第三例的图。
20.图9是示出实施方式2所涉及的停留场所图像的第四例的图。
21.图10是示出实施方式2所涉及的停留场所图像的第五例的图。
22.图11是示出实施方式3所涉及的人监视系统的结构例的图。
具体实施方式
23.本发明的实施方式1涉及人监视系统，该系统利用设置于车厢内的相机拍摄乘员，监视并记录乘员用手触摸的场所。
24.图1是示出车辆c1内的拍摄装置10的设置例的图。在图1中，拍摄装置10安装于室内后视镜。另外，拍摄装置10也可以设置在中央遮阳板、中控台上。另外，拍摄装置10也可以以从上方俯视车厢内的方式设置于车厢内的顶棚。例如，如果使用圆周鱼眼镜头，则能够将车厢内的半球状的整个周围收敛于视场角。
25.作为拍摄装置10，可以设置专用的相机，也可以使用行车记录仪、车厢内监控系统的相机。车厢内监控系统是对包含副驾驶座、后部座位在内的整个车厢进行监控的系统，除了驾驶员瞌睡、侧视以外，还能够检测坐在副驾驶座或后部座位上乘员数量、包含驾驶员在内的乘员全员有无安全带的佩戴等。
26.拍摄装置10具备透镜、固体拍摄元件、信号处理电路。固体拍摄元件例如能够使用cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)图像传感器或ccd(charge coupled devices，电荷耦合器件)图像传感器。固体拍摄元件将经由透镜入射的光变换为电气的影像信号，并输出到信号处理电路。信号处理电路对从固体拍摄元件输入的影像信号实施a/d转换、噪声去除等信号处理，并输出至图像处理装置20。
27.拍摄装置10也可以具备用于生成距离图像的深度传感器。作为深度传感器，例如可以使用3d-lidar(light detectionand ranging，光探测和测距)。lidar向拍摄方向照射激光，测量到接收到其反射光为止的时间，检测到位于拍摄方向的物体的距离。另外，拍摄装置10也可以由双目立体相机构成。在该情况下，即使不设置深度传感器，也能够基于2个图像的视差生成距离图像。
28.图2是示出实施方式1所涉及的人监视系统1的结构例的图。人监视系统1具备图像处理装置20、显示装置30、记录介质40和声音输出装置50。图像处理装置20包括影像获取部21、影像解析部22、图像保持部23、图像生成部24以及警告控制部25。这些构成要素能够通过硬件资源与软件资源的协作、或者仅通过硬件资源来实现。作为硬件资源，能够利用cpu、rom、ram、gpu(graphics processing unit，图形处理单元)、dsp(digital signal processor，数字信号处理器)、isp(image signal processor，图像信号处理器)、asic(application specific integrated circuit，专用集成电路)、fpga(field-programmable gate array，现场可编程门阵列)、其它lsi。作为软件资源，能够利用固件等程序。
29.图像处理装置20可以安装在专用的ic基板上，也可以与汽车导航系统或行程记录仪系统集成安装。另外，图像处理装置20也可以构成为智能手机、平板电脑等通用的信息终端装置的一个功能。拍摄装置10与图像处理装置20之间通过有线或无线方式连接。在图像处理装置20安装在专用的ic基板上的情况下，图像处理装置20和拍摄装置10可以设置在相
同的框体内，也可以设置在不同的框体内。
30.影像获取部21获取由拍摄装置10拍摄到的影像。影像解析部22对由影像获取部21获取的影像进行解析。在实施方式1中，影像解析部22检测乘员在车厢内用手触摸的场所。
31.影像解析部22包括对象物识别部22a、对象物追踪部22b以及三维空间识别部22c。对象物识别部22a在由影像获取部21获取的影像的帧内搜索对象物。对象物识别部22a具有对拍摄了特定对象物的多个图像进行学习而生成的特定对象物识别器作为辞典数据。在实施方式1中，准备人手识别器。人手识别器至少包括手背打开的状态的识别器。另外，作为手识别器，优选准备从各种角度观察各种状态的手的多个识别器。
32.另外，除了人手识别器以外，还可以准备存在于车厢内的各种装备件的识别器。例如，也可以准备方向盘、安全带、换挡杆等的识别器。
33.对象物识别部22a使用各对象物的识别器来搜索影像的帧内。对象物的识别例如能够使用hog(histograms of oriented gradients定向梯度直方图)特征量。此外，也可以使用haar-like特征量、lbp(local binary patterns局部二进制模式)特征量等。在帧内存在对象物的情况下，对象物识别部22a用矩形的检测框补充该对象物。
34.对象物追踪部22b在后续的帧内追踪对象物识别部22a识别出的对象物。对于对象物的跟踪，例如，可以使用粒子滤波器或均值漂移法。在实施方式1中进行跟踪的对象物是由对象物识别部22a识别出的人手。
35.三维空间识别部22c将由对象物识别部22a检测出的对象物映射到由从拍摄装置10获取的距离图像确定的三维空间内。在实施方式1中，三维空间识别部22c在三维空间内检测乘员的手接触的场所。在将存在于车厢内的装备件也识别为对象物的情况下，也能够确定乘员的手接触的装备件。
36.三维空间识别部22c在检测到乘员的手与装备件接触的状态的帧图像时，将检测到的帧图像暂时保存于图像保持部23。图像保持部23是用于暂时存储帧图像的易失性存储器。
37.图像生成部24基于存储在图像保持部23中的帧图像生成接触场所显示用的图像(以下，称为接触场所图像)，所述接触场所显示用的图像使得用户能够识别从拍摄装置10开始拍摄起乘员在车厢内所触摸的所有接触场所。图像生成部24也可以生成越是乘员用手触摸的可能性高的场所越以高亮颜色显示的热图图像作为接触场所图像。例如，也可以基于接触可能性生成分为3个阶段的热图图像。例如，也可以生成用红色显示乘员手接触的区域、用黄色显示有可能接触的区域、用绿色显示未接触的区域的热图图像。另外，未接触的区域也可以为无色。
38.图像生成部24也可以生成最明亮地显示乘员手接触的区域的亮度、次明亮地显示有可能接触的区域的亮度、最暗地显示未接触的区域的亮度的接触场所图像。另外，也可以生成乘员手接触的区域闪烁的接触场所图像。
39.使显示方式高亮的区域可以是装备件单位，也可以是实际触摸的区域单位。在以装备件单位高亮的情况下，例如，即使在仅触摸安全带的一部分的情况下，也使座椅安全带整体变得高亮。
40.图像生成部24也可以生成越是乘员用手触摸的次数多的接触场所则越是高亮的显示方式的接触场所图像。例如，也可以是接触次数越多的接触场所，越提高彩度。
41.图像生成部24也可以将存储于图像保持部23的、乘员手接触到某处的状态的多个帧图像连接在一起，生成接触场所显示用的摘要动态图像。另外，图像生成部24也可以重叠乘员手接触到某处的状态的多个帧图像，生成一张静止图像。
42.另外，图像生成部24也可以生成通过文本信息单纯地罗列在车厢内乘员用手触摸的装备件而成的图像。在该情况下，不需要将乘员手与装备件接触的状态的帧图像蓄积于图像保持部23，只要预先保持用于确定乘员手接触的装备件的管理信息即可。
43.当由想要对车厢内进行清扫、消毒的用户对操作部(未图示)进行接触场所图像的显示指示操作时，图像生成部24生成接触场所图像，并使显示装置30显示所生成的接触场所图像。
44.显示装置30也可以是设置于车辆c1内的汽车导航系统、显示器音频系统或行车记录仪系统的显示器(例如，液晶显示器、有机el显示器)。另外，显示装置30也可以是与汽车导航系统、显示器音频系统或行车记录仪系统协作的智能手机或平板电脑的显示器。另外，显示装置30也可以是设置在车辆内的仪表面板内的显示器。另外，显示装置30也可以是本实施方式所涉及的人监视系统1专用的显示器。
45.另外，图像生成部24也可以在车辆c1的行驶中实时地生成接触场所图像，并显示于显示装置30。在该情况下，当乘员触摸车厢内的某物时，接触场所图像被更新。图像生成部24也可以使显示装置30显示在由拍摄装置10拍摄的影像上重叠了表示接触场所的关注标记而成的ar图像作为接触场所图像。
46.记录介质40是用于记录由拍摄装置10拍摄到的影像的非易失性记录介质。例如，可以使用半导体存储卡(例如，sd卡)、光盘。由图像生成部24生成的接触场所图像也能够记录在记录介质40中。
47.在以上的说明中，以影像解析部22能够从拍摄装置10获取距离图像为前提。若在拍摄装置10中设置深度传感器，或者将拍摄装置10设为双目结构，则成本会上升。在以下的说明中，说明影像解析部22无法从拍摄装置10获取距离图像的情况下的处理例。在该处理例中，不设置三维空间识别部22c，仅从二维的影像检测乘员在车厢内用手触摸的场所。
48.在该处理例中，在车厢内按每个装备件准备多个识别器作为辞典数据，所述识别器学习乘员以各种姿势对装备件进行触摸的多个图像，识别乘员触摸装备件的状态。用于识别乘员触摸装备件的状态的识别器的组也可以针对每种车型而准备。在该情况下，能够在拍摄到的影像内高精度地确定各装备件的位置，并且能够高精度地判定乘员是否触摸了装备件。
49.并且，作为辞典数据，也可以准备用于识别戴口罩的人脸部的识别器。另外，也可以准备用于识别乘员咳嗽状态的识别器。
50.对象物识别部22a在帧图像内检测到未戴口罩的乘员的情况下，将未佩戴口罩的检测信号输出至警告控制部25。对象物识别部22a在帧图像内检测到正在咳嗽的乘员的情况下，将咳嗽的检测信号输出给警告控制部25。对象物识别部22a在帧图像内坐在后部座位上的两个乘员间的距离为设定值以下时，将距离接近的检测信号输出到警告控制部25。当从对象物识别部22a接收到未佩戴口罩、咳嗽或距离接近的检测信号时，警告控制部25使声音输出装置50输出警告音或警告消息。
51.声音输出装置50也可以是设置于车辆c1内的汽车导航系统或显示器音频系统的
扬声器。另外，声音输出装置50也可以是与汽车导航系统、显示器音频系统或者行车记录仪系统协作的智能手机或者平板电脑的扬声器。另外，声音输出装置50也可以是本实施方式所涉及的人监视系统1专用的扬声器。
52.警告控制部25在从影像解析部22输入了未佩戴口罩的检测信号时，使声音输出装置50输出“请佩戴口罩”这样的注意提醒消息。另外，警告控制部25在被输入咳嗽的检测信号时，使声音输出装置50输出“请换气”、“请打开窗”、“请将空调设为外部气体导入模式”、“请使负离子产生器运转”这样的注意提醒消息。另外，也可以使本实施方式所涉及的人监视系统1与车辆c1内的空气调节系统协作。在该情况下，警告控制部25若被输入咳嗽的检测信号，则能够将空气调节系统自动切换为外部气体导入模式。
53.警告控制部25在从影像解析部22输入了距离接近的检测信号时，使声音输出装置50输出“请稍微空出座位间隔”这样的注意提醒消息。另外，在影像解析部22在后部座位检测到三人乘员、在副驾驶座位未检测到乘员的情况下，可以向警告控制部25输出移动座位的指示信号。警告控制部25在从影像解析部22输入了移动座位的指示信号时，使声音输出装置50输出“请移动一人至副驾驶座位”这样的注意提醒消息。
54.通过注册特定人的图像，能够从手触碰的场所的监视处理的对象中排除特定人。具体而言，利用拍摄装置10对想要从监视处理的对象中排除的人的脸部进行拍摄，并注册为对象物识别部22a的辞典数据。另外，也可以将拍摄到该人的脸部的静止图像从外部输入到图像处理装置20。
55.在帧图像内识别出人脸部的情况下，对象物识别部22a判定该人脸部是否是被注册为排除对象的人脸部。在是排除对象的人脸部的情况下，对象物识别部22a或三维空间识别部22c将该人的手从监视对象中排除。在帧图像内识别出的人脸部不是排除对象的人脸部的情况下，应用上述的手接触的场所的检测、记录处理。
56.作为注册为排除对象的人，可考虑车辆c1的所有者及其家族。另外，也可以根据pcr检查、抗原检查或抗体检查的结果，注册判定为感染的可能性低的人。例如，通过将车辆c1的所有者及其家族注册为排除对象，能够减轻图像处理装置20的负荷。
57.图3是示出实施方式1所涉及的在车辆c1的行驶中拍摄到的帧图像f1的一例的图。在该帧图像f1中，作为人，检测出驾驶员p1、副驾驶座的同乘者p2、后部座位这两个同乘者p3、p4。作为位于车厢内的装备件，检测有方向盘o1、位于中控台o2上的杯架o2a等。另外，驾驶员p1的手dh1被追踪为监视对象。另外，虽未图示，但同乘者p2、p3、p4的手也成为监视对象。
58.图4是示出实施方式1所涉及的接触场所图像ft1的一例的图。当由想要对车厢内进行清扫/消毒的用户指示了接触场所图像ft1的显示时，在显示装置30上显示接触场所图像ft1。在图4中，示出了驾驶员p1在运转中触摸方向盘o1和杯架o2a的例子。在图4中，方向盘o1和包括杯架o2a的中控台o2整体的区域被标记为红色。
59.图5是示出实施方式1所涉及的接触场所图像ft2的另一例的图。在图5中，方向盘o1和杯架o2a被标记为红色，设置有杯架o2a的中控台o2整体的区域(杯架o2a的区域除外)被标记为黄色。
60.另外，接触场所图像ft可以是在实际拍摄到的车厢内的图像上重叠有表示有可能存在病毒的区域的注意标记的图像，也可以是在简化后的车厢内的示意图上重叠了注意标
记的图像。另外，关于乘员必然用手接触的装备件(例如方向盘、换挡杆、方向指示灯杆、车门把手等)，也可以默认地重叠注意标记。另外，接触场所图像ft也可以由热图图像生成。
61.如以上说明的那样，根据实施方式1，通过生成表示乘员有可能触摸的区域的接触场所图像并进行显示，想要清扫、消毒的用户能够直观地掌握优先对哪里进行消毒。特别是，对于租赁汽车运营商的清扫负责人、加油站的店员等没有乘坐车辆c1的人而言，对于需要在短时间内有效地对车厢内进行清扫、消毒的人而言是有效的。当然，对于乘坐车辆c1的人而言，也难以掌握并存储乘员全员所触摸的场所，因此，在观察接触场所图像的同时进行清扫、消毒是有用的。
62.接着，说明实施方式2所涉及的人监视系统1。在实施方式1中，说明了利用设置于车厢内的相机拍摄乘员，检测乘员的手，并监视、记录乘员用手触摸的场所的人监视系统1。与此相对，实施方式2涉及通过设置于建筑物内房间的相机来检测房间中的人并监视、记录人停留的场所的人监视系统1。
63.假定实施方式2所涉及的人监视系统1对会议室、会展中心等大室内空间的房间进行监视的例子。一般来说，室内的监视相机设置在房间的顶棚上。在一台监视相机监视大房间的情况下，需要广角拍摄，帧图像内的人的尺寸变小。另外，有时在帧图像内包含很多人。与此相对，在实施方式1中，拍摄了狭窄的车厢空间，因此帧图像内的人的尺寸不会变为一定尺寸以下。另外，在普通车辆的情况下，帧图像中包含的人的数量最大为5人。
64.这样，难以通过图像识别从在会议室、会展中心等设置的拍摄装置10拍摄到的帧图像中检测每个人的手，并追踪检测到的手。因此，在实施方式2中，检测人的头部或全身，追踪检测到的头部或全身。
65.在以下的说明中，假定拍摄装置10设置在房间顶棚的中央以俯瞰房间整体的方式进行拍摄的例子。在该情况下，监视对象为从上方观察到的人的头部。此外，拍摄装置10也可以设置在顶棚和墙壁的角部处，以倾斜地俯视房间整体的方式进行拍摄。在该情况下，监视对象成为从斜向观察到的人的头部或全身。
66.图像处理装置20构成为pc、平板电脑、智能手机等通用的信息终端装置的一个功能。图像处理装置20和拍摄装置10通过有线(例如，lan线缆、usb线缆)或无线(例如，无线lan)连接，影像获取部21从拍摄装置10获取影像。
67.在实施方式2中，影像解析部22检测在房间中人停留的场所。对象物识别部22a具有人的头部或全身的识别器作为辞典数据。另外，除了人的头部或全身的识别器以外，还可以准备存在于室内的各种备件的识别器。例如，也可以准备桌子、椅子等识别器。
68.对象物识别部22a也可以在帧图像内在人检测区域的周围设定附随区域。例如，也可以将与以人为中心半径1m～2m左右的圆相当的图像内区域设定为附随区域。以下，将人的检测区域和在该人的周围设定的附随区域合起来的区域称为行动区域。另外，实际空间中的距离与图像内的距离的换算比率、以及附随区域的设定范围能够由用户进行改变。
69.对象物追踪部22b追踪由对象物识别部22a识别出的人头部或全身。在帧图像内识别出多个人的情况下，对每个人进行追踪。
70.三维空间识别部22c在根据从拍摄装置10获取的距离图像确定的三维空间内，检测人停留的场所。在将存在于室内的备件也识别为对象物的情况下，也能够确定估计为人接触的备件。例如，在人行动区域和备件检测区域中产生了重叠部分的情况下，估计为该人
与该备件接触。
71.三维空间识别部22c若检测出估计为人接触到备件的状态的帧图像，则将检测到的帧图像暂时保存于图像保持部23。另外，在实施方式2中，也可以将检测到人的全部帧图像暂时保存在图像保持部23中。
72.图像生成部24基于存储在图像保持部23中的帧图像生成停留场所显示用图像(以下，称为停留场所图像)，所述停留场所显示用图像使得用户能够识别从拍摄装置10开始拍摄起人在室内停留的所有停留场所。图像生成部24也可以生成能够识别室内的人的移动轨迹的停留场所图像。另外，图像生成部24也可以生成能够识别伴随室内的人的移动的行动区域轨迹的停留场所图像。
73.图像生成部24也可以生成越是靠近人停留场所的场所越以高亮颜色显示的热图图像作为停留场所图像。例如，也可以生成用红色显示人停留的区域、用黄色显示附随区域、用绿色(或无色)显示除此以外的区域的热图图像。另外，也可以生成以红色显示人停留的区域、随着远离人所停留的区域而逐渐变化为红色
→
黄色
→
绿色(或无色)的热图图像。
74.另外，图像生成部24也可以生成使人停留的区域的亮度最亮、随着远离人停留的区域而亮度变暗的停留场所图像。另外，也可以生成人停留的区域闪烁的停留场所图像。
75.在人的行动区域和备件的检测区域中产生重叠部分的情况下，图像生成部24可以将该备件整体设为高亮显示方式，也可以仅将该重叠部分设为高亮显示方式。在能够估计该备件距地板的高度的情况下，图像生成部24也可以设为该备件距地板的高度越接近人坐着的状态或者站立状态的手的高度越使该备件高亮的显示方式。
76.图像生成部24也可以是越是多个人的检测区域重叠多的区域越采用高亮显示方式。例如，也可以是越是检测区域重叠数多的区域越提高彩度。另外，图像生成部24也可以是越是多个人的行动区域重叠多的区域越采用高亮显示方式。
77.图像生成部24也可以将在图像保持部23中保存的、在人行动区域和备件检测区域中产生了重叠部分的多个帧图像连接在一起，生成停留场所显示用的摘要动态图像。另外，图像生成部24也可以重叠在人行动区域和备件检测区域中产生了重叠部分的多个帧图像，生成一张静止图像。
78.另外，图像生成部24也可以生成通过文本信息单纯地罗列在室内估计为人接触的备件而成的图像。在该情况下，不需要将帧图像蓄积于图像保持部23，只要保持用于确定估计为人接触的备件的管理信息即可。
79.当想要对室内进行清扫、消毒的用户对操作部(未图示)进行停留场所图像的显示指示操作时，图像生成部24生成停留场所图像，并使显示装置30显示所生成的停留场所图像。
80.显示装置30也可以是pc、平板电脑、智能手机等通用的信息终端装置的显示器。另外，显示装置30也可以是与该信息终端装置连接的投影仪。在这种情况下，投影仪将停留场所图像投影到屏幕上。另外，显示装置30也可以是与该信息终端装置连接的头戴式显示器。在该情况下，头戴式显示器能够以vr图像显示停留场所图像。另外，在以立体影像生成接触场所用的显示影像的情况下，头戴式显示器能够显示立体vr影像。
81.另外，图像生成部24也可以在房间的使用中(例如会议中)实时地生成停留场所图像，并使其显示于显示装置30(例如投影仪)。在该情况下，若人进入或退出房间、或人在房
间中移动了场所，则更新停留场所图像。图像生成部24也可以使显示装置30显示在由拍摄装置10拍摄的影像上重叠了表示人停留场所的关注标记而成的ar图像作为停留场所图像。
82.在实施方式2中，对象物识别部22a也能够在帧图像内人间距离为设定值以下时，将距离接近的检测信号输出到警告控制部25。警告控制部25在从对象物识别部22a接收到距离接近的检测信号时，使声音输出装置50输出警告音或警告信息。另外，在检测到未佩戴口罩的人或咳嗽的人的情况下，也能够使声音输出装置50输出警告音或警告信息。
83.另外，在实施方式2中，通过注册特定人的图像，也能够从停留场所监视处理的对象中排除注册的人。
84.图6是示出实施方式2所涉及的停留场所图像fs1的第一例的图。当想要对室内进行清扫、消毒的用户指示了停留场所图像fs1的显示时，在显示装置30上显示停留场所图像fs1。在图6中，示出了在房间的使用中三个人p1、p2、p3使用了左侧的第一桌子d1的情况下的停留场所图像fs1。右侧的第二桌子d2没有被使用。在图6中，左侧的第一桌子d1被标记为红色，作为注意区域。
85.对象物识别部22a在各帧图像内判定每个人p1、p2、p3的检测区域与第一桌子d1的检测区域是否重叠以及每个人p1、p2、p3的检测区域与第二桌子d2的检测区域是否重叠。对象物识别部22a判定为使用了存在重叠的桌子的桌子(图6中第一桌子d1)。
86.图7是示出实施方式2所涉及的停留场所图像fs2的第二例的图。在图7中，示出了显示室内的人p1的移动轨迹的停留场所图像fs2。在图7所示的图像中示出了：房间的出入口位于右侧，人p1在第二桌子d2和第一桌子d1的下侧向左移动，在第一桌子d1的左侧向上方移动，在第一桌子d1的上侧向右移动，到达了当前场所。另外，也可以显示在人p1的周围附加了附随区域的行动区域的移动轨迹。
87.图8(a)-图8(c)是示出实施方式2所涉及的停留场所图像fs3的第三例的图。第三例是试验会场、大教室等桌子和椅子位置被固定的房间的例子。在图8(a)所示的停留场所图像fs3a中，第一人p1坐在左侧的第一椅子s1上。右侧的第二椅子s2是空位。在该情况下，左侧的第一椅子s1和第一桌子d1用红色标记为注意区域。
88.在图8(b)所示的停留场所图像fs3b中，第一人p1坐在左侧的第一椅子s1上，第二人p2坐在右侧的第二椅子s2上。在该情况下，左侧的第一椅子s1和第一桌子d1、以及右侧的第二椅子s2和第二桌子d2双方都以红色标记为注意区域。
89.图8(c)所示的停留场所图像fs3c示出坐在右侧的第二椅子s2上的第二人p2退席后的状态。由于第二人p2停留在右侧的第二椅子s2和第二桌子d2的位置，因此在第二人p2退席后，右侧的第二椅子s2和第二桌子d2也以红色标记为注意区域。
90.图9是示出实施方式2所涉及的停留场所图像fs4的第四例的图。在图6～图8(a)-图8(c)所示的例子中，用红色标记了估计为人接触的桌子整体的区域。与此相对，在图9所示的第四例中，仅将桌子整体区域中的、人接触的可能性高的区域用红色标记为注意区域。在图9中，从第一人p1的位置起规定距离的第一范围r1、以及从第二人p2的位置起规定距离的第二范围r2用红色标记为注意区域。该标记的区域随着人p1、p2的移动而扩大。
91.考虑到社交距离，规定距离例如被设定为2m。该规定距离也可以根据有无佩戴口罩而改变。在该情况下，将未佩戴口罩的人的规定距离设定为比佩戴口罩的人的规定距离长。
92.另外，在对象物识别部22a能够检测出人手的动作的情况下，也可以将桌子整体区域中手移动的范围用红色标记为注意区域。此时，在桌子整体区域中标记的区域也可以是在实际检测出手的动作的范围内加入了规定的缓冲区域的区域。另外，在桌子整体区域中标记的区域也可以是与人p1、p2的行动区域重叠的区域。
93.另外，也可以将第一范围r1和第二范围r2的重叠范围r3相对地以高亮颜色标记为级别更高的注意区域。例如，也可以将第一范围r1和第二范围r2中两者不重叠的范围用绿色标记，将两者的重叠范围r3用红色标记。另外，也可以用绿色标记一个人的规定距离的范围，用黄色标记两个人的规定距离的范围的重叠区域，用红色标记三个以上的人的规定距离的范围的重叠区域。
94.图10是示出实施方式2所涉及的停留场所图像fs5的第五例的图。在图10所示的停留场所图像fs5中，在房间中人移动多的通道的区域r5用红色标记为注意区域。此外，也可以根据人通过通道的次数来改变颜色。例如，可以用绿色标记1～5次，用黄色标记6～10次，用红色标记11次以上。另外，在图10中，将整个通道的区域r5标记为注意区域，但实际上也可以仅对人通过的移动轨迹、即人与通道重叠的部分进行标记。
95.如以上说明的那样，根据实施方式2，通过生成并显示表示人停留的区域的停留场所图像，能够直观地掌握想要清扫、消毒的用户优先对哪里进行消毒。特别是，对于外部的清扫人员等没有使用房间(例如，未参加会议)的人，需要在短时间内有效地对房间里进行清扫、消毒的人来说是有效的。当然，对于使用房间的人而言，也难以掌握并存储房间中所有人的运动，因此，在观看停留场所图像的同时进行清扫、消毒是有用的。
96.接着，说明实施方式3所涉及的人监视系统1。在实施方式2中，说明了图像生成部24生成能够识别室内的人的移动轨迹的停留场所图像并显示于显示装置30的例子。在实施方式3中，还考虑室内的人是否正在讲话。在室内未佩戴口罩的人讲话的情况下，有飞沫飞溅的可能性，在该人的周边区域存在病毒的可能性增加。
97.图11是示出实施方式3所涉及的人监视系统1的结构例的图。实施方式3所涉及的人监视系统1具备图像处理装置20、显示装置30、记录介质40、声音输出装置50以及收音装置60。图像处理装置20包括影像获取部21、影像解析部22、图像保持部23、图像生成部24、警告控制部25、声音获取部26以及声音解析部27。以下，说明与实施方式2的不同点。
98.收音装置60包括用于拍摄装置10收集作为监视对象的空间内的声音的麦克风。收音装置60也可以内置于拍摄装置10。收音装置60将收集到的空气振动转换为电声音信号，并将转换后的声音信号输出到图像处理装置20。
99.声音获取部26从收音装置60获取声音信号。声音解析部27对由声音获取部26获取的声音信号进行解析。声音解析部27解析声音信号的频谱，检测有无人讲话的声音。在检测到人讲话的声音的情况下，声音解析部27检测讲话者的人数。并且，声音解析部27检测并保持各讲话者的讲话次数、累计讲话时间以及声音大小中的至少一个。另外，在本实施方式中，不需要识别讲话内容，因此不需要使用声学模型、语言模型的解析。
100.如上所述，影像解析部22能够识别人是否佩戴口罩。在实施方式3中，影像解析部22还具有人的嘴部的各种状态的识别器。在检测到未佩戴口罩的人的情况下，影像解析部22按每个帧图像识别人的嘴部形状，判别一连串的帧图像中的嘴部动作。影像解析部22根据人的嘴部动作来判定该人是否正在讲话。影像解析部22检测讲话者的人数。并且，影像解
析部22检测各讲话者的嘴部张开程度。
101.在由影像解析部22认定为讲话者的人数比由声音解析部27检测到的讲话者的人数少的情况下，认为是存在没有收进于拍摄装置10的视场角的人讲话的可能性、没有朝向拍摄装置10的方向的人讲话的可能性、或者佩戴口罩的人讲话的可能性。在该情况下，影像解析部22也可以将不朝向拍摄装置10方向的人和佩戴口罩的人全部视为讲话者。
102.图像生成部24参考由拍摄装置10拍摄到的人中的每个人的讲话次数、讲话时间、声音大小以及嘴部张开程度中的至少一个来决定停留场所图像内的、附随于每个人的检测区域的附随区域的显示方式。
103.图像生成部24也可以将附随于讲话人的检测区域的附随区域的面积设定为比附随于未讲话人的检测区域的附随区域大。此时，也可以是，该人讲话次数越多、该人累计讲话时间越长、该人声音越大或者该人的嘴部张开程度越大，则图像生成部24将该人检测区域附随的附随区域的面积设定得越大。另外，增大面积的附随区域也可以仅设为该人的脸部朝向的方向的区域(例如180度的区域)。
104.图像生成部24也可以将附随于未讲话人的检测区域的附随区域的面积设定为比附随于讲话人的检测区域的附随区域小。
105.图像生成部24也可以将附随于讲话人的检测区域的附随区域以比附随于未讲话人的检测区域的附随区域的颜色更高亮的颜色(例如，红色或紫色)标记。此时，也可以是，该人讲话次数越多、该人累计讲话时间越长、该人声音越大或者该人的嘴部张开程度越大，则图像生成部24使附随于该人检测区域的附随区域的颜色越浓。另外，使颜色变浓的附随区域也可以是该人的脸部朝向的方向的区域。
106.例如，在上述图6中，在人p2脸部朝向第二桌子d2的方向讲话或咳嗽的情况下，图像生成部24用红色标记第二桌子d2。在上述图7中也同样地，在人p1移动途中脸部朝向第二桌子d2的方向讲话或咳嗽的情况下，图像生成部24用红色标记第二桌子d2。
107.图像生成部24也可以越是与讲话人检测区域附随的附随区域的重叠多的区域，越使颜色变浓。图像生成部24也可以将附随于未讲话人的检测区域的附随区域以比附随于讲话人的检测区域的附随区域的颜色不高亮的颜色(例如，绿色或无色)标记。
108.在上述图9中，从第一人p1的位置起规定距离的第一范围r1、以及从第二人p2的位置起规定距离的第二范围r2用红色标记为注意区域(附随区域)。规定距离例如可以在人未讲话的情况下设定为1m，在人讲话的情况下设定为2m。未讲话人的注意区域考虑到该人的手能够到达的范围而设定为1m。讲话人的注意区域考虑到该人的飞沫能够到达的范围而设定为2m。
109.图像生成部24也可以在第一人p1与第二人p2不进行会话的情况下将第一范围r1与第二范围r2的重叠范围r3以红色标记，在第一人p1与第二人p2进行了对话的情况下，将重叠范围r3标记为紫色。在此，紫色比红色的注意等级更高。
110.如以上说明的那样，根据实施方式3，在生成并显示表示人停留的区域的停留场所图像时，通过以高亮方式显示飞沫有可能飞溅的区域，能够适当地向用户提示应优先进行清扫、消毒的区域。
111.以上，基于实施方式对本发明进行了说明。本领域技术人员可以理解，该实施方式是例示，这些各构成要素、各处理过程的组合可以有各种变形例，并且这样的变形例也在本
发明的范围内。
112.在实施方式1中，例如驾驶员在驾驶中基本上用手握住方向盘。另一方面，在除此以外的动作(例如，为了饮水而触摸杯架的动作等)的状态下，变为与握住方向盘的通常状态的图像大不相同的图像。对象物识别部22a也可以将在帧图像内驾驶员未用手握住方向盘的帧图像全部保存于图像保持部23。图像生成部24也可以将存储在图像保持部23中的多个帧图像连接在一起，生成接触场所显示用的摘要动态图像。另外，图像生成部24也可以重叠保存在图像保持部23中的多个帧图像，生成一张静止图像。在该情况下，虽然准确性下降，但能够简单地生成接触场所图像。
113.在实施方式2中，对象物识别部22a也可以将在帧图像内检测到人的帧图像全部保存于图像保持部23。图像生成部24也可以将存储在图像保持部23中的多个帧图像连接在一起，生成停留场所显示用的摘要动态图像。另外，图像生成部24也可以重叠保存在图像保持部23中的多个帧图像，生成一张静止图像。在该情况下，虽然准确性下降，但能够简单地生成停留场所图像。
114.在实施方式1中，说明了将人手作为监视对象，监视车厢内的例子。关于这一点，只要是容易对人手进行检测的狭窄空间的监视，则并不限定于对车厢内进行监视的例子。即使是建筑物内的房间，如果是只能进入几个人的狭窄房间的监视，则实施方式1所涉及的人监视系统1也可有效地发挥功能。
115.在实施方式2中，说明了以人自身为监视对象，监视建筑物内的房间中的例子。关于这一点，在电车、公共汽车、飞机、船舶等移动体中的室内空间的监视中，也能够应用实施方式2所涉及的人监视系统1。另外，也能够应用于一定范围的室外空间的监视。
116.另外，新型冠状病毒依赖于附着的物质、环境条件，但是最长7天左右死亡。因此，在车辆、房间的使用结束后经过了设定时间以上的情况下，不需要在图像内显示注意区域。
117.产业上的可利用性
118.本发明能够用于新型冠状病毒的预防感染对策。
119.符号说明
120.c1 车辆
121.1 人监视系统
122.10 拍摄装置
123.20 图像处理装置
124.21 影像获取部
125.22 影像解析部
126.22a 对象物识别部
127.22b 对象物追踪部
128.22c 三维空间识别部
129.23 图像保持部
130.24 图像生成部
131.25 警告控制部
132.26 声音获取部
133.27 声音解析部
134.30 显示装置
135.40 记录介质
136.50 声音输出装置
137.60 收音装置