热图像处理装置及偏移量计算方法与流程

本发明涉及一种根据通过多个红外线传感器获得的热图像来计算用于热图像间的结合的、与各热图像有关的偏移量的偏移量计算技术。

背景技术

以往，作为自动控制室内环境的技术之一，例如提出有如下技术：利用安装在墙壁、天花板上的热电堆阵列传感器等多个红外线传感器来检测室内的热图像(热成像)，并从获得的热图像中检索表示人的表面温度的人区域，由此检测为在室者，从而限定于有在室者的房间、区域来控制为舒适的空调环境，对于没有在室者的房间、区域，则停止空调、照明(例如，参考专利文献1等)。

此外，在使用多个红外线传感器来检测一定程度范围的空间内的温度分布时，将各红外线传感器呈格子状设置在空间的天花板上，根据各红外线传感器的位置将通过这些红外线传感器获得的热图像加以结合，由此，能够获得整个空间的温度分布。由此，能在整个空间内统一推断人位置。

【现有技术文献】

【专利文献】

【专利文献1】日本专利特开2012-057840号公报

技术实现要素：

【发明要解决的问题】

在这种现有技术中，前提是已知通过数据通信从这些红外线传感器获取到的热图像与红外线传感器的安装位置的对应关系、且红外线传感器的绕光轴的安装旋转角度相等。即，以已知通过各红外线传感器获得的热图像的拍摄位置、拍摄倾斜度等偏移量为前提来结合通过各红外线传感器获得的热图像。因而，在红外线传感器的安装状况与最初的设计值不一样、热图像的偏移量不明的情况下，便存在无法高精度地结合热图像的问题。

例如，预先关联有红外线传感器的安装位置与应安装至各安装位置的红外线传感器的地址，由此，只要确认作为获取到的热图像的发送源的地址，便能确定该热图像是由哪一红外线传感器即在哪一位置拍摄到的。然而，在实际的安装工程中，有时不会意识到红外线传感器的地址与安装位置的对应关系，从而在各安装位置安装了不同地址的红外线传感器。

此外，有时也会在与最初的设计值不一样的位置安装红外线传感器以避开天花板上安装的障碍物。此外，有时也不会意识到红外线传感器的绕光轴的安装旋转角度，即便在一定程度上调整到了一定角度，也不会通过测量来确认安装旋转角度，从而就会与设计值产生误差。或者，红外线传感器有时也会在安装之后被人触碰或者被东西碰撞而弄乱安装旋转角度。

本发明就是为了解决这种问题，其目的在于提供一种即便红外线传感器的配置位置、绕光轴的安装旋转角度不明也能计算出与热图像有关的偏移量的偏移量计算技术。

【解决问题的技术手段】

为了达成这种目的，本发明的热图像处理装置从配置在空间内的多个红外线传感器获取热图像，根据这些热图像的由拍摄位置及拍摄倾斜度构成的偏移量来修正各热图像，并根据所获得的修正后的热图像来生成整个所述空间的整体热图像，该热图像处理装置具备：移动体追踪部，其利用所述各热图像来追踪在所述空间内移动的移动体，由此检测所述热图像中的所述移动体的坐标位置；位置对确定部，其将所述热图像中的不同的第1热图像及第2热图像中同时检测到的所述第1热图像中的所述移动体的第1坐标位置、和所述第2热图像中的所述移动体的第2坐标位置确定为位置对；以及偏移量计算部，其计算构成所述位置对的所述第1坐标位置及所述第2坐标位置在所述空间的空间平面坐标上达到一致所需的、与所述第1热图像及所述第2热图像有关的拍摄位置及拍摄倾斜度。

此外，本发明的上述热图像处理装置的一构成例如下，即，所述偏移量计算部针对所述第1热图像及所述第2热图像中的不同坐标位置上检测到的至少2个所述位置对中的每一位置对，计算构成所述位置对的2个坐标位置在空间平面坐标上达到一致所需的、与所述第1热图像及所述第2热图像有关的拍摄位置及拍摄倾斜度。

此外，本发明的上述热图像处理装置的一构成例如下，即，所述位置对确定部在所述热图像中的不同的第1热图像及第2热图像中将所述第1热图像中所述移动体消失掉的消失坐标位置和此时的所述第2热图像中的所述移动体的坐标位置确定为所述位置对，并将所述第1热图像中所述移动体出现的出现坐标位置和此时的所述第2热图像中的所述移动体的坐标位置确定为所述位置对。

此外，本发明的偏移量计算方法被用于热图像处理装置中，所述热图像处理装置从配置在空间内的多个红外线传感器获取热图像，根据这些热图像的由拍摄位置及拍摄倾斜度构成的偏移量来修正各热图像，并根据所获得的修正后的热图像来生成整个所述空间的整体热图像，该偏移量计算方法包括：移动体检测步骤，移动体检测部利用所述各热图像来追踪在所述空间内移动的移动体，由此检测所述热图像中的所述移动体的坐标位置；位置对确定步骤，位置对确定部将所述热图像中的不同的第1热图像及第2热图像中同时检测到的所述第1热图像中的所述移动体的第1坐标位置、和所述第2热图像中的所述移动体的第2坐标位置确定为位置对；以及热图像处理步骤，偏移量计算部计算构成所述位置对的所述第1坐标位置及所述第2坐标位置在所述空间的空间平面坐标上达到一致所需的、与所述第1热图像及所述第2热图像有关的拍摄位置及拍摄倾斜度。

【发明的效果】

根据本发明，即便红外线传感器的安装位置、绕光轴的安装旋转角度不明，只须使人等移动体在空间内移动，便能计算出与热图像有关的偏移量。因而，可以通过根据这些偏移量来结合热图像而高精度地生成整个空间的整体热图像。

附图说明

图1为表示热图像处理装置的构成的框图。

图2为空间内的红外线传感器的设置例。

图3为第1实施方式的位置对确定数据的构成例。

图4为偏移量数据的构成例。

图5为表示偏移量计算处理的流程图。

图6为表示第1实施方式的偏移量计算动作的说明图。

图7为第2实施方式的位置对确定数据的构成例。

图8为表示第2实施方式的偏移量计算动作的说明图。

具体实施方式

接着，参考附图，对本发明的实施方式进行说明。

[第1实施方式]

首先，参考图1，对本发明的第1实施方式的热图像处理装置10进行说明。图1为表示热图像处理装置的构成的框图。

该热图像处理装置10整体上由服务器装置、个人电脑、工业用控制器等信息处理装置构成，具有如下功能：经由通信线路l1从设置在成为对象的空间20内的多个红外线传感器as获取热图像，根据这些热图像的拍摄位置、拍摄倾斜度等偏移量来修正各热图像，并根据所获得的修正后的热图像来生成整个所述空间的整体热图像。

图2为空间内的红外线传感器的设置例，图2的(a)为空间的俯视图，图2的(b)为图2的(a)的ii-ii剖面图。此处，在俯视矩形状的空间20的天花板21上，呈格子状以等间隔设置有由热电堆阵列传感器等构成的多个红外线传感器as。红外线传感器as设置在格子的交点，分别在从天花板21向地板22垂直的方向上具有大致正方形状的检测范围r。在地板22上，设置有在相邻的as间r的一部分重叠的重复区域q。

当人等移动体h在空间20内移动时，h会依次穿过各红外线传感器as的检测范围r，因此各as的热图像中会发生h的出现及消失。此外，在邻接的as间的重复区域q内，在这些as的热图像两方当中，h会同时移动。因而，同时检测到h的2个热图像可以确定是邻接的as的热图像，而要结合这些热图像，需要热图像间的偏移量。

若将与2个热图像中同时检测到的h有关的、各热图像上的坐标位置称为位置对，则在利用2个热图像确定了1个位置对的情况下，这些热图像可以在空间平面坐标上以位置对所表示的坐标位置为中心而旋转自如地结合。因而，在热图像的拍摄位置或拍摄倾斜度中的一方已知的情况下，另一方就通过上述位置对来确定，因此，这些热图像可以在空间平面坐标上唯一地结合。

此外，在热图像的拍摄位置及拍摄倾斜度两方未知的情况下，通过确定2个位置对来确定拍摄位置及拍摄倾斜度两方。因此，这些热图像可以在空间平面坐标上以这2个位置对所表示的2个坐标位置为基准而唯一地结合。

本发明就是着眼于这种位置对与热图像的由拍摄位置及拍摄倾斜度构成的偏移量的关系，根据在2个热图像间确定的1个或多个位置对来计算与热图像有关的偏移量。

[热图像处理装置]

接着，参考图1，对本实施方式的热图像处理装置10的构成进行详细说明。

热图像处理装置10中设置有传感器i/f部11、热图像获取部12、存储部13、移动体追踪部14、位置对确定部15、偏移量计算部16、热图像处理部17及通信i/f部18作为主功能部。这些功能部当中，移动体追踪部14、位置对确定部15、偏移量计算部16及热图像处理部17是通过中央处理装置(cpu)与程序的协作来实现的。

传感器i/f部11具有经由通信线路l1与各红外线传感器as进行数据通信的功能。

热图像获取部12具有经由传感器i/f部11及通信线路l1从各红外线传感器as以一定周期获取热图像并按时间序列保存至存储部13的功能。

存储部13由硬盘、半导体存储器等存储装置构成，具有存储由各红外线传感器as获得的热图像、位置对确定数据、偏移量数据、整体热图像、温度分布数据等用于偏移量计算处理、热图像处理的各种处理数据、程序的功能。

图3为第1实施方式的位置对确定数据的构成例。此处，根据各热图像p1、p2、p3、…、pn(n为2以上的正整数)中检测到的移动体h的坐标位置m，针对每一检测时刻t1、t2、t3、t4、…而确定并登记有位置对w1、w2、w3、w4、…。

图4为偏移量数据的构成例。此处，针对各热图像p1、p2、p3、…、pn中的每一方而登记有拍摄位置和拍摄倾斜度。其中，拍摄位置及拍摄倾斜度的值使用的是基于以空间20内预先设定的原点o为基准的空间平面坐标的值。

移动体追踪部14具有利用按时间序列保存在存储部13中的各热图像p来追踪在空间20内移动的移动体h，由此检测这些p中的h的相对坐标位置m的功能。

关于坐标位置m，可在移动体h通过重复区域q1次时在不同位置检测多个坐标位置。此外，也能以每通过1次检测1个坐标位置的形式在多次通过同一q。再者，在h出入检测区域r时，h会从热图像上消失或者出现在热图像中。因此，也可检测这种消失点、出现点作为坐标位置m。这一点将在第2实施方式中详细叙述。

位置对确定部15具有将热图像p中的不同的热图像pi(i＝1～n的整数：第1热图像)及热图像pj(j＝1～n且i≠j的整数：第2热图像)中同时检测到的pi中的h的相对坐标位置mi(第1坐标位置)和pj中的h的相对坐标位置mj(第2坐标位置)确定为位置对w，并将表示这些确定结果的位置对确定数据保存至存储部13的功能。

偏移量计算部16具有计算出构成位置对w的2个坐标位置mi、mj在空间平面坐标上达到一致所需的、与这些pi、pj有关的拍摄位置及拍摄倾斜度作为偏移量，并作为偏移量数据保存至存储部13的功能(热图像的拍摄位置或拍摄倾斜度不明时)。

此外，偏移量计算部16具有针对pi、pj中的不同位置上检测到的2个以上的位置对w1、w2中的每一位置对w1、w2而计算出构成位置对wk(k＝1、2)的2个坐标位置mik、mjk在空间平面坐标上达到一致所需的、与这些pi、pj有关的拍摄位置及拍摄倾斜度作为偏移量，并作为偏移量数据保存至存储部13的功能(热图像的拍摄位置及拍摄倾斜度不明时)。

热图像处理部17具有根据从存储部13读出的偏移量数据将各热图像p结合，由此生成空间20整体的整体热图像并保存至存储部13的功能，和根据获得的整体热图像来生成空间20的温度分布数据并保存至存储部13的功能。

通信i/f部18具有经由通信线路l2与上位系统30进行数据通信，由此交换存储部13中保存的整体热图像、温度分布数据或者各as的热图像及偏移量等各种数据的功能。

[第1实施方式的动作]

接着，参考图5，对本实施方式的热图像处理装置10的动作进行说明。图5为表示偏移量计算处理的流程图。

此处，以热图像的拍摄位置及拍摄倾斜度不明、根据2个位置对来计算偏移量的情况为例进行说明。再者，移动体h在空间20内移动时由各红外线传感器as拍摄到的热图像已按时间序列保存到了存储部13中。

首先，移动体追踪部14利用从存储部13读出的各热图像来追踪在空间20内移动的移动体h，由此检测热图像中的移动体h的相对坐标位置m及其检测时刻t(步骤100)。

然后，位置对确定部15根据由移动体追踪部14获得的移动体h的坐标位置m及检测时刻t，将各热图像中的不同热图像pi、pj中同时检测到的pi中的h的坐标位置mi和pj中的移动体h的坐标位置mj确定为位置对，并将获得的确定结果作为位置对确定数据保存至存储部13(步骤101)。

接着，偏移量计算部16从位置对确定数据中选择与相同的2个热图像pi、pj有关的未选择的2个位置对w1、w2(步骤102)，并从存储部13获取对应的pi、pj(步骤103)。

然后，偏移量计算部16计算出构成位置对w1的2个坐标位置mi1、mj1在空间平面坐标上达到一致所需的、与这些pi、pj有关的拍摄位置及拍摄倾斜度作为偏移量，并作为偏移量数据保存至存储部13(步骤104)。

其后，偏移量计算部16确认位置对w1、w2是否都已被选择(步骤105)，在存在未选择的位置对w1、w2的情况下(步骤105：否)，返回至步骤102。

另一方面，在位置对w1、w2都已被选择的情况下(步骤105：是)，结束一系列偏移量计算处理。

图6为表示第1实施方式的偏移量计算动作的说明图。在移动体h在邻接的红外线传感器asi、asj的检测范围ri、rj内移动的情况下，在由asi、asj拍摄到的热图像pi、pj内会出现h的轨迹。此时，在ri、rj的重复区域q即ri的重复区域qi和rj的重复区域qj内，会同时检测到h。

在图6的例子中，与在时刻t1同时检测到的h有关的ri内的坐标位置mi1和rj内的坐标位置mj1被确定为位置对w1。此外，与在时刻t2同时检测到的h有关的ri内的坐标位置mi2和rj内的坐标位置mj2被确定为位置对w2。

此处，在pi、pj间位置关系与最初的设计值不一样的情况下，在双方的h的轨迹上产生会位置误差m，在pi、pj间拍摄倾斜度不一样的情况下，在双方的h的轨迹的倾斜度上会产生偏移角θ。因而，只要以在空间平面坐标上mi1与mj1一致且mi2与mj2一致的方式使pj移动、旋转，便能消除这些m和θ而在空间平面坐标上结合pi、pj。

首先，若将pi、pj的中心位置设为ci、cj，则m就通过这些ci、cj的位置坐标差来求得。

此外，θ表现为通过mi1和mi2的假想线li与通过mj1和mj2的假想线lj之间的斜率。

若将mi1的坐标数据设为xi1,yi1、将mi2的坐标数据设为xi2,yi2，则通过θi＝arctan(yi2－yi1)/(xi2－xi1)来求li相对于表示角度0的基准线l的斜率θi。同样地，若将mj1的坐标数据设为xj1,yj1、将mj2的坐标数据设为xj2,yj2，则通过θj＝arctan(yj2－yj1)/(xj2－xj1)来求lj相对于l的斜率θj。因而，θ＝θi－θj。

再者，上述m和θ表示pi、pj间的相对偏移量。因此，空间平面坐标上的pi、pj的拍摄位置和拍摄倾斜度需要以某一红外线传感器as的热图像为基准热图像分别进行修正。关于该修正，例如，在各热图像间计算出相对拍摄位置和拍摄倾斜度之后，根据与基准热图像之间计算出的拍摄位置和拍摄倾斜度分别进行修正即可。或者，也可首先在基准热图像与其他热图像之间计算出拍摄位置和拍摄倾斜度，之后，在已计算出的热图像与其他未计算出的热图像之间依序计算出拍摄位置和拍摄倾斜度。

此外，图5中，以热图像的拍摄位置及拍摄倾斜度不明、根据2个位置对来计算偏移量的情况为例进行了说明，而在拍摄位置及拍摄倾斜度中的某一方已知的情况下，在步骤102中只须选择1个未选择的位置对w。此外，在步骤104中，根据已知的拍摄位置或拍摄倾斜度来确定pi、pj间的位置关系，之后计算位置对w的坐标位置达到一致所需的pi、pj的偏移量即可。

[第1实施方式的效果]

如此，本实施方式中，移动体追踪部14利用各热图像p来追踪在空间20内移动的移动体h，由此检测热图像p中的h的坐标位置m，位置对确定部15将热图像p中的不同热图像pi、pj中同时检测到的pi中的h的坐标位置mi和pj中的h的坐标位置mj确定为位置对w，偏移量计算部16计算构成w的mi、mj在空间20的空间平面坐标上达到一致所需的、与pi、pj有关的拍摄位置及拍摄倾斜度。

此外，偏移量计算部16针对热图像pi、pj中的不同坐标位置上检测到的2个以上的位置对w1、w2中的每一w1、w2而计算出构成位置对wk的2个坐标位置mik、mjk在空间平面坐标上达到一致所需的、与pi、pj有关的拍摄位置及拍摄倾斜度。

由此，即便红外线传感器as的安装位置、绕光轴的安装旋转角度不明，只须使人等移动体h在空间20内移动，便能计算出与热图像有关的偏移量。因而，可以通过根据这些偏移量来结合热图像而高精度地生成空间20整体的整体热图像。此外，若能确定热图像的安装位置，则还能设定各as的地址与安装位置的对应关系。

此外，移动体h只要具有与背景温度例如空间20的地板温度不一样的温度即可，可为具有比背景温度高的温度的发热体，也可为具有比背景温度低的温度的低温体。例如，可利用人作为移动体h，无须准备特别的设备。因此，即便空间20是配置有大量红外线传感器as的宽广空间，也能大幅削减偏移量的设定所需的作业负担。此外，也可以使用移动式机器人作为移动体h，通过使其在各红外线传感器as下方反复移动，能以高精度计算偏移量。进而，还可以使用在空间20内飞行的飞行物体作为移动体h，即便是难以在地板上移动的空间，也能容易地计算偏移量。

[第2实施方式]

接着，对本发明的第2实施方式的热图像处理装置10进行说明。

在第1实施方式中，以根据由邻接的2个红外线传感器as的热图像pi、pj中同时检测到的移动体h的坐标位置mi、mj构成的位置对w来计算pi、pj的偏移量的情况为例进行了说明。此处，对根据由pi、pj中h消失掉的消失点、h出现的出现点的坐标位置mi、mj构成的位置对w来计算pi、pj的偏移量的情况进行说明。

在本实施方式中，位置对确定部15具有在热图像p中的不同的热图像pi(第1热图像)和热图像pj(第2热图像)中将pi中移动体h消失掉的消失坐标位置mid和此时的pj中的h的坐标位置mjd确定为位置对w的功能，以及将pi中h出现的出现坐标位置mia和此时的pj中的h的坐标位置mja确定为位置对w的功能。再者，在不存在重复区域q而pi、pj的检测区域ri、rj的端部一致的情况下，消失坐标位置和出现坐标位置就会被确定为位置对w。

图7为第2实施方式的位置对确定数据的构成例。此处，根据各热图像p1、p2、p3、…、pn(n为2以上的正整数)中检测到的移动体h的坐标位置m，针对检测到h的消失或出现的每一检测时刻t1、t2、t3、t4、…而确定并登记有位置对w1、w2、w3、w4、…。

本实施方式的其他构成与图1相同，此处的详细说明从略。

[第2实施方式的动作]

接着，参考前文叙述过的图5，对本实施方式的热图像处理装置10的动作进行说明。

本实施方式中，位置对的确定方法与第1实施方式不一样。因而，在图5的步骤101中，在确定位置对的情况下，位置对确定部15在热图像p中的不同热图像pi、pj中将pi中移动体h消失掉的消失坐标位置mid和此时的pj中的h的坐标位置mjd确定为位置对w，而且将pi中h出现的出现坐标位置mia和此时的pj中的h的坐标位置mja确定为位置对w。

本实施方式的其他动作与图5相同，此处的详细说明从略。

图8为表示第2实施方式的偏移量计算动作的说明图。在移动体h在邻接的红外线传感器asi、asj的检测范围ri、rj内移动的情况下，在由asi、asj拍摄到的热图像pi、pj的端部检测到h的消失及出现。

在图8的例子中，与在时刻t1于ri内消失掉的h有关的ri内的消失坐标位置mi1和此时rj内检测到的h的坐标位置mj1被确定为位置对w1。此外，与在时刻t2于ri内出现的h有关的ri内的出现坐标位置mi2和此时rj内检测到的h的坐标位置mj2被确定为位置对w2。

此处，在pi、pj间位置关系与最初的设计值不一样的情况下，在双方的h的轨迹上会产生位置误差m，在pi、pj间拍摄倾斜度不一样的情况下，在双方的h的轨迹的倾斜度上会产生偏移角θ。因而，只要以在空间平面坐标上mi1与mj1一致且mi2与mj2一致的方式使pj移动、旋转，便能消除这些m和θ而在空间平面坐标上结合pi、pj。

首先，若将pi、pj的中心位置设为ci、cj，则m就通过这些ci、cj的位置坐标差来求得。

此外，θ表现为通过mi1和mi2的假想线li与通过mj1和mj2的假想线lj之间的斜率。

若将mi1的坐标数据设为xi1,yi1、将mi2的坐标数据设为xi2,yi2，则通过θi＝arctan(yi2－yi1)/(xi2－xi1)来求li相对于表示角度0的基准线l的斜率θi。同样地，若将mj1的坐标数据设为xj1,yj1、将mj2的坐标数据设为xj2,yj2，则通过θj＝arctan(yj2－yj1)/(xj2－xj1)来求lj相对于l的斜率θj。因而，θ＝θi－θj。

[第2实施方式的效果]

如此，本实施方式中，位置对确定部15在热图像p中的不同热图像pi、pj中将pi中移动体h消失掉的消失坐标位置mid和此时的pj中的h的坐标位置mjd确定为位置对w，而且将pi中h出现的出现坐标位置mia和此时的pj中的h的坐标位置mja确定为位置对w。

因而，也考虑邻接的2个热图像的重复区域q的面积较窄、移动体h在q内瞬间通过而在q内多次检测不到h的坐标位置的情况。根据本实施方式，由于检测h的消失点、出现点作为坐标位置，因此，每当h通过q1次时，必然能检测到1个坐标位置。因而，能够可靠地确定位置对w，从而能够高效地求出偏移量。

此外，如前文所述的图6所示，在使用邻接的2个热图像的重复区域q内的h的轨迹上的位置坐标作为位置对w的情况下，需要一定程度的q的面积。在q的面积较窄的情况下，2个位置对w间的距离较近，因此，通过它们的假想线的角度会对位置对的位置坐标的检测误差产生较大影响。

若像本实施方式这样使用移动体h消失或出现的时间点上的坐标位置作为位置对w，则即便在q的面积较窄的情况下，也能在一定程度上确保2个位置对w间的距离，从而能够降低位置对w的位置坐标的检测误差对通过它们的假想线的角度的的影响。

[实施方式的扩展]

以上，参考实施方式对本发明进行了说明，但本发明并不限定于上述实施方式。可以在本发明的范围内对本发明的构成、详情进行本领域技术人员能够理解的各种变更。

符号说明

10热图像处理装置

11传感器i/f部

12热图像获取部

13存储部

14移动体追踪部

15位置对确定部

16偏移量计算部

17热图像处理部

18通信i/f部

20空间

30上位系统

as、asi、asj红外线传感器

h移动体

l1、l2通信线路

r、ri、rj检测范围

p、pi、pj热图像

q、qi、qj重复区域

m、mi、mi1、mi2、mj、mj1、mj2、mik、mjk、mid、mia、mjd、mja坐标位置

w、w1、w2位置对

θ偏移角

ci、cj中心位置

l基准线

li、lj假想线

θi、θj斜率。