一种用于监测的图像处理方法及装置与流程

本发明涉及图像处理领域，尤其涉及一种用于监测的图像处理方法及装置。
背景技术：
：通过图像采集实现对监测区域的监测，其主要目的是进行车辆检测、行人检测、目标计数、目标跟踪和行人异常行为判断等。这些监测目的实现的前提是前景目标检测。现有的一种前景目标检测的实现方式是：通过可见光成像设备对需要监测的区域进行图像采集，根据采集到的图像数据建立背景模型，使用基于背景滤除的运动目标检测方法，把前景目标与背景模型进行分离，从而检测到前景目标。但是，利用该方式实现前景目标检测时，需要对背景模型进行更新，背景模型的更新需要基于一段时间内采集到的图像数据，可能很难将光照或阴影变化反映到背景模型中，容易受光照变化或受大面积阴影的影响，产生虚假的前景目标，造成前景目标的误检。技术实现要素：本发明实施例的目的是提供一种监控方法及系统，用于解决如下问题：通过可见光成像设备采集图像对监测区域进行监测，背景模型的更新需要基于一段时间内采集到的图像数据，可能很难将光照或阴影变化反映到背景模型中，容易受光照变化或受大面积阴影的影响产生虚假的前景目标而造成误检。本发明实施例的目的是通过以下技术方案实现的：一种用于监测的图像处理方法，包括：根据热成像图像与可见光图像之间的像素点对应关系，判断构成热成像图 像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，所述热成像图像由热成像设备采集，所述可见光图像由可见光设备采集，所述热成像设备和所述可见光成像设备的视场误差在设定范围内；对于连通区域相交的热成像图像中的疑似前景目标和可见光图像中的疑似前景目标，根据构成所述热成像图像中的疑似前景目标的连通区域与构成所述可见光图像中的疑似前景目标的连通区域在所述可见光图像中确定前景目标。较佳地，所述可见光成像设备为双目立体相机，所述双目立体相机的第一相机和第二相机的光轴平行，所述双目立体相机的第一相机和所述热成像设备的视场误差在预设范围内，构成所述可见光图像中的疑似前景目标的连通区域为，构成所述第一相机采集的可见光图像中的疑似前景目标的连通区域。较佳地，根据构成所述热成像图像中的疑似前景目标的连通区域与构成所述可见光图像中的疑似前景目标的连通区域在所述可见光图像中确定前景目标，包括：以构成所述热成像图像中的疑似前景目标的连通区域与构成所述可见光图像中的疑似前景目标的连通区域相交的连通区域的至少一个像素点为基础，利用所述双目立体相机的第一相机与第二相机的视差图扩充连通区域；确定在所述第一相机采集到的图像中、扩充得到的连通区域对应的像素点构成前景目标。较佳地，根据构成所述热成像图像中的疑似前景目标的连通区域与构成所述可见光图像中的疑似前景目标的连通区域在所述可见光图像中确定前景目标之后，该方法还包括：根据所述热成像图像中所述前景目标的连通区域的温度信息，和所述可见光图像中所述前景目标的连通区域的色彩信息和三维坐标，建立或更新所述前景目标的模型；根据所述前景目标的模型对所述前景目标进行跟踪。较佳地，根据所述前景目标的模型对所述前景目标进行跟踪，包括：根据所述前景目标的模型对所述前景目标在监测区域的位置和停留时间进行跟踪；该方法还包括：根据对所述前景目标在监测区域的位置和停留时间，确定所述前景目标在所述停留时间内的预定时间段的位置变化量；根据所述前景目标在所述预定时间段的位置变化量判断所述前景目标是否为运动目标；若是，标注所述前景目标在所述预定时间段为运动目标；否则，标注所述前景目标在所述预定时间段为静止目标。一种用于监测的图像处理装置，包括：目标判断模块，用于根据热成像图像与可见光图像之间的像素点对应关系，判断构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，所述热成像图像由热成像设备采集，所述可见光图像由可见光设备采集，所述热成像设备和所述可见光成像设备的视场误差在设定范围内；目标确定模块，用于对于连通区域相交的热成像图像中的疑似前景目标和可见光图像中的疑似前景目标，根据构成所述热成像图像中的疑似前景目标的连通区域与构成所述可见光图像中的疑似前景目标的连通区域在所述可见光图像中确定前景目标。较佳地，所述可见光成像设备为双目立体相机，所述双目立体相机的第一相机和第二相机的光轴平行，所述双目立体相机的第一相机和所述热成像设备的视场误差在预设范围内，构成所述可见光图像中的疑似前景目标的连通区域为，构成所述第一相机采集的可见光图像中的疑似前景目标的连通区域。较佳地，目标确定模块具体用于：以构成所述热成像图像中的疑似前景目标的连通区域与构成所述可见光 图像中的疑似前景目标的连通区域相交的连通区域的至少一个像素点为基础，利用所述双目立体相机的第一相机与第二相机的视差图扩充连通区域；确定在所述第一相机采集到的图像中、扩充得到的连通区域对应的像素点构成前景目标。较佳地，该装置还包括：模型建立模块，用于根据所述热成像图像中所述前景目标的连通区域的温度信息，和所述可见光图像中所述前景目标的连通区域的色彩信息和三维坐标，建立并更新所述前景目标的模型；目标跟踪模块，用于根据所述前景目标的模型对所述前景目标进行跟踪。较佳地，目标跟踪模块具体用于：根据构成所述热成像图像中的疑似前景目标的连通区域的温度信息，和构成所述热成像图像中的疑似前景目标的连通区域的色彩信息和三维坐标，建立并更新所述前景目标的模型；该装置还包括运动目标判断模块，用于：根据对所述前景目标在监测区域的位置和停留时间，确定所述前景目标在所述停留时间内的预定时间段的位置变化量；根据所述前景目标在所述预定时间段的位置变化量判断所述前景目标是否为运动目标；若是，标注所述前景目标在所述预定时间段为运动目标；否则，标注所述前景目标在所述预定时间段为静止目标。本发明实施例的有益效果如下：本发明实施例中，通过视场误差在预设范围内的热成像设备和可见光成像设备采集图像，根据采集到的图像进行前景目标检测，根据热成像图像与可见光图像之间的像素点的对应关系，判断构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，对于连通区域相交的热成像图像中的疑似前景目标和可见光图像中的疑似前景目标，根据构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域在可见光图像中确定前景目标。由于利用了热成像图像的数 据确定前景目标，主要是反应温度信息的数据，通常前景目标都是较明显的热源，根据温度信息容易将前景目标与背景模型区分开来。温度与色彩和亮度相比，是一个缓慢变化的量，使得前景目标与由光照变化或受大面积阴影的影响产生的虚假前景目标区别开来，避免了造成误检，提高了检测的准确性和鲁棒性。在利用热成像设备采集的图像的数据确定前景目标的基础上，结合可见光设备采集的图像的数据确定前景目标。由于结合可见光设备采集的图像的数据可以确定出准确的前景目标，便于对前景目标进行监测。附图说明图1为本发明实施例中一种用于监测的图像处理方法流程图；图2为本发明实施例中另一种用于监测的图像处理方法流程图；图3为本发明实施例中第一种用于监测的图像处理装置示意图；图4为本发明实施例中第二种用于监测的图像处理装置示意图；图5为本发明实施例中第三种用于监测的图像处理装置示意图。具体实施方式下面结合附图和实施例对本发明提供的一种用于监测的图像处理方法及装置进行更详细地说明。本发明实施例中提供一种用于监测的图像处理方法，如图1所示，其实现步骤如下：步骤110：根据热成像图像与可见光图像之间的像素点对应关系，判断构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，热成像图像由热成像设备采集，可见光图像由可见光设备采集，热成像设备和可见光成像设备的视场误差在设定范围内。其中，热成像设备和可见光成像设备的视场误差在预设范围内是为了保证通过热成像图像和可见光图像对相同的前景目标进行检测。较佳地，热成像设 备和可见光成像设备的视场误差在1像素以内。其中，热成像图像与可见光设备采集到的可见光图像之间的像素点对应关系是指，指示监测区域中的同一视点的热成像图像中的像素点a与可见光图像中的像素点b之间的对应关系。其中，如果在热成像图像中有多个疑似前景目标，在可见光图像中也有多个疑似前景目标，将构成热成像图像中的每个疑似前景目标的连通区域，与构成热成像图像中的每个疑似前景目标的连通区域分别进行判断是否相交。步骤120：对于连通区域相交的热成像图像中的疑似前景目标和可见光图像中的疑似前景目标，根据构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域在可见光图像中确定前景目标。本发明实施例中，通过视场误差在预设范围内的热成像设备和可见光成像设备采集图像，根据采集到的图像进行前景目标检测，根据热成像图像与可见光图像之间的像素点的对应关系，判断构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，对于连通区域相交的热成像图像中的疑似前景目标和可见光图像中的疑似前景目标，根据构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域在可见光图像中确定前景目标。由于利用了热成像图像的数据确定前景目标，主要是反应温度信息的数据，通常前景目标都是较明显的热源，根据温度信息容易将前景目标与背景模型区分开来。温度与色彩和亮度相比，是一个缓慢变化的量，使得前景目标与由光照变化或受大面积阴影的影响产生的虚假前景目标区别开来，避免了造成误检，提高了检测的准确性和鲁棒性。在利用热成像设备采集的图像的数据确定前景目标的基础上，结合可见光设备采集的图像的数据确定前景目标。由于结合可见光设备采集的图像的数据可以确定出准确的前景目标，便于对前景目标进行监测。较佳地，采用的可见光成像设备可以是单目可见光相机，也可以是双目立体相机，等等。其中，双目立体相机由第一相机和第二相机构成，其视觉是立 体视觉。通常，第一相机和第二相机的基线与地平行，且第一相机和第二相机的光轴平行，此时，第一相机和第二相机又可称为左相机和右相机。本发明实施例如果采用双目立体相机，那么，双目立体相机的第一相机和热成像设备的视场误差在预设范围内，构成可见光图像中的疑似前景目标的连通区域为，构成第一相机采集的可见光图像中的疑似前景目标的连通区域。相应的，热成像图像与可见光设备采集到的可见光图像之间的像素点对应关系可以为：热成像图像与双目立体相机的第一相机采集到的可见光图像之间的像素点对应关系。较佳地，判断构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，还要检测疑似前景目标，具体的实现方式为：分别建立热成像图像的背景模型与可见光图像的背景模型；如果热成像图像中像素点的像素值与热成像图像的背景模型中对应像素点的像素值之差大于第一阈值，判定该像素点为疑似前景点，确定疑似前景点构成的连通区域，如果连通区域中疑似前景点的数量大于设定的数量，确定该区域构成热成像图像中的疑似前景目标；如果可见光图像中像素点的像素值与可见光图像的背景模型中对应像素点的像素值之差大于第二阈值，判定该点为疑似前景点，确定疑似前景点构成的连通区域，如果连通区域中疑似前景点的数量大于设定的数量，确定该区域构成可见光图像中的疑似前景目标。检测疑似前景目标时，可以根据热成像设备采集到的热成像图像的数据检测疑似前景目标；在根据热成像设备采集到的热成像图像的数据检测到疑似前景目标后，根据可见光设备采集到的可见光图像的数据检测疑似前景目标。较佳地，以上所述实施例中，判断构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，其实现方式有多种，例如，一是：判断构成热成像图像中的疑似前景目标的连通区域的位置信息与构成可见光图像中的疑似前景目标的连通区域的位置信息是否有交集，如果有交集，则构成热成像图像中的疑似前景目标的连通区域与构成可见 光图像中的疑似前景目标的连通区域相交，如果没有交集，则构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域不相交；二是：判断在热成像图像中检测到的前景目标与在可见光图像中检测到的前景目标的重叠的比例是否大于预设阈值，如果大于，则构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域相交，如果不大于，则构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域不相交。以上所有实施例中，上述步骤120的实现方式有多种。其中一种实现方式是：在可见光图像中，将构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域相交的连通区域确定为前景目标区域，可见光图像中在该前景目标区域的像素点构成前景目标。这种方式确定的前景目标区域不仅无法完全包含实际前景目标的图像，还可能包括背景或其他前景目标的信息。第二种实现方式可以是：在可见光图像中，对构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域相交的连通区域建立三维模型(称为粗略的前景目标区域的三维模型)；根据粗略的前景目标区域的三维模型进一步确定前景目标的边界，得到准确的前景目标区域。以双目立体相机作为可见光相机为例，以构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域相交的连通区域的至少一个像素点为基础，利用双目立体相机的第一相机与第二相机的视差图扩充连通区域；确定在第一相机采集到的图像中、扩充得到的连通区域对应的像素点构成前景目标。其中，扩充连通区域的过程中，首先从上述相交的连通区域中选择一个初始像素点，该初始像素点构成待扩充的连通区域；按照预定的选取顺序依次选取像素点，并判断选取的像素点是否满足如下条件：条件一：该像素点的八邻域像素点中，有位于待扩充的连通区域中的像素 点；条件二：该像素点与其满足条件一的八邻域像素点，在视差图中的像素值之差的最小值，小于设定阈值；条件三：该像素点在热成像图像中的亮度值与在热成像图像背景模型中的亮度值之差小于设定阈值；或者，该像素点在可见光图像中的亮度值与在可见光图像背景模型中的亮度值之差小于设定阈值；如果满足，则将该像素点添加到最初由初始像素点构成的连通区域中(即不断扩充连通区域的过程)，如果不满足，则该连通区域扩充完毕，从上述相交的连通区域中去除扩充的连通区域后再次选取一个初始像素点，并按照上述方式进行连通区域的扩充，直至上述相交的连通区域中的像素点全部参与扩充。其中，具体扩充过程的实现方式有多种，本发明不再一一例举。其中，第一相机与第二相机的视差图可以利用第一相机与第二相机的视差，对第一相机采集的可见光图像与第二相机采集的可见光图像进行立体匹配得到。视差图中像素点的像素值反映了第一相机采集到的可见光图像中的像素点在垂直于屏幕图像方向上的位置信息。较佳地，以上所述实施例中，检测到前景目标之后，为监测前景目标的实时状况，需要对该前景目标进行跟踪。如图2所示，对前景目标实现跟踪的实现步骤如下：步骤210：根据热成像图像在前景目标的连通区域的数据和可见光图像在前景目标的连通区域的数据建立或更新前景目标的模型。其中，如果该前景目标为新出现的前景目标，则建立前景目标的模型；否则，更新前景目标的模型。步骤220：根据前景目标的模型对前景目标进行跟踪。具体的，根据前景目标的模型判断当前帧图像中是否存在与前景目标的模型相匹配的数据，如果存在匹配的数据，则确定当前帧图像中存在前景目标， 进一步获取前景目标的在当前帧图像中的信息，实现了对前景目标的跟踪。本发明实施例中，根据热成像图像中的前景目标的连通区域的数据和可见光图像中的前景目标的连通区域的数据建立并更新前景目标的模型，根据该模型对前景目标进行跟踪。由于利用热成像设备采集到的热成像图像的数据，主要是反应温度信息的数据，检测到前景目标的数据准确；并且结合可见光成像设备采集到的可见光图像的数据，得到前景目标的数据准确，使得根据这些信息得到的模型更加准确。根据该模型进行跟踪，从而提高了前景目标跟踪的准确性。较佳地，上述步骤210中，根据热成像图像中前景目标的连通区域的温度信息(如热成像图像中前景目标的连通区域的像素点的像素值)，以及可见光图像中前景目标的连通区域的色彩信息(如可见光图像中前景目标的连通区域的像素点的像素值)和坐标数据建立并更新前景目标的模型。如果采用双目立体相机，相应的，上述步骤210的实现方式可以为：根据热成像图像在前景目标的连通区域的温度信息，和可见光图像在前景目标的连通区域的色彩信息和三维坐标，建立并更新前景目标的模型。本发明实施例中，使用的可见光成像设备为双目立体相机，通过双目立体相机采集到的图像的数据为三维数据，可以得到前景目标的三维信息(如车辆的长度、宽度和高度等)等，从而可以得到前景目标的更多信息，提高了前景目标检测和跟踪的准确性。另外，立体视觉方法比单目视觉计算量大，一般只能实时对图像中的某一个区域进行更新，如果想要实时给出监测区域的所有前景目标信息，立体视觉很难准确地把前景目标检测出来。而本发明实施中，由于使用了热成像设备采集图像数据实现对前景目标的检测，避免了使用立体视觉方法进行前景目标的检测，因计算量大而只能检测部分前景目标的问题。较佳地，上述步骤220的实现方式可以为：根据前景目标的模型对前景目标在监测区域的位置和停留时间进行跟踪。除此之外，还根据对前景目标在监 测区域的位置和停留时间，确定前景目标在停留时间内的预定时间段的位置变化量；根据前景目标在预定时间段的位置变化量判断前景目标是否为运动目标；若是，标注前景目标在预定时间段为运动目标；否则，标注前景目标在预定时间段为静止目标。其中，预定时间段可以是前景目标在监测区域的停留时间，即从进入监测区域的时刻到离开监测区域的时刻；也可以是前景目标在监测区域停留时间内的部分时间段。预定时间段的数值大小为对前景目标需要跟踪的预定时间段内的起始时刻与截止时刻的差值。其中，位置变化为矢量，位置变化量是位置变化的绝对值。其中，根据前景目标在预定时间段的位置变化量判断前景目标是否为运动目标的方式有多种。其中一种实现方式是：判断前景目标在预定时间段的位置变化量是否大于预定阈值。若该位置变化量大于预定阈值，标注前景目标为运动目标；若该位置变化量小于预定阈值，标注前景目标为静止目标。也可以采用其它方式实现对前景目标是否为运动目标的判断。较佳地，该预定时间段的起始时刻为在监测区域检测到前景目标的时刻，截止时刻为前景目标待检测的图像对应的时刻。另一种实现方式是：判断前景目标的模型在预定时间段内的位置变化量是否为零，若该位置变化量不为零，标注前景目标为运动目标；若该位置变化量为零，标注前景目标为静止目标。进一步的，可以根据上述位置变化和预定时间段计算前景目标的运动速度矢量，前景目标的运动速度矢量为上述位置变化与预定时间段的比值。较佳地，以上所有实施例中，采用的热成像设备为红外相机等等，采集得到的图像是红外图像。下面结合具体的应用场景，对本发明实施例提供的一种用于监测的图像处理方法进行更加详细地说明。本发明实施例中，使用的热成像设备为红外相机，可见光成像设备为由两 台可见光相机组成的双目立体相机。两台可见光相机的基线与路面平行，光轴相互平行且指向待监测区域，红外相机的视场与双目立体相机的左相机的视场误差在1像素以内。需要预先通过相机标定，得到红外相机与双目立体相机的左相机的映射关系，即设定红外图像与可见光图像之间的像素点对应关系。具体的相机标定方法可以参照现有技术的实现方式。另外，还需要预先设置双目立体相机的内外参数，需要设置的内外参数至少包括：双目立体相机的焦距f、图像中心点(uc，vc)、基线长度B、距地面高度hc、俯仰角θ。本发明实施例提供的一种用于监测的图像处理方法，其具体实现方式如下：通过红外相机采集得到监测区域的红外图像，通过双目立体相机得到监测区域的可见光图像。使用预定数量的红外图像和可见光图像的数据对监测区域背景分别建立红外图像背景模型MB热和可见光背景模型MB光，并实时更新红外图像背景模型和可见光背景模型。可见光背景模型是根据双目立体相机的左相机采集到的可见光图像的数据建立的。对每帧待检测的红外图像和左相机采集的可见光图像使用基于背景滤除的运动目标检测方法(当监测区域内包含移动目标时，会造成当前帧图像与背景模型亮度分布的不一致)进行处理。记任意像素点坐标为(u,v)，对热成像图像，若该像素点与热成像图像的背景模型中对应的像素点的亮度值之差大于第一阈值，则判定该点为疑似前景点，判定公式表示为：其中，T(u,v)取值为1表示像素点(u,v)是热成像图像中的疑似前景点，取值为0表示像素点(u,v)不是热成像图像中的疑似前景点，ε热表示第一阈值，I热(u,v)表示像素点(u,v)在热成像图像中的亮度值，MB热(u,v)表示像素点(u,v)在热成像图像的背景模型中的亮度值。定义任意像素点(u,v)在图像I上的八邻域NI(u,v)为：(u~,v~)∈NI(u,v)⇔(u~,v~)∈I|u~-u|=1|v~-v|=1---(2)]]>其中，表示像素点(u,v)八邻域上的像素点。定义某一特定疑似前景点(u0,v0)的连通区域Z热为：其中，(u,v)表示连通区域Z热中的任意疑似前景点，I热(u0,v0)表示热成像图像中的某一特定疑似前景点(u0,v0)的亮度值，NI热(u,v)表示(u,v)的八邻域，T热(u,v)取值为1表示(u,v)为热成像图像中的疑似前景点。确定包含疑似前景点(u0,v0)的连通区域Z热：将该特定的疑似前景点(u0,v0)作为初始像素点，确定一个初始连通区域，即，该初始连通区域只包含一个像素点(u0,v0)，按照预定的规则，判断下一个疑似前景点(u,v)八邻域内的像素点是否与该初始连通区域有交集，如果有，就将这个疑似前景点与初始像素点构成一个新的连通区域，直到不能再将其它疑似前景点加入连通区域中，最后得到的连通区域就是疑似前景点(u0,v0)的连通区域Z热。然后以判断终止的那个疑似前景点为起始像素点，按照预定的顺序继续寻找下一个连通区域，直至找完所有的疑似前景点的连通区域。例如，最后得到的连通区域，可能所有疑似前景点的连通区域都相同，也可能某些连通区域只包含一个疑似前景点。若连通区域Z热内的疑似前景点数量大于设定的数量，确定该连通区域为构成热成像图像中的疑似前景目标的连通区域，确定公式表示为：其中，F(Z热)取值为1表示该连通区域Z热是构成热成像图像中的疑似前景目标的连通区域，取值为0表示该连通区域Z热不是构成热成像图像中的疑似前景目标的连通区域，表示连通区域Z热疑似前景点的数量，λ热表示设定的数量。按照上述相同的方式，得到构成可见光图像中的疑似前景目标的连通区域Z光。根据红外图像与可见光图像的像素点对应关系，构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，对于连通区域相交的热成像图像中的疑似前景目标和可见光图像中的疑似前景目标：以构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域相交的连通区域ZB＝Z热∩Z光的至少一个像素点为基础，利用双目立体相机的第一相机与第二相机的视差图DZ扩充连通区域，最终确定前景目标。最后得到前景目标Z。包含ZB中任意点ZB(u0B,v0B)的Z满足：其中，(u,v)表示前景目标Z内的任意像素点，(u0B,v0B)表示连通区域ZB内的像素点，表示(u,v)八邻域内的像素点，I热(u,v)表示(u,v)在热成像图像中的亮度值，I光(u,v)表示在左相机采集的可见光图像中的亮度值，MB热(u,v)表示(u,v)在热成像图像的背景模型中的亮度值，MB光(u,v)表示在左相机采集的可见光图像中的亮度值，ε热表示第一阈值，ε光表示第二阈值，ε′热为第一最小值， ε′光为第二最小值，εND为第四阈值，NDZ(u,v)为像素点(u,v)在Dz上的八邻域,NZ(u,v)为NDZ(u,v)与Z的交集，Dz(u,v)表示(u,v)在视差图中的像素值，表示(u,v)八邻域的像素点的像素值。记录上述确定的前景目标所在图像的时间信息，例如，可以记录图像采集的时间的信息，也可以记录前景目标所在图像的帧编号。记录该前景目标的位置信息，该位置信息反映了前景目标在监测区域中的位置。其中，建立三维模型是根据左相机采集的可见光图像和右相机采集到的可见光图像的数据建立的。记录前景目标的位置信息之前，还需根据双目立体相机的内外参数设置，计算前景目标的位置Pc。根据在每帧热成像图像中前景目标的连通区域的温度信息和在每帧可见光图像中前景目标的连通区域的色彩信息和三维坐标建立或更新前景目标的模型。根据前景目标的模型对前景目标进行跟踪，直到该前景目标离开监控区域，并且为该前景目标分配一个标注，绑定测量得到的信息。其中，至少跟踪前景目标在监测区域的位置和停留时间。根据对前景目标在监测区域的位置和停留时间，确定前景目标在停留时间内的预定时间段的位置变化量。判断前景目标在预定时间段的位置变化量是否大于预定阈值，若该位置变化量大于预定阈值标注该前景目标在该预定时间段为运动目标，并记录预定时间段t、和位置Pt，则得到该目标速度矢量v为v＝(Pc-Pt)/t；否则，标注该前景目标在该预定时间段静止目标。应当指出的是，上述实施例的方案也可用于实现其他监测目的，例如对前景目标的计数、前景目标异常行为判断等，具体的，可在上述实施例的基础上参照现有技术的方案实现。基于同样的发明构思，本发明实施例还提供一种用于监测的图像处理装置，如图3所示，包括目标判断模块301和目标确定模块302。目标判断模块301，用于根据热成像图像与可见光图像之间的像素点对应关系，判断构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域是否相交，热成像图像由热成像设备采集，可见光图像由可见光设备采集，热成像设备和可见光成像设备的视场误差在设定范围内；目标确定模块302，用于对于连通区域相交的热成像图像中的疑似前景目标和可见光图像中的疑似前景目标，根据构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域在可见光图像中确定前景目标。较佳地，可见光成像设备为双目立体相机，双目立体相机的第一相机和第二相机的光轴平行，双目立体相机的第一相机和热成像设备的视场误差在预设范围内，构成可见光图像中的疑似前景目标的连通区域为，构成第一相机采集的可见光图像中的疑似前景目标的连通区域。较佳地，目标确定模块302具体用于：以构成热成像图像中的疑似前景目标的连通区域与构成可见光图像中的疑似前景目标的连通区域相交的连通区域的至少一个像素点为基础，利用双目立体相机的第一相机与第二相机的视差图扩充连通区域；确定在第一相机采集到的图像中、扩充得到的连通区域对应的像素点构成前景目标。较佳地，如图4所示，该装置还包括模型建立模块303和目标跟踪模块304。模型建立模块303用于：根据热成像图像中所述前景目标的连通区域的温度信息，和可见光图像中所述前景目标的连通区域的色彩信息和三维坐标，建立并更新前景目标的模型；目标跟踪模块304，用于根据所述前景目标的模型对所述前景目标进行跟踪。较佳地，目标跟踪模块304具体用于：根据前景目标的模型对前景目标在 监测区域的位置和停留时间进行跟踪；如图5所示，该装置还包括运动目标判断模块305，用于：根据对前景目标在监测区域的位置和停留时间，确定前景目标在停留时间内的预定时间段的位置变化量；根据前景目标在预定时间段的位置变化量判断前景目标是否为运动目标；若是，标注前景目标在预定时间段为运动目标；否则，标注前景目标在预定时间段为静止目标。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基 本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。当前第1页1 2 3