专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种使用影像来进行观察或者监视的图像处理设备以及图像处理方法。
背景技术：
在通过使用从监视照相机等获得的影像来检测物体或者人体通过画面中的特定部分的情况下，传统技术在画面内跟踪从影像中检测到的物体或者人体，并且检测特定部分的通过。
已知根据运动矢量检测物体、估计在下一帧中的搜索位置、并且通过模板匹配来跟踪物体的传统技术(例如，日本特开2002-373332号公报)。还已知作为传统的例子的技术，其中基于根据当前帧与过去帧之间的相关度所检测的运动信息来进行面部跟踪(例如，日本特开2010-50934号公报)。可以基于该跟踪结果判断为物体通过了特定部分。一般地，在进行通过检测时，通过检测作为物体跟踪的轨迹的跟踪线与所设置的判断线段或判断区域框相交来判断物体的通过。然而，在通过检测线设置在摄像画面内的上端和下端或者左端和右端附近的情况下，有时候即使物体已通过了通过检测线也不能够检测到。在检测从画面外部移动到画面内部的物体的情况下，假定使用基于物体重心来追踪要检测的物体内的跟踪位置的方式。在这种情况下，在描绘了已进入画面的物体的第一个图像中，重心位置已处于所设置的检测线内侧并且已通过了该检测线。这是因为当物体出现在摄像画面中时，重心位置已经处于画面内侧若干像素的位置。由于这个原因，在这种情况下，重心位置的跟踪线与通过检测判断线不相交，因此不能检测到物体的通过。该现象对于快速移动的物体尤其明显。下面是无法检测到通过的另一个例子。当物体处于画面端部的位置时，不能判断最初拍摄到的图像中的物体的移动方向。这使得有时不能检测到物体的通过。另一方面，可以设置如下检测方法，该检测方法不是在物体的重心、而是在物体的一部分接触到检测线的情况下判断为要检测的物体通过。这样可以避免上述的检测遗漏，但是可能引起误检测。例如，在尽管物体的一部分已接触到检测线但实际上物体仅通过了检测线附近的情况下，因为物体实际上并未移动越过检测线，所以发生误检测。由于这个原因，一般通过跟踪物体的重心或者物体的对角线的中点、并且使用其与检测线之间的相交来检测物体的通过。在作出对要检测的各个物体的大小进行过滤以禁止检测具有特定大小以下的物体的设置的情况下，在画面端部，物体的一部分落入画面外。由于这个原因，在画面上要检测的物体的可见大小减小，并且在过滤时将物体排除在检测以外。这可能导致检测遗漏。
发明内容
考虑到上述问题，作出了本发明，并且提供用于在使用从监视照相机等获得的影像来检测物体或者人体通过画面内的特定部分的情况下防止在画面端部附近的误检测的技术。根据本发明的一方面，提供图像处理设备，包括检测单元，用于检测在显示画面内移动的对象是否通过了设置在所述显示画面内的对象检测区域；以及设置单元，用于在所述显示画面的框内设置禁止所述检测的区域，其中，所述检测单元检测所述对象是否通过了在由所述设置单元所设置的区域以外的区域中所设置的所述对象检测区域。根据本发明的第二方面，提供图像处理方法，包括检测步骤，用于检测在显示画面内移动的对象是否通过了设置在所述显示画面内的对象检测区域；以及设置步骤，用于在所述显示画面的框内设置禁止所述检测的区域，其中，在所述检测步骤中，检测所述对象是否通过了在所述设置步骤中所设置的区域以外的区域中所设置的所述对象检测区域。通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
图I是示出图像处理设备的功能结构的例子的框图。图2是示出轨迹管理单元104所管理的信息的结构的例子的图。图3A是示出定义对象检测区域的参数的第一构成例的图。图3B是示出定义对象检测区域的参数的第二构成例的图。图3C是示出定义对象检测区域的参数的第三构成例的图。图4是用于说明由轨迹信息判断单元106进行的处理的图。图5是用于说明对对象通过的判断的图。图6是用于说明应用程序窗口的图。图7是示出用于对象检测区域和禁止区域的设置处理的流程图。图8是用于说明禁止区域的设置处理的图。图9是示出对象检测区域的显示例子的图。图10是用于说明禁止区域的设置处理的图。
具体实施例方式以下将参考
本发明的实施例。以下说明的实施例是本发明的具体执行的例子，并且是在权利要求的范围内说明的结构的具体实施例之一。本实施例涉及如下的图像处理设备，其在显示画面中显示表现移动对象的运动图像，以检测在显示画面中移动的对象已通过显示画面中所设置的对象检测区域。首先将参考图I的框图说明根据本实施例的图像处理设备的功能结构的例子。图像处理设备100可以是一般的PC(个人电脑)、安装在能够拍摄运动图像的照相机上的图像处理电路、或者其它类型的装置，只要它可以实现以上说明的图像处理设备的功能即可。由CRT、液晶画面等构成的显示装置190与图像处理设备100连接。图像处理设备100将其处理结果以图像、字符等形式在显示装置190上显示。下面是运动图像在显示装置190的显示画面上显示的情况。图像获取单元101顺次地获取组成运动图像的帧的图像，该运动图像表现一个以上移动进入以及移动出显示画面、或者跨多个帧在显示画面内移动的对象。图像获取单元101将所获取的各帧的图像顺次地输出到物体检测单元102。图像获取单元101可以从能够拍摄运动图像的摄像装置或者提前保持有这种运动图像的装置获取这种运动图像。即，运动图像的来源不受特定的限制。物体检测单元102通过使用诸如背景差分技术等的技术检测从图像获取单元101所接收的帧的图像中所表现的对象。显然，要使用的对象检测方法不限于任何特定的方法。在从给定帧的图像中检测到对象的情况下，物体检测单元102生成与检测相关联的各种信息(之后将说明)。在物体检测单元102检测到与从关注帧的前一帧的图像中所检测到的对象相同的对象的情况下，物体跟踪单元103将各帧中的对象相互关联。假定物体跟踪单元103将对象ID=A分配给物体检测单元102已从关注帧的前一帧的图像中检测到的对象。在物体检测单元102从关注帧中也检测到相同对象的情况下，物体跟踪单元103也将对象ID=A分配给该对象。按照这种方式，在连续多个帧中都检测到同一对象的情况下，对各个对象分配相同的ID。注意，对关注帧中新检测到的对象分配新的对象ID。轨迹管理单元104管理由物体检测单元102和物体跟踪单元103所获得的各个对 象的信息。图2示出由轨迹管理单元104所管理的信息的结构的例子。在由轨迹管理单元104所管理的管理信息201中，管理各个对象的信息(对象信息)202。换言之，在管理信息201中，管理各个对象ID的对象信息202。在针对一个对象的对象信息202中，管理已检测到该对象的各个帧(时间戳)的信息203。信息203包括检测到的坐标位置(位置)、定义了包含所检测的对象的区域的外接矩形的信息(包围框)、以及对象的大小(大小)。显然，对象信息中可以包括的信息不受上述信息的限制，而且只要允许实现以下说明的处理、就可以包括任何信息。轨迹信息判断单元106适当地使用由轨迹管理单元104所管理的各信息。判断参数设置单元105获取或者设置用于判断各帧的图像中的对象通过对象检测区域的参数，即，定义对象检测区域的参数。接下来，判断参数设置单元105在轨迹信息判断单元106中设置所获取或者设置的参数。图3A示出判断参数设置单元105所获取或者设置的参数配置的例子。图3A中示出的参数将连接在显示装置190的显示画面上的坐标(10，10)与坐标(20，30)的线段(线)定义为对象检测区域。这些参数定义为，在具有100到250的大小(大小)的对象已通过(通过)该对象检测区域(线段)的情况下，该对象被视为检测目标。轨迹信息判断单元106基于由判断参数设置单元105所设置的参数以及由轨迹管理单元104所管理的信息，进行相对于对象检测区域的对象的通过判断处理。将参考图4说明在设置图3A中所示的参数的情况下由轨迹信息判断单元106进行的处理。轨迹信息判断单元106判断从关注帧的前一帧中的对象的外接矩形402到关注帧中的对象的外接矩形403的运动矢量404是否已与由参数所定义的线段401相交。判断运动矢量是否已与线段相交是为了判断该对象是否已通过线段401。以下将参考图5说明对对象通过设置在显示装置190的显示画面的端部处的上述线段的判断。画面501是正在显示时刻t I的帧的图像的显示装置190的显示画面。设置在画面501的右端上的线段502是由参数定义为对象检测区域的线段。尽管未显示在画面501上，但将在随后帧中显现在画面上的汽车(图5中的外接矩形503)正在从画面501的右侧接近。画面504是显示有在时刻tl的帧的下一帧(在时刻t2的帧)的图像的显示装置190的显示画面。画面504中表现了汽车的一部分。外接矩形505是由物体检测单元102从画面504中检测到的汽车的外接矩形。位置506是外接矩形505的中心位置。假定汽车在本帧中第一次显现在显示画面以内。画面507是显示有在时刻t2的帧的下一帧(在时刻t3的帧)的图像的显示装置190的显示画面。画面507中表现了汽车的全部。外接矩形508是由物体检测单元102从画面507中检测到的汽车的外接矩形。位置509是外接矩形508的中心位置。在对时刻t3的画面进行通过判断的情况下，轨迹信息判断单元106判断连接位置506与位置509的线段是否与线段502相交。在图5所示出的情况中，尽管作为汽车的对象实际上已通过了线段502，但是连接位置506与位置509的线段未与线段502相交。由于这个原因，在这种情况中，轨迹信息判断单元106判断为作为汽车的对象尚未通过线段502。因此该判断以误判断作为结果。 按照这种方式在画面的端部设置对象检测区域将增加这种误判断的可能性。作为对比，为避免这样的误判断，本实施例将画面的端部(框)附近的区域设置为“在画面中移动的对象是否已通过画面中所设置的对象检测区域的检测”的禁止区域。将参考图6说明该禁止区域。附图标记601表示显示在显示装置190的画面上以设置禁止区域的应用程序窗口 ；以及602表示用于显示由图像获取单元101所获取的各帧的图像的区域。在下面的处理中，在区域602中不是必须显示各帧的图像，并且在区域602中可以显示给定帧的图像(静止图像)或者不显示图像。在本实施例中，在区域602中设置禁止上述通过判断的区域。参考图6，设置有由附图标记603表示的禁止区域。禁止区域603是在区域602中由以下四个边界所包围的区域605外侧的区域 与区域602的上边界在向区域602内部的方向上间隔设置距离的边界； 与区域602的下边界在向区域602内部的方向上间隔设置距离的边界； 与区域602的左边界在向区域602内部的方向上间隔设置距离的边界；以及 与区域602的右边界在向区域602内部的方向上间隔设置距离的边界。换言之，本实施例用于在由这四个边界所包围的区域605中进行上述通过判断。参考图6，附图标记604表示区域605的下边界与区域602的下边界之间的距离(设置距离)。由于区域602是显示装置190的显示画面的缩小区域，因此禁止区域603是实际的显示画面上所设置的禁止区域的缩小区域。在显示装置190的实际显示画面上，由以下四个边界所包围的区域外侧的区域是对通过判断的禁止区域 与显示画面的上边界在向显示画面内部的方向上间隔设置距离的边界； 与显示画面的下边界在向显示画面内部的方向上间隔设置距离的边界； 与显示画面的左边界在向显示画面内部的方向上间隔设置距离的边界；以及 与显示画面的右边界在向显示画面内部的方向上间隔设置距离的边界。用户可以通过使用判断参数设置单元105在区域602中设置上述禁止区域603以及对象检测区域。在这种情况下，通过诸如键盘或者鼠标等的输入装置来实现判断参数设置单元105。显然，可以提前确定禁止区域603。参考图6，用户顺次地设置点606、607以及608，以将由连接点606与607的线段和连接点607与608的线段所组成的一系列线段设置为对象检测区域。然而，如上所述，禁止区域603禁止通过判断，因此判断参数设置单元105禁止将对象检测区域包括在禁止区域603以内。在图6示出的情况中，由于点608包括在禁止区域603中，当用户试图设置点608时，判断参数设置单元105禁止设置操作。可以想到各种禁止设置操作的方法。例如，在该设备使用让用户操作判断参数设置单元105来移动光标、并且在光标的当前位置设置点的方法的情况下，该设备可以禁止光标移动到禁止区域603。或者，设备可以允许光标移动到禁止区域603、但可以拒绝点设置操作，或者可以将设置在禁止区域603中的点强制移动到禁止区域603以外。按照这种方式，在本实施例中设置对象检测区域时，该设备控制设置处理以防止对象检测区域与禁止区域重叠。相应地，设备在除禁止通过判断的区域以外的区域中进行通过判断，从而防止上述误判断。由轨迹信息判断单元106所获得的判断结果可以通过外部输出单元107输出到外部。在外部输出单元107是由CRT或者液晶画面所构成的显示装置的情况下，可以使用外 部输出单元107代替显示装置190。将参考示出本处理的流程图的图7来说明对对象检测区域和禁止区域的设置处理。在步骤S701中，轨迹信息判断单元106判断是否继续以下处理，即，是否终止本处理。在满足终止处理的条件、例如输入了终止处理的指示的情况下，设备终止处理。在要继续以下处理的情况下，处理进入步骤S702。在步骤S702中，轨迹信息判断单元106从判断参数设置单元105读取已由判断参数设置单元105获取或者设置的如图3A所示的参数。在判断参数设置单元105尚未获取/设置该参数的情况下，处理跳过步骤S702和S703而进入步骤S704。在步骤S703中，轨迹信息判断单元106根据步骤S702中读取的参数计算允许对象检测的区域和禁止对象检测的区域。将参考图3B和图8说明本步骤中进行的处理。假定在步骤S702中读取的参数具有图3B中示出的参数的结构。根据图3B中示出的参数，将连接显示装置190的显示画面上的坐标(950,250)与坐标(950,600)的线段(线)定义为对象检测区域。此外，该参数定义为，在具有300到400的大小(大小)的对象已通过本对象检测区域(线段)的情况下，对象被视为检测目标。在从判断参数设置单元105获取了该参数的情况下，轨迹信息判断单元106可以将设置距离802设置成要检测的对象的最大大小的一半，即200。假定显示装置190的显示画面801的左上角和右下角的坐标位置分别为(0，0)和(1200，1000)。在这种情况下，轨迹信息判断单元106将左上角和右下角的坐标位置分别为(200,200)和(1000,800)的矩形区域803的内部设置为允许设置对象检测区域的区域，并且将矩形区域803外部的区域设置为上述禁止区域。假定轨迹信息判断单元106在步骤S702中已从判断参数设置单元105中读取具有图3C所示的结构的参数。图3C中示出的参数将连接在显示装置190的显示画面上的坐标(1190,250)与坐标(1190,600)的线段(线)定义为对象检测区域。这些参数还定义了在具有150到200的大小(大小)的对象已通过(通过)该对象检测区域(线段)的情况下，该对象被视为检测目标。
在从判断参数设置单元105获取该参数的情况下，如图10中所示，轨迹信息判断单元106可以将设置距离1001设置成要检测的对象的最大大小的一半，S卩100。在这种情况下，轨迹信息判断单元106将左上角和右下角的坐标位置分别为(100，100)和(1100,900)的矩形区域1002的内部设置为允许设置对象检测区域的区域，并且将矩形区域1002外部的区域设置为上述禁止区域。在这种情况下，部分对象检测区域包括在禁止区域内。该设备可以对对象检测区域和禁止区域其一或二者重新设置，以避免对象检测区域包括在禁止区域中。例如，在要重新设置对象检测区域的情况下，图3C中示出的参数的“坐标”可以校正为(1100,250)和(1100,600)。根据以上说明，根据要检测的对象的大小来获得设置距离。然而，可以使用其它方法来获得设置距离。例如，可以根据该对象在画面中的移动速度获得设置距离。在这种情况下，可以获得对象在当前帧与先前帧之间在画面中的移动距离作为移动速度，并且随着所获得的移动速度的增加来增加设置距离。返回参考图7，在步骤S704中，如图6中所示，设备在显示装置190的显示画面上 显示示出禁止对象检测的区域以及对象检测区域的应用程序窗口。显示各区域的方法不受此限制。在处理跳过步骤S702和S703而进入步骤S704的情况下，在步骤S704中，设备不显示对象检测区域或者禁止区域，并且用户通过操作判断参数设置单元105来新设置这些区域。根据以上说明，未指定要检测的对象的宽度和高度。然而，可以将宽度和高度添加为设置项目。在这种情况下，在步骤S703中计算设置距离时，可以根据高度来设置上边界和下边界的设置距离，并且根据宽度来设置左边界和右边界的设置距离。例如，在将人体设置为要检测的对象的情况下，由于人体是在高度方向上比宽度方向上长的对象，因此在上边界和下边界上的设置距离比左边界和右边界上的设置距离长。这还适用于根据对象的移动速度来获得设置距离的情况。即，在基于同一对象在水平和垂直方向上的移动速度根据照相机的安装条件而变化这一假定设置参数的情况下，可以根据在垂直方向上的移动速度来设置在上边界和下边界的设置距离，并且根据在水平方向上的移动速度来设置在左边界和右边界的设置距离。在步骤S705中，轨迹信息判断单元106判断是否已设置(重新设置)禁止区域或者对象检测区域。该判断是判断用户是否已使用判断参数设置单元105通过例如在应用程序窗口中改变设置距离、编辑或者生成对象检测区域来设置(重新设置)禁止区域或者对象检测区域。在作为该判断结果、设备判断为用户尚未设置(重新设置)任何区域的情况下，处理进入步骤S707。在设备判断为用户已设置(重新设置)区域的情况下，处理进入步骤 S706。在步骤S706中，轨迹信息判断单元106在禁止区域和/或对象检测区域中反映通过设置(重新设置)所作的改变。更具体地，轨迹信息判断单元106在由轨迹管理单元104所管理的信息中反映对象检测区域发生改变之后的信息，并且存储定义了所设置(重新设置)的禁止区域的信息。假定此时对象检测区域包括在禁止任何对象检测的区域中。上述的应对技术适用于该情况。例如，在步骤S706中，如图9中所示，在用户将区域1201指定为对象检测区域的情况下，设备不仅可以显示区域1201，还可以显示为了防止区域1201包括在禁止区域中、通过移动区域1201而设置的区域1202。在发生将终止该处理的状况的情况下(满足用于终止处理的条件或者输入终止处理的指示)，处理通过步骤S707返回到步骤S702。在尚未发生该状况的情况下，设备通过步骤S707终止处理。显然，在处理通过步骤S706和步骤S707返回步骤S702的情况下，步骤S706中进行的改变反映在相对应的区域中。如以上已说明的，根据本实施例，在通过使用从监视照相机等获得的影像将检测区域设置在摄像画面以内上端和下端或者左端和右端附近的情况下，可以防止在画面端附近的误检测。其它实施例本发明的方面还可以由系统或者设备(或者诸如CPU或者MPU等的装置)的计算机读出并且执行记录于存储装置上的程序以进行以上说明的实施例的功能而实现，还可以 通过一种方法实现，该方法的步骤由系统或者设备的计算机通过例如读出并且执行记录于存储装置上的程序以进行以上说明的实施例的功能而进行。为了该目的，将程序例如通过网络或者从作为存储装置的各种存储介质(例如，计算机可读取的存储介质)提供给计算机。尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功倉泛。
权利要求
1.一种图像处理设备，包括 检测单元，用于检测在显示画面内移动的对象是否通过了设置在所述显示画面内的对象检测区域；以及 设置单元，用于在所述显示画面的框内设置禁止所述检测的区域， 其中，所述检测单元检测所述对象是否通过了在由所述设置单元所设置的区域以外的区域中所设置的所述对象检测区域。
2.根据权利要求I所述的图像处理设备，其特征在于，所述设置单元将由以下的边界所包围的区域的外部设置为禁止所述检测的区域与所述显示画面的上边界在向所述显示画面内部的方向上间隔设置距离的边界、与所述显示画面的下边界在向所述显示画面内部 的方向上间隔设置距离的边界、与所述显示画面的左边界在向所述显示画面内部的方向上间隔设置距离的边界、以及与所述显示画面的右边界在向所述显示画面内部的方向上间隔设置距离的边界。
3.根据权利要求2所述的图像处理设备，其特征在于，所述设置单元根据所述对象的大小与所述对象的移动速度的其中之一来设置所述设置距离。
4.根据权利要求I所述的图像处理设备，其特征在于，还包括如下单元，该单元用于在设置所述对象检测区域时所述对象检测区域的部分或者全部包含在禁止所述检测的区域中的情况下、移动所述对象检测区域以防止所述对象检测区域包含在禁止所述检测的区域中。
5.根据权利要求1-4中的任一项所述的图像处理设备，其特征在于，所述对象检测区域是线段。
6.—种图像处理方法,包括 检测步骤，用于检测在显示画面内移动的对象是否通过了设置在所述显示画面内的对象检测区域；以及 设置步骤，用于在所述显示画面的框内设置禁止所述检测的区域， 其中，在所述检测步骤中，检测所述对象是否通过了在所述设置步骤中所设置的区域以外的区域中所设置的所述对象检测区域。
7.根据权利要求6所述的图像处理方法，其特征在于，在所述设置步骤中，将由以下的边界所包围的区域的外部设置为禁止所述检测的区域与所述显示画面的上边界在向所述显示画面内部的方向上间隔设置距离的边界、与所述显示画面的下边界在向所述显示画面内部的方向上间隔设置距离的边界、与所述显示画面的左边界在向所述显示画面内部的方向上间隔设置距离的边界、以及与所述显示画面的右边界在向所述显示画面内部的方向上间隔设置距离的边界。
8.根据权利要求6所述的图像处理方法，其特征在于，所述对象检测区域是线段。
全文摘要
本发明涉及图像处理设备和图像处理方法。检测到在显示画面中移动的对象已通过设置在显示画面中的对象检测线段。显示画面的框中设置了禁止检测的区域。在该检测中，检测到对象已通过除设置的区域以外的区域中所设置的对象检测线段。
文档编号G06T7/20GK102800102SQ20121015799
公开日2012年11月28日 申请日期2012年5月21日 优先权日2011年5月20日
发明者安达启史 申请人:佳能株式会社