运动检测方法和系统与流程

本发明涉及用于检测运动的方法和系统。

背景技术：

满足对社会安全和环境安全具有增长的兴趣的时代的需求被认为是重要的，对用于检测运动状况的方法和系统的社会需求已经增加。

现有的运动检测方法通过使用照相机标定将真实世界三维坐标转换至图像的二维坐标并通过使用转换的图像计算物体的移动距离而检测运动。

在此，用于将真实世界三维坐标(以后，称为“世界坐标”)转换至图像的二维坐标的照相机标定方法是重要的。为此目的，通常利用使用具有网格形状的平面图案的方法。照相机标定性能依赖于将世界坐标转换至图像坐标的转换矩阵的计算，其中转换矩阵被称为单应矩阵。照相机标定方法由下述等式1表示。

(等式1)

在上述等式1中，A表示用于校正照相机的内部失真的矩阵，[R|t]表示用于将世界坐标转换至图像坐标的旋转/移动转换矩阵，以及X、Y和Z表示世界坐标，且x和y表示图像坐标。在上述等式1中，A[R|t]被称为单应矩阵且f_x、f_y、c_x、c_y和skew_c各自表示焦距、主点和对于图像的x和y的非对称系数。主点由图像传感器(CMOS、CCD等)的长宽比产生，且非对称系数由制造照相机期间造成的误差产生。在制造照相机的初始阶段中，参数的影响大。然而，目前由于技术的发展，几乎没有参数的影响。

因此，需要计算其余参数(焦点、旋转/移动转换矩阵、世界坐标)以获得单应矩阵。在此情况下，世界坐标和图像坐标通过具有网格形状的平面图案相互匹配。图1是示出用于获得单应矩阵的具有网格形状的平面图案的图。

为计算其余参数，需要照相机的基本说明(焦距、垂直视角、水平视角等)、照相机的安装高度和角度信息等。此外，若照相机被安装，需要使用图1的具有网格形状的平面图案获取关于世界坐标的信息。然而，工业场地(例如处理危险物体的工厂)和营业场所通常在尺寸上是大的，因此需要安装数百个照相机。因此，应用现有的照相机标定方法是困难的。

公开

技术问题

本发明致力于提供具有不使用平面图案的情况下使用用户输入信息的优势的用于检测运动的方法和系统。

技术方案

本发明的示例性实施例提供用于检测运动的系统。用于检测运动的系统包括：物体检测器，检测由照相机拍照的图像中的移动物体；前景边缘检测器，检测物体的前景边缘；脚印和头部坐标提取器，使用前景边缘提取脚印图像坐标并提取头部坐标，头部坐标是物体的头部部分的坐标；照相机安装角度计算器，计算安装的照相机的倾斜角度；坐标转换器，使用脚印图像坐标、角度和照相机的安装高度以获取脚印真实坐标，脚印真实坐标是物体与照相机间隔开的位置处的坐标；高度提取器，计算物体的高度；以及运动状况确定器，使用脚印真实坐标和物体的高度以确定物体是否运动。

照相机的安装高度可以是由用户任意地设置的值。

高度提取器可以使用照相机的安装高度、脚印图像坐标和头部坐标计算物体的高度。

照相机安装角度计算器可以使用照相机的垂直视角、图像的垂直像素的数量和与照相机的中心间隔开的Y轴坐标像素的数量计算角度。

坐标转换器可以基于后视角转换(back perspective conversion)方法获取脚印真实坐标。

坐标转换器可以计算脚印在垂直方向上与照相机间隔开的第一距离，并使用第一距离计算第二距离，第二距离是脚印在水平方向上与照相机间隔开的距离，且第一距离和第二距离可以是脚印真实坐标。

脚印真实坐标和物体的高度可以取决于照相机的安装高度而改变。

运动状况确定器可以使用脚印真实坐标计算物体的移动距离，并当移动距离大于物体的高度时确定物体运动。

物体检测器可以通过背景建模方法检测物体。

前景边缘检测器可以从物体的完整图像检测图像边缘，使用物体的当前图像和物体的当前图像的时间上连续的图像检测时间边缘，并提取图像边缘和时间边缘的共有成分作为前景边缘。

照相机可以是针孔照相机。

本发明的另一实施例提供在用于检测运动的系统中使用由照相机拍照的图像检测物体的运动的方法。在用于检测运动的系统中使用由照相机拍照的图像检测物体的运动的方法包括：检测图像中的移动物体；检测物体的前景边缘；使用前景边缘提取脚印图像坐标；使用前景边缘提取头部坐标，头部坐标是物体的头部部分的坐标；计算安装的照相机的倾斜角度；使用脚印图像坐标、角度和照相机的安装高度获取脚印真实坐标，脚印真实坐标是物体与照相机间隔开的位置处的坐标；计算物体的高度；以及使用脚印真实坐标和物体的高度确定物体是否运动。

照相机的安装高度可以是由用户任意地设置的值。

计算物体的高度可以包括使用照相机的安装高度、脚印图像坐标和头部坐标计算物体的高度。

脚印真实坐标和物体的高度可以依赖于照相机的安装高度。

计算角度可以包括使用照相机的垂直视角、图像的垂直像素的数量和与照相机的中心间隔开的Y轴坐标像素的数量计算角度。

获取脚印真实坐标可以包括：计算第一坐标，第一坐标是脚印在垂直方向上与照相机间隔开的位置处的坐标；以及使用第一坐标计算第二坐标，第二坐标是脚印在水平方向上与照相机间隔开的位置处的坐标。

确定可以包括：使用脚印真实坐标计算物体的移动距离；以及比较移动距离和物体的高度。

确定还可以包括当移动距离大于物体的高度时确定物体运动。

有利效果

根据本发明的示例性实施例，可以仅使用用户的输入信息而自动地检测物体是否运动。

附图说明

图1是示出用于获得单应矩阵的具有网格形状的平面图案的图。

图2是示出根据本发明的示例性实施例的用于检测运动的系统的图。

图3是示出根据本发明的示例性实施例的针孔照相机模型的图。

图4是示出根据本发明的示例性实施例的针孔照相机的安装状态的图。

图5是图4的状态的俯视图。

图6是示出其中平行于底面安装照相机的情况的图。

图7是示出当以相对于底面的预设角度Θ₁安装照相机的侧面的图。

图8是示出物体的高度Human_Height与照相机的高度H之间的关系的图。

图9是示出根据本发明的示例性实施例的用于检测运动的方法的流程图。

发明的状况

在下述具体的描述中，简单地通过说明，仅示出和描述本发明的一些示例性实施例。正如本领域中的技术人员可能意识到的，所描述的示例性实施例可以以各种不同的方式修改，所有这些不脱离本发明的精神或范围。因此，附图和描述被看做实际上是说明性的且不是限制性的。说明书中相同的附图标记自始至终指示相同的元件。

本说明书和权利要求书中，除非明确地表述为相反的，“包含”和“包括”任何成分将被自始至终地理解为暗示包括其他元素而不是排除任何其他元素。

此后，根据本发明的示例性实施例的用于检测运动的方法和系统将结合附图被详细描述。

图2是示出根据本发明的示例性实施例的用于检测运动的系统的图。

如图2所示，根据本发明的示例性实施例的用于检测运动的系统100包括物体检测器110、前景边缘检测器120、脚印和头部坐标提取器130、坐标转换器140、照相机安装角度计算器150、高度提取器160以及运动状况确定器170。

物体检测器100通过对由照相机拍照的图像应用跟踪算法而检测移动的物体。在视频监控领域中有各种跟踪算法。在各种跟踪算法中，基于码本的背景建模方法可以检测物体。在此，若物体被物体检测器110检测到，产生物体的平方区(square zone)。背景建模方法通过将具有阈值的一个或多个像素(通过学习图像中每个像素的值的离散度定义阈值)看作为前景而检测物体。背景建模方法为与本发明相关的领域中的普通技术人员所知，且因此省略其的具体介绍。

前景边缘检测器120检测由物体检测器110检测的物体的前景边缘。前景边缘检测器120在检测的物体的每个像素的时基上检测几张图像的边缘。更具体地，前景边缘检测器120检测来自一个物体第一输入的完整图像的边缘(此后，称为“图像边缘”)，并使用一段时间内的多个物体图像输入而检测边缘成分(此后，称为“时间边缘”)。此外，前景边缘检测器120提取检测的图像边缘和时间边缘的共有成分，并将满足共有成分的边缘定义为前景边缘。用于获得前景边缘的方法在韩国专利No.10-1398684中具体介绍，因此省略其的具体介绍。同时，由前景边缘检测器120检测的前景边缘被设置为具有比由物体检测器110检测的物体的平方区小的平方区。

同时，脚印和头部坐标提取器130使用前景边缘的平方区提取脚印图像坐标并提取与物体的头部部分对应的坐标(此后，称为“头部坐标”)。脚印和头部坐标提取器130将由前景边缘检测器120检测的前景边缘的平方区中的Y轴的下部的像素位置和X轴的中心点设置为对应的物体的脚印图像坐标。此外，脚印和头部坐标提取器130将由前景边缘检测器120检测的前景边缘的平方区中的y轴的上部的像素位置和x轴的中心点设为对应的物体的头部坐标。由脚印和头部坐标提取器130提取的脚印坐标被输入至坐标转换器140和高度提取器160，且头部坐标被输入至高度提取器160。

坐标转换器140基于后视角转换方法使用物体的脚印图像坐标获取对应的物体与实际的照相机间隔开的位置处的坐标(此后，称为“脚印真实坐标”)。后视角转换方法是基于下面图3所示的针孔照相机模型。

图3是示出根据本发明的示例性实施例的针孔照相机模型的图，且图4是示出根据本发明的示例性实施例的针孔照相机的安装状态的图。

根据本发明的示例性实施例，如图4所示，假设照相机被安装在预设的高度且照相机以任意角度倾斜时拍照图像。坐标转换器140首先计算物体在垂直方向上与照相机间隔开的距离Dy，然后计算物体在水平方向上与照相机间隔开的距离Dx，用于后视角转换。在此，脚印真实坐标是Dx和Dy。

在此，如下所述，照相机的高度H是由用户任意地设置的值，且照相机的倾斜角度Θ₁由照相机安装角度计算器150自动地计算。此外，Θ₂是对应的照相机的垂直视角且是由照相机预设的值。此外，Θ₃是对于物体的脚印的物体脚印的垂直角，且坐标转换器140可以使用脚印坐标计算Θ₃。因此，物体在垂直方向上与照相机间隔开的距离Dy与照相机的安装高度H之间的关系为下述等式2。

(等式2)

如等式3所示，求解并整理等式2的左侧。

(等式3)

同时，Θ₂和焦距f之间的关系为下述等式4。

(等式4)

上述等式3和4被整理为下述等式5。

(等式5)

使用上述等式2和5，物体在垂直方向上与照相机间隔开的距离Dy最终如下述等式6被计算。

(等式6)

若使用上述等式6计算Dy，使用计算的距离Dy可以计算物体在水平方向上相对于照相机被间隔开的距离Dx。

图5是图4的状态的俯视图。在图5中，Θ₄是照相机的水平视角且是由照相机预设的值。此外，Θ₅是对于物体的脚印的物体脚印的水平角，且坐标转换器140可以使用脚印坐标可以计算Θ₅。此外，L表示距照相机的对角距离L且被定义为

物体在水平方向上的距离Dx和Θ₅之间的关系为下述等式7。

(等式7)

Dx＝tan(Θ₅)×L

在此，Θ₄、Θ₅和焦距f之间的关系如下述等式8，因此物体在水平方向上的距离Dx最终如下述等式9被计算。

(等式8)

(等式9)

如上所述，脚印真实坐标Dx和Dy最终如上述等式6和9被计算。

对于坐标转换器140计算脚印真实坐标Dx和Dy，需要关于倾斜的照相机的角度Θ₁和照相机的高度H的信息。工业场地(例如处理危险物体的工厂)和营业场所通常在尺寸上是大的，因此需要安装数百个照相机用于监控。因此，确保并输入照相机的安装信息是困难的。因此，根据本发明的示例性实施例，照相机的倾斜角度Θ₁是由照相机安装角度计算器150自动地计算的，且照相机的高度H由用户设置为任意值。

照相机安装角度计算器150计算照相机的倾斜角度Θ₁。将参考图6和图7介绍。

图6是示出其中照相机被平行于底面安装的情况的图。更具体地，图6的(a)是示出照相机的安装状况的图，且图6的(b)是示出由照相机拍照的图像的图。

在图6的(a)的安装状况中，当物体逐渐远离照相机时，如图6的(b)所示，图像的消失点变为照相机的图像的中心。在此点处，底面的平行线与图像的消失点交汇。

图7是示出当照相机以相对于底面的预设角度Θ₁安装时的侧面的图。

当图像中给出底面的平行线时，照相机的安装角度Θ₁如下述等式10被计算。

(等式10)

在上述等式10中，I_m表示与照相机的中心间隔开的Y轴坐标像素的数量，且使用底面的两条平行线被计算。此外，Θ₂表示照相机的垂直视角且Height表示图像的垂直像素(图9中的高度像素)的数量。

如上所述，根据本发明的示例性实施例的照相机安装角度计算器150自动地如上述等式10计算照相机的安装角度Θ₁，并将计算的值输出至坐标转换器140。

同时，根据本发明的示例性实施例的照相机的安装高度H是由用户任意地设置的值。因此，根据本发明的示例性实施例的坐标转换器140基于任意地设置的照相机的安装高度H计算脚印真实坐标。即，当任意地设置的照相机的安装高度H大于或小于实际高度，从坐标转换器140输出的脚印真实坐标Dx和Dy也改变。

高度提取器160使用脚印图像坐标、头部坐标和任意地设置的照相机的安装高度H计算物体的高度。

图8是示出物体的高度Human_Height和照相机的高度H之间的关系的图。

参考图8，高度提取器160可以使用头部坐标计算dist1forHum，并使用脚印图像坐标计算DFC_Y。在此，dist2forHum是通过从dist1forHum减去DFC_Y获得的值。

因此，物体的高度Human_Height和照相机的高度H之间的关系如下述等式11。

(等式11)

dist2forHum：distl forHum＝HumanHeight:CameraHeight

如上述等式11所示，物体的高度Human_Height如脚印真实坐标一样，也取决于照相机的高度H(Camera_Height)。

接下来，根据本发明的示例性实施例的运动状况确定器170使用脚印真实坐标Dx和Dy以及物体的高度Human_Height最终确定运动状况。在此，脚印真实坐标和物体的高度是取决于照相机的高度H而变化的值。

对于任意时刻t和t-n的物体的移动距离如下述等式12被计算。即，运动状况确定器170可以使用脚印真实坐标Dx和Dy计算物体的移动距离。

(等式12)

在此，当如上述等式12计算的物体的移动距离大于如上述等式11计算的物体的高度Human_Height时，根据本发明的示例性实施例的运动状况确定器170最终确定物体移动。在上述等式12中计算的物体的移动距离是依赖于照相机的高度H的值，且甚至照相机的高度H与物体的高度Human_Height成比例。因此，即使可能不知道物体实际移动的准确的距离，当计算的物体的高度Human_Height被设置为阈值时，可以确定物体的运动状况。

图9是示出根据本发明的示例性实施例的用于检测运动的方法的流程图。

如图9所示，由照相机拍照的图像被输入至物体检测器110(S610)。物体检测器110通过对输入图像应用跟踪算法而检测移动的物体(S620)。

前景边缘检测器120对于由物体检测器110检测的物体检测前景边缘(s630)。即，前景边缘检测器120提取图像边缘和时间边缘的共有成分，并将满足共有成分的边缘定义为前景边缘。

同时，脚印和头部坐标提取器130使用前景边缘的平方区提取脚印图像坐标，并提取与物体的头部部分对应的坐标(S640)。

照相机安装角度计算器150计算照相机的安装角度Θ₁(S650)。即，照相机安装角度计算器150如上述等式10自动地计算照相机的安装角度Θ₁。同时，可以仅在输入第一图像时执行步骤S650一次。

坐标转换器140使用照相机的安装角度、被设置为任意值的照相机的高度H和脚印图像坐标计算脚印真实坐标(S660)。即，坐标转换器140使用上述等式6和9计算脚印真实坐标。

另外，运动状况确定器170使用脚印真实坐标计算物体的移动距离(S670)。即，运动状况确定器170使用上述等式12计算物体的移动距离。

物体高度提取器160使用脚印图像坐标、头部坐标和任意地设置的照相机的安装高度H计算物体的高度(S680)。即，物体高度提取器160使用上述等式11计算物体的高度Human_Height。

同时，运动状况确定器170比较步骤S670中计算的物体的移动距离与步骤S680中提取的物体的高度，以确定物体是否运动(S690)。如果物体的移动距离大于物体的高度，运动状况确定器170确定物体运动(S691)。另外，若物体的移动距离不大于物体的高度，运动状况确定器170确定物体没运动(S692)。

虽然结合目前被认为是实际的示例性实施例已经描述了本发明，应该理解的是，本发明并不限制于所公开的实施例，然而，相反，本发明旨在覆盖所附权利要求书的精神和范围内包括的各种修改和等同的布置。

工业实用性

本发明涉及用于检测运动的系统。