一种双目立体视觉摄像机及其摄像方法与流程

本发明涉及计算机视觉领域，特别涉及一种双目立体视觉摄像机及其摄像方法。

背景技术：

双目立体视觉摄像机集成了两路传感器芯片，能够同时采集两路视频码流，并通过双目标定及匹配技术，获取场景中目标的三维信息。即通过双目立体视觉技术可以获得场景中物体的深度图，使目标具有三维信息，有助于目标的行为分析及更多目标信息的获取，因此双目视觉技术在智能视频分析中具有较大的应用前景。当前，双目立体技术已被广泛应用在距离测量、商业客流分析、行人行为分析等方面。

由于双目立体摄像机在获取场景三维信息前，需要对摄像机的内部参数(摄像机焦距、畸变系数、象元尺寸以及主点坐标)和外部参数(旋转平移矩阵、安装高度和拍摄角度)进行标定，因此，现有的双目立体视觉摄像机的内部参数、拍摄角度和高度均为固定值，使得双目立体视觉摄像机只能监控固定范围。另外，受限于双目立体视觉技术中深度图计算的精度，目前双目立体视觉摄像机的有效监控范围比较小，一般在10米以内。

以上两个因素极大地限制了双目立体视觉摄像机的监控范围，导致双目立体视觉摄像机的监控范围过小，因而不利于双目立体视觉摄像机的推广应用。如果要扩大双目立体视觉摄像机的监控范围，则要增加摄像机数量，但是，摄像机数量的增加会导致系统的复杂性和成本大幅提升，而且也会增加实施的难度。

技术实现要素：

本发明提供一种双目立体视觉摄像机及其摄像方法，通过云台设置双目立体视觉摄像机的拍摄角度、高度以及内部参数，以实现多角度、多场景深度信息采集，以解决目前双目立体视觉摄像机监控范围过小的问题。

根据本发明的一个方面，提供一种双目立体视觉摄像机，所述双目立体视觉摄像机包括：云台，以及装设有第一摄像单元和第二摄像单元的摄像装置；所述云台与所述摄像装置通信连接，其中所述云台包括：设定单元，用于接收用户发送的标定等级选择指令，设定摄像装置的标定等级，所述标定等级选择指令中包括有从预先存储的至少一个标定等级中选择第一标定等级的信息；所述摄像装置包括：调用单元，用于根据所述设定单元所设定的第一标定等级调用与该第一标定等级对应的第一摄像机内部参数；标定单元，用于根据所调用的所述第一摄像机内部参数以及摄像机拍摄角度和/或高度，对所述摄像装置进行标定。

其中，在上述发明中，所述云台还包括：摄像机拍摄角度和/或高度设定单元，用于接收用户发送的外部参数设置指令，设定摄像装置的摄像机拍摄角度和/或高度。

其中，在上述发明中，所述摄像机拍摄角度和/或高度为预先存储的与所述标定等级一一对应的信息。

其中，在上述发明中，所述第一摄像机内部参数包括摄像机焦距、畸变系数、象元尺寸和主点坐标中的至少一个。

其中，在上述发明中，所述第一摄像机内部参数存储在所述摄像装置的内存中或者外部存储介质中。

其中，在上述发明中，所述第一摄像单元和所述第二摄像单元的内部参数，以及使用时的摄像机拍摄角度和/或高度均一致；所述摄像机内部参数包括摄像机焦距、畸变系数、象元尺寸和主点坐标。

根据本发明的另一个方面，提供一种双目立体视觉摄像机的摄像方法，所述双目立体视觉摄像机包括云台，以及装设有第一摄像单元和第二摄像单元的摄像装置；所述摄像方法包括：

摄像装置通过云台接收用户发送的标定等级选择指令，所述标定等级选择指令中包括有从预先存储的至少一个标定等级中选择第一标定等级的信息；

调用预先存储的与所述第一标定等级对应的第一摄像机内部参数；

根据所述第一摄像机内部参数，以及摄像机拍摄角度和/或高度，对所述摄像机进行标定；

第一摄像单元和第二摄像单元对监控场景进行摄像。

其中，在上述发明中，所述摄像机拍摄角度和/或高度为接收到的用户发送的外部参数设置指令中携带的信息。

其中，在上述发明中，所述摄像机拍摄角度和/或高度为预先存储的与所述标定等级一一对应的信息。

其中，在上述发明中，所述第一摄像机内部参数包括摄像机焦距、畸变系数、象元尺寸和主点坐标中的至少一个。

其中，在上述发明中，所述第一摄像机内部参数存储在所述摄像装置的内存中或者外部存储介质中。

其中，在上述发明中，所述第一摄像单元和所述第二摄像单元的内部参数，以及使用时的摄像机拍摄角度和/或高度均一致；所述摄像机内部参数包括摄像机焦距、畸变系数、象元尺寸和主点坐标。

本发明的双目立体视觉摄像机及其摄像方法，应用于计算机视觉领域中，解决了目前双目立体视觉摄像机监控范围过小的技术问题。本发明通过云台设置双目立体视觉摄像机的拍摄角度、高度以及内部参数，以实现多角度、多场景深度信息采集，即实现一台双目立体摄像机监控多个场景的目的。

附图说明

图1显示了本发明的双目立体视觉摄像机的结构示意图；

图2显示了本发明的双目立体视觉摄像机的摄像方法的流程图；

图3显示了本发明具体实施方式中提供的双目立体视觉摄像机的第一实施例的结构示意图；

图4显示了本发明具体实施方式中提供的双目立体视觉摄像机的摄像方法的第一实施例的方法流程图；

图5显示了本发明具体实施方式中提供的双目立体视觉摄像机的摄像方法的第二实施例的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

这里，先说明在本发明的方案中，涉及云台控制的“双目立体视觉摄像机”、“摄像机标定”、“深度图”和“云台”。

双目立体视觉摄像机：是集成了两路传感器芯片，可以同时采集两路视频码流，并通过双目标定及匹配技术，获取场景中目标的三维信息的摄像机。

摄像机标定：是根据摄像机模型，建立摄像机图像像素位置与场景点位置之间的关系，并由已知特征点的图像坐标和世界坐标求解摄像机的模型参数，标定参数为摄像机的内部参数和外部参数。其中，摄像机的内部参数主要包括摄像机焦距、畸变系数、象元尺寸以及主点坐标；外部参数包括摄像机的旋转矩阵和平移向量，以及摄像机安装高度和拍摄角度。

深度图：是反映场景中目标距离远近的图像，即深度图中的每个像素值代表场景中某一点与摄像机之间的距离。

云台：是控制摄像机角度和焦距的平台。

图1显示了本发明的双目立体视觉摄像机的结构示意图。

本发明的双目立体视觉摄像机的结构如图1所示至少包括：云台，以及装设有第一摄像单元和第二摄像单元的摄像装置；所述云台与所述摄像装置通信连接，其中所述云台包括：设定单元，用于接收用户发送的标定等级选择指令，设定摄像装置的标定等级，所述标定等级选择指令中包括有从预先存储的至少一个标定等级中选择第一标定等级的信息；所述摄像装置包括：调用单元，用于根据所述设定单元所设定的第一标定等级调用与该第一标定等级对应的第一摄像机内部参数；标定单元，用于根据所调用的所述第一摄像机内部参数以及摄像机拍摄角度和/或高度，对所述摄像装置进行标定。

对应地，本发明的双目立体视觉摄像机的摄像方法的流程如图2所示至少包括：步骤S01，摄像装置通过云台接收用户发送的标定等级选择指令，所述标定等级选择指令中包括有从预先存储的至少一个标定等级中选择第一标定等级的信息；步骤S02，调用预先存储的与所述第一标定等级对应的第一摄像机内部参数；步骤S03，根据所述第一摄像机内部参数，以及摄像机拍摄角度和/或高度，对所述摄像机进行标定；以及步骤S04，第一摄像单元和第二摄像单元对监控场景进行摄像。

下面结合【实施例一】和【实施例二】对本发明的双目立体视觉摄像机及其摄像方法进行具体阐述。

【实施例一】

图3显示了本发明具体实施方式中提供的双目立体视觉摄像机的第一实施例的结构示意图。

如图3所示，该摄像机至少包括：云台以及装设有第一摄像单元和第二摄像单元的摄像装置，该云台与该摄像装置通信连接。

其中，摄像装置内预设有多个标定等级，每个标定等级对应一摄像机内部参数，该摄像机内部参数包括摄像机焦距、畸变系数、象元尺寸和主点坐标，第一摄像机内部参数为摄像机焦距、畸变系数、象元尺寸和主点坐标中的至少一个，其存储在摄像装置的内存中或者外部存储介质中。且该摄像装置上第一摄像单元和第二摄像单元的摄像机内部参数，以及使用时的摄像机拍摄角度和/或高度均一致。

其中，云台至少包括设定单元，以及摄像机拍摄角度和/或高度设定单元。

设定单元用于接收用户发送的标定等级选择指令，设定摄像装置的标定等级，例如设定为第一标定等级。具体来说，使用摄像机时，设定单元可将该摄像装置的标定等级设置为N个标定等级中的任意一等级K(K＝1～N)。

摄像机拍摄角度和/或高度设定单元用于接收用户发送的外部参数设置指令，设定摄像装置的摄像机拍摄角度和/或高度，即设置摄像机外部参数。

其中，摄像装置至少包括：调用单元和标定单元。

调用单元用于根据设定单元所设定的第一标定等级调用与该第一标定等级对应的第一摄像机内部参数。具体来说，根据设定单元所设定的等级K值，调用单元在摄像装置内存或外部存储介质中查询K标定等级所对应的第一摄像机内部参数，即调用摄像机焦距、畸变系数、象元尺寸以及主点坐标中的至少一个。

标定单元用于根据所调用的第一摄像机内部参数以及摄像机拍摄角度和/或高度，对摄像装置进行标定，即同时标定摄像装置的第一摄像单元和第二摄像单元。

具体来说，根据调用单元所调用的第一摄像机内部参数，以及摄像机拍摄角度和/或高度设定单元所设置的摄像机拍摄角度和/或高度，标定单元对该双目立体视觉摄像机进行标定。这里，标定方法可参照下述标定公式：

其中，公式中(X，Y，Z)为世界坐标系下的点，Hcam为当前双目摄像机高度，θ和为摄像机拍摄角度(偏转角和俯视角)，(Xc，Yc，Zc)为摄像机坐标系下的点，该点由双目摄像机内部参数计算得到。

进一步地，(Xc，Yc，Zc)的计算方式如下：

上述公式中，x1、x2、x3、x4即摄像机内存或外部存储介质中K标定等级所对应的摄像机内部参数，(x，y，z)是相机像素坐标下的点，z是深度值，w是常系数，w可通过如下公式可计算得到。

1＝x4*z*w。

由此，双目立体视觉摄像机使用前，先是云台的设定单元将双目立体视觉摄像机设定为多个标定等级中的任意一等级，云台的摄像机拍摄角度和/或高度设定单元设定双目立体视觉摄像机当前的摄像机拍摄角度和/或高度；然后查询当前的标定等级所对应的第一摄像机内部参数，并结合当前的摄像机拍摄角度和/或高度，对该双目立体视觉摄像机进行标定；最后由第一摄像单元和第二摄像单元对监控场景进行摄像。

图4显示了本发明具体实施方式中提供的双目立体视觉摄像机的摄像方法的第一实施例的方法流程图。

下面结合图4所示的方法流程图，具体说明本实施例的双目立体视觉摄像机的摄像方法。

本实施例的摄像机至少包括：云台以及装设有第一摄像单元和第二摄像单元的摄像装置，该云台与该摄像装置通信连接。该摄像机的摄像方法包括：

步骤S11，摄像装置通过云台接收用户发送的标定等级选择指令，所述标定等级选择指令中包括有从预先存储的至少一个标定等级中选择第一标定等级的信息。

其中，摄像装置内预设有多个标定等级，每个标定等级对应一摄像机内部参数，该摄像机内部参数包括摄像机焦距、畸变系数、象元尺寸和主点坐标，第一摄像机内部参数为摄像机焦距、畸变系数、象元尺寸和主点坐标中的至少一个，其存储在摄像装置的内存中或者外部存储介质中。且该摄像装置上第一摄像单元和第二摄像单元的摄像机内部参数，以及使用时的摄像机拍摄角度和/或高度均一致。

在本步骤中，当使用双目立体视觉摄像机时，云台可将摄像装置的标定等级设置为N个标定等级中的任意一等级K(K＝1～N)。

步骤S12，调用预先存储的与所述第一标定等级对应的第一摄像机内部参数。

具体来说，根据步骤S11中的等级K值，在摄像装置的内存中或外部存储介质中查询K标定等级所对应第一摄像机内部参数，即调用摄像机焦距、畸变系数、象元尺寸以及主点坐标中的至少一个。

步骤S13，通过云台接收用户发送的外部参数设置指令，该外部参数设置指令携带有摄像机拍摄角度和/或高度的信息。

步骤S14，根据所述第一摄像机内部参数，以及摄像机拍摄角度和/或高度，对所述摄像机进行标定。

具体来说，根据步骤S12中所调用的第一摄像机内部参数，以及步骤S13中所接收到的摄像机摄角度和/或高度，对该双目立体视觉摄像机进行标定。这里，标定方法可参照下述标定公式：

其中，公式中(X，Y，Z)为世界坐标系下的点，Hcam为当前双目摄像机高度，θ和为摄像机拍摄角度(偏转角和俯视角)，(Xc，Yc，Zc)为摄像机坐标系下的点，该点由双目摄像机内部参数计算得到。

进一步地，(Xc，Yc，Zc)的计算方式如下：

上述公式中，x1、x2、x3、x4即摄像机内存或外部存储介质中K标定等级所对应的摄像机内部参数，(x，y，z)是相机像素坐标下的点，z是深度值，w是常系数，w可通过如下公式可计算得到。

1＝x4*z*w。

本实施例中，优选的对摄像机进行自动标定。但必要时，也可以接受人工的标定操作。

步骤S15，第一摄像单元和第二摄像单元对监控场景进行摄像。

综上所述，通过上述流程，云台设定双目立体视觉摄像机当前的标定等级和摄像机外部参数(摄像机拍摄角度和/或高度)，以及查询当前的标定等级所对应的第一摄像机内部参数，并结合当前的摄像机外部参数，对该双目立体视觉摄像机进行标定。

云台可设置双目立体视觉摄像机的内部参数和外部参数，这样可实现多角度、多场景深度信息采集，进而提高了双目立体视觉摄像机的监控范围。

在对双目立体视觉摄像机进行标定之后，启动该摄像机，生成当前场景的深度图，由该深度图即可得到场景中目标的三维信息。

由此，双目立体视觉摄像机使用前，先是云台将双目立体视觉摄像设定为多个标定等级中的任意一等级，并设定双目立体视觉摄像机当前的拍摄角度和/或高度；然后查询当前的标定等级所对应的第一摄像机内部参数，并结合当前的摄像机外部参数，对该双目立体视觉摄像机进行标定；最后即可使用。

另外，每次云台设定的任一参数(摄像机焦距、摄像机高度、拍摄角度等)变化后，需要重新对摄像机进行标定。

【实施例二】

图1显示了本发明的双目立体视觉摄像机的结构示意图。

如图1所示，该摄像机至少包括：云台以及装设有第一摄像单元和第二摄像单元的摄像装置，该云台与该摄像装置通信连接。

其中，摄像装置内预设有多个标定等级，每个标定等级对应一摄像机内部参数以及摄像机拍摄角度和/或高度，该摄像机内部参数包括摄像机焦距、畸变系数、象元尺寸和主点坐标，第一摄像机内部参数为摄像机焦距、畸变系数、象元尺寸和主点坐标中的至少一个，其存储在摄像装置的内存中或者外部存储介质中。且该摄像装置上第一摄像单元和第二摄像单元的内部参数，以及使用时的摄像机拍摄角度和/或高度均一致。

其中，云台至少包括设定单元。

设定单元用于接收用户发送的标定等级选择指令，设定摄像装置的标定等级，例如设定为第一标定等级。具体来说，使用摄像机时，设定单元可将该摄像装置的标定等级设置为N个标定等级中的任意一等级K(K＝1～N)。

其中，摄像装置至少包括：调用单元和标定单元。

调用单元用于根据云台所设定的第一标定等级调用与该第一标定等级对应的第一摄像机内部参数以及摄像机拍摄角度和/或高度。具体来说，根据设定单元所设定的等级K值，调用单元在摄像装置内存或外部存储介质中查询K标定等级所对应的第一摄像机内部参数以及摄像机拍摄角度和/或高度，即调用摄像机焦距、畸变系数、象元尺寸以及主点坐标中的至少一个以及摄像机拍摄角度和/或高度。

标定单元用于根据所调用的第一摄像机内部参数以及摄像机拍摄角度和/或高度，对摄像装置进行标定，即同时标定摄像装置的第一摄像单元和第二摄像单元。

具体来说，根据调用单元所调用的第一摄像机内部参数，以及摄像机拍摄角度和/或高度，标定单元对该双目立体视觉摄像机进行标定。这里，标定方法可参照下述标定公式：

其中，公式中(X，Y，Z)为世界坐标系下的点，Hcam为当前双目摄像机高度，θ和为摄像机拍摄角度(偏转角和俯视角)，(Xc，Yc，Zc)为摄像机坐标系下的点，该点由双目摄像机内部参数计算得到。

进一步地，(Xc，Yc，Zc)的计算方式如下：

上述公式中，x1、x2、x3、x4即摄像机内存或外部存储介质中K标定等级所对应的摄像机内部参数，(x，y，z)是相机像素坐标下的点，z是深度值，w是常系数，w可通过如下公式可计算得到。

1＝x4*z*w。

由此，双目立体视觉摄像机使用前，先是云台的设定单元将双目立体视觉摄像机设定为多个标定等级中的任意一等级；然后查询当前的标定等级所对应的第一摄像机内部参数以及摄像机拍摄角度和/或高度，对该双目立体视觉摄像机进行标定；最后由第一摄像单元和第二摄像单元对监控场景进行摄像。

图5显示了本发明具体实施方式中提供的双目立体视觉摄像机的摄像方法的第二实施例的方法流程图。

下面结合图5所示的方法流程图，具体说明本实施例的双目立体视觉摄像机的摄像方法。

本实施例的摄像机至少包括：云台以及装设有第一摄像单元和第二摄像单元的摄像装置，该云台与该摄像装置通信连接。该摄像机的摄像方法包括：

步骤S21，摄像装置通过云台接收用户发送的标定等级选择指令，所述标定等级选择指令中包括有从预先存储的至少一个标定等级中选择第一标定等级的信息。

其中，摄像装置内预设有多个标定等级，每个标定等级对应一摄像机内部参数以及摄像机拍摄角度和/或高度，该摄像机内部参数包括摄像机焦距、畸变系数、象元尺寸和主点坐标，第一摄像机内部参数为摄像机焦距、畸变系数、象元尺寸和主点坐标中的至少一个，其存储在摄像装置的内存中或者外部存储介质中。且该摄像装置上第一摄像单元和第二摄像单元的摄像机内部参数，以及使用时的摄像机拍摄角度和/或高度均一致。

在本步骤中，当使用双目立体视觉摄像机时，云台可将摄像装置的标定等级设置为N个标定等级中的任意一等级K(K＝1～N)。

步骤S22，调用预先存储的与所述第一标定等级对应的第一摄像机内部参数以及摄像机拍摄角度和/或高度。

具体来说，根据步骤S21中的等级K值，在摄像装置的内存中或外部存储介质中查询K标定等级所对应第一摄像机内部参数以及摄像机拍摄角度和/或高度，即调用摄像机焦距、畸变系数、象元尺寸以及主点坐标中的至少一个以及摄像机拍摄角度和/或高度。

步骤S23，根据所述第一摄像机内部参数，以及摄像机拍摄角度和/或高度，对所述摄像机进行标定。

具体来说，根据步骤S22中所调用的第一摄像机内部参数以及摄像机拍摄角度和/或高度，对该双目立体视觉摄像机进行标定。这里，标定方法可参照下述标定公式：

其中，公式中(X，Y，Z)为世界坐标系下的点，Hcam为当前双目摄像机高度，θ和为摄像机拍摄角度(偏转角和俯视角)，(Xc，Yc，Zc)为摄像机坐标系下的点，该点由双目摄像机内部参数计算得到。

进一步地，(Xc，Yc，Zc)的计算方式如下：

上述公式中，x1、x2、x3、x4即摄像机内存或外部的存储介质中K标定等级所对应的摄像机内部参数，(x，y，z)是相机像素坐标下的点，z是深度值，w是常系数，w可通过如下公式可计算得到。

1＝x4*z*w。

本实施例中，优选的对摄像机进行自动标定。但必要时，也可以接受人工的标定操作。

步骤S24，第一摄像单元和第二摄像单元对监控场景进行摄像。

综上所述，通过上述流程，云台设定双目立体视觉摄像机当前的标定等级，以及查询当前的标定等级所对应的第一摄像机内部参数以及摄像机拍摄角度和/或高度，对该双目立体视觉摄像机进行标定。

云台可设置双目立体视觉摄像机的内部参数和外部参数，这样可实现多角度、多场景深度信息采集，进而提高了双目立体视觉摄像机的监控范围。

在对双目立体视觉摄像机进行标定之后，启动该摄像机，生成当前场景的深度图，由该深度图即可得到场景中目标的三维信息。

由此，双目立体视觉摄像机使用前，先是云台将双目立体视觉摄像机的当前焦距设定为多个标定等级中的任意一等级；然后查询当前的标定等级所对应的第一摄像机内部参数以及摄像机拍摄角度和/或高度，对该双目立体视觉摄像机进行标定；最后即可使用。

另外，每次云台设定的任一参数(摄像机焦距、摄像机高度、拍摄角度等)变化后，需要重新对摄像机进行标定。

如上所述，本发明的双目立体视觉摄像机及其摄像方法，应用于计算机视觉领域中，解决了目前双目立体视觉摄像机监控范围过小的技术问题。本发明通过云台设置双目立体视觉摄像机的拍摄角度、高度以及内部参数，以实现多角度、多场景深度信息采集，即实现一台双目立体摄像机监控多个场景的目的。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。