双目摄像装置、图像处理方法及装置制造方法
【专利摘要】本发明提供双目摄像装置、图像处理方法及装置，所述装置包括：电机圆盘齿轮，矩形齿片，第一机芯圆盘齿轮和第二机芯圆盘齿轮；在所述第一机芯圆盘齿轮上设置第一机芯，所述第一机芯通过第一镜头拍摄第一图像，在所述第二机芯圆盘齿轮上设置第二机芯，所述第二机芯通过第二镜头拍摄第二图像；所述矩形齿片的两侧边分别包括第一齿条和第二齿条，其中，所述电机圆盘齿轮与所述第二齿条咬合，所述第一机芯圆盘齿轮与所述第一齿条咬合，所述第二机芯圆盘齿轮与所述第二齿条咬合。应用本发明提供的双目摄像装置，可以扩展拍摄功能，并基于上述拍摄的图像实现各种双目三维测量和全景拼接的有机结合。
【专利说明】双目摄像装置、图像处理方法及装置
【技术领域】
[0001] 本发明涉及监控【技术领域】，尤其涉及双目摄像装置、图像处理方法及装置。
【背景技术】
[0002] 视频监控系统是安全防范系统的重要组成部分，传统的视频监控系统包括前端摄 像装置、传输线缆和视频监控平台。其中，摄像装置通常设置在云台上，通过云台控制可以 实现水平360度旋转，从而实现监控拍摄。但是，在一种现有技术中，摄像装置通常采用单 目摄像机，即该摄像装置为一单机芯球机，因此拍摄功能单一，难以基于所拍摄图像实现三 维测量。
【发明内容】
[0003] 本发明提供双目摄像装置、图像处理方法及装置，以解决现有技术中难以基于摄 像装置实现三维测量的问题。
[0004] 根据本发明实施例的第一方面，提供一种双目摄像装置，所述装置包括：电机圆盘 齿轮，矩形齿片，第一机芯圆盘齿轮和第二机芯圆盘齿轮；
[0005] 在所述第一机芯圆盘齿轮上设置第一机芯，所述第一机芯通过第一镜头拍摄第一 图像，在所述第二机芯圆盘齿轮上设置第二机芯，所述第二机芯通过第二镜头拍摄第二图 像；
[0006] 所述矩形齿片的两侧边分别包括第一齿条和第二齿条，其中，所述电机圆盘齿轮 与所述第二齿条咬合，所述第一机芯圆盘齿轮与所述第一齿条咬合，所述第二机芯圆盘齿 轮与所述第二齿条咬合。
[0007] 根据本发明实施例的第二方面，提供一种图像处理方法，所述方法用于对前述双 目摄像装置拍摄的图像进行处理，所述方法包括：
[0008] 在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第二机芯的中轴线 夹角；
[0009] 根据所述中轴线夹角选择图像合成模式；
[0010] 按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的 第二图像进行合成，生成合成全景图；
[0011] 对所述合成全景图进行视频编码。
[0012] 根据本发明实施例的第三方面，提供一种图像处理装置，所述装置用于对前述双 目摄像装置拍摄的图像进行处理，所述装置包括：
[0013] 获取单元，用于在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第 二机芯的中轴线夹角；
[0014] 选择单元，用于根据所述中轴线夹角选择图像合成模式；
[0015] 合成单元，用于按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第 二机芯拍摄的第二图像进行合成，生成合成全景图；
[0016] 编码单元，用于对所述合成全景图进行视频编码。
[0017] 本发明实施例中的双目摄像装置与现有单目摄像装置相比，通过齿轮与齿条的咬 合结构，可以统一控制两个机芯做开合运动，并可进一步通过控制云台转盘做PT运动，从 而实现水平方向360度覆盖拍摄，以此增强摄像装置的拍摄广度，提高摄像的准确性；基于 上述双目摄像装置拍摄的图像，可以通过对所拍摄图像进行拼接实现拍摄大场景的功能， 并获得根据拼接场景大小采用可变分辨率的图像编码进行编码后的图像；在全景拼接模式 下，可以实现在大场景范围内，对前景目标进行重点跟踪，从而可以扩大目标的跟踪范围， 提供目标的跟踪精确度；进一步，通过控制双目摄像装置运动到两个机芯的视场重叠区域 最大时，可以利用该重叠区域对感兴趣物体的三维参数进行测量，从而扩展了双目摄像装 置的功能。综上可知，应用本发明提供的双目摄像装置，可以扩展拍摄功能，并基于上述拍 摄的图像实现各种双目三维测量和全景拼接的有机结合。
【专利附图】
【附图说明】
[0018] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施 例，并与说明书一起用于解释本发明的原理。
[0019] 图1A为本发明一种实施方式中双目摄像装置的结构示意图；
[0020] 图1B为本发明另一种实施方式中双目摄像装置的结构示意图；
[0021] 图2A和图2B为本发明一种实施方式中双目摄像装置的运动状态示意图；
[0022] 图3A和图3B为本发明一种实施方式中双目摄像装置的工作状态示意图；
[0023] 图4A至图4D为本发明一种实施方式中双目摄像装置的镜头视场重叠关系示意 图；
[0024] 图5为本发明一种实施方式中的图像处理方法流程图；
[0025] 图6为本发明另一种实施方式中的图像处理方法流程图；
[0026] 图7为本发明另一种实施方式中的图像处理方法流程图；
[0027] 图8为本发明图像处理装置运行的硬件环境架构图；
[0028] 图9为本发明一种实施方式中的图像处理装置框图。
【具体实施方式】
[0029] 参见图1A，为本发明一种实施方式中的双目摄像装置结构示意图：
[0030] 该双目摄像装置包括：电机圆盘齿轮110,矩形齿片120,该矩形齿片120的两侧边 分别包括第一齿条121和第二齿条122,第一机芯圆盘齿轮130和第二机芯圆盘齿轮140， 在第一机芯圆盘齿轮130上设置第一机芯150,第一机芯150通过第一镜头151拍摄监控图 像，在第二机芯圆盘齿轮140上设置第二机芯160,第二机芯160通过第二镜头161拍摄监 控图像。其中，第一机芯150和第二机芯160可以为定焦机芯；当第一机芯150和第二机芯 160具有相同配置时，两个机芯在拍摄同一场景时，所拍摄图像相同，例如，该相同配置可以 包括采用相同的图像传感器，采用相同的定焦焦距，配置相同的图像处理参数等。
[0031] 其中，电机圆盘齿轮110与矩形齿片120的第二齿条122咬合，第一机芯圆盘齿轮 130与第一齿条121咬合，第二机芯圆盘齿轮140与第二齿条122咬合。当电机圆盘齿轮 110转动时，可以带动矩形齿片120运动，从而使得第一机芯圆盘130和第二机芯圆盘140 转动，最终带动第一机芯150和第二机芯160转动，从而进行监控拍摄。
[0032] 参见图1B，为本发明另一种实施方式中的双目摄像装置结构示意图：
[0033] 与图1A相比，图1B中增加了云台转盘100,图1A所示装置中的矩形齿片130、第 一机芯圆盘齿轮130和第二机芯圆盘齿轮140可以设置在云台转盘100上。其中，图1A示 出的装置可以在云台转盘100上进行PT(Pan/Tilt，左右/上下）运动，云台转盘100可以 在水平方向进行360度旋转，以及在坚直方向上在预设角度范围内旋转，例如，该预设角度 范围为正60度至负60度之间。
[0034] 参见图2A和图2B，为本发明一种实施方式中的双目摄像装置运动状态示意图：
[0035] 在图2A中，当步进电机（图2A未示出）驱动电机圆盘齿轮110顺时针转动时，电 机圆盘齿轮110通过与矩形齿片120的第二齿条122之间的咬合，驱动矩形齿片120向上 运动；在向上运动过程中，矩形齿片120通过第一齿条121与第一机芯圆盘齿轮130之间的 咬合，带动第一机芯圆盘齿轮130逆时针转动，进而带动第一机芯150转动，以及通过第二 齿条122与第二机芯圆盘齿轮140之间的咬合，带动第二机芯圆盘齿轮140顺时针转动，进 而带动第二机芯160转动；上述过程相当于第一机芯150和第二机芯160在水平方向上做 张开运动。
[0036] 在图2B中，当步进电机（图2B未示出）驱动电机圆盘齿轮110逆时针转动时，电 机圆盘齿轮110通过与矩形齿片120的第二齿条122之间的咬合，驱动矩形齿片120向下 运动；在向下运动过程中，矩形齿片120通过第一齿条121与第一机芯圆盘齿轮130之间的 咬合，带动第一机芯圆盘齿轮130顺时针转动，进而带动第一机芯150转动，以及通过第二 齿条122与第二机芯圆盘齿轮140之间的咬合，带动第二机芯圆盘齿轮140逆时针转动，进 而带动第二机芯160转动；对应于图2A，上述过程相当于第一机芯150和第二机芯160在 水平方向上做闭合运动。
[0037] 参见图3A和图3B，为本发明一种实施方式中的双目摄像装置工作状态示意图：
[0038] 在图3A中，对应于图2B中第一机芯150和第二机芯160在水平方向上做闭合运 动，当第一机芯150和第二机芯160的中轴线平行时，即中轴线夹角0为0时，第一镜头 151的第一视场与第二镜头161的第二视场的重叠区域最多，即第一镜头151和第二镜头 161所拍摄图像的重叠区域最多，其中视场表示镜头所能拍摄的场景范围。
[0039] 在图3B中，对应于图2A中第一机芯150和第二机芯160在水平方向上做张开运 动，第一镜头151和第二镜头161的中轴线夹角0逐渐增大，第一镜头151的第一视场与 第二镜头161的第二视场的重叠区域逐渐减少，即第一镜头151和第二镜头161所拍摄图 像的重叠区域也逐渐减少。
[0040] 参见图4A至图4D，为本发明一种实施方式中双目摄像装置的镜头视场重叠关系 不意图：结合前述图1A至图3B，其中第一镜头151的第一视场表不为"L"，第二镜头161的 第二视场表示为"R"。
[0041] 在图4A中，当第一机芯150和第二机芯160做张开运动直至中轴线夹角0达到 最大时，第一视场L和第二视场R之间没有重叠；在图4B和图4C中，当第一机芯150和第 二机芯160做闭合运动，中轴线夹角0逐渐减小，第一视场L和第二视场R之间的重叠区 域逐渐增大；在图4D中，第一机芯150和第二机芯160做闭合运动直至中轴线夹角0为0 时，第一视场L和第二视场R之间的重叠区域达到最大。在上述图4A至图4D中，阴影部分 示出了第一视场L和第二视场R之间的重叠区域。
[0042] 由上述双目摄像装置的实施例可见，该装置通过齿轮与齿条的咬合结构，可以统 一控制两个机芯做开合运动，并可进一步通过控制云台转盘做PT运动，从而实现水平方向 360度覆盖拍摄，以此增强摄像装置的拍摄广度，提高摄像的准确性；并且应用该双目摄像 装置可以扩展拍摄功能，并基于上述拍摄的图像实现各种双目三维测量和全景拼接的有机 结合。
[0043] 与前述双目摄像装置的实施例相对应，本发明还提供了对通过该双目摄像装置所 拍摄图像进行处理的图像处理方法实施例和图像处理装置实施例。
[0044] 参见图5,为本发明一种实施方式中的图像处理方法实施例，该实施例示出了根据 双目摄像装置所拍摄图像生成合成全景图的过程：
[0045] 步骤501 :在第一机芯和第二机芯运动过程中，检测第一机芯和第二机芯的中轴 线夹角。
[0046] 结合图1A至图3B中示出的双目摄像装置，在第一机芯和第二机芯做张开或闭合 运动时，第一机芯和第二机芯的中轴线夹角9发生变化。
[0047] 步骤502 :比较中轴线夹角和预设的夹角阈值，当中轴线夹角大于夹角阈值时，执 行步骤503 ;当中轴线夹角不大于夹角阈值时，执行步骤504。
[0048] 本实施例中预先设置夹角阈值0thesh()ld，将该夹角阈值0& 311。1(1作为图像合成模 式的选择阈值，当9不小于eth6Stold且逐渐增大时，表示第一机芯和第二机芯持续做张开 运动，此时第一图像和第二图像没有重叠，对应于图4A中示出的视场示意图；当0小于 0 thesh()ld且逐渐减小时，表示第一机芯和第二机芯持续做闭合运动，此时第一图像和第二图 像之间产生重叠，对应于图4B至图4D中示出的视场示意图。
[0049] 步骤503 :选择合成大图模式生成合成全景图，并对合成全景图进行视频编码，结 束当前流程。
[0050] 本步骤中，当0不小于0 ^^时，选择合成大图模式，此时将第一图像和第二图 像直接进行左右拼接，生成第一图像和第二图像的合成全景图，结合图4A，即将第一视场L 下拍摄的第一图像和第二视场R下拍摄的第二图像按照从左到右的顺序存放，从而生成宽 度加倍，且高度不变的合成全景图，然后对该合成全景图进行视频编码，视频编码的具体方 式可以采用现有技术中的任一编码方式，对此本发明实施例不再赘述。
[0051] 步骤504 :选择全景拼接模式生成合成全景图。
[0052] 本步骤中，当0小于0,^。1(1时，选择全景模式，此时检测第一图像和第二图像的 SIFT(Scale Invariant Feature Transform，尺度不变特征转换）特征点，在对上述SIFT 特征点进行匹配后，将第一图像和第二图像进行变换，以生成第一图像和第二图像的合成 全景图，上述通过SIFT特征点匹配对第一图像和第二图像进行全景拼接的过程与现有技 术中的全景拼接过程一致，在此不再赘述。
[0053] 步骤505 :判断第一机芯和第二机芯的运动速度是否大于预设的速度阈值，若是， 则执行步骤506 ;否则，执行步骤507。
[0054] 本实施例中，第一机芯和第二机芯在做张开运动或闭合运动时，其运动速度可能 发生变化，运动速度的变化可以通过中轴线夹角的变化速度进行表征。假设中轴线夹角的 变化速度为△ Q/s,预设的用于表征速度阈值的角度变化速度阈值为
【权利要求】
1. 一种双目摄像装置，其特征在于，所述装置包括；电机圆盘齿轮，矩形齿片，第一机 芯圆盘齿轮和第二机芯圆盘齿轮； 在所述第一机芯圆盘齿轮上设置第一机芯，所述第一机芯通过第一镜头拍摄第一图 像，在所述第二机芯圆盘齿轮上设置第二机芯，所述第二机芯通过第二镜头拍摄第二图 像； 所述矩形齿片的两侧边分别包括第一齿条和第二齿条，其中，所述电机圆盘齿轮与所 述第二齿条咬合，所述第一机芯圆盘齿轮与所述第一齿条咬合，所述第二机芯圆盘齿轮与 所述第二齿条咬合。
2. 根据权利要求1所述的装置，其特征在于， 当所述电机圆盘齿轮转动时，通过与所述第二齿条之间的咬合，带动所述矩形齿片运 动； 当所述矩形齿片运动时，带动所述第一机芯圆盘齿轮和所述第二机芯圆盘齿轮转动， 其中，所述第一机芯圆盘齿轮转动时驱动所述第一机芯转动，所述第二机芯圆盘齿轮转动 时驱动所述第二机芯转动。
3. 根据权利要求2所述的装置，其特征在于， 在所述第一机芯和所述第二机芯做张开运动时，当所述第一机芯和所述第二机芯的中 轴线夹角为0时，所述第一镜头的第一视场与所述第二镜头的第二视场之间的重叠区域最 多； 在所述第一机芯和所述第二机芯做闭合运动时，当所述第一机芯和所述第二机芯的中 轴线夹角为最大时，所述第一镜头的第一视场与所述第二镜头的第二视场之间的重叠区域 最少。
4. 根据权利要求1所述的装置，其特征在于，所述装置还包括；用于执行左右上下PT 运动的云台转盘； 其中，所述矩形齿片、所述第一机芯圆盘齿轮和所述第二机芯圆盘齿轮设置在所述云 台转盘上。
5. -种图像处理方法，其特征在于，所述方法用于对如权利要求1至4任一所述的双目 摄像装置拍摄的图像进行处理，所述方法包括： 在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第二机芯的中轴线夹 角； 根据所述中轴线夹角选择图像合成模式； 按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的第二 图像进行合成，生成合成全景图； 对所述合成全景图进行视频编码。
6. 根据权利要求5所述的方法，其特征在于， 所述根据所述中轴线夹角选择图像合成模式，包括： 比较所述中轴线夹角和预设的夹角阔值； 当所述中轴线夹角大于所述夹角阔值时，选择合成大图模式，当所述中轴线夹角不大 于所述夹角阔值时，选择全景拼接模式； 所述按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的 第二图像进行合成，生成合成全景图，包括： 当所述图像合成模式为合成大图模式时，将所述第一图像和所述第二图像直接进行左 右拼接，W生成所述第一图像和第二图像的合成全景图； 当所述图像合成模式为全景拼接模式时，检测所述第一图像和所述第二图像的尺度不 变特征转换SIFT特征点，在对所述SIFT特征点进行匹配后，将所述第一图像和所述第二图 像进行变换，W生成所述第一图像和第二图像的合成全景图。
7. 根据权利要求6所述的方法，其特征在于，当按照所述全景拼接模式生成所述合成 全景图时，所述对所述合成全景图进行视频编码包括： 判断所述第一机芯和所述第二机芯的运动速度是否大于预设的速度阔值； 当所述运动速度大于所述速度阔值时，选择长度为1峽的画面组GOP对所述合成全景 图进行视频编码，当所述运动速度不大于所述速度阔值时，选择预设长度的GOP对所述合 成全景图进行视频编码。
8. 根据权利要求6所述的方法，其特征在于，当按照所述全景拼接模式生成所述合成 全景图时，所述方法还包括： 对所述合成全景图进行前景和背景分离，获得运动前景； 通过对所述运动前景进行检测，选择运动目标； 根据所述运动目标在所述第一图像和所述第二图像中的位置，从所述第一机芯和所述 第二机芯中选择一个目标机芯，其中，所述运动目标到所述目标机芯所拍摄图像的中也的 距离小于到另一个机芯所拍摄图像的中也的距离； 根据跟踪算法控制云台转盘转动，对所述运动目标进行跟踪，W使所述运动目标位于 所述目标机芯所拍摄图像的中央； 在跟踪所述运动目标结束后，控制所述云台转盘恢复到预设位置。
9. 根据权利要求5所述的方法，其特征在于，所述方法还包括： 当在所述第一图像或第二图像中检测到目标物体时，控制所述第一机芯和所述第二机 芯进行运动，直到满足预设条件，所述预设条件包括所述中轴线夹角为0,且所述目标物体 位于所述第一图像和所述第二图像的重叠区域； 通过预先获得的校正映射矩阵分别对满足所述预设条件时拍摄的第一图像和第二图 像进行校正映射，获得视差映射图； 从所述视差映射图中提取所述目标物体的目标点，所述目标点位于所述视差映射图中 所述目标物体的边缘轮廓范围内，且与所述边缘轮廓的距离为预设距离； W所述目标点为中也，按照预设大小的邻域窗口计算所述目标点的视差均值； 将根据所述视差均值获得的所述目标点在所述视差映射图中的坐标，转换为世界坐标 系中的坐标； 根据所述世界坐标系中的坐标测量所述目标物体的H维参数；其中，根据所述目标点 的位置不同，所述H维参数包括所述目标物体的长度、宽度、对角线长度。
10. -种图像处理装置，其特征在于，所述装置用于对如权利要求1至4任一所述的双 目摄像装置拍摄的图像进行处理，所述装置包括： 获取单元，用于在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第二机 芯的中轴线夹角； 选择单元，用于根据所述中轴线夹角选择图像合成模式； 合成单元，用于按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机 芯拍摄的第二图像进行合成，生成合成全景图； 编码单元，用于对所述合成全景图进行视频编码。
11. 根据权利要求10所述的装置，其特征在于， 所述选择单元包括： 夹角比较子单元，用于比较所述中轴线夹角和预设的夹角阔值； 模式选择子单元，用于当所述中轴线夹角大于所述夹角阔值时，选择合成大图模式，当 所述中轴线夹角不大于所述夹角阔值时，选择全景拼接模式； 所述合成单元包括： 合成大图子单元，用于当所述图像合成模式为合成大图模式时，将所述第一图像和所 述第二图像直接进行左右拼接，W生成所述第一图像和第二图像的合成全景图； 全景拼接子单元，用于当所述图像合成模式为全景拼接模式时，检测所述第一图像和 所述第二图像的尺度不变特征转换SIFT特征点，在对所述SIFT特征点进行匹配后，将所述 第一图像和所述第二图像进行变换，W生成所述第一图像和第二图像的合成全景图。
12. 根据权利要求11所述的装置，其特征在于，当所述合成单元按照所述全景拼接模 式生成所述合成全景图时，所述编码单元包括： 速度判断子单元，用于判断所述第一机芯和所述第二机芯的运动速度是否大于预设的 速度阔值； 视频编码子单元，用于当所述运动速度大于所述速度阔值时，选择长度为1峽的GOP对 所述合成全景图进行视频编码，当所述运动速度不大于所述速度阔值时，选择预设长度的 GOP对所述合成全景图进行视频编码。
13. 根据权利要求11所述的装置，其特征在于，当所述合成单元按照所述全景拼接模 式生成所述合成全景图时，所述装置还包括： 跟踪单元，用于对所述合成全景图进行前景和背景分离，获得运动前景；通过对所述运 动前景进行检测，选择运动目标；根据所述运动目标在所述第一图像和所述第二图像中的 位置，从所述第一机芯和所述第二机芯中选择一个目标机芯，其中，所述运动目标到所述目 标机芯所拍摄图像的中也的距离小于到另一个机芯所拍摄图像的中也的距离；根据跟踪算 法控制云台转盘转动，对所述运动目标进行跟踪，W使所述运动目标位于所述目标机芯所 拍摄图像的中央；在跟踪所述运动目标结束后，控制所述云台转盘恢复到预设位置。
14. 根据权利要求10所述的装置，其特征在于，所述装置还包括： 测量单元，用于当在所述第一图像或第二图像中检测到目标物体时，控制所述第一机 芯和所述第二机芯进行运动，直到满足预设条件，所述预设条件包括所述中轴线夹角为0， 且所述目标物体位于所述第一图像和所述第二图像的重叠区域；通过预先获得的校正映射 矩阵分别对满足所述预设条件时拍摄的第一图像和第二图像进行校正映射，获得视差映射 图；从所述视差映射图中提取所述目标物体的目标点，所述目标点位于所述视差映射图中 所述目标物体的边缘轮廓范围内，且与所述边缘轮廓的距离为预设距离；W所述目标点为 中也，按照预设大小的邻域窗口计算所述目标点的视差均值；将根据所述视差均值获得的 所述目标点在所述视差映射图中的坐标，转换为世界坐标系中的坐标；根据所述世界坐标 系中的坐标测量所述目标物体的H维参数；其中，根据所述目标点的位置不同，所述H维参 数包括所述目标物体的长度、宽度、对角线长度。
【文档编号】H04N5/232GK104469170SQ201410839821
【公开日】2015年3月25日 申请日期:2014年12月29日 优先权日:2014年12月29日
【发明者】吴参毅 申请人:浙江宇视科技有限公司