专利名称：智能摄像系统及方法
智能摄像系统及方法
技术领域：
本发明涉及一种摄像系统，尤其是一种智能摄像系统及方法。
背景技术：
传统的摄像系统，通常只有视频图像记录功能，无法主动追踪目标，需要事后人工 查询出感兴趣的目标，查询过程极其繁琐。 而有些摄像系统只固定安装某一位置，对某一区域进行固定拍摄，会出现很多拍 摄死角。有些摄像系统采用超广角镜头进行巡航，而超广角镜头无法拍摄出清晰的图像。
发明内容
基于此，有必要提供一种能提高识别效率的智能摄像系统。
同时，有必要提供一种能提高识别的智能摄像方法。 —种智能摄像系统，包括控制模块、与控制模块连接的摄像模块，控制模块驱动 摄像模块自动巡航，在360度全景空间主动搜寻目标，巡航过程中驱动降低摄像模块的成 像分辨率，当识别出目标时，控制模块控制调整摄像模块的位置将目标在所述摄像模块中 的成像调整到成像图像的中心部位，然后以合适比例进行光学变倍，并控制摄像模块自动 聚焦进行摄像。 在优选的实施方式中，所述控制模块驱动摄像模块巡航时同时提取所述摄像模块 巡航拍摄图像，与预设模式比对，进行特征匹配，当摄像模块巡航拍摄图像的特征与预设模 式特征匹配成功则识别出目标，完成巡航识别过程。 在优选的实施方式中，还包括与控制模块连接的动力模块，所述动力模块包括调 整摄像模块的水平摆角的第一动力、调整摄像模块的俯仰角的第二动力，所述第一动力、第 二动力带动所述摄像模块360度全景拍摄。 在优选的实施方式中，所述控制模块识别出目标后，确定目标在成像图像上的坐 标位置，根据目标的坐标位置与自动巡航时的摄像分辨率调整目标的成像的坐标位置，并 使目标成像于成像图像的中心部位。 在优选的实施方式中，所述控制模块识别出目标后，调整目标的成像位置，同时提 高摄像模块的分辨率，控制模块驱动摄像模块水平方向转动进行微调以使目标成像在成像 图像的水平方向上调整x-Rx/2个像素，同时驱动摄像模块俯仰运动进行微调以使目标成 像在垂直方向上微调y-Ry/2个像素位置，其中x为目标成像水平方向的坐标，y为目标成 像垂直方向的坐标，Rx、Ry为摄像模块巡航时摄像的水平方向、垂直方向上的分辨率。
在优选的实施方式中，所述摄像模块巡航过程中，控制模块驱动摄像模块调低光 学倍率或调节到最低光学倍率。 在优选的实施方式中，当调整目标的成像完成后计算目标在成像图像中的大小比 例，并将目标成像在成像图像中的大小比例值与预设阈值比较，若目标成像在成像图像中 的大小比例值大于阈值则自动聚焦成像，若目标成像在成像图像中的大小比例值小于阈值则驱动摄像模块增大光学或数码倍率参数直至目标成像在成像图像中的大小比例值大于 阈值。 在优选的实施方式中，所述控制模块驱动摄像模块自动巡航前先进行模式选择， 当选择普通模式驱动摄像模块进行固定位置拍摄，当选择进行巡航模式则驱动摄像模块自 动巡航。 —种智能摄像方法， 自动巡航，主动寻找目标，并在巡航过程中降低成像分辨率； 当识别出目标时，将目标成像调整到成像图像的中心部位，并自动聚焦进行摄像。
在优选的实施方式中，所述自动巡航过程中，提取巡航拍摄图像，并将拍摄的图像 与预设模式比对，进行特征匹配，当拍摄图像的特征与预设模式特征匹配成功则识别出目 标，完成巡航识别过程。 在优选的实施方式中，巡航过程中自动调整拍摄的水平摆角、及俯仰角以进行360 度全景拍摄。 在优选的实施方式中，当识别出目标后，确定目标成像的坐标位置，根据目标成像 的坐标位置及自动巡航时的摄像分辨率调整目标的成像位置。 在优选的实施方式中，所述目标成像的水平坐标微调x-Rx/2个像素位置，垂直方 向上微调y-Ry/2个像素，其中x为目标成像在成像图像上的水平方向的坐标，y为目标成 像在成像图像上的垂直方向的坐标，Rx、Ry为巡航摄像的水平方向、垂直方向上的分辨率。
在优选的实施方式中，所述巡航过程中，调低拍摄的光学倍率或调节到最低光学倍率。 在优选的实施方式中，调整目标的成像位置完成后计算目标成像在成像图像中的
大小比例，将目标成像在成像图像中的大小比例值与预设阈值比较，若目标成像在成像图 像中的大小比例值大于阈值则自动聚焦成像，若目标成像在成像图像中的大小比例值小于 阈值则增大拍摄的光学或数码倍率参数直至目标成像在成像图像中的大小比例值大于阈 值。 在优选的实施方式中，自动巡航前进行模式选择，当选择普通模式进行固定位置
拍摄，当选择巡航模式则自动巡航。 上述智能摄像系统及摄像方法，采用控制模块驱动摄像模块自动巡航，减少固定 摄像系统的拍摄死角，且摄像模块通过自动巡航主动寻找目标，极大地增加目标搜寻的可 能性，且方便提取目标的拍摄图像，另巡航过程中驱动降低摄像模块的成像分辨率，以使待 处理的图像像素总数减少，减少模式识别的运算复杂度，从而提高模式识别运算速度，及时 快速地识别出目标对象，同时可相应提高摄像模块的巡航速度，提高整个系统的运行速度； 当识别出目标时，控制模块控制调整摄像模块的位置将目标的成像调整到成像图像的中心 部位，方便追踪目标对象，并控制摄像模块自动聚焦以成像出清晰的图像。
图1为本发明一实施例的功能框图；
图2为本发明一实施例的方法的流程图。
具体实施方式
如图1所示，本发明一实施例的智能摄像系统，包括控制模块20、与控制模块20 连接的摄像模块40 。摄像模块40可以为高速球、云台、或摄像头、摄像机及其他带有摄像功 能的仪器。本实施例中，摄像模块40采用高速球进行实现。控制模块20可采用DSP、FPGA 进行实现，也可采用单片机、PLC等进行实现，也可采用嵌入式系统、计算机等进行实现。本 实施例中，控制模块采用DSP或FPGA进行说明。 本实施例的智能摄像系统还包括与控制模块20连接并调整摄像模块40的水平摆 角、俯仰角的动力模块。动力模块包括第一动力及第二动力。本实施例中，动力模块采用电 机，包括分别带动摄像模块40在两个方向上运动的第一电机60、第二电机80。第一电机60、 第二电机80可直接与摄像模块40连接，分别带动摄像模块40水平旋转、俯仰运动，调整摄 像模块40的水平摆角、俯仰角，实现360度全景空间目标搜索。第一电机60、第二电机80 也可与机械结构或传动结构连接，通过机械传动的方式带动摄像模块40动作来调整摄像 模块40的水平摆角、俯仰角，如具有摄像功能的机器人或带有摄像头的机器人，第一电机、 第二电机通过带动机器人某些机构(如关节部位)动作从而带动摄像模块40水平摆动、俯 仰运动。 控制模块20接收开机指令或接收巡航模式启动指令驱动摄像模块40自动巡航， 搜寻目标。本实施例中，控制模块20在驱动摄像模块40进行自动巡航前，设置有模式选 择，当选择普通模式则驱动摄像模块40进行固定或定点位置拍摄，当选择进行巡航模式则 驱动摄像模块40自动巡航。或设置模式切换按键在普通模式与巡航模式之间进行切换。
巡航过程中驱动摄像模块40的降低成像分辨率。摄像模块40自动降低内 部CMOS (Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)或者 CCD (Charge-coupled Device,电荷耦合元件)的成像分辨率，以使得待处理的图像像素 总数减少，从而达到提高模式识别运算速度的目的。例如130万像素分辨率的CMOS传感 器(1280X1024)，如果被分割成16X16的图像块，则一副完整的图像需要对5120个图像 块进行处理；如果在巡航时，降低CMOS传感器的分辨率至640X480时，则只需要对1200个 16X 16个图像块进行处理，单幅图像的运算速度可以提高4倍多。由于控制模块20识别速 度及运算速度得到很多的提升，则可控制第一 电机60、第二电机80提升摄像模块40的巡航 速度，使整个摄像系统的运行速度加快。 同时，自动巡航过程中，调低摄像模块40的光学倍率参数。以增大单幅图像拍摄
的视场角，同时提高巡航的速度。已知摄像视角可以定义为^ =，其中D为摄像模块40
的镜头孔径光阑的大小，当摄像模块40的硬件选定，则D为一固定值；f是镜头的焦距，当 摄像模块40在调焦(Zoom)、聚焦(Focus)过程中都是在调整镜头的焦距f ;高光学倍率对 应于大的焦距值f ;低光学倍率则对应于小的焦距值f。当系统采用最低光学倍率时，依据
公式^ =,摄像模块40的镜头的视场角e将达到最大，因此，在相同的第一电机(Pan电
机)、第二电机(Tilt电机)的运动速度下，可以用最短的时间完成360度全景巡航任务。 本实施例中，为了获得最大限度的视场角9 ，自动巡航过程中，控制模块20控制将摄像模 块40调节到最低光学倍率。摄像模块40的调焦(Zoom)、聚焦(Focus)分别通过调焦电机、聚焦电机驱动镜头进行调节。
自动巡航时，控制模块20控制对摄像模块40巡航拍摄图像进行特征提取，与系统
预设模式(库)比对，进行特征匹配，如果特征匹配成功则完成巡航识别功能。 预设模式(库)可以是物体的不同特征，如人脸特征，车牌特征，或者人体某一行
为特征，例如运动变化特征，虚拟警戒线特征等；或者是多种特征的组合。当控制模块20对
巡航拍摄图像进行比对时，可以根据需要将巡航拍摄图像与某个特定的特征库进行比对、
匹配，也可与多个特征库进行比对匹配。 本实施例采用将巡航拍摄的图像与预设模式进行特征匹配，无论是静止物体、还 是运动物体都能识别，且不受其它物体的运动干扰或环境干扰。 目标识别过程中，系统定义的预设模式可以作为巡航摄像模式下，系统追踪感兴 趣目标成功与否的唯一标志。同时与预设模式相匹配的目标成像区域，是第一电机(Pan电 机)60、第二电机(Tilt电机)80进行微调，摄像模块40自动调焦(Zoom)、自动聚焦(Focus) 的目标区域。 当识别出目标后，确定目标成像的坐标位置(x， y)，并根据目标成像的坐标位置与 自动巡航过程中的摄像分辨率在不同坐标方向上调整目标的成像位置，并使目标处于成像 图像的中心部位。若自动巡航过程的摄像分辨率为(Rx， Ry)，则在水平方向(即x方向或 Pan方向)，目标成像需要调整的像素距离为(x-Rx/2)，在垂直方向上(即y方向或Tilt方 向)，目标成像需要调整的像素距离为(y-Ry/2)。 同时识别出目标后，控制模块20驱动摄像模块40自动提高图像分辨率，同时对目 标对象进行追踪。 当完成目标的成像位置在Pan、 Tilt方向微调后，目标已处于成像图像的中心部 位，控制模块20控制摄像模块40自动调焦(Auto Zoom)。如果此时目标成像的像素个数为 Pt，则目标在成像图像中的大小比例可以表达为
「mqcH =---------* 1 00%
Luujy」 Hy . 若系统设定目标成像的大小比例的阈值为T，则当ratio < T的时候，控制模块20 自动控制摄像模块40增大光学倍率(Zoom)参数或数码倍率参数，直至目标在成像图像中 的大小比例满足ratio > T。 由于调焦(Zoom)过程只能粗调摄像模块40的镜头焦距f ，此时还不能确保目标成 像所在的图像区域最清晰。因此，需要进行自动聚焦(Auto Focusing)操作。
这里定义一个聚焦清晰度的评价函数
<formula>formula see original document page 7</formula> 本实施例的Auto-Focusing的目的就是使得摄像模块40在不同焦距f的情况下， 函数fun值最大。(xi，yi代表成像图像在x方向和y方向的灰度值，Atar代表目标在成像 图像中的成像区域) 本实施例智能摄像系统通过第一电机(Pan电机)60、第二电机(Tilt电机)80带 动摄像模块40两方向运动自动巡航，主动寻找感兴趣目标。无需采用其他更多的辅助设 备，如超广角镜头，全景反射镜等。
自动巡航时，通过降低摄像模块40内部的CMOS或者CCD传感器的成像分辨率的 方法，最大程度减少模式识别的运算复杂度。 自动巡航时，Zoom倍率降至最低(即采用广角拍摄模式)，增大摄像系统的拍摄视 角，以达到最短的时间完成360度全景的巡航任务。 寻找到目标后，依据目标所在成像区域，控制模块20驱动第一电机60、第二电机 80对摄像模块40在Pan、Tilt两方向进行微调，自动Zoom、自动Focus的操作，准确且清晰 地对目标进行成像。 如图2所示，上述智能摄像系统的智能摄像方法，如下控制模块20驱动摄像模块 40自动巡航寻找目标，通过第一电机(Pan电机)60、第二电机(Tilt电机)80分别驱动摄 像模块水平旋转(Pan)、俯仰运动(Tilt)调整摄像模块40的水平摆角及俯仰角，实现360 度全景目标搜索。 本实施例中，控制模块20在驱动摄像模块40进行自动巡航前，设置有模式选择， 当选择普通模式则驱动摄像模块40进行固定或定点位置拍摄，当选择进行巡航模式则驱 动摄像模块40自动巡航。 同时在巡航过程中降低摄像模块40的CMOS或者CCD传感器的成像分辨率，最大 程度减少模式识别的运算复杂度。 同时巡航过程中，控制模块20驱动调低摄像模块40拍摄的光学倍率，获得大视场
角e ，并将摄像模块40调节到最低光学倍率以获得最大视场角e，这样单个拍摄场景可以
获得更大的视角范围，可驱动摄像模块40快速的转动，以使摄像模块40在电机的驱动下用 很短的时间完成360度全景巡航任务。 自动巡航过程中，控制模块20提取摄像模块40巡航拍摄图像，并将巡航拍摄图像 与预设模式比对，进行特征匹配，当拍摄图像的特征与预设模式特征匹配成功则识别出目 标，完成巡航识别过程。 当识别出目标后，确定目标成像在整个拍摄场景的成像图像上的坐标位置，根据 目标成像的坐标位置及自动巡航时的摄像分辨率调整目标成像位置。若目标成像坐标为 (x， y)，自动巡航的摄像分辨率为(Rx， Ry)，则目标成像在Pan方向(即X方向)需要微调 的像素距离为(x-Rx/2)，在Tilt方向(即y方向)需要微调的像素距离为(y-Ry/2)。同 时识别出目标后，控制模块20自动控制提高摄像模块40的图像分辨率，同时对目标对象进 行追踪。 摄像模块40完成Pan、Tilt方向的微调后，目标成像已处于成像图像的中心部位， 若目标的成像像素个数为Pt，则目标成像在整个成像图像中的大小比例可以表达为 ^〃0 :4-^- * 1 00% 摄像系统预设有目标成像在整个成像图像的大小比例的百分比阈值T，则当 ratio < T的时候，系统自动增大光学Zoom参数(也包含数码变倍)，直至目标的成像图像 在整个成像图像的大小比例ratio > T。 由于调焦(Zoom)过程只能粗调摄像模块40的镜头焦距f ，此时还不能确保目标成 像所在的图像区域最清晰。因此，需要进行自动聚焦(Auto Focusing)操作。
这里定义一个聚焦清晰度的评价函数<formula>formula see original document page 9</formula>
本实施例的Auto-Focusing的目的就是使得摄像模块40在不同焦距f的情况下， 函数fun值最大。(xi， yi代表成像图像在x方向和y方向的灰度值，A^代表目标在成像 图像中的成像区域) 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并 不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员 来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保 护范围。因此，本发明专利的保护范围应以所附权利要求为准。
权利要求
一种智能摄像系统，其特征在于，包括控制模块、与控制模块连接的摄像模块，控制模块驱动摄像模块自动巡航，在360度全景空间主动搜寻目标，巡航过程中驱动降低摄像模块的成像分辨率，当识别出目标时，控制模块控制调整摄像模块的位置将目标在所述摄像模块中的成像调整到成像图像的中心部位，然后以合适比例进行光学变倍，并控制摄像模块自动聚焦进行摄像。
2. 如权利要求1所述的智能摄像系统，其特征在于，所述控制模块驱动摄像模块进行 主动全景巡航时，同时提取所述摄像模块巡航拍摄图像，与预设模式比对，进行特征匹配， 当摄像模块巡航拍摄图像的特征与预设模式特征匹配成功则识别出目标，完成巡航识别过 程。
3. 如权利要求1所述的智能摄像系统，其特征在于，还包括与控制模块连接的动力模 块，所述动力模块包括调整摄像模块的水平摆角的第一动力、调整摄像模块的俯仰角的第 二动力，所述第一动力、第二动力带动所述摄像模块360度全景拍摄。
4. 如权利要求1所述的智能摄像系统，其特征在于，所述控制模块识别出目标后，确定 目标在成像图像上的坐标位置，根据目标的坐标位置与自动巡航时的摄像分辨率调整目标 的成像的坐标位置，并使目标成像于成像图像的中心部位。
5. 如权利要求4所述的智能摄像系统，其特征在于，所述控制模块识别出目标后，调整 目标的成像位置，同时提高摄像模块的分辨率，控制模块驱动摄像模块水平方向转动进行 微调以使目标成像在成像图像的水平方向上调整x-Rx/2个像素，同时驱动摄像模块俯仰 运动进行微调以使目标成像在垂直方向上微调y-Ry/2个像素位置，其中x为目标成像水平 方向的坐标，y为目标成像垂直方向的坐标，Rx、 Ry为摄像模块巡航时摄像的水平方向、垂 直方向上的分辨率。
6. 如权利要求1所述的智能摄像系统，其特征在于，所述摄像模块巡航过程中，控制模 块驱动摄像模块调低光学倍率或调节到最低光学倍率。
7. 如权利要求4所述的智能摄像系统，其特征在于，当调整目标的成像完成后计算目 标成像在成像图像中的大小比例，并将目标成像在成像图像中的大小比例值与预设阈值比 较，若目标成像在成像图像中的大小比例值大于阈值则自动聚焦成像，若目标成像在成像 图像中的大小比例值小于阈值则驱动摄像模块增大光学或数码倍率参数直至目标成像在 成像图像中的大小比例值大于阈值。
8. 如权利要求1所述的智能摄像系统，其特征在于，所述控制模块驱动摄像模块自动 巡航前先进行模式选择，当选择普通模式驱动摄像模块进行固定位置拍摄，当选择进行巡 航模式则驱动摄像模块自动巡航。
9. 一种智能摄像方法，其特征在于，自动巡航，主动寻找目标，并在巡航过程中降低成像分辨率； 当识别出目标时，将目标成像调整到成像图像的中心部位，并自动聚焦进行摄像。
10. 如权利要求9所述的智能摄像方法，其特征在于，所述自动巡航过程中，提取巡航 拍摄图像，并将拍摄的图像与预设模式比对，进行特征匹配，当拍摄图像的特征与预设模式 特征匹配成功则识别出目标，完成巡航识别过程。
11. 如权利要求9所述的智能摄像方法，其特征在于，巡航过程中自动调整拍摄的水平 摆角、及俯仰角以进行360度全景拍摄。
12. 如权利要求9所述的智能摄像方法，其特征在于，当识别出目标后，确定目标成像 的坐标位置，根据目标成像的坐标位置及自动巡航时的摄像分辨率调整目标的成像位置。
13. 如权利要求12所述的智能摄像系统，其特征在于，所述目标成像的水平坐标微调 x-Rx/2个像素位置，垂直方向上微调y-Ry/2个像素，其中x为目标成像在成像图像上的水 平方向的坐标，y为目标成像在成像图像上的垂直方向的坐标，Rx、Ry为巡航摄像的水平方 向、垂直方向上的分辨率。
14. 如权利要求9所述的智能摄像系统，其特征在于，所述巡航过程中，调低拍摄的光 学倍率或调节到最低光学倍率。
15. 如权利要求12所述的智能摄像系统，其特征在于，调整目标的成像位置完成后计 算目标成像在成像图像中的大小比例，将目标成像在成像图像中的大小比例值与预设阈值 比较，若目标成像在成像图像中的大小比例值大于阈值则自动聚焦成像，若目标成像在成 像图像中的大小比例值小于阈值则增大拍摄的光学或数码倍率参数直至目标成像在成像 图像中的大小比例值大于阈值。
16. 如权利要求9所述的智能摄像系统，其特征在于，自动巡航前进行模式选择，当选 择普通模式进行固定位置拍摄，当选择巡航模式则自动巡航。
全文摘要
智能摄像系统及方法，包括控制模块、及摄像模块，控制模块驱动摄像模块自动巡航，寻找目标，巡航过程中驱动降低摄像模块的成像分辨率，当识别出目标时，控制模块控制调整摄像模块的位置将目标在所述摄像模块中的成像调整到图像的中心部位，然后以适当比例放大光学倍率，并控制摄像模块自动聚焦进行摄像；上述智能摄像系统及摄像方法，采用控制模块驱动摄像模块自动巡航，以在360度全景空间寻找目标，巡航过程中驱动降低摄像模块的成像分辨率，以使得待处理的图像像素总数减少，从而提高模式识别运算速度；当识别出目标时，控制模块控制调整摄像模块的位置将目标的成像调整到成像图像的中心部位，并控制摄像模块自动聚焦成像出清晰的图像。
文档编号H04N5/232GK101790048SQ20101011312
公开日2010年7月28日 申请日期2010年2月10日 优先权日2010年2月10日
发明者刘伟, 毕亚雷, 沈玲玲, 胡晓伟, 胡超 申请人:深圳先进技术研究院