图像采集方法以及应用该方法的图像采集系统与流程

本发明涉及一种用于摄像机（包括监控用摄像机，家用手持及专业录像用摄像机）的光亮处理及快速移动拍摄解决方案，籍此方案，得以解决图像亮暗对比较强时及照度不足时图像拖尾的技术课题。

背景技术：

现有摄像机在拍摄时，当被拍摄对象明暗对比较大时，拍摄的图像会出现亮的部分曝光过度，而暗的部分则曝光不足，使图像看不清楚；或夜晚拍摄时，如果提升曝光时间会导致移动物体图像拖尾等问题。目前市场上用以解决该类问题的技术或产品有两种，（一）采用双sensor传感器的手机产品，一个sensor传感器用于采集彩色画面，另一个sensor传感器用于提高感度采集黑白图像，通过后期合成将彩色效果不好的图像部分通过黑白的高亮效果进行补偿。（二）为提高图像效果采用三sensor的产品，该产品采用三个sensor分别通过特殊棱镜分光谱，将采集画面分为红、绿、蓝三种基本颜色，通过后期合成后输出图像，提高图像的真实效果。以上解决方案存在产品成本高，产品生产工艺要求高以及若其中一个sensor损坏后则对整个图像效果影响很大等问题。

技术实现要素：

在上述现有技术中，一台摄像机无法兼顾亮暗两种同时存在的场景，因为当提高暗部图像亮度同时，亮部图像的亮度也被提高，导致亮部图像曝光过度，反之降低亮度会导致暗部图像更暗。鉴于上述现有问题，本发明的目的即在于提供一种能够不受场景明暗影响，使用一台摄像机即能够准确地拍摄监控对象图像的摄像方法及装置。

实现本发明目的的技术方案如下所述：

一种图像采集方法，其特征在于：所述方法包括：

—（1）对拍摄对象进行图像采集，并将该采集的图像一分为二分别传输给第一图像传感器（sensor）和第二图像传感器（sensor）；

—（2）该第一图像传感器和第二图像传感器分别获得图像信号后，由该第一图像传感器处理长曝光图像（画面中较亮部分图像），对画面中较亮部分进行抑制，达到该较亮部分清晰可见又不致曝光过度；由该第二图像传感器处理短曝光图像（画面中较暗部分图像），将较暗部分的图像亮度进行提升，以达到较暗部分也可以清晰可见；

—（3）将上述第一图像传感器和第二图像传感器处理后的两种不同曝光的图像传输到图像合成dsp处理器中，由该图像合成dsp处理器将该两种图像进行合成，将第一图像传感器或第二图像传感器采集图像中曝光不正常（如过度或不足）部分更换为该两个图像传感器中采集到的曝光正常的该部分图像，通过处理输出的图像无论被拍摄图像亮暗差距再大，都可以获取清晰的输出图像；

—（4）从上述图像合成dsp处理器输出的信号进入亮度色度处理器yc-mix，经过放大，亮度，色度处理后最终输出。

上述亮度色度处理器yc-mix输出的信号，通过网线，bnc等传输方式进行图像传输，通过电脑，显示器，电视机等将图像还原。

本发明进一步的特征在于：上述步骤（2）中第一图像传感器和第二图像传感器分别获得图像信号后，该第一图像传感器采集后的图像传输到第一视频dsp处理器处理长帧信号（长曝光图像），对较亮部分进行抑制，主要是能够看见强光下图像，暗处图像几乎全黑；该第二图像传感器采集后的图像传输到第二视频dsp处理器处理短帧信号（短曝光图像），对较暗部分进行提升，主要是能够看见暗处图像，强光下信号几乎全白，然后分别将第一视频dsp处理器和第二视频dsp处理器处理后的图像信号传输到所述的图像合成dsp处理器，进行步骤（3）。

更进一步的，为获取清晰的整合图像，上述步骤（3）中，所述的图像合成dsp处理器从所述第一视频dsp处理器和第二视频dsp处理器输出得到的图像信号，将该第一视频dsp处理器和第二视频dsp处理器两个信号进行叠加，进行自动增益控制agc，曝光，消隐电平，锐度，亮度响应曲线gamma，白平衡，菜单，光圈设定等一系列的处理后，将两个亮度合成处理好之后的信号输出到亮度色度处理器yc-mix，进行步骤（4）。

本发明进一步的特征还在于：上述步骤（2）中第一图像传感器和第二图像传感器分别获得图像信号后，该第一图像传感器采集后的图像和该第二图像传感器采集后的图像分别传输到一双核视频dsp处理器，由该双核视频dsp处理器分别处理长帧信号（长曝光图像）和短帧信号（短曝光图像），达到强光下图像和暗处图像均能清晰，然后将该双核视频dsp处理器处理后的两个图像信号传输到所述的图像合成dsp处理器，进行上述步骤（3）。

进一步的，为获取清晰的整合图像，所述的图像合成dsp处理器将从所述该双核视频dsp处理器输出得到的两个图像信号叠加，进行自动增益控制agc，曝光，消隐电平，锐度，亮度响应曲线gamma，白平衡，菜单，光圈设定等一系列的处理后，将两个亮度合成处理好之后的信号输出到亮度色度处理器yc-mix，进行步骤（4）。

本发明进一步的特征在于：当所述第一图像传感器或者第二图像传感器是模拟图像传感器（ccd）时，该第一图像传感器或第二图像传感器分别获得图像信号后，该图像信号为模拟电信号，须将该模拟电信号传输给视频模拟前端处理器afe进行放大处理后转换为数字信号后，再将该数字信号传输给第一视频dsp处理器或者第二视频dsp处理器进行上述步骤（2）的处理。

同样的，当所述第一图像传感器或者第二图像传感器是模拟图像传感器（ccd）时，该第一图像传感器或第二图像传感器分别获得图像信号后，该图像信号为模拟电信号，须将该模拟电信号传输给视频模拟前端处理器afe进行放大处理后转换为数字信号后，再将该数字信号传输给双核视频dsp处理器进行上述步骤（2）的处理。

所述的采集到的拍摄对象的图像通过光学分光棱镜一分为二为两个同等亮度的图像分别传输给第一图像传感器sensor和第二图像传感器sensor。

本发明提供的图像采集方法，采用一个镜头进行图像采集，避免了两个镜头间的距离会导致所采集的两个图像偏移。为了实现在一个镜头中采集图像而不会产生两个图像的偏移，采用了光学棱镜或折射镜子进行分光，将一个图像分为两个同等亮度的图像，分别传输到两个sensor进行图像采集。对两个sensor采集到的图像分别进行亮暗两种不同控制和图像处理，可采用两个视频dsp分别进行图像处理，或者采用一个双核dsp对两路图像信号分别处理，最终由图像合成dsp进行图像整合输出。此外，为获取清晰的整合图像，两个图像传感器的视频dsp处理器会对采集图像中的agc,曝光时间，亮度，等进行分别控制进行输出，解决了后端处理两种图像相互影响的课题。

本发明同时提供一种图像采集系统，其特征在于：所述系统包括：

—图像摄取装置，用于图像采集，包括摄像机镜头；

—分光装置，用于将上述图像摄取装置采集的一幅图像分成两个相同的图像，并分别传输到两个图像传感器；

—两个图像传感器，用于分别采集相同的图像；

—至少一个视频dsp处理器，用于对上述图像传感器采集的图像进行处理；

—图像合成dsp处理器，用于将上述视频dsp处理器处理过的两个图像信号进行合成并且输出，且菜单设置等相关功能也由该图像合成dsp处理器进行控制。

本发明图像采集系统进一步的特征在于：所述系统具有第一视频dsp处理器和第二视频dsp处理器用于对所述图像传感器采集的图像进行处理，所述两个图像传感器中分别获得图像信号后，其中一个图像传感器采集的图象传输到第一视频dsp处理器处理长帧信号（长曝光图像），对较亮部分进行抑制，主要是能够看见强光下图像，暗处图像几乎全黑；另一个图像传感器采集的图像传输到第二视频dsp处理器处理短帧信号（短曝光图像），对较暗部分进行提升，主要是能够看见暗处图像，强光下信号几乎全白，然后分别将第一视频dsp处理器和第二视频dsp处理器处理后的图像信号传输到所述的图像合成dsp处理器，由该图像合成dsp处理器将该两种图像进行合成，将其中一个图像传感器采集图像中曝光不正常（如过度或不足）部分更换为另一个图像传感器中采集到的曝光正常的该部分图像，通过处理输出的图像无论被拍摄图像亮暗差距再大，都可以获取清晰的输出图像。

比较好的是，为获取清晰的整合图像，所述图像合成dsp处理器从所述第一视频dsp处理器和第二视频dsp处理器输出得到的图像信号，将该第一视频dsp处理器和第二视频dsp处理器两个信号进行叠加，进行自动增益控制agc，曝光，消隐电平，锐度，亮度响应曲线gamma，白平衡，菜单，光圈设定等一系列的处理后，将两个亮度合成处理好之后的信号输出。

本发明图像采集系统进一步的特征还在于：所述系统具有一双核视频dsp处理器用于对所述两个图像传感器采集的图像进行处理，所述两个图像传感器中分别获得图像信号后，该两个图像传感器采集的图像分别传输到该双核视频dsp处理器，由该双核视频dsp处理器分别处理长帧信号（长曝光图像）和短帧信号（短曝光图像），再分别输出到图像合成dsp处理器，由该图像合成dsp处理器将该两种图像进行合成，将其中一个图像传感器采集图像中曝光不正常（如过度或不足）部分更换为另一个图像传感器采集到的曝光正常的该部分图像，通过处理输出的图像无论被拍摄图像亮暗差距再大，都可以获取清晰的输出图像，达到强光下图像和暗处图像均能清晰。

同样的，为获取清晰的整合图像，所述的图像合成dsp处理器将从所述该双核视频dsp处理器输出得到的两个图像信号叠加，进行自动增益控制agc，曝光，消隐电平，锐度，亮度响应曲线gamma，白平衡，菜单，光圈设定等一系列的处理后，将两个亮度合成处理好之后的信号输出。

所述图像采集系统还包括亮度色度处理器yc-mix，从上述图像合成dsp处理器输出的信号进入该亮度色度处理器yc-mix，经过放大，亮度，色度处理后最终输出。

上述亮度色度处理器yc-mix输出的信号，通过网线，bnc等传输方式进行图像传输，通过电脑，显示器，电视机等将图像还原。

所述的分光装置为光学分光棱镜。

所述的图像传感器包括模拟图像传感器（ccd）或数字图像传感器（cmos）等。

当所述图像传感器是模拟图像传感器（ccd）时，该图像传感器获得图像信号后，该图像信号为模拟电信号，须将该模拟电信号传输给视频模拟前端处理器afe进行放大处理后转换为数字信号后，再将该数字信号传输给视频dsp处理器进行图象信号处理。

本发明图像采集系统是采用两个图像传感器sensor（ccd或cmos等sensor）通过棱镜分光后获取采集亮暗图像信号，经过视频dsp处理器和图像合成dsp处理器，将两幅画面进行合成，最终进行图像输出，夜晚场景是将一个sensor的曝光时间增加，提高夜晚的亮度，另一个sensor减少曝光时间，减少移动物体的拖影，达到两种亮暗差距较大图像采集相互不受影响，将光亮控制，agc，曝光等分别控制，使得画面亮暗适中，整个被拍画面在任何环境下都能清晰。

根据本发明提出的分别采集图像，处理不同亮度图像的方法，使得摄像机在亮暗变化很大的场合或环境复杂光源，或者快速移动物体拍摄都可以准确捕捉被拍摄物体。

此外，因为两个sensor图像分别控制，所以在夜晚亮度不高时，两个sensor分别进行长短曝光和agc提升降低，其中一个sensor负责静止图像的长曝光处理提高夜晚亮度，另一个sensor负责短曝光处理降低移动物体的拖尾现象。最终进行图像整合，最终解决了摄像机在0lx以下环境时，看不清被拍摄物体和移动物体拖影的问题。

附图说明

图1是本发明实施例图像采集流程图；

图2是本实施例中的图像采集系统结构示意图；

图3a是第一图像传感器短曝光后输出的图像，图3b是第二图像传感器长曝光后输出的图像，图3c是经本发明实施例将图3a和图3b两种场景进行整合后输出的图像；

图4是本发明实施例图像整合流程图。

图5是本发明软件设计流程图。

其中：1-摄像机镜头，2-监控摄像机，3-光学分光棱镜，4-第一图像传感器，5-控制基板，6-第二图像传感器。

具体实施方式

为使贵审查员及公众能进一步了解本发明的特征及其有益效果，特以实施例对本发明的具体实施方式详细描述如下：

本发明是在摄像机拍摄亮暗对比非常大，或被摄图面非常亮且希望能够看清物体的一个解决方案，本实施例以双ccd的模拟监控摄像机2为例，但也同样适用于其他形式的摄像机，通过棱镜的反射将亮暗图像进行分别采集，并且通过后端处理可以进行自动调整亮暗，及手动调整暗的部分及过亮部分的曝光过度部分进行降低。达到想要观测部分不受外界限制进行监视及观看。通过dsp的处理后将亮暗差减少到最低。

如图1所示，本实施例提供的图像采集方法，包括：

（1）对拍摄对象进行图像采集，并将该采集的图像一分为二分别传输给第一图像传感器和第二图像传感器。

（2）该第一图像传感器和第二图像传感器分别获得传输的图像信号后，由该第一图像传感器处理长曝光图像（即画面中较亮部分图像），对画面中较亮部分进行抑制，达到该较亮部分清晰可见又不致曝光过度；由该第二图像传感器处理短曝光图像（即画面中较暗部分图像），将较暗部分的图像亮度进行提升，以达到较暗部分也可以清晰可见。

（3）将上述第一图像传感器和第二图像传感器处理后的两种不同曝光的图像传输到图像合成dsp处理器中，由该图像合成dsp处理器将该两种图像进行合成，将第一图像传感器或第二图像传感器采集图像中曝光不正常（如过度或不足）部分更换为该两个图像传感器中采集到的曝光正常的该部分图像，通过处理输出的图像无论被拍摄图像亮暗差距再大，都可以获取清晰的输出图像。

（4）从上述图像合成dsp处理器输出的信号进入亮度色度处理器yc-mix，经过放大，亮度，色度处理后最终输出输出数字信号或者视频信号。

上述亮度色度处理器yc-mix输出的信号，通过网线，bnc等传输方式进行图像传输，通过电脑，显示器，电视机等将图像还原。

图2所示是基于上述图像采集方法的一种图像采集系统，所述系统包括：

—摄像机镜头1，用作图像采集及图像的大小及图像采集范围调整的图像摄取装置；

—分光装置，用于将上述图像摄取装置采集的一幅图像分成两个相同的图像，并分别传输到两个图像传感器，本实施例中采用光学分光棱镜3，该相同的图像是指两个图像同等亮度；

—第一图像传感器4和第二图像传感器6，分别用于从上述分光装置采集图像后，分别传给第一视频dsp处理器和第二视频dsp处理器。

—第一视频dsp处理器和第二dsp视频处理器，分别用于对上述第一图像传感器4和第二图像传感器6采集的图像进行处理，如曝光，快门，增益，图像降噪，亮度补偿等。

—图像合成dsp处理器，用于将上述第一视频dsp处理器和第二dsp视频处理器处理过的的两个图像信号进行合成并且输出，且摄像机各功能及参数调整等的菜单设置等相关功能也由该图像合成dsp处理器进行控制。

图像通过摄像机镜头1将要拍摄的物体及场景进行采集，将采集信号传输给光学分光棱镜3，光学分光棱镜3将其采集到的一个图像信号分为两个亮度相同的图像再分别传输给第一图像传感器4和第二图像传感器6，第一图像传感器4和第二图像传感器6分别获得光学分光棱镜3传输的图像信号后，该第一图像传感器4采集的图像传输到第一视频dsp处理器处理长帧信号（长曝光图像），对较亮部分进行抑制，主要是能够看见强光下图像，暗处图像几乎全黑；该第二图像传感器6采集的图像传输到第二视频dsp处理器处理短帧信号（短曝光图像），对较暗部分进行提升，主要是能够看见暗处图像，强光下信号几乎全白，然后分别将第一视频dsp处理器和第二视频dsp处理器处理后的图像信号传输到所述的图像合成dsp处理器，由该图像合成dsp处理器将该两种图像进行合成，将第二图像传感器6采集图像中曝光过度部分更换为第一图像传感器4采集到的曝光正常的该部分图像，同样的，将第一图像传感器4采集图像中曝光不足部分更换为第二图像传感器采集到的曝光正常的该部分图像，通过处理输出的图像无论被拍摄图像亮暗差距再大，都可以获取清晰的输出图像。

比较好的是，为获取清晰的整合图像，所述图像合成dsp处理器从所述第一视频dsp处理器和第二视频dsp处理器输出得到的图像信号，将该第一视频dsp处理器和第二视频dsp处理器两个信号进行叠加，进行自动增益控制agc，曝光，消隐电平，锐度，亮度响应曲线gamma，白平衡，菜单，光圈设定等一系列的处理后，将两个亮度合成处理好之后的信号输出。

以上第一视频dsp处理器和第二视频dsp处理器也可采用一个内置双核的视频dsp处理器代替，使用一个视频dsp处理器实现两路信号同时输入。第一图像传感器4和第二图像传感器6分别获得光学分光棱镜3传输图像信号后，该第一图像传感器4和第二图像传感器6采集的图像分别传输到该双核视频dsp处理器，由该双核视频dsp处理器分别处理长帧信号（长曝光图像）和短帧信号（短曝光图像），再分别输出到图像合成dsp处理器，由该图像合成dsp处理器将该两种图像进行合成，将其中第二图像传感器6采集图像中曝光过度部分更换为第一图像传感器4采集到的曝光正常的该部分图像，同样的，将第一图像传感器4采集图像中曝光不足部分更换为第二图像传感器采集到的曝光正常的该部分图像，通过处理输出的图像无论被拍摄图像亮暗差距再大，都可以获取清晰的输出图像，达到强光下图像和暗处图像均能清晰。

同样的，为获取清晰的整合图像，所述的图像合成dsp处理器将从所述该双核视频dsp处理器输出得到的两个图像信号叠加，进行自动增益控制agc，曝光，消隐电平，锐度，亮度响应曲线gamma，白平衡，菜单，光圈设定等一系列的处理后，将两个亮度合成处理好之后的信号输出。

本实施例图像采集系统还包括亮度色度处理器yc-mix，从上述图像合成dsp处理器输出的信号进入该亮度色度处理器yc-mix，经过放大，亮度，色度处理后最终输出。该亮度色度处理器yc-mix输出的信号，通过网线，bnc等传输方式进行图像传输，通过电脑，显示器，电视机等将图像还原。

第一图像传感器4和第二图像传感器可采用模拟图像传感器（ccd）或数字图像传感器（cmos）等。

当第一图像传感器4和第二图像传感器6采用模拟图像传感器（ccd）时，该两个图像传感器获得图像信号后，会分别将采集图像的光亮信号转换为模拟电信号。则需要通过视频模拟前端处理器afe分别将所接收的该模拟电信号进行放大处理后转换为数字信号，再将该数字信号传输给第一视频dsp处理器及第二视频dsp处理器（或双核视频dsp处理器）进行图象信号处理。然后将处理后的图像信号再传输给图像合成dsp处理器，进行图像合成。并进行自动增益控制agc，曝光，消隐电平，锐度，亮度响应曲线gamma，白平衡等一系列的处理后，将两个亮度合成处理好之后的信号输出到亮度色度处理器yc-mix。最终通过电视机，显示器，及电脑等显示视频图像。

如果第一图像传感器4和第二图像传感器6采用数字图像传感器（cmos）时，该两个图像传感器获得图像信号后，会分别将采集图像的光亮信号转换为数字电信号，则不用视频模拟前端处理器afe，直接将该数字信号分别传输到第一视频dsp处理器和第二视频dsp处理器（或双核视频dsp处理器）即可。然后将该处理后的图像信号再传输给图像合成dsp处理器，进行图像合成。并进行自动增益控制agc，曝光，消隐电平，锐度，亮度响应曲线gamma，白平衡等一系列的处理后，将两个亮度合成处理好之后的信号输出到亮度色度处理器yc-mix。最终通过电视机，显示器，及电脑等显示视频图像。

上述本实施例系统的各电子元器件，如，用于各个器件的供电的电源回路、第一视频dsp处理器、第二视频dsp处理器以及图像合成dsp处理器、视频模拟前端处理器afe、亮度色度处理器yc-mix等设置在控制基板5上，该控制基板5是具有回路的pcb板，通过控制基板5上的回路将各元器件相连。该控制基板5和摄像机镜头1等固定在监控摄像机2的机身上。

以下是本实施例图像采集处理流程：

通过光学分光棱镜3的图像拾取进入第一图像传感器4和第二图像传感器6的图像采集，将图像的亮度信号通过ccd图像传感器分别将该图像亮度信号转换为模拟电信号，并将该模拟电信号传输给afe进行放大处理转换为数字信号。或者使用cmos图像传感器直接将采集的图像亮度信号转换为数字信号。将数字信号分别传输给相应的视频dsp处理器。

其中第一视频dsp处理器是处理长帧信号，主要是能够看见强光下图像，暗处图像几乎全黑，第二视频dsp处理器是处理短帧信号，主要是能够看见暗处图像，强光下信号几乎全白，经过agc，曝光，消隐电平，锐度，gamma，白平衡等一系列的处理，两个视频dsp处理器信号传输给图像合成dsp处理器，该图像合成dsp处理器将两个信号进行叠加，再经过合成后agc,曝光，锐度，白平衡等再处理，将整合处理好之后的信号进行准备输出。

从图像合成dsp处理器输出的信号进入yc-mix处理器，经过放大，亮度，色度处理后最终输出。

输出的信号，通过网线，bnc等传输方式进行图像传输，通过电脑，显示器，电视机等将图像还原。

以下以图3a、图3b、图3c分别说明本发明的模拟效果：

图3a是第一图像传感器4经过第一视频处理器dsp输出的图像，从图3a中可以看出，房间带有一个窗户，由于是短曝光，窗户外的人可以清晰可见，但房间内人员无法看清。

图3b是第二图像传感器6经过第二视频处理器dsp输出的图像，从图3b可以看出，由于是长曝光，屋内较暗的部分人看的很清楚，但是由于长曝光导致室外曝光过度，室外的图像发白，无法看清。

图3c所示是将图3a和图3b两种场景进行整合，即通过合成dsp处理器将两幅图像中亮暗部分整合为一个画面，最终通过电脑，显示器等显示输出，整个图像显示室内和室外的人像均清晰可辨，曝光适度。

本发明的图像整合流程可通过图4所示来说明。图4左边上下两个不同亮暗的图片分别代表两个图像传感器各自采集到的图像示例，一个图像传感器采集到图像亮的地方很清楚（如图4左上图中门外场景），该图像传感器主要针对室外或强逆光状态下，无法看清的部分进行图像采集；另一个图像传感器采集到图像暗处地方很清晰（如图4左下图中屋内场景），该图像传感器主要针对暗处，照度很低状态下，无法看清的部分进行图像采集。采集到的两个图像分别在视频dsp处理器中对亮区进行亮度图像校准，使得曝光过度的图像可以看清，或者将暗处的图像进行亮度提升，达到可以看清的暗处图像的程度，针对中等亮度及中等暗度的部分，分别进行小幅的提升或者抑制，再经过图像合成dsp处理器进行两幅图像的合成，最终输出的视频达到内外兼顾，高亮和暗处的图像都可以看清楚的目的，如图4右图中所示。

图5为本发明软件设计对图像处理的流程图，本发明的软件处理流程为棱镜分光后分别被两个图像传感器进行采集。

1）采集后分别在两个视频dsp处理器中进行整幅图像的扫描及计算出整幅图像的平均亮度值。

2）将整幅图像用软件平均分割为48块，分别计算出每一块的亮度值，用于计算后期进行亮度调整。

3）将整幅图像与平均亮度比较，筛选出较亮（或较暗）及高亮（暗区）的部分。

4）筛选出高亮的标记坐标i；很暗区标记坐标j，以便后续修正区分。

5）对中等亮度及高亮区域进行亮度响应曲线gamma的修正。

6）对图像坐标的长度及宽度进行修正，防止在处理时影响到实际效果。

7）对分成48个每个块进行rgb(红，绿，蓝三基色)的颜色和权重总和进行统计。

8）对统计出的颜色总和进行修正，并且根据调整后的图像计算出当前亮度。

9）针对调整出的亮度值是否在目标亮度的范围内。达不到范围的进行增益agc进行亮度再次调整。

10）调整后的图像作为下一帧的图像进行图像输出。