一种图像处理系统、方法及装置的制造方法

文档序号:8546434阅读:526来源:国知局
一种图像处理系统、方法及装置的制造方法
【技术领域】
[0001]本发明涉及图像处理领域,尤其涉及一种图像处理系统、方法及装置。
【背景技术】
[0002]在现有技术中的各种可以进行视频拍摄和拍照功能的多媒体设备(如数码相机、手机、平板电脑等)中,都存在获取图像的图像传感器,以及可以进行图像处理的多媒体处理芯片。其中,图像传感器包括互补金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor, CMOS)图像传感器、电荷藕合器件(Charge Coupled Device,(XD)图像传感器等。
[0003]而大部分的多媒体处理芯片都带有图像信号处理器(Image Signal Processor,ISP)模块,用于对图像传感器获取的图像进行处理,这些ISP模块一般都是针对某一个特定的规格进行设计,例如,某ISP模块是针对500W像素的图像大小设计的,包含该ISP模块的多媒体处理芯片只能接收和处理500W像素以下的图像,如果需要针对大于500W像素的图像,比如1200W像素的图像,上述多媒体处理芯片则无法工作,该多媒体处理芯片需要重新进行设计。
[0004]现有技术中的多媒体处理系统的结构示意图参阅图1所示,当前图像信息的获取,一般是使用CMOS或者是CXD图像传感器,这些图像传感器的信号需要经过ISP模块进行处理,才能转化为用户需要的图像信息,ISP模块在多媒体处理系统中的位置如图所示。
[0005]ISP模块具体的图像处理的功能包括:坏点去除、自动曝光、白平衡、自动对焦、色彩校正、贝尔插值、噪声去除、边缘增强等,这些图像处理功能理论上可以由中央处理器(Central Processing Unit, CPU)或者图形处理器(Graphic Processing Unit, GPU)来处理,但是获取视频时,需要进行实时的图像处理,从功耗和效率上考虑,采用ISP模块来做图像处理是最为合适的。ISP模块需要做的图像处理很多,为了实现实时性的操作,就需要做流水处理,算法一级接一级,传统的ISP流水线参阅图2所示,原始的图像数据从图像传感器传入,经过ISP流水线处理后直接进行系统存储。在ISP图像处理流水线中,一些算法需要参考上下行的数据,如坏点去除和插值算法,效果比较好的算法至少需要参考上两行和下两行的数据,因此为了实现硬件数据流水操作,需要保存至少4行的数据,这样,上述两个算法实现,累加需要8行的行缓存,其中一行的行缓存为一行像素点数据的比特数。对于像素较大图像的数据,这些行缓存所占用的逻辑是比较大的,例如,若ISP模块支持4096的行分辨率(每个像素点12比特),8行的行缓存需要存储约400k比特(12*4096*8=393216),其中,支持4096的行分辨率为可以处理分辨率为4096*H的图像,即处理宽度为4096个像素点的图像。图中的ISP模块总共需要的行缓存=B*Image_Width*H,其中,B为一个像素点的比特数,Image_ffidth为图像的行分辨率,H为行缓存的行数。一些复杂算法需要更多的行缓存,功能比较少的ISP模块一般需要10行以上的缓存,处理大像素的图像时,这些行缓存所占的芯片面积较大。
[0006]对于一些可以处理高像素图像的多媒体处理芯片,例如,可以处理3200W像素的图像的规格的多媒体处理芯片,可以满足大部分的需求,但是数据进行流水处理过程中需要很大的片内行缓存,由于每一个比特的缓存数据都需要一个硬件逻辑单元存储,因此,处理过程中产生的很大的缓存数据则需要很多的硬件逻辑单元存储,导致多媒体处理芯片的面积很大,进而增加了生产成本,以及导致了多媒体处理芯片的良率下降,最终影响该多媒体处理芯片的图像处理效率。
[0007]综上所述,通过传统的ISP模块的图像处理流程进行图像处理,只能处理小于或等于ISP模块的规格的图像,兼容性较差;处理大像素图像的多媒体处理芯片的面积大,进而增加生产成本、导致多媒体处理芯片的良率下降,最终影响该多媒体处理芯片的图像处理效率。

【发明内容】

[0008]本发明实施例提供了一种图像处理系统、方法及装置,用以解决现有技术中的ISP架构存在的处理的图像大小兼容性差的问题,以及处理大像素图像的多媒体处理芯片面积大,进而增加生产成本、导致多媒体处理芯片的良率下降,最终影响该多媒体处理芯片的图像处理效率的问题。
[0009]本发明实施例提供的具体技术方案如下:
[0010]第一方面,一种图像处理系统,包括图像传感器、采样模块、图像信号处理器ISP模块以及存储器,其中,
[0011]图像传感器,与采样模块和存储器相连接,用于将获取的视频图像发送至所述采样模块,以及将获取的静态图像直接发送至所述存储器;
[0012]采样模块,与ISP模块相连接,用于根据所述图像传感器配置的图像分辨率与所述ISP模块处理的最大行分辨率,对接收的所述视频图像进行采样,并将采样后的视频图像发送至所述ISP模块;
[0013]ISP模块,与存储器相连接,用于接收所述采样模块传送的视频图像,并对所述视频图像进行图像处理,以及将处理后的视频图像发送至所述存储器;还用于根据所述ISP模块处理的最大行分辨率,读取所述存储器中当前存储的静态图像,并对所述静态图像进行图像处理,以及将处理后的静态图像发送至所述存储器;
[0014]存储器,用于存储视频图像以及静态图像。
[0015]这样,通过采样模块将采集的视频图像进行采样处理后再发往ISP模块进行图像处理,并直接存储静态图像,ISP模块从存储器中读取静态图像并进行图像处理,不需要对静态图像进行下采样,也不需要要求ISP模块处理图像的大小的配置,降低了图像处理过程中的行缓存的需求,保证在行缓存容量的前提下,可以支持处理图像传感器发送的任意大分辨率的图像,解决了 ISP模块处理的图像大小兼容性差的问题,并且避免了处理大像素图像时,重新设计的多媒体处理芯片的面积太大的问题,降低了生产成本、提高了多媒体处理芯片的良率,最终提高了该多媒体处理芯片的图像处理效率。
[0016]结合第一方面,在第一种可能的实现方式中,所述图像传感器具体用于:
[0017]在接收到存储静态图像指令的时刻,将所述时刻所设定的时间段内全部静态图像发送至存储器;或
[0018]在接收到存储静态图像指令的时刻,将所述时刻所设定的时间段内指定帧数的静态图像发送至存储器。
[0019]这样,图像传感器可以将指定的多个静态图像保存,待ISP模块处理后供用户选择。
[0020]结合第一方面,在第二种可能的实现方式中,所述采样模块具体用于:
[0021]确定所述图像传感器配置的图像分辨率中的行分辨率小于或等于所述ISP模块处理的最大行分辨率时,采用1:1的比例对接收的所述视频图像进行采样;
[0022]确定所述图像传感器配置的图像分辨率中的行分辨率大于所述ISP模块处理的最大行分辨率时,采用小于或等于1:N的比例对接收的所述视频图像进行采样,其中,N为所述图像传感器配置的图像分辨率中的行分辨率与所述ISP模块处理的最大行分辨率的商。
[0023]这样,通过采样模块对视频图像进行处理,可以使采样后的图像的行分辨率满足ISP模块处理的最大行分辨率,使ISP模块可以对视频图像进行图像处理。
[0024]结合第一方面或以上任一种可能的实现方式,在第三种可能的实现方式中,所述ISP模块具体用于:
[0025]若所述存储器中当前存储的静态图像的行分辨率小于或等于所述ISP模块处理的最大行分辨率,则一次读取所述静态图像;
[0026]若所述存储器中当前存储的静态图像的行分辨率大于所述ISP模块处理的最大行分辨率,则分次读取所述静态图像,每次读取行分辨率小于或等于所述ISP模块处理的最大行分辨率的部分图像,直至所述静态图像全部读完。
[0027]这样,通过每次读取行分辨率小于或等于ISP模块处理的最大行分辨率的部分图像,可以使读取的部分图像的行分辨率满足ISP模块处理的最大行分辨率,使ISP模块可以对静态图像进行图像处理。通过这种方式,不需要要求ISP模块处理图像的大小的配置,解决了 ISP模块处理的图像大小兼容性差的问题。
[0028]结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,在非首次读取所述存储器中当前存储的静态图像时,所述ISP模块进一步用于:
[0029]读取当前的部分图像时,当前的部分图像与上一次读取的部分图像重叠预设的宽度,其中,所述宽度为设定数目的像素点的宽度。
[0030]这样,ISP模块采用重叠的方式避免边界效应,提高图像处理后的静态图像的质量。
[0031]结合第一方面的第三种可能的实现方式,在第五种可能的实现方式中,所述ISP模块还用于:
[0032]采用与所述ISP模块对所述视频图像进行图像处理时相同的调整参数,对每次读取的静态图像中的部分图像进行图像处理。
[0033]这样,采用不改变原图像的基本特征的处理视频图像采用的调整参数,对每次读取的静态图像中的部分图像进行图像处理,可以得到最优化的图像。
[0034]第二方面,一种图像处理方法,包括:
[0035]接收到存储视频图像指令,获取当前的视频图像;
[0036]根据获取的当前的视频图像的图像分辨率与预设的最大行分辨率,对所述视频图像进行采样;
[0037]将采样后的视频图像进行图像处理,并将处理后的视频图像进行存储;
[0038]
当前第1页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1