摄像系统和播放系统的制作方法

文档序号:7576821阅读:169来源:国知局
专利名称:摄像系统和播放系统的制作方法
技术领域
本发明涉及一种摄像系统和播放系统,在进行利用JPEG或MPEG等频率空间的压缩处理时或进行解压缩处理时,同时高精度地降低由摄像元件系统引起的随机噪声。
背景技术
在从摄像元件及其附带的模拟电路和A/D转换器得到的被数字化的信号中,一般含有噪声成分,该噪声成分可以大致分为固定模式噪声和随机噪声。
所述固定模式噪声是以缺陷像素等为代表的主要由摄像元件引起的噪声。
另一方面,随机噪声产生于摄像元件和模拟电路中,具有与白噪声特性相近的特性。
关于后者的随机噪声,例如在特开2001-157057号公报中公开了以下技术,使用静态赋予的常数项a、b、c和转换为浓度值的信号电平D,利用N=abcD将噪声量N函数化,根据该函数推测相对于信号电平D的噪声量N,根据所推测的噪声量N控制滤波的频率特性,由此对信号电平进行适当的噪声降低处理。
另外,作为其他示例,在特开2002-57900号公报中记载着以下技术,求出观察像素和其附近像素的差分值Δ,使用所求出的差分值Δ和静态赋予的常数项a、b,根据n=a/(Δ+b)将在移动平均法中使用的平均像素数n函数化并进行控制,并且在所求出的差分值Δ大于等于规定阈值时不进行移动平均。通过采用这种技术,可以进行噪声降低处理而不使边缘等原信号劣化。另外,噪声降低后的信号被进行利用JPEG和MPEG等频率空间的压缩处理,并且被记录保存,在播放时对该压缩的信号进行解压缩处理。
上述的特开2001-157057号公报和特开2002-57900号公报中的函数,均是在实际空间中被定义的函数,所以噪声降低处理使用这些函数在实际空间中进行。对此,压缩解压缩处理一般是在频率空间中进行,所以必须独立于噪声降低处理来进行。
这样,在以往的结构中,必须利用分别独立的系统进行噪声降低处理和压缩解压缩处理,所以低成本地构建可以进行快速处理的摄像系统和播放系统成为问题。
并且,在上述的函数中使用的常数项是被固定赋予的,所以不能对应系统的一部分被更新的情况或随时间产生变化的情况等,存在缺少灵活性的问题。另外,上述各文献所记载的技术构建的系统,存在当不能算出在函数中使用的常数项时,就不能进行噪声降低处理的问题。

发明内容
本发明就是鉴于上述情况而提出的,其目的在于,提供可以通过低成本和快速处理得到高画质图像的摄像系统和播放系统。
并且,本发明的目的在于,提供可以灵活对应多种系统并获得高画质图像的摄像系统和播放系统。
本发明的摄像系统具备从摄像元件的信号中抽取规定尺寸的块区域的抽取部;把该抽取的块区域的信号转换为频率空间的信号的转换部;根据该转换后的频率空间的信号内的0次成分,推测与0次成分以外的频率成分相关的噪声量的推测部;根据该推测的噪声量,降低与0次成分以外的频率成分相关的噪声的噪声降低部;对上述0次成分和降低噪声后的0次成分以外的频率成分进行压缩处理的压缩部。


图1是表示本发明的第1实施方式的摄像系统的结构的方框图。
图2是表示上述第1实施方式的噪声推测部的结构的方框图。
图3A是说明上述第1实施方式中的DCT转换的图。
图3B是说明上述第1实施方式中的DCT转换的图。
图4A是说明上述第1实施方式中的噪声量的公式化的曲线图。
图4B是说明上述第1实施方式中的噪声量的公式化的曲线图。
图5A是说明上述第1实施方式中的噪声量的公式化中使用的参数的曲线图。
图5B是说明上述第1实施方式中的噪声量的公式化中使用的参数的曲线图。
图5C是说明上述第1实施方式中的噪声量的公式化中使用的参数的曲线图。
图6是表示上述第1实施方式的噪声降低部的结构的方框图。
图7A是表示上述第1实施方式的噪声降低和压缩的软件处理的流程图。
图7B是表示上述第1实施方式的噪声降低和压缩的软件处理的流程图。
图8是表示本发明的第2实施方式的摄像系统的结构的方框图。
图9A是说明上述第2实施方式中的小波转换的图。
图9B是说明上述第2实施方式中的小波转换的图。
图9C是说明上述第2实施方式中的小波转换的图。
图10是表示上述第2实施方式的噪声推测部的结构的方框图。
图11是表示上述第2实施方式的噪声降低部的结构的方框图。
图12是表示本发明的第3实施方式的播放系统的结构的方框图。
图13A是表示上述第3实施方式的解压缩和噪声降低的软件处理的流程图。
图13B是表示上述第3实施方式的解压缩和噪声降低的软件处理的流程图。
图14是表示本发明的第4实施方式的摄像系统的结构的方框图。
图15是表示上述第4实施方式的噪声降低处理中使用的参数校正的软件处理的流程图。
具体实施例方式
以下,参照

本发明的实施方式。
图1~图7B表示本发明的第1实施方式,图1是表示摄像系统的结构的方框图,图2是表示噪声推测部的结构的方框图,图3A、3B是说明DCT转换的图,图4A、图4B是说明噪声量的公式化的曲线图,图5A、图5B、图5C是说明噪声量的公式化中使用的参数的曲线图,图6是表示噪声降低部的结构的方框图,图7A、图7B是表示噪声降低和压缩的软件处理的流程图。
如图1所示,该摄像系统具有透镜系统1,用于成像被摄体像;光圈2,配置在该透镜系统1内,用于限定该透镜系统1的光束的通过范围;低通滤波器3,用于从由上述透镜系统1形成的成像光束中去除不需要的高频成分;作为摄像元件的CCD4,对通过该低通滤波器3成像的光学被摄体像进行光电转换,输出电影像信号;A/D转换器5,把从该CCD4输出的模拟图像信号转换为数字信号;第1缓冲器6,临时存储从该A/D转换器5输出的数字图像数据;测光评价部7,使用存储在该第1缓冲器6中的图像数据进行与被摄体相关的测光评价,根据该评价结果对上述光圈2和CCD4进行控制;聚焦点检测部8,使用存储在上述第1缓冲器6中的图像数据进行聚焦点检测,根据检测结果驱动后述的AF电机9;AF电机9,由该聚焦点检测部8控制,对上述透镜系统1中包含的聚焦透镜等进行驱动;信号处理部10,读出存储在上述第1缓冲器6中的图像信号,进行白平衡处理和插值处理、强调处理等一般的信号处理;第2缓冲器11,临时存储由该信号处理部10处理后的图像信号;作为块抽取单元的块抽取部12,以规定的块尺寸单位顺序读出存储在该第2缓冲器11中的图像信号;Y/C分离部13,把由该块抽取部12读出的块单位的RGB信号分离为亮度信号Y和色差信号Cb、Cr;作为转换单元的亮度DCT部14,对由该Y/C分离部13分离的亮度信号Y进行公知的DCT(DiscreteCosine Transform)转换,由此转换为频率空间的信号;下采样部17,以规定的比率对由上述Y/C分离部13分离的色差信号Cb、Cr进行下采样;作为转换单元的色差DCT部18,对由下采样部17进行下采样的色差信号Cb、Cr进行上述DCT转换,由此转换为频率空间的信号;0次抽取部15,从上述亮度DCT部14的输出中抽取0次成分,再从上述色差DCT部18的输出中抽取0次成分;0次量子化部16,将由该0次抽取部15抽取的0次成分量子化;作为噪声推测单元的噪声推测部20,根据由上述0次抽取部15抽取的0次成分,推测与0次成分以外的频率成分相关的噪声量;高频抽取部19,从上述亮度DCT部14的输出中抽取除0次成分以外的频率成分,再从上述色差DCT部18的输出中抽取除0次成分以外的频率成分;作为噪声降低单元的噪声降低部21,根据由上述噪声推测部20推测的噪声量,降低由上述高频抽取部19抽取的高频成分的噪声;高频量子化部22,将由该噪声降低部21处理后的高频成分量子化;作为压缩单元的压缩部23,对上述0次量子化部16的输出和高频量子化部22的输出进行压缩处理;输出部24,输出由该压缩部23压缩的图像数据,以便记录到例如存储卡等记录介质中;外部I/F部26,具有与电源开关、快门按钮、用于切换各种摄影模式的模式开关等的接口;作为控制单元并兼为获取单元的控制部25,由微电脑等构成,与上述测光评价部7、聚焦点检测部8、信号处理部10、Y/C分离部13、0次抽取部15、0次量子化部16、高频抽取部19、噪声推测部20、噪声降低部21、高频量子化部22、压缩部23、输出部24、外部I/F部26双向连接,对包括以上各部分的该摄像系统进行统一控制。
下面,说明图1所示的摄像系统的信号流程。
该摄像系统构成为可以通过外部I/F部26设定ISO感光度等摄影条件,在进行这些设定后,将由两级式按钮开关构成的快门开关按下一半,进入预备摄像模式。
通过上述透镜系统1、光圈2、低通滤波器3成像的光学像被CCD4拍摄,并作为模拟图像信号输出,通过A/D转换器5转换为数字信号,传送给第1缓冲器6。
另外,上述CCD4在本实施方式的示例中构成为在摄像面的前面配置了原色RGB滤色器的单板式原色彩色CCD。
然后第1缓冲器6内的影像信号被分别传送给测光评价部7和聚焦点检测部8。
测光评价部7求出图像中的亮度水平,考虑所设定的ISO感光度和手晃动界限的快门速度等,算出合适的曝光值,控制由光圈2形成的光圈值和CCD4的电子快门速度等,以达到该合适的曝光值。
并且,聚焦点检测部8检测图像中的边缘强度,控制AF电机9使该边缘强度达到最大,获得聚焦图像。
通过进行这种预备摄像模式,做好正式摄影的准备,然后,当通过外部I/F部26检测到快门按钮被彻底按下时,进行正式摄影。
该正式摄影根据由测光评价部7求出的曝光条件和由聚焦点检测部8求出的聚焦条件进行,这些摄影时的条件被传送给作为获取单元的控制部25。
当这样进行正式摄影时,和预备摄像时相同,图像信号被传送给第1缓冲器6并存储。
该第1缓冲器6内的图像信号被传送给信号处理部10,在进行了公知的白平衡处理、插值处理、强调处理等后,被传送给第2缓冲器11。
块抽取部12根据控制部25的控制,以规定的块尺寸例如以由8×8像素构成的块为单位,顺序读出存储在上述第2缓冲器11中的图像信号,并传送给Y/C分离部13。
Y/C分离部13根据下述公式1所示的转换公式,把来自块抽取部12的由RGB信号构成的图像信号转换为亮度信号Y和色差信号Cb、Cr。
Y=0.29900R+0.58700G+0.11400BCb=-0.16874R-0.33126G+0.50000BCr=0.50000R-0.41869G-0.08131B这样,由Y/C分离部13生成的亮度信号Y被传送给亮度DCT部14,色差信号Cb、Cr被传送给下采样部17。
下采样部17以规定的比率下采样色差信号Cb、Cr,然后传送给色差DCT部18。
上述亮度DCT部14和色差DCT部18,通过进行上述公知的DCT(Discrete Cosine Transform)转换,把实际空间的图像信号转换为频率空间的信号。
根据控制部25的控制,按照亮度信号Y、色差信号Cb、色差信号Cr的顺序,上述被转换为频率空间的信号被进行以下所示噪声降低处理和压缩处理。
首先,0次抽取部15从由上述亮度DCT部14和色差DCT部18转换的频率空间的信号中抽取0次成分。
然后,0次量子化部16以规定间隔将由该0次抽取部15抽取的0次成分量子化。
并且,压缩部23利用公知的哈夫曼编码和算术编码等对该量子化后的0次成分进行压缩。这样被压缩的信号依次被传送给输出部24,按上面所述保存在存储卡等中。
噪声推测部20从0次抽取部15获取0次成分,并且从控制部25获取摄影时的信息,根据这些信息算出相对于0次成分以外的频率成分的噪声量。
另一方面,高频抽取部19从由上述亮度DCT部14和色差DCT部18转换后的频率空间的信号中抽取除0次成分以外的频率成分。
噪声降低部21根据来自噪声推测部20的噪声量,对来自高频抽取部19的除0次成分以外的频率成分进行噪声降低处理。
高频量子化部22以规定间隔将由噪声降低部21进行了噪声降低处理的高频成分量子化。
上述压缩部23对于由该高频量子化部22量子化的高频成分,也与由上述0次量子化部16量子化的0次成分相同,利用公知的哈夫曼编码和算术编码等进行压缩。被这样压缩的信号依次被传送给输出部24,按上面所述保存到存储卡等中。另外,该压缩部23的压缩处理例如根据公知的JPEG压缩处理来进行。
另外,上述的Y/C分离部13、0次抽取部15、0次量子化部16、高频抽取部19、噪声推测部20、噪声降低部21、高频量子化部22、压缩部23进行的各种处理,根据控制部25的控制,与块抽取部12抽取块的动作同步,以块为单位进行。
下面,参照图2说明噪声推测部20的结构的一例。
该噪声推测部20具有作为赋予单元的标准值赋予部31,把CCD4的标准温度传送给后述的系数算出部32;作为系数算出单元的参数用ROM33,存储推测噪声量时使用的后述的函数的相关参数;作为系数算出单元的系数算出部32,根据来自该参数用ROM33的参数、来自上述0次抽取部15的0次成分、来自上述控制部25的增益、和来自上述标准值赋予部31的温度信息,算出用于推测除0次成分以外的高频成分的噪声量的规定公式的相关系数;作为噪声算出单元的噪声算出部34,使用由该系数算出部32算出的系数,并使用后述的被公式化的函数算出噪声量,传送给噪声降低部21。
另外,这些标准值赋予部31、系数算出部32、噪声算出部34与控制部25双向连接并由其控制。另外,控制部25根据测光评价部7和信号处理部10等求出相对于信号的增益,并传送给系数算出部32。
此处,参照图3A、图3B,说明进行DCT转换并转换为频率空间时的次数成分。图3A表示实际空间的8×8像素的块,图3B表示频率空间的8×8像素的块。
当对图3A所示的实际空间的像素块的信号进行DCT转换时,获得图3B所示的频率空间的像素块的成分。在该图3B的频率空间中,把左上角作为原点即0次成分,大于等于1次的高频成分被配置在以该原点为中心的同心圆上。因此,上述0次抽取部15在该图3B所示的频率空间中,进行把位于左上角的像素作为0次成分来抽取的处理。
下面,参照图4A、图4B说明噪声量的公式化。图4A是绘制相对于0次成分L的噪声量N得到的,其函数可以用下述公式2进行公式化。
N=ALB+C其中,A、B、C是常数项,该公式是对形成0次成分L的幂函数附加常数项而构成。
但是,噪声量N不是仅依赖于信号值电平的0次成分L,除此以外也根据作为摄像元件的CCD4的温度和信号的增益而变化。因此,把这些原因也考虑进来构成图4B所示示例。
即,代替在上述公式2中作为常数项的A、B、C,按照公式3所示,导入以温度T和增益G为参数的3个函数a(T,G)、b(T,G)、c(T,G)。
N=a(T,G)Lb(T、G)+c(T,G)图4B是在多个温度T(在图示例中为温度T1~T3)中的多个增益G(在图示例中为1、2、4倍)的情况下绘制该公式3所示曲线而得到的。
图4B把独立变量作为0次成分L、把从属变量作为噪声量N来表示,但把作为参数的温度T绘制成与这些变量正交方向的坐标轴。因此,在用T=T1表示的平面内、用T=T2表示的平面内、用T=T3表示的平面内的各个平面中,读取因0次成分L形成的噪声量N。此时,还通过在各平面内描画多个曲线来表示由作为参数的增益G引成的曲线形状的变化。
用各参数表示的各个曲线形成与图4A所示公式2的曲线大致类似的状态,但是,当然从各函数a、b、c得到的系数A、B、C因温度T和增益G的各数值而不同。
图5A表示上述函数a(T、G)的特性的概略状态,图5B表示上述函数b(T、G)的特性的概略状态,图5C表示上述函数c(T、G)的特性的概略状态。
这些函数是以温度T和增益G为独立变量的2变量函数,所以图5A~图5C被绘制成三维坐标,形成所绘制的空间中的曲面。但是,此处不图示具体的曲面形状,而使用曲线表示大概的特性变化的状况。
把温度T和增益G作为参数输入给这种函数a、b、c,由此输出各常数项A、B、C。这些函数的具体形状可以通过事前测定包括CCD4的摄像元件系统的特性而容易地获取。
系数算出部32把来自控制部25的增益G和来自标准值赋予部31的温度T作为输入参数,根据记录在参数用ROM33中的3个函数a、b、c,求出常数项A、B、C,传送给噪声算出部34。
噪声算出部34使用来自该系数算出部32的0次成分L和常数项A、B、C,根据上述公式2算出噪声量N,把所算出的噪声量N传送给噪声降低部21。
另外,在上述说明中,从标准值赋予部31赋予作为摄像元件的CCD4固定的温度,但不限于此。例如,可以构成为把温度传感器等配置在CCD4的附近,实时地获取温度信息并传送给作为获取单元的控制部25,也可以与此相反,在不能动态地获得增益G的情况下,从标准赋予部31赋予规定的值。
并且,在上述说明中,在对噪声量的公式化中使用了公式2所示的幂函数,但不限于这种函数形式。例如,也可以使用N=AL2+BL+C这种2次式来进行公式化,还可以使用其他的多项式和样条函数等。
下面,参照图6说明噪声降低部21的结构的一例。
该噪声降低部21具有作为选择单元的判断部41,根据来自控制部25的画质模式信息(包括压缩率的信息),推测信息未被保存的高频成分的阈值n;作为平均值算出单元的平均值算出部42,算出从高频抽取部19传送来的除0次成分以外的频率成分的平均值AV;作为允许范围设定单元的允许范围设定部43,使用来自该平均值算出部42的平均值AV和来自上述噪声推测部20的噪声量N,按后面所述设定相对于高频成分的上限值Tup和下限值Tlow;作为频率分离单元的分离部44,抽取属于从上述高频抽取部19传送来的除0次成分以外的频率成分内的规定频带的高频成分;作为补正单元的补正部45,根据来自上述判断部41的阈值n和来自允许范围设定部43的上限值Tup和下限值Tlow,对由分离部44抽取的频带的频率成分进行噪声降低处理,并传送给上述高频量子化部22,这些判断部41、平均值算出部42、允许范围设定部43、分离部44和补正部45与控制部25双向连接并由其控制。
上述分离部44根据控制部25的控制,按上面所述抽取属于规定频带的高频成分并传送给补正部45,但在进行DCT转换的情况下,按上述图3B所示,属于规定频带的高频成分被配置在以左上角为原点的同心圆上,所以分离部44根据该配置进行顺序抽取大于等于1次的高频成分的处理。
允许范围设定部43根据来自噪声推测部20的噪声量N和来自平均值算出部42的平均值AV,并根据下述公式4设定相对于高频成分的上限值Tup和下限值Tlow,传送给补正部45。
Tup=AV+N/2Tlow=AV-N/2判断部41从控制部25获取由外部I/F部26设定的画质模式的信息,根据该画质模式求出对应的压缩率。并且,判断部41以所求出的压缩率推测信息未被保存的高频成分、即噪声成分也未被保存的高频成分的阈值n,把该阈值n传送给补正部45。
补正部45根据来自判断部41的阈值n和来自允许范围设定部43的上限值Tup和下限值Tlow,对来自分离部44的各频率成分进行处理。首先,补正部45根据来自判断部41的阈值n,只把小于等于n次成分的频率成分作为噪声降低处理的对象,对次数大于该n次成分的频率成分不进行处理,而直接输出给高频量子化部22。另一方面,在频率成分是小于等于n次成分的频率成分时,补正部45针对各频率成分的要素S,根据上限值Tup和下限值Tlow选择下述公式5所示的三种处理中的任一种,补正要素S。
S=S-N/2(Tup<S时)S=AV(Tlow≤S≤Tup时)S=S+N/2(S<Tlow时)补正部45把进行了公式5的补正处理后的各高频成分的要素顺序输出给高频量子化部22。
另外,在上述说明中采用了对硬件进行处理的结构,但不限于此,也可以采用对软件进行处理的结构。例如,把来自CCD4的信号作为未经处理状态下的Raw数据,附加来自控制部25的增益和摄影时的温度等作为该Raw数据的头部信息,利用其他软件在计算机上处理附加了该头部信息的Raw数据。
参照图7A、图7B,说明噪声降低和压缩的软件处理。图7A和图7B分开表示该软件处理。
当开始该处理时,把作为Raw数据获得的图像信号和温度及增益等头部信息读入计算机(步骤S1)。另外,该头部信息在后述的步骤S13和步骤S15的处理中使用。
然后,对所读入的Raw数据进行白平衡处理、插值处理、强调处理等一般的信号处理(步骤S2),从处理后的信号中抽取规定尺寸的块区域,例如抽取8×8像素单位的块区域(步骤S3)。
并且,把块内的各像素的影像信号(RGB信号等)转换为亮度信号Y和色差信号Cb、Cr(步骤S4)。
然后,通过DCT转换把亮度信号Y转换为频率空间的信号(步骤S5),然后转入图7B所示的步骤S11的处理和步骤S12的处理。关于该图7B的处理将在后面说明。
在进行到图7B所示的步骤S21的处理后,再次转入图7A所示的处理,输出经过压缩处理和噪声降低处理后的亮度信号Y(步骤S6)。
另一方面,在上述步骤S4中被分离的色差信号Cb、Cr,被以规定的比率进行下采样(步骤S7),通过DCT转换被转换为频率空间的信号(步骤S8)。然后,转入步骤S11的处理和步骤S12的处理(参照图7B)。
在进行到图7B所示的步骤S21的处理后,再次转入图7A所示的处理,输出经过压缩处理和噪声降低处理后的色差信号Cb、Cr(步骤S9)。
在上述步骤S6的处理和步骤S9的处理结束后,判断是否已完成所有块的处理(步骤S10),在未完成的情况下返回到上述步骤S3,对后面的块重复进行上述的动作。并且,在该步骤S10中判断为所有块的处理结束的情况下,结束该处理。
下面,说明图7B所示的压缩和噪声降低处理。该处理是对亮度信号Y和色差信号Cb、Cr共同进行的处理。
抽取通过步骤S5或步骤S8的处理被转换为频率空间的成分中的0次成分(步骤S11),并且抽取除0次成分以外的高频成分(步骤S12)。
然后,根据在上述步骤S1中读入的头部信息,判断是否进行噪声降低处理(步骤S13)。
此处,在判断为进行噪声降低处理的情况下,算出高频成分的平均值(步骤S14)。
并且,使用在上述步骤S11中抽取的0次成分和在上述步骤S1中读入的头部信息,根据上述公式2算出噪声量(步骤S15)。
然后,根据上述公式4设定允许范围(步骤S16),根据公式5进行噪声降低处理(步骤S17)。
在该步骤S17的处理结束的情况下,或者在上述步骤S13中判断为不进行噪声降低处理的情况下,判断是否完成对所有高频成分的处理(步骤S18)。此处,在未完成的情况下返回到上述步骤S12,对后面的高频成分进行上述的动作。
并且,在完成所有高频成分的处理的情况下,进行高频成分的量子化(步骤S20)。
另一方面,对在上述步骤S11中抽取的0次成分进行量子化(步骤S19)。
在步骤S19和步骤S20的量子化处理结束后,对被量子化后的0次成分和高频成分进行压缩处理(步骤S21),转入上述图7A所示的处理。
另外,以上以原色型单板CCD为例进行了说明,但不限于此,例如同样可以适用于补色型单板CCD,同样还可以适用于二板CCD和三板CCD的情况。
根据这种第1实施方式,通过一起进行利用频率空间的压缩处理和噪声降低处理,可以构建能够获得高画质图像的低成本的摄像系统。
并且,因为在每次摄影时动态求出与噪声量相关的0次成分、摄影时的摄像元件的温度、增益等各种参数,并根据这些参数算出噪声量,所以能够高精度地推测噪声量。此时,因为在算出噪声量时使用函数,所以能够减少需要的存储量,可以实现低成本化。
此外,根据所推测的噪声量和频率成分的平均值设定上限值和下限值,并补正噪声成分,所以能够只去除噪声成分,把除此以外的信号作为原信号保存。由此,可以获得只有噪声被降低的高质量图像。
并且,只对小于等于所推测的噪声量的信号进行平滑处理,所以能够有效降低噪声。
另外,在不能获得算出噪声量所需的温度、增益等的参数的情况下,使用标准值,所以总是能够进行噪声降低处理。此外,通过有意识地省略部分参数的计算,可以构建实现低成本和省电的摄像系统。
按各频带分离频率成分的信号,根据压缩率选择是否对每个频带进行噪声降低处理,不对在压缩处理中被舍弃的高频成分进行不必要的噪声降低处理,只对必要的频带进行降低噪声处理,所以能够使处理快速化。
图8~图11表示本发明的第2实施方式,图8是表示摄像系统的结构的方框图,图9A、图9B、图9C是说明小波转换的图,图10是表示噪声推测部的结构的方框图,图11是表示噪声降低部的结构的方框图。
在该第2实施方式中,对和上述的第1实施方式相同的部分赋予相同符号并省略说明,只对不同点进行主要说明。
本实施方式的摄像系统如图8所示,和上述的第1实施方式的图1所示结构大致相同,但追加了作为转换单元的小波(Wavelet)转换部50,删除了亮度DCT部14、下采样部17和色差DCT部18。上述小波转换部50处理Y/C分离部13的输出,把处理结果输出给0次抽取部15和高频抽取部19。
这种摄像系统的作用基本和上述的第1实施方式相同,所以只对不同部分按照图8的信号流程进行说明。
在Y/C分离部13得到的亮度信号Y和色差信号Cb、Cr被传送给小波转换部50,在该小波转换部50中被转换为频率空间。
图9A、图9B、图9C表示在该小波转换部50中进行的小波转换的情况。
图9A表示实际空间的8×8像素的块。
图9B表示把图9A所示的8×8像素的块进行1次小波转换后的频率空间的8×8像素的块。在该图9B中,把左上角设为原点,左上4×4像素表示0次成分L,其他表示1次的高频成分,即右上4×4像素表示1次的水平成分Hh1,左下4×4像素表示1次的垂直成分Hv1,右下4×4像素表示1次的倾斜成分Hs1。
图9C表示把图9A所示的8×8像素的块进行2次小波转换后的频率空间的8×8像素的块,是把图9B所示0次成分L再进行1次小波转换得到的。在该图9C所示的左上4×4像素中,左上2×2像素表示0次成分L,其他表示2次的高频成分,即右上2×2像素表示2次的水平成分Hh2,左下2×2像素表示2次的垂直成分Hv2,右下2×2像素表示2次的倾斜成分Hs2。在本实施方式中,以该图9C所示的进行了2次小波转换的频率空间为例进行说明。
这样通过小波转换部50被转换为频率空间信号的信号,通过0次抽取部15抽取出0次成分,并且通过高频抽取部19抽取出高频成分,和上述的第1实施方式相同,进行压缩处理和噪声降低处理。
参照图10说明噪声推测部20的结构的一例。
本实施方式的噪声推测部20具有作为赋予单元的标准值赋予部51,把CCD4的标准温度传送给后述的速查表部52;作为速查表单元的速查表部52,保存记录了噪声量与来自0次抽取部15的0次成分、来自标准值赋予部51的温度和来自控制部25的增益的关系的速查表,向噪声降低部21输出参照该速查表求出的噪声量,这些标准值赋予部51、速查表部52与控制部25双向连接并由其控制。
这种结构的作用如下所述。
0次抽取部15根据控制部25的控制抽取0次成分,并传送给速查表部52。控制部25根据测光评价部7的测光评价结果和信号处理部10的设定值等,求出相对于信号的增益,把所求出的增益传送给速查表部52。另外,标准值赋予部51把摄像元件的标准温度传送给速查表部52。
速查表部52保存记录了0次成分、温度、增益和噪声量之间的关系的速查表,该速查表是利用和第1实施方式相同的方法构建的。速查表部52通过使用来自0次抽取部15的0次成分、来自标准值赋予部51的温度、和来自控制部25的增益,参照速查表求出噪声量,把所求出的噪声量传送给噪声降低部21。
另外,本实施方式如图9C所示,0次成分为2×2像素(即4像素),对应这些像素算出4个噪声量。在把所算出的噪声量用于高频成分的情况下,进行以下步骤。首先,在高频成分是2次高频成分时(2次的水平成分Hh2,2次的垂直成分Hv2,2次的倾斜成分Hs2),形成2×2像素的结构,所以对在位置上对应的像素以1比1的关系来使用。另一方面,在高频成分是1次高频成分的情况下(1次的水平成分Hh1,1次的垂直成分Hv1,1次的倾斜成分Hs1),形成4×4像素的结构,把1像素的噪声量在纵向和横向分别放大2倍,以2×2像素单位使用。
下面,参照图11说明噪声降低部21的结构的一例。
本实施方式的噪声降低部21具有作为频率分离单元的水平线抽取部61,从由高频抽取部19抽取的0次成分以外的高频成分中抽取水平线;作为平滑单元的第1平滑部62,对由该水平线抽取部61抽取的水平线进行平滑;缓冲器63,临时保存该第1平滑部62的平滑结果;作为频率分离单元的垂直线抽取部64,在垂直方向读出储存在该缓冲器63的在水平方向被平滑后的数据;作为平滑单元的第2平滑部65,进行由该垂直线抽取部64读出的垂直方向的线的平滑,并输出给高频量子化部22;作为阈值设定单元的阈值设定部66,根据由上述噪声推测部20推测的噪声值设定进行平滑时的阈值,并输出给上述第1平滑部62和第2平滑部65;作为选择单元的判断部67,根据从上述控制部获取的画质模式,推测信息未被保存的高频成分的阈值n,并输出给上述第1平滑部62和第2平滑部65。
另外,上述水平线抽取部61、垂直线抽取部64、阈值设定部66和判断部67与上述控制部25双向连接并由其控制。
这种结构的噪声降低部21的作用如下所述。
上述水平线抽取部61根据控制部25的控制,按照水平线单位顺序从高频抽取部19分别抽取3个高频成分水平Hhi、垂直Hvi、倾斜His(i=1、2),并传送给第1平滑部62。
阈值设定部66根据控制部25的控制,对由上述水平线抽取部61抽取的水平线单位的高频成分,从噪声推测部20获取对应的噪声量,把其作为阈值传送给第1平滑部62。
判断部67从控制部25获取由外部I/F部26设定的画质模式信息,根据该画质模式求出对应的压缩率。并且,判断部67推测不能按所求出的压缩率保存信息的高频成分、即也不能保存噪声成分的高频成分的阈值n,把该阈值n传送给第1平滑部62和第2平滑部65。
上述第1平滑部62根据从判断部67获取的阈值n,只把小于等于n次成分的频率成分作为噪声降低处理的对象,对次数大于该n次成分的频率成分不进行处理,而直接输出给缓冲器63。另一方面,在频率成分是小于等于n次成分的频率成分的情况下,第1平滑部62按照像素单位对来自水平线抽取部61的高频成分进行扫描,把来自阈值设定部66的阈值作为噪声量,例如进行公知的滞后平滑。其结果被顺序输出并存储在缓冲器63中。
该第1平滑部62的滞后平滑的动作根据控制部25的控制,与噪声推测部20的动作和阈值设定部66的动作同步进行。
当从高频抽取部19输出的所有高频成分在第1平滑部62中被处理时,垂直线抽取部64根据控制部25的控制,按照垂直线单位从缓冲器63中分别顺序抽取3个高频成分水平Hhi、垂直Hvi、倾斜His(i=1、2),并传送给第2平滑部65。
上述阈值设定部66根据控制部25的控制,对由垂直线抽取部64抽取的垂直线单位的高频成分,从噪声推测部20获取对应的噪声量,把该噪声量作为阈值传送给第2平滑部65。
上述第2平滑部65根据从判断部67获取的阈值n,对次数大于n次成分的频率成分不进行处理,而直接输出给高频量子化部22。另一方面,在频率成分是小于等于n次成分的频率成分的情况下,第2平滑部65按照像素单位对来自垂直线抽取部64的高频成分进行扫描,把来自阈值设定部66的阈值作为噪声量,例如进行公知的滞后平滑。其结果被顺序输出给高频量子化部22。
该第2平滑部65的滞后平滑的动作根据控制部25的控制,与噪声推测部20的动作和阈值设定部66的动作同步进行。
然后,和上述第1实施方式相同,进行压缩部23的压缩处理,被压缩后的信号通过输出部24被记录保存到存储卡等中。另外,此时的压缩处理例如按照公知的JPEG2000压缩处理标准进行。
另外,在上述说明中,噪声降低处理使用了滞后平滑,但不限于此,也可以例如和第1实施方式相同,适用公式5所示的降低处理。
根据这种第2实施方式,通过一起进行使用频率空间的压缩处理和噪声降低处理,可以构建能够获得高画质图像的低成本的摄像系统。
并且,在每次摄影时动态求出与噪声量相关的0次成分、摄影时的摄像元件的温度、增益等各种参数,并根据这些参数并使用表算出噪声量,所以能够高精度地快速推测噪声量。
此外,把噪声量设定为阈值,只对小于等于该阈值的信号进行平滑处理,噪声成分以外的信号作为原信号被保存,能够获得只有噪声被降低了的高质量图像。
另外,在不能获得算出噪声量所需的温度、增益等参数的情况下,使用标准值,所以总是能够进行噪声降低处理。此外,通过有意识地省略部分参数的计算,可以构建实现低成本和省电的摄像系统。
并且,根据压缩率只对必要的频带进行噪声降低处理,所以能够快速进行处理。
图12、图13A、图13B表示本发明的第3实施方式,图12是表示播放系统的结构的方框图,图13A、图13B是表示解压缩和噪声降低的软件处理的流程图。
该第3实施方式涉及播放系统,但关于噪声降低处理等,具有和上述的第1、第2实施方式相同的构成要素。因此,对相同部分赋予相同符号并省略说明,只对不同点进行主要说明。
并且,关于解压缩处理,以在第1实施方式中说明的对针对RGB信号的JPEG压缩处理的信号进行解压缩处理为前提,而且以摄影时的信息被写入头部为前提进行说明。
该播放系统具有和上述图1所示相同的0次抽取部15、高频抽取部19、噪声推测部20、噪声降低部21、输出部24、控制部25和外部I/F部26,另外还具有输入部71,读入保存在存储卡等记录介质中的压缩信号;作为解压缩单元的解压缩部72,将来自该输入部71的压缩信号解压缩,并输出给上述0次抽取部15和高频抽取部19;作为逆转换单元的亮度逆DCT部73,对来自上述0次抽取部15的0次成分的亮度成分和来自上述噪声降低部21的被降低了噪声的高频成分的亮度成分进行逆DCT转换;作为逆转换单元的色差逆DCT部74,对来自上述0次抽取部15的0次成分的色差成分和来自上述噪声降低部21的被降低了噪声的高频成分的色差成分进行逆DCT转换;上采样部75,对来自该色差逆DCT部74的色差成分进行上采样;Y/C合成部76,将上述亮度逆DCT部73的亮度成分和来自上述上采样部75的色差成分进行合成,生成RGB信号,输出给由CRT监视器或液晶监视器等显示装置构成的上述输出部24。
另外,上述输入部71、解压缩部72、0次抽取部15、高频抽取部19、噪声推测部20、噪声降低部21、Y/C合成部76、输出部24和外部I/F部26与由微电脑等构成的控制部25双向连接并由其控制。
并且,本实施方式的外部I/F部26具有电源开关和播放按钮等接口。
下面,说明图12所示的播放系统的信号流程。
通过外部I/F部26操作播放按钮,由此从输入部17读入保存在存储卡等记录介质中的压缩信号。
该压缩信号被传送给解压缩部72,并根据公知的哈夫曼编码和算术编码等进行解压缩处理,被转换为频率空间的信号。
0次抽取部15从该频率空间的信号中抽取0次成分,并传送给噪声推测部20。
噪声推测部20从控制部25接收被作为图像的头部信息记录的摄影时的信息,与上述第1实施方式相同,算出相对于0次成分以外的频率成分的噪声量,并传送给噪声降低部21。
另一方面,高频抽取部19从由解压缩部72解压缩后的频率空间的信号中抽取0次成分以外的频率成分,并传送给噪声降低部21。
噪声降低部21与上述第1实施方式相同,根据来自噪声推测部20的噪声量,对来自高频抽取部19的0次成分以外的频率成分进行噪声降低处理。
由0次抽取部15抽取的0次成分和在噪声降低部21中进行了噪声降低处理的高频成分,被传送给亮度逆DCT部73或色差逆DCT部74,被转换为实际空间的信号。此时的亮度信号和色差信号的切换,根据控制部25的控制来进行,按照从解压缩部72获得的块单位进行处理。
来自亮度逆DCT部73的亮度信号被直接传送给Y/C合成部76,而来自色差逆DCT部74的色差信号,在上采样部75中以规定比率进行上采样处理后被传送给Y/C合成部76。
Y/C合成部76根据控制部25的控制,当同时具有块单位的亮度信号和块单位的色差信时,根据下面的公式6进行Y/C合成处理,生成RGB信号。
公式6R=Y+1.40200CRG=Y-0.34414Cb-0.71414CrB=Y+1.77200Cb-0.41869Cr这样在Y/C合成部76生成的RGB信号被顺序传送到输出部24内的缓冲器。
另外,在上述说明中采用利用硬件进行播放处理的结构,但不限于此,例如也可以把保存在存储卡等记录介质中的压缩信号和摄影时的温度、增益等的头部信息读入计算机,利用软件另外进行处理。
参照图13A、图13B说明解压缩和噪声降低的软件处理。图13A表示该软件处理的主要流程,图13B表示对亮度信号和色差信号共同进行的处理。
当开始处理时,如图13A所示,首先读入压缩信号、温度和增益等头部信息(步骤S31)。另外,此处读入的头部信息被传送给后述的步骤S41、S43的处理。
然后,按照块单位进行基于哈夫曼编码和算术编码等的解压缩处理,生成频率空间的亮度信号Y和色差信号Cb、Cr(步骤S32)。此处生成的亮度信号Y在后述的步骤S39、S40的处理中使用,在进行到后述的步骤S46的处理后,转入步骤S33的处理。并且,所生成的色差信号Cb、Cr也同样,在后述的步骤S39、S40的处理中使用,在进行到后述的步骤S46的处理后,转入步骤S34的处理。
即,亮度信号Y被进行逆DCT转换(步骤S33),并且色差信号Cb、Cr也被进行逆DCT转换(步骤S34)。对色差信号Cb、Cr,还以规定的比率进行上采样(步骤S35)。
并且,将在步骤S33被转换后的亮度信号Y、与在步骤S34被上采样后的色差信号Cb、Cr进行合成,生成RGB信号(步骤S36),输出合成的RGB信号(步骤S37)。
然后,判断是否已完成所有块的处理(步骤S38),在未完成的情况下返回到上述步骤S32,按上面所述进行后面块的处理,另一方面,在已完成的情况下,结束一系列的处理。
下面,说明图13B所示的步骤S39~S46的噪声降低处理。该处理如上面所述,是对亮度信号Y和色差信号Cb、Cr共同进行的处理。
抽取亮度信号Y或色差信号Cb、Cr的0次成分(步骤S39),并且抽取亮度信号Y或色差信号Cb、Cr的0次成分以外的高频成分(步骤S40)。
并且,根据在上述步骤S31中读入的头部信息,判断是否进行噪声降低处理(步骤S41)。
此处,在进行噪声降低处理的情况下,算出高频成分的平均值(步骤S42)。
使用在上述步骤S39中抽取的0次成分和在上述步骤S31中读入的头部信息,根据上述公式2算出噪声量(步骤S43)。
并且,根据上述公式4设定允许范围(步骤S44),根据公式5进行噪声降低处理(步骤S45)。
在该步骤S45的处理结束、或者在上述步骤S41中不进行噪声降低处理的情况下,判断是否所有高频成分的处理已结束(步骤S46),在未结束的情况下返回到上述步骤S40,按上面所述进行其他高频成分的处理,另一方面,在已结束的情况下,转入上述步骤S33或步骤S34。
另外,在上述说明中记载了独立的播放系统的示例,但不限于此,例如也可以与上述第1或第2实施方式的摄像系统组合,构成摄像播放系统。该情况时,在摄影时省略噪声降低处理,可以实现快速的连续摄影,在摄影后另外进行噪声降低处理,可以获得高画质的图像。
根据第3实施方式,通过一起进行使用频率空间的压缩处理和噪声降低处理,可以构建能够获得高画质图像的低成本的播放系统。
并且,不仅按照每个图像获取算出噪声量时使用的0次成分,而且按照每个图像获取与噪声量相关的摄影时的摄像元件的温度、增益等各种参数作为头部信息,根据这些信息算出噪声量,所以能够高精度地推测噪声量。
并且,只对小于等于所推测的噪声量的信号进行平滑处理,所以能够有效降低噪声。
另外,在不能获得算出噪声量所需要的温度、增益等参数的情况下,使用标准值,所以总是能够进行噪声降低处理。
图14、图15表示本发明的第4实施方式,图14是表示摄像系统的结构的方框图,图15是表示噪声降低处理中使用的参数校正的软件处理的流程图。
在该第4实施方式中,对和上述的第1~第3实施方式相同的部分赋予相同符号并省略说明,只对不同点进行主要说明。
该第4实施方式的摄像系统构成为可以校正噪声降低处理中使用的参数。
即,本实施方式的摄像系统如图14所示,从上述的第1实施方式的结构中删除了块抽取部12、0次量子化部16、噪声推测部20、噪声降低部21、高频量子化部22和压缩部23,追加了以下部分校正用图像80,由具有从白到黑的彼此不同的反射率的三种以上灰度图表构成;作为块抽取单元的图表分离单元即图表抽取部81,从存储在第2缓冲器11中的图像信号中抽取图表,并输出给Y/C分离部13;作为分布算出单元的分布算出部82,算出由高频抽取部19抽取的高频成分的分布;作为匹配单元的匹配部83,使用通过该分布算出部82算出的分布,匹配0次抽取部15的输出,并分布传送到输出部24。
另外,所追加的结构中的匹配部83与控制部25双向连接并由其控制。
下面,说明图14所示摄像系统的信号流程。
通过外部I/F部26设定ISO感光度和画质模式等摄影条件后,拍摄上述校正用图像80。另外,在摄影时,调整摄影距离以将校正用图像80放入到整个画面中,并且调整照明光以便均匀地照射整个校正用图像80。拍摄这种校正用图像80得到的影像信号,在进行了和上述第1实施方式相同的处理后,被存储在第2缓冲器11中。
然后,图表抽取部81将整个画面的图像信号的各灰度图表进行分离,把比各灰度图表小一圈的规定尺寸的块区域作为灰度图表对应部分抽出,并顺序传送给Y/C分离部13。这种各个灰度图表对应部分的分离作业可以在下述情况下自动进行,即,校正用图像80被调整成可放入到整个画面中,而且灰度图表的配置状况为已知的情况。
Y/C分离部13根据公式1把RGB信号转换为亮度信号Y、色差信号Cb、Cr。然后,亮度信号Y被传送给亮度DCT部14,色差信号Cb、Cr通过下采样部17被传送给色差DCT部18。
亮度DCT部14和色差DCT部18如上面所述,通过公知的DCT(Discrete Cosine Transform)转换,把实际空间的信号转换为频率空间的信号。
被转换为频率空间的信号,根据控制部25的控制,按照亮度信号Y、色差信号Cb、色差信号Cr的顺序,在0次抽取部15中抽取0次成分,并且在高频抽取部19中抽取高频成分。在0次抽取部15抽取的0次成分被传送给匹配部83,在高频抽取部19抽取的高频成分被传送给分布算出部82。
分布算出部82算出高频成分的分布值作为相当于噪声量的值,把所算出的分布值传送给匹配部83。对所有灰度图表进行这种处理。
匹配部83根据控制部25的控制,在针对所有灰度图表汇集了在0次抽取部15抽取的0次成分L和在分布算出部82算出的分布值N的各个信息的阶段,对噪声量进行公式化。此处,作为噪声量的公式,例如使用N=ALB+C(A、B、C为常数项)。该公式化是如下进行的,绘制各灰度图表的0次成分L和分布值N,利用公知的最小平方法求出常数项A、B、C。这些常数项是按照亮度信号Y、色差信号Cb、色差信号Cr这三种数据分别算出的。
这样算出的常数项A、B、C被传送给作为系数保存单元的输出部24,并记录保存。对通过外部I/F部26设定的ISO感光度和画质模式的所有组合进行这种处理,由此可以校正噪声降低处理中使用的参数。
另外,在上述说明中采用利用硬件进行校正处理的结构,但不限于此,例如也可以把来自CCD4的图像信号作为未经处理的Raw数据输出,再把来自控制部25的摄影时的温度和增益等信息作为头部信息输出,利用计算机通过软件另外处理。
参照图15,说明噪声降低处理中使用的参数校正的软件处理。
当开始该处理时,首先,把作为Raw数据得到的校正用图像80的图像信号和温度、增益等头部信息读入计算机(步骤S51)。
然后,进行白平衡处理、插值处理、强调处理等一般信号处理(步骤S52),然后分别抽取各灰度图表对应部分(步骤S53)。
并且,把图表内的各像素的图像信号转换为亮度信号Y和色差信号Cb、Cr(步骤S54)。
通过DCT转换把其中的亮度信号Y转换为频率空间的信号(步骤S55),抽取0次成分(步骤S56),并且抽取0次成分以外的高频成分(步骤S57)。对其中的高频成分算出分布值(步骤S58)。
然后,输出在上述步骤S56中抽取的0次成分、和在上述步骤S58中算出的分布值(步骤S59)。
另一方面,以规定比率对在上述步骤S54中被分离的色差信号Cb、Cr进行下采样(步骤S60),进行DCT转换,转换为频率空间的信号(步骤S61)。
另外,抽取0次成分(步骤S62),并且抽取0次成分以外的高频成分(步骤S63),对其中的高频成分算出分布值(步骤S64)。
然后,输出在上述步骤S62中抽取的0次成分、和在上述步骤S64中算出的分布值(步骤S65)。
然后,判断是否已完成所有灰度图表对应部分的处理(步骤S66),在未完成的情况下返回到上述步骤S53,对其他灰度图表对应部分进行上述处理。
并且,在完成了所有灰度图表对应部分的处理的情况下,进行基于最小平方法的匹配,对亮度信号Y和色差信号Cb、色差信号Cr分别算出进行噪声降低处理需要的参数(步骤S67)。
并且,输出通过该步骤S67算出的噪声降低处理需要的参数(步骤S68),结束该一系列的处理。
另外,在上述说明中,在对噪声量的公式化中使用了公式2所示的幂函数,但不限于这种函数形式。例如,也可以使用N=AL2+BL+C这种二次式来进行公式化,还可以使用其他的多项式和样条函数等。
根据这种第4实施方式,仅拍摄由标准的灰度范围图像构成的校正用图像,即可容易地算出噪声降低处理需要的参数,所以能够灵活地对应不能算出参数的系统、随时间而变化的系统、结构发生变更的系统等,可以高精度地推测噪声量。例如,通过把本实施方式的结构与上述第3实施方式的结构进行组合,对不能算出噪声降低处理需要的参数的系统,也能够进行高精度的噪声降低处理。
并且,可以另外保存与进行噪声量推测用的函数相关的各个参数,所以在摄像系统的外部也能够进行噪声降低处理。
另外,本发明不限于上述实施方式,当然可以在不脱离本发明主旨的范围内进行各种变形和应用。
如上所述,根据本发明,可以通过低成本和快速处理得到高画质的图像。
并且,根据本发明,可以灵活对应多种系统,获得高画质的图像。
本申请以2002年10月3日在日本国申请的特愿2002-291562为要求优先权的基础,其公开内容被引用在本申请说明书、权利要求书、附图中。
权利要求
1.一种摄像系统,包括块抽取单元,从摄像元件的信号中抽取规定尺寸的块区域;转换单元,把由该块抽取单元抽取的块区域的信号转换为频率空间的信号;噪声推测单元,根据由该转换单元转换的频率空间的信号内的0次成分,推测与0次成分以外的频率成分相关的噪声量;噪声降低单元,根据由该噪声推测单元推测的噪声量,降低与0次成分以外的频率成分相关的噪声;压缩单元,对上述0次成分和降低噪声后的0次成分以外的频率成分进行压缩处理。
2.根据权利要求1所述的摄像系统,其特征在于,上述噪声推测单元具有获取单元,获取上述摄像元件的温度T和相对于上述信号的增益G;赋予单元,赋予与上述摄像元件的温度T和相对于上述信号的增益G相关的标准值;系数算出单元,根据以上述获取单元或上述赋予单元所赋予的温度T、上述获取单元或上述赋予单元所赋予的增益G为参数的3个函数a(T,G)、b(T,G)、c(T,G),求出各系数A、B、C;噪声算出单元,使用上述0次成分的值L和上述系数A、B、C,利用函数式N=ALB+C或N=AL2+BL+C,求出噪声量N。
3.根据权利要求1所述的摄像系统,其特征在于,上述噪声推测单元具有获取单元,获取上述摄像元件的温度T和相对于上述信号的增益G;赋予单元,赋予与上述摄像元件的温度T和相对于上述信号的增益G相关的标准值;速查表单元,以上述0次成分的值L、上述获取单元或上述赋予单元所赋予的温度T、上述获取单元或上述赋予单元所赋予的增益G为输入,求出噪声量N。
4.根据权利要求1所述的摄像系统,其特征在于,上述噪声降低单元具有平均值算出单元,算出上述0次成分以外的频率成分的平均值;允许范围设定单元,根据由该平均值算出单元算出的平均值和由上述噪声推测单元推测的噪声量,设定与上述0次成分以外的频率成分相关的上限值和下限值;补正单元,根据由该允许范围设定单元设定的上限值和下限值,补正0次成分以外的频率成分。
5.根据权利要求4所述的摄像系统,其特征在于,上述噪声降低单元还具有频率分离单元,按照每个规定的频带分离上述0次成分以外的频率成分;选择单元,选择是否对由该频率分离单元分离的频带进行噪声降低处理。
6.根据权利要求1所述的摄像系统,其特征在于,上述噪声降低单元具有阈值设定单元,根据由上述噪声推测单元推测的噪声量,把与上述0次成分以外的频率成分相关的噪声的振幅值设定为阈值;平滑单元,对于上述0次成分以外的频率成分,降低小于等于由上述阈值设定单元设定的阈值的振幅成分。
7.根据权利要求6所述的摄像系统,其特征在于,上述噪声降低单元还具有频率分离单元,按照每个规定的频带分离上述0次成分以外的频率成分;选择单元,选择是否对由该频率分离单元分离的频带进行噪声降低处理。
8.根据权利要求1所述的摄像系统,其特征在于,上述块抽取单元具有图表分离单元,将从利用上述摄像元件拍摄包括反射率相互不同的三种以上灰度图表的校正用图像而得到的信号中分离各灰度图表对应部分;上述转换单元把由该图表分离单元分离的各灰度图表对应部分转换为频率空间的信号,还具有分布算出单元,求出上述各灰度图表对应部分的除0次成分以外的频率成分的分布N;匹配单元,使用上述0次成分的值L和上述分布N,根据函数公式N=ALB+C或N=AL2+BL+C,算出系数A、B、C。
9.根据权利要求8所述的摄像系统,其特征在于,还具有系数保存单元,保存由上述匹配单元算出的系数A、B、C。
10.一种播放系统,处理在被转换为频率空间的信号后被压缩的信号,包括解压缩单元,把上述信号作为频率空间的信号进行解压缩;噪声推测单元,根据由该解压缩单元解压缩的频率空间的信号内的0次成分,推测与0次成分以外的频率成分相关的噪声量;噪声降低单元,根据由该噪声推测单元推测的噪声量,降低与0次成分以外的频率成分相关的噪声;逆转换单元,把上述0次成分和降低噪声后的0次成分以外的频率成分转换为实际空间的信号。
11.根据权利要求10所述的播放系统,其特征在于,上述噪声推测单元具有获取单元,获取摄像元件的温度T和相对于上述信号的增益G;赋予单元,赋予与摄像元件的温度T和相对于上述信号的增益G相关的标准值;系数算出单元,根据以上述获取单元或上述赋予单元所赋予的温度T、上述获取单元或上述赋予单元所赋予的增益G为参数的3个函数a(T,G)、b(T,G)、c(T,G),求出各系数A、B、C;噪声算出单元,使用上述0次成分的值L和上述系数A、B、C,利用函数公式N=ALB+C或N=AL2+BL+C,求出噪声量N。
12.根据权利要求10所述的播放系统,其特征在于,上述噪声推测单元具有获取单元,获取摄像元件的温度T和相对于上述信号的增益G;赋予单元,赋予与摄像元件的温度T和相对于上述信号的增益G相关的标准值;速查表单元,以上述0次成分的值L、上述获取单元或上述赋予单元所赋予的温度T、上述获取单元或上述赋予单元所赋予的增益G为输入,求出噪声量N。
13.根据权利要求10所述的播放系统,其特征在于,上述噪声降低单元具有平均值算出单元,算出上述0次成分以外的频率成分的平均值;允许范围设定单元,根据由该平均值算出单元算出的平均值和由上述噪声推测单元推测的噪声量,设定与上述0次成分以外的频率成分相关的上限值和下限值;补正单元,根据由该允许范围设定单元设定的上限值和下限值,补正0次成分以外的频率成分。
14.根据权利要求13所述的播放系统,其特征在于,上述噪声降低单元还具有频率分离单元,按照每个规定的频带分离上述0次成分以外的频率成分;选择单元,选择是否对由该频率分离单元分离的频率频带进行噪声降低处理。
15.根据权利要求10所述的播放系统,其特征在于,上述噪声降低单元具有阈值设定单元,根据由上述噪声推测单元推测的噪声量,把与上述0次成分以外的频率成分相关的噪声的振幅值设定为阈值;平滑单元,对于上述0次成分以外的频率成分,降低小于等于由上述阈值设定单元设定的阈值的振幅成分。
16.根据权利要求15所述的播放系统,其特征在于,上述噪声降低单元还具有频率分离单元,按照每个规定的频率频带分离上述0次成分以外的频率成分;选择单元,选择是否对由该频率分离单元分离的频率频带进行噪声降低处理。
17.一种摄像程序,使计算机执行以下步骤块抽取步骤,从摄像元件的信号中抽取规定尺寸的块区域;转换步骤,把通过该块抽取步骤抽取的块区域的信号转换为频率空间的信号;噪声推测步骤,根据通过该转换步骤转换的频率空间的信号内的0次成分,推测与0次成分以外的频率成分相关的噪声量;噪声降低步骤,根据通过该噪声推测步骤推测的噪声量,降低与0次成分以外的频率成分相关的噪声;压缩步骤,对上述0次成分和降低噪声后的0次成分以外的频率成分进行压缩处理。
18.根据权利要求17所述的摄像程序,上述噪声降低步骤具有平均值算出步骤,算出上述0次成分以外的频率成分的平均值;允许范围设定步骤,根据通过该平均值算出步骤算出的平均值和上述噪声推测步骤推测的噪声量,设定与上述0次成分以外的频率成分相关的上限值和下限值;补正步骤,根据通过该允许范围设定步骤设定的上限值和下限值,补正除0次成分以外的频率成分。
19.根据权利要求17所述的摄像程序,上述块抽取步骤具有图表分离步骤,将从利用摄像元件拍摄包括反射率相互不同的三种以上灰度图表的校正用图形而得到的信号中分离各灰度图表对应部分;上述转换步骤把通过该图表分离步骤分离的各灰度图表对应部分转换为频率空间的信号,还具有分布算出步骤,求出上述各灰度图表对应部分的除0次成分以外的频率成分的分布N;匹配步骤,使用上述0次成分的值L和上述分布N,根据函数式N=ALB+C或N=AL2+BL+C,算出系数A、B、C。
20.一种播放程序,使计算机执行以下步骤解压缩步骤,把转换为频率空间的信号后被压缩的信号作为频率空间的信号进行解压缩;噪声推测步骤,根据通过该解压缩步骤解压缩的频率空间的信号内的0次成分,推测与0次成分以外的频率成分相关的噪声量;噪声降低步骤,根据通过该噪声推测步骤推测的噪声量,降低与0次成分以外的频率成分相关的噪声;逆转换步骤,把上述0次成分和降低噪声后的0次成分以外的频率成分转换为实际空间的信号。
21.根据权利要求20所述的播放程序,上述噪声降低步骤具有平均值算出步骤,算出上述0次成分以外的频率成分的平均值;允许范围设定步骤,根据通过该平均值算出步骤算出的平均值和上述噪声推测步骤推测的噪声量,设定与上述0次成分以外的频率成分相关的上限值和下限值;补正步骤,根据通过该允许范围设定步骤设定的上限值和下限值,补正0次成分以外的频率成分。
全文摘要
本发明提供一种可以通过低成本和快速处理得到高画质图像的摄像系统和播放系统。本发明的摄像系统具备从摄像元件的信号中抽取规定尺寸的块区域的抽取部;把该抽取的块区域的信号转换为频率空间的信号的转换部;根据该转换后的频率空间的信号内的0次成分,推测与0次成分以外的频率成分相关的噪声量的推测部;根据该推测的噪声量,降低与0次成分以外的频率成分相关的噪声的噪声降低部;对上述0次成分和降低噪声后的0次成分以外的频率成分进行压缩处理的压缩部。
文档编号H04N5/217GK1703900SQ20038010088
公开日2005年11月30日 申请日期2003年10月2日 优先权日2002年10月3日
发明者鹤冈建夫 申请人:奥林巴斯株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1