图像处理装置、摄像装置、计算机、图像处理方法及程序的制作方法

文档序号:7793459阅读:357来源:国知局
图像处理装置、摄像装置、计算机、图像处理方法及程序的制作方法
【专利摘要】本发明提供一种能够根据有无光学低通滤光器而进行适当的图像压缩处理的技术。压缩图像处理部(89)具备:获取摄影条件数据的数据获取部(72)、基于摄影条件数据的获取结果而决定压缩参数的压缩参数决定部(73)和基于所决定的压缩参数对图像数据进行压缩处理的压缩处理部。基于与图像数据的摄像生成时的光学低通滤光器的有无相关的信息而决定压缩参数。
【专利说明】图像处理装置、摄像装置、计算机、图像处理方法及程序

【技术领域】
[0001]本发明涉及图像处理装置、摄像装置、计算机、图像处理方法和程序,特别是涉及图像数据的压缩处理技术。

【背景技术】
[0002]在相机等摄像装置的领域中,由配置有RGB等的滤色器的摄像元件(CXDa、CMOS等)获取数字摄影图像。所摄像获取的图像数据以各种各样的图像格式被保存、输出,例如以对来自摄像元件的电信号进行数字数据化后的RAW数据的形式、JPEG等预定的图像格式形式被保存、输出。
[0003]特别是,对图像数据进行压缩而降低数据量的JPEG形式虽然压缩率比较高,但是由于画质的劣化不是太明显,因此在摄像装置的领域中较为广泛地被利用。关于该JPEG形式等的图像压缩处理,提出了各种各样的技术。
[0004]例如专利文献1公开了能够进行基于视觉特性的量化的图像信息编码方法。根据该专利文献1公开的方法,在亮度信号和色差信号的压缩处理中,使用了信号不同的量化参数QPluma、QPchroma。2个量化参数的加权虽然变化,但是与参数QP对应的2个排列A(QP)和B(QP)满足A(QP) XB(QP) = Const.(其中,Const.是常数)的关系。另外,量化行列能够由用户以图片为单位进行设定,但是在没有设定的情况下使用预定的默认值。
[0005]另外,专利文献2公开了对与输入图像的颜色成分对应的量化系数进行选择而用于减少由图像压缩处理引起的画质劣化的图像处理装置。在该专利文献2所公开的图像处理装置中,算出亮度数据和色差数据的至少一方的数据成分的比例,并利用该算出结果选择量化参数。
[0006]另外,专利文献3公开了如下的数码相机:为了能够减轻记录介质中的数据容量的负担并进行基于用户的期望的像素插值,而将与各像素对应的滤色器的排列和数字摄像数据一并作为滤光片排列数据而记录。
[0007]专利文献
[0008]专利文献1:日本特开2003-289542号公报
[0009]专利文献2:日本特开2002-354266号公报
[0010]专利文献3:日本特开平11 - 168745号公报


【发明内容】

[0011]发明要解决的课题
[0012]与近年的摄像元件的高像素化相伴,摄像数据的数据尺寸(数据量)存在整体地庞大化的倾向,抑制画质劣化并高效地进行压缩保存成为摄像【技术领域】中的课题的之一。
[0013]另外,虽然进行了利用光学低通滤光器等将图像数据的高频成分去除而对莫尔条纹等图像劣化进行抑制,但是通过对滤色器的排列图案进行改良,即使不使用低通滤光器,也能够获取充分地抑制了莫尔条纹等图像劣化的摄影图像。因此,在滤色器的排列图案的情况下,不积极地使用光学低通滤光器,也能够不丧失高频成分地获取进一步提高了分辨率感的摄影图像。然而,也可以设想如下情况:那样的包含高频成分的图像数据在以往的压缩处理中数据尺寸不充分地变小,或者无法充分地发挥包含高频成分的优越性。
[0014]如此,光学低通滤光器的有无、各种排列图案的滤色器的使用等摄像装置的结构和功能也多样化,但是在专利文献1、专利文献2所公开那样的以往的技术中,难以进行与上述多样化对应的适当的图像压缩处理。
[0015]例如,专利文献1所公开的技术也许能够进行与疑似轮廓的发生防止等视觉特性对应的量化,但是没有针对光学低通滤光器的有无、滤色器的排列图案的变更实现适当化。另外,在专利文献2中,公开了对与输入图像的颜色成分对应的量化系数进行选择的压缩处理技术的一例,但是,与专利文献1同样地,该专利文献2所公开的技术也没有针对光学低通滤光器的有无、滤色器的排列图案的变更实现适当化。此外,专利文献3所公开的技术也没有针对光学低通滤光器的有无等实现适当化。
[0016]因此,在专利文献1?专利文献3所公开的技术中,难以根据光学低通滤光器的有无等抑制画质劣化而高效地对图像数据进行压缩保存。
[0017]本发明鉴于上述情形而提出,目的在于提供一种能够进行与光学低通滤光器的有无等适当地对应的图像压缩处理的技术。
[0018]用于解决课题的手段
[0019]本发明的一方式涉及一种图像处理装置,基于压缩参数对图像数据进行压缩,该图像处理装置具备:数据获取部,获取在所输入的图像数据中是否附加了摄影条件数据和摄影条件数据的内容;压缩参数决定部,基于数据获取部的摄影条件数据的获取结果,决定压缩参数;及压缩处理部,基于所决定的压缩参数,对图像数据进行压缩处理,摄影条件数据包含与图像数据的摄像生成时的光学低通滤光器的有无相关的信息。
[0020]根据本方式,基于与光学低通滤光器的有无相关的信息来决定压缩参数,因此能够对图像数据实施与光学低通滤光器的有无对应的适当的压缩处理。
[0021]另外,在此所谓的“压缩处理”是能够包括使数据量降低的全部处理的概念,能够包括基于所谓的 JPEG (Joint Photographic Experts Group)方式、TIFF (Tagged ImageFile Format)方式的压缩处理。另外,所谓“压缩参数”表示影响压缩的程度的参数,例如,在JPEG方式的压缩时,能够使用对DCT系数的量化的参数作为压缩参数。
[0022]另外,“光学低通滤光器”是将光的高频成分光学性地截止的滤光要素,能够适当地配置于从照射到摄像元件前的光将高频成分截止的位置。另外,与光学低通滤光器的有无相关的信息可以直接包含于摄影条件数据,也可以如例如对应摄像装置的每个机种决定光学低通滤光器的有无的情况那样,将能够间接地获取光学低通滤光器的有无的信息的机种名等其他信息包含于摄影条件数据。
[0023]优选为,摄影条件数据包括与图像数据的摄像生成时所用的摄像部的滤色器的排列相关的信息。
[0024]根据本方式,由于基于与滤色器的排列相关的信息而决定压缩参数,因此能够对图像数据实施与滤色器的排列图案特性对应的适当的压缩处理。
[0025]另外,“滤色器”是用于通过在照射到摄像元件时使光通过而对每种颜色的光的强度进行判断的滤光要素,能够将原色滤光片(红、绿、蓝等)、互补色滤光片(青色、品红色、黄色、绿色等)作为滤色器而使用。另外,滤色器的排列图案、构成色要素不特别被限定。与滤色器的排列相关的信息也可以直接地包含于摄影条件数据,也可以如例如对应摄像装置的每个机种而决定滤色器的排列的情况那样,在摄影条件数据中包含能够间接地获取滤色器的排列的信息的机种名等其他信息。
[0026]优选为,图像处理装置被输入由至少包括第一摄像部和第二摄像部的多个摄像部摄像生成的图像数据,该图像处理装置还具备:显示部,从多个选择候补之中能够选择地显示压缩等级;及选择部,接受与压缩等级相关的用户的选择,压缩参数决定部基于与由第一摄像部摄像生成的图像数据有关的摄影条件数据的获取结果和经由选择部而接受到的压缩等级的选择结果,决定与由第一摄像部摄像生成的图像数据有关的压缩参数,并基于与由第二摄像部摄像生成的图像数据有关的摄影条件数据的获取结果和经由选择部而接受到的压缩等级的选择结果,决定与由第二摄像部摄像生成的图像数据有关的压缩参数,压缩处理部基于所决定的压缩参数,对由第一摄像部摄像生成的图像数据和由第二摄像部摄像生成的图像数据的各图像数据进行压缩处理。
[0027]根据本方式,由于不仅根据压缩等级,而且根据摄像部的摄影条件数据决定压缩参数,因此能够进行与包括第一摄像部和第二摄像部的多个摄像部的各摄像部的特性对应的压缩参数的决定和压缩处理。
[0028]在此所谓的“摄像部”是能够包含有助于摄像数据的生成的各种设备类的概念,也能够将所谓的摄像元件自身作为摄像部而理解,也能够将包括把光导向摄像元件的透镜类的整体结构作为摄像部而理解。因此,对于被输入包含由不同的摄像元件、不同的透镜或者透镜?摄像元件间的结构不同的摄像装置摄像生成的摄像数据的图像摄影数据的图像处理装置,能够适用本方式。
[0029]另外,所谓“压缩等级”是直接地或间接地表示压缩的程度的指标,是对多个阶段的压缩的程度进行规定的指标。例如,能够将压缩等级设为两个阶段(标准模式(高压缩模式)/高清模式(低压缩模式))、三个阶段(标准模式(高压缩模式)/高清模式(低压缩模式)/超高清模式(超低压缩模式))或者其以上的多个阶段,用户也能够对期望的压缩阶段(模式)进行选择。
[0030]另外,本方式中的摄影条件数据除了与光学低通滤光器的有无相关的信息、与滤色器的排列相关的信息外,还可以包含能够对获取了图像数据的摄像部的特性进行识别的信息。通过使用这种“能够对摄像部的特性进行识别的信息”而决定压缩参数,能够决定有效利用摄像部的特性的形式的压缩参数。例如,在第一摄像部和第二摄像部之间摄像性能存在差异的情况下,能够将反映该摄像性能的信息(例如能够拍摄的像素数、摄像数据量、摄像灵敏度等)作为“能够对摄像部的特性进行识别的信息”而采用。
[0031]优选为,图像数据包含亮度数据,压缩参数基于亮度数据所占的数据量比率。
[0032]根据本方式,基于亮度数据所占的数据量比率而确定压缩参数。例如,如JPEG方式的压缩处理那样,在基于亮度数据和色差数据进行压缩处理的情况下,人的视觉识别对亮度变化比色差变化更加敏感,因此进行进一步降低色差数据的压缩处理。在这种情况下,基于“与光学低通滤光器的有无相关的信息”、“与滤色器的排列相关的信息”而与压缩处理后的数据量所占的比例相关地确定亮度数据相对于色差数据所占的数据量比率,从而能够进行使这些摄影条件数据最佳化的压缩参数的决定和压缩处理。
[0033]优选为,压缩参数是压缩率。
[0034]根据本方式,能够确定“与光学低通滤光器的有无相关的信息”、“与滤色器的排列相关的信息”所对应的压缩率。
[0035]在此所谓的“压缩率”基于压缩处理前后中的数据量的比率,是直接地或间接地表示该比率的指标。因此,在此所谓的压缩率不仅能够包括直接地确定压缩率的情况,而且能够包括将能够进行数据压缩的范围分为多个阶段而间接地表示压缩处理前后的数据量的比率的要素(参数)。
[0036]优选为,压缩处理是JPEG方式的压缩处理,包括通过离散余弦转换而根据图像数据算出DCT系数的工序和基于量化表对该DCT系数进行量化的工序,压缩参数是量化表。
[0037]根据本方式,在JPEG方式的压缩处理中,基于光学低通滤光器的有无的信息、滤色器排列信息而确定量化表,并能够基于这些信息而进行适当化的压缩处理。
[0038]优选为,还具备对压缩参数决定部的压缩参数的决定结果进行显示的显示部。
[0039]根据本方式,由于在显示部显示压缩参数的决定结果,因此用户能够经由显示部而对压缩参数的决定结果进行确认。基于显示部的显示方法不特别被限定,也可以对用户警告通知压缩参数的决定结果,也可以使用户能够以得知(确定)/不得知(不确定)压缩参数的决定结果的方式进行选择显示。
[0040]优选为,由压缩参数决定部决定的压缩参数包含多个选择候补,显示部从多个选择候补之中能够选择地显示压缩参数,图像处理装置还具备接受与压缩参数相关的用户的选择的选择部,压缩参数决定部根据经由选择部而接受到的选择结果来确定压缩参数,压缩处理部基于确定出的压缩参数对图像数据进行压缩处理。
[0041]根据本方式,用户能够从由显示部显示的多个选择候补之中选择压缩参数,并根据该用户的选择结果确定压缩参数。因此,能够根据用户的需求决定适当的压缩参数。
[0042]优选为,与滤色器的排列相关的信息是与图像数据的摄像生成时所用的摄像部的滤色器是否为如下的滤色器相关的信息,该滤色器在由在水平方向和垂直方向上排列的光电转换元件构成的多个像素上以预定的滤色器排列而配置,且滤色器排列包含排列有与最有助于得到亮度信号的第一色对应的第一滤光片和与第一色以外的两种颜色以上的第二色对应的第二滤光片的预定的基本排列图案,该基本排列图案在水平方向和垂直方向上重复配置,第一滤光片配置在滤色器排列的第一方向、与该第一方向垂直的第二方向及与第一方向和第二方向成45°的第三方向的各行内,第二滤光片在基本排列图案内在滤色器排列的第一方向和第二方向的各行内配置一个以上,与第一滤光片对应的第一色的像素数的比率大于与第二滤光片对应的第二色的各色的像素数的比率。
[0043]优选为,滤色器排列包括第一滤光片在第一方向、第二方向和第三方向的各行内连续两个像素以上的部分。
[0044]优选为,滤色器排列中第一滤光片在3X3像素组中配置于中心和四角,该3X3像素组在水平方向和垂直方向上重复配置。
[0045]优选为,第二色包含第一构成色和第二构成色,预定的基本排列图案是与6X6像素对应的正方排列图案,将第一排列和第二排列交替地在第一方向和第二方向上排列而构成滤色器排列,第一排列与3X3像素对应,在中心和四角配置有第一滤光片,以在第一方向上隔着中心的第一滤光片的方式配置有与第一构成色对应的第二滤光片,以在第二方向上隔着中心的第一滤光片的方式配置有与第二构成色对应的第二滤光片,第二排列与3X3像素对应,在中心和四角配置有第一滤光片,以在第二方向上隔着中心的第一滤光片的方式配置有与第一构成色对应的第二滤光片,以在第一方向上隔着中心的第一滤光片的方式配置有与第二构成色对应的第二滤光片。
[0046]优选为,第一色是绿(G)色,第二色是红(R)色和蓝⑶色。
[0047]本发明的其他方式涉及一种摄像装置,具备:摄像单元,具有对图像数据进行摄像生成的摄像部;及上述的图像处理装置。
[0048]本方式的摄像装置不特别被限定,在此所谓的“摄像装置”除了以摄像为主要功能的数码相机之外,还可以包括具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。
[0049]本发明的其他方式涉及一种摄像装置,具备:摄像单元,具有对图像数据进行摄像生成的多个摄像部,所述多个摄像部至少包括第一摄像部和第二摄像部;及上述的图像处理装置。
[0050]本方式的摄像装置不特别被限定,在此所谓的“摄像装置”除了具备多个摄像部且以摄像为主要功能的数码相机(例如能够与3D对应的相机等)之外,还可以包括具有摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。
[0051]本发明的其他方式涉及一种摄像装置,具备:摄像单元,具有对图像数据进行摄像生成的摄像部,摄像部能够从至少包括第一摄像部和第二摄像部的多个摄像部之中选择互换;及上述的图像处理装置。
[0052]本方式的摄像装置不特别被限定,在此所谓的“摄像装置”例如也可以包括能够由用户对透镜、摄像元件(CCD、CMOS等)进行互换的数码相机等。
[0053]本发明的其他方式涉及具备上述的图像处理装置的计算机。
[0054]本发明的其他方式涉及一种图像处理方法,具备:数据获取步骤,获取在所输入的图像数据中是否附加了摄影条件数据和摄影条件数据的内容;压缩参数决定步骤,基于摄影条件数据的获取结果,决定压缩参数;及压缩处理步骤,基于所决定的压缩参数,对图像数据进行压缩处理,摄影条件数据包含与图像数据的摄像生成时的光学低通滤光器的有无相关的信息。
[0055]本发明的其他方式涉及一种程序,用于使计算机执行如下步骤:获取在所输入的图像数据中是否附加了摄影条件数据和摄影条件数据的内容;基于摄影条件数据的获取结果,决定压缩参数;及基于所决定的压缩参数,对图像数据进行压缩处理,摄影条件数据包含与图像数据的摄像生成时的光学低通滤光器的有无相关的信息。
[0056]发明效果
[0057]根据本发明,能够基于包括与光学低通滤光器的有无相关的信息的摄影条件确定压缩参数,并能够根据这些摄影条件而进行适当化的图像压缩处理。

【专利附图】

【附图说明】
[0058]图1A是例示能够适用本发明的设备类的功能框图,表示具备一个摄像元件的摄像装置的一例。
[0059]图1B是例示能够适用本发明的设备类的功能框图,表示具备二个(多个)摄像元件的摄像装置的一例。
[0060]图1C是例示能够适用本发明的设备类的功能框图,表示将摄像部和图像处理部(压缩处理部)分体设置的例子。
[0061]图2是表示图像处理部中的数字处理的一例的功能框图。
[0062]图3A是表示输入输出图像摄影数据的概略的图,表示附带信息(摄影条件数据)的一例。
[0063]图3B是表示输入输出图像摄影数据的概略的图,表示包含摄影条件数据(附带信息)和摄像数据的图像摄影数据的数据构造。
[0064]图3C是表示输入输出图像摄影数据的概略的图,表示包含摄像数据(不包含摄影条件数据)的图像摄影数据的数据构造。
[0065]图4是表示摄像装置(数码相机)的一实施方式的框图。
[0066]图5A是表示滤色器的基本排列图案例的图,表示拜耳排列的滤色器。
[0067]图5B是表示滤色器的基本排列图案例的图,表示具有其他类型的排列的滤色器。
[0068]图6表示将图5B所示的基本排列图案的滤色器沿水平方向和垂直方向每2个并排配置而成的滤色器排列。
[0069]图7是表示在摄像数据中附加摄影条件数据的处理的一例的图。
[0070]图8是表示在摄像数据中附加摄影条件数据的处理的一例的图。
[0071]图9是表示在摄像数据中附加摄影条件数据的处理的一例的图。
[0072]图10是表示附加与滤色器的排列相关的信息(摄影条件数据)的时机的图像处理流程图。
[0073]图11是图像压缩处理部的功能框图。
[0074]图12是表示第一实施方式所涉及的压缩参数的决定流程的流程图。
[0075]图13A表示与压缩率/压缩等级的选择相关的显示例,表示压缩率的选择例。
[0076]图13B表示与压缩率/压缩等级的选择相关的显示例,表示压缩等级的选择例。
[0077]图14是表示第二实施方式所涉及的压缩参数的决定流程的流程图。
[0078]图15是表示第三实施方式所涉及的压缩参数的决定流程的流程图。
[0079]图16是表示第四实施方式所涉及的压缩参数的决定流程的流程图。
[0080]图17是表示第五实施方式所涉及的压缩参数的决定流程的流程图。
[0081]图18是作为本发明的摄影装置的一实施方式的智能手机的外观图。
[0082]图19是表示图18所示的智能手机的结构的框图。

【具体实施方式】
[0083]以下,参照附图对本发明的实施方式进行说明。首先,对本发明的概略进行说明,其后,对具体性的应用例进行说明。另外,下述的结构不过是例示,针对其他结构也能够适用本发明。另外,各结构能够根据任意的硬件、软件或者两者的组合而适当实现。
[0084]本发明涉及图像数据的压缩处理技术,能够适用于能够进行图像数据的压缩处理的全部设备类。因此,例如也能够利用相机等摄像装置、连接有摄像装置的计算机实现本发明。
[0085]图1A是表示具备一个摄像元件的摄像装置的一例的功能框图,图1B是表示具备二个(多个)摄像元件的摄像装置的一例的功能框图。另外图1C是表示摄像装置和连接有该摄像装置的计算机的一例的功能框图。
[0086]图1A所示的摄像单元10具备相互连接的摄像部12、图像处理部(图像处理装置)14、用户I/F(用户接口)16、输入输出控制部18、存储部20、显示部22和信号输入输出I/F(信号输入输出接口)24。
[0087]摄像部12进行摄影而生成摄像数据(图像数据),例如根据需要具备透镜、光圈、快门、配置有滤色器的摄像元件(CCD、CM0S等)等。另外,后述的光学低通滤光器(OLPF)可以设于摄像部12,也可以不设于摄像部12。
[0088]图像处理部14对由摄像部12生成的摄像数据(RAW数据)实施数字图像处理,例如根据需要进行偏置校正处理、WB(白平衡)校正处理、泛白像素检测校正处理、曝光校正处理、Y (伽马)校正处理、去马赛克算法(去马赛克算法)处理、图像压缩处理等。
[0089]图2是表示图像处理部14中的数字处理(图像处理方法)的一例的功能框图。
[0090]由摄像部12摄像生成的摄像数据(RAW数据)包含例如14位的R(红)、G (绿)、B(蓝)的颜色数据,以R、G、B的点顺序施加到图像处理部14的线性前处理部81。R、G、B的RAW数据由线性前处理部81进行偏置调整、16位化、阴影校正这样的对线性数据的前处理。
[0091]从线性前处理部81输出的R、G、B数据被输出到白平衡(WB)校正部82。WB校正部82通过对每个R、G、B数据乘以白平衡校正用的增益值Rg、Gg、Bg,从而进行白平衡校正。在此,白平衡校正用的增益值Rg、Gg、Bg被设定为对RAW数据进行解析、对例如光源种类(太阳光、荧光灯、钨灯泡等)进行确定并与该光源种类对应而预先存储的增益值,或设定为与在进行白平衡校正的菜单画面上由手动选择的光源种类、色温对应的增益值。
[0092]从WB校正部82输出的R、G、B数据被施加到曝光校正部83。曝光校正部83根据基于手动的曝光校正值(例如一 3EV?+3EV)的指示输入而针对普通曝光(没有进行曝光校正的情况下的曝光)将曝光校正为不足(减感处理),或校正为过度(增感处理)。
[0093]从曝光校正部83输出的R、G、B数据被输出到伽马(Y)校正部84,在此,将线性数据转换为sRGB、AdobeRBG, scRGB这样的颜色空间的灰度数据。被伽马校正后的R、G、B数据被输出到去马赛克算法处理部85。
[0094]去马赛克算法处理部85进行对与摄像元件中的滤色器的排列相伴的R、G、B数据的空间性的偏差进行插值而以去马赛克算法的方式转换R、G、B数据的处理,将去马赛克算法后的R、G,B数据输出到RGB/YC转换部86。
[0095]RGB/YC转换部86将R、G、B数据转换为亮度数据(亮度信号)Y、色差数据(色差信号)Cr、Cb,并将亮度数据Y输出到轮廓校正部87,将色差数据Cr、Cb输出到色调校正部88。轮廓校正部87进行对亮度数据Y的轮廓部(亮度变化较大的部分)进行强调的处理。色调校正部88进行所输入的色差信号Cr、Cb与2行X2列的颜色校正矩阵系数的矩阵运算,进行用于实现良好的颜色再现性的颜色校正。颜色校正矩阵系数根据来自用户的颜色校正的指示输入而适当进行变更。
[0096]图像压缩处理部89是基于压缩参数对图像数据进行压缩的图像处理部。本例的图像压缩处理部89基于轮廓校正后的亮度数据Y和色调校正后的色差数据Cr、Cb而进行压缩处理,生成JPEG格式等的压缩图像数据。
[0097]另外,针对图像压缩处理部89中的压缩处理的详细情况留作后述(参照图11)。
[0098]由图1A的摄像部12获取摄像数据32时的摄影条件的数据(摄影条件数据:摄影日、像素数、F值等(参照图3A)) 34可以作为标题信息附加于摄像数据32 (参照图3B),也可以不附加于摄像数据32 (参照图3C)。该摄影条件数据34可以在摄像时在摄像部12中附加于摄像数据32,也可以在摄像后在图像处理部14等中附加于摄像数据32。关于对摄像数据32的摄影条件数据34的附加留作后述(参照图7?图10)。
[0099]在图像处理部14中,被进行各种图像处理和图像压缩处理后的压缩图像数据由图1A所示的输入输出控制部18进行输出控制,存储于存储部(存储器等)20,或者在显示部(液晶显示器等)22显示缩小图像,或者经由信号输入输出I/F24输出到外部。
[0100]另外,摄像部12、图像处理部14和输入输出控制部18中的各种处理的信息能够经由显示部22提供给用户。用户也能够一边对显示部22所示的信息进行确认一边经由用户I/F16对摄像部12、图像处理部14和输入输出控制部18发送控制指示信号。特别是,在本例中,由图像处理部14(压缩参数决定部)决定的压缩参数(决定结果)在显示部22显
/j、l Ο
[0101]包含图像压缩处理的上述的图像处理在具备图1Β所示那样的多个摄像部(第一摄像部12Α、第二摄像部12Β)的摄像单元10’中也同样能够实施。S卩,由第一摄像部12A和第二摄像部12B分别生成的摄像数据与摄像部是一个的摄像单元10 (图1A)的情况相同,在以下方面也相同:在图像处理部14中实施各种图像处理和压缩处理而生成压缩图像数据,由输入输出控制部18进行输入输出控制,并将压缩图像数据存储于存储部20,或者在显示部22显示缩小图像,或者经由信号输入输出I/F24输出到外部。用户能够经由用户1/F16对摄像部(第一摄像部12A、第二摄像部12B)、图像处理部14和输入输出控制部18发送控制指示信号。
[0102]另外,作为能够互换摄像部的结构,也能够采用能够从至少包含第一摄像部和第二摄像部的多个摄像部之中选择互换的摄像单元。例如,也能够将图1B所示的第一摄像部12A和第二摄像部12B作为能够安装和卸下的结构而理解,设为能够选择使用第一摄像部12A和第二摄像部12B的任一个的结构。作为采用这种结构的设备类,例如,列举出能够更换包含透镜?摄像元件的透镜单元(摄像部)的相机(透镜互换相机等)。
[0103]在图1A和图1B中示出了将摄像部12、12A、12B和图像处理部14单体地设置的例子,但是摄像部和图像处理部(特别是图像压缩处理部)也可以如图1C所示分体地设置。
[0104]例如,对于具备摄像部12的摄像单元10”和具备图像处理部(特别是图像压缩处理部)14B的计算机11能够经由彼此的信号输入输出I/F24A、24B而连接的系统,也能够适用本发明。
[0105]在该情况下,图像处理部可以设于摄像单元10”侧(参照图1C的附图标记“14A”),也可以设于计算机11侧(参照图1C的附图标记“14B”)。在摄像单元10”侧设有图像处理部14A的情况下,数字图像处理后的图像摄影数据经由信号输入输出I/F24A从摄像单元10”输出,并经由信号输入输出I/F24B输入到计算机11。此时输入输出的图像摄影数据除了包含在图像处理部14A中实施了各种图像处理后的图像数据之外,也可以包含没有实施图像处理部14A中的各种图像处理的图像数据(RAW数据等)。在将RAW数据那样没有实施各种图像处理的图像数据输入到计算机11的情况下,在计算机11的图像处理部14B中进行各种图像处理和图像压缩处理,由输入输出控制部18控制,并被适当输出到存储部20、显示部22和信号输入输出I/F24B。
[0106]另外,该功能结构不仅对于图1C所示的“具备具有对图像数据进行摄像生成的摄像部12的摄像单元10”和具有图像处理部(图像压缩处理部)14B的计算机的摄像装置(系统)”,而且对于图1B所示的将摄像单元10’连接于计算机11的例子那样的“具备具有至少包括第一摄像部12A和第二摄像部12B的多个摄像部的摄像单元和具有图像处理部(图像压缩处理部)的计算机的摄像装置(系统)”也能够适用。
[0107]接下来,对将上述的图1A所示的类型的摄像单元10适用于数码相机的情况下的更详细的具体例进行说明。
[0108]图4是表示摄像装置(数码相机)的一实施方式的框图。
[0109]该摄像装置40是将拍摄到的图像记录于内部存储器(存储器部56)或外部的记录介质(未图示)的数码相机,装置整体的动作由CPU(中央处理装置)42集中控制。
[0110]在摄像装置40设有包含快门按钮(快门开关)、模式拨盘、重放按钮、菜单/OK键、十字键、变焦按钮、返回键等的操作部(选择部)44。将来自该操作部44的信号输入到CPU42,CPU42基于输入信号对摄像装置40的各电路进行控制,例如,经由设备控制部46对透镜部48、快门50、作为图像获取部而发挥功能的摄像元件52进行控制,另外,进行摄影动作控制、图像处理控制、图像数据的记录/重放控制、显示部55的显示控制等。
[0111]透镜部48包含聚焦透镜、变焦透镜、光圈等,通过了透镜部48和快门50的光束在摄像元件52的受光面上成像。
[0112]摄像兀件52 是 CMOS (Complementary Metal — Oxide Semiconductor:互补金属氧化物半导体)型、XY寻址型或CO) (Charge Coupled Device:电荷稱合装置)型等的彩色图像传感器,具有将滤色器和接收通过了滤色器的光的多个受光元件(光电二极管)二维排列而成的构造。在各光电二极管的受光面上成像的被摄体像被转换为与其入射光量对应的量的信号电压(或电荷)。因此,滤色器中,在由沿水平方向(第一方向)和与水平方向垂直的垂直方向(第二方向)上排列的光电转换元件构成的多个像素上以预定的滤色器排列而配置。
[0113]图5A和图5B是表不滤色器的基本排列图案例的图,图5A表不所谓的拜耳(Bayer)排列的滤色器,图5B表示具有其他类型的排列的滤色器。另外,在图5A和图5B中,“R”表示红色(红)的滤光片,“G”表示绿色(绿)的滤光片,“B”表示蓝色(蓝)的滤光片。
[0114]本例的摄像元件52的滤色器由与MXN(6X6)像素对应的正方排列图案构成的基本排列图案P沿水平方向和垂直方向重复配置而构成。因此,在进行从摄像元件52读出的RGB的RAW数据(马赛克图像)的图像处理等时,能够按照重复图案而进行处理。这种滤色器排列中,红⑵、绿(G)、蓝⑶的各色的滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性排列。
[0115]例如,在图5A所示的拜耳排列的滤色器中,将G滤光片和R滤光片交替地配置的行(水平方向排列)与将G滤光片和R滤光片交替地配置的行在垂直方向上交替地配置,在各R滤光片和各B滤光片的上下左右的位置配置G滤光片。并且,在各R滤光片的倾斜方向的位置配置B滤光片,在各B滤光片的倾斜方向的位置配置R滤光片,在各G滤光片的倾斜方向的位置配置G滤光片。
[0116]另一方面,在图5B所示的其他排列的滤色器中,成为将由实线的框围成的3 X 3像素的A排列和由虚线的框围成的3X3像素的B排列沿水平方向和垂直方向交替地排列而成的排列。
[0117]A排列和B排列中,G滤光片分别配置于四角和中央,在两对角线上配置有G滤光片。在A排列中,R滤光片隔着中央的G滤光片而沿水平方向排列,B滤光片隔着中央的G滤光片而沿垂直方向排列。另一方面,在B排列中,B滤光片隔着中央的G滤光片而沿水平方向排列,R滤光片隔着中央的G滤光片而沿垂直方向排列。S卩,A排列和B排列中虽然R滤光片和B滤光片的位置关系颠倒,但是其他配置同样。
[0118]另外,通过将A排列和B排列沿水平、垂直方向交替地配置,A排列和B排列的四角的G滤光片成为与2X2像素对应的正方排列的G滤光片。
[0119]图6表示将图5B所示的基本排列图案的滤色器沿水平方向和垂直方向每2个地排列配置而成的滤色器排列。在该滤色器排列中,根据图6可知,通常与最有助于得到亮度信号的颜色(该实施方式中为G色)对应的G滤光片在滤色器排列的水平、垂直、斜右上(NE)和斜左上(NW)方向的各行内配置一个以上。
[0120]NE表示斜右上方向,NW表示斜右下方向。例如,在正方形的像素排列的情况下,斜右上和斜右下方向成为相对于水平方向分别呈45°的方向,但是如果是长方形的像素的排列,则是长方形的对角线的方向,其角度能够根据长边/短边的长度而变化。
[0121]根据这种滤色器排列,与亮度系像素对应的G滤光片配置于滤色器排列的水平、垂直和倾斜(NE、NW)方向的各行内,因此无论成为高频的方向如何都能够提高高频区域中的去马赛克算法处理的再现精度。
[0122]另外,图6所示的滤色器排列中,与上述G色以外的两种颜色以上的其他色(该实施方式中为R、B的色)对应的R滤光片、B滤光片分别在基本排列图案的水平和垂直方向的各行内配置一个以上。
[0123]R滤光片、B滤光片能够配置于滤色器排列的水平和垂直方向的各行内,因此能够降低伪色(彩色莫尔条纹)的发生。由此,能够省略用于降低(抑制)伪色的发生的光学低通滤光器。另外,能够设为,即使在适用光学低通滤波器的情况下也能够适用用于防止伪色的发生的将高频成分截止的功能较弱的光学低通滤波器而不有损分辨率。
[0124]此外,图6所示的滤色器排列的基本排列图案P中,与该基本排列图案中的R、G、B滤光片对应的R像素、G像素、B像素的像素数分别为8像素、20像素、8像素。S卩,RGB像素的各像素数的比率为2:5:2,最有助于得到亮度信号的G像素的像素数的比率大于其他色的R像素、B像素的像素数的比率。
[0125]如上述那样,在图6所示的滤色器排列中,G像素的像素数和R、B像素的像素数的比率不同,特别是使最有助于得到亮度信号的G像素的像素数的比率大于R、B像素的像素数的比率,因此能够抑制去马赛克算法处理时的混淆,另外,也能够改善高频再现性。
[0126]具备具有上述的图5A、图5B所示的基本排列的滤色器的摄像元件52中所蓄积的信号电荷基于从设备控制部46施加的读出信号而作为与信号电荷对应的电压信号被读出。从摄像元件52读出的电压信号被施加到A/D转换器(模拟/数字转换器)54,在此,依次被转换为与滤色器排列对应的数字的R、G、B信号,暂且保存于存储器部56。
[0127]存储器部56包含作为易失性存储器的SDRAM、作为可擦写的非易失性存储器的EEPROM(存储单元)等,SDRAM作为CPU42执行程序时的工作区域,另外,作为将摄像所获取的数字图像信号暂时保持的存储区域而使用。另一方面,在EEPROM存储有包含图像处理程序的相机控制程序、摄像元件52的像素的缺陷信息、在包含混色校正的图像处理等中所使用的各种参数、表等。
[0128]图像处理部58对暂且存储于存储器部56的数字的图像信号进行预定的信号处理(参照图2)。
[0129]由图像处理部58处理后的图像数据在编码器60中被编码为图像显示用的数据,经由驱动器62输出到设于相机背面的显示部55。由此,被摄体像连续地在显示部55的显示画面上显示。
[0130]若存在操作部44的快门按钮的第一阶段的按下(半按),则开始CPU42进行控制,使得开始AF动作(自动焦点)和AE动作(自动曝光),经由设备控制部46使透镜部48的聚焦透镜沿光轴方向移动,而使聚焦透镜到达对焦位置。
[0131 ] CPU42基于在快门按钮的半按时从A/D转换器54输出的图像数据而算出被摄体的亮度(摄影Ev值),利用该摄影Ev值决定曝光条件(F值、快门速度)。
[0132]若AE动作和AF动作结束,并存在快门按钮的第二阶段的按下(全按),则根据所决定的曝光条件对光圈、快门50和摄像元件52中的电荷累积时间进行控制,从而进行主摄像。在主摄像时从摄像元件52读出并由A/D转换器54进行了 A/D转换后的RGB的马赛克图像(与图5A、图5B和图6所示的滤色器排列对应的图像)的图像数据(RAW数据)被暂时性地存储在存储器部56。
[0133]在存储器部56中暂时性地存储的图像数据由图像处理部58适当读出,在此,进行包括混色校正、白平衡校正、伽马校正、去马赛克算法处理、RGB/YC转换等的预定的信号处理。被RGB/YC转换后的图像数据(YC数据)按照预定的压缩格式(例如JPEG方式)被压缩,被压缩后的图像数据以预定的图像文件(例如Exif文件)形式记录于内部存储器、夕卜部存储器。
[0134]在这种摄像装置40中,有时配置将照射到摄像元件52的光的高频成分光学性地截止的光学低通滤光器(0LPF)64。例如在使用具有图5A所示的拜耳型的基本排列的滤色器的情况下,所得到的图像的高频成分易于成为莫尔条纹等图像劣化的要因。因此,在使用高频成分易于导致图像劣化的拜耳型那样的滤色器而获取图像数据的情况下,通过配置光学低通滤光器64而能够抑制图像劣化。另一方面,在使用具有图5B所示的基本排列的滤色器的情况下,由于如上述那样能够有效地降低莫尔条纹等图像劣化,因此通过不设置光学低通滤光器,能够得到保留了高频成分的分辨率高的图像数据。
[0135]如此,能够根据摄像装置40中使用的摄像元件(滤色器)的种类、具体的图像处理内容等装置结构而适当决定是否配置光学低通滤光器64。
[0136]另外,在上述的摄像装置40 (参照图4)中,透镜部48、光学低通滤光器64、快门50、摄像元件52作为图1A至图1C的摄像部12、12A、12B而发挥功能,图像处理部58作为图1A至图1C的图像处理部14、14A、14B而发挥功能,操作部44作为图1A至图1C的用户I/F16而发挥功能,CPU42作为图1A至图1C的输入输出控制部18而发挥功能,编码器60和驱动器62作为图1A至图1C的输入输出控制部18而发挥功能,存储器部56作为图1A至图1C的存储部20而发挥功能,显示部55作为图1A至图1C的显示部22而发挥功能。
[0137]接下来,对附加于摄像数据32的摄影条件数据34进行说明。
[0138]如上述那样,在摄影条件数据34中包含获取摄像数据32时的各种信息(参照图3A),可以在摄像数据32中附加摄影条件数据34 (参照图3B),也可以不在摄像数据32中附加摄影条件数据34 (参照图3C)。
[0139]在摄像数据32中附加摄影条件数据34的部位不特别被限定,如果是图像压缩处理部89之前,则能够在任意的部位对摄像数据32附加摄影条件数据34。
[0140]例如,如图7所示,在摄像部(例如具有CMOS传感器的摄像元件)12具备摄影条件数据附加部90的情况下,在摄像部12中,对摄像数据(RAW数据)32进行摄像生成,摄影条件数据附加部90将摄影条件数据34附加到该摄像数据32。并且,将包含摄像数据32和摄影条件数据34的图像摄影数据30从摄像部12发送到图像处理部(信号处理LSI) 14,由图像处理部14的图像压缩处理部89实施压缩处理,并将压缩图像数据36从图像处理部14输出。
[0141]另外,如图8所示,在图像处理部14替代摄像部12而具备摄影条件数据附加部90的情况下,包含在摄像部12中摄像生成的摄像数据(RAW数据)32的图像摄影数据30被发送到图像处理部14。并且在图像处理部14中,在摄影条件数据附加部90向摄像数据32附加了摄影条件数据34后,图像压缩处理部89进行压缩处理,压缩图像数据36从图像处理部14输出。另外,也能够将摄影条件数据34存储于存储部20 (存储器等),图像处理部14也可以通过适当读出存储于存储部20的摄影条件数据34而掌握摄影条件数据34。
[0142]另外,如图9所示,在将摄像单元10和计算机11连接的情况下,在摄像单元10的图像处理部14A具备摄影条件数据附加部90,另外计算机11的图像处理部14B具备图像压缩处理部89的情况下,包含由摄像单元10的摄像部12摄像生成的摄像数据(RAW数据)32的图像摄影数据30被发送到图像处理部14A,由摄影条件数据附加部90向摄像数据32附加摄影条件数据34。并且,包含摄像数据32和摄影条件数据34的图像摄影数据30从摄像单元10输出而被输入到计算机11。并且,由计算机11的图像处理部14B的图像压缩处理部89对图像摄影数据30进行压缩处理,生成压缩图像数据36。另外,在替代图像处理部14A而在摄像部12中设置摄影条件数据附加部90的情况下,在摄像部12中对摄像数据32附加摄影条件数据34,包含摄像数据32和摄影条件数据34的图像摄影数据30被发送到摄像单元10的图像处理部14A和计算机11的图像处理部14B。
[0143]图10是表示附加与滤色器(CF)的排列相关的信息(摄影条件数据)的时机的图像处理流程图。
[0144]在图像压缩处理中,首先从图像摄影数据30取入摄像数据(RAW数据等)32 (图10的步骤S11),生成亮度色差数据(YC数据)(S12)。针对亮度色差数据的具体的生成方法不作特别限定,能够采用任意的手法,例如,能够利用去马赛克算法处理根据摄像数据(RAW数据)32生成各像素的RGB数据并根据该RGB数据生成所谓的Y/Cb/Cr信号。
[0145]其后,对滤色器的排列图案进行判别(S13),能够在该滤色器的排列的判别之前在任意的阶段进行对RAW数据的滤色器排列信息的附加。例如,可以在取入RAW数据前进行滤色器排列信息的附加,也可以在取入RAW数据后且生成亮度色差数据前进行滤色器排列信息的附加,也可以与生成亮度色差数据时同时进行滤色器排列信息的附加(S16)。
[0146]基于如此附加的滤色器排列信息而对滤色器的排列图案进行判别(S13),并根据判别出的滤色器排列决定设定压缩参数(S14)。并且,利用所设定的压缩参数,进行摄像数据32的压缩处理(S15),得到压缩图像数据。
[0147]接下来,作为图像压缩处理的一例,对基于JPEG格式的压缩处理进行说明。
[0148]图11是进行图像摄影数据30的JPEG压缩处理而对压缩图像数据36进行转换生成的图像压缩处理部89的功能框图。图像压缩处理部89包括:压缩控制部71、由该压缩控制部71集中地控制的数据获取部72、压缩参数决定部73、向下采样处理部74、DCT处理部75、量化处理部76和熵压缩处理部77。
[0149]数据获取部72获取在所输入的摄像数据(图像数据)32中是否附加了摄影条件数据34和摄影条件数据34的内容。在本例中,特别是,在数据获取部72中获取包含“与摄像数据32的摄像生成时的光学低通滤光器的有无相关的信息”和/或“与摄像数据32的摄像生成时所用的摄像部的滤色器的排列相关的信息”的摄影条件数据34。
[0150]压缩参数决定部73基于数据获取部72的摄影条件数据的获取结果,而决定压缩参数。即如“与摄像数据32的摄像生成时的光学低通滤光器的有无相关的信息”、“与摄像数据32的摄像生成时所用的摄像部的滤色器的排列相关的信息”那样,压缩参数决定部73根据成为能够再现的图像空间频率的基准的摄影条件数据决定压缩参数。在此所决定的压缩参数是对压缩比例产生影响的任意的参数。例如,在基于JPEG格式的压缩处理的情况下,在压缩参数决定部73中决定基于亮度数据所占的数据量比率的参数(参照后述的向下采样处理部74)、相对于DCT系数的量化的参数(参照后述的DCT处理部75)作为压缩参数。
[0151]另外,这种压缩参数决定部73中的压缩参数的决定也可以按照对用户催促选择决定(确定)的对话形式进行处理,也可以基于压缩参数决定部73中的决定结果,不对用户催促选择决定而进行处理。在是与用户的对话形式的情况下,例如压缩参数决定部73在显示部55能够选择地显示决定结果。在该情况下,用户能够经由操作部44选择是否确定在显示部55显示的压缩参数决定部73的决定结果。
[0152]另外,操作部44能够具有任意的结构,可以与显示部55 —体地设置,也可以与显示部55分体而设置。通过如触摸面板等那样将操作部44和显示部55 —体地设置,用户能够直观地进行在显示部55提示的选择决定、确定选择。另外,在由与显示部55分体设置的按钮等构成操作部44的情况下,用户能够通过操作部44使在显示部55显示的光标等的显示与期望的选择候补对应,而进行选择决定、确定选择。
[0153]另外,由压缩参数决定部73决定的压缩参数也可以包含多个选择候补,在该情况下,显示部55能够从多个选择候补之中能够选择地显示压缩处理的处理参数。用户能够从在显示部55显示的多个选择候补之中选择作为处理参数而采用的候补,压缩参数决定部73能够根据用户的选择来确定压缩参数。
[0154]向下采样处理部74对摄像数据32实施降低颜色信息(色差数据)的信息量的向下采样处理(子采样处理)。这是基于人的视觉对颜色变化比对亮度变化更加迟钝这一事实的处理,通常进行将“Y:Cb:Cr”的比率(向下采样比)设为“4:2:2”、“4:1:1”的向下采样处理。
[0155]该向下采样处理部74中的向下采样比能够包含于在压缩参数决定部73中所决定的压缩参数中。即,也可以根据光学低通滤光器的有无、滤色器排列,在压缩参数决定部73中将亮度色差数据的向下采样比决定为最佳值,利用所决定的最佳的向下采样比在向下采样处理部74中进行摄像数据32的向下采样。如此,根据摄影条件数据将基于亮度数据(Y)相对于色差数据(Cb,Cr)所占的数据量比率的压缩参数适当化,从而能够一边抑制图像劣化一边实现高效的图像压缩处理。
[0156]DCT处理部75通过DCT (Discrete Cosine Transform:离散余弦转换)将实施了向下采样处理后的摄像数据32的像素信号(亮度像素值)转换为表示空间频率成分的大小的值(DCT系数)。并且,量化处理部76对该DCT系数进行量化而生成近似DCT系数。
[0157]DCT是通常利用的技术,因此省略详细的说明,但是,鉴于高频成分对画质的影响比较小,通过利用DCT系数的量化削减高频成分而进行信息量的降低化(压缩)。基于由量化步骤的集合构成的量化表而进行DCT系数的量化。量化步骤的值针对对应每个频率成分而决定的DCT系数的各DCT系数而确定,通常,高频成分越大的值,越存在使用量化步骤的倾向。
[0158]该量化表对应每个压缩对象而准备,例如分别准备针对亮度数据的量化表和针对色差数据的量化表。
[0159]另外,该量化表也能够包含于在压缩参数决定部73中所决定的压缩参数。即,优选为,在压缩参数决定部73中根据光学低通滤光器的有无、滤色器排列将量化表决定为最佳值,在量化处理部76中通过最佳的量化表进行摄像数据32的DCT系数的量化。
[0160]此外,在对由多个摄像部(摄像元件等)拍摄的摄像数据32进行处理的情况下,也能够对应每个摄像部准备量化表。即,通过对应每个摄像部准备与各摄像部的特性(生成图像特性)对应的量化表,能够进行将各摄像部的特性有效利用的形式的量化。
[0161]熵压缩处理部77能够利用哈夫曼编码对通过DCT系数的量化而将高频成分降低后的近似DCT系数(摄像数据)进行熵编码,从而生成编码信号(压缩图像数据(JPEG)36)。另外,基于哈夫曼编码的熵编码是通常利用的技术,因此省略详细的说明,但是利用出现频率而代替长编码的可变长编码处理,能够将编码最佳化。
[0162]因此,在本例中,包含向下采样处理部74、DCT处理部75、量化处理部76和熵压缩处理部77而构成压缩处理部。
[0163]压缩控制部71例如基于由数据获取部72和压缩参数决定部73决定的压缩参数(向下采样比、量化表)对向下采样处理部74、量化处理部76进行控制。另外,压缩控制部71也能够与操作部44和显示部55连接,将由压缩参数决定部73决定的压缩参数在显示部55显示,或者基于经由操作部44的用户的指示而对压缩参数最终地进行确定,利用该确定出的压缩参数对向下采样处理部74、量化处理部76进行控制。
[0164]另外,在压缩参数决定部73中,作为根据摄影条件数据而决定的压缩参数,能够列举出向下采样处理部74中的向下采样比、量化处理部76中的量化表的量化步骤值(量化参数),在压缩参数决定部73中决定任一方或两方。另外,也可以将压缩处理前后的数据量的比率(压缩率)设为压缩参数,基于该比率,在压缩参数决定部73中决定向下采样比、量化表的量化步骤值。
[0165]接下来,对具体的压缩处理例进行说明。以下说明的压缩处理能够由任意的设备类执行,并能够由数码相机等摄像装置、连接有摄像装置的计算机执行。另外,也能够由安装有用于使计算机执行以下的压缩处理工序(步骤)的程序(软件)的计算机等设备类执行下述的压缩处理。该软件(程序等)也可以记录在ROM等计算机能够读取的非瞬时的记录介质(non — transitory computer 一 readable medium:非瞬时性计算机可读取介质)。
[0166]<第一实施方式>
[0167]针对第一实施方式所涉及的压缩处理例,参照图11和图12进行说明。图12是表示第一实施方式所涉及的压缩参数的决定流程的流程图。
[0168]在本实施方式中,在图像压缩处理时参照标题信息(摄影条件数据34),根据“滤色器的排列图案”使压缩参数的可选择范围适当化,并能够使基于用户的最佳的压缩参数的选择决定各易。
[0169]即,若将图像摄影数据30输入到图像压缩处理部89,则数据获取部72获取在摄像数据32中是否附加了摄影条件数据(图像信息)34和摄影条件数据34的内容(图12的步骤S21 ;数据获取步骤)。在本实施方式中特别是,使用“与图像数据的摄像生成时所用的摄像部的滤色器的排列相关的信息”作为摄影条件数据34。
[0170]并且,压缩参数决定部73基于数据获取部72中的获取结果来决定压缩参数(压缩参数决定步骤)。
[0171]S卩,在摄像数据32中是否附加有摄影条件数据34的判别中(S22),在判别为在摄像数据32中没有附加摄影条件数据34的情况下(S22的否),压缩参数决定部73采用设定“高频成分的截止比率为普通的参数区域α ”作为压缩参数的可设定选择范围(S25a)。在此所说的压缩参数的可设定选择范围中,包含压缩参数的多个选择候补,用户能够从这些选择候补之中选择任意的参数作为压缩参数。
[0172]另一方面,在判别为在摄像数据32中附加有摄影条件数据34的情况下(S22的是),压缩参数决定部73基于摄影条件数据34来判别所使用的滤色器(CF)是否为拜耳排列以外(S23)。
[0173]在判别为滤色器不是拜耳排列以外(即是拜耳排列)的情况下(S23的否),压缩参数决定部73采用设定“高频成分的截止比率为普通的参数区域α ”作为压缩参数的可设定选择范围(S25a)。
[0174]另一方面,在判别为滤色器是拜耳排列以外(例如是图5B和图6所示的滤色器排列)的情况下(S23的是),压缩参数决定部73判别是否使分辨率优先(S24)。是否使分辨率优先是由用户选择的事项,压缩参数决定部73基于该选择结果来判别是否使分辨率优先。针对是否使分辨率优先的选择留作后述(参照图13A和图13B)。
[0175]在判别为使分辨率优先的情况下(S24的是),压缩参数决定部73采用设定“高频成分的截止比率较低的参数区域β”作为压缩参数的可设定选择范围(S25b)。
[0176]另一方面,在判别为不使分辨率优先的情况下(S24的否),压缩参数决定部73采用设定“高频成分的截止比率较高的参数区域Y”作为压缩参数的可设定选择范围(S25c)。
[0177]并且,压缩参数决定部73由压缩控制部71控制,将所设定的参数区域α、β、Y在显示部55显示。显示部55能够选择地显示参数区域α、β、Y中所包含的多个选择候补中的压缩参数,用户能够一边对显示部55的显示进行确认,一边通过操作部44对任意的压缩参数进行选择(S26)。
[0178]经由操作部44而接受到的压缩参数的选择结果经由压缩控制部71而被发送到压缩参数决定部73,压缩参数决定部73根据该选择结果对压缩参数进行确定。
[0179]并且,后级的压缩处理部(向下采样处理部74、DCT处理部75、量化处理部76、熵压缩处理部77)基于该确定出的压缩参数对图像摄影数据30 (摄像数据32)进行压缩处理(S27),生成压缩图像数据36 (压缩处理步骤)。
[0180]如上述那样,根据图12所示的本实施方式的处理流程,根据摄影条件数据34的有无、滤色器排列,将用户能够选择的压缩参数的范围适当化,因此用户能够容易地选择最佳的压缩参数。例如,在摄影条件数据34不明的情况下(S22的否)、滤色器排列是拜耳排列的情况下(S23的否),对普通的高频成分的截止比率进行设定。另一方面,在滤色器排列是拜耳排列以外(例如图5B和图6的滤色器排列)且使图像分辨率优先的情况下,将高频成分的截止比率较低的区域作为压缩参数的可选择范围而设定。由此,即使在对包含高频成分且分辨率感变高的图像的摄像数据32进行压缩处理的情况下,也能够向用户催促不将高频成分过度地除去那样的压缩参数的选择,并能够有效地进行不有损图像分辨率感那样的压缩处理。另一方面,在不使图像分辨率优先的情况下,将高频成分的截止比率较高的区域作为压缩参数的可选择范围而设定。由此,能够向用户催促提高了摄像数据32的压缩效率那样的压缩参数的选择,能够有效地进行压缩率高的压缩处理。如此,通过基于滤色器排列和分辨率的优先度对压缩参数的可选择范围进行调整,能够灵活地应对一边抑制图像劣化一边高效地对图像数据进行压缩的用户的需求。
[0181]另外,在压缩参数决定部73中所决定的压缩参数的可设定选择范围也可以根据用户进一步所指定的压缩率而确定。在此所谓的压缩率是基于压缩处理前后的数据量的比率的压缩率,能够直接或间接地表示可压缩的数据量。显示部55能够从多个选择候补之中能够选择地显示压缩等级,操作部44能够接受与压缩等级相关的用户的选择。例如,如图13A所示,以多个阶段(图13A中“I”?“10”的10阶段;“I”为压缩率最小,“10”为压缩率最大)准备压缩的程度(压缩率、压缩等级),用户能够经由操作部44对光标93进行操作,并对任意的压缩等级进行指定选择。在该情况下,压缩参数决定部73也可以基于由压缩控制部71控制且由用户指定选择的压缩阶段(压缩率),对压缩参数的可设定选择范围进行确定。另外,这种基于用户的压缩率的指定可以在摄像数据32的摄像获取前进行,也可以在摄像数据32的摄像获取后进行,还可以在压缩处理的过程中进行。
[0182]另外,分辨率的优先度也能够由用户设定,可以在摄像数据32的摄像获取前预先设定,也可以在摄像数据32的摄像获取后设定,还可以在压缩处理的过程中设定。例如,用户能够对操作部44进行操作,如图13B所示将光标93对准在显示部55显示的标准模式(压缩尺寸优先)显示91和高清模式(画质优先)显示92的任一种,而选择标准模式或高清模式。在选择了标准模式的情况下,判别为“不使分辨率优先”(图12的S24的否),在选择了高清模式的情况下判别为“使分辨率优先”(S24的是)。
[0183]另外,压缩参数能够设为与压缩处理对应的任意的参数。例如,在基于JPEG格式的压缩处理的情况下,能够将向下采样比、量化表的量化步骤值(量化参数)设为压缩参数。
[0184]因此,例如,在如图5B和图6所示的滤色器排列那样,在判别为使用具有摄像数据32的高频成分比较多的排列构造的滤色器的情况下(S23的是),在压缩参数决定部73中,切换为关于亮度信号提高了高频区域成分的比率的量化参数(参数可设定范围)(即,将截止高频区域成分的比例减少的量化参数),并切换为关于色差信号降低了高频区域的比率的量化参数(参数可设定范围)(即,将截止高频区域成分的比例增加的量化参数),也能够进行压缩处理。由此,能够得到抑制了画质的劣化且压缩率比较高的压缩图像。
[0185]<第二实施方式>
[0186]针对第二实施方式所涉及的压缩处理例,参照图11和图14进行说明。图14是表示第二实施方式所涉及的压缩参数的决定流程的流程图。
[0187]在本实施方式中,针对与上述的第一实施方式相同或类似的处理省略详细的说明。
[0188]本实施方式中,通过根据光学低通滤光器的有无而使压缩参数的可选择范围适当化,能够使基于用户的最佳的压缩参数的选择决定容易。因此,在第一实施方式中,使用“与图像数据的摄像生成时所用的摄像部的滤色器的排列相关的信息”作为摄影条件数据34,但是在本实施方式中,使用“与图像数据的摄像生成时的光学低通滤光器的有无相关的信息”作为摄影条件数据34。
[0189]另外,第二实施方式所涉及的图14的处理步骤S31?S37中,除了将第一实施方式中的“滤色器排列的判别处理(图12的S23) ”置换为“光学低通滤光器的有无的判别处理(图14的S33) ”的方面外,与第一实施方式所涉及的图12的处理步骤S21?S27相同,因此省略两者共通的处理的详细的说明。
[0190]在本实施方式中,与第一实施方式同样地,若将图像摄影数据30输入到图像压缩处理部89,则在数据获取部72中进行摄影条件数据34的获取(图14的步骤S31),在压缩参数决定部73中进行在摄像数据32中是否附加了摄影条件数据34的判别(S32),在判别为没有附加摄影条件数据34的情况下(S32的否),能够采用设定“高频成分的截止比率为普通的参数区域α ”作为压缩参数的可设定选择范围(S35a)。
[0191]在判别为在摄像数据32中附加有摄影条件数据34的情况下(S32的是),压缩参数决定部73基于摄影条件数据34来判别光学低通滤光器(0LPF)的有无(S33)。在判别为在摄像数据32的摄像获取时使用了光学低通滤光器的情况下(S33的否),压缩参数决定部73采用设定“高频成分的截止比率为普通的参数区域α ”作为压缩参数的可设定选择范围(S35a)。
[0192]另一方面,在判别为在摄像数据32的摄像获取时没有使用光学低通滤光器的情况下(S33的是),压缩参数决定部73判别是否使分辨率优先(S34)。
[0193]根据分辨率的判别结果对压缩参数的可设定选择范围进行采用设定的方面(S35b、S35c)、通过用户对压缩参数的设定选择(S36)进行压缩处理的方面(S37)与第一实施方式同样。
[0194]如上述那样,根据图14所示的本实施方式的处理流程,根据摄影条件数据34的有无、光学低通滤光器的有无,使用户能够选择的压缩参数的范围适当化,因此用户能够容易地选择最佳的压缩参数。特别是,在由没有设置光学低通滤光器的摄像部获取且使分辨率优先的情况下,能够对用户催促不将摄像数据32所包含的高频成分过度地除去那样的压缩参数的选择,并能够有效地进行不有损图像分辨率感那样的压缩处理。
[0195]<第三实施方式>
[0196]针对第三实施方式所涉及的压缩处理例,参照图11和图15进行说明。图15是表示第三实施方式所涉及的压缩参数的决定流程的流程图。
[0197]在本实施方式中,针对与上述的第一实施方式或第二实施方式相同或类似的处理,省略详细的说明。
[0198]关于压缩参数的可选择范围的适当化,在第一实施方式中以“滤色器排列”为基准(参照图12),在第二实施方式中以“光学低通滤光器的有无”为基准(参照图14),但是,在本实施方式中,以“滤色器排列”和“光学低通滤光器的有无”这两者为基准。
[0199]另外,第三实施方式所涉及的图15的处理步骤S41?S48将第一实施方式的处理流程(图12的S21?S27)和第二实施方式的处理流程(图14的S31?S37)组合,各个处理步骤的内容基本上相同,因此与共通的处理内容相关的详细的说明省略。
[0200]在本实施方式中,与第一实施方式和第二实施方式同样地,若将图像摄影数据30输入到图像压缩处理部89,则在数据获取部72中进行摄影条件数据34的获取(图15的步骤S41),在压缩参数决定部73中进行在摄像数据32中是否附加了摄影条件数据34的判别(S42),在判别为没有附加摄影条件数据34的情况下(S42的否),采用设定“高频成分的截止比率为普通的参数区域α ”作为压缩参数的可设定选择范围(S46a)。
[0201]在判别为在摄像数据32中附加了摄影条件数据34的情况下(S42的是),压缩参数决定部73判别光学低通滤光器(OLPF)的有无(S43)。在判别为在摄像数据32的摄像获取时使用了光学低通滤光器的情况下(S43的否),压缩参数决定部73采用设定“高频成分的截止比率为普通的参数区域α ”作为压缩参数的可设定选择范围(S46a)。
[0202]另一方面,在判别为在摄像数据32的摄像获取时没有使用光学低通滤光器的情况下(S43的是),压缩参数决定部73判别所使用的滤色器(CF)是否为拜耳排列以外(S44)。
[0203]在判别为滤色器不是拜耳排列以外(即是拜耳排列)的情况下(S44的否),压缩参数决定部73采用设定“高频成分的截止比率为普通的参数区域α ”作为压缩参数的可设定选择范围(S46a)。
[0204]另一方面,在判别为滤色器是拜耳排列以外(例如是图5B和图6所示的滤色器排列)的情况下(S44的是),压缩参数决定部73判别是否使分辨率优先(S45)。
[0205]在根据分辨率的判别结果对压缩参数的可设定选择范围进行采用设定的方面(S46b、S46c)、通过用户对压缩参数的设定选择(S47)而进行压缩处理的方面(S48)与第一实施方式和第二实施方式同样。
[0206]如上述那样,根据图15所示的本实施方式的处理流程,根据摄影条件数据34的有无、光学低通滤光器的有无及滤色器排列,使用户能够选择的压缩参数的范围适当化,因此用户能够容易地选择最佳的压缩参数。
[0207]<第四实施方式>
[0208]针对第四实施方式所涉及的压缩处理例,参照图11和图16进行说明。图16是表示第四实施方式所涉及的压缩参数的决定流程的流程图。
[0209]在本实施方式中,针对与上述的第三实施方式相同或类似的处理,省略详细的说明。
[0210]在上述的第三实施方式中,基于用户从包括多个选择候补的预定范围选择的压缩参数而进行压缩处理,但是在本实施方式中,不向用户提示多个选择候补而根据摄影条件数据自动地决定压缩参数。
[0211]另外,第四实施方式所涉及的图16的处理步骤S51?S57中的、与第三实施方式的处理步骤(图15的S41?S48)共通的处理步骤的详细的说明省略。
[0212]在本实施方式中,与第三实施方式同样地,若将图像摄影数据30输入到图像压缩处理部89,则在数据获取部72中进行摄影条件数据34的获取(图16的步骤S51),在压缩参数决定部73中进行在摄像数据32中是否附加了摄影条件数据34的判别(S52)。在判别为没有附加摄影条件数据34的情况下(S52的否),压缩参数决定部73采用设定“高频成分的截止比率为普通的参数α ’”作为压缩参数(S56a)。
[0213]另外,在判别为附加了摄影条件数据34(S52的是)并判别为在摄像数据32的摄像获取时使用了光学低通滤光器的情况下(S53的否),压缩参数决定部73也采用设定“高频成分的截止比率为普通的参数α ’”作为压缩参数(S56a)。
[0214]另外,在判别为在摄像数据32的摄像获取时没有使用光学低通滤光器(S53的是)且判别为滤色器的排列是拜耳排列的情况下(S54的否),压缩参数决定部73采用设定“高频成分的截止比率为普通的参数α ’”作为压缩参数(S56a)。
[0215]另一方面,在判别为滤色器是拜耳排列以外(例如是图5B和图6所示的滤色器排列)的情况下(S54的是),压缩参数决定部73判别是否使分辨率优先(S55)。
[0216]在判别为使分辨率优先的情况下(S55的是),压缩参数决定部73采用设定“高频成分的截止比率较低的参数β ’”作为压缩参数(S56b)。另外,在判别为不使分辨率优先的情况下(S55的否),压缩参数决定部73采用设定“高频成分的截止比率较高的参数γ’”作为压缩参数(S56c)。
[0217]并且,后级的压缩处理部(向下采样处理部74、DCT处理部75、量化处理部76、熵压缩处理部77)基于该采用设定的压缩参数α’、β’、Υ’而对图像摄影数据30 (摄像数据32)进行压缩处理(S57)。
[0218]如上述那样,根据图16所示的本实施方式的处理流程,能够根据摄影条件数据的有无、光学低通滤光器的有无和滤色器排列,自动地采用设定适当的压缩参数,并能够进行抑制了图像劣化的有效的压缩处理。
[0219]另外,在如本例那样基于摄影条件数据34而自动地设定适当的压缩参数的情况下,也可以设为,在压缩处理前,压缩参数决定部73将所采用设定的压缩参数在显示部55显示,并向用户催促该采用设定的得知(确定)。在该情况下,用户对操作部44进行操作,而进行所设定的压缩参数的得知(确定)。因此,也可以设为,在所设定的压缩参数是“在JPEG压缩处理中增加了亮度信号所占的比率而降低了色差信号的比率”的参数的情况下,将该事实在显示部55显示(警告通知),而催促用户的得知(确定)。
[0220]另外,在上述的实施方式中,基于“光学低通滤光器的有无”和“滤色器的排列”这两个信息而进行压缩参数的设定,但是也可以仅基于“光学低通滤光器的有无”和“滤色器的排列”的任一方的信息而设定压缩参数。例如,在仅基于“光学低通滤光器的有无”的信息的情况下,若判别为没有使用光学低通滤光器(S53的是),则进行分辨率是否优先的判别(S55)。同样地,在仅基于“滤色器的排列”的信息的情况下,若判定为存在摄影条件数据34(S52的是),则进行滤色器排列是否为拜耳排列的判别(S54)。
[0221]<第五实施方式>
[0222]针对第五实施方式所涉及的压缩处理例,参照图11和图17进行说明。图17是表示第五实施方式所涉及的压缩参数的决定流程的流程图。
[0223]在本实施方式中,针对与上述的第三实施方式相同或类似的处理,省略详细的说明。
[0224]在本实施方式中,对将由多个摄像部(第一摄像部、第二摄像部)摄像生成的摄像数据(图像数据)32输入到图像处理部14(图像压缩处理部89)的例子进行说明。特别是在以下的例子中,用户从多个选择候补之中选择压缩等级(参照图13A和图13B),并利用该选择压缩等级和摄影条件数据34来决定针对由各摄像部摄像生成的摄像数据32的压缩参数。
[0225]在本实施方式中,首先,由用户决定期望的压缩等级(图17的步骤S61)。该压缩等级的选择决定的方法不特别被限定,例如基于图13B的显示经由操作部44由用户选择任意的压缩等级(标准模式(压缩优先)、高清模式(画质优先))。
[0226]并且,在数据获取部72中进行摄影条件数据34的获取(S62),在压缩参数决定部73中进行在摄像数据32中是否附加了摄影条件数据34的判别(S63)。
[0227]在判别为没有附加摄影条件数据34的情况下(S63的否),压缩参数决定部73判定处理对象的摄像数据32由第一摄像部和第二摄像部的哪一个摄像获取(S67a)。在本实施方式的摄影条件数据34中,除了与光学低通滤光器的有无相关的信息、与滤色器的排列相关的信息之外,还包括能够对获取了图像数据的摄像部的特性进行识别的信息。压缩参数决定部73能够基于该“能够对摄像部的特性进行识别的信息”来判别摄像数据32由第一摄像部和第二摄像部的哪一个摄像获取。另外,“能够对摄像部的特性进行识别的信息”不特别被限定,能够采用反映第一摄像部和第二摄像部的摄像性能的任意的信息作为“能够对摄像部的特性进行识别的信息”。
[0228]在判定为由第一摄像部摄像获取的情况下,压缩参数决定部73采用设定“高频成分的截止比率较低的参数区域α I”作为压缩参数的可设定选择范围(S68a)。另一方面,在判定为由第二摄像部摄像获取的情况下,压缩参数决定部73采用设定“高频成分的截止比率较低的参数区域α 2”作为压缩参数的可设定选择范围(S68b)。
[0229]此时采用设定的压缩参数的可设定选择范围基于所选择的“压缩等级”和“各摄像部的特性”这两方而确定。即,压缩参数决定部73基于与由第一摄像部摄像生成的摄像数据32有关的摄影条件数据34的获取结果和经由操作部44而接受到的压缩等级的选择结果,决定与由第一摄像部摄像生成的摄像数据32有关的压缩参数的可设定选择范围α I。同样地,压缩参数决定部73基于与由第二摄像部摄像生成的摄像数据32有关的摄影条件数据34的获取结果和经由操作部44而接受到的压缩等级的选择结果,决定与由第二摄像部摄像生成的摄像数据32有关的压缩参数的可设定选择范围α 2。
[0230]因此,即使用户所选择的压缩等级相同,在对摄像数据32进行摄像获取的摄像部(例如摄像元件(传感器))不同的情况下,也存在压缩参数的可设定选择范围不同的情况。如此,在本实施方式中,不仅压缩等级而且也加入摄像部的特性来决定压缩参数的可设定选择范围。
[0231]同样地,在判别为在摄像数据32中附加了摄影条件数据34(S63的是)并在“判别为在摄像获取时使用了光学低通滤光器的情况下(S64的否)”、判别为没有使用光学低通滤光器(S64的是)且在“判别为滤色器是拜耳排列的情况下(S65的否)”,也经由上述的步骤S67a而将压缩参数的可设定选择范围设定为“参数区域α?”或“参数区域α 2”(S68a、S68b)。
[0232]另一方面,在判别为滤色器是拜耳排列以外(例如是图5B和图6所示的滤色器排列)的情况下(S65的是),压缩参数决定部73判别是否使分辨率优先(S66)。
[0233]在判别为使分辨率优先(高清模式)的情况下(S66的是),压缩参数决定部73判定处理对象的摄像数据32由第一摄像部和第二摄像部的哪一个摄像获取(S67b),在基于第一摄像部的摄像获取的情况下将压缩参数的可设定选择范围设定为“参数区域β 1”(S68c),在基于第二摄像部的摄像获取的情况下将压缩参数的可设定选择范围设定为“参数区域β2”(S68d)。
[0234]另外,在判别为不使分辨率优先(标准模式)的情况下(S66的否),压缩参数决定部73判定处理对象的摄像数据32由第一摄像部和第二摄像部的哪一个摄像获取(S67c),在基于第一摄像部的摄像获取的情况下将压缩参数的可设定选择范围设定为“参数区域Y 1”(S68e),在基于第二摄像部的摄像获取的情况下将压缩参数的可设定选择范围设定为“参数区域Y2”(S68f)。
[0235]并且,压缩参数决定部73由压缩控制部71控制,将所设定的参数区域α 1、α 2、β 1、β 2> γ 1> Υ 2在显示部55显示,用户能够一边确认显示部55的显示一边通过操作部44选择任意的压缩参数(S69)。
[0236]经由操作部44而接受到的压缩参数的选择结果经由压缩控制部71而被发送到压缩参数决定部73,压缩参数决定部73根据该选择结果而对压缩参数进行确定。
[0237]并且,后级的压缩处理部(向下采样处理部74、DCT处理部75、量化处理部76、熵压缩处理部77)基于该确定出的压缩参数,对由第一摄像部摄像生成的摄像数据32和由第二摄像部摄像生成的摄像数据32的各摄像数据进行压缩处理(S70)。
[0238]如上述那样,根据图17所示的本实施方式的处理流程,不仅基于摄影条件数据的有无、光学低通滤光器的有无和滤色器排列,而且基于对摄像数据32进行摄像的每个摄像部的特性,而确定适当的压缩参数的可设定选择范围,因此用户能够容易地选择更好的压缩参数。
[0239]另外,多个摄像装置(第一摄像部、第二摄像部)可以组装在同一装置,也可以组装在不同装置。
[0240]在同一装置中组装有多个摄像装置的情况下,例如能够设为图1Β的第一摄像部12Α和第二摄像部12Β那样的结构。另一方面,在不同装置组装多个摄像装置的情况下,例如也能够设为与图1C的计算机11连接的摄像单元10”存在多台那样的结构。
[0241]另外,针对摄像部是具备能够从至少包括第一摄像部和第二摄像部的多个摄像部之中选择互换的摄像单元的传感器互换型的相机,也能够适用本实施方式,能够根据所安装的摄像部(光学低通滤光器的有无/滤色器排列)进行最佳的压缩处理。
[0242]以上,对本发明的优选实施方式进行了说明,但是本发明不限于上述的实施方式,针对其他形态也能够适当应用。
[0243]在上述实施方式中,对压缩参数决定部73判别滤色器(CF)是否为“拜耳排列”以外的例子(参照图12的S23、图15的S44、图16的S54、图17的S65)进行了说明,但是也可以对以其他滤色器排列为基准而使用的滤色器进行判别。例如,压缩参数决定部73也可以基于摄影条件数据34,而判别在图像数据的摄像生成时所用的摄像部中所使用的滤色器(CF)是否为“图5B和图6所示的滤色器排列”以外。
[0244]如上述那样,“图5B和图6所示的滤色器排列”包括排列有与最有助于得到亮度信号的绿色(第一色)对应的G滤光片(第一滤光片)和与绿色以外的两种颜色以上的第二色(图示的例子中为红色和蓝色(第一构成色、第二构成色))对应的R滤光片和B滤光片(第二滤光片)的预定的基本排列图案。是如下的滤色器:该基本排列图案在水平方向和垂直方向上重复配置,G滤光片在滤色器排列中的水平方向(第一方向)、垂直方向(第二方向)及与水平方向和垂直方向成45°的倾斜方向(第三方向)的各行内配置,第二滤光片(R滤光片和B滤光片)在基本排列图案内在滤色器排列的垂直方向和垂直方向的各行内配置一个以上,与G滤光片对应的绿色的像素数的比率大于与R滤光片和B滤光片对应的第二色(红色、蓝色)的各色的像素数的比率。该滤色器排列包括G滤光片在垂直方向、垂直方向、倾斜方向的各行内连续两个像素以上的部分。另外,将G滤光片在3X3像素组中配置于中心和四角,将该3X3像素组在水平方向和垂直方向上重复配置。更详细地说,基本排列图案是与6X6像素对应的正方排列图案,通过将第一排列和第二排列交替地在水平方向和垂直方向上排列而构成滤色器排列,所述第一排列与3X3像素对应,且在中心和四角配置有G滤光片,以在水平方向上隔着中心的G滤光片的方式配置有与红色对应的R滤光片,以在垂直方向上隔着中心的G滤光片的方式配置有与蓝色对应的B滤光片,所述第二排列与3X3像素对应,且在中心和四角配置有G滤光片,以在垂直方向上隔着中心的G滤光片的方式配置有与红色对应的R滤光片,以在水平方向上隔着中心的G滤光片的方式配置有与蓝色对应的B滤光片。
[0245]如此,在所输入的图像数据中附加的摄影条件数据可以包含与图像数据的摄像生成时所用的摄像部的滤色器的排列相关的信息,也可以使用与图像数据的摄像生成时所用的摄像部的滤色器是否为图5B和图6所示的滤色器相关的信息作为在此所谓的“与滤色器的排列相关的信息”。由使用以往的拜耳排列而没有设置光学低通滤光器的摄像装置拍摄到的图像根据被摄体,由于其滤色器排列而产生伪色、彩色莫尔条纹等。在该情况下,即使针对包括伪色、彩色莫尔条纹等的图像数据改变压缩参数,关于压缩图像的画质也无法得到充分的效果。与此相对,在使用图5B和图6所示的滤色器排列而没有设置光学低通滤光器的摄像装置中,能够抑制伪色/彩色莫尔条纹,并能够以高画质获取高分辨率的图像,因此由压缩参数变化引起的对画质的影响较大。因此,在使用与是否为图5B和图6所示的滤色器相关的信息作为“与滤色器的排列相关的信息”的情况下,能够通过对压缩参数进行调整而对高画质进行维持并压缩。
[0246]因此,在判别为所使用的滤色器是图5B和图6所示的滤色器的情况下(或者进一步判别为使分辨率优先的情况下),压缩参数决定部73也可以采用设定“高频成分的截止比率较低的参数区域”作为压缩参数的可设定选择范围。另一方面,在判别为所使用的滤色器是图5B和图6所示的滤色器而判别为不使分辨率优先的情况下,压缩参数决定部73也可以采用设定“高频成分的截止比率较高的参数区域”作为压缩参数的可设定选择范围。另外,在判别为所使用的滤色器不是图5B和图6所示的滤色器的情况下,压缩参数决定部73也可以采用设定“高频成分的截止比率为普通的参数区域”作为压缩参数的可设定选择范围。
[0247]另外,在上述实施方式中对数码相机进行了说明(参照图4),但摄影装置的结构不限于此。作为能够适用本发明的其他摄影装置(摄像装置),例如,能够设为内置型或外附带型的PC用相机、或者如以下说明那样的具有摄影功能的便携式终端装置。另外,上述的实施方式针对计算机也能够适用,针对使计算机执行上述的各处理步骤的程序,也能够适用本发明。针对计算机、程序适用本发明的情况下,在计算机上编辑RAW数据等时,能够对用户明示最佳压缩参数,并能够使最佳压缩参数的决定容易,能够提供可进行最佳的图像编辑的用户接口。
[0248]作为本发明的摄影装置的一实施方式的便携式终端装置,例如能够列举出手机、智能手机、PDA (Personal Digital Assistants:个人数字助理)、便携式游戏机。以下,以智能手机为例进行列举,并参照附图详细地进行说明。
[0249]图18是表示作为本发明的摄影装置的一实施方式的智能手机101的外观的图。图18所不的智能手机101具有平板状的壳体102,并在壳体102的一面具备作为显不部的显示面板121和作为输入部的操作面板122成为一体的显示输入部120。另外,所涉及的壳体102具备扬声器131、麦克风132、操作部140和相机部141。另外,壳体102的结构不限于此,例如,也能够采用显示部和输入部独立的结构,或采用具有折叠构造、滑动机构的结构。
[0250]图19是表示图18所示的智能手机101的结构的框图。如图19所示,作为智能手机的主要的结构要素,具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS (Global Posit1ning System:全球定位系统)接收部170、运动传感器部180、电源部190和主控制部100。另外,作为智能手机101的主要的功能,具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
[0251]无线通信部110按照主控制部100的指示,对收容于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信,进行音声数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
[0252]显示输入部120是通过主控制部101的控制而对图像(静止图像和动态图像)、文字信息等进行显示从而视觉性地向用户传递信息并且对与所显示的信息对应的用户操作进行检测的、所谓的触摸面板,具备显示面板121和操作面板122。
[0253]显不面板121 是将 LCD (Liquid Crystal Display:液晶显不器)、OELD (OrganicElectro-Luminescence Display:有机发光显示器)等作为显示装置而使用的器件。操作面板122是将显示面板121的显示面上所显示的图像载置成能够视觉辨认,并对由用户的手指、尖笔操作的1个或多个坐标进行检测的装置。若利用用户的手指、尖笔对该装置进行操作,则将由于操作而产生的检测信号输出到主控制部100。接下来,主控制部100基于接收到的检测信号,对显示面板121上的操作位置(坐标)进行检测。
[0254]如图18所示,作为本发明的摄影装置的一实施方式而例示的智能手机101的显示面板121和操作面板122成为一体而构成显示输入部120,但是操作面板122成为对显示面板121完全地进行覆盖那样的配置。在采用该配置的情况下,操作面板122对于显示面板121外的区域也可以具备对用户操作进行检测的功能。换言之,操作面板122也可以具备关于与显示面板121重合的重叠部分的检测区域(以下,称作显示区域)和关于除此以外的不与显示面板121重合的外边缘部分的检测区域(以下,称作非显示区域)。
[0255]另外,虽然也可以使显示区域的大小和显示面板121的大小完全一致,但是也没有必要必须使两者一致。另外,操作面板122也可以具备外边缘部分和除此以外的内侧部分这两个感应区域。此外,根据壳体102的大小等而适当设计外边缘部分的宽度。此外,另夕卜,作为由操作面板122所采用的位置检测方式,能够列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等,也能够采用其中任一种方式。
[0256]通话部130具备扬声器131和麦克风132,将通过麦克风132而输入的用户的声音转换为能够由主控制部100处理的声音数据而输出到主控制部100,对由无线通信部110或外部输入输出部160接收到的声音数据进行解码而从扬声器131输出。另外,如图18所示,例如,能够将扬声器131搭载于与设有显示输入部120的面相同的面,并将麦克风132搭载于壳体102的侧面。
[0257]操作部140可以是使用键开关等的硬件键,接受来自用户的指示。例如,如图18所示,操作部140是如下的按钮式的开关:搭载于智能手机101的壳体102的侧面,若利用手指等按下则接通,若使手指离开则通过弹簧等的恢复力而成为断开状态。
[0258]存储部150对主控制部100的控制程序、控制数据、应用软件、与通信对方的名称、电话号码等建立对应关系的地址数据、收发的电子邮件的数据、利用Web浏览下载的Web数据、下载的内容数据进行存储,并对流数据等暂时性地进行存储。另外,存储部150由智能手机内置的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外,构成存储部150的各内部存储部151和外部存储部152使用闪存型(flash memorytype)、硬盘型(hard disk type)、缩微多媒体卡型(multi media card micro type)、卡型的存储器(例如,Micro SD (注册商标)存储器等)、RAM (Random Access Memory)、ROM (ReadOnly Memory)等存储介质而实现。
[0259]外部输入输出部160起到与连接于智能手机101的所有外部设备的接口的作用,用于通过通信等(例如,通用串行总线(USB)、IEEE1394等)或网络(例如,互联网、无线LAN、蓝牙 Bluetooth (注册商标)、RFID (Rad1 Frequency Identificat1n:无线射频识别)、红外线通信(Infrared Data Associat1n:IrDA)(注册商标)、UWB(Ultra Wide Band)(注册商标)、紫蜂(Zig Bee)(注册商标)等)与其他外部设备直接或间接地连接。
[0260]作为与智能手机101连接的外部设备,例如具有:有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM (Subscriber Identity Module Card) /UIM (Userldentity Module Card)卡、经由音频/视频l/0(lnput/0utput)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接受了传送后的数据传递到智能手机101的内部的各结构要素,并能够将智能手机101的内部的数据传送到外部设备。
[0261]GPS接收部170按照主控制部100的指示,对从GPS卫星STl?STn发送的GPS信号进行接收,并执行基于接收到的多个GPS信号的测位运算处理,对该智能手机101的由纬度、经度、高度构成的位置进行检测。GPS接收部170在能够从无线通信部110、外部输入输出部160 (例如无线LAN)获取位置信息时,也能够使用该位置信息对位置进行检测。
[0262]运动传感器部180例如具备三轴加速度传感器等,能够按照主控制部100的指示,对智能手机101的物理性的移动进行检测。通过对智能手机101的物理性的移动进行检测,能够检测智能手机101的移动方向、加速度。该检测结果被输出到主控制部100。
[0263]电源部190按照主控制部100的指示将蓄积于蓄电池(未图示)的电力供给到智能手机101的各部。
[0264]主控制部100具备微处理器,按照存储部150所存储的控制程序、控制数据而动作,对智能手机101的各部集中地进行控制。另外,主控制部100为了通过无线通信部110进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。
[0265]按照存储部150所存储的应用软件使主控制部100动作从而实现应用处理功能。作为应用处理功能,例如,具有:对外部输入输出部160进行控制而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能坐寸。
[0266]另外,主控制部100具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)而将影像在显示输入部120显示等的图像处理功能。所谓图像处理功能是指,主控制部100对上述图像数据进行解码,对该解码结果实施图像处理,从而将图像在显示输入部120上显示的功能。
[0267]此外,主控制部100执行对显示面板121的显示控制和对通过了操作部140、操作面板122的用户操作进行检测的操作检测控制。
[0268]通过显示控制的执行,主控制部100对用于启动应用软件的图标、滚动条等软件键进行显示,或显示用于生成电子邮件的窗口。另外,所谓滚动条,是指对于没有完全收纳到显示面板121的显示区域的较大的图像等,用于接受使图像的显示部分移动的指示的软件键。
[0269]另外,通过操作检测控制的执行,主控制部100对通过了操作部140的用户操作进行检测,通过操作面板122接受对上述图标的操作、对上述窗口的输入栏的文字列的输入,或者接受通过滚动条的显示图像的滚动要求。
[0270]此外,通过操作检测控制的执行,主控制部100具备判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的不与显示面板121重叠的外边缘部分(非显示区域),并对操作面板122的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
[0271]另外,主控制部100检测对操作面板122的手势操作,根据检测出的手势操作,能够执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作,而是指利用手指等描绘轨迹或对多个位置同时进行指定、或将它们组合而从多个位置对至少一个位置描绘轨迹的操作。
[0272]相机部141 是使用 CMOS (Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)、CCD (Charge-Coupled Device:电荷稱合设备)等摄像元件进行电子摄影的数码相机。另外,相机部141能够通过主控制部100的控制,将通过摄像所得到的图像数据转换为例如JPEG (Joint Photographic coding Experts Group:联合图像专家小组)等压缩后的图像数据,记录于存储部150,或通过输入输出部160、无线通信部110而输出。如图18所示在智能手机101中,将相机部141搭载于与显示输入部120相同的面,但是相机部141的搭载位置不限于此,也可以搭载于显示输入部120的背面,或者搭载多个相机部141。另外,在搭载多个相机部141的情况下,也能够对提供摄影的相机部141进行切换而单独地进行摄影,或同时使用多个相机部141而进行摄影。
[0273]另外,相机部141能够用于智能手机101的各种功能。例如,能够在显示面板121显示由相机部141获取的图像、能够利用相机部141的图像作为操作面板122的操作输入之一。另外,在GPS接收部170对位置进行检测时,也能够对来自相机部141的图像进行参照而对位置进行检测。此外,也能够参照来自相机部141的图像,不使用三轴加速度传感器或与三轴加速度传感器并用,判断智能手机101的相机部141的光轴方向、判断当前的使用环境。当然也能够在应用软件内利用来自相机部141的图像。
[0274]此外,也能够在静止画面或动态画面的图像数据附加由GPS接收部170获取的位置信息、由麦克风132获取的声音信息(也可以利用主控制部等进行声音文本转换而成为文本信息)、由运动传感器部180获取的姿势信息等而记录于存储部150,或者通过外部输入输出部160、无线通信部110而输出。
[0275]另外,在上述的智能手机101中,相机部141作为图1A至图1C的摄像部12、12A、12B而发挥功能,主控制部100作为图1A至图1C的图像处理部14、14A、14B而发挥功能,操作部140和操作面板122作为图1A至图1C的用户I/F16而发挥功能,主控制部100和外部输入输出部160作为图1A至图1C的输入输出控制部18而发挥功能,存储部150作为图1A至图1C的存储部20而发挥功能,显示面板121作为图1A至图1C的显示部22而发挥功能。
[0276]附图标记说明
[0277]10...摄像单元,11...计算机,12...摄像部,12A...摄像部,12B...摄像部,14...图像处理部,14A…图像处理部,14B…图像处理部,16…用户I/F,18…输入输出控制部,20…存储部,22...显示部,30...图像摄影数据,32...摄像数据,34…摄影条件数据,36…压缩图像数据,40…摄像装置,44…操作部,46...设备控制部,48…透镜部,50...快门,52…摄像元件,54…D转换器,55…显不部,56…存储器部,58…图像处理部,60…编码器,62…驱动器,64…光学低通滤光器,70...数据获取部,71...压缩控制部,72…数据获取部,73…压缩参数决定部,74…向下采样处理部,75…DCT处理部,76…量化处理部,77…熵压缩处理部,81...线性前处理部,82...WB校正部,83...曝光校正部,84…校正部,85…去马赛克算法处理部,86...YC转换部,87...轮廓校正部,88...色调校正部,89...图像压缩处理部,90...摄影条件数据附力口部,91...显不,92...显不,93...光标,100…主控制部,101…智能手机,102…壳体,110…无线通信部,120…显不输入部,121…显不面板,122…操作面板,130...通话部,131...扬声器,132…麦克风,140…操作部,141…相机部,150…存储部,151…内部存储部,152…外部存储部,160...外部输入输出部,170…GPS接收部,180…运动传感器部,190...电源部。
【权利要求】
1.一种图像处理装置,基于压缩参数对图像数据进行压缩,所述图像处理装置具备: 数据获取部,获取在所输入的所述图像数据中是否附加了摄影条件数据和所述摄影条件数据的内容; 压缩参数决定部,基于所述数据获取部的所述摄影条件数据的获取结果,决定所述压缩参数;及 压缩处理部,基于所决定的所述压缩参数,对所述图像数据进行压缩处理, 所述摄影条件数据包含与所述图像数据的摄像生成时的光学低通滤光器的有无相关的信息。
2.根据权利要求1所述的图像处理装置,其中, 所述摄影条件数据包含与所述图像数据的摄像生成时所用的摄像部的滤色器的排列相关的信息。
3.一种图像处理装置,是被输入由至少包括第一摄像部和第二摄像部的多个摄像部摄像生成的图像数据的权利要求1或2所述的图像处理装置, 所述图像处理装置还具备: 显示部,从多个选择候补之中能够选择地显示压缩等级;及 选择部,接受与压缩等级相关的用户的选择, 所述压缩参数决定部基于与由所述第一摄像部摄像生成的所述图像数据有关的所述摄影条件数据的获取结果和经由所述选择部而接受到的所述压缩等级的选择结果,决定与由所述第一摄像部摄像生成的所述图像数据有关的所述压缩参数,并基于与由所述第二摄像部摄像生成的所述图像数据有关的所述摄影条件数据的获取结果和经由所述选择部而接受到的所述压缩等级的选择结果,决定与由所述第二摄像部摄像生成的所述图像数据有关的所述压缩参数, 所述压缩处理部基于所决定的所述压缩参数,对由所述第一摄像部摄像生成的所述图像数据和由所述第二摄像部摄像生成的所述图像数据的各图像数据进行压缩处理。
4.根据权利要求1?3中任一项所述的图像处理装置,其中, 所述图像数据包含亮度数据, 所述压缩参数基于所述亮度数据所占的数据量比率。
5.根据权利要求1?3中任一项所述的图像处理装置,其中, 所述压缩参数是压缩率。
6.根据权利要求1?3中任一项所述的图像处理装置,其中, 所述压缩处理是JPEG方式的压缩处理,包括通过离散余弦转换而根据所述图像数据算出DCT系数的工序和基于量化表对该DCT系数进行量化的工序, 所述压缩参数是所述量化表。
7.根据权利要求1?6中任一项所述的图像处理装置,其中, 还具备对所述压缩参数决定部的所述压缩参数的决定结果进行显示的显示部。
8.根据权利要求7所述的图像处理装置,其中, 由所述压缩参数决定部决定的所述压缩参数包含多个选择候补, 所述显示部从多个选择候补之中能够选择地显示所述压缩参数, 所述图像处理装置还具备接受与所述压缩参数相关的用户的选择的选择部, 所述压缩参数决定部根据经由所述选择部而接受到的选择结果来确定所述压缩参数, 所述压缩处理部基于确定出的所述压缩参数对所述图像数据进行压缩处理。
9.根据权利要求2所述的图像处理装置,其中, 与所述滤色器的排列相关的信息是与所述图像数据的摄像生成时所用的摄像部的滤色器是否为如下的滤色器相关的信息:所述滤色器是在由排列于第一方向和与该第一方向垂直的第二方向上的光电转换元件构成的多个像素上以预定的滤色器排列而配置的滤色器,所述滤色器排列包含排列有与最有助于得到亮度信号的第一色对应的第一滤光片和与所述第一色以外的两种颜色以上的第二色对应的第二滤光片的预定的基本排列图案,该基本排列图案在所述第一方向和所述第二方向上重复配置,所述第一滤光片配置在所述滤色器排列中的所述第一方向、所述第二方向及与所述第一方向和所述第二方向成45的第三方向的各行内,所述第二滤光片在所述基本排列图案内在所述滤色器排列的所述第一方向和所述第二方向的各行内配置一个以上,与所述第一滤光片对应的第一色的像素数的比率大于与所述第二滤光片对应的第二色的各色的像素数的比率。
10.根据权利要求9所述的图像处理装置,其中, 所述滤色器排列包括所述第一滤光片在所述第一方向、所述第二方向和所述第三方向的各行内连续两个像素以上的部分。
11.根据权利要求9或10所述的图像处理装置,其中, 所述滤色器排列中所述第一滤光片在3X3像素组中配置于中心和四角,该3X3像素组在所述第一方向和所述第二方向上重复配置。
12.根据权利要求9?11中任一项所述的图像处理装置,其中, 所述第二色包含第一构成色和第二构成色, 所述预定的基本排列图案是与6X6像素对应的正方排列图案, 将第一排列和第二排列交替地在所述第一方向和所述第二方向上排列而构成所述滤色器排列,所述第一排列与3X3像素对应,在中心和四角配置有所述第一滤光片,以在所述第一方向上隔着中心的所述第一滤光片的方式配置有与所述第一构成色对应的所述第二滤光片,以在所述第二方向上隔着中心的所述第一滤光片的方式配置有与所述第二构成色对应的所述第二滤光片,所述第二排列与3X3像素对应,在中心和四角配置有所述第一滤光片,以在所述第二方向上隔着中心的所述第一滤光片的方式配置有与所述第一构成色对应的所述第二滤光片,以在所述第一方向上隔着中心的所述第一滤光片的方式配置有与所述第二构成色对应的所述第二滤光片。
13.根据权利要求9?12中任一项所述的图像处理装置,其中, 所述第一色是绿(G)色,所述第二色是红(R)色和蓝(B)色。
14.一种摄像装置,具备: 摄像单元,具有对图像数据进行摄像生成的摄像部;及 权利要求1?13中任一项所述的图像处理装置。
15.一种摄像装置,具备: 摄像单元,具有对图像数据进行摄像生成的多个摄像部,所述多个摄像部至少包括第一摄像部和第二摄像部 '及 权利要求1?13中任一项所述的图像处理装置。
16.一种摄像装置,具备: 摄像单元,具有对图像数据进行摄像生成的摄像部,所述摄像部能够从至少包括第一摄像部和第二摄像部的多个摄像部之中选择互换;及权利要求1?13中任一项所述的图像处理装置。
17.一种计算机,具备权利要求1?13中任一项所述的图像处理装置。
18.一种图像处理方法,具备: 数据获取步骤,获取在所输入的图像数据中是否附加了摄影条件数据和所述摄影条件数据的内容; 压缩参数决定步骤,基于所述摄影条件数据的获取结果,决定压缩参数;及 压缩处理步骤,基于所决定的所述压缩参数,对所述图像数据进行压缩处理, 所述摄影条件数据包含与所述图像数据的摄像生成时的光学低通滤光器的有无相关的信息。
19.一种程序,用于使计算机执行如下步骤: 获取在所输入的图像数据中是否附加了摄影条件数据和所述摄影条件数据的内容; 基于所述摄影条件数据的获取结果,决定压缩参数;及 基于所决定的所述压缩参数,对所述图像数据进行压缩处理, 所述摄影条件数据包含与所述图像数据的摄像生成时的光学低通滤光器的有无相关的信息。
【文档编号】H04N5/232GK104380706SQ201380030750
【公开日】2015年2月25日 申请日期:2013年4月24日 优先权日:2012年6月11日
【发明者】富永谦一郎 申请人:富士胶片株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1