图像处理装置以及图像处理方法
【专利摘要】本发明的课题是提供即使在使用包含移动体的图像的情况下也能提供高画质的全焦点图像。摄像装置具备：摄像图像取得部（52），取得焦点不同的被摄体对焦图像以及非被摄体对焦图像的数据；图像景深图作成部（91），对取得的被摄体对焦图像以及非被摄体对焦图像的每个，作成按每个像素来表征图像内的被摄体的距离的关系的被摄体景深图以及非被摄体景深图；合成用景深图作成部（92），对生成的被摄体景深图以及非被摄体景深图施加规定的处理来作成合成用景深图；和图像合成部（55），基于生成的合成用景深图来合成被摄体对焦图像以及非被摄体对焦图像的数据，从而生成全焦点图像的数据。
【专利说明】图像处理装置以及图像处理方法
【技术领域】
[0001 ] 本发明涉及图像处理装置以及图像处理方法。
【背景技术】
[0002]过去，摄像装置在拍摄使从后方到前方的各被摄体全部对焦的图像(下面称作“全焦点图像(all-focused image)”)的情况下，使用超深度镜头(通称“虫眼镜头”)这样特殊的镜头。
[0003]但是，虫眼镜头由于全长非常长，因而不便于携带。
[0004]为此，例如如日本特开2007 — 282152号公报那样公开如下技术:搭载了通常的镜头的摄像装置通过I次的快门操作，大致同时在多个聚焦位置拍摄同一构图的被摄体，将其结果得到的多个摄像图像的数据进行合成，由此来生成全焦点图像的数据。
[0005]但是，在上述的先行技术中，公开了生成全焦点图像的数据的技术，但例如在拍摄随风摇动的花等移动的被摄体(下面称作“移动体”)的情况下，存在会生成移动体成为余像的图像这样的问题。
【发明内容】
[0006]本发明鉴于这样的状況而提出，目的在于即使在使用包含移动体的图像的情况下也能提供高画质的全焦点图像。
[0007]本发明的第I观点所涉及的图像处理装置特征在于，具备:取得部，其取得焦点不同的多个图像的数据；第I图生成部，其针对由所述取得部取得的多个图像的每一个，生成按每规定数的像素来表征图像内的被摄体的距离的关系的景深图；第2图生成部，其对由所述第I图生成部生成的多个景深图施加规定的处理，来生成新的景深图；和图像合成部，其根据由所述第2图生成部生成的所述新的景深图中所指定的每个像素的合成的比例，按每个像素合成所述多个图像的数据，来生成全焦点图像的数据。
[0008]本发明的第2观点所涉及的摄影处理方法特征在于，包含:取得步骤，取得焦点不同的多个图像的数据；第I图生成步骤，按通过所述取得步骤取得的多个图像的每一个，生成按每规定数的像素来表征图像内的被摄体的距离的关系的景深图；第2图生成步骤，对通过所述第I图生成步骤生成的多个景深图施加规定的处理，来生成新的景深图；和图像合成步骤，根据通过所述第2图生成步骤生成的所述新的景深图中所指定的每个像素的合成的比例，按每个像素合成所述图像的数据，来生成全焦点图像的数据。
[0009]根据本发明，即使在使用包含移动体的图像的情况下也能提供高画质的全焦点图像。
[0010]与附图一起阅读时，本发明的上述、进一步和新的特征将在下面的详细描述中进一步体现。应当清楚地明白，附图目的仅在于例示，并不作为限定本发明的解释。
【专利附图】
【附图说明】[0011]图1是表示本发明的一个实施方式所涉及的摄像装置的硬件的构成的框图。
[0012]图2是表示图1的摄像装置的功能性构成中的用于执行全焦点图像生成处理的功能性构成的功能框图。
[0013]图3是用于说明全焦点图像的数据的生成的具体例的示意图。
[0014]图4是示意表征全焦点图像的数据的生成手法的图。
[0015]图5是说明具有图2的功能性构成的图1的摄像装置执行的全焦点图像生成处理的流程的流程图。
【具体实施方式】
[0016]下面，参照附图来说明本发明的一个实施方式所涉及的摄像装置。
[0017]图1是表示本发明的一个实施方式所涉及的摄像装置I的硬件的构成的框图。
[0018]摄像装置I例如构成为数码相机。
[0019]摄像装置I 具备:CPU (Central Processing Unit,中央处理器)11、ROM (ReadOnly Memory,只读存储器)12、RAM (Random Access Memory,随机存取存储器)13、总线 14、输入输出接口 15、摄像部16、输入部17、输出部18、存储部19、通信部20和驱动器21。
[0020]CPUll根据记录于R0M12的程序或从存储部19载入到RAM13的程序来执行各种处理。
[0021]在RAM13还适当存储CPUll在执行各种处理时需要的数据等。
[0022]CPU1UR0M12以及RAM13经由总线14而相互连接。在总线14来连接有输入输出接口 15。在输入输出接口 15连接有摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。
[0023]摄像部16具备光学透镜部41、图像传感器42、和透镜驱动部43。
[0024]光学透镜部41为了拍摄被摄体而由聚焦透镜、变焦透镜等各种透镜构成。
[0025]聚焦透镜由后述的透镜驱动部43驱动，是使被摄体的像成像于后述的图像传感器42的受光面的透镜。变焦透镜是使焦距在一定范围内自由变化的透镜。
[0026]图像传感器42由光电变换元件、AFE (Analog Front End,模拟前端)等构成。
[0027]光电变换兀件例如由CM0S(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)型的光电变换元件等构成。被摄体像从光学透镜部41入射到光电变换元件。然后，光电变换元件对被摄体像进行光电变换(摄像)并积蓄图像信号一定时间，将积蓄的图像信号作为模拟信号依次提供给AFE。
[0028]AFE对该模拟的图像信号执行A/D (Analog/Digital，模拟/数字)变换处理等各种信号处理。AFE通过各种信号处理来生成数字信号，并将其作为摄像部16的输出信号输出。这样的摄像部16的输出信号成为摄像图像的数据。摄像图像的数据被适宜地提供给CPUll等。另外，对摄像图像的数据添加摄像的顺序的信息、和摄像的时间点的聚焦位置的信息，作为元数据。另外，在下面只要没有特殊情况，将添加了元数据的摄像图像的数据称作“摄像图像的数据”。
[0029]透镜驱动部43基于CPUll进行的AF (Auto Focus,自动对焦)处理的结果，驱动光学透镜部41的聚焦透镜，通过使聚焦位置变化来聚焦到规定的被摄体。
[0030]在具有这样的聚焦的机构的摄像装置I中，能进行使焦点对准摄影最短距离侧方向即近前侧的被摄体的摄影、以无限远方向即不需要对焦调节程度远的距离的对象为被摄体的摄影。
[0031]另外，透镜驱动部43进行驱动，以使得一边使聚焦位置从通过AF处理决定的位置起进行变化，一边能进行“对焦包围(focus bracketing)摄影”,该“对焦包围摄影”依次进行聚焦位置不同的摄像。
[0032]输入部17由各种按钮等构成，按照用户的指示操作来输入各种信息。
[0033]输出部18由显不器、扬声器等构成,输出图像和声音。
[0034]存储部19由硬盘或者DRAM(Dynamic Random Access Memory,动态随机存取存储器)等构成，存储各种图像的数据。
[0035]通信部20控制经由包含因特网的网络在与其它装置(未图示)之间进行的通信。
[0036]在驱动器21适宜安装由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。由驱动器21从可移动介质31读出的程序可根据必要被安装在存储部19。另外，可移动介质31也能与存储部19同样地存储被存储于存储部19的图像的数据等各种数据。
[0037]接下来，说明摄像装置I的功能性构成中的用于执行全焦点图像生成处理的功能性构成。
[0038]所谓“全焦点图像生成处理”是指，合成焦点不同的多张摄像图像的数据来生成并输出全焦点图像的数据为止的一连串处理。
[0039]图2是表示摄像装置I的功能性构成中的用于执行全焦点图像生成处理的功能性构成的功能框图。
[0040]图3是用于说明全焦点图像的数据的生成的具体例的示意图。
[0041]在摄像装置I执行全焦点图像生成处理的情况下，如图2所示，在CPUll中发挥摄像控制部51、摄像图像取得部52、边缘比较图像作成部53、景深图(depth map)作成部54、图像合成部55、和输出控制部56的功能。
[0042]另外，作为存储部19的一个区域，设置摄像图像存储部71、和合成图像存储部72。
[0043]摄像图像存储部71存储从摄像部16输出的摄像图像的数据。
[0044]合成图像存储部72存储由图像合成部55合成的全焦点图像的数据。
[0045]具有这样的功能构成的摄像装置I在下面说明如下示例:以盛开于“公园”一角的“花”为被摄体，在背景上加上“公园”的风景，进行对焦包围摄影，生成全焦点图像的数据。
[0046]另外，在本示例中，关于在摄影时，风吹过，在摄影的时机作为被摄体的“花”随风摇动地作为移动体被摄影的情况，在下面进行说明。
[0047]摄像控制部51基于来自输入部17的摄像所涉及的指示来控制包含透镜驱动部43等的摄像部16的摄像。具体地，摄像控制部51控制包含透镜驱动部43等的摄像部16，来进行对焦包围摄影。
[0048]在此，所谓“对焦包围摄影”是如下手法:仅按压一次输入部17的解锁按钮，就在焦点对准任意被摄体的位置(规定的聚焦位置)、和驱动调整透镜驱动部43来使焦点在其前后偏移的位置(从规定的聚焦位置偏移的聚焦位置)的各位置连拍多张摄像图像。
[0049]另外，在本实施方式的对焦包围摄影中，由摄像控制部51控制摄像部16，首先在焦点对准被摄体的聚焦位置进行摄影(下面称作“被摄体对焦图像摄影”)，接下来，在焦点对准被摄体以外的被摄体的背景的聚焦位置进行摄影(下面称作“非被摄体对焦图像摄影”)，通过摄像处理取得在全焦点图像的数据的生成中使用的2张摄像图像的数据。
[0050]在本实施方式中，如图3的示例所示那样，通过被摄体对焦图像摄影所取得的摄像图像pi (下面称作“被摄体对焦图像pi”)成为焦点对准作为被摄体的“花”、背景的“公园”发生模糊的图像。
[0051 ] 另外，在本实施方式中，通过非被摄体对焦图像摄影所取得的摄像图像P2 (下面称作“非被摄体对焦图像P2”)成为焦点对准被摄体以外的作为被摄体的背景的“公园”、而作为被摄体的“花”模糊的图像。
[0052]本实施方式中的全焦点图像只要是基于被摄体对焦图像和非被摄体对焦图像这样的至少2张图像的多焦点的图像即可。
[0053]摄像图像取得部52取得从摄像部16输出的摄像图像的数据。
[0054]另外，摄像图像取得部52首先从摄像部16取得通过被摄体对焦图像摄影而焦点对准了被摄体的被摄体对焦图像Pi的数据。
[0055]接下来，摄像图像取得部52从摄像部16取得通过非被摄体对焦图像摄影而焦点对准了被摄体的背景的、即被摄体的“花”模糊的摄像图像的非被摄体对焦图像P2的数据。如此，在本实施方式中，取得2张焦点不同的即多焦点的摄像图像(被摄体对焦图像pi以及非被摄体对焦图像P2)的数据来进行全焦点图像的数据的生成。
[0056]另外，在本实施方式中，如图3的示例所示那样，摄像图像取得部52由于包含随风摇动的“花”(移动体)进行摄影，因此，在被摄体对焦图像摄影时、和非被摄体对焦图像摄影时，取得视场角内的“花”的位置不同的摄像图像(被摄体对焦图像Pi以及非被摄体对焦图像p2)的数据。
[0057]之后，摄像图像取得部52将取得的摄像图像(被摄体对焦图像Pl以及非被摄体对焦图像P2)的数据输出到摄像图像存储部71。
[0058]边缘比较图像作成部53根据由摄像图像取得部52取得的被摄体对焦图像pi和非被摄体对焦图像P2，来作成由比较了边缘强度的边缘图(edge map)构成的边缘比较图像。该边缘比较图像用于根据边缘的变化来判别摄影对象的距离，基于判别出的摄影对象的距离，来作成与摄影对象的形状相符的景深图。
[0059]景深图作成部54根据由边缘比较图像作成部53作成的边缘比较图像来判别摄影对象的距离,例如作成以2值构成摄像装置I到对象的相对距离的景深图dmpl、dmp2、dmp3，作为图像内的被摄体、背景的位置关系。景深图作成部54为了判别是被摄体还是被摄体以外而使用边缘比较图像。另外，在本实施方式中，作成的景深图dmpl、dmp2、dmp3取2值,构成为:在值为“O”的情况下作为“背景”处置，在值为“I”的情况下作为“被摄体”处置。因此，在景深图dmpl、dmp2、dmp3中，如图3的示例所示那样，值为“O”的背景的部分是用黑色(暗的颜色)显示的部分，值为“I”的被摄体的部分是用白色(明亮的颜色)显示的部分。值在黑色(暗的颜色)的“O”的情况下表征摄影对象较远，在白色(明亮的颜色)的“I”的情况下表征摄影对象较近。具体地，由于相当于“花”和“花”旁边的“草”的区域为白色(明亮的颜色)，因此判别为“花”和“草”较近。
[0060]另外，景深图的作成既可以构成为以I个像素为单位进行处理，也可以构成为以将多个像素设为I个处理单位的规定的块单位进行处理。
[0061]景深图作成部54具备:根据取得的多个图像来生成图像的景深图(本实施方式为2个图像的景深图)的图像景深图作成部91 ;和根据多个图像的景深图来作成图像合成用的I个景深图的合成用景深图作成部92。
[0062]图像景深图作成部91使用由边缘比较图像作成部53作成的边缘比较图像、和由摄像图像取得部52取得的被摄体对焦图像pl，作成与包含于被摄体对焦图像Pl的摄影对象的形状相符的图像的景深图dmpl (下面称作“被摄体景深图dmpl”)。
[0063]另外，图像景深图作成部91使用由边缘比较图像作成部53作成的边缘比较图像、和由摄像图像取得部52取得的非被摄体对焦图像p2，作成与包含于非被摄体对焦图像p2的摄影对象的形状相符的图像的景深图dmp2 (下面称作“非被摄体景深图dmp2”)。
[0064]合成用景深图作成部92对由图像景深图作成部91作成的被摄体景深图dmpl以及非被摄体景深图dmp2这2个图像的景深图进行OR运算的处理，作成合成用景深图dmp3。
[0065]在此，所谓“0R运算”是作为针对像素值的选择性运算的运算，是仅在进行运算的像素的输入的两者均为“O”的情况下成为“O”的运算。即，在本实施方式中，仅在被摄体景深图dmpl和非被摄体景深图dmp2这两者的景深图取“O”的值的情况下，在合成用景深图dmp3中成为“O”的值。
[0066]S卩，在本实施方式中，由于使用2值的景深图，因此使用基于OR运算的作成手法。
[0067]图像合成部55基于由合成用景深图作成部92作成的合成用景深图dmp3，对被摄体对焦图像Pl与非被摄体对焦图像P2进行图像合成，来生成全焦点图像P3的数据。在本实施方式中，图像合成部55使用合成用景深图dmp3作为α图(a map)，根据求得的系数(阿尔法值)进行半透明合成被摄体对焦图像Pl和非被摄体对焦图像P2的基于所谓的α混合的图像合成。即，图像合成部55提取与合成用景深图dmp3中的“O”的值的区域对应的被摄体对焦图像Pl的区域，提取与合成用景深图dmp3中的“I”的值的区域对应的非被摄体对焦图像P2的区域来进行图像合成。
[0068]在本实施方式中，通过将用OR运算作成的合成用景深图dmp3用作α图，将被摄体景深图dmpl、和非被摄体景深图dmp2的两者的被摄体的区域设为提取的被摄体的区域，因此，优先采用与在被摄体未抖动的被摄体对焦图像中提取的被摄体的区域对应的区域。由此，能生成没有余像的全焦点图像P3的数据。
[0069]之后，图像合成部55将生成的全焦点图像p3的数据存储在合成图像存储部72中。
[0070]输出控制部56进行控制，从输出部18显示输出由图像合成部55生成的全焦点图像p3的数据。
[0071]图4是示意表征全焦点图像p3的数据的生成手法的图。
[0072]在以基于对焦包围摄影的方式来生成全焦点图像p3的数据的情况下，即在使用于合成的图像中包含有移动体的被摄体时，若使用根据I个图像作成的景深图(例如被摄体景深图dmpl)来进行图像合成，则会不考虑移动体的移动部分的区域地将该区域作为背景来采用，在生成的全焦点图像P3的被摄体中会产生余像。
[0073]但是，在本实施方式中的手法中，如图4所示那样，根据被摄体对焦图像pl、非被摄体对焦图像P2来作成合成用景深图dmp3，其中合成用景深图dmp3将区域R3 (下面称作“合成被摄体区域R3”)设为移动体的被摄体的区域，该区域R3是将被摄体对焦图像pl内的被摄体区域R1、和非被摄体对焦图像P2内的被摄体区域R2的区域合起来的区域。[0074]然后，与合成用景深图dmp3的合成被摄体区域R3对应地，切出与被摄体对焦图像Pl中的合成被摄体区域R3相当的区域R4，切出非被摄体对焦图像p2中的合成被摄体区域R3以外的区域R5，对它们进行图像合成，从而生成全焦点图像p3。即，全焦点图像p3由与被摄体对焦图像Pl的合成被摄体区域R3相当的区域R4、和非被摄体对焦图像p2的合成被摄体区域R3以外的区域R5构成。
[0075]由此，若以图3的示例进行说明，则为了将从被摄体对焦图像pl的视场角发生偏移而成为移动体的非被摄体对焦图像P2中的“花”的区域也设为从被摄体对焦图像Pl切出的区域，能不采用发生抖动的非被摄体对焦图像P2的被摄体的区域，由此能抑制余像的产生。
[0076]另外，通过使用本手法，抑制了在对焦于背景的情况下模糊的前景对被摄体与背景完全分离而产生的遮蔽(occlusion)的影响，能期待合成画质的提升。
[0077]S卩，通过使用本手法，提升了全焦点图像p3的数据的生成画质即，能生成高品质的全焦点图像P3的数据。
[0078]接下来，说明具有这样的功能性构成的摄像装置I执行的全焦点图像生成处理的流程。
[0079]图5是说明具有图2的功能性构成的图1的摄像装置I执行的全焦点图像生成处理的流程的流程图。
[0080]所谓全焦点图像生成处理是直到根据聚焦位置不同的多张摄像图像的数据生成了全焦点图像的数据为止的一连串处理。
[0081]全焦点图像生成处理在用户使用输入部17进行了执行全焦点图像生成处理的规定的操作的情况下，以该操作为契机而开始。
[0082]在步骤SI，摄像控制部51控制摄像部16来进行摄像处理(对焦包围摄影)，拍摄被摄体对焦图像pl。即，摄像控制部51在图3的示例中，以盛开在“公园”一角的“花”为被摄体来拍摄使焦点对准了 “花”的被摄体对焦图像Pl。之后，摄像图像取得部52取得所拍摄的被摄体对焦图像Pl的数据，并将其存储到摄像图像存储部71。
[0083]在步骤S2中，摄像控制部51控制摄像部16进行摄像处理(对焦包围摄影)，拍摄非被摄体对焦图像P2。即，摄像控制部51以盛开于“公园”一角的“花”为被摄体，拍摄将焦点对准了 “花”的背景的“公园”的风景的非被摄体对焦图像P2。非被摄体对焦图像p2的摄影时，摄像控制部51变更聚焦位置以使焦点对准背景的“公园”的风景，由此来进行摄影。摄像图像取得部52取得所拍摄的非被摄体对焦图像p2的数据，并将其存储在摄像图像存储部71中。
[0084]在步骤S3中，边缘比较图像作成部53根据由摄像图像取得部52取得的被摄体对焦图像Pl和非被摄体对焦图像p2，来作成由比较了各个图像的边缘强度得到的边缘图构成的边缘比较图像。
[0085]在步骤S4中，图像景深图作成部91使用由边缘比较图像作成部53作成的边缘比较图像、和由摄像图像取得部52取得的被摄体对焦图像pl，作成与被摄体对焦图像pl中的被摄体的形状相符的被摄体景深图dmp I。
[0086]在步骤S5中，图像景深图作成部91使用由边缘比较图像作成部53作成的边缘比较图像、和由摄像图像取得部52取得的非被摄体对焦图像p2，来作成与非被摄体对焦图像p2中的被摄体的形状相符的非被摄体景深图dmp2。
[0087]在步骤S6中，合成用景深图作成部92对由图像景深图作成部91作成的被摄体景深图dmpl以及非被摄体景深图dmp2进行OR运算,来作成合成用景深图dmp3。
[0088]在步骤S7,图像合成部55基于由合成用景深图作成部92作成的合成用景深图dmp3,对被摄体对焦图像PI和非被摄体对焦图像p2进行图像合成,从而生成全焦点图像p3的数据。然后，图像合成部55将生成的全焦点图像p3的数据存储在合成图像存储部72中。
[0089]在步骤S8，输出控制部56使全焦点图像p3的数据在输出部18显示输出。由此，全焦点图像生成处理结束。
[0090]根据以上那样的摄像装置1，具备:摄像图像取得部52、图像景深图作成部91、合成用景深图作成部9、和图像合成部55。
[0091]摄像图像取得部52取得焦点不同的被摄体对焦图像pl以及非被摄体对焦图像p2的数据。
[0092]图像景深图作成部91对每个取得的被摄体对焦图像pl以及非被摄体对焦图像p2，来作成按每个像素表征图像内的被摄体的距离关系的被摄体景深图dmpl以及非被摄体景深图dmp2。
[0093]合成用景深图作成部92对作成的被摄体景深图dmpl以及非被摄体景深图dmp2施加规定的处理，作成合成用景深图dmp3。
[0094]图像合成部55基于作成的合成用景深图dmp3来合成被摄体对焦图像pl以及非被摄体对焦图像P2的数据，从而生成全焦点图像p3的数据。
[0095]因此，在摄像装置I中，例如即使是随风摇动的花等的被摄体为移动体，也能生成余像少的全焦点图像P3的数据，能提升全焦点图像p3的数据的合成画质。另外，能抑制在对焦于背景的情况下模糊的前景对被摄体与背景完全分离而产生的遮蔽的影响，能期待全焦点图像P3的数据的合成画质的提升。
[0096]合成用景深图作成部92进行的规定的处理是由图像景深图作成部91作成的2值的被摄体景深图dmpl以及非被摄体景深图dmp2的OR运算处理。
[0097]因此，在摄像装置I中，由于是简单的处理，因此处理负担少，能以高速进行处理。
[0098]摄像图像取得部52取得以第I焦点拍摄的被摄体对焦图像pl、和以与被摄体对焦图像Pl不同的第2焦点拍摄的非被摄体对焦图像p2的多个图像数据。
[0099]图像景深图作成部91按每个图像作成以2值表征图像内的被摄体的距离与第I焦点对应还是与第2焦点对应的被摄体景深图dmpl以及非被摄体景深图dmp2。
[0100]合成用景深图作成部92进行的规定的处理在被摄体景深图dmpl以及非被摄体景深图dmp2中的值不同的情况下，是优先决定第I焦点和第2焦点中的与移动的被摄体对应的焦点的OR运算处理。
[0101]因此，在摄像装置I中，由于能作成包含移动体的移动部分而成为被摄体的区域的合成用景深图dmp3，因此，即使被摄体为移动体也能生成余像少的全焦点图像p3的数据，能提升全焦点图像P3的数据的合成画质。
[0102]另外，本发明并不限定于上述实施方式，在能达成本发明的目的的范围内的变形、改良等也包含在本发明中。
[0103]在上述实施方式中，在合成用景深图dmp3的作成时，由于使用2值的图像的景深图dmpl、dmp2，因此通过OR运算来进行处理，但并不限于此。例如在使用多值的图像的景深图dmpl、dmp2的情况下，合成用景深图dmp3也可以通过选择任意的图像的景深图dmpl、dmp2的最大的值的处理来作成。
[0104]具体地，例如摄像图像取得部52取得第I焦点和第2焦点的多个图像数据，图像景深图作成部91对每个图像作成以多值表征图像内的被摄体的距离的被摄体景深图dmpl以及非被摄体景深图dmp2。
[0105]然后，在合成用景深图作成部92进行的规定的处理中，能构成为在使用按所述每个图像生成的多值的景深图的情况下，进行选择实施处理的值中最大的值这样的处理。
[0106]如此，通过选择最大的值，在摄像装置I中，由于是简单的处理，因此处理负担少，能以高速进行处理。
[0107]另外，在上述实施方式中，根据2张多焦点的摄像图像pl、p2的数据来生成全焦点图像P3的数据，但并不限于此。全焦点图像的数据也可以根据3张以上图像的数据来生成。这种情况下，可以进行取得的2张图像的图像合成，将后面反复处理的其它的图像的数据与生成的合成图像的数据依次合成，由此来生成全焦点图像的数据。通过如此生成全焦点图像的数据，与一次性将全部图像合成的情况相比，能生成在高画质上更高品质的全焦点图像的数据。具体地，例如能构成为:图像合成部55进行取得的图像中的规定的2张图像合成，同样反复合成后面反复处理的其它的图像，由此生成全焦点图像的数据。
[0108]另外，在上述实施方式中，非被摄体对焦图像使用了焦点对准被摄体后面的摄影对象(公园的风景)的图像，但并不限于此。非被摄体对焦图像只要是未将焦点对准了被摄体的图像即可，例如也可以使用在过焦点或无限远拍摄的图像、将焦点对准了近距离的摄影对象(例如与摄像装置有50cm距离的墙壁等)的图像、将焦点对准了被摄体的近前处的图像等的图像。
[0109]另外，在上述实施方式中，构成为以像素为单位进行各运算处理，但并不限于此。也可以以减轻处理负担等为目的，构成为不是以最小单位而是以规定的块为单位来进行各
运算处理。
[0110]另外，在上述实施方式中，通过α混合来进行图像的合成，但并不限于此。例如，图像的合成只要能合成2个图像中的对焦区域即可，能使用加法合成等各种手法。
[0111]另外，在上述实施方式中，用自设备的摄像部16拍摄成为生成全焦点图像Ρ3的数据的基础的图像来取得摄像图像的数据，用在处理中，但并不限于此。取得的图像也可以使用从外部装置等取得的摄像图像或使用单纯的图像的数据来构成。这种情况下，需要取得例如在与图像内的被摄体的位置关系(例如距摄像装置I的距离)相关的信息等的景深图的作成中所需要的信息。
[0112]另外，在上述实施方式中，应用本发明的摄像装置I以数码相机为例进行了说明，但并不特别限定于此。另外，本发明还能应用不具有摄像的功能而基于在外部拍摄的图像进行全焦点图像生成处理的图像处理装置。
[0113]例如，本发明一般能应用在具有全焦点图像生成处理功能的电子设备。具体地，例如本发明能应用在笔记本型的个人计算机、打印机、电视接收机、摄像机、便携型导航装置、便携式电话机、智能手机(smart phone )、可移动游戏机等中。
[0114]上述一连串处理既能通过硬件执行，也能通过软件执行。[0115]换言之，图2的功能性构成仅为例示，并不进行特别限定。即，只要在摄像装置I具备能作为整体执行上述一连串处理的功能足矣，为了实现功能而使用怎样的功能块并不仅限于图2的示例。
[0116]另外，I个功能块既可以由硬件单体构成，也可以由软件单体构成，也可以由软硬件的组合构成。
[0117]在由软件执行一连串处理的情况下，将构成该软件的程序从网络或记录介质安装到计算机等中。
[0118]计算机也可以是嵌入到专用的硬件中的计算机。另外，计算机也可以是通过安装各种程序而能执行各种功能的计算机，例如泛用的个人计算机。
[0119]包含这样的程序的记录介质为了向用户提供程序不仅可以由与装置主体分开而分发的图1的可移动介质31构成，还可以由以预先嵌入到装置主体的状态向用户进行提供的记录介质等构成。可移动介质31例如由磁盘(包含软盘)、光盘、或光磁盘等构成。光盘例如由 CD — ROM (Compact Disk-Read Only Memory,只读光盘)，DVD (Digital VersatileDisk，数字通用光盘)、BD (Blu-ray Disc，蓝光盘)等构成。光磁盘由MD (Min1-Disk，迷你光盘)等构成。另外，以预先嵌入装置主体的状态向用户进行提供的记录介质例如由记录程序的图1的R0M12、包含在图1的存储部19的硬盘等构成。
[0120]另外，在本说明书中，关于记述记录于记录介质的程序的步骤沿着其顺序而时间序列地进行的处理当然并不一定非要时间序列地进行处理，还包含并行或个别执行的处理。
[0121]上面说明了本发明的几个实施方式，这些实施方式只是例示，并不限定本发明的技术的范围。本发明能采取其它各种实施方式，进而能在不脱离本发明的要旨的范围内进行省略、置换等各种变更。这些实施方式、或其变形包含在本说明书等记载的发明的范围或要旨中，并包含在权利要求的范围所记载的发明和与其等同的范围内。
[0122]在上面使用优选实施方式说明了本发明，本发明包含但不限定于上面说明的细节，所有的实施方式都落在附加的权利要求的范围内。
【权利要求】
1.一种图像处理装置，其特征在于，具备: 取得部，其取得焦点不同的多个图像的数据； 第I图生成部，其针对由所述取得部取得的多个图像的每一个，生成按每规定数的像素来表征图像内的被摄体的距离的关系的景深图； 第2图生成部，其对由所述第I图生成部生成的多个景深图施加规定的处理，来生成新的景深图；和 图像合成部，其根据由所述第2图生成部生成的所述新的景深图中所指定的每个像素的合成的比例，按每个像素合成所述多个图像的数据，来生成全焦点图像的数据。
2.根据权利要求1所述的图像处理装置，其特征在于， 所述取得部改变焦点进行多次的摄影来取得多个图像的数据， 所述第2图生成部进行的规定的处理是如下的处理，即，进行所述第I图生成部所生成的至少2个以上的多值的2个景深图的针对像素值的选择性运算， 所述图像合成部按照所述多值的值来选择合成的比例，进行合成。
3.根据权利要求2所述的图像处理装置，其特征在于， 所述合成的比例是0%以及100%。
4.根据权利要求2所述的图像处理装置，其特征在于， 所述取得部取得第I焦点和第2焦点的多个图像数据，` 所述第I图生成部按所述多个图像的每一个来生成以2值表征图像内的被摄体的距离是与所述第I焦点对应还是与所述第2焦点对应的2个景深图， 所述第2图生成部进行的规定的处理是如下的处理:对于2个景深图中的值不同的像素，进行优先决定与所述第I焦点对应的值和与第2焦点对应的值中的与对应于移动的被摄体的焦点对应的值的针对像素值的选择性运算。
5.根据权利要求1所述的图像处理装置，其特征在于， 所述第2图生成部进行的规定的处理是选择由所述第I图生成部生成的3个以上的多值的2个景深图的值中最大的值的处理。
6.根据权利要求4所述的图像处理装置，其特征在于， 所述取得部取得第I焦点和第2焦点的多个图像数据， 所述第I图生成部按所述多个图像的每一个来生成以多值表征图像内的被摄体的距离的2个景深图， 所述第2图生成部进行的规定的处理是如下处理:在使用按所述多个图像的每一个生成的多值的景深图的情况下，将进行处理的值当中的最大的值相加。
7.根据权利要求1所述的图像处理装置，其特征在于， 所述图像合成部进行所取得的所述图像中的规定的2张图像的合成，对后面反复处理的其它的图像同样地反复合成，来生成全焦点图像的数据。
8.一种图像处理方法，其特征在于，包含: 取得步骤，取得焦点不同的多个图像的数据； 第I图生成步骤，按通过所述取得步骤取得的多个图像的每一个，生成按每规定数的像素来表征图像内的被摄体的距离的关系的景深图； 第2图生成步骤，对通过所述第I图生成步骤生成的多个景深图施加规定的处理，来生成新的景深图；和 图像合成步骤，根据通过所述第2图生成步骤生成的所述新的景深图中所指定的每个像素的合成的比例，按每个像素合成所述图像的数据，来生成全焦点图像的数据。
【文档编号】H04N5/232GK103731601SQ201310466886
【公开日】2014年4月16日 申请日期:2013年10月9日 优先权日:2012年10月12日
【发明者】松本康佑 申请人:卡西欧计算机株式会社