图像处理装置、方法、拍摄装置及其程序的记录介质与流程

文档序号:22886968发布日期:2020-11-10 18:04阅读:62来源:国知局
本发明涉及一种生成已抑制被摄物模糊的图像的图像处理技术,尤其涉及一种图像处理装置、方法、拍摄装置及其程序的记录介质。
背景技术
::当被摄物的移动快于快门速度(shutterspeed)时,有时所拍摄的图像会产生被摄物模糊。因此,已提出有用于抑制被摄物模糊的产生的拍摄技术、或生成已抑制被摄物模糊的图像的图像处理技术。例如,专利文献1所述的拍摄装置利用进行动态图像数据的编码的编码器(encoder)的移动矢量信息,算出能够抑制被摄物模糊的曝光时间,控制拍摄动态图像时的快门速度。[现有技术文献][专利文献][专利文献1]日本专利特开2011-244144号公报技术实现要素:[发明所要解决的问题]在专利文献1所述的拍摄装置中,以算出能够抑制被摄物模糊的曝光时间之中、理论上最长的曝光时间(即,最慢的快门速度)作为适当的曝光时间。但是,实际上,通过在比所述适当的曝光时间更长的曝光时间进行拍摄,有可能获得未产生被摄物模糊的高品质的图像。另外,所谓被摄物模糊,是指由于被摄物的移动快于快门速度,而导致被摄物模糊的现象。并且,在专利文献1所述的拍摄装置中,如果设定比真正适当的曝光时间更短的曝光时间作为适当的曝光时间,就会设定高拍摄灵敏度以弥补光量的不足。因此,有时由于以高拍摄灵敏度进行拍摄,而在所拍摄的图像中产生噪点(noise)。本发明是鉴于所述问题而成,其目的在于提供一种生成高品质的图像的图像处理技术。[解决问题的技术手段]根据本发明的一个实施例,图像处理装置包括:对准部,进行图像组的对准,所述图像组是按时序顺序连续的图像组,包括在第一曝光时间拍摄到的多个短时间曝光图像、及在比第一曝光时间更长的第二曝光时间拍摄到的长时间曝光图像;以及输出部,当长时间曝光图像满足条件时,输出长时间曝光图像,当长时间曝光图像不满足条件时,输出合成图像,所述合成图像由选自多个短时间曝光图像的短时间曝光图像合成。根据本发明的一个实施例,拍摄装置,包括:拍摄部;对准部,进行图像组的对准,所述图像组是按时序顺序连续的图像组,包括在第一曝光时间由所述拍摄部拍摄到的多个短时间曝光图像、及在比所述第一曝光时间更长的第二曝光时间由所述拍摄部拍摄到的长时间曝光图像;以及输出部,当所述长时间曝光图像满足条件时,输出所述长时间曝光图像,当所述长时间曝光图像不满足所述条件时,自所述多个短时间曝光图像选择的短时间曝光图像合成而输出合成图像。根据本发明的一个实施例,图像处理方法,包括:在按时序顺序连续的图像组中,对包括在第一曝光时间拍摄到的多个短时间曝光图像、及在比所述第一曝光时间更长的第二曝光时间拍摄到的长时间曝光图像的图像组,进行图像组的对准;以及当所述长时间曝光图像满足条件时,输出所述长时间曝光图像,当所述长时间曝光图像不满足所述条件时,自所述多个短时间曝光图像选择的短时间曝光图像合成而输出合成图像。根据本发明的一个实施例,计算机可读的记录介质,存储着计算机程序,所述计算机程序由处理器执行时进行下述处理:在按时序顺序连续的图像组中,对包括在第一曝光时间拍摄到的多个短时间曝光图像、及在比所述第一曝光时间更长的第二曝光时间拍摄到的长时间曝光图像的图像组,进行图像组的对准;以及当所述长时间曝光图像满足条件时,输出所述长时间曝光图像,当所述长时间曝光图像不满足所述条件时,自所述多个短时间曝光图像选择的短时间曝光图像合成而输出合成图像。[发明的效果]根据本发明的图像处理技术,生成一方面被摄物模糊得以抑制,一方面噪点少的图像。其结果为,获得可生成高品质的图像的效果。附图说明图1是表示图像处理装置的功能构成的一例的框图。图2是表示图像处理的流程的一例的流程图。图3是表示曝光时间导出的流程的一例的流程图。图4是表示基于移动矢量导出曝光时间的情形的图。图5是表示曝光时间与iso灵敏度的关系的曲线图例。图6是表示输出长时间曝光图像的具体例的图。图7是表示输出合成图像的具体例的图。图8是表示智能手机的功能构成的一例的框图。图9是表示记录介质的一例的图。[符号的说明]100:图像处理装置110:输入部120:曝光时间导出部130:拍摄控制部140:获取部150:对准部160:排序部170:判定部180:合成部190:输出部1000:智能手机具体实施方式以下,参照附图,说明用于实施本发明的实施例的一例。另外,在附图的说明中,对相同的元件标注相同的符号,有时省略重复说明。所述实施方式中所记载的构成元件说到底是例示,其主旨并非将本发明的范围限定于这些实施方式。[实施方式]以下,说明用于实现本发明的图像处理技术的实施方式的一例。图1是表示本实施方式的一个实施例的图像处理装置100的功能构成的一例的框图。图像处理装置100例如包括输入部110、曝光时间导出部120、拍摄控制部130、获取部140、对准部150、排序(sort)部160、判定部170、合成部180及输出部190。这些构件是例如图像处理装置100的未图示的处理部(处理装置)或控制部(控制装置)所含的功能部(功能块),包括中央处理器(centralprocessingunit,cpu)或数字信号处理器(digitalsignalprocessor,dsp)等处理器、或专用集成电路(applicationspecificintegratedcircuit,asic)等集成电路而构成。输入部110中,作为一例,具有如下的功能:接收图像处理装置100的外部的拍摄部200所拍摄的图像(以下称为“拍摄图像”)的输入。曝光时间导出部120中,作为一例,具有如下的功能:基于输入至输入部110的拍摄图像,导出(算出)与所述拍摄图像相对应的曝光时间。拍摄控制部130是对拍摄部200进行控制或对拍摄部200所进行的拍摄进行控制的功能部。拍摄控制部130中,作为一例,具有设定拍摄部200的曝光时间的功能,并且作为一例,具有设定与曝光时间导出部120所导出的曝光时间相对应的iso灵敏度的功能。获取部140中,作为一例,具有如下的功能:从输入至输入部110的图像,获取短时间曝光图像集(set)及长时间曝光图像。详细情况将在后文描述。对准部150中,作为一例,具有如下的功能:进行包括短时间曝光图像集及长时间曝光图像的图像组的对准。排序部160中,作为一例,具有如下的功能:按规定的基准,对已通过对准部150而对准的短时间曝光图像集、及长时间曝光图像进行排序。判定部170中,作为一例,具有如下的功能:判定在已通过排序部160而排序的图像组中,长时间曝光图像是否排在阈值以上。合成部180中,作为一例,具有如下的功能:进行针对图像的锐度的阈值判定,将图像组(短时间曝光图像集的一部分)合成为一张图像。输出部190中,作为一例,具有输出合成部180所合成的图像的功能。在这里,所谓图像的“输出”,是如下的概念:除了在本装置中的图像的显示(显示输出)以外,还包括向本装置中的其它功能部的图像的输出(内部输出)、或向本装置以外的装置(外部装置)的图像的输出(外部输出)或发送(外部发送)等。(图像处理的顺序)图2是表示本实施方式中的图像处理的顺序例的流程图。图2的流程图中的处理是通过例如图像处理装置100的未图示的处理部将存储部300中所存储的图像处理程序的代码(code)读出至未图示的随机存取存储器(randomaccessmemory,ram)并加以执行而实现。另外,在图1中,是从图像处理装置100的构成元件中将存储部300除外而表示,但是也可以在图像处理装置100的构成元件中包含存储部300。并且,图2的流程图中的各符号s是指步骤。并且,以下说明的流程图说到底只是表示本实施方式中的图像处理的顺序的一例,当然也可以追加其它步骤,或删除一部分步骤。在s201中,输入部110接收拍摄部200所拍摄到的拍摄图像的输入。另外,所输入的拍摄图像例如也可以设为显示在未图示的显示部。在s202中,曝光时间导出部120进行导出拍摄部200的曝光时间的曝光时间导出处理。图3是用于说明曝光时间导出处理的顺序例的流程图。s2021~s2024的处理是通过曝光时间导出部120而执行。在s2021中,通过曝光时间导出部120而从拍摄图像获取移动矢量。在这里,所谓“移动矢量”,是指表示在拍摄图像中产生有移动的区域内的移动的方向及大小的矢量。在本实施方式中,作为一例,在时序上连续的两张拍摄图像中,使用块匹配(blockmatching)等公知的方法,获取移动矢量。图4是用于说明基于所获取的移动矢量导出曝光时间的原理的图。在图4中,拍摄图像410及拍摄图像420分别表示在时序上先拍摄到的拍摄图像及后拍摄到的拍摄图像。在这里,拍摄图像410中的宏块(macroblock)411与拍摄图像420中的宏块422是设为包含相同的被摄物。这时,曝光时间导出部120导出从宏块411所存在的位置到宏块422的位置为止的位移量,作为宏块422的移动矢量。在图4中,宏块411曾经存在的位置是用虚线矩形表示,宏块422的移动矢量是用虚线箭头表示。返回到图3,在s2022中,获取设定值。在s2022中所获取的设定值是表示对在至少两张拍摄图像中相对应的像素间的空间距离(表示空间距离的像素数)允许何种程度的值。设定值越小,所允许的像素间的距离越短,设定值越大,所允许的像素间的距离越长。即,设定值可以说是表示所允许的被摄物模糊的大小的指标(指标值)。曝光时间导出部120例如获取预先存储于存储部300的设定值。另外,设定值也可以设为预先存储于存储部300,但是除此以外,例如,也可以设为设定如下的值,即,由用户通过未图示的操作部而输入的值。此外,设定值例如也可以设为设定如下的值,即,通过服务器客户端系统(serverclientsystem)等从服务器等外部装置由未图示的通信部接收到的值,还可以利用互联网等通过通信部下载设定值等而进行设定。在s2023中,获取拍摄时间间隔。在s2023中所获取的拍摄时间间隔例如可以设为拍摄两张拍摄图像的时间间隔。具体地说,例如,当拍摄图像是实时取景动画中所含的帧(frame)时,拍摄时间间隔可以设为与帧率(framerate)相对应的帧间隔。另外,也可以设为代替所述拍摄时间间隔,而获取由拍摄时间间隔规定的期间即拍摄期间,进行以后的处理。在s2024中,导出曝光时间。在本实施方式中,基于在s2023中所获取的拍摄时间间隔,导出用于将两张拍摄图像中相对应的像素间的空间距离抑制在设定值以内(或未达设定值)的曝光时间。在这里,例如,当将移动矢量的矢量量值(矢量的大小、矢量的值)设为m,将设定值设为x,将拍摄时间间隔设为d时,所导出的曝光时间t可以用以下的数式(1)表示。t=d×x/m…(1)例如,考虑图4所示的两张拍摄图像是30fps的实时取景动画中所含的两张帧的情况。当将所获取的移动矢量的矢量量值设为“17.24”,将设定值设为“5”时,通过所述数式(1),而算出:t=33[ms]×5/17.24=9.57[ms]。因此,曝光时间导出部120导出“9.57ms”作为曝光时间。当s2024结束后,结束曝光时间导出处理,返回到主流程图的处理。再次回到图2的主流程图,进行曝光时间导出处理之后,在s203中,拍摄控制部130设定拍摄部200的曝光时间。在本实施方式中,拍摄控制部130设定用于拍摄短时间曝光图像的曝光时间(以下称为“第一曝光时间”)、及用于拍摄长时间曝光图像的曝光时间(以下称为“第二曝光时间”)。在s202中所导出的曝光时间在理论上,可以说是能够将被摄物模糊抑制在设定值以内的最长的曝光时间。在本实施方式中,作为一例,将在s202中导出的曝光时间设定为第一曝光时间。另一方面,将第二曝光时间设定为比第一曝光时间更长的曝光时间。例如,将第一曝光时间的“2.0倍”的曝光时间设定为第二曝光时间。另外,用于设定第二曝光时间的倍率可以任意设定。并且,也可以根据亮处、暗处等拍摄环境,变更所述倍率。此外,拍摄控制部130设定与所导出的曝光时间相对应的iso灵敏度。具体地说,拍摄控制部130例如基于以下的方法,设定iso灵敏度。iso灵敏度可以通过数值或电平等来设定。接着,以如下的方式进行控制:将所设定的iso灵敏度输出至拍摄部200,以所述iso灵敏度使拍摄部200进行拍摄。图5是表示曝光时间与iso灵敏度的对应关系的曲线图例。在所述曲线图中,横轴表示曝光时间,纵轴表示iso灵敏度。所谓iso灵敏度,是指表示某胶片(film)至多在何种程度弱的光下能够进行记录的指标值(灵敏度)。并且,根据曝光时间与快门速度的关系,在横轴的曝光时间,以打括号方式记作快门速度。拍摄控制部130例如基于所述曝光时间与iso灵敏度的对应关系,根据曝光时间导出部120所导出的曝光时间属于哪个范围,设定相对应的iso灵敏度。曝光时间与iso灵敏度的对应关系例如,如后文在实施例中所述,可以作为iso灵敏度表预先存储于存储部300。在s204中,处理部判定是否检测到规定的快门操作。所述规定的快门操作例如可以设为用于连拍摄影(例如快速捕捉摄影)的快门操作。并且,用于连拍摄影的快门操作例如可以设为对未图示的快门按钮的长按操作。当未检测到规定的快门操作时(s204:否(no)),再次重复s201~s203。另一方面,当检测到规定的快门操作时(s204:是(yes)),转移至s205。在s205中,获取部140获取拍摄部200所拍摄到的短时间曝光图像集及长时间曝光图像。所谓短时间曝光图像集,是指例如通过将s204的规定的快门操作设为触发(trigger)的连拍摄影(例如快速捕捉摄影)而拍摄的在第一曝光时间拍摄到的多个短时间曝光图像(多个短时间曝光图像集)。此外,在s205中,例如,还获取将s204的规定的快门操作设为触发,在第二曝光时间拍摄到的长时间曝光图像。即,可以说也进行支架摄影,即,将s204的规定的快门操作设为触发,改变曝光时间而拍摄多张图像。在s206中,对准部150进行包括短时间曝光图像集及长时间曝光图像的图像组的对准。例如,当用户手持智能手机进行拍摄时,在图像间产生像素的位置偏离的可能性大。因此,进行所获取的短时间曝光图像集及长时间曝光图像的对准。例如,对准部150可以进行使用光流(opticalflow)的公知的对准处理。在所述方法中,还包括块匹配法或梯度法等方法。或者,也可以针对每个拍摄图像,获取来自陀螺仪传感器(gyroscopesensor)等惯性传感器的传感器输出值,根据图像间的位移量进行对准。在s207中,排序部160按规定的基准,对在s206中经对准的短时间曝光图像集及长时间曝光图像进行排序。在本实施方式中,所述图像组是从锐度高的图像起按降序排列替换。所谓“锐度”,是表示图像的清晰度的一种指标(指标值)。图像的锐度例如能够将强度不同的两种高斯滤波器(gaussianfilter)应用于图像,使用经实施晕映处理的两张图像的差的平方值(方差和(sumofsquareddifference,ssd))。并且,在排序部160中,也可以不但考虑锐度,而且考虑其它基准进行排序。例如,也可以将与锐度相应的分数(score)、以及与和其它图像共同的重叠区域的大小相应的分数赋予至各图像,以总分数呈降序的方式对图像进行排列替换。通过考虑重叠区域的大小,能够将在后述的合成处理(s210)中适合于合成的图像排在上位。在s208中,判定部170判定在s207中经排序的图像组中,长时间曝光图像是否排在阈值以上。具体地说,例如,如果图像组是按锐度顺序排序,就可以使用针对预定的锐度的阈值(阈值锐度)。这时,判定部170例如分类成锐度为阈值以上的图像组、及锐度低于阈值的图像组。接着,判定部170在长时间曝光图像包含于锐度为阈值以上的图像组时(s208:是),从存储部300删除长时间曝光图像以外的图像。另外,在s208中,也可以设为判定部170分类成锐度超过阈值的图像组、及锐度为阈值以下的图像组,并且设为当长时间曝光图像包含于锐度超过阈值的图像组时,从存储部300删除长时间曝光图像以外的图像。然后,在s209中,输出部190输出长时间曝光图像,结束本流程图的处理。如上所述,第一曝光时间在理论上,可以说是能够将被摄物模糊抑制在设定值以内的最长的曝光时间。但是,即使在第二曝光时间拍摄的情况下,也不一定在长时间曝光图像中产生被摄物模糊。因此,本实施方式的图像处理装置100在一次连拍摄影(例如快速捕捉摄影)中获取短时间曝光图像集及长时间曝光图像,如果长时间曝光图像为规定的阈值以上,就推断为未产生被摄物模糊,输出所述长时间曝光图像。图6是表示在本实施方式中输出长时间曝光图像的具体例的图。在图6中,表示了使一张长时间曝光图像与七张短时间曝光图像对准(s206)的情形。矩形表示各图像,矩形内的数字是指所述图像的锐度。在图6的例中,如果按锐度顺序对图像组进行排序,则长时间曝光图像在总共八张图像中排在第三。例如,当针对锐度的阈值为350时,锐度为“403”、“399”、“387”、“365”的四张图像是锐度为阈值以上的图像组,锐度为“316”、“316”、“311”、“290”的四张图像是锐度低于阈值的图像组。其结果为,长时间曝光图像包含于阈值以上的图像组中,因此从存储部300删除短时间曝光图像,并输出长时间曝光图像。另一方面,在图2的处理中,当长时间曝光图像不含于锐度为阈值以上的图像组时(s208:否),转移至s210。在s210中,合成部180将锐度为阈值以上的短时间曝光图像的图像组(即,短时间曝光图像集的一部分)合成为一张图像,从存储部300删除低于阈值的图像组。接着,在s211中,输出部190输出在s210中所合成的图像(以下称为“合成图像”),结束本流程图的处理。如又从图5所知,作为倾向,第一曝光时间越短(即,快门速度越快),拍摄控制部130设定越高的iso灵敏度。当拍摄部200以高iso灵敏度拍摄时,在拍摄图像中高灵敏度噪点有可能增多。因此,本实施方式的图像处理装置100在推断为长时间曝光图像中产生有被摄物模糊时,以阈值以上的短时间曝光图像集为对象,进行所谓的多帧噪点去除处理。图7是表示在本实施方式中输出合成图像的具体例的图。在图7中,表示了使一张长时间曝光图像与七张短时间曝光图像对准(s206)的情形。矩形表示各图像,矩形内的数字是指所述图像的锐度。在图7的具体例中,当按锐度顺序对图像组进行排序时,长时间曝光图像在总共八张图像中排在第五。例如,当针对锐度的阈值为350时,锐度为“403”、“399”、“387”、“365”的四张图像是锐度为阈值以上的图像组,锐度为“316”、“316”、“311”、“290”的四张图像是锐度低于阈值的图像组。其结果为,长时间曝光图像不含于阈值以上的图像组,因此将锐度为“403”、“399”、“387”、“365”的四张短时间曝光图像合成为一张图像,从存储部300删除低于阈值的图像组(包括长时间曝光图像),并输出合成图像。另外,所述长时间曝光图像的锐度为阈值以上、或长时间曝光图像的锐度超过阈值是针对长时间曝光图像的条件的一例。并且,合成所述锐度为阈值以上(或者超过阈值)的短时间曝光图像的图像组的操作,是合成选自多个短时间曝光图像的短时间曝光图像的操作的一例。<实施例>其次,说明应用有所述图像处理装置100或包括所述图像处理装置100的拍摄装置、电子装置(电子设备)及信息处理装置的实施例。在这里,作为一例,说明一种带相机功能(带拍摄功能)的手机即智能手机的实施例。但是,当然,能够应用本发明的实施例并不限定于所述实施例。图8是表示本实施例中的智能手机1000的功能构成的一例的图。智能手机1000例如包括处理部1100、操作部1200、触摸面板1230、显示部1250、存储部1300、声音输出部1400、拍摄部1500、通信部1600、时钟部1700及陀螺仪传感器1800。处理部1100是按照存储于存储部1300的系统程序等各种程序,统一控制智能手机1000的各部,或进行图像处理的相关各种处理的处理装置,包括cpu或dsp等处理器、或asic等集成电路而构成。处理部1100中,作为主要功能部,包括曝光时间导出部120、拍摄控制部130、获取部140、对准部150、排序部160、判定部170、合成部180及显示控制部195。这些功能部分别对应于图1的图像处理装置100所含的功能部。但是,作为图1的图像处理装置100所含的输出部190进行的输出的一个形态,显示控制部195进行使显示部1250显示(显示输出)各种图像的控制。操作部1200是包括操作按钮或操作开关等供用户对智能手机1000进行各种操作输入的输入装置而构成。并且,操作部1200包括与显示部1250构成为一体的触摸面板1230,所述触摸面板1230作为用户与智能手机1000之间的输入接口(inputinterface)而发挥作用。从操作部1200,将按照用户操作的操作信号输出至处理部1100。显示部1250是包括液晶显示器(liquidcrystaldisplay,lcd)等而构成的显示装置,进行基于从显示控制部195输出的显示信号的各种显示。在本实施例中,显示部1250与触摸面板1230构成为一体而形成触摸屏(touchscreen)。声音输出部1400是包括扬声器等而构成的声音输出装置,进行基于从处理部1100输出的声音输出信号的各种声音输出。拍摄部1500是构成为能够拍摄任意场景(scene)的图像的拍摄器件,包括电荷耦合器件(chargecoupleddevice,ccd)影像传感器或互补金属氧化物半导体(complementarymetaloxidesemiconductor,cmos)影像传感器等拍摄元件(半导体元件)而构成。拍摄部1500通过未图示的透镜,使从拍摄对象物发出的光在拍摄元件的受光平面上成像,通过光电转换,而将像的光的明暗转换成电信号。经转换的电信号通过未图示的模拟-数字(analogdigital,a/d)转换器而转换成数字信号,输出至处理部1100。通信部1600是用于在与外部的信息处理装置之间收发在装置内部使用的信息的通信装置。作为通信部1600的通信方式,可以应用各种方式,如经由依据规定的通信规格的电缆进行有线连接的形式、经由被称为传输座(cradle)的兼用作充电器的中间装置而连接的形式、利用近距离无线通信而无线连接的形式等。时钟部1700是智能手机1000的内部时钟,包括例如水晶振子及振荡电路即水晶振荡器而构成。时钟部1700的计时信息被随时输出至处理部1100。陀螺仪传感器1800例如是检测三轴的绕轴角速度的传感器。陀螺仪传感器1800的检测结果被随时输出至处理部1100。存储部1300是包括只读存储器(readonlymemory,rom)或电可擦只读存储器(electricallyerasableprogrammablereadonlymemory,eeprom)、快闪存储器(flashmemory)、ram等易失性或非易失性的存储器、硬盘装置等而构成的存储装置。在本实施例中,在存储部1300中,例如存储图像处理程序1310、iso灵敏度表1320、输入图像用缓存(buffer)1330、短时间曝光(shorttimeexposure,ste)图像数据库1340及长时间曝光(longtimeexposure,lte)图像数据库1350。图像处理程序1310是由处理部1100读出,作为图像处理而执行的程序。所述图像处理例如是作为基于图2所示的流程图的处理而执行。在iso灵敏度表1320中,例如以表形式规定了如图5所示的曝光时间与iso灵敏度的对应关系。输入图像用缓存1330例如是将拍摄部1500所拍摄的拍摄图像作为输入图像而存储的缓存。ste图像数据库1340例如是存储在第一曝光时间拍摄到的短时间曝光图像的数据库。lte图像数据库1350例如是存储在第二曝光时间拍摄到的长时间曝光图像的数据库。智能手机1000的处理部1100按照存储于存储部1300的图像处理程序1310,进行图像处理。所述图像处理是按照图2所示的流程图而执行。这时,在图2的处理中,显示控制部195使显示部1250显示在s201中输入部110所接收到的输入图像(拍摄图像)例如作为实时取景图像。并且,显示控制部195使构成为触摸屏的显示部1250,显示能够经由触摸面板1230而触摸操作的快门按钮。接着,判定部170在s204中,判定是否经由触摸面板1230对显示于显示部1250的快门按钮进行了触摸操作(例如,快门按钮的长按操作)。并且,显示控制部195在s208的判定结果为肯定判定时(s208:是),使显示部1250显示长时间曝光图像(s209)。并且,显示控制部195在s208的判定结果为否定判定时(s208:否),使显示部1250显示在s210中所生成的合成图像(s211)。<实施方式的效果>本实施方式的图像处理装置100中,通过对准部150而进行图像组的对准,所述图像组是由获取部140获取到的按时序顺序连续的图像组,包括在第一曝光时间拍摄到的多个短时间曝光图像、及在比第一曝光时间更长的第二曝光时间拍摄到的长时间曝光图像。并且,当长时间曝光图像满足条件(例如针对锐度的条件)时,输出长时间曝光图像,当长时间曝光图像不满足条件时,从输出部190输出合成图像,所述合成图像是由选自多个短时间曝光图像的短时间曝光图像合成。由此,生成一方面被摄物模糊得以抑制,一方面噪点少的图像。其结果为,能够输出高品质的图像。并且,这时,输出部190在长时间曝光图像不满足条件时,输出由满足条件的短时间曝光图像合成的合成图像,因此能够在适当地选择合成的短时间曝光图像之后,输出高品质的图像。并且,图像处理装置100中,排序部160按规定的基准,对已通过对准部150而对准的图像组进行排序,因此由后段的判定部170判定针对长时间曝光图像的条件变得容易。并且,这时,排序部160基于锐度对经对准的图像组进行排序,从而能够简便且适当地对图像组进行排序。并且,这时,排序部160对于成为排序对象的图像,在已通过对准部150而对准的图像组中与其它图像共同的重叠区域越大,越排在上位,从而能够实现考虑到重叠区域的大小的排序。其结果为,可将适合于利用合成部180而合成的图像排在上位。并且,图像处理装置100中,合成部180基于已通过排序部160而排序的图像组,生成合成图像。并且,合成部180在长时间曝光图像的锐度未达到规定的锐度时,对锐度已达到规定的锐度的多个短时间曝光图像进行合成。因此,能够基于锐度适当的短时间曝光图像生成合成图像,能够生成高品质的图像。并且,图像处理装置100中,曝光时间导出部120导出与拍摄部200所拍摄的拍摄图像中所含的被摄物的移动矢量量值相应的曝光时间。接着,拍摄控制部130对拍摄部200进行控制。然后,拍摄控制部130基于曝光时间导出部120所导出的曝光时间对拍摄部200的曝光时间进行控制,从而能够使拍摄部200进行基于适当的曝光时间的拍摄。并且,这时,通过将拍摄部200的曝光时间设为第一曝光时间,能够使拍摄部200进行基于适当的曝光时间的多个短时间曝光图像的拍摄。并且,这时,当将拍摄图像中所含的被摄物的移动矢量量值设为m,将预定的设定值设为x,将对拍摄图像进行拍摄的时间间隔设为d时,曝光时间导出部120所导出的曝光时间t用t=d×x/m表示。接着,通过将设定值设为如下的像素数,即,表示在至少两张拍摄图像中相对应的像素间的空间距离的像素数,可以在设定适当的设定值之后,通过简单的计算而导出曝光时间。并且,通过将所述条件,设为针对长时间曝光图像的锐度的条件,可以基于长时间曝光图像的锐度,简便且适当地判定输出长时间曝光图像与合成图像中的哪个图像。<变形例>能够应用本发明的实施方式并不限定于所述实施方式。以下,对变形例进行说明。<指标值>在所述实施方式中,是使用锐度作为图像的指标值,但是这说到底是一个示例,也可以设为使用其它指标值。指标值也可以根据获取到的各图像的像素值算出,只要是能够评估画质的值,就也可以是锐度以外的值。作为锐度以外的指标值,例如可以应用明度(明亮度)、噪点量、对比度(contrast)、及白平衡(whitebalance)等。也可以设为使用这些锐度以外的指标值,进行与所述实施方式同样的处理。<条件>在所述实施方式中,是将针对长时间曝光图像的条件设为针对锐度的条件,但是并不限定于此。具体地说,例如,也可以将针对长时间曝光图像的条件,设为针对所述锐度以外的指标值的条件。并且,例如,算出短时间曝光图像集的锐度的平均值或中央值等统计值。并且,也可以对于针对长时间曝光图像的条件,将长时间曝光图像的锐度达到所算出的统计值以上(或超过统计值)作为条件。<合成图像>在所述实施方式中,是设为当长时间曝光图像的锐度低于阈值时,输出将锐度为阈值以上的短时间曝光图像合成为一张图像的合成图像,但是并不限定于此。具体地说,例如,当长时间曝光图像的锐度低于阈值时,从短时间曝光图像集之中,选择锐度大于长时间曝光图像的锐度的短时间曝光图像。并且,也可以设为生成并输出将所选择的短时间曝光图像合成为一张图像的合成图像。并且,例如,当长时间曝光图像的锐度低于阈值时,算出短时间曝光图像集的锐度的平均值或中央值等统计值,选择锐度大于这些统计值的短时间曝光图像。并且,也可以设为生成并输出将所选择的短时间曝光图像合成为一张图像的合成图像。并且,例如,当长时间曝光图像的锐度低于阈值时,从短时间曝光图像集之中按锐度从高到低的顺序选择固定数量的短时间曝光图像,从锐度为阈值以上的短时间曝光图像之中按锐度从高到低的顺序选择固定数量的短时间曝光图像。并且,也可以设为生成并输出将所选择的短时间曝光图像合成为一张图像的合成图像。并且,例如,也可以设为当长时间曝光图像的锐度为阈值以上(或者超过阈值)时,生成并输出将锐度为阈值以上(或者超过阈值)的短时间曝光图像及长时间曝光图像合成为一张图像的合成图像。<图像处理装置的构成>所述图像处理装置100的构成元件中,不一定所有构成元件都是必需。具体地说,例如,也可以设为排除图1所示的图像处理装置100的构成元件之中的获取部140,对准部150从输入至输入部110的拍摄图像之中,选择图像组进行对准,所述图像组包括在第一曝光时间拍摄到的短时间曝光图像集、及在比第一曝光时间更长的第二曝光时间拍摄到的长时间曝光图像。并且,例如,也可以排除对准部150。并且,例如,也可以设为从图像处理装置100的构成元件中排除拍摄控制部130,将拍摄控制部130设置于拍摄部200。<拍摄装置等>并且,在所述实施例中,例示了将本发明应用于拍摄装置、电子装置(电子设备)、信息处理装置的一例即智能手机的情况,但是并不限定于此。除了智能手机等手机以外,本发明也可以应用于相机、个人数字助理(personaldigitalassistant,pda)、个人电脑、导航装置(navigationdevice)、手表、各种平板电脑终端(tabletterminal)等各种装置。并且,所述各种装置可包括拍摄部(拍摄构件),但是也可以不一定包括拍摄部。这时,例如,只要设为从包括拍摄部的外部装置输入拍摄图像的数据,基于所输入的拍摄图像的数据进行图像处理即可。<记录介质>并且,在所述实施方式中,是将图像处理的相关各种程序或数据存储于存储部300,通过处理部读出并执行这些程序,而实现所述各实施方式中的图像处理。这时,各装置的存储部除了rom、eeprom、快闪存储器、硬盘、ram等内部存储装置以外,还可以包括存储卡(安全数字(securedigitalcard,sd)卡)、紧凑闪存(compactflash)(注册商标)卡、记忆棒(memorystick)、通用串行总线(universalserialbus,usb)存储器、可复写式光盘(compactdisc-rewritable,cd-rw)(光盘)、磁光(magneto-optical,mo)盘等记录介质(记录媒介(recordingmedium)、外部存储装置、存储介质),也可以设为使这些记录介质存储所述各种程序或数据。图9是表示此情况下的记录介质的一例的图。在图像处理装置100中,设置有用于插入存储卡301的卡槽(cardslot)310,并且设置有卡读写器(reader-writer,r/w)320,所述卡读写器(r/w)320用于读取插入至卡槽310的存储卡301中所存储的信息,或将信息写入至存储卡。卡读写器320按照处理部的控制,进行将记录于存储部300的程序或数据写入至存储卡301的工作。记录于存储卡301的程序或数据构成为通过在图像处理装置100以外的外部装置中读取,而能够在所述外部装置中实现所述实施方式中的图像处理。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1