成像装置、成像方法及程序的制作方法

专利名称：成像装置、成像方法及程序的制作方法
技术领域：
本发明涉及使具有视差的曝光量不同的多个图像成像的成像装置，特别地，涉及具有测量到对象的距离和生成由多个图像合成的宽动态范围图像的功能的成像装置。
背景技术：
近年来，数码照相机的使用在以监视照相机、车载照相机等为代表的诸如安全、基础设施和保险的广泛应用中快速增长。与普通家用数码照相机的性能需求(例如，高图像质量和高分辨率)不同，在这些应用中的使用需要例如，宽动态范围，用于在任何环境下使对象可靠地成像而不丢失阴影和高亮细节；以及为了传感(sensing)的目的，测量到对象的距离的测距功能。生成宽动态范围图像的常见方式是将以不同曝光量拍摄的多个图像合成，并且之前已经提出了多种技术。利用具有视差的多个图像来测量到图像中的对象的距离的常见技术是在图像之间对对象执行匹配并且将三角测量的原理应用于对象在每个图像中的成像位置。之前也已经提出了用于在图像之间进行匹配的多种方法。因此，已经独立地提出了各种用于生成宽动态范围图像和测量距离的技术，也已经提出了用于依据具有视差的曝光量不同的多个图像执行宽动态范围图像的生成和距离的测量的技术。例如，专利文件1中所描述的成像装置具有使具有视差的曝光量相同的多个图像以及没有视差的曝光量不同的多个图像成像的单元。该成像装置依据前者图像来测量到对象的距离并依据后者图像生成宽动态范围图像，从而提供距离信息和宽动态范围图像两者。现有技术文件专利文件专利文件1 日本专利国内公表公报特表No. 2003-18617

发明内容
本发明要解决的问题然而，传统的技术需要具有视差的曝光量相同的两个图像来测量到对象的距离， 需要没有视差的曝光量不同的两个图像来生成宽动态范围图像，所以总共需要至少4个图像。假设图像由普通的立体照相机(stereo camera)拍摄，该立体照相机能够在一帧画面中拍摄具有视差的曝光量相同的两个图像，所以将以曝光量η在给定的时间在第t帧内拍摄图像，并且以曝光量m在下一个第(t+Ι)帧内拍摄图像。然后可以依据在同一帧内
4所拍摄的两个图像来确定距离信息。然而，宽动态范围图像的生成需要将第t帧内所拍摄的图像与第(t+Ι)帧内所拍摄的图像合成，所以在要合成的两个图像之间存在成像中的时滞。在对象移动的场景中，将存在由于移动而造成发生模糊图像的问题。在使用能够在一帧画面中拍摄具有视差的曝光量不同的两个图像的立体照相机的情况下，将在给定时间，在第t帧内，由照相机A以曝光量η拍摄图像并由照相机B以曝光量m拍摄图像，并且在第(t+Ι)帧内，由照相机A以曝光量m拍摄图像并由照相机B以曝光量η拍摄图像。然后，可以依据在同一帧中拍摄的两个图像来生成宽动态范围图像。然而，利用在不同帧中拍摄的图像来执行距离测量，因此在成像中存在时滞。在对象移动的场景中，将存在无法正确计算到对象的距离的问题，因为该对象在帧之间移动。为了解决传统问题而作出的本发明的目的在于，提供一种同时执行宽动态范围图像的生成和到对象的距离的测量的成像装置和成像方法。解决问题的手段本发明的成像装置包括成像单元，利用多个成像器件以不同曝光量进行成像，以生成具有视差的曝光量不同的图像；图像亮度调节单元，基于用于使每个图像成像的曝光量，调节由成像单元所成像的多个图像的亮度；匹配单元，使用经亮度调节的具有视差的多个图像来执行图像之间的匹配，并且确定指定具有视差的图像之间彼此对应的区域的匹配信息；距离计算单元，基于关于构成给定对象的图像的区域的匹配信息，确定到给定对象的距离；位置修正单元，基于匹配信息，修正具有视差的图像中的位置，以便从具有视差的图像中消除视差；以及宽动态范围图像生成单元，将经位置修正单元修正了位置的曝光量不同的多个图像进行合成，从而生成具有比成像单元所成像的图像更宽的动态范围的图像。本发明的优点本发明具有主要优势在于，能够同时执行宽动态范围图像的生成和到对象的距离的测量。如下所述，存在本发明的其他方面。因此，本发明的公开意在提供本发明的部分方面，而并非意在限制这里所描述和要求的本发明的范围。




图1是示出本发明实施例的成像装置的示意性结构的框图； 图2示出本发明实施例的通常的曝光量控制； 图3示出本发明实施例的曝光量控制；
图4示出从本发明实施例的成像单元100对图像进行的图像曝光量改变； 图5示出从本发明实施例的成像单元101对图像进行的图像曝光量改变； 图6示出本发明实施例的图像匹配的流程； 图7是本发明实施例的匹配内插处理的操作流程图； 图8Α示出关于构成图像的每个像素的匹配信息m ； 图8B示出关于构成图像的每个像素的匹配信息η ； 图8C示出综合(integrate)的匹配信息； 图9是示出本发明实施例的匹配信息的内插处理的框图； 图10是示出本发明实施例的图像中位置修正的框图；以及
5
图11是示出本发明实施例的生成宽动态范围图像的框图。
具体实施例方式以下为本发明的详细说明。下面所述的实施例只是本发明的例子，本发明可以在多方面改变。因此，以下所公开的具体结构和功能并不限制权利要求。本实施例的成像装置包括成像单元，利用多个成像器件以不同曝光量进行成像， 以生成具有视差的曝光量不同的图像；图像亮度调节单元，基于用于使每个图像成像的曝光量，调节由成像单元所成像的多个图像的亮度；匹配单元，使用经亮度调节的具有视差的多个图像来执行图像之间的匹配，并且确定指定具有视差的图像之间彼此对应的区域的匹配信息；距离计算单元，基于关于构成对象的图像的区域的匹配信息，确定到给定对象的距离；位置修正单元，基于匹配信息，修正具有视差的图像中的位置，以便从具有视差的图像中消除视差；以及宽动态范围图像生成单元，将经位置修正单元修正了位置的曝光量不同的多个图像进行合成，从而生成具有比成像单元所成像的图像更宽的动态范围宽的图像。在该结构中，可以同时执行宽动态范围图像的生成和到对象的距离的测量。本实施例的成像装置具有这样的结构图像亮度调节单元利用用于使每个图像成像的曝光量的比来调节图像的亮度。在该结构中，可以从具有视差的曝光量不同的多个图像获得由曝光量不同引起的亮度差异经调整的具有视差的图像。本实施例的成像装置具有这样的结构成像单元成像，从而生成具有视差的曝光量不同的第一和第二图像；图像亮度调节单元生成经调节的第一图像和经调节的第二图像，经调节的第一图像是基于第二图像的曝光量而调节了亮度的第一图像，经调节的第二图像是基于第一图像的曝光量而调节了亮度的第二图像；以及匹配单元在第一图像与经调节的第二图像之间执行匹配以确定第一匹配信息，在经调节的第一图像与第二图像之间执行匹配以确定第二匹配信息，并综合第一匹配信息和第二匹配信息以确定匹配信息。该结构使得能够通过利用第一和第二匹配信息而适当地生成匹配信息。本实施例的成像装置具有这样的结构对于既未通过第一图像与经调节的第二图像之间的匹配确定、也未通过经调节的第一图像与第二图像之间的匹配确定其对应区域的区域，匹配单元利用关于有关区域周围的区域的对应信息，通过内插处理确定对应关系。该结构使得也能够对于未通过图像亮度经调节了的图像之间的匹配而确定其完整的对应关系的区域，通过内插关于周围区域的匹配信息来确定匹配信息。本实施例的成像方法包括步骤利用多个成像器件以不同曝光量进行成像，以生成具有视差的曝光量不同的图像；基于用于使每个图像成像的曝光量，调节多个成像的图像的亮度；利用经亮度调节的具有视差的多个图像，执行图像之间的匹配，并且确定指定具有视差的图像之间彼此对应的区域的匹配信息；基于关于构成对象的图像的区域的匹配信息，确定到给定对象的距离；基于匹配信息，修正具有视差的图像中的位置，以便从具有视差的图像中消除视差；以及将在位置修正步骤中位置经修正的曝光量不同的多个图像进行合成，从而生成具有比所成像的图像更宽的动态范围的图像。本实施例的程序具有这样的结构为了基于以不同曝光量成像的具有视差的多个图像而生成图像，使计算机执行以下步骤基于用于使每个图像成像的曝光量，调节多个图像的亮度；利用经亮度调节的具有视差的多个图像，执行图像之间的匹配，并且确定指定具有视差的图像之间彼此对应的区域的匹配信息；基于关于构成对象的图像的区域的匹配信息，确定到给定对象的距离；基于匹配信息，修正具有视差的图像中的位置，以便从具有视差的图像中消除视差；以及将在位置修正步骤中位置经修正的曝光量不同的多个图像进行合成，从而生成具有比所成像的图像更宽的动态范围的图像。在该结构中，本实施例的成像方法和程序可以同时生成宽动态范围图像和测量到对象的距离。本实施例的成像装置的各个结构可应用于本实施例的成像方法和程序。现在，将参考附图来说明本发明实施例的成像装置。图1示出实施例的成像装置1的结构。成像装置1包括照相机100和101，用于执行使对象成像并输出画面信号的基本成像功能；曝光量控制单元30，用于分别控制照相机100和101的曝光量，使得它们提供预定曝光量比；图像曝光量改变单元200，用于在图像缓冲单元中存储从照相机100输出的图像和该图像经亮度调节而得的图像；图像曝光量改变单元201，用于在图像缓冲单元中存储从照相机101输出的图像和该图像经亮度调节而得的图像；图像视差修正单元300，用于在由图像曝光量改变单元200和201存储的且曝光量实际上彼此相同的图像之间执行匹配，基于通过匹配而获得的匹配信息而对匹配信息执行综合和内插处理，以及基于所综合的匹配信息而修正由照相机101成像的图像中的位置，以便消除它与由照相机100成像的图像之间的视差；距离计算单元31，用于依据由照相机100成像的图像和由图像视差修正单元300所确定的匹配信息，计算从成像装置到图像中的对象的距离；以及宽动态范围图像生成单元32，用于将由照相机100成像的图像与由图像视差修正单元300修正了位置的图像进行合成，从而生成宽动态范围图像。水平地分开预定距离地安装照相机100和101。照相机100和101构成本发明的“成像单元”。照相机100包括透镜10、光圈11、成像器件12、A/D转换单元13和画面信号处理单元14。照相机100调节光圈和快门速度(未示出)以便达到由曝光量控制单元30指定的曝光量(曝光量m)，并且拍摄图像。从对象通过透镜10入射的光由光圈11限制，以在成像器件12上形成图像。成像器件12对所形成的图像进行光电转换并输出模拟信号。A/D 转换单元13将从成像器件12输出的模拟信号转换为数字信号。画面信号处理单元14执行信号处理，用以从经A/D转换的数字信号生成画面信号。画面信号处理单元14执行亮度信号生成、色彩信号生成、光圈信号生成和其他信号处理、以及OB减法(subtraction)、白平衡调节、噪声降低以及其他普通的画面信号处理。照相机101具有与照相机100相同的结构。照相机101调节光圈和快门速度以便达到由曝光量控制单元30指定的曝光量(曝光量η)，并且拍摄图像。下面将说明用于控制照相机100和101的曝光量的曝光量控制单元30。首先，将参考图2说明通常的曝光量控制方法。通常，控制曝光量以使得画面的亮度值变得与预定目标亮度值相等。例如，在帧t(曝光量a)确定画面亮度值。可以将整个画面的平均值或者某种画面中心加权的值用作画面亮度值。将画面亮度值与预定目标亮度值比较，如果画面亮度值小于目标亮度值，则将帧 t+Ι的曝光量(曝光量b)设置为b>a，使得帧t+Ι变得比帧t亮。随着成像操作，通过打开光圈或者将快门速度设置得较低以使得曝光量变大，来增加曝光量。相反地，如果画面亮度值大于目标亮度值，则将帧t+Ι的曝光量设置为b < a,使得帧t+Ι变得比帧t暗。随着成像操作，通过缩小光圈或者将快门速度设置得较快，来降低曝光量。如果画面亮度值等于目标亮度值，则曝光量a是合适的曝光量，因此将帧t+Ι的曝光量设置为b = a。这是一般的曝光量控制。在该实施例中，将曝光量不同的图像合成以生成可以使范围从亮对象到暗对象的对象成像的宽动态范围的图像，所以将照相机100和101设置为曝光量彼此不同。图3示出本实施例的曝光量控制。例如，如果对于帧t的照相机100的曝光量为 mt，则规定照相机101的曝光量nt为曝光量mt的1/指定比。该指定比可以是任何值，这里， 为了说明的目的，假设指定比为8，则曝光量nt为mt/8。即，因为曝光量nt为曝光量mt的 1/8，所以由照相机101成像的图像变得比由照相机100成像的图像暗8倍。换言之，可以由照相机101成像的对象的照度的上限是可以由照相机100成像的对象的照度的上限的8 倍。因此，例如，如太阳那样的由于其过分的亮度导致通过照相机100丢失了高亮细节的对象，变得能够通过照相机101以合适的亮度成像。相反地，如树和人那样的能够通过照相机100以合适的亮度成像的对象，通过照相机101成像较暗。因为照相机100执行前面所描述的通常的曝光量控制，以便为下一帧t+Ι确定曝光量mt+1，但是，照相机101的曝光量可以参考照相机100的曝光量而计算出，照相机101不执行通常的曝光量控制，而是基于照相机100所确定的曝光量mt+1，通过IV1 =mt+1/指定比来确定曝光量。虽然指定比越大， 可以生成越宽动态范围的图像，但是，由于需要将曝光量非常不同的图像进行合成，所以在例如图像质量等某些方面存在问题，并且考虑到动态范围的扩展和图像质量恶化的不利影响两者，需要建立适中的指定比。通过将在这种亮度关系中成像的两个图像进行合成，可以生成可以使范围从亮对象到暗对象的对象以合适的亮度成像的宽动态范围图像。返回图1，图像曝光量改变单元200包括图像亮度调节单元15以及图像缓冲单元 16 和 17。图4示出图像曝光量改变单元200。图像曝光量改变单元200的图像亮度调节单元15用从曝光量控制单元30输入的照相机100和101之间的曝光量比作为增益，来乘以由照相机100成像的图像。现在，如果照相机100的曝光量为m而照相机101的曝光量为 n，则增益为n/m。所以，实际上可以从由照相机100以曝光量m所成像的图像生成与由照相机101以曝光量η所成像的图像相当的图像。这两个图像分别存储在图像缓冲单元16和 17中。图5示出图像曝光量改变单元201。图像曝光量改变单元201具有和图像曝光量改变单元200相同的结构。图像曝光量改变单元201的图像亮度调节单元15用从曝光量控制单元30输入的照相机100和101之间的曝光量比m/n作为增益，来乘以由照相机101 成像的图像。所以，实际上可以从由照相机101以曝光量η所成像的图像生成与由照相机 100以曝光量m所成像的图像相当的图像。这两个图像分别存储在图像缓冲单元16和17 中。返回图1，图像视差修正单元300包括匹配单元21和22、匹配内插单元23和位置修正单元24。图6示出图像之间的匹配。由照相机100成像的图像(曝光量m)存储在图像曝光量改变单元200的图像缓冲单元16中，而经亮度调节的图像(相当于曝光量η)存储在图像曝光量改变单元200的图像缓冲单元17中。由照相机101成像的图像(曝光量η)存储在图像曝光量改变单元201的图像缓冲单元16中，而经亮度调节的图像(相当于曝光量 m)存储在图像曝光量改变单元201的图像缓冲单元17中。将这四个图像输入到图像视差修正单元300。匹配单元21在图像(曝光量m)和图像(相当于曝光量m)的两个图像之间执行图像匹配，而匹配单元22在图像(曝光量η)和图像(相当于曝光量η)的两个图像之间执行图像匹配。即，在以相同曝光量成像的具有视差的图像之间执行匹配。这里，应用已知方法作为在两个图像之间匹配的技术，但是本发明并不局限于特定的匹配技术。该匹配可以建立图像之间的像素的对应。显示这种对应的信息称为匹配信息。在图像(曝光量m)和图像(相当于曝光量m)之间所执行的匹配的结果称为匹配信息m，而在图像(曝光量η)和图像(相当于曝光量η)之间所执行的匹配的结果称为匹配信息η。匹配内插单元23综合并内插匹配信息m和n，从而为图像中的每个像素生成匹配信息ALL。图7是用于生成匹配信息ALL的流程图。将参考图7描述匹配内插单元23进行的处理。首先，匹配内插单元23执行基于匹配信息m和η综合匹配信息的步骤(SlO)。基于所综合的匹配信息执行下列流程。然后，匹配内插单元23对画面中的所有像素执行下列步骤(Sll到S16)。即，首先选择像素0作为目标像素(Sll)；对目标像素执行下列步骤(S12 到S16)；然后按顺序递增将作为目标像素的像素，这使得能够对所有像素执行该处理。下面将对目标像素P进行说明。匹配内插单元23判断是否为目标像素P确定匹配信息(S12)，如果已经确定了匹配信息，则继续为下一个像素进行该处理(S15)。如果还没有确定匹配信息，则匹配内插单元23搜索目标像素ρ周围的且已经确定了匹配信息的像素(S13)，通过内插关于该周围的像素的匹配信息而确定关于目标像素P的匹配信息，并且向目标像素P提供通过内插所确定的匹配信息(S14)。因为这使得能够为目标像素ρ确定匹配信息，所以匹配内插单元23 继续为下一个像素进行该处理(SM)。当匹配内插单元23已经结束对作为目标像素的所有像素的处理时，匹配内插单元23结束该处理(S16)。在该处理的结尾，可以达到向所有像素提供匹配信息的状态。图8Α到图8C示出图7的流程图中的匹配综合步骤(SlO)。为了便于描述，图8Α 到图8C显示了将图像简化为包括4个水平像素乘3个垂直像素的总共12个像素的示意图。 在说明中，像素从像素的左上角到右上角按顺序称为像素0、像素1、像素2和像素3，并且下
移一行，从左到右按顺序进一步称为像素4、像素5........像素11。每个像素中(x，y)的
描述是匹配信息，其表示图像之间对应像素的坐标值或相对坐标值。图8A示出关于每个像素的匹配信息m，S卩，依据曝光量m的图像和相当于曝光量m 的图像而确定的匹配的状态。图8A示出为像素0、1、3、4、7和8确定匹配信息m，以及没有为其他像素确定匹配信息。图8B示出关于每个像素的匹配信息n，S卩，依据曝光量η的图像和相当于曝光量η 的图像确定的匹配的状态。图8Β示出为像素0、2、6、9、10和11确定匹配信息，以及没有为其他像素确定匹配信息。图8C示出综合以上匹配信息m和η的结果。在图8C中所示的匹配信息的综合中，
9如果只通过匹配信息m和η中的一个确定关于像素的匹配信息，则按其原样应用关于该像素的匹配信息。在该图中，像素1、2、3、4、6、7、8、9、10和11对应这种情况。至于通过m和 η两个匹配信息而确定匹配信息的像素，将两条匹配信息的平均值设置为综合后的匹配信息。在图8C中，像素0对应这种情况。尽管这里使用了平均值，但是可以优选地将任一个匹配信息设置为综合后的匹配信息。至于既未通过匹配信息m也未通过匹配信息η确定匹配信息的像素，在综合步骤时不确定匹配信息。在图8C中，像素5对应这种情况。图9示出针对图7的流程图中的匹配信息的内插处理(S12到S14)。图9示出图 8C中综合匹配信息的结果，在匹配信息综合时不向像素5提供匹配信息。在匹配信息的内插处理中，在未被提供匹配信息的像素周围的像素中搜索被提供了匹配信息的像素。在图9 所示的例子中，像素5周围的像素1、4、6和9被提供了匹配信息。图9示出基于分别提供给四个周围像素的匹配信息，通过内插计算关于像素5(x5，y5)的匹配信息的例子。这样， 通过内插关于周围像素的匹配信息，向在匹配信息综合时未被提供匹配信息的像素提供匹配信息，因此向所有的像素都提供了匹配信息。以上是对匹配内插单元23的说明。尽管这里已经示出了通过使用四个周围像素执行内插的例子，然而可以参考更宽区域中的像素， 或者，可以简单地分配关于上、下、左、右像素中的一个像素的匹配信息。图10示出位置修正单元对。位置修正单元M修正由照相机101成像的图像(曝光量η)中的位置，以便消除它与由照相机101成像的图像(曝光量m)之间的视差。由匹配单元21、22和匹配内插单元23所进行的处理已经确定了匹配信息ALL，其中在由照相机 100和101成像的图像之间建立逐像素对应，所以使用该匹配信息来执行位置修正。作为位置修正的结果，由照相机101成像的图像(曝光量η)变为在它与由照相机100成像的图像 (曝光量m)之间没有视差的图像。即，生成了没有视差的曝光量不同的两个图像。然后，距离计算单元31使用由照相机100成像的图像和匹配信息ALL来计算从照相机100到图像中的对象的距离。因为预先将照相机100和101安装为水平地分开预定距离，所以可以通过应用已知的三角测量方法作为计算到对象的距离的方法来确定该距离。 还可以将匹配信息应用于由照相机101成像的图像、以及由宽动态范围图像生成单元32生成的宽动态范围图像，所以该图像并不局限于由照相机100成像的图像。宽动态范围图像生成单元32将两个图像(即，由照相机100成像的图像(曝光量 m)和由照相机101成像并由位置修正单元对修正了位置的图像(曝光量η))进行合成，以生成宽动态范围图像，其是分别以曝光量m和η的合适的亮度水平成像的图像(见图11)。 将已知技术应用于合成两个曝光量不同的图像的方法。已知技术包括在例如专利文件1中所涉及的日本专利No. 4163353中所描述的技术。如上所见，本实施例的成像装置可以通过从同时拍摄的具有视差的曝光量不同的图像生成实际上曝光量相同的图像，同时执行宽动态范围图像的生成和到对象的距离的测量。在上述实施例的成像装置中，可以通过在计算机上执行程序来实现图像曝光量改变单元200和201、图像视差修正单元300、距离计算单元31和宽动态范围图像生成单元 32。这样的程序包含在本发明的范围内。尽管已经描述了目前被认为是本发明的优选实施例的实施例，但是可以对其进行各种修改和变化，而且意图是所附权利要求涵盖落在本发明的真正的精神和范围之内的所有这些修改和变化。工业适用性如上所述，根据本发明的成像装置具有能够依据同时拍摄的具有视差的曝光量不同的图像来同时执行宽动态范围图像的生成和到对象的距离的测量方面的主要优势，并且对需要宽动态范围图像和距离信息的传感类(sensing-type)照相机系统等是有用的。符号说明
1 成像装置
10 透镜
11 光圈
12 成像器件
13 :A/D转换单元
14:画面信号处理单元
15:图像亮度调节单元
16、17 图像缓冲单元
21,22 匹配单元
23 匹配内插单元
24 位置修正单元
30 曝光量控制单元
31 距离计算单元
32:宽动态范围图像生成单元
100、101 照相机
200、201 图像曝光量改变单元
300:图像视差修正单元
权利要求
1.成像装置，包括成像单元，利用多个成像器件以不同曝光量进行成像，以生成具有视差的曝光量不同的图像；图像亮度调节单元，基于用于使每个图像成像的曝光量，调节由所述成像单元所成像的多个图像的亮度；匹配单元，使用经亮度调节的具有视差的多个图像来执行图像之间的匹配，并且确定指定具有视差的图像之间彼此对应的区域的匹配信息；距离计算单元，基于关于构成给定对象的图像的区域的匹配信息，确定到所述给定对象的距离；位置修正单元，基于所述匹配信息，修正具有视差的图像中的位置，以便从具有视差的图像中消除视差；以及宽动态范围图像生成单元，将经位置修正单元修正了位置的曝光量不同的多个图像进行合成，从而生成具有比所述成像单元所成像的图像更宽的动态范围的图像。
2.如权利要求1所述的成像装置，所述图像亮度调节单元利用用于使每个图像成像的曝光量比来调节图像的亮度。
3.如权利要求1或2所述的成像装置，所述成像单元进行成像，从而生成具有视差的曝光量不同的第一和第二图像； 所述图像亮度调节单元生成经调节的第一图像和经调节的第二图像，经调节的第一图像是其亮度基于所述第二图像的曝光量而调节的第一图像，经调节的第二图像是其亮度基于所述第一图像的曝光量而调节的第二图像；以及所述匹配单元执行所述第一图像与经调节的第二图像之间的匹配以确定第一匹配信息，执行经调节的第一图像与所述第二图像之间的匹配以确定第二匹配信息，并且综合所述第一匹配信息和所述第二匹配信息以确定所述匹配信息。
4.根据权利要求3所述的成像装置，对于既未通过所述第一图像与经调节的第二图像之间的匹配而确定、也未通过经调节的第一图像与所述第二图像之间的匹配而确定其对应区域的区域，所述匹配单元利用关于有关区域周围的区域的对应信息，通过内插处理确定对应关系。
5.成像方法，包括下列步骤利用多个成像器件以不同曝光量进行成像，以生成具有视差的曝光量不同的图像； 基于用于使每个图像成像的曝光量，调节所成像的多个图像的亮度； 使用经亮度调节的具有视差的多个图像来执行图像之间的匹配，并且确定指定具有视差的图像之间彼此对应的区域的匹配信息；基于关于构成给定对象的图像的区域的匹配信息，确定到所述给定对象的距离； 基于所述匹配信息，修正具有视差的图像中的位置，以便从具有视差的图像中消除视差；以及将在位置修正步骤中修正了位置的曝光量不同的多个图像进行合成，从而生成具有比所成像的图像更宽的动态范围的图像。
6.程序，为了基于以不同曝光量成像的具有视差的多个图像生成图像，使计算机执行下列步骤基于用于使每个图像成像的曝光量，调节多个图像的亮度；使用经亮度调节的具有视差的多个图像来执行图像之间的匹配，并且确定指定具有视差的图像之间彼此对应的区域的匹配信息；基于关于构成给定对象的图像的区域的匹配信息，确定到所述给定对象的距离； 基于所述匹配信息，修正具有视差的图像中的位置，以便从具有视差的图像中消除视差；以及将在位置修正步骤中修正了位置的曝光量不同的多个图像进行合成，从而生成具有比所成像的图像更宽的动态范围的图像。
全文摘要
一种成像装置(1)包括照相机(100)(101)，生成具有视差的曝光量不同的多个图像；图像亮度调节单元(200)(201)，基于曝光量调节多个图像的亮度；匹配单元(21)(22)，利用经亮度调节的多个图像执行图像之间匹配，并确定匹配信息；距离计算单元(31)，基于匹配信息确定到给定对象的距离；位置修正单元(24)，基于匹配信息，修正具有视差的图像中的位置，以便从具有视差的图像中消除视差；宽动态范围图像生成单元(32)，将经位置修正单元(24)修正了位置的曝光量不同的多个图像进行合成，从而生成具有比照相机(100)(101)成像的图像更宽的动态范围的图像。因此，可以依据同时拍摄的具有视差的曝光量不同的图像，同时执行宽动态范围图像的生成和到对象的距离的测量。
文档编号G01C3/06GK102422124SQ20108001943
公开日2012年4月18日 申请日期2010年7月29日 优先权日2010年5月31日
发明者村松洋一 申请人:松下电器产业株式会社