专利名称：图像处理装置、图像处理方法以及图像处理程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法以及图像处理程序。
背景技术：
以往，作为图像处理装置，公知有接合所拍摄的图像而生成一张作为广角静态图像的全景静态图像的装置(例如参照专利文献1、2)。专利文献1、2所记载的图像处理装置在接合第I图像和第2图像时，在第I图像与第2图像重叠的区域内对小区域进行模板匹配而进行定位，进行2个图像重叠的区域中至少一个图像的像素值的灰度转换，对2个图像重叠的区域中的明亮度进行校正以使接缝不明显。
现有技术文献专利文献专利文献I :日本特开平9-321972号公报专利文献2 :日本特开平10-91765号公报
发明内容
发明要解决的课题近年来，数字照相机广泛普及，而且也已应用于便携电话等移动设备中。在要求小型化的上述设备中，期望以较少资源进行高速的全景图像的生成处理。在上述专利文献I、2所记载的装置中，从处理高速化的观点来看存在改善的余地。因此，本发明是为了解决这种技术课题而完成的，其目的在于，提供图像处理装置、图像处理方法以及图像处理程序，它们在接合曝光条件不同的图像时，能够以低负荷进行使图像的接缝不明显的处理。用于解决课题的手段即，本发明的图像处理装置在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第I图像与所输入的该第2图像进行接合，逐次生成合成图像，该图像处理装置具有重叠区域取得部，其根据构成所述第I图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；亮度值转换系数计算部，其根据所述重叠区域中的所述第I图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第I图像和所述第2图像的亮度值的变化减小的方式对所述第I图像或所述第2图像的亮度值进行转换；以及合成图像生成部，其使用所述亮度转换系数对所述第I图像或所述第2图像进行转换，接合所述第I图像与所述第2图像而生成所述合成图像。在本发明的图像处理装置中，重叠区域取得部根据第2图像和在第2图像之前刚输入的前一输入图像，取得运动矢量，根据所取得的运动矢量，取得前一输入图像与第2图像重叠的重叠区域，亮度值转换系数计算部根据重叠区域中的第I图像的亮度值和第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使第I图像和第2图像的亮度值的变化减小的方式对第I图像或第2图像的亮度值进行转换，合成图像生成部根据亮度转换系数对第I图像或第2图像进行转换，接合两个图像。这样，通过利用运动矢量取得前一输入图像与第2图像的重叠区域，能够低负荷且高速地取得重叠区域的亮度值的信息。由此，在接合曝光条件不同的图像时，能够以低负荷进行使图像的接缝变得不明显的处理。这里，优选的是，该图像处理装置具有亮度绝对值计算部，该亮度绝对值计算部根据所述重叠区域中的所述前一输入图像的亮度值的总和以及所述第2图像的亮度值的总和，计算所述第2图像的亮度绝对值，所述第2图像的亮度绝对值是所述第I图像中的规定的基准图像的亮度值的总和与所述第2图像的亮度值的总和之比，所述亮度值转换系数计算部根据构成所述第I图像的图像中与所述第2图像重叠的对象图像的所述亮度绝 对值和所述第2图像的所述亮度绝对值，计算所述第2图像的亮度值转换系数，所述第2图像的亮度值转换系数取决于离所述对象图像与所述第2图像的接缝的距离。通过这样地构成，能够根据亮度值的总和来计算亮度绝对值，使用该亮度绝对值计算亮度转换系数，所以，能够进行稳健的运算。并且，不使用构成第I图像的一个图像即计算亮度绝对值时作为基准的基准图像的亮度值的总和，而是根据前一输入图像的亮度绝对值来计算第2图像的亮度绝对值。即，不需要为了计算逐次输入的第2图像的亮度绝对值而始终记录基准图像的亮度值的总和。由此，能够减轻处理负荷。并且，优选的是，所述亮度值转换系数计算部以使合成位置(合成场所内的预定位置)处的所述第2图像的权重与合成位置离接缝的距离成比例地增大的方式，计算所述亮度值转换系数。通过这样地构成，能够对第2图像的转换后的亮度值进行校正，使得离接缝越远，越接近第2图像的原本的亮度值。另外，可以是，合成图像生成部根据合成位置离接缝的距离来决定合成位置处的所述亮度值转换系数，根据所决定的所述亮度值转换系数导出对所述第2图像的亮度值进行转换的校正函数，根据所述校正函数和所述第2图像的亮度值，计算在合成位置处使用的所述第2图像的亮度值。另外，优选的是，在转换前的像素值和转换后的像素值小于规定阈值的范围内，所述校正函数是将所述亮度值转换系数作为比例常数的一次函数，在转换前的像素值或转换后的像素值为规定阈值以上的范围内，所述校正函数是与截止于阈值的一次函数连续且通过最大像素值的一次函数。这样，通过采用一次函数作为校正函数，能够抑制校正函数的计算成本。并且，在转换前的像素值或转换后的像素值为规定阈值以上的范围内，设校正函数为与截止于阈值的一次函数连续且通过最大像素值的一次函数，由此，能够抑制校正函数的计算成本，并生成自然的合成图像。另外，优选的是，该图像处理装置具有中心位置取得部，该中心位置取得部根据构成所述第I图像的图像中在所述第2图像之前刚输入的图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得作为构成所述第I图像的各个图像的中心点的第I中心点的位置信息以及作为所述第2图像的中心点的第2中心点的位置信息，所述合成图像生成部取得构成所述第I图像的图像中与所述第2图像重叠的图像的所述第I中心点，根据所取得的所述第I中心点的位置信息和所述第2中心点的位置信息，将所取得的所述第I中心点与所述第2中心点的垂直二等分线作为所述第I图像和所述第2图像的接缝进行接合，生成所述合成图像。通过这样地构成，在逐次合成第I图像和所输入的第2图像时，能够将第I中心点与第2中心点的垂直二等分线作为图像的接缝，所以，能够高速且低负荷地实现逐次合成处理。进而，通过使用垂直二等分线，能够降低2个图像的偏移量，所以，能够提高合成图像的品质。进而，优选的是，所述合成图像生成部使处于从所述第I图像与所述第2图像的接缝到相距规定距离的位置为止的、比所述重叠区域小的范围内的像素值，成为所述第I图像的像素值和所述第2图像的像素值的合成值。通过这样地构成，使从接缝到相距规定距离的位置为止的像素值成为合成值，所以，能够使接缝不明显。并且，能够使用对亮度值进行转换后的第2图像来计算像素值的合 成值，所以，能够避免亮度值的差分大幅变化。而且，能够分别独立地进行亮度值的调整处理和像素值的合成处理，所以，例如，通过缩小接缝附近的合成区域，能够降低处理负荷，并且，通过缩小第I区域，能够根据比对像素进行合成后的区域大的区域中的第I图像和第2图像的亮度值，对显著的第I图像和第2图像的亮度值的差分进行校正。并且，本发明的图像处理方法在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第I图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理方法具有以下步骤重叠区域取得步骤，根据构成所述第I图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；亮度转换系数计算步骤，根据所述重叠区域中的所述第I图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第I图像和所述第2图像的亮度值的变化减小的方式对所述第I图像或所述第2图像的亮度值进行转换；以及合成图像生成步骤，使用所述亮度转换系数对所述第I图像或所述第2图像进行转换，接合所述第I图像与所述第2图像而生成所述合成图像。根据本发明的图像处理方法，能够发挥与上述本发明的图像处理装置相同的效果。并且，本发明的图像处理程序使计算机发挥如下功能在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第I图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理程序作为以下部分发挥功能重叠区域取得部，其根据构成所述第I图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域；亮度值转换系数计算部，其根据所述重叠区域中的所述第I图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第I图像和所述第2图像的亮度值的变化减小的方式对所述第I图像或所述第2图像的亮度值进行转换；以及合成图像生成部，其使用所述亮度转换系数对所述第I图像或所述第2图像进行转换，接合所述第I图像与所述第2图像而生成所述合成图像。根据本发明的图像处理程序，能够发挥与上述本发明的图像处理装置相同的效果。
发明效果根据本发明，在接合曝光条件不同的图像时，能够以低负荷进行使图像的接缝不明显的处理。
图I是搭载了实施方式的图像处理装置的便携终端的功能框图。图2是搭载有实施方式的图像处理装置的便携终端的硬件结构图。图3是说明已经输入的图像与之后输入的图像的重叠区域的概要图。图4是说明合成图像与之后输入的图像的重叠区域的概要图。
图5是说明已经输入的图像与之后输入的图像的中心点的距离的概要图。图6是说明合成图像与之后输入的图像的中心点的距离的概要图。图7是示出实施方式的图像处理装置的动作的流程图。图8是说明已经输入的图像与之后输入的图像的合成的概要图。图9是说明亮度绝对值的概要图。图10是说明亮度转换系数的概要图。图11是说明校正函数的概要图。图12是说明校正函数的另一例的概要图。图13是说明合成图像的概要图。图14是说明合成图像与之后输入的图像的合成的概要图。图15是说明合成图像的概要图。
具体实施例方式下面，参照附图对本发明的实施方式进行说明。另外，在各图中对相同或相当的部分标注同一标号，并省略重复的说明。本实施方式的图像处理装置是在每次输入了输入图像时接合输入图像而逐次生成一张图像的装置，例如，适合应用于以下情况实时地将连续拍摄的多个图像进行接合而生成比I张摄像图像更为广角的全景图像。本实施方式的图像处理装置适合搭载于例如便携电话、数字照相机、PDA (Personal Digital Assistant :个人数字助理)等资源有限的移动终端中，但不限于此，例如也可以搭载于通常的计算机系统中。另外，在以下说明中，考虑到说明理解的容易性，作为本发明的图像处理装置的一例，对搭载于具有照相机功能的便携终端中的图像处理装置进行说明。图I是具有本实施方式的图像处理装置I的便携终端2的功能框图。图I所示的便携终端2例如是由用户携带的移动终端，具有图2所示的硬件结构。图2是便携终端2的硬件结构图。如图2所示，便携终端2在物理上构成为通常的计算机系统，其包含CPU (Central Processing Unit :中央处理单兀)100、ROM (Read Only Memory :只读存储器)101和RAM (Random Access Memory :随机存取存储器)102等主存储装置、照相机或键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105等。通过在CPU 100、ROM IOU RAM 102等硬件上读入规定的计算机软件，从而在CPU 100的控制下使输入设备103和输出设备104工作，并进行主存储装置和辅助存储装置105中的数据的读出和写入，由此实现后述的便携终端2以及图像处理装置I的各功能。另外，在上述说明中，说明了便携终端2的硬件结构，而图像处理装置I也可以构成为包含CPU 100、ROM 101和RAM 102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机系统。并且，便携终端2还可以具有通信模块等。如图I所示，便携终端2具有照相机30、图像处理装置I以及显示部31。照相机30具有对图像进行摄像的功能。作为照相机30，例如使用摄像元件等。照相机30例如具有从通过用户操作等指定的定时起以规定间隔反复进行摄像的连续摄像功能。例如，用户可以摆动照相机30从而对至少上下左右重叠的连续图像进行摄像。而且，照相机30具有 在每次摄像时向图像处理装置I输出所拍摄的图像的功能。图像处理装置I具有图像输入部10、中心位置取得部11、合成图像生成部12、中心位置存储部13、重叠区域取得部14、亮度绝对值计算部15以及亮度值转换系数计算部16。图像输入部10具有输入由照相机30摄像的图像的功能。图像输入部10具有在每次摄像时输入由例如照相机30拍摄的图像的功能。并且，图像输入部10具有将最初输入的图像保存到便携终端2所具有的第I临时存储区域中的功能。并且，图像输入部10具有将从下次起连续输入的图像保存到便携终端所具有的第2临时存储区域中的功能。另外，如后所述，在每次输入新的图像时更新第2临时存储区域，第I临时存储区域以改写保存的方式存储每次输入图像时逐次合成的图像(中间合成图像)。另外，以下，将存储在第I临时存储区域中的图像设为第I图像、将存储在第2临时存储区域中的图像设为第2图像进行说明。重叠区域取得部14具有根据所输入的图像和在其之前刚输入的图像(前一输入图像)来检测照相机的运动(运动矢量)的功能。并且，重叠区域取得部14具有根据所得到的运动矢量取得所输入的图像和在其之前刚输入的图像的重叠区域的功能。图3、4是说明重叠区域的概要图。如图3所示，能够根据照相机的运动计算出第I图像Fl与第2图像 F2的重叠区域R1。并且，如图4所示，在第I图像由多个图像F1、F2构成的情况下，能够根据照相机的运动计算出第2图像F3与在该第2图像F3之前刚输入的图像F2的重叠区域R2。另外，重叠区域R1、R2是矩形区域，其确定起来极其容易。而且，重叠区域取得部14具有向亮度绝对值计算部15输出重叠区域的信息的功能。亮度绝对值计算部15具有计算所输入的图像的亮度绝对值的功能。亮度绝对值是以某个图像的亮度值为基准而计算出的亮度值。作为基准的图像没有特别限定，而这里，以最初输入并存储到第I临时存储区域中的第I图像为基准进行说明。并且，根据由重叠区域取得部14确定的重叠区域中的亮度值的总和来计算亮度绝对值。即，亮度绝对值计算部15计算重叠区域中包含的第2图像的亮度值的总和以及重叠区域中包含的前一输入图像的亮度值的总和，根据两者的亮度值的总和之比以及前一输入图像的亮度绝对值，计算第2图像的亮度绝对值。当设重叠区域中包含的第2图像的亮度值的总和为S2、重叠区域中包含的前一输入图像的亮度值的总和为S1、前一输入图像的亮度绝对值为H1时，使用以下的式I来计算第2图像的亮度绝对值H2。(I)
另外，最初输入并存储到第I临时存储区域中的第I图像的亮度绝对值使用规定值，例如使用I。并且，亮度绝对值计算部15具有向亮度值转换系数计算部16输出所计算出的亮度绝对值的功能。中心位置取得部11具有取得图像输入部10输入的图像(初始的第I图像或第2图像)的中心点的位置信息的功能。中心点是根据图像的外缘唯一决定的点。位置信息可以是与实际空间相关联的位置信息，也可以是在连续输入的图像之间相关联的相对位置信息。中心位置取得部11具有为了取得上述位置信息而根据所输入的图像和在其之前刚输入的图像来检测照相机的运动(运动矢量)的功能。并且，中心位置取得部11具有根据所得到的运动矢量和之前刚输入的图像的中心点的位置信息计算所输入的图像的中心点的位置信息的功能。另外，中心位置取得部11仅在最初输入的图像(初始的第I图像)中取得中心点的位置信息，而对于以后输入的图像(第2图像)，根据使用输入图像和刚输入之前的图像而得到的运动矢量来取得中心点的位置信息。例如，关于第n次(n> I)输入的第2图像，使用该第2图像和第n-1次输入的第2图像取得运动矢量，根据所取得的运动矢量取得第n次输入的第2图像的中心点的位置信息。这里，中心位置取得部11也可以不使 用之前刚输入的图像本身，而是缩小之前刚输入的图像，进而使用仅作为亮度要素的图像来计算运动矢量。通过这样对之前输入的图像进行加工并取得运动矢量，能够降低处理时间或处理成本。另外，以下，将构成第I图像的各个图像的中心点作为第I中心点、将第2图像的中心点作为第2中心点进行说明。进而，中心位置取得部11具有向合成图像生成部12输出所取得的中心点的位置信息的功能。合成图像生成部12具有生成对所输入的图像(第2图像)和已经输入的图像(第I图像)进行接合后的合成图像的功能，具有距离计算部121和合成部122。距离计算部121具有例如根据由中心位置取得部11取得的运动矢量来确定构成第I图像的图像中与第2图像重叠的图像的功能。而且，距离计算部121具有确定离与第2图像重叠的图像的规定位置最近的第I中心点并计算所确定的第I中心点与第2图像的第2中心点的距离的功能。这里，为了使上述计算处理高速化，规定位置可以是格子状排列的格点处的位置。例如，在合成图像(这里为第I图像)内排列格点作为上述的规定位置。而且，距离计算部121具有如下功能在计算第I中心点与第2中心点的距离之前，针对每个格点确定离该格点最近的第I中心点，预先存储到中心位置存储部13中。S卩，在中心位置存储部13中，相关联地存储有第I图像中包含的格点和离该格点最近的第I中心点。该情况下，距离计算部121确定构成第I图像的图像中与所输入的第2图像重叠的图像，参照中心位置存储部13，取得离所确定的格点最近的第I中心点。另外，在构成第I图像的图像中与第2图像重叠的图像存在多个的情况下，有时最近的第I中心点因格点不同而不同。该情况下，距离计算部121计算对于每个格点不同的第I中心点与第2中心点的距离。距离计算部121具有向合成部122输出所计算出的距离的功能。并且，距离计算部121具有向亮度值转换系数计算部16输出在计算距离时使用的第I中心点和第2中心点的坐标信息等的功能。亮度值转换系数计算部16具有计算对亮度值进行转换的校正函数的系数即亮度值转换系数的功能。亮度值转换系数计算部16具有如下功能根据构成第I图像的图像中与第2图像重叠的对象图像的亮度绝对值和第2图像的亮度绝对值，计算取决于离对象图像与第2图像的接缝的距离的第2图像的亮度值转换系数。例如，亮度值转换系数计算部16根据第I中心点和第2中心点的位置信息，确定第I图像与第2图像的接缝即垂直二等分线。然后，亮度值转换系数计算部16使用以下的式2计算亮度值转换系数J。fff.+…(2)
/Z2 、D0D0J H2这里，Hex是合成位置(合成区域内的规定位置)处的亮度绝对值，H2是第2图像的亮度绝对值，Hf是对象图像的亮度绝对值，D0是从垂直二等分线到合成位置的最大距离(决定亮度转换区域的阈值)，D是从垂直二等分线到合成位置的距离。另外，在距离0>D0的情况下，合成位置位于对亮度值进行转换的区域外，所以，只要设为D = Dtl进行处理即可。这样，亮度值转换系数计算部16具有如下功能以使合成位置处的第2图像的权重与合成位置离接缝的距离成比例地增大的方式，计算出亮度值转换系数。并且，亮度值转换系数计算部16具有如下功能计算亮度值转换系数，以便对从垂直二等分线到最大合成位置 D0的像素范围的亮度值进行转换。亮度值转换系数计算部16具有向合成部122输出所生成的亮度值转换系数的功能。合成部122具有根据由距离计算部121计算出的第I中心点与第2中心点的距离对第I图像和第2图像进行接合的功能。例如，合成部122具有如下功能在合成图像内的规定位置，根据从该规定位置到最近的第I中心点与第2中心点的垂直二等分线的距离，决定该规定位置处的像素值。图5、6是说明第I中心点与第2中心点的垂直二等分线的概要图。如图5所示，能够在第I图像Fl的第I中心点Pl与第2图像F2的第2中心点P2之间引出垂直二等分线LI。然后，计算合成图像内的规定位置到垂直二等分线LI的距离，决定该规定位置处的像素值。并且，如图6所示，在第I图像由多个图像F1、F2构成的情况下，可针对每个第I中心点P1、P2引出与第2中心点P3的垂直二等分线L2、L3。这样，在存在多个第I中心点的情况下，能够引出多个垂直二等分线。然后，计算合成图像内的规定位置到垂直二等分线的距离，决定该规定位置处的像素值。并且，合成部122具有在将第2图像与第I图像接合之前对第2图像的像素值进行转换的功能。例如，合成部122根据由亮度值转换系数计算部16计算出的亮度值转换系数J和从接缝到合成位置的距离D，决定该合成位置处的亮度值转换系数J。然后，合成部122根据所决定的亮度值转换系数J，导出对第2图像的亮度值进行转换的校正函数Y。校正函数Y没有特别限定，例如使用一次函数。然后，合成部122根据校正函数Y和第2图像的亮度值，计算在该合成位置使用的第2图像的亮度值。另外，合成部122在后述的图像合成处理之前执行第2图像的亮度值的变更处理。并且，为了采用第I图像和第2图像中离合成位置最近的图像的像素值作为该合成位置的像素值，合成部122利用了到垂直二等分线的距离。换言之，合成部122使用从合成图像内的规定位置到垂直二等分线的距离，作为对输入图像的远近度进行评价的评价值。例如，合成部122利用以下的式3来评价输入图像的远近度T。T ~A —B…(3)
C这里，A是从合成预定的规定位置到第2中心点的距离，B是从合成预定的规定位置到最近的第I中心点的距离，C是从第I中心点到第2中心点的距离。
合成部122将由式I得到的远近度T作为评价值来决定合成位置(规定位置)处的像素值。例如，在从规定位置到垂直二等分线的距离大于规定值、且规定位置相比于第2中心点更接近第I中心点的情况下，合成部122将第I图像的像素值作为该规定位置的像素值。另一方面，在从规定位置到垂直二等分线的距离大于规定值、且规定位置相比于第I中心点更接近第2中心点的情况下，合成部122将第2图像的像素值作为该规定位置的像素值。而且，在从规定位置到垂直二等分线的距离为规定值以下的情况下，合成部122对第I图像的像素值与第2图像的像素值进行合成而作为该规定位置的像素值。合成的手法可以采用现有手法，例如使用这样的手法将第I图像的像素值与第2像素的像素值的平均值或加权平均值作为该规定位置的像素值。这样，合成部122具有如下功能以垂直二等分线为界，判断合成图像的规定位置更接近第I中心点和第2中心点的哪一方，判断采用第I图像和第2图像中的哪一方的像素值。而且，合成部122具有如下功能在规定位置处于垂直二等分线附近的情况下，即，针对合成图像中离垂直二等分线的距离为规定值以下的规定位置，对第I图像的像素值和第2图像的像素值进行合成，由此，减小接缝的亮度差，生成不舒适感少的合成图像。即，如下所示将远近度T作为评价值来决定规定位置处的像素值。
f r>ir1-1 f；|-<-1 ^lil
广「丨d Ii
I T<.'w另外，用于判断是否对像素值进行合成的规定值W例如使用16(像素)。该情况下，在以垂直二等分线为基准位于8个像素内的图像位置处，对第I图像的像素值和第2图像的像素值进行合成。并且，通过设规定值W为几个像素 十几个像素左右，能够成为比重置区域小的范围。在输入第2图像之前，合成图像内的格点以完全包含第I图像的方式排列成格子状。另一方面，在输入第2图像之后，新追加格点，使得格点不仅包含第I图像还包含第2图像。这样，通过采用格点作为规定位置，不需要针对合成图像中包含的全部位置(像素位置)计算离垂直二等分线的距离，所以，能够降低处理负荷。而且，合成部122通过参照中心位置存储部13，能够高速读取离格点最近的第I中心点。由此，不需要对过去合成的全部图像的第I中心点的位置与格点的位置进行比较，所以，能够降低占用内存量。而且，为了进一步实现高速化，合成部122具有如下功能根据格点处的判定结果来决定被格点包围的块内的像素值。例如，合成部122具有如下功能在合成图像内排列成格子状的格点处，根据从该格点到最近的第I中心点与第2中心点的垂直二等分线的距离，决定该格点处的像素值。而且，合成部122针对像素值被第I图像的格点包围的块(区域)采用第I图像的像素值。即，合成部122针对该块不进行任何处理，而是将下一个块作为处理对象。另一方面，合成部122针对像素值被第2图像的格点包围的块采用第2图像的像素值。S卩，合成部122针对该块直接复制第2图像。然后，在包围块的格点处的像素值不是全部为第I图像的情况下或者不是全部为第2图像的情况下，即在块与垂直二等分线相交的情况下，合成部122具有将该块内的像素值作为第I图像和第2图像的像素值的合成值的功能。该情况下，根据格点处的远近度T，以线性插值的方式求出块内的像素位置处的远近度T，利用上述评价方法进行评价，由此，能够恰当地确定要合成的像素位置。另外，在上述说明中，考虑到说明理解的容易性，而分别说明了合成部122的像素值决定功能(决定在某个合成位置处是使用第I图像或第2图像中哪个图像的像素值、或者使用两个图像的平均值等的功能)和亮度值转换功能，并且，说明了在对亮度值进行转换之后决定像素值的例子，不过，也可以在决定了像素值之后对亮度值进行转换。进而，也可以构成为，通过使用于发挥两个功能的判定式成为一者，同时进行亮度值的转换和像素值的决定。下面，说明同时进行亮度值的转换和像素值的决定的情况。式2中使用的距离D为式3中使用的远近度T的1/2。另外，将垂直二等分线上作为原点，当从垂直二等分线观察，合成位置位于第I图像侧时，距离D取正值，当从垂直二等分线观察，合成位置位于第2图像侧时，距离D取负值。因此，如下所示，可将距离D作为评价值来决定规定位置处的像素值，同时判断有无亮度转换。
权利要求
1.一种图像处理装置，该图像处理装置在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第I图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理装置具有 重叠区域取得部，其根据构成所述第I图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域； 亮度值转换系数计算部，其根据所述重叠区域中的所述第I图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第I图像和所述第2图像的亮度值的变化减小的方式对所述第I图像或所述第2图像的亮度值进行转换；以及 合成图像生成部，其使用所述亮度转换系数对所述第I图像或所述第2图像进行转换，接合所述第I图像与所述第2图像而生成所述合成图像。
2.根据权利要求I所述的图像处理装置，其中， 该图像处理装置具有亮度绝对值计算部，该亮度绝对值计算部根据所述重叠区域中的所述前一输入图像的亮度值的总和以及所述第2图像的亮度值的总和，计算所述第2图像的亮度绝对值，所述第2图像的亮度绝对值是所述第I图像中的规定的基准图像的亮度值的总和与所述第2图像的亮度值的总和之比， 所述亮度值转换系数计算部根据构成所述第I图像的图像中与所述第2图像重叠的对象图像的所述亮度绝对值和所述第2图像的所述亮度绝对值，计算所述第2图像的亮度值转换系数，所述第2图像的亮度值转换系数取决于离所述对象图像与所述第2图像的接缝的距离。
3.根据权利要求I或2所述的图像处理装置，其中， 所述亮度值转换系数计算部以使合成位置处的所述第2图像的权重与合成位置离接缝的距离成比例地增大的方式，计算所述亮度值转换系数。
4.根据权利要求I 3中的任意一项所述的图像处理装置，其中， 合成图像生成部根据合成位置离接缝的距离来决定合成位置处的所述亮度值转换系数，根据所决定的所述亮度值转换系数导出对所述第2图像的亮度值进行转换的校正函数，根据所述校正函数和所述第2图像的亮度值，计算在合成位置处使用的所述第2图像的亮度值。
5.根据权利要求4所述的图像处理装置，其中， 在转换前的像素值和转换后的像素值小于规定阈值的范围内，所述校正函数是将所述亮度值转换系数作为比例常数的一次函数，在转换前的像素值或转换后的像素值为规定阈值以上的范围内，所述校正函数是与截止于阈值的一次函数连续且通过最大像素值的一次函数。
6.根据权利要求I 5中的任意一项所述的图像处理装置，其中， 该图像处理装置具有中心位置取得部，该中心位置取得部根据构成所述第I图像的图像中在所述第2图像之前刚输入的图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得作为构成所述第I图像的各个图像的中心点的第I中心点的位置信息以及作为所述第2图像的中心点的第2中心点的位置信息， 所述合成图像生成部取得构成所述第I图像的图像中与所述第2图像重叠的图像的所述第I中心点，根据所取得的所述第I中心点的位置信息和所述第2中心点的位置信息，将所取得的所述第I中心点与所述第2中心点的垂直二等分线作为所述第I图像和所述第2图像的接缝进行接合，生成所述合成图像。
7.根据权利要求6所述的图像处理装置，其中， 所述合成图像生成部使处于从所述第I图像与所述第2图像的接缝到相距规定距离的位置为止的、比所述重叠区域小的范围内的像素值，成为所述第I图像的像素值和所述第2图像的像素值的合成值。
8.一种图像处理方法，该图像处理方法在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第I图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理方法具有以下步骤 重叠区域取得步骤，根据构成所述第I图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域； 亮度转换系数计算步骤，根据所述重叠区域中的所述第I图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第I图像和所述第2图像的亮度值的变化减小的方式对所述第I图像或所述第2图像的亮度值进行转换；以及 合成图像生成步骤，使用所述亮度转换系数对所述第I图像或所述第2图像进行转换，接合所述第I图像与所述第2图像而生成所述合成图像。
9.一种图像处理程序，该图像处理程序使计算机发挥如下功能在每次输入第2图像时，将由一张图像构成或接合多个所述图像而构成的第I图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理程序作为以下部分发挥功能 重叠区域取得部，其根据构成所述第I图像的图像中在所述第2图像之前刚输入的前一输入图像和所述第2图像，取得运动矢量，根据所取得的所述运动矢量，取得所述前一输入图像与所述第2图像重叠的重叠区域； 亮度值转换系数计算部，其根据所述重叠区域中的所述第I图像的亮度值和所述第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使所述第I图像和所述第2图像的亮度值的变化减小的方式对所述第I图像或所述第2图像的亮度值进行转换；以及 合成图像生成部，其使用所述亮度转换系数对所述第I图像或所述第2图像进行转换，接合所述第I图像与所述第2图像而生成所述合成图像。
全文摘要
一种图像处理装置，该图像处理装置在每次输入第2图像时，将由一张图像构成或接合多个图像而构成的第1图像与所输入的该第2图像进行接合，逐次生成合成图像，其特征在于，该图像处理装置具有重叠区域取得部(14)，其根据构成第1图像的图像中在第2图像之前刚输入的前一输入图像和第2图像，取得运动矢量，根据所取得的运动矢量，取得前一输入图像与第2图像重叠的重叠区域；亮度值转换系数计算部(16)，其根据重叠区域中的第1图像的亮度值和第2图像的亮度值，计算亮度转换系数，该亮度转换系数以使第1图像和第2图像的亮度值的变化减小的方式对第1图像或第2图像的亮度值进行转换；以及合成图像生成部(12)，其使用亮度转换系数对第1图像或第2图像进行转换，接合第1图像与第2图像而生成合成图像。
文档编号G06T3/00GK102741878SQ20108001481
公开日2012年10月17日 申请日期2010年10月26日 优先权日2010年10月26日
发明者椎野寿树, 羽深兼介 申请人:株式会社摩如富