专利名称：图像处理装置、图像处理方法以及图像处理程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法以及图像处理程序。
背景技术：
目前，作为图像处理装置已知有结合所拍摄的图像来作成一张广角静止图像即全景静止图像的装置(例如，參照专利文献I)。专利文献I所述的图像处理装置在结合第I图像和第2图像时，在第I图像与第2图像重合的区域内使小区域图形匹配后进行定位，从一个图像中切取重叠区域，使已切取重叠区域的图像与另ー个图像结合来作成全景 静止图像。现有技术文献专利文献专利文献I :日本特开平5-67208号公报
发明内容
发明要解决的课题但是，在专利文献I所述的装置中，需要确定重叠区域外缘的处理，所以有时处理负荷增加。另外，例如在合成第I图像、第2图像以及第3图像的情况下，需要预先记录各个图像分别进行图形匹配。因此，有可能随着结合的图像增加，处理负荷及必要资源也増加。因此，本发明是为了解决这样的技术课题而作出的，其目的是提供可在降低多个图像的合成处理负荷的同时提高所合成图像的品质的图像处理装置、图像处理方法以及图像处理程序。用于解决课题的手段S卩，本发明的图像处理装置每当输入第2图像时使I张图像或结合多个上述图像而构成的第I图像与所输入的上述第2图像结合来逐次生成合成图像，该图像处理装置具备中心位置取得部，其取得构成上述第I图像的图像各自的中心点即第I中心点的位置信息以及上述第2图像的中心点即第2中心点的位置信息；以及合成图像生成部，其取得构成上述第I图像的图像中与上述第2图像重叠的图像的上述第I中心点，并根据所取得的上述第I中心点的位置信息以及上述第2中心点的位置信息，将所取得的上述第I中心点与上述第2中心点的中垂线作为上述第I图像和上述第2图像的连接处进行结合，生成上述合成图像。在本发明的图像处理装置中，利用中心位置取得部取得构成第I图像的图像各自的第I中心点以及第2图像的第2中心点的位置信息，利用合成图像生成部取得构成第I图像的图像中与第2图像重叠的图像的第I中心点，并根据所取得的第I中心点的位置信息以及第2中心点的位置信息，将所取得的第I中心点与第2中心点的中垂线作为第I图像和第2图像的连接处进行结合，生成合成图像。这样，在逐次合成第I图像与所输入的第2图像时，可根据图像中心点的信息来确定图像的连接处而进行结合，所以能够高速且低负荷地实现逐次合成处理。此外，可通过采用中垂线来降低2个图像的偏移量，所以能够提高合成图像的品质。这里，上述第I图像可以是在上述第2图像紧前输入的图像或由上述合成图像生成部生成的上述合成图像。另外，上述中心位置取得部优选根据上述第I图像以及上述第2图像来取得运动矢量，并根据所取得的上述运动矢量来取得上述位置信息。通过这样的结构可高速且适当地判断所结合的第2图像的位置。另外，上述合成图像生成部优选根据与中垂线的距离来决定上述合成图像的规定位置的像素值，上述中垂线是离该规定位置最近的上述第I中心点和上述第2中心点的中垂线。通过这样的结构，可利用与中垂线的距离信息来决定合成图像的规定位置的像素值，所以能够利用简单的运算处理来合成图像。另外，上述合成图像生成部优选在上述距离大于规定值且相比于上述第2中心点上述第I中心点更接近于上述规定位置时，将上述第I图像的像素值作为该规定位置的像素值，在上述距离大于规定值且相比于上述第I中心点上述第2中心点更接近于上述规定位置时，将上述第2图像的像素值作为该规定位置的像素值，在上述距离是规定值以下吋，合成上述第I图像的像素值与上述第2图像的像素值作为该规定位置的像素值。通过这样的结构，可根据中垂线将合成像素值的区域限定为规定范围的区域，所以能够高速地进行合成图像的生成处理，并且例如在第2图像中具有模糊或偏移的情况下也能够减小对合成图像的影响并生成平滑的合成图像。另外，上述合成图像生成部优选将上述规定位置设为以格状排列的格点的位置，并按上述格点来记录与该格点最近的第I中心点。这样，通过记录与格点最近的图像的第I中心点，而不需要按第I图像与第2图像重叠的区域的每个像素来比较构成第I图像的全部图像的中心点与第2图像的中心点，所以可降低处理时间或处理成本。另外，上述合成图像生成部优选根据按上述格点求出的上述距离来决定被上述格点所包围的块内的像素值。通过这样的结构，不用全部计算块内的各个像素位置中的距离，就能够决定块内的像素值，所以可降低运算处理的负荷。另外，上述合成图像生成部优选在包围上述块的全部上述格点的上述距离大于规定值且相比于上述第2中心点上述第I中心点更接近于包围上述块的全部上述格点的位置时，将上述第I图像的像素值作为该块内的像素值，在包围上述块的全部上述格点的上述距离大于规定值且包围上述块的全部上述格点的位置相比于上述第I中心点更接近于上述第2中心点时，将上述第2图像的像素值作为该块内的像素值。通过这样的结构，可判断是否按照被格点包围的块进行复制，并以块为单位执行合成处理，所以能够进一歩降低运算处理的负荷。此外，上述合成图像生成部最好在生成上述合成图像之后，更新按格点记录的最近的上述第I中心点。通过这样的结构，可适当进行逐次合成。另外，本发明的图像处理方法每当输入第2图像时使I张图像或结合多个上述图像而构成的第I图像和所输入的上述第2图像结合来逐次生成合成图像，该图像处理方法具有以下的步骤中心位置取得步骤，其取得构成上述第I图像的图像各自的中心点即第I中心点的位置信息以及上述第2图像的中心点即第2中心点的位置信息；以及合成图像生成步骤，其取得构成上述第I图像的图像中与上述第2图像重叠的图像的上述第I中心点，并根据所取得的上述第I中心点的位置信息以及上述第2中心点的位置信息，将所取得的上述第I中心点与上述第2中心点的中垂线作为上述第I图像以及上述第2图像的连接处进行结合，生成上述合成图像。
根据本发明的图像处理方法，可实现与上述本发明的图像处理装置同样的效果。另外，本发明的图像处理程序使计算机发挥如下这样的功能，每当输入第2图像时使I张图像或结合多个上述图像而构成的第I图像和所输入的上述第2图像结合来逐次生成合成图像，该图像处理程序的特征是，作为以下単元发挥功能中心位置取得部，其取得构成上述第I图像的图像各自的中心点即第I中心点的位置信息以及上述第2图像的中心点即第2中心点的位置信息；以及合成图像生成部，其取得构成上述第I图像的图像中与上述第2图像重叠的图像的上述第I中心点，并根据所取得的上述第I中心点的位置信息以及上述第2中心点的位置信息，将所取得的上述第I中心点与上述第2中心点的中垂线作为上述第I图像以及上述第2图像的连接处进行结合，生成上述合成图像。根据本发明的图像处理程序，可实现与上述本发明的图像处理装置同样的效果。发明效果根据本发明，可在降低多个图像的合成处理负荷的同时提高所合成图像的品质。
图I是搭载有实施方式的图像处理装置的便携终端的功能框图。图2是搭载有实施方式的图像处理装置的便携终端的硬件结构图。图3是说明已经输入的图像和之后输入的图像的中心点的距离的概要图。图4是说明合成图像与之后输入的图像的中心点的距离的概要图。图5是示出实施方式的图像处理装置的动作的流程图。图6是说明已经输入的图像与之后输入的图像的合成的概要图。图7是说明合成图像的概要图。图8是说明合成图像与之后输入的图像的合成的概要图。图9是说明合成图像的概要图。
具体实施例方式以下，參照附图对本发明的实施方式进行说明。此外，在各图中对相同或相当部分标注同一符号，并省略重复的说明。本实施方式的图像处理装置是每当输入时结合输入图像来逐次作成一张图像的装置，适用于例如实时地将连续拍摄的多个图像结合而生成I张比摄像图像广角的全景图像的情况。本实施方式的图像处理装置适合安装在例如移动电话、数码相机、PDA (PersonalDigital Assistant:个人数字助理)等资源有限的移动终端，但不仅限于此，例如也可安装在通常的计算机系统中。此外，以下考虑了说明理解的容易性，作为本发明的图像处理装置的一例，说明在具有照相机功能的便携终端安装的图像处理装置。
图I是具备本实施方式的图像处理装置I的便携终端2的功能框图。图I所示的便携终端2例如是用户所携帯的移动终端，具有图2所示的硬件结构。图2是便携終端2的硬件结构图。如图2所示，便携终端2物理上构成为包含CPU (Central Processing Unit 中央处理单兀)100、ROM (Read Only Memory :只读存储器)101 以及 RAM (Random AccessMemory :随机存取存储器)102等主存储装置、照相机或键盘等输入设备103、显示器等输出设备104、硬盘等辅助存储装置105等的通常计算机系统。通过在CPU100、R0M101、RAM102等硬件上读入规定的计算机软件来以CPU100的控制为基础使输入设备103以及输出设备104动作，并且进行主存储装置及辅助存储装置105中的数据读出以及写入，由此来实现后述便携終端2以及图像处理装置I的各个功能。此外，上述说明虽然作为便携终端2的硬件结构进行了说明，但图像处理装置I也可构成为包含CPU100、R0M101以及RAM102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常计算机系统。另外，便携終端2也可具有通信模块等。如图I所示，便携终端2具备照相机30、图像处理装置I以及显示部31。照相机 30具有拍摄图像的功能。作为照相机30例如可采用摄像元件等。照相机30例如具有根据用户操作等所指定的定时以规定的间隔反复拍摄的连续摄像功能。用户例如可以使照相机30滑动来拍摄至少在上下左右中重叠的连续图像。并且，照相机30具有例如每当摄像时将所拍摄的图像向图像处理装置I输出的功能。图像处理装置I具备图像输入部10、中心位置取得部11、合成图像生成部12以及中心位置存储部13。图像输入部10具有输入由照相机30拍摄的图像的功能。图像输入部10具有例如每当摄像时输入照相机30所拍摄的图像的功能。另外，图像输入部10还具有将最初输入的图像保存到便携终端2所具备的第I暂时存储区域的功能。另外，图像输入部10具有将下次以后连续输入的图像保存到便携终端所具备的第2暂时存储区域的功能。此外如后所述，每当新图像输入时更新第2暂时存储区域，第I暂时存储区域以覆盖保存的方式存储有每当图像输入时逐次合成的图像(中间合成图像)。此外以下，将第I暂时存储区域所存储的图像作为第I图像进行说明，将第2暂时存储区域所存储的图像作为第2图像进行说明。中心位置取得部11具有取得图像输入部10所输入的图像(初始的第I图像或第2图像)的中心点的位置信息的功能。所谓中心点就是从图像外缘唯一決定的点。位置信息可以是与实际空间相关联的位置信息，或者可以是在连续输入的图像之间相关联的相对位置信息。中心位置取得部11具有为了取得上述位置信息而根据所输入的图像以及紧前输入的图像来检测照相机的运动(运动矢量)的功能。另外，中心位置取得部11具有根据所获得的运动矢量以及紧前输入的图像的中心点的位置信息来计算所输入图像的中心点的位置信息的功能。此外，在仅有最初输入的图像(初始的第I图像)时，中心位置取得部11仅以该图像取得中心点的位置信息，关于以后输入的图像(第2图像)，中心位置取得部11根据采用输入图像以及紧前输入的图像获得的运动矢量来取得中心点的位置信息。例如，关于第n次(n > I)输入的第2图像，采用该第2图像以及第n_l次输入的第2图像来取得运动矢量，根据所取得的运动矢量来取得第n次输入的第2图像的中心点的位置信息。这里，中心位置取得部11还可以采用将紧前输入的图像缩小进而仅作为亮度要素的图像来计算运动矢量，而不采用紧前输入的图像本身。这样通过加工紧前输入的图像而取得运动矢量，可降低处理时间或处理成本。此外以下，将构成第I图像的各个图像的中心点作为第I中心点、将第2图像的中心点作为第2中心点进行说明。此外，中心位置取得部11具有将所取得的中心点的位置信息向合成图像生成部12输出的功能。合成图像生成部12具有生成将输入的图像(第2图像)和已经输入的图像(第I图像)结合的合成图像的功能，并具备距离计算部121以及合成部122。距离计算部121例如具有根据中心位置取得部11所取得的运动矢量来确定构成第I图像的图像中与第2图像重叠的图像的功能。并且，距离计算部121具有确定与第2图像重叠的图像的离规定位置最近的第I中心点并计算所确定的第I中心点与第2图像的第2中心点的距离的功能。这里，为了使上述计算处理高速化，而将规定位置设为以格状排列的格点的位置。例如，在合成图像(这里是第I图像)内排列格点作为上述的规定位置。并且，距离计算部121具有在计算第I中心点与第2中心点的距离之前按每个格点来确定离该格点最近的第I中心点并预先存储到中心位置存储部13的功能。即，在中心位置存储部13中使第I图像所包含的格点和离该格点最近的第I中心点相关联地进行存储。在此情况下，距离计算部121确定构成第I图像的图像中与所输入的第2图像重叠的图像，參照中心位置存储部13，取得离已确定的格点最近的第I中心点。此外，当构成第I图像的图像中存在多个与第2图像重叠的图像时，有最近的第I中心点根据格点而不同的情況。在此情况下，距离计算部121计算依据格点而不同的第I中心点与第2中心点的距离。距离计算部121具有将所计算的距离向合成部122输出的功能。合成部122具有根据距离计算部121所计算的第I中心点与第2中心点的距离来结合第I图像以及第2图像的功能。例如，合成部122具有在合成图像内的规定位置根据从该规定位置到最近的第I中心点与第2中心点的中垂线的距离来决定在该规定位置的像素值的功能。图3、4是说明第I中心点与第2中心点的中垂线的概要图。如图3所示，在第I图像Fl的第I中心点Pl与第2图像F2的第2中心点P2之间可引出中垂线LI。并且，计算合成图像内规定位置到中垂线LI的距离，从而决定在该规定位置的像素值。另外，如图4所示，在第I图像由多个图像F1、F2构成的情况下，可按各个第I中心点P1、P2来引出与第2中心点P3的中垂线L2、L3。这样，在具有多个第I中心点的情况下，可引出多个中垂线。并且，计算合成图像内规定位置到中垂线的距离，从而决定在该规定位置的像素值。这样，合成部122为了将第I图像以及第2图像中与合成位置最近的图像的像素值作为该合成位置的像素值使用，而利用到中垂线的距离。換言之，合成部122将从合成图像内的规定位置到中垂线的距离用作评价输入图像远近度的评价值。例如，合成部122利用以下的式子I来评价输入图像的远近度T。数I
T = ^(I)这里，A是从合成预定的规定位置到第2中心点的距离，B是从合成预定的规定位 置到最近的第I中心点的距离，C是从第I中心点到第2中心点的距离。合成部122将由式子I获得的远近度T作为评价值来决定规定位置的像素值。例如，合成部122在从规定位置到中垂线的距离大于规定值且规定位置相比于第2中心点更接近于第I中心点的情况下，将第I图像的像素值作为该规定位置的像素值。另ー方面，合成部122在从规定位置到中垂线的距离大于规定值且规定位置相比于第I中心点更接近于第2中心点的情况下，将第2图像的像素值作为该规定位置的像素值。并且，合成部122在从规定位置到中垂线的距离是规定值以下的情况下，合成第I图像的像素值与第2图像的像素值作为该规定位置的像素值。合成方法可采用现有的方法，例如采用将第I图像的像素值与第2像素的像素值的平均值或加权平均值作为该规定位置的像素值的方法。这样，合成部122具有如下的功能判断合成图像的规定位置以中垂线为边界更接近于第I中心点以及第2中心点的哪一方，判断采用第I图像以及第2图像哪方的像素值。并且，合成部122具有如下的功能在规定位置是中垂线附近的情况下、即针对合成图像中与中垂线相距的距离为规定值以下的规定位置，合成第I图像的像素值以及第2图像的像素值，由此减小连接处的亮度差，生成差异感小的合成图像。即，如下所示将远近度T作为评价值来决定在规定位置处的像素值。数2
T>W不执行区域复制
<-W<T<W合成处理
T<-W执行区域复制此外，用于判断是否合成像素值的规定值W例如使用16 (像素)。在此情况下，在以中垂线为基准处于8个像素内的图像位置上合成第I图像的像素值与第2图像的像素值。合成图像内的格点在第2图像输入之前以格状进行排列，使其包含全部第I图像。另ー方面，在第2图像输入之后，为了使格点不仅包含第I图像还包含第2图像而重新进行追加。这样，采用格点作为规定位置，由此不需要针对合成图像所包含的全部位置(像素位置)计算到达中垂线的距离，所以可降低处理负荷。此外，合成部122还可以通过參照中心位置存储部13来高速地读取离格点最近的第I中心点。由此，不需要比较过去合成的全部图像的第I中心点的位置与格点的位置，所以能够降低处理时间或处理成本。并且，合成部122具有如下的功能为了进一步实现高速化，根据在格点的判定结果来决定被格点所包围的块内的像素值。例如，合成部122具有如下的功能在合成图像内以格状排列的格点中，根据从该格点到最近的第I中心点与第2中心点的中垂线的距离来决定在该格点的像素值。并且，合成部122针对将像素值取为第I图像的格点所包围的块(区域)采用第I图像的像素值。即，合成部122对该块不进行任何处理，将下一块作为处理对象。另一方面，合成部122针对将像素值作为第2图像的格点所包围的块采用第2图像的像素值。即，合成部122针对该块直接复制第2图像。然后，在包围块的格点的像素值不是全部第I图像的情况或者不是全部第2图像的情况下、即在块与中垂线相交的情况下，合成部122具有将该块内的像素值取为第I图像以及第2图像的像素值的合成值的功能。在此情况下，根据在格点的远近度T以线性插补的方式求出块内的像素位置的远近度T，并利用上述评价方法进行评价，由此能够适当地确定所合成的像素位置。另外，合成部122具有在利用上述处理生成合成图像之后更新按每个格点记录的最近的第I中心点的功能。例如，有时结合第I图像与第2图像而生成合成图像，有时利用该合成图像内所包含的格点来变更最近的第I中心点。因此，在执行结合处理之后，可通过进行更新最近的第I中心点的处理来維持最近的第I中心点的正确信息。此外，合成部122在第I暂时存储区域内覆盖保存结合第I图像与第2图像而作成的合成图像。这样，合成部122在第I暂时存储区域预先保存最新的合成图像。S卩，当存在接着输入的第2图像时，对最新的合成图像(中间合成图像)执行使第2图像结合的处理。这样，合成部122可通过逐次合成所输入的图像来以较少的存储量合成图像，而不是记录保持合成对象的全部图像进行參照。另外，合成部122具有将第I暂时存储区域所存储的合成图像向显示部31输出的功能。显示部31具有与合成图像生成部12连接并向用户报知所输出的合成图像的功能。例如采用液晶显示器等作为显示部31。接着，说明本实施方式的图像处理装置I的动作。图5是示出本实施方式的图像处理装置I的动作的流程图。例如在开启便携终端2的摄像功能的定时执行图5所示的控制处理，并以规定的周期反复执行。此外，考虑了说明理解的容易性，ー边參照图6 图9 所示的图ー边说明图像处理装置I的动作。图6、7是使已经输入的I个图像与I个图像结合时的概要图，图8、9是使已经输入并合成的图像与I个图像结合时的概要图。如图5所示，首先图像处理装置I执行初始处理(S12)。如图6所示，图像输入部10从照相机30输入图像F1，并作为第I图像Fl存储到第I暂时存储区域内。然后，中心位置取得部11取得第I图像Fl的中心点即第I中心点Pl的位置信息。然后，合成图像生成部12在包含第I图像Fl的区域内以格状配置格点Kn(n :整数)。然后，合成图像生成部12将第I中心点Pl确定为离格点Kn最近的第I中心点，将第I中心点Pl分别与格点Kn相关联地记录到中心位置存储部13内。以上结束初始处理。当S12的处理结束吋，向第2图像的输入处理转移(S14)。在S14的处理中，图像输入部10从照相机30输入图像F2，并作为第2图像F2存储到第2暂时存储区域。此外这里，第2图像F2是在与第I图像Fl的摄像位置不同的摄像位置所拍摄的同一大小的图像，是与第I图像Fl具有重叠区域的图像。当S14的处理结束时，向中心点位置的取得处理转移(S16)。在S16的处理中，中心位置取得部11取得第2图像F2的中心点即第2中心点P2的位置信息。例如，中心位置取得部11根据第I图像Fl与第2图像F2的运动矢量来取得第2中心点P2的位置信息。当S16的处理结束吋，向中心点间的距离取得处理转移(S18)。在S18的处理中，距离计算部121根据在S12的处理中获得的第I中心点Pl的位置信息以及在S16的处理中获得的第2中心点P2的位置信息来计算第I中心点Pl与第2中心点P2之间的距离。如图6所示，计算第I图像Fl的第I中心点Pl与第2图像F2的第2中心点P2的距离C。可通过计算中心点间的距离C，来评价到达第I中心点Pl与第2中心点P2的中垂线LI的距离，将该中垂线LI作为图像Fl与图像F2的连接处。当S18的处理结束吋，向合成处理转移(S20)。在S20的处理中，合成部122结合图像Fl与图像F2来生成合成图像。如图6所示，将第I图像Fl与第2图像F2配置到合成图像的座标空间内。并且，针对第2图像F2中与第I图像Fl不重叠的区域没有配置格点Kn，所以新追加格点Km(m :整数，图中虚线)。然后，针对所追加的格点Km，合成部122将第I中心点Pl确定为离格点Km最近的第I中心点，并将第I中心点Pl分别与格点Km相关联地记录到中心位置存储部13。此时在Pl设定无限远的点。然后，合成部122按在第I图像Fl与第2图像F2中配置的格点KnJ111来评价与中垂线LI的距离,确定该格点Kn、Km中的像素值。例如，从位于左上的格点Kn起依次采用上述式子I来计算远近度T。然后将用于判断是否合成像素值的规定值W设为16来评价远近度T，由此确定格点Kn中的像素值。例如，如果是格点XI，则合成部122參照中心位置存储部13来取得最近的第I中心点P1，并计算第I中心点Pl与第2中心点P2的距离C、到达第I中心点Pl的距离A以及到达第2中心点P2的距离B，采用式子I来计算远近度T。针对格点X2也进行同样的处理。因为格点XI、X2是在第I图像Fl中配置的格点Kn，所以合成部122如上述那样进行计算远近度T并予以评价的处理。另ー方面，关于新追加的格点Kffl,因为远近度T明显低于阈值，所以这些格点Km的远近度T为-⑴，并省略远近度T的运算。合成部122按格点Kn来评价所计算的远近度T，关于由格点Kn包围4角的块，在 格点Kn各自的远近度T全部大于16吋，该块跳过处理。例如，关于格点X3 X6，因为远近度T全部大于16，所以由格点X3 X6包围的块跳过处理。另ー方面，在4角的格点Kn的远近度T全部小于-16的情况下，采用第2图像F2的像素值作为该块的像素值。例如，关于格点X7 X10，因为远近度T全部小于-16，所以针对由格点X7 XlO包围的块复制第2图像F2。然后，在4角的格点Kn的远近度T全部不大于16的情况下或者4角的格点Kn的远近度T全部不小于-16的情况下，合成第I图像Fl以及第2图像F2的像素值作为该块的像素值。例如，因为格点X11、X12的远近度T大于0，格点X13、X14的远近度T小于0，所以针对由格点Xll X14包围的块合成第I图像Fl以及第2图像F2的像素值。在此情况下，以Xll X14的远近度T来线性插补该块内像素位置中的远近度T，并在各像素位置计算远近度T利用阈值W进行评价。该评价的方法与上述的方法相同。并且，针对阈值-W以上阈值W以下的远近度T的像素位置计算第I图像Fl的像素值与第2图像F2的像素值的加权平均，作为在该像素位置的像素值。这样，首先采用格点Kn以块为単位来判断跳过、复制或合成，针对含有需要合成的位置的块，以按像素线性插补的远近度T来更详细地评价，并判断跳过、复制或合成。通过执行S20的处理，如图7所示，图像Fl与图像F2以中垂线LI为连接处进行结合，并且沿着中垂线LI形成帯状的合成区域Ql。该合成区域Ql的宽度是阈值W。并且，将图像Fl与图像F2结合而成的图像作为第I图像存储到第I暂时存储区域。即，更新第I暂时存储区域所存储的第I图像。当S20的处理结束时，向中心点位置的更新处理转移(S22)。S22的处理是合成部122更新在中心位置存储部13中记录的第I中心点Pl的处理。因为合成了图像F2，所以第I中心点为P1、P2两个。因此，合成部122针对第I暂时存储区域所存储的第I图像更新离格点Kn最近的第I中心点。例如在格点X2的情况下，因为第I中心点P1、P2中的第I中心点Pl较近，所以与上次相同，因此不执行更新。另ー方面，例如在格点Xl的情况下，因为第I中心点P1、P2中的第I中心点P2较近，所以更新中心位置存储部13的存储信息。当S22的处理结束吋，向判定有无输入图像的处理转移(S24)。在S24的处理中，图像输入部10还判定是否存在要输入的图像。例如，在当前摄像次数小于自动连续摄像次数的情况下，判定为存在输入图像。在S24的处理中，当判定为存在输入图像 时，再次向图像的输入处理转移(S14)。并且，例如输入图像F3并存储在第2暂时存储区域中。然后，中心位置取得部11取得图像F3的中心点P3的位置(S16)。然后，距离计算部121分别计算由第I暂时存储区域所存储的图像Fl以及F2构成的合成图像的第I中心点PI、P2与所输入的图像F2的第2中心点P3的距离(S18)。并且，合成部122使图像F1、F2与图像F3结合来生成合成图像。如图8所示，将第I图像F1、F2与第2图像F3配置在合成图像的座标空间内。并且，因为在第2图像F3中与第I图像F1、F2不重叠的区域没有配置格点Kn，所以新追加格点Km(m :整数，图中虚线)。然后，关于所追加的格点Km，合成部122确定第I中心点P3作为与格点Km最近的第I中心点，第I中心点P3分别与格点Km相关联地记录到中心位置存储部13。然后，合成部122与结合图像F1、F2的情况相同，按在第I图像F1、F2与第2图像F3中配置的格点Kn、Km(例如，X15、X16、X17等)来评价与中垂线L2、L3的距离，确定该格点Kn、K111中的像素值。由此，如图9所示，生成合成图像F1、F2、F3而得到的图像。合成后，合成部122更新格点Kn的中心点位置(S22)。这样，在存在输入图像的情况下，反复执行S14 S24的处理。另ー方面，在S24的处理中，当判定为没有输入图像吋，向显示处理转移(S26)。在S26的处理中，图像处理装置I将第I暂时存储区域所保存的合成图像向显示部31输出并显示。此外，图像处理装置I可切取合成图像的两端并调整大小然后向显示部31输出。当S26的处理结束吋，结束图5所示的控制处理。此外，S26的处理可以在每当输入ー张图像时(即S20与S24之间)进行。可通过执行图5所示的控制处理来低负荷地进行高速的逐次合成。此外，S12以及S16的处理与中心位置取得步骤相应，S18 S24与合成图像生成步骤相应。接着，说明用于使便携终端(计算机)2作为上述图像处理装置I发挥功能的图像处理程序。图像处理程序具备主模块、输入模块以及运算处理模块。主模块是集中控制图像处理的部分。输入模块使便携终端2进行动作，以取得输入图像。运算处理模块具备中心位置取得模块、距离计算模块、合成模块。通过执行主模块、输入模块以及运算处理模块来实现的功能与上述图像处理装置I的图像输入部10、中心位置取得部11、距离计算部121、合成部122的功能分别相同。例如，由ROM等存储介质或半导体存储器来提供图像处理程序。另外，可将图像处理程序作为数据信号经由网络进行提供。以上，根据本实施方式的图像处理装置I、图像处理方法以及图像处理程序，利用中心位置取得部11来取得构成第I图像的图像各自的第I中心点以及第2图像的第2中心点的位置信息，利用合成图像生成部12来取得构成第I图像的图像中与第2图像重叠的图像的第I中心点，根据所取得的第I中心点的位置信息以及第2中心点的位置信息，将所取得的第I中心点与第2中心点的中垂线作为第I图像和第2图像的连接处来进行结合，从而生成合成图像。这样，当逐次合成第I图像与所输入的第2图像时，可根据图像中心点的信息来确定图像的连接处从而进行结合，所以能够高速且低负荷地实现逐次合成处理。此夕卜，通过采用中垂线可降低第I图像与第2图像的偏移量，因此能够提高合成图像的品质。另外，根据本实施方式的图像处理装置I、图像处理方法以及图像处理程序，利用中心位置取得部11根据构成第I图像的图像中在第2图像紧前输入的图像以及第2图像来取得运动矢量，并根据所取得的运动矢量来取得第2中心点的位置信息，所以不用进行匹配处理等就能够高速且适当地判断所结合的第2图像的位置。另外，根据本实施方式的图像处理装置I、图像处理方法以及图像处理程序，利用合成图像生成部12，根据与中垂线的距离来决定合成图像的规定位置的像素值，所以能够利用简单的运算处理来合成图像，所述中垂线是离该规定位置最近的第I中心点和第2中心点的中垂线。另外，根据本实施方式的图像处理装置I、图像处理方法以及图像处理程序，可利用中垂线将合成像素值的区域限定为规定范围的区域，所以能够高速地进行合成图像的生成处理，并且例如在第2图像中具有模糊或偏移的情况下也能够减小对合成图像的影响并生成平滑的合成图像。另外，根据本实施方式的图像处理装置I、图像处理方法以及图像处理程序，在记录有离格点最近图像的第I中心点，所以不需要按第I图像与第2图像重叠的区域的每个像素来比较构成第I图像的全部图像的中心点与第2图像的中心点。因此，能够ー边削減 处理时间或处理成本一边降低运算处理的负荷。另外，根据本实施方式的图像处理装置I、图像处理方法以及图像处理程序，不用全部计算块内的各个像素位置的距离，就能够决定块内的像素值，所以可降低运算处理的负荷。此外，还可以判断是否按被格点包围的块来进行复制，并以块为单位执行合成处理，所以能够进一歩降低运算处理的负荷。此外，上述实施方式示出本发明的图像处理装置的一例。本发明的图像处理装置不仅限于实施方式的图像处理装置I，在不变更各权利要求中记载的主g的范围内，可变形实施方式的图像处理装置，或者应用于其它装置。例如，在上述实施方式中说明了照相机30连续拍摄静止图像的例子，但照相机30可对动态图像进行拍摄。在此情况下，图像输入部10可具有从所拍摄的动态图像中提取连续图像的功能。另外，图像输入部10所输入的图像可以是从其它设备经由网络发送的图像。另外，在上述实施方式中虽然说明了照相机30所拍摄的图像的大小是相同的，但所拍摄图像的大小也可以是每次摄像时不同的大小。另外，在上述实施方式中说明了中心位置取得部11采用所输入的图像和紧前输入的图像来计算运动矢量例子，但运动矢量的计算方法不仅限于此。例如，可采用所输入的图像与在此之前生成的合成图像来计算运动矢量。此外，虽然在上述实施方式中将用格点包围的区域作成矩形来进行了说明，但可以是三角形或其它多边形。符号说明I...图像处理装置，10...图像输入部，11...中心位置取得部，12...合成图像生成部，121...距离计算部，122...合成部，13...中心位置存储部，31...显示部。
权利要求
1.ー种图像处理装置，每当输入第2图像时使I张图像或结合多个所述图像而构成的第I图像与所输入的所述第2图像结合来逐次生成合成图像，该图像处理装置的特征在干，具备 中心位置取得部，其取得构成所述第I图像的图像各自的中心点即第I中心点的位置信息以及所述第2图像的中心点即第2中心点的位置信息；以及 合成图像生成部，其取得构成 所述第I图像的图像中与所述第2图像重叠的图像的所述第I中心点，并根据所取得的所述第I中心点的位置信息以及所述第2中心点的位置信息，将所取得的所述第I中心点与所述第2中心点的中垂线作为所述第I图像和所述第2图像的连接处进行结合，生成所述合成图像。
2.根据权利要求I所述的图像处理装置，其中， 所述第I图像是在所述第2图像紧前输入的图像或由所述合成图像生成部生成的所述合成图像。
3.根据权利要求I或2所述的图像处理装置，其中， 所述中心位置取得部根据所述第I图像以及所述第2图像来取得运动矢量，并根据所取得的所述运动矢量来取得所述位置信息。
4.根据权利要求I 3中任意ー项所述的图像处理装置，其中， 所述合成图像生成部根据与下述中垂线的距离来决定所述合成图像的规定位置的像素值，该中垂线是离该规定位置最近的所述第I中心点和所述第2中心点的中垂线。
5.根据权利要求4所述的图像处理装置，其中， 所述合成图像生成部在所述距离大于规定值且相比于所述第2中心点所述规定位置更接近于所述第I中心点吋，将所述第I图像的像素值作为该规定位置的像素值， 在所述距离大于规定值且相比于所述第I中心点所述规定位置更接近于所述第2中心点吋，将所述第2图像的像素值作为该规定位置的像素值， 在所述距离是规定值以下时，合成所述第I图像的像素值与所述第2图像的像素值作为该规定位置的像素值。
6.根据权利要求4或5所述的图像处理装置，其中， 所述合成图像生成部将所述规定位置设为格状排列的格点的位置，并按所述格点来记录离该格点最近的第I中心点。
7.根据权利要求6所述的图像处理装置，其中， 所述合成图像生成部根据按所述格点求出的所述距离来决定被所述格点所包围的块内的像素值。
8.根据权利要求7所述的图像处理装置，其特征在干， 所述合成图像生成部在包围所述块的全部所述格点的所述距离大于规定值且包围所述块的全部所述格点的位置相比于所述第2中心点更接近于所述第I中心点吋，将所述第I图像的像素值作为该块内的像素值， 所述合成图像生成部在包围所述块的全部所述格点的所述距离大于规定值且包围所述块的全部所述格点的位置相比于所述第I中心点更接近于所述第2中心点吋，将所述第2图像的像素值作为该块内的像素值。
9.根据权利要求6 8中任意ー项所述的图像处理装置，其中，所述合成图像生成部在生成所述合成图像之后，更新按格点记录的最近的所述第I中心点。
10.ー种图像处理方法，每当输入第2图像时使I张图像或结合多个所述图像而构成的第I图像与所输入的所述第2图像结合来逐次生成合成图像，该图像处理方法的特征在干，具有以下的步骤 中心位置取得步骤，取得构成所述第I图像的图像各自的中心点即第I中心点的位置信息以及所述第2图像的中心点即第2中心点的位置信息；以及 合成图像生成步骤，取得构成所述第I图像的图像中与所述第2图像重叠的图像的所述第I中心点，并根据所取得的所述第I中心点的位置信息以及所述第2中心点的位置信息，将所取得的所述第I中心点与所述第2中心点的中垂线作为所述第I图像和所述第2图像的连接处进行结合，生成所述合成图像。
11.一种图像处理程序，其使计算机发挥如下这样的功能每当输入第2图像时使I张图像或结合多个所述图像而构成的第I图像与所输入的所述第2图像结合来逐次生成合成图像，该图像处理程序的特征在干，作为以下単元发挥功能 中心位置取得部，其取得构成所述第I图像的图像各自的中心点即第I中心点的位置信息以及所述第2图像的中心点即第2中心点的位置信息；以及 合成图像生成部，其取得构成所述第I图像的图像中与所述第2图像重叠的图像的所述第I中心点，并根据所取得的所述第I中心点的位置信息以及所述第2中心点的位置信息，将所取得的所述第I中心点与所述第2中心点的中垂线作为所述第I图像和所述第2图像的连接处进行结合，生成所述合成图像。
全文摘要
一种图像处理装置，每当输入第2图像时使1张图像或结合多个图像而构成的第1图像和所输入的第2图像结合来逐次生成合成图像，该图像处理装置具备中心位置取得部(11)，其取得构成第1图像的图像各自的中心点即第1中心点的位置信息以及第2图像的中心点即第2中心点的位置信息；以及合成图像生成部(12)，其取得构成第1图像的图像中与第2图像重叠的图像的第1中心点，并根据所取得的第1中心点的位置信息以及第2中心点的位置信息，以所取得的第1中心点与第2中心点的中垂线作为第1图像以及第2图像的连接处进行结合，生成合成图像。
文档编号G06T3/00GK102656604SQ20108001214
公开日2012年9月5日 申请日期2010年10月15日 优先权日2010年10月15日
发明者羽深兼介 申请人:株式会社 摩如富