专利名称：三维影像接合处的色彩处理方法
技术领域：
本发明涉及一种三维影像接合处的色彩处理方法，应用于三维(3D)彩色影像的接合，特别是一种独立亮度来校正，达到无接缝的色彩处理方法，同时能保留影像的原始色彩，并且不会破坏其原有的纹理。
背景技术：
制作立体影像时，二张或多张影像在接合时因光源效应而产生明显的接缝，尤其是彩色影像更为明显。人们不希望破坏影像上的细纹及原始色彩，加上显示坐标定义不同，因此无法用一般的平面影像处理方式来解决接缝处的色彩差异问题。
为了解决影像接合的种种问题，前案提出了相当多不同的作法，如论文Color Correction for an image Sequence(Binh Pham，Glen Pringle，1995 IEEE)所阐述的，在重叠的区域内选择一些较具代表性的颜色来求取校正矩阵，使其颜色一致，除了仅能适用于两个影像重合外，更具有下列缺点●所选取的代表颜色将影响校正结果，选择的方法无法有效的广泛运用。
●当两区域颜色差异较大时，效果会较差。
●因强迫使两区域颜色一致，则将损失整体影像的真实色彩。
●对不同影像皆须取不同的参考色，无法适用于所有影像，有效去除不连续性问题。
另外Computing Consistent Normals and Colors from PhotometricData(H.Rushmeier and F.Bernardini)是利用以五个光源分别置于不同位置，物体的每一角度均需对每一盏灯取一次影像，而由五张影像以不同权重合成一张影像，用以处理光源不均匀问题，再与其它同样处理过者接合，接合处再利用周围平均(neighborhood average)方式处理，所谓周围平均法乃是直接平均重叠部分的RGB色彩来校正，其缺点在于●接合处仍以周围平均(neighborhood average)方式处理，会有不连续处的现象，且容易失去细部的影像纹理(texture)。
●需局限硬件的架设，且需较多成本。
●每摄取一次三维(3D)影像，都需要对每一角度重复取像，相当花费时间。
●仍须搭配软件修正，且直接将色彩以周围平均(neighborhoodaverage)处理，容易使影像模糊，失去真实性。
另外除了周围平均法的外，还有一些处理影像边界接合的方法，例如边界平滑法(edge smoothing)等，均会使边界处的影像变得模糊，失去细部的纹理，不适用于多张影像或是3D影像的接合。而如美国公告第6,271,847号专利，其利用特殊的视角、位置取像，再配合相对应的运算方式整合影像，尽管相较于先前技术能够相当快速以及节省成本，且能保有细部纹理，但是对于RGB色度空间内处理影像，容易造成影像颜色的失真。
发明内容
针对上述问题，本发明的目的在于提出一种三维影像接合处的色彩处理方法，可去除两张或多张彩色影像整合时，因光源不均匀造成接合处亮度差异而产生的不连续现象，并保留原有的色彩及纹理。
本发明有鉴于已知技术的缺点，本发明的特征在于，为了保留影像原有的色彩及细部纹理，故将亮度单独抽离，藉由亮度来校正、处理并接合影像，而能在保有原有色彩及细部纹理的状况下，消除复数张影像接合时因光源不均匀造成接合处亮度差异而产生的不连续现象，达到三维(3D)彩色影像无接缝的接合效果。
除此的外，本发明并采用两阶段的校正处理方式，首先校正欲处理影像整体的亮度差，接着再处理边界接合重叠处，其主要步骤流程包含有(a)提供复数张影像；(b)计算复数张影像的亮度差，并藉由亮度差分别校正复数张影像；(c)撷取复数张影像的接合处的影像；(d)校正重叠处的影像的亮度，且使接合处的影像的边缘及接缝的亮度与相邻的影像的亮度相同；以及(e)重新接合复数张影像的重叠处与复数张影像。
图1为本发明的步骤流程示意图；图2A～2C为本发明校正整体影像亮度的示意图；图3为本发明校正整体影像亮度的步骤流程示意图；图4为本发明独立撷取影像亮度的步骤流程示意图；图5为本发明网格区域的示意图；图6为本发明边界校正的示意图；图7为本发明校正重叠区域亮度的步骤流程示意图；图8为本发明区分较小处理区域的示意图；以及图9为本发明独立撷取重叠区域影像亮度的步骤流程示意图；图10为本发明处理前和处理后效果对比示意图；图11为本发明处理前和处理后效果对比示意图。
图中符号说明A、B、C 处理区域D 处理范围P1、P2、P3顶点坐标具体实施方式
本发明所揭示为一种三维影像接合处的色彩处理方法，请参阅图1，用以结合复数张三维(three dimensions；3D)影像时，处理其接合处亮度及色彩的不连续性，首先提供复数张影像(步骤101)，接着计算复数张影像的亮度差，并藉由亮度差分别校正复数张影像(步骤102)，接着撷取复数张影像的接合处的影像(步骤103)，并校正重叠处的影像的亮度，且使接合处的影像的边缘及接缝的亮度与相邻的影像的亮度相同(步骤104)，最后重新接合复数张影像的重叠处与复数张影像(步骤105)，藉由此两段式的校正处理方式，首先校正欲处理影像整体的亮度差，接着再处理边界接合重叠处。
其中关于整体影像校正亮度(步骤102)的部分，首先请参阅图2A，示意两接合影像之间的亮度曲线，接合处会有一定量的亮度差，理想上，必须将两者调整至亮度连续性的状态(见图2B)，才能使得影像接合最佳化，而步骤102中，藉由整体影像亮度的校正，来降低后续边界亮度修正值。而亮度校正的方式，请参阅图3，首先撷取重叠处的影像的亮度(步骤301)，并计算各重叠影像亮度的平均值(步骤302)，再藉由计算亮度平均值的差异量(步骤303)，来依序补偿校正各影像的亮度(步骤304)。而取得影像的亮度的方式，可利用转换至另一不同的色彩空间，其步骤流程如图4所示，首先取得重叠处的影像的网格(步骤401)，接着计算对应的位置及色彩资料(步骤402)，然后转换至一可将亮度独立出来的色彩空间坐标(步骤403)，其中色彩空间坐标可为CIELAB、CIELUV、YCrCb等可将亮度自色彩独立出来的色彩空间坐标，最后即可取得重叠处影像的亮度(步骤404)。
关于网格的部分，请参阅图5，藉由网格的顶点坐标P1、P2、P3，求算出对应于复数张影像的位置坐标，再藉由顶点坐标P1、P2、P3画出在影像上的一网格区域，并计算于网格区域内的所有点的位置(图中三角形所圈绕的区域内的点)，即可取出其色彩资料。而计算求得的平均亮度差异，如为两影像，则为两影像的平均亮度的差值，再将每一影像减去或加上此一平均亮度差异的二分的一，则可得到初步的整体影像亮度校正(见图2C)。如果三张以上的影像的处理，同样可每次输入二张影像，处理接合后为一张影像后再与第三张影像做处理，依此类推。
接着进行第二部分的边界校正，主要将修正边界的亮度差异，如图7所示，首先将初步整体影像亮度校正后的重叠处分割为复数个较小的处理区域(步骤701)，分割的目的是为了提高影像处理的效果，至于分割的数量或是分不分割，则可根据实际上的需求而定，然后撷取处理区域中各点亮度值，并计算其平均亮度(步骤702)，然后计算处理区域中各点(像素)的校正参数(步骤703)，最后再藉由校正参数及平均亮度校正相对应的影像的亮度，使接合处的影像的边缘及接缝的亮度与相邻的影像的亮度相同(步骤704)。其中，亮度值的取法可同于取网格的方式，如图9所示，取得处理区域的影像的网格的顶点坐标(步骤901)，并求算出对应于处理区域的位置坐标(步骤902)；藉由顶点坐标画出在处理区域上的一网格区域(步骤903)，计算于网格区域内的所有点的位置(步骤904)，取出处理区域的色彩资料(步骤905)，转换色彩资料至一可将亮度自色彩信息独立出来的色彩空间坐标(步骤906)以及取得处理区域的影像的亮度(步骤907)。此方法与前述雷同，故不再累述。
而其中求取校正参数的部分，如下所述，校正参数可为(1-(d(x，y)/D))W，其中D为处理范围(见图6)，d(x，y)为此处理像素与该接合处的距离，及W＝c1σm-1+c2σm+c3σm+1，其中σm-1，σm，σm+1为该处理区域与相邻处理区域的平均亮度(见图8，可分别相对应于处理区域A、B、C)，而c1，c2，c3为其相对的位置参数，也就是距离相邻处理区域或边界越近者，修正越少。最后将第一次校正后的亮度再减去此校正参数即可得到最终的亮度值，因为，根据处理区域与其相邻区域的位置距离、亮度来求得，所以校正后，两处理区域间或是与非重叠区域之间不会有亮度的落差，同时，独立亮度修正，而可保有原先影像的色彩以及细部纹理。如图10所示，为根据本发明的方法而处理两张3D影像接合的处理前、后比较示意图，可以清楚的看出处理的效果，而如图11所示，多张3D影像的接合也是相同的处理方式。另外本发明更具有下列优点
●在不同的色彩空间坐标下，仅对亮度做修正不改变影像原本色彩。
●先校正二张影像的总亮度，减少接合处的亮度差异，减少校正叠合处时的失真。
●以叠合处的亮度差配合转换函式校正重叠处附近的影像可避免模糊影像，且可有效去除不连续问题。
●程序自动执行，方便简捷并适用所有影像。
另一方面，尽管上述说明仅针对三维图像3D来说明，但对于二维图像(2D)或是其它维度的影像也可相同的应用。
以上所述者，仅为本发明其中的较佳实施例而已，并非用来限定本发明的实施范围；即凡依本发明申请专利范围所作的均等变化与修饰，皆为本发明专利范围所涵盖。
权利要求
1.一种三维影像接合处的色彩处理方法，用以结合复数张三维(three dimensions；3D)影像时，处理其接合处亮度及色彩的不连续性，其特征在于，该方法包含有下列步骤(a)提供复数张影像；(b)计算该复数张影像的亮度差，并藉由该亮度差分别校正该复数张影像；(c)撷取该复数张影像的接合处的影像；(d)校正该重叠处的影像的亮度，且使该接合处的影像的边缘及接缝的亮度与相邻的影像的亮度相同；以及(e)重新接合该复数张影像的重叠处与该复数张影像。
2.如权利要求1所述的三维影像接合处的色彩处理方法，其特征在于，该步骤(b)利用色彩空间坐标转换而将该影像的亮度独立处理。
3.如权利要求2所述的三维影像接合处的色彩处理方法，其特征在于，该色彩空间坐标可为CIELAB、CIELUV、YCrCb等可将亮度自色彩独立出来的色彩空间坐标。
4.如权利要求1所述的三维影像接合处的色彩处理方法，其特征在于，该步骤(b)更包含下列步骤i.撷取该重叠处的影像的亮度；ii.计算各该重叠处的影像的平均亮度；iii.计算该平均亮度的差异量；以及iv.藉由该平均亮度的差异量依序对该复数张影像校正。
5.如权利要求4所述的三维影像接合处的色彩处理方法，其特征在于，该步骤i撷取重叠处的影像的亮度步骤包含有下列步骤取得该重叠处的影像的网格；计算其对应的位置及色彩资料；转换该色彩资料至一可将亮度自色彩信息独立出来的色彩空间坐标；以及取得每一该重叠处的影像的亮度。
6.如权利要求5所述的三维影像接合处的色彩处理方法，其特征在于，该计算其对应的位置及色彩资料的步骤，包括有藉由该网格的顶点坐标，求算出对应于该复数张影像的位置坐标，再藉由该顶点坐标画出在该影像上的一网格区域，并计算于该网格区域内的所有点的位置，即可取出该色彩资料。
7.如权利要求1所述的三维影像接合处的色彩处理方法，其特征在于，该步骤(d)包含有下列步骤I.将该影像重叠处分割为复数个较小的处理区域；II.撷取该处理区域中各点的亮度值，并计算其平均亮度；III.计算该处理区域中各点的校正参数；以及IV.藉由该校正参数及该平均亮度校正相对应的影像的亮度，使该接合处的影像的边缘及接缝的亮度与相邻的影像的亮度相同。
8.如权利要求7所述的三维影像接合处的色彩处理方法，其特征在于，该步骤撷取该处理区域中各点的亮度值的部分系包含有下列步骤取得该处理区域的影像的网格的顶点坐标；求算出对应于该处理区域的位置坐标；藉由该顶点坐标画出在该处理区域上的一网格区域；计算于该网格区域内的所有点的位置；取出该处理区域的色彩资料；转换该色彩资料至一可将亮度自色彩信息独立出来的色彩空间坐标；以及取得该处理区域的影像的亮度。
9.如权利要求7所述的三维影像接合处的色彩处理方法，其中该校正参数系藉由该处理区域与其相邻区域的位置距离、亮度来求得。
10.如权利要求9所述的三维影像接合处的色彩处理方法，其中该校正参数系藉由下列公式求得(1-(d(x，y)/D))W，其中D为处理处理范围，d(x，y)为此处理画素与该接合处的距离，及W＝c1σm-1+c2σm+c3σm+1，其中σm-1，σm，σm+1为该处理区域与相邻处理区域的平均亮度，而c1，c2，c3为其相对的位置参数。
全文摘要
一种三维影像接合处的色彩处理方法，用以接合复数张影像而构成三维(3D)的彩色影像，本方法利用以不同的色彩空间转换将亮度与色彩信息独立出来，而利用其亮度对接合处进行平滑处理后，再转换回原GRB的色彩空间，如此不仅能保留影像的原始色彩，并且不会破坏影像上原有的纹理。
文档编号G06T15/50GK1519779SQ03101929
公开日2004年8月11日 申请日期2003年1月23日 优先权日2003年1月23日
发明者陈佳纶 申请人:财团法人工业技术研究院