专利名称：图像处理方法
技术领域：
本发明涉及图像处理方法，特别是将三维实物体的二维图像转换为同一三维实物体的三维显示的方法，其中，实物体各元素构成，各元素由两维图像中的像素表示。
本发明的目的是提供一种新型简单技术，它能使胶片或视频影像中的彩色图片转换成三维的显示，胶片或视频影像中的彩色图片是带宽度和高度坐标(x，y)的图像平面中的两维显示，三维的显示是带宽度、高度和深度坐标(x，y，z)的空间中的显示。例如，这样的三维显示可用于分析在图像表面中的形成元素(物体特征)，或在适于它的媒体中产生三维图像/胶片。
胶片或视频影像的彩色图片是具有特定光谱组成的一个或多个光源发出光的摄像显示，所述光源在给定的时间点上照射在像机图像显示中的物体。所有物体吸收一定颜色并反射其余颜色。物体颜色由物体反射的光的光谱分布决定。物体在胶片上的录制取决于几个因素，包括1)光源的光谱分布2)物体的光谱反射能力3)像机距离和空气透视的吸收光谱4)摄像材料的颜色记录能力为了获得现存图像中元素的包括深度参数z的空间坐标，对图像的颜色品质进行了分析。颜色品质是入射光源和反射物体的记录。
光源的颜色品质以色温测量，并以开氏绝对温度表示。在摄影一场景时，入射和从图像表面中的物体反射的光通常使用色光计测量，使用适用于此(日光、人造光等)的带颜色记录能力的胶片。光源的色温随着与像机的距离而变化。
在彩色图片中单个图像点，即像素，在图像显示中显示反射物体。图像点的颜色品质显然是唯一地由三个可测量参数色调、饱和度和亮度决定。颜色品质随距像机的距离而改变。
色调是在电磁光谱，如牛顿(Newton)色谱和圆中颜色的位置。这通常由红、绿和兰(R、G、B)光谱颜色，或品红、黄和青(M、Y、C)的相对构成表示。又例如，根椐CIE1931标准向颜色坐标转换，在此对于给定亮度的所有可见颜色(即，波长为400-770nm)在一由光谱颜色和紫线限定的图内可赋予精确坐标。
饱合度表示一颜色与另外颜色混合多少，并标明为一百分数(％)。一个纯光谱颜色被称为饱合的(饱合度100％)，白色和灰色称为非饱合的颜色(饱合度0％)。
亮度(对比度、光强度或光值)是相对于从绝对白色表面(100％反射)反射的光的入射量的测量值，从而标为相对百分数(％)。
如果物体是相对于摄像机不同的距离正在移动的，从物体反射的光的记录的颜色品质是变化的。光源的色温随距离而变。单个点的色度(RGB)是固定的，但亮度和饱合度随距离而变。高亮度、饱合颜色和低色温发生在靠近图像表面(短距离)，给出所谓的活性级(active level)。相应地，低亮度、不饱合颜色和高色温发生在远离图像表面(长距离)，给出所谓的钝态级(passivelevel)。另外，拍摄在所有能级内(活性/钝态)进行，在此，暖色对冷色活性较大。暖色是M、MY和Y。冷色是YC和C。
由于随着离摄像机距离所述特性的变化，可以推论出，在一个相同场景中，每个颜色相对于图像的其它颜色具有它自己的透视位置。这就是本发明的基础。
根据本发明，提供一种图像处理方法，特别是把三维实物体的二维图像转换成同一三维实物体的三维显示，在此实物体由元素构成，每个元素在两维图像中由像素显示。所述方法的特征是，通过测量图像中每个像素的颜色品质，所述品质是由色温、饱合度和亮度值表达的，确定图像表面中元素相对于一带有特定色调的参考平面的距离d(z)，距离是在垂直于参考平面并以参考平面为原点的z轴上测量，结果是对于图像中相关的像素显示的每个元素的每个色温或饱合度和对比度的值，获得距离值dt、ds和dc，在元素和参考平面间的距离d(z)被确立为距离值dt、ds和dc的加权的平均值；d(z)＝1/3*(kt*dt+ks*ds+kc*dc)，kt、ks和kc构成根据经验数据的加权因子，用于通过d(x)→X、d(y)→Y和d(z)→Z变换，根据确立的距离值d(z)和图像平面中像素的x，y坐标，确定像素表示的元素的实空间坐标X、Y和Z，X、Y和Z是以参考平面为原点，三维坐标系统中的元素坐标。这个d(x)→X和d(y)→Y变换是借助于一计算比例，通过将平面中图像点转换为空间中点的已知程序获得的，所述比例是像机图像平面和空间中最近聚焦平面，在此处是参考平面之间的。变换d(z)-Z是通过应用前透视结构程序，从一标准化的透视图读出度量距离获得的。
在一优选实施例中，本发明包括，利用单个图像的图像序列，通过确定颜色品质的参数值，建立一参考比例，每个单个图像在不同的预定聚焦平面中描绘实物体，各聚焦平面间的颜色品质参数的变化用于几何测量比例的校准，几何测量比例是这样的比例，它用度量(metric)的或透视的距离值来表示各测量的颜色品质参数。最好几何测量比例包括根据开氏绝对温度色温的参考和经验数据的几何叠合非线性比例；颜色饱合的百分数；光强度/对比度的百分数，色温向着在比例的共同端点或聚集点上的最大值增加，在此颜色饱合度和光强/对比度接近零。聚集的非线性比例的共同点是通过颜色品质参数确定，所述颜色品质参数是在最远距离的聚焦平面上聚焦的图像中一个或多个遥远元素的，这元素的测量值或这些元素的平均测量值确定聚集点。在另一优选实施例中，几何测量比例插入相应于两维图像的格式的前透视图中，并且非线性比例对于相关图像的颜色品质校准，以便确定参考平面和图像一元素间的距离，或参考平面和形成元素的部分的一个或多个像素间的距离。
最后，根据本发明最好利用一以透视为基础的距离值，或利用一度量距离值。
利用这个装置，根据颜色品质特性的经验和实验知识对曝光的彩色摄影图像材料进行分析，从而每个颜色获得它的相对于图像其它颜色的透视位置。结果，本发明提供了一种景埸所有颜色的三维参考数据库，从所述数据库可推出其他透视参数，如距离、空间坐标等。
在本发明中处理存在在已曝光的摄影彩色图片中的信息。如果摄影的材料是常规的模拟类型的，如彩色底片或正片/相纸或录像带，为了进一步处理，自然应将材料转换成数字格式，此时图像表面中的每个点由像素显示，即它特征的描绘，所述数字格式除了其它以外应包括在图像平面中的点的方向，以及和颜色品质(色温、色度、饱合度和对比度)有关的所希望的数据。利用也可处理本发明的，现有的图像处理的编辑装置，可以提供这样的数字显示。
在本发明的以下说明中，根据几何方法利用一数学模型。这个实施例的目的是提供所述方法的最好可能的解释。在实际中自然可在计算机中以另外的等同数学处理方法实施所述方法。
现参照本发明的图示更详细说明本发明。
图1是用于校准或参考数据的推断的一移动物体的几个图像的示意图；图2是图像中显示的相对于参考平面的不同物体位置的图示；图3是几何测量比例中使用数据的图示；图4是显示图像格式的前透视图。
图1示出在一特定景埸中沿Z轴(与C-B平行)移动的物体的序列图像。由于离像机的聚焦平面距离增加，物体颜色品质改变。物体聚焦平面的显示具有颜色品质参数，表达从一参考平面(如在序列中的第一图像5’)到序列的最后图像11’的物体距离，并记录在不同聚焦平面间(在图1中的实际图像序列5’-11’)的物体运动，从而获得离参考平面5’的物体距离的表达。聚焦平面的已知位置，即在每个聚焦平面5’-11’中的物体的与测量的颜色品质参数相结合的已知距离值，从而如图2所示，给出一参考比例，它可用于产生测量的颜色品质参数的一几何测量比例(距离比例)。
图2示出带透镜的像机，以及参考平面(像机聚焦平面)是如何确定的。图也示出实际位于与参考平面一特定距离上的不同物体。在本发明的方法中，根据在图像中显示物体的像素的颜色参数获得物体的实际空间位置。在图的底部，可见到几何比例，在本发明的实施例中所述比例允许物体与参考平面间的距离根据物体图像确定。
图3示出一几何测量比例，它带有分别是色温、色饱和度和光强度/对比度的几何叠合非线性比例。几何测量比例将是分析同一景场中任意元素的工具。测量比例呈一直角三角形ABC’形，它描述相应图1的图像景场的深度范围。沿侧边上有根据参考和经验数据确立的，关于颜色品质特征的比例。能在图3所示的前透视中看到的这个几何测量比例，是本发明方法的这个实施例的主要工具。
图4示出一矩形ADEF，它表示胶片/视频图像格式。图4中的点C描绘每个聚焦平面的中心点，称为焦点，它是向前通过在图1所示各图像向景场中心观察的，并且表示出图3中的几何比例，被插在右手下面的象限中。图4可根据一比例变换成度量系统，所述比例是根据一已知程序计算的。然后度量值存储在它的整个表面和外形中。
图4被称为一前透视，是从外侧向一透视进行精确计算的人工设计时的建筑程序中已知的。在本发明的这实施例中，这能够以相反次序使用，在一由内向外翻的透视中，通过在图4内自动读出图3(从而图3也变成度量比例)，以获得图像中实物体元素(物体)的精确的度量距离数据。
根据实施例的方法是以参照图1、2、3和4说明的程序开始，建立和校准被使用的工具。首先，用不同的比例建立图3中的几何测量比例。在它的具有角A、B、C的直角三角形的几何形式中建立图3。沿侧边有与本发明原理相应，即在拍照的场景中颜色品质的分析，建立的不同比例。图4中插入几何比例，并通过测量的数据校准。这必须对每个应处理的场景进行。
然后可进行提供透视-距离参数的程序。例如，向场景中的物体/元素提供度量距离值。
沿图3的ABC’中的斜边AC’标出胶片序列的图像次序。通过沿着直到直角边AB的垂直结构线，每个图像的聚焦平面也隐含地随之而来。在中间区(图3所示的三角形内)反射单个图像的颜色品质。
沿图3的ABC’中的直角边AB，建立带有色调分布的比例，例如用纳米波长λ在RGB格式中表示的。这个比例是非线性的，是根据参考数据用一定颜色的偏置(bias)分析产生的，最暖的前面颜色位于B点，其余的颜色处于RGB次序，冷的较远的颜色向着A点。沿AB线上的所有这些颜色属于颜色的饱合部分，它们与场景透视中色温的最低值相应。在处理中，不同颜色的分布形成相对原始参考数据的偏差，并通过调整这样的经验数据，对不同场景达到比例的精确校准的或然率提高。
沿图3中三角形ABC’的直角边BC’，建立三个比例，其中比例1是非线性的，示出开氏绝对温度的色温，最低在B点，向着C’提高；比例2是非线性的，示出颜色饱合度的百分数，最高在B点，向着C’降低；以及比例3是非线性的，示出亮度或对比度的百分数，最高在B’点，向着C’降低。
比例3在BC线上的B’点上有它的开始点(对比度100％)。B’点通常是通过从角B向线AC’引一垂线形成，从而形成交点5’。然后从点5’引一垂线到线BC’，从而形成B’点。
在图3中的垂线4标出在图1中以5’表示的最近的聚焦平面。
在建立了图3中的包含原始参考数据的比例后，整个的几何比例插入到所示的图4中，或在右手下象限，或在左手下象限。带有插入的图3的几何比例的图4被置于一埸景中图像的顶部。根据测量的数据对所述埸景的几何比例的大小进行校准。比例1，色温比例，提供进一步处理的指南。它是非线性，根据参考数据用一定颜色偏置制出，参见(cf.)沿直角边AB的RGB比例。比例1在端点校准，如果有经验数据也利用经验数据。
比例1的端点应在明显与比例2和3叠合的C’点中。在称为聚点的C’点上，可测量的对比度和颜色饱合度向0％收敛。相应地，在比例1上的C’点是场景中可能的最高可测到的色温。聚集点C’是在图像系列中最后记录的聚焦平面/点中，在相关的三个比例上，标出这些测量的值并选择一平均值形成的，或利用在场景中记录的最远元素/物体中的测量值。如果经验数据表明不同情况，可选择一给出端点C’的权加平均值的算法。
色温的比例1是相对于颜色饱合度和对比度沿AB线的图的饱合颜色比例的转换。这意味着在三角形比例内的区域反射场景中所有颜色的透视变化。因此，场景中每个图像中的每个点由它的颜色、饱合度和亮度显示。在空间中相对于像机位置的点的方向被明确限定，并通过适当处理精确的空间坐标(x、y、z)可推导出。
如上所述在以插入前透视的校准几何比例(图3)的形式建立工具后(图4)，便跟随一个场景的图像实际处理，即提供透视距离参数的程序。工具是在场景单个图像上，并由已知程序获得希望的参数。
如果需要离图像中物体或元素的度量距离，可进行以下程序。
附随(incidental)物体/元素的图像表面的希望点，经由结构线变换到主透视线AC。从线AC上的这些点向BC’线引垂线到交点上，参见图3中的聚焦平面/点11’、10’和9’。从与主透视线AC的交点也引一线到距离点B，以及继续在它的延长线上到与例边AF的交点，或在ADEF外延长。从像机到图像表面中的点的度量距离与从点A(到图像表面中的点)的距离成取决于上述比例的正比(或如果模板插在图4中的左下象限内与点F的距离成正比)。
如果需要随附于图像中物体/元素的或在物体和元素间的度量高度，通过向CD线引结构线进行相似程序，然后在与CD线的交点到AD线的线中读取度量值。
如果需要与图像中物体相应的度量高度或在物体与元素间的度量高度以确定外形，可进行相似的已知程序。
通过先确定空间坐标(x、y、z)，即图像场景的全部或部分的两维显示转换到三维显示，并随后就周边、外形、颜色等的变化进行形式元素分析，在物体的特征中可利用这些度量参数。
如果需要相对于已知度量距离的物体/元素的颜色品质，可水相反次序进行上述程序。能够用这样的透视-距离颜色参数建立一放大的透视，并处理两维图像材料，使得显示出三维图像，并可通过已知的影像数据技术观看，如在高分辨率的屏幕上(虚拟3D电视)。
通过将本发明方法的上述实施例和其它可能的实施例结合，可推导出能用于产生实三维电视(实3D电视)的数据，以便在与它相适的媒体上观看。
权利要求
1.一种图像处理方法，特别是把三维实物体的二维图像转换成同一三维实物体的三维显示，在此实物体由元素构成，每个元素在两维图像中由像素显示，其特征在于，通过测量图像中每个像素的颜色品质，所述品质是由色温、饱合度和对比度值表达的，确定图像表面中元素相对于一带有特定色调的参考平面的距离d(z)，距离是在垂直于参考平面的z轴上测量并以参考平面为原点，结果是对于图像中相关的像素显示的每个元素的每个色温、饱合度或对比度的值，获得距离值dt、ds和dc，在元素和参考平面间的距离d(z)被确立为距离值dt、ds和dc的加权的平均值；d(z)＝1/3*(kt*dt+ks*ds+kc*dc)，其中kt、ks和kc构成根据经验数据的加权因子，用于通过d(x)→X、d(y)→Y和d(z)→Z变换，根据确立的距离值d(z)和图像平面中像素的x，y坐标，确定像素显示的元素的实空间坐标X、Y和Z，X、Y和Z是以参考平面为原点，三维坐标系统中的元素坐标。
2.根据权利要求1所述的方法，其特征在于，这个d(x)→X和d(y)→Y变换是借助于一计算比例，通过将平面中图像点转换为空间中点的已知程序获得的，所述比例是像机图像平面和构成参考平面的空间中最近聚焦平面之间的。
3.根据权利要求1所述的方法，其特征在于，变换d(z)→Z是通过将前透视结构程序递归应用，从一标准化的透视图读出度量(metric)距离获得的。
4.根据权利要求3所述的方法，其特征在于，在适于与前透视结构结合使用的几何颜色模型中设置经验数据。
5.根据权利要求1所述的方法，其特征在于，利用单个图像的图像序列，通过确定颜色品质的参数值，建立一参考比例，每个单个图像在不同的预定聚焦平面中描绘物体，各聚焦平面间的颜色品质参数的变化用于几何测量比例的校准，几何测量比例是这样的比例，它用度量的或透视的距离值来表示各测量的颜色品质参数。
6.根据权利要求5所述的方法，其特征在于，几何测量比例包括根据开氏绝对温度色温的参考和经验数据的几何叠合非线性比例；颜色饱合的百分数；光强度/对比度的百分数，色温向着在比例的共同端点或聚集点上的最大值增加，在此颜色饱合度和光强/对比度接近零。
7.根据权利要求6所述的方法，其特征在于，聚集的非线性比例的共同点是通过颜色品质参数确定，所述颜色品质参数是在最远距离的聚焦平面上聚焦的图像中一个或多个遥远元素的，所述元素的测量值或这些元素的平均测量值确定聚集点。
8.根据权利要求7所述的方法，其特征在于，几何测量比例插入相应于两维图像的格式的前透视图中，并且非线性比例对于相关图像的物体校准，以便确定参考平面和图像一元素间的距离，或参考平面和形成元素的部分的一个或多个像素间的距离。
9.根据权利要求8所述的方法，其特征在于，利用一以透视为基础的距离值。
10.根据权利要求8所述的方法，其特征在于，利用一度量距离值。
全文摘要
一种图像处理方法,特别是把三维实物体的二维图像转换成同一三维实物体的三维显示,在此实物体由元素构成,每个元素在两维图像中由像素显示。图像的颜色就其颜色品质进行分析,并利用一色温比例、颜色饱合度比例和对比度比例定位单个颜色点在空间的方向,结果每个颜色获得相对图像其它颜色的透视位置。
文档编号G06T15/10GK1261969SQ98806694
公开日2000年8月2日 申请日期1998年5月6日 优先权日1997年5月6日
发明者芬恩·霍伊戴尔 申请人:迪曼森斯公司