专利名称：一种高动态范围纹理三维模型的重构方法及装置的制作方法
技术领域：
本发明涉及计算机应用技术和信号处理领域，具体涉及一种高动态范围纹理三维 模型的重构方法及装置。
背景技术：
随着多媒体技术的飞速发展和人们对多媒体服务需求的提高，立体图像和立体视 频技术已经显示出越来越大的应用需求。立体图像和立体视频能够使得观看者获得真实的 立体感，为他们带来身临其境的感觉，所以相比传统图像和视频更加先进和有发展前景。多立体视频的产生方法中，尤其是在自由视点视频技术中，性能和效果最好的方 案是基于三维模型重建的采集和渲染方法。三维模型是对于真实物体的数字化表示，记录 了物体表面的各种信息，可以实现多角度、多属性的数字显示。获得真实物体的三维模型的 一种非常重要的技术被称作MVS (Multi-view Stereo，多视点立体重构技术)。该技术利用 对真实物体进行多视点拍摄得到的图像或视频，重构出物体的数字化三维模型。在利用多视点立体重构技术进行真实的模型获取时，如果目标是静态场景和模 型，那么可以利用单摄像机在不同角度进行依次拍摄，得到所需的多视点图像。这一方案尤 其适用于室外的景物拍摄，如建筑等。另一种拍摄方案利用多摄像机从不同视角同时进行 图像或视频拍摄，这种方案的优点是能够获取动态场景和物体。而对于单相机方案，由于在 动态场景中的物体位置和形态会随时间变化而改变，所以在相机逐次改变位置进行拍摄过 程的中，可能会由于场景发生变化造成三维模型的不可恢复。无论对于单相机还是多相机拍摄方案，现有的多视点重构技术都通过固定的低动 态范围图片拍摄进行模型恢复。所谓低动态范围图像，是指图像的每一个像素利用有限的 数值记录自然场景的真实副照度，例如8比特图像的每一个像素中，红绿蓝三种颜色分量 各有8个比特的数值范围，即0-255。然而，真实世界的场景辐射率可能存在达到10的5 次方以上的不同数值，所以图像能够记录的只是其中很小一部分的信息，这个有限的信息 范围被称作低动态范围。由低动态范围图像恢复得到的模型只能获得低动态范围的纹理， 所以在利用这样的模型进行重光照渲染时，在新的指定光照下需要的纹理信息是无法获得 的，所以渲染的结果将非常不理想。获得高动态范围纹理的直接方法是利用特殊设计的相机直接拍摄高动态范围的 图像。例如，特殊设计的相机可以通过实现空域多曝光直接拍摄高动态范围图像。不过，这 种方案的缺点是需要投入到器材上的花费过高，并且特殊的相机暂时无法广泛应用于各类 应用中。在这种方案中，主要的难点在于对于动态场景，高精度的运动预测很难完成，从而 导致图像融合时的错位现象。总之，现有的技术方案并不能直接应用于多视点重构技术中。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别基于多相机多曝光的图像和 视频采集，实现了高动态范围纹理的恢复，提出了一种高动态范围纹理三维模型的重构方
4法及装置。为实现上述目的，本发明实施例公开了一种高动态范围纹理三维模型的重构方 法，包括如下步骤采用分组环绕阵列方式排列的拍摄设备，拍摄多视点多曝光图像和/或视频；根据所述拍摄得到的多视点多曝光图像和/或视频中的图像帧，恢复所述拍摄设 备的响应曲线；根据所述拍摄设备的响应曲线，对不同曝光时间下拍摄的图像进行曝光校准，以 恢复三维网络模型；根据所述三维网络模型，通过计算网格上每一个顶点的颜色信息，恢复高动态纹
理{曰息ο本发明实施例还公开了一种高动态范围纹理三维模型的重构装置，包括采集模 块、恢复响应曲线模块、曝光校准模块和重构模块。其中，采集模块，采用分组环绕阵列方式拍摄多视点多曝光图像和/或视频；恢复响应曲线模块，用于根据来自所述采集模块的多视点多曝光图像和/或视频 中的图像帧，恢复所述采集模块的响应曲线；曝光校准模块，用于根据来自所述恢复响应曲线模块的响应曲线，对不同曝光时 间下拍摄的图像进行曝光校准，以恢复三维网络模型；重构模块，用于根据来自所述曝光校准模块的三维网络模型，通过计算网格上每 一个顶点的颜色信息，恢复高动态纹理信息。本发明提供的高动态范围纹理三维模型的重构方法及装置，在不需要额外的硬件 设备更新，在不降低模型几何重构精度的前提下实现了对带有高动态范围的三维模型的多 视点立体重构，获得高动态范围的模型纹理信息。本发明提出的上述方案，对现有系统的改动很小，不会影响系统的兼容性，而且实 现简单、高效。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为根据本发明实施例的高动态范围纹理三维模型的重构方法的流程框图；图2为根据本发明实施例的多视点多曝光图像/视频采集的相机排列示意图；图3为根据本发明实施例的寻找匹配像素点的示意图；图4为根据本发明实施例的三维网格模型顶点颜色求取的示意图；图5为根据本发明实施例的高动态范围纹理三维模型的重构装置的结构框图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。为了实现本发明之目的，本发明公开了一种高动态范围纹理三维模型的重构方 法。图1示出了该方法流程图。如图1中所示，该方法包括如下步骤SlOl 采用分组环绕阵列方式排列的拍摄设备，拍摄多视点多曝光图像和/或视 频；为采集得到被拍摄场景物体的多视点多曝光图像和/或视频，将拍摄设备以环形 阵列方式围绕在被拍摄场景物体的周围。并将所有拍摄设备分为若干组，对每一组内的拍 摄设备设定相同的曝光时间，不同组的曝光时间不同。其中，曝光时间选取使所有拍摄设备 的拍摄结果能够尽可能记录最大动态范围的原始场景光线辐射率的时间长度。根据上述环 绕排列及分组方式，拍摄设备采集居中场景物体的图像和/或视频信息。需要注意的是，在 拍摄之前，所有拍摄设备需要经过颜色校准。在本实施例中，拍摄设备为相机或摄像机。如图2所示，10台相机组成环形阵列围绕在被拍摄物体的周围。将10台相机分为 A组合B组，各包括5台相机，不同组的相机间隔排列。其中，A组相机采用一种曝光时间设 置，B组相机采用另一种曝光时间设置。10台环形排列的相机共同采集居中的真实场景物 体的图像信息。关于拍摄设备的分组方式，可以选择各种灵活的设置。除本实施例提供的环绕排 列方式外，其他如不同曝光时间的相机按照固定顺序依次间隔排列，或者采用其它更为复 杂的排列方法，亦属于本发明实施例的保护范围。S102 恢复拍摄设备的响应曲线；在本实施例中，步骤101中采集得到的多曝光多视点的静态图像或视频帧图像为 一组10幅图像，其中5幅图像的曝光时间设置为数值1，另外5幅图像的曝光时间设置为数 值2。通过步骤101中采集得到的多曝光多视点的静态图像或视频帧图像，寻找记录空 间中同一物体表面位置的像素点，即匹配像素点。该匹配像素点的像素值即匹配像素值。根 据得到的图像帧中各个像素的匹配像素值，按照拍摄设备的响应曲线恢复算法恢复该拍摄 设备的响应曲线。在本实施例中，采用物体表面几何结构进行约束的方法获取图像帧中各个像素的 匹配像素值。结合图3所示，包括如下步骤Al 对于任意图像上的任意像素，通过该图像的拍摄相机的参数计算出该像素的 成像光线。结合图3所示，在本实施例中，任取连续的3幅图像A、B、C，其中，图像A和C具 有相同曝光时间。拍摄图像A的相机为U,拍摄图像B的相机为V，拍摄图像C的相机为W。 对B图像中的任意像素pb，通过拍摄该图像的相机W参数计算其成像光线，则该像素记录的 三维物体表面位置必然位于成像光线上。在成像光线上等间隔遍历所有候选点，记为X，即 χ为候选空间位置。具体的说，通过该图像的拍摄相机的参数计算出该像素的成像光线包括如下步 骤设任意世界坐标系下坐标为(XW，YW，ZW)的空间点在该拍摄相机成像平面上的投影 位置为
6 其中，f为相机的焦距，R为相机的空间旋转矩阵，t为相机的空间平移位置向量。 矩阵K的中各元素的取值均由相机参数决定，因此K称为摄像机的内参矩阵。而矩阵A中 的各元素由相机在世界坐标系下的相对位置决定，因此A称为摄像机的外参矩阵。根据上 述投影位置公式，计算出投影在相机成像平面上某一点的所有可能的空间位置，所有位置 的几何即为成像光线。A2 对于任意一个候选的空间位置X，在拍摄图像B的相机W的附近，通过反向投 影寻找与相机W具有相同曝光时间的一个或多个相机。在本实施例中，与相机W具有相同 曝光时间的相机为U和V。通过上述相机的参数，计算出该空间位置投影在图像A和C上的 对应像素点。其中，图像A上的成像像素为pa，图像C上的成像像素为pc。选取图像相似度度量方法，判断以像素pa和pc为中心的区域纹理是否一致。在 本实施例中，图像相似度度量方法采用图像区域一致性准则，如ZNCC准则(零均值标准互 相关准则)来判断以像素Pa和pc为中心的区域纹理是否一致。在本步骤中，图像相似度度量方法也可以采用不同的相机位置和顺序下投影相机 的选择和像素一致性准则的选择。A3 遍历所有可能的空间位置之后，选取使对应像素点为中心的区域纹理的一致 性最高的空间位置作为场景物体表面的真实空间位置。将该空间位置投影到不同曝光时间 的图像中，记录并获得不同曝光时间下的对应同一物体表面位置的图像像素值，即匹配像素值。结合图3所示，选择ZNCC值最高的点xl作为真实三维物体表面位置，并将此时的 Pb和(pa+pc)/2的像素值作为两种曝光下的对应像素值。对所有图像按照上述方法进行处理，可以得到足够数量的对应像素值。根据上述 对应像素值输出用于描述所有相机的响应方程的相机响应曲线。S103 对不同曝光时间下拍摄的图像进行曝光校准，恢复三维网络模型；具体的说，首先对多视点多曝光图像，利用上述步骤102中获得的相机响应曲线 对其进行曝光校正。即对不同曝光时间下拍摄的图片进行曝光校准，使其被校正到同样的 曝光时间下。结合图2所示，在本实施例中，对于A组相机拍摄的图像不进行修改，对于B组相 机拍摄的图像，利用相机响应曲线将其校正为与A组相机拍摄的图像具有相同曝光时间的结果。然后，根据经过校正的图像，可以按照任意多视点立体重构算法利用这些图像恢 复原始场景物体的三维模型的几何结构，其表现形式为三维网格模型。其中，该三维网格模 型为场景物体的不带有纹理的三维网格模型。S104 通过计算网格上每一个顶点的颜色信息，恢复高动态纹理信息。在本步骤中，输入步骤101中得到的多视点多曝光图像以及步骤103中重构的三 维网格模型，输出三维网格模型及其高动态范围纹理。
7
Bl 三维网格模型由大量三角形面片组成，多个三角形面片的交点为一顶点。对于 三维网格模型的任意顶点，通过相机的投影关系计算在不同相机拍摄图像上的可见性，将 所有可见图像上的像素放入队列。具体的说，通过相机的投影关系计算在不同相机拍摄图像上的可见性包括如下步 骤对于网格上的顶点V和某一相机Q，可以将点V向Q投影，如果在投影的过程中没有与 场景内其它物体表面相交，则V在Q拍摄的图像上可见；反之则不可见。结合图4所示，设在图像A、B、C中该顶点可视，记录该述顶点在这三幅图像中对应 的像素pa、pb、pc。将上可见图像上的像素pa、pb、pc放入集合Y中。B2 对该集合Y中的所有像素，计算该像素位置与模型顶点的连线和模型顶点的 法向之间的夹角，并按照夹角的绝对值从小到大的顺序重新排列集合中的所有像素。在本 实施例中，重排结果为Pb、pa、pc。B3 在集合Y中取前N个像素作为输入，N的数值根据实际情况选定，一般取2_5。 在本实施例中，N = 2。利用步骤102中恢复的相机响应曲线，将这个N个像素值转化为场景辐射率数值。 即通过计算前两个值Pb和pa的对应的相对辐射率。并对上述pa和pb通过分别计算得到 的相对辐射率结果进行加权平均，并经过全局的数值缩放，作为该顶点的最终纹理颜色值。对三维网格模型中所有的顶点进行上述计算，获得所有顶点的颜色值，则最终完 成了对三维网格模型的纹理恢复。根据本发明提供的高动态范围纹理三维模型的重构方法，在不需要额外的硬件设 备更新，在不降低模型几何重构精度的前提下实现了对带有高动态范围的三维模型的多视 点立体重构，获得高动态范围的模型纹理信息。本发明还公开了一种高动态范围纹理三维模型的重构装置，结合图5所示，该装 置100包括采集模块110、恢复响应曲线模块120、曝光校准模块130和重构模块140。具体的说，为采集得到被拍摄场景物体的多视点多曝光图像和/或视频，将采集 模块110以环形阵列方式围绕在被拍摄场景物体的周围。并将所有采集模块110分为若干 组，对每一组内的采集模块110设定相同的曝光时间，不同组的曝光时间不同。其中，曝光 时间选取使所有采集模块110的拍摄结果能够尽可能记录最大动态范围的原始场景光线 辐射率的时间长度。根据上述环绕排列及分组方式，采集模块110采集居中场景物体的图 像和/或视频信息。需要注意的是，在拍摄之前，所有采集模块110需要经过颜色校准。在本实施例中，采集模块110为相机或摄像机。如图2所示，10台相机组成环形阵列围绕在被拍摄物体的周围。将10台相机分为 A组合B组，各包括5台相机，不同组的相机间隔排列。其中，A组相机采用一种曝光时间设 置，B组相机采用另一种曝光时间设置。10台环形排列的相机共同采集居中的真实场景物 体的图像信息。关于采集模块的分组方式，可以选择各种灵活的设置。除本实施例提供的环绕排 列方式外，其他如不同曝光时间的相机按照固定顺序依次间隔排列，或者采用其它更为复 杂的排列方法，亦属于本发明实施例的保护范围。根据由采集模块110采集得到的多曝光多视点的静态图像或视频帧图像，恢复响 应曲线模块120寻找记录空间中同一物体表面位置的像素点，即匹配像素点。该匹配像素点的像素值即匹配像素值，按照采集模块110的响应曲线恢复算法恢复该采集模块的响应 曲线。在本实施例中，采集得到的多曝光多视点的静态图像或视频帧图像为一组10幅 图像，其中5幅图像的曝光时间设置为数值1，另外5幅图像的曝光时间设置为数值2。在本实施例中，采用物体表面几何结构进行约束的方法获取不同曝光时间下的对 应同一物体表面位置的匹配像素值。图3示出了寻找匹配像素点的示意图。如图3中所示， 恢复响应曲线模块120寻找匹配像素点包括如下步骤Al 对于任意图像上的任意像素，通过该图像的拍摄相机的参数计算出该像素的 成像光线。结合图3所示，在本实施例中，任取连续的3幅图像A、B、C，其中，图像A和C具 有相同曝光时间。拍摄图像A的相机为U,拍摄图像B的相机为V，拍摄图像C的相机为W。 对B图像中的任意像素pb，通过拍摄该图像的相机W参数计算其成像光线，则该像素记录的 三维物体表面位置必然位于成像光线上。在成像光线上等间隔遍历所有候选点，记为X，即 χ为候选空间位置。具体的说，恢复响应曲线模块120通过该图像的拍摄相机的参数计算出该像素的 成像光线包括设任意世界坐标系下坐标为(XW，YW，ZW)的空间点在该拍摄相机成像平面上的投影 位置为 其中，f为相机的焦距，R为相机的空间旋转矩阵，t为相机的空间平移位置向量。 矩阵K的中各元素的取值均由相机参数决定，因此K称为摄像机的内参矩阵。而矩阵A中 的各元素由相机在世界坐标系下的相对位置决定，因此A称为摄像机的外参矩阵。根据上 述投影位置公式，计算出投影在相机成像平面上某一点的所有可能的空间位置，所有位置 的几何即为成像光线。A2 对于任意一个候选的空间位置X，在拍摄图像B的相机W的附近，通过反向投 影寻找与相机W具有相同曝光时间的一个或多个相机。在本实施例中，与相机W具有相同 曝光时间的相机为U和V。通过上述相机的参数，计算出该空间位置投影在图像A和C上的 对应像素点。其中，图像A上的成像像素为pa，图像C上的成像像素为pc。选取图像相似度度量方法，判断以像素pa和pc为中心的区域纹理是否一致。在 本实施例中，图像相似度度量方法采用图像区域一致性准则，如ZNCC准则(零均值标准互 相关准则)来判断以像素Pa和pc为中心的区域纹理是否一致。图像相似度度量方法也可以采用不同的相机位置和顺序下投影相机的选择和像 素一致性准则的选择。A3 遍历所有可能的空间位置之后，选取使对应像素点为中心的区域纹理的一致 性最高的空间位置作为场景物体表面的真实空间位置。将该空间位置投影到不同曝光时间 的图像中，记录并获得不同曝光时间下的对应同一物体表面位置的图像像素值，即匹配像素值。结合图3所示，选择ZNCC值最高的点xl作为真实三维物体表面位置，并将此时的 Pb和(pa+pc)/2的像素值作为两种曝光下的对应像素值。对所有图像按照上述方法进行处 理，可以得到足够数量的对应像素值。根据上述对应像素值输出用于描述所有相机的响应 方程的相机响应曲线。曝光校准模块130对不同曝光时间下拍摄的图像进行曝光校准，恢复三维网络模 型。具体的说，首先对多视点多曝光图像，利用中获得的相机响应曲线对其进行曝光校正。 即对不同曝光时间下拍摄的图片进行曝光校准，使其被校正到同样的曝光时间下。结合图2所示，在本实施例中，对于A组相机拍摄的图像不进行修改，对于B组相 机拍摄的图像，利用恢复响应曲线模块120中获得的相机响应曲线将其校正为与A组相机 拍摄的图像具有相同曝光时间的结果。然后，根据经过校正的图像，可以按照任意多视点立体重构算法利用这些图像恢 复原始场景物体的三维模型的几何结构，其表现形式为三维网格模型。其中，该三维网格模 型为场景物体的不带有纹理的三维网格模型。输入采集模块110中得到的多视点多曝光图像以及曝光校准模块130中重构的三 维网格模型，重构模块140输出三维网格模型及其高动态范围纹理。Bl 三维网格模型由大量三角形面片组成，多个三角形面片的交点为一顶点。对于 三维网格模型的任意顶点，通过相机的投影关系计算在不同相机拍摄图像上的可见性，将 所有可见图像上的像素放入队列。具体的说，重构模块140通过相机的投影关系计算在不同相机拍摄图像上的可见 性包括对于网格上的顶点V和某一相机Q，可以将点V向Q投影，如果在投影的过程中没 有与场景内其它物体表面相交，则ν在Q拍摄的图像上可见；反之则不可见。结合图4所示，设在图像A、B、C中该顶点可视，记录该述顶点在这三幅图像中对应 的像素pa、pb、pc。将上可见图像上的像素pa、pb、pc放入集合Y中。B2 对该集合Y中的所有像素，计算该像素位置与模型顶点的连线和模型顶点的 法向之间的夹角，并按照夹角的绝对值从小到大的顺序重新排列集合中的所有像素。在本 实施例中，重排结果为Pb、pa、pc。B3 在集合Y中取前N个像素作为输入，N的数值根据实际情况选定，一般取2_5。 在本实施例中，N = 2。利用恢复响应曲线模块120中恢复的相机响应曲线，将这个N个像素值转化为场 景辐射率数值。计算前两个值Pb和pa对应的相对辐射率。对pa和pb分别计算得到相对 辐射率结果进行加权平均，并经过全局的数值缩放，作为该顶点最终纹理颜色值。重构模块140对三维网格模型中所有的顶点进行上述计算，获得所有顶点的颜色 值，则最终完成了对三维网格模型的纹理恢复。根据本发明提供的高动态范围纹理三维模型的重构装置，在不需要额外的硬件设 备更新，在不降低模型几何重构精度的前提下实现了对带有高动态范围的三维模型的多视 点立体重构，获得高动态范围的模型纹理信息。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
一种高动态范围纹理三维模型的重构方法，其特征在于，包括如下步骤采用分组环绕阵列方式排列的拍摄设备，拍摄多视点多曝光图像和/或视频；根据所述拍摄得到的多视点多曝光图像和/或视频中的图像帧，恢复所述拍摄设备的响应曲线；根据所述拍摄设备的响应曲线，对不同曝光时间下拍摄的图像进行曝光校准，以恢复三维网络模型；根据所述三维网络模型，通过计算网格上每一个顶点的颜色信息，恢复高动态纹理信息。
2.如权利要求1所述的重构方法，其特征在于，其中，所述拍摄设备被以环绕阵列方式 排列在被拍摄三维物体周围，且所述拍摄设备被分为多组，其中，每组内的拍摄设备设定相 同的曝光时间，各组的曝光时间不同。
3.如权利要求2所述的重构方法，其特征在于，所述曝光时间为所有拍摄设备的拍摄 结果能够记录最大动态范围的原始场景光线辐射率的时间。
4.如权利要求1所述的重构方法，其特征在于，所述根据拍摄得到的多视点多曝光图 像和/或视频中的图像帧，恢复所述拍摄设备的响应曲线进一步包括获取所述多视点多曝光图像和/或视频中的图像帧中各个像素的匹配像素值； 根据所述匹配像素值，恢复所述拍摄设备的响应曲线。
5.如权利要求4所述的重构方法，其特征在于，获取所述多视点多曝光图像和/或视频 中的图像帧中各个像素的匹配像素值，包括Al 计算任一像素的成像光线，并在该成像光线上进行空间位置遍历，作为候选空间位置；A2 计算每一个候选空间位置投影在图像上的对应像素点，并判断以所述对应像素点 为中心的区域纹理的一致性；A3:选取对应像素点为中心的区域纹理的一致性最高的空间位置作为三维物体的空间 位置，将所述空间位置投影到不同曝光时间的图像中，记录并获取匹配像素值。
6.如权利要求1所述的重构方法，其特征在于，通过计算网格上每一个顶点的颜色信 息，恢复高动态纹理信息，包括Bl 计算所述三维网络模型的几何结构上的任一顶点在所有图像上的可见性，将可见 图像的像素放入集合；B2 计算像素位置与三维网络模型的几何结构顶点的连线和三维网络模型的几何结 构顶点的法向之间的夹角，并根据所述夹角的绝对值由小到大，重新排列所述集合中的像 素；B3 将所述集合中前N个像素的像素值转化为场景辐射率数值，对所述场景辐射率数 值加权求其均值，并数值缩放，作为该顶点的颜色值。
7.一种高动态范围纹理三维模型的重构装置，其特征在于，包括采集模块、恢复响应曲 线模块、曝光校准模块和重构模块，所述采集模块，采用分组环绕阵列方式拍摄多视点多曝光图像和/或视频； 所述恢复响应曲线模块，用于根据来自所述采集模块的多视点多曝光图像和/或视频 中的图像帧，恢复所述采集模块的响应曲线；2所述曝光校准模块，用于根据来自所述恢复响应曲线模块的响应曲线，对不同曝光时 间下拍摄的图像进行曝光校准，以恢复三维网络模型；所述重构模块，用于根据来自所述曝光校准模块的三维网络模型，通过计算网格上每 一个顶点的颜色信息，恢复高动态纹理信息。
8.如权利要求7所述的重构装置，其特征在于，其中，所述拍摄设备被以环绕阵列方式 排列在被拍摄三维物体周围，且所述拍摄设备被分为多组，其中，每组内的拍摄设备设定相 同的曝光时间，各组的曝光时间不同。
9.如权利要求8所述的重构装置，其特征在于，所述曝光时间为所有拍摄设备的拍摄 结果能够记录最大动态范围的原始场景光线辐射率的时间。
10.如权利要求7所述的重构装置，其特征在于，所述根据拍摄得到的多视点多曝光图 像和/或视频中的图像帧，恢复所述拍摄设备的响应曲线进一步包括获取所述多视点多曝光图像和/或视频中的图像帧中各个像素的匹配像素值；根据所述匹配像素值，恢复所述拍摄设备的响应曲线。
11.如权利要求10所述的重构装置，其特征在于，获取所述多视点多曝光图像和/或视 频中的图像帧中各个像素的匹配像素值，包括Al 计算任一像素的成像光线，并在该成像光线上进行空间位置遍历，作为候选空间位置；A2 计算每一个候选空间位置投影在图像上的对应像素点，并判断以所述对应像素点 为中心的区域纹理的一致性；A3 选取对应像素点为中心的区域纹理的一致性最高的空间位置作为三维物体的空间 位置，将所述空间位置投影到不同曝光时间的图像中，记录并获取匹配像素值。
12.如权利要求7所述的重构装置，其特征在于，所述重构模块通过计算网格上每一个 顶点的颜色信息，恢复高动态纹理信息，包括Bl 计算所述三维网络模型的几何结构上的任一顶点在所有图像上的可见性，将可见 图像的像素放入集合；B2 计算像素位置与三维网络模型的几何结构顶点的连线和三维网络模型的几何结 构顶点的法向之间的夹角，并根据所述夹角的绝对值由小到大，重新排列所述集合中的像 素；B3 将所述集合中前N个像素的像素值转化为场景辐射率数值，对所述场景辐射率数 值加权求其均值，并数值缩放，作为该顶点的颜色值。
全文摘要
本发明的实施例提出了一种高动态范围纹理三维模型的重构方法，包括采用分组环绕阵列方式排列的拍摄设备，拍摄多视点多曝光图像和/或视频；恢复拍摄设备的响应曲线；根据拍摄设备的响应曲线，对不同曝光时间下拍摄的图像进行曝光校准，以恢复三维网络模型；通过计算网格上每一个顶点的颜色信息，恢复高动态纹理信息。本发明实施例还公开了一种高动态范围纹理三维模型的重构装置，包括采集模块、恢复响应曲线模块、曝光校准模块和重构模块。本发明提供的高动态范围纹理三维模型的重构方法及装置，在不需要额外的硬件设备更新，在不降低模型几何重构精度的前提下实现了对带有高动态范围的三维模型的多视点立体重构。
文档编号G06T17/00GK101916455SQ20101022369
公开日2010年12月15日 申请日期2010年7月1日 优先权日2010年7月1日
发明者戴琼海, 陆峰 申请人:清华大学