基于相机光源阵列的材质测量拍摄图像校准方法及系统与流程

本公开涉及图像处理技术领域，特别是涉及基于相机光源阵列的材质测量拍摄图像校准方法及系统。

背景技术：

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

基于相机光源阵列的材质测量控制系统为真实感材质测量系统的一个子系统。真实感材质测量系统通过不断变换角度的相机光源阵列来捕获真实世界的各种材质信息，并将这些信息存储到双向纹理函数(bidirectionaltexturefunction,btf)函数中，建设基于测量的btf材质库。使用获得的btf函数通过渲染引擎对三维模型进行渲染，使其能逼真地模拟现实世界的物体和场景，实现照片级图像质量的渲染。基于相机光源阵列的材质测量控制系统用来控制原始材质照片采集过程中，材质转台的转动、各个角度灯光的开闭、相机拍照的时间点保持一致与同步。

渲染技术是动漫电影制作过程中使用的主要技术。当前的渲染技术主要分为两种发展方向，一种是追求真实感的照片级图像质量的渲染；一种是追求特殊艺术效果的非真实渲染(non-photorealisticrendering,npr)。随着技术的发展，真实感渲染越来越倾向于测量真实感材质来提高渲染质量。

真实感材质的测量通过材质采集系统捕获真实世界的各种材质的信息，将这些信息存储到双向纹理函数(bidirectionaltexturefunction,btf)函数中，建设基于测量的btf材质库。使用获得的btf函数通过渲染引擎对三维模型进行渲染，使其能逼真地模拟现实世界的物体和场景。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

为了更好的展示材质的细节，构建btf材质库之前，需要对拍摄的原始材质进行亮度校准和位置校准。传统的亮度校准方法需要已知曝光时间来求图像原始的辐照度，但当使用工业相机时，无法已知曝光时间，进而无法对对拍摄的原始材质进行亮度校准和位置校准。

技术实现要素：

为了解决现有技术的不足，本公开提供了基于相机光源阵列的材质测量拍摄图像校准方法及系统；本专利提出基于梯度的多次曝光时间综合算法，通过分割、计算亮度梯度总和以及平滑等步骤来获得更高动态范围的图像从而实现图片亮度的校准。

第一方面，本公开提供了基于相机光源阵列的材质测量拍摄图像校准方法；

基于相机光源阵列的材质测量拍摄图像校准方法，包括：

获取由基于相机光源阵列的材质测量装置拍摄的待校准图像；

对待校准图像进行亮度校准；

对亮度校准后的图像进行位置校准；得到最终校准后的图像。

第二方面，本公开还提供了基于相机光源阵列的材质测量拍摄图像校准系统；

基于相机光源阵列的材质测量拍摄图像校准系统，包括：

获取模块，其被配置为：获取由基于相机光源阵列的材质测量装置拍摄的待校准图像；

亮度校准模块，其被配置为：对待校准图像进行亮度校准；

位置校准模块，其被配置为：对亮度校准后的图像进行位置校准；得到最终校准后的图像。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

通过基于相机光源阵列的材质测量装置实现各光源、转台角度原始材质图片的有序获取，并对获取到的材质图片进行亮度和位置的校准。它具有图像采集速度快，亮度校准无需已知曝光时间，位置校准方便快捷并且精度高的优点。

基于相机光源阵列的材质测量装置运用m70控制器自动控制材质转台和光源臂的转动，使材质图像采集更加高效，减少了人的干预；

基于相机光源阵列的材质测量装置使用软硬件的方式，使采集结果直接保存到图形工作站，无需二次转码复制；

解决了工业相机在无法获取曝光时间的情况下进行亮度校准的难题，在保持相机分辨率不变的情况下，能够低成本的获取到更高动态范围的高质量图像；

基于张正友标定法，提出了一种高效求取标定所需相机内外参的方法，简单易实施，对于角度刁钻位置的相机内外参求取依然有很好的表现，最终所求内外参最大误差不超过2像素，使得位置校准结果更加精确。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为现有技术中基于相机光源阵列的材质测量装置结构示意图；

图2为亮度校准实验结果；

图3(a)和图3(b)为位置校准所使用的棋盘格；

图4为matlabcalibrationtoolbox操作界面；

其中，1为光源旋转臂，2为相机固定臂，3为材质采集平台，4为可旋转台面，5为连接构件，6为底座。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，中国发明专利，授权公告号cn104751464b，发明名称：基于相机光源阵列模式的真实材质测量装置及方法，申请日2015年3月30日，申请公布日：2015年7月1日，以下简称该专利为现有技术1，现有技术1中基于相机光源阵列模式的真实感材质测量装置，包括：可旋转工作台，所述可旋转工作台上固定材质采集平台、半圆弧相机固定臂和可旋转的半圆弧光源旋转臂；所述相机固定臂上沿其半圆弧架设有多台相机，提供多角度拍摄，所述光源旋转臂上沿其半圆弧架设有多个光源，提供多角度光照，相机和光源的布设形成阵列模式。

所述可旋转工作台包括底座和可旋转台面，所述底座和可旋转台面之间通过连接构件连接，所述连接构件上设有相机固定臂接口和光源旋转臂接口。

所述材质采集平台固定在可旋转台面上，材质采集平台上固定待测量材质。

所述可旋转台面及光源旋转臂接口与电机相连，电机与控制器连接，控制器与计算机相连，计算机控制电机带动可旋转台面或光源旋转臂接口旋转，所述可旋转台面和光源旋转臂接口360度独立旋转，转动误差均不超过0.05度。

所述相机固定臂包括半圆弧臂和底部连杆，所述底部连杆连接半圆弧臂的两端，所述底部连杆固定于相机固定臂接口。

所述相机固定臂间隔7.5度俯仰角预置相机固定位，为保证精度，拍摄中应在一侧俯仰角15度，30度，45度，60度，75度，90度放置相机，其他位置可扩展。

所述光源旋转臂包括半圆弧臂和底部连杆，所述底部连杆连接半圆弧臂的两端，所述底部连杆固定于光源旋转臂接口。

所述光源旋转臂能够绕工作台竖直轴旋转180度，旋转精度为0.05度。

所述光源旋转臂间隔7.5度俯仰角预置光源固定位，为保证精度，拍摄中应在一侧俯仰角15度，30度，45度，60度，75度，90度放置光源，其他位置可扩展。

所述相机通过gige接口与计算机连接，通过计算机测量系统指令控制每个相机的拍摄，采集拍摄数据。

所述光源连接led光源控制器，光源控制器与计算机连接，通过计算机测量系统指令控制每个光源的开关。

实施例一，本实施例提供了基于相机光源阵列的材质测量拍摄图像校准方法；

基于相机光源阵列的材质测量拍摄图像校准方法，包括：

s1：获取由基于相机光源阵列的材质测量装置拍摄的待校准图像；

s2：对待校准图像进行亮度校准；

s3：对亮度校准后的图像进行位置校准；得到最终校准后的图像。

作为一个或多个实施例，所述s1中，由基于相机光源阵列的材质测量装置拍摄的待校准图像；是通过改进的基于相机光源阵列模式的真实感材质测量装置来拍摄获取。

进一步地，改进的基于相机光源阵列模式的真实感材质测量装置；改进点在于将基于相机光源阵列模式的真实感材质测量装置的控制器设置为mitsubishim70控制器。

mitsubishim70控制器，用于控制电机带动可旋转台面或光源旋转臂旋转，包括每一次旋转的角度和速度等；通过数控显示器ncmonitor在图形工作站上实现对mitsubishim70控制器上光源旋转臂和可旋转台面运行的实时监控。

mitsubishim70控制器负责控制光源旋转臂和可旋转台面的旋转，通过实验设置合适的旋转步长与旋转角速度，其中光源旋转臂所在的轴为x轴，可旋转台面中心垂线所在的轴为y轴。通过汇编语言编程，实现x轴，y轴在一定时间内有序的循环转动，并通过急停按钮来暂停x轴，y轴的转动。m70设备使得拍摄所用时间可以估算，旋转次数可控，节省了人力。

数控显示器ncmonitor，实现在图形工作站上对m70控制器屏幕的监控，方便调试控制台以及监控材质拍摄进程。在图形工作站上安装上ncmonitor软件后，需要通过网线将m70与图形工作站相连接，并通过m70上的mainte功能键查看参数#1926获取m70控制器的ip地址，最后设置与m70相连接的网络端口的ip和m70控制器的ip地址为同一个网段。

应理解的，所述改进的基于相机光源阵列模式的真实感材质测量装置的拍摄步骤包括：

s100：控制光源旋转臂按照设定的第一方位角进行转动；控制可旋转台面按照设定的第二方位角进行转动；

s101：依次单独开启若干个光源中的某一个光源；

s102：依次利用若干个工业相机中的每一台工业相机对待测量材质进行图像拍摄；

s103：控制光源旋转臂转动到下一个位置，重复s101～s102的拍摄过程，直到光源旋转臂完成180度旋转；

s104：控制可旋转工作台转动到下一个位置，重复s101～s103的拍摄过程，直到可旋转工作台完成360度旋转。

所有的光源间隔一段时间依次打开关闭，每个光源亮度稳定后，所有的相机拍摄图片，这整个过程称为一个turn。

每一个turn均包含两部分的时间：前后容错时间以及程序运行拍摄时间。

多个turn之间还需要进行材质采集平台的旋转，需要额外预留材质采集平台的旋转时间。

1)前后容错时间：保证打开串口的延迟时间过后再开始拍照；保证拍照程序执行完一个turn后，材质转台才开始转动，可设置为10s-15s。

2)程序运行拍摄时间：包含了20个光源依次打开关闭的时间，光源稳定的时间，各个相机拍摄的时间，大约需要180s-200s。

3)转台旋转的时间：通过m70控制器将转台从一个角度旋转到另一个角度的时间，若旋转30度，大约需要3.7s。

通过对m70控制器和拍照程序设置相一致的循环时间，来实现材质图片的有序拍摄。

作为一个或多个实施例，所述s2中，对待校准图像进行亮度校准；具体步骤包括：

s21：对每一个待校准图像分割为n行m列，得到n*m个区域，对每个区域进行编码，假设有s个待校准图像，则一共有n*m*s个图像块；

将s个待校准图像进行重叠，重叠过程中编码相同的区域进行重叠，则每一个区域编码对应有s个图像块；

为每一个区域从对应的s个图像块中，找到细节水平因子最高的图像块；然后将所有细节水平因子最高的图像块进行拼接；

s22：对拼接后得到的图像进行平滑处理。

作为一个或多个实施例，所述细节水平因子的计算公式为：

δix＝|i(x+1,y)-i(x,y)|；

δiy＝|i(x,y-1)-i(x,y)|；

p(v)＝v/imax；

其中，md(r)表示细节水平因子，i(x,y)为待处理图像中位置(x,y)处的像素亮度；δix表示位置(x,y)处的水平方向相邻像素之间的亮度差异；δiy表示位置(x,y)处的垂直方向相邻像素之间的亮度差异；p(v)表示归一化线性映射函数；imax表示最大亮度值；r是宽度为rw且高度为rh的矩形图像区域；矩形图像区域的左上角像素点的坐标为[xr,yr]；v为归一化线性映射函数的参数，v表示在位置[x，y]处的水平方向亮度差δix和垂直方向亮度差δiy中的较大者；i和j分别为x轴方向和y轴方向代表像素点位置索引值。

其中，

v＝max(δix(xr+i,yr+j),δiy(xr+i,yr+j))

作为一个或多个实施例，所述s22中，对拼接后得到的图像进行平滑处理具体步骤包括：

将拼接后的图像每个点的像素值，输入到综合混合高斯函数和u函数的平滑处理公式中，将输出后的亮度值作为最终的亮度值。

进一步地，所述综合混合高斯函数和u函数的平滑处理公式，是指：

其中，i表示高斯峰值gij(x,y)居中的区域的行索引，j表示高斯峰值gij(x,y)居中的区域的列索引，m表示列的总数，n表示行的总数；

bij(x,y)为高斯混合函数，rxij和ryij分别表示第i列和第j行的x坐标和y坐标，σx和σy均代表二维高斯函数的标准偏差；rxpq和rypq分别表示第p列和第q行中区域中心的x坐标和y坐标，p和q分别为列索引和行索引；

函数u用于消除中心点落在实际处理的像素的预定义ε环境之外的片段的影响；

iout(x,y)代表输出亮度，其通过改变分割区域的大小和高斯函数的标准偏差来影响，标准偏差越小，对具有低细节水平的区域的影响越高。

上述技术方案的有益效果是：基于现有技术对无法获取曝光时间的工业相机拍摄出来的材质图片进行亮度的校准，在保持相机分辨率不变的情况下，使材质细节更加清晰。高斯混合函数可以消除图像区域边界的急剧转变。u函数，用于消除那些中心点落在实际处理的像素的预定义ε环境之外的片段的影响。

作为一个或多个实施例，所述s3中，对亮度校准后的图像进行位置校准；具体步骤包括：

s301：将棋盘格a在空间中任意旋转，利用所有的相机进行拍摄，每台相机拍摄若干张棋盘格a的图像；假设得到m张棋盘格a的图像；m为正整数；

s302：把棋盘格b放在材质采集平台上，每次旋转设定角度，每次旋转过后，利用所有的相机进行拍摄，直至旋转一周，每台相机拍摄若干张棋盘格b的图像；假设得到n张棋盘格b的图像；n为正整数；

s303：将m张棋盘格a的图像，输入到matlabcalibrationtoolbox中，选定坐标原点，顺次对棋盘格的四个角点进行标定；m张棋盘格a的图像标定完成后，得到初始内参；再通过matlabcalibrationtoolbox内部的自动校准工具进行微调，得到最终内参。

s304：在得到内参的基础上，导入一张棋盘格b拍摄的设定转台角度的棋盘格图片；保持计算内参时选定的坐标原点不变，顺次对棋盘格b的四个角点进行标定；当前图片标定完成后，将当前图片删除，再添加一张新的棋盘格b拍摄的图片进行标定；得到最终外参。

s305：得到内外参后，利用张正友标定法进行标定。

应理解的，所述内参的表示形式如下：

其中，fc(1)、fc(2)是以水平和垂直像素为单位表示的焦距(单位为mm)，cc(1)代表相机主点的x坐标，cc(2)代表相机主点的y坐标，alpha_c为偏斜系数，对x和y传感器轴之间的角度进行编码。

以上系数都可通过matlabcalibrationtoolbox求得。

应理解的，所述外参的表示形式如下：

xxc＝rc_1+tc_1

其中，rc_1为利用matlabcalibrationtoolbox求出来的旋转矩阵；tc_1为利用matlabcalibrationtoolbox求出来的平移矩阵。

应理解的，所述利用张正友标定法进行标定，公式如下：

其中，xd(1)为以转台中心为原点建立的图像坐标系上的x坐标值；xd(2)为以转台中心为原点建立的图像坐标系上的y坐标值；xp为经过标定后求出的世界坐标系的x坐标值；yp为经过标定后求出的世界坐标系的y坐标值。

为了将所拍摄的原始材质图片转换为正视的角度，本实施例基于一种基于张正友标定法，利用matlabcalibrationtoolbox工具，通过拍摄少量的图片来求取12个转台角度，6个相机总计6个内参系数，72个外参系数的图片位置校准的方法，并保持所求取的相机内外参的结果总体误差保持在2个像素左右。

进一步地，所述棋盘格a，棋盘格上的每一个黑色或白色格子大小为15mm*15mm，共有5行10列；

进一步地，所述棋盘格b，300mm*300mm，每个格子大小为30mm*30mm。

图2为亮度校准实验结果；位置校准所使用的棋盘格如图3(a)和图3(b)所示，matlabcalibrationtoolbox操作界面如图4所示。

上述步骤的有益效果是：基于张正友标定法进行位置校准，并结合matlabcalibrationtoolbox提出了一种高效求取标定所需相机内外参的方法，简单易实施，对于角度刁钻位置的相机内外参求取依然有很好的表现，所求相机内外参最大误差不超过2像素，使最终位置校准结果更加精确。

基于相机光源阵列模式的真实感材质测量装置是一种同步控制装置。基于相机光源阵列的材质测量装置主要通过精确计算拍照时间，材质采集平台转动时间以及容错时间来实现同步控制。并且基于拍摄的材质图片提出了一种亮度校准和位置校准的方法。

材质测量控制系统硬件部分的安装调校主要包括：x轴、y轴、z轴原点的校准，6条相机电源线、13条光源控制线、旋转臂电源控制线以及像机连接网线等线路的布置，mitsubishim70series与ncmonitor的网线连接，扩展网口的安装等。

软件部分的拍照程序工作在hpz640高级图形工作站上，基于qt5.4.0和vs2013，需要安装qtcreator开发编译环境，并安装opencv，flycapture2sdk等库函数，将系统可接收的数据包大小调整为最大。

材质测量系统运行调试：

a)利用m70控制器旋转光源臂到指定位置；

b)修改拍照程序中的光源臂位置参数，并根据需要修改拍照保存的图片大小，图片格式，图片位置等信息；

c)运行拍照程序，同时运行m70控制器中控制材质转台自动循环转动的汇编程序；

d)程序运行结束，按下m70控制器的急停按钮并关闭电源；

e)查看拍摄的材质图片。

本发明专利为配合真实感材质测量装置的材质测量控制系统与校准方法。通过材质测量控制系统实现各光源角度与转台角度原始材质图片的有序获取，并对获取到的材质图片进行亮度和位置的校准。它具有图像采集速度快，亮度校准无需已知曝光时间，位置校准方便快捷并且精度高的优点。

本发明专利的有益效果：

1.材质测量控制系统运用m70控制器自动控制材质转台和光源臂的转动，使材质图像采集更加高效，减少了人的干预；

2.材质测量控制系统使用软硬件的方式，使采集结果直接保存到图形工作站，无需二次转码复制；

3.解决了工业相机在无法获取曝光时间的情况下进行亮度校准的难题，在相机分辨率不变的情况下，获取到更高动态范围的高质量图像；

4.基于张正友标定法，提出了一种高效求取标定所需相机内外参的方法，简单易实施，对于角度刁钻位置的相机内外参求取依然有很好的表现，最终所求内外参最大误差不超过2像素，使得位置校准结果更加精确。

实施例二，本实施例还提供了基于相机光源阵列的材质测量拍摄图像校准系统；

基于相机光源阵列的材质测量拍摄图像校准系统，包括：

获取模块，其被配置为：获取由基于相机光源阵列的材质测量装置拍摄的待校准图像；

亮度校准模块，其被配置为：对待校准图像进行亮度校准；

位置校准模块，其被配置为：对亮度校准后的图像进行位置校准；得到最终校准后的图像。

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。

实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。