一种基于色彩空间变换的彩色图像纹理力触觉再现方法
【专利摘要】本发明公开了一种基于色彩空间变换的彩色图像纹理力触觉再现方法，利用彩色图像的色调信息与饱和度信息获取颜色信息图，基于颜色信息图对彩色图像进行阈值分割；利用从明暗恢复形状的方法分别对分割区域进行三维轮廓恢复，利用彩色图像的饱和度分量对恢复结果进行补偿调节后采用双边滤波算法进行去噪处理；将所得两区域的三维轮廓高度图映射至虚拟三维表面不同高度层，拼接得到彩色图像的三维轮廓高度图；绘制虚拟表面，构建力反馈模型；计算所得合力通过手控器反馈给操作者。本发明将物体表面轮廓在光照影响下形成明暗分布特性和物体外观图像的本质颜色分布特性相结合，对彩色图像进行表面纹理特征信息提取、三维轮廓恢复以及纹理感知力的反馈，可全面再现彩色图像的纹理特征，提高力触觉再现的真实感。
【专利说明】-种基于色彩空间变换的彩色图像纹理力触觉再现方法
【技术领域】
[0001] 本发明属于虚拟现实技术中的力触觉再现领域，涉及一种基于色彩空间变化的彩 色图像纹理力触觉再现方法。
【背景技术】
[0002] 随着虚拟现实技术在外科手术方针、遥操作机器人控制、虚拟制造等领域的广泛 应用，纹理力/触觉再现受到了越来越多的关注。纹理力/触觉再现技术通过反馈接触物 体时的接触力将物体表面纹理特性反馈给操作者，实现操作者对虚拟对象的感知合操纵。
[0003] 基于图像处理的方法是目前纹理力触觉再现领域的研究热点。图像的纹理表面建 模方法首先利用图像处理算法获得图像中物体表面纹理的特征信息，根据这些特征信息获 取纹理表面轮廓。
[0004] 目前，针对彩色图像纹理的力触觉再现技术大多把彩色图像转化为灰度图像，利 用灰度的变化表征纹理信息。LeMercier等提出了四种像素灰度与对应点三维高度的映射 方法，重建纹理图像所反映表面的微观三维几何形状，进而完成力/触觉的渲染。吴涓和 宋爱国等设计了高斯滤波器对灰度图像进行空间滤波，将高频部分作为纹理表面高度图。 Vasudevan等提出了一种基于灰度图像处理的纹理力/触觉再现模型，提出力渲染掩膜的 概念，通过子图像与力渲染掩模相乘，直接向操作者反馈该区域的纹理力。单纯基于灰度处 理的彩色图像纹理力触觉再现方法使得虚拟纹理的触觉属性仅与物体表面轮廓变化在光 照下形成的明暗分布有关，忽略了本质颜色分布特性，丢弃了物体外观图像的颜色特征，无 法提供全面、有效的纹理信息，导致力触觉再现的失真。
【发明内容】
[0005] 技术问题：本发明提供一种结合色彩与空间感心理学效应，利用彩色图像色调和 饱和度信息对其进行区域分割，对分割区域分别进行三维轮廓恢复、饱和度补偿调节后将 三维轮廓高度图映射至虚拟三维表面不同高度层进行力触觉渲染、感知的基于色彩空间变 换的彩色图像纹理力触觉再现方法。
[0006] 技术方案：本发明的基于色彩空间变换的彩色图像纹理力触觉再现方法，包含以 下步骤：
[0007] 步骤⑴提取彩色图像的色调信息和饱和度信息，计算颜色信息图CM ;
[0008] 步骤（2)依据所述步骤⑴中获得的颜色信息图CM，对原彩色图像进行阈值分割， 划分为前进色区域Gadv和后退色区域Grec ;
[0009] 步骤（3)对原彩色图像进行灰度处理，根据从明暗恢复形状的方法分别对步骤 (2)所得分割结果进行三维轮廓恢复，得到进色区域三维轮廓高度图Zadv和退色区域三维 轮廓高度图Zrec ;
[0010] 步骤（4)利用原彩色图像饱和度分量分别对步骤（3)所得结果进行补偿调节，利 用双边滤波算法进行去噪处理，得进色区域三维轮廓高度图Zadv eM^P退色区域三维轮廓高 度图Zrec_ ;
[0011] 步骤（5)将步骤⑷所得三维轮廓高度图ZadVran^ZreC_映射至两个高度层，拼 接后得到原图完整的三维轮廓高度图Z ;
[0012] 步骤（6)根据步骤（5)获得的三维轮廓高度图绘制虚拟表面，构建力反馈模型；计 算所得合力通过手控器反馈给操作者。
[0013] 本发明中，步骤（1)的具体流程为：
[0014] 首先将彩色图像由RGB色彩空间转换到HSV色彩空间，提取其色调通道分量，代表 归一化色相角Hue，用色相角余弦值cos (Hue)表征图像的色调信息，提取其饱和度通道分 量S，表征图像的饱和度信息。
[0015] 图像的颜色信息图CM(X，y)定义为如下形式：
[0016]
【权利要求】
1. 一种基于色彩空间变换的彩色图像纹理力触觉再现方法，其特征在于：该方法包含 以下步骤： 步骤（1)提取彩色图像的色调信息和饱和度信息，计算颜色信息图CM; 步骤（2)利用最大化类间方差算法对所述步骤（1)中获得的颜色信息图CM进行阈值 分割，划分为前进色区域Gadv和后退色区域Grec ; 步骤（3)对原彩色图像进行灰度处理，根据从明暗恢复形状的方法分别对步骤（2)所 得分割结果进行三维轮廓恢复，得到进色区域三维轮廓高度图Zadv和退色区域三维轮廓 高度图Zrec ; 步骤（4)利用原彩色图像饱和度分量分别对步骤（3)所得结果进行补偿调节，利用双 边滤波算法进行去噪处理，得进色区域三维轮廓高度图Zadv。》和退色区域三维轮廓高度图 Zreccom ； 步骤（5)将步骤（4)所得三维轮廓高度图ZadVera^P Zrec。》映射至两个高度层，拼接后 得到原图完整的三维轮廓高度图Z ; 步骤（6)根据步骤（5)获得的三维轮廓高度图绘制虚拟表面，构建力反馈模型；计算所 得合力通过手控器反馈给操作者。
2. 根据权利要求1所述基于色彩空间变换的彩色图像纹理力触觉再现方法，其特征在 于：所述步骤（1)的具体流程为： 首先将彩色图像由RGB色彩空间转换到HSV色彩空间，提取其色调通道分量，代表归一 化色相角Hue，用色相角余弦值cos (Hue)表征图像的色调信息，提取其饱和度通道分量S， 表征图像的饱和度信息； 图像的颜色信息图CM(x，y)定义为如下形式：
其中，区域w表示以像素点（x，y)为中心的5X5的像素窗口； C(i，j)表征像素点（i，j)的颜色信息，定义为： C(i, j) = ki · H(i, j)+k2 · S(i, j) 其中：H(i, j)为归一化后色调值，即
，Hue(i, j)为色相角； S(i，j)为饱和度；ki、k2分别为色调分量和饱和度分量所占权重，ki+k2 = 1 ; W(i, j)为像素点（i, j)的颜色信息C(i, j)对应的权重，定义为：
其中，为像素点（x，y)与像素点（i，j)的距离函数，定义如下：
其中，（x，y)为像素点（x，y)的位置坐标，（i，j)为像素点（i，j)的位置坐标。
3.根据权利要求1所述基于色彩空间变换的彩色图像纹理力触觉再现方法，其特征在 于：所述步骤（2)具体流程为： 将步骤（1)获得的颜色信息图CM量化，将颜色信息值划分为[0，L-1]级，L取256; 颜色信息值为i级的像素点出现的概率：
其中，p(CMi)为第i级颜色信息值出现的概率；N为像素点总数，为第i级颜色信息 值；叫为i级颜色信息值的像素点数目； 记图像分割阈值为t，将颜色信息图划分为前进色区域Gadv和后退色区域Grec，前进 色区域Gadv的颜色信息值级数为[t+1, L-1],后退色区域Grec的颜色信息值级数为[0, t];两区域出现的概率和平均颜色信息值级数如下：
其中，c〇adv为前进色区域Gadv出现的概率，为后退色区域Grec出现的概率，μ adv 为前进色区域Gadv的平均颜色信息值级数，μ M。为后退色区域Grec的平均颜色信息值级 数； 整幅颜色信息图级数均值： l·1 t = Wrec * yrec+Wadv * ^ adv 其中，μ t为整幅颜色信息图颜色信息级数均值，《adv为前进色区域Gadv出现的概率， 。为后退色区域Grec出现的概率，μ adv为前进色区域Gadv的平均颜色信息值级数，μ _ 为后退色区域Grec的平均颜色信息值级数； 前进色区域Gadv与后退色区域Grec的类间方差为：
其中，4⑴为前进色区域Gadv与后退色区域Grec的类间方差，μ t为整幅颜色信息图 颜色信息级数均值，《adv为前进色区域Gadv出现的概率，。为后退色区域Grec出现的 概率，μ adv为前进色区域Gadv的平均颜色信息值级数，μ M。为后退色区域Grec的平均颜 色信息值级数； 以类间方差作为衡量不同阈值导出的类别分离性能的测量准则，通过极大化4⑴求 解最佳分割阈值：
其中，T为最佳分割阈值，为前进色区域Gadv与后退色区域Grec的类间方差。
4. 根据权利要求1所述基于色彩空间变换的彩色图像纹理力触觉再现方法，其特征在 于：所述步骤（3)中，三维轮廓恢复的实现步骤如下： 首先将原彩色图像转化为灰度图像并求解归一化灰度值：
其中，E(i，j)为像素点（i，j)处归一化灰度值，R(i，j)、G(i，j)、B(i，j)分别为像素点 (i，j)处三个色彩通道分量； 建立朗伯体漫反射模型，用如下图像辐照度方程表示：
其中，E(i，j)为像素点（i，j)处归一化灰度值，R(p，q)为反射光强度，
0为光源方向与Z轴的夹角，τ为光源方向与 X轴的夹角； 对上式进行泰勒展开，保留展开式中的线性项，采用后向有限差分的方法把保留下来 的线性项离散化，采用迭代的方法求解离散化后的线性方程；迭代格式如下所示： T (x, y) = Zn_1 (x, y) +Kn (-f (Zn_1 (x, y))) 其中，Zn(x，y)为第n次迭代所得的像素点（x，y)处的三维轮廓高度值；Kn表达式为：
其中，
，E是数学期望算 子，Wx，y为一个非常小的非零常数，取值范围（1Χ1(Γ6，1Χ1(Γ 8); 由于迭代格式快速收敛，经过10到15次迭代求得像素点（X，y)处的三维轮廓高度值：
其中，Zn(x，y)为第η次迭代所得的像素点（x，y)处的三维轮廓高度值，max(Zn)为第η 次迭代所得的图像像素点三维轮廓高度值最大值。
5. 根据权利要求4所述基于色彩空间变换的彩色图像纹理力触觉再现方法，其特征在 于：所述步骤（4)中，利用饱和度分量对三维轮廓高度图进行补偿调节，采取以下形式：
其中，Zram(x，y)表示进行饱和度补偿后像素点（x，y)的三维轮廓高度值；Z(x，y)为步 骤（3)所得像素点（x，y)的三维轮廓高度值；S(x，y)为像素点（x，y)的饱和度；区域w表 示以像素点（x，y)为中心的5X5的像素窗口；乏；表示区域w内三维轮廓高度Z的局部平 均值，巧表示区域w内饱和度S的局部平均值；表示形式如下：
p (x，y)为区域w内三位轮廓高度Z与饱和度S的局部相关系数，表征图像三维轮廓高 度一饱和度局部相关性大小，决定给定区域内饱和度反馈的强度和极性；计算公式如下：
其中，&与瓦；如上所述，分别表示区域w内三位轮廓高度Z与饱和度S的局部平局值； <表示区域w内三位轮廓高度Z的局部方差，名:表示区域w内饱和度S的局部方差；计算 公式如下：
6.根据权利要求1所述基于色彩空间变换的彩色图像纹理力触觉再现方法，其特征在 于：所述步骤（6)中，计算所得合力为纹理感知力，该纹理感知力由切向摩擦力力和法向力 合成，表达形式如下：
其中，f为纹理感知力；E为法向力；f为切向摩擦力； 法向力g的获取遵循胡克模型：
其中，K为虚拟纹理的刚度系数，Z(x，y)为三维轮廓高度图Z在像素点（X，y)处的值， 代表虚拟表面的高度，Η为垂直方向单位向量； 切向摩擦力的计算公式如下：
其中，μ (x，y)为像素点（x，y)处的局部摩擦系数； 利用步骤（1)获得颜色信息图CM(x，y)的局部方差度量色彩的变化程度，计算公式如 下：
其中，式\,(4>〇为颜色信息图(；(1，7)以像素点（1，7)为中心的5\5的邻域内的局部 方差；
其中，区域w表示以像素点（x，y)为中心的5X5的像素窗口，CMw为区域w内颜色信 息图CM(x，y)的局部平均值；计算公式如下：
【文档编号】G06T15/04GK104157002SQ201410400904
【公开日】2014年11月19日 申请日期:2014年8月14日 优先权日:2014年8月14日
【发明者】宋爱国, 曹家梓, 田磊, 吴涓 申请人:东南大学