专利名称：基于深度等高线的图像的振动触觉表达方法
技术领域：
本发明涉及为视障人群及从事特殊工作的人群提供图像的触觉表达方法，尤其是一种基于深度等高线的图像的振动触觉编码与表达方法。
背景技术：
深度信息是产生立体感的关键。人在利用视觉观察真实物体时，不仅能够分辨物体宽度与高度，而且能够辨识出它们的深度，判断物体之间或观看者与物体之间的距离。这种立体视觉主要来源于双目视差。而人在观察二维图像时，一般仍能大致识别出物体的大小与空间位置关系，这主要是归咎于人长期双目视觉的经验，对二维图像所提供的信息进行加工，从而获得心理深度信息。要让使用者利用触觉的方式准确地感知物体的轮廓特征，深度信息的呈现也不可缺少。然而，以往图像信息的触觉表达，通常是只能呈现物体的二维轮廓信息。例如=John Linvil和James Bliss研制的Optacon (奥普特康盲人电子阅读仪)的图像触觉表达系统， 能将摄相机的亮度信息转换为振动触觉刺激，通过6XM的振动式触觉阵列作用于手指。 上海交通大学研制了一种基于电刺激的触觉替代视觉系统，它将简单图形通过点刺激作用在使用者的指尖，从而感知图形。这种方法是将二维图像的像素空间投影到触觉点阵空间， 每个像素点灰度特征和对应位置上的点阵的刺激特征相对应，而二维图像信息中缺少深度信息，导致利用这些触觉点阵无法有效呈现物体的凹凸轮廓变化。缺失了立体感的触觉呈现模式，对于依赖触觉感知环境的视障人群而言，无疑有很大的局限性，如果事先不加特别处理，使用者甚至无法分辨图像中的球、圆以及椭圆。
发明内容
发明目的本发明针对现有技术的不足，提供一种基于深度等高线的图像的振动触觉表达方法，该方法无需专门仪器测量图像深度信息。通过该方法，可以使视障人群及从事特殊工作的人群感知物体的三维轮廓。技术方案为了实现上述发明目的，本发明采用的方案为本发明提出一种基于深度等高线的图像的振动触觉表达方法，包括图像采集与处理单元、视觉/触觉信息转换单元、振动电机阵列触觉表达单元。其中，图像采集与处理单元利用摄像头采集图像，对图像进行深度信息特征提取；视觉/触觉信息转化单元将图像深度信息映射到二维振动触觉刺激阵列，使图像沿深度方向，正向投影到二维平面上，深度相同的点连成等高线，不同等高线映射到振动阵列上具有不同的振动强度，内外相邻等高线间对应的振动点与外面一条等高线对应的振动点具有相同的振动强度，从而实现视觉图像与触觉刺激的映射；触觉表达单元由32X40的振动电机阵列组成，将振动触觉刺激呈现给使用者。
一种基于深度高线等的图像的振动触觉表达方法，包括步骤1)利用摄像头从物体正面采集图像，假设图像的像素为XXY ；2)对图像进行灰度化与去噪处理，然后采用从明暗恢复形状SFS算法提取图像中每个像素点的深度信息；3)将图像沿深度方向，正向投影到二维平面上，把深度相同的像素点连成有限条等高线，构成等高线图；4)将图像深度信息映射到二维振动触觉刺激阵列，所述二维振动触觉刺激阵列是由NXM个点构成，每个点通过振动装置产生可控振动，通过各个振动点，用振动刺激使用者的触觉，使使用者感知图像；图像的像素和二维振动触觉刺激阵列满足X Y = N M。所述步骤4)中，图像深度信息映射到二维振动触觉刺激阵列将等高线图等分成 N列M行共NXM个区域，每个区域对应一个振动装置，振动装置的振动强度由该区域对应的深度值决定若深度区域内有等高线经过，则其对应的振动电机就有相应的振动，并且振动强度与深度值对应，深度值越大，振动强度越强，等高线间深度区域所对应的振动电机的振动强度与外面一条等高线对应的振动强度相同。所述步骤2、中，对图像进行灰度化的方法是首先提取图像像素点(X，y)的RGB 分量，然后根据以下公式计算出该像素点的灰度值G(x，y)G(x, y) = 0. 30XR(x, y)+0. 59XG(x, y)+0. 11ΧΒ(χ, y)(1)其中，x代表像素点在图像中的横坐标，y代表像素点在图像中的纵坐标，R(x，y)、 G(X，y)、B(X，y)分别代表像素点(x，y)的红色分量值、绿色分量值、蓝色分量值。所述步骤2)中，图像去噪的方法是采用3X3的中值滤波器，即将图像中位于3X3 窗口内像素的灰度值进行排序，取中值作为窗口中心像素的灰度值。所述步骤2)中，SFS算法选用Tsd&amh的方法，利用后项有限差分方法将反射
函数离散化
E{X,y)-R{P,q)- ！ \ + m；札2 2(2)
ψ + ρ +ps +qs
其中，力= ^^，G(x，y)为像素点(x, y)的灰度值，R(p, q)为反射函数，
dz dx
p = —,q = — ,Z = Z(X,j)是像素(X，y)的深度值；
dZp = — = Z{x,y)-Z{x-\,y)(3)
OX
QZρ = — = Ζ(χ,γ)-Ζ(χ,γ- )(4)
oy将公式⑵改写成
0 = f (E (x, y), Z (χ, y), Z (χ-1, y), Z (χ, y-1)) =E (χ, y)-R(Ζ (χ, y) -Z (χ-1, y), Z (χ, y)-Z (χ, y-1)) (5) 对公式(5)进行Talor展开，得到
权利要求
1.一种基于深度高线等的图像的振动触觉表达方法，其特征是包括步骤1)利用摄像头从物体正面采集图像，假设图像的像素为XXY；2)对图像进行灰度化与去噪处理，然后采用从明暗恢复形状SFS算法提取图像中每个像素点的深度信息；3)将图像沿深度方向，正向投影到二维平面上，把深度相同的像素点连成有限条等高线，构成等高线图；4)将图像深度信息映射到二维振动触觉刺激阵列，所述二维振动触觉刺激阵列是由 NXM个点构成，每个点通过振动装置产生可控振动，通过各个振动点，用振动刺激使用者的触觉，使使用者感知图像；图像的像素和二维振动触觉刺激阵列满足X Y = N M。
2.根据权利要求1所述方法，其特征是所述步骤4)中，图像深度信息映射到二维振动触觉刺激阵列将等高线图等分成N列M行共NXM个区域，每个区域对应一个振动装置，振动装置的振动强度由该区域对应的深度值决定若深度区域内有等高线经过，则其对应的振动电机就有相应的振动，并且振动强度与深度值对应，深度值越大，振动强度越强，等高线间深度区域所对应的振动电机的振动强度与外面一条等高线对应的振动强度相同。
3.根据权利要求1所述方法，其特征是所述步骤幻中，对图像进行灰度化的方法是首先提取图像像素点(x，y)的RGB分量，然后根据以下公式计算出该像素点的灰度值G(x， y)G(x, y) = 0. 30XR(x, y) +0. 59XG(x, y) +0. 11ΧΒ(χ, y) (1)其中，χ代表像素点在图像中的横坐标，y代表像素点在图像中的纵坐标，R(x，y)、G(x， y)、B(x，y)分别代表像素点(x，y)的红色分量值、绿色分量值、蓝色分量值。
4.根据权利要求1所述方法，其特征是所述步骤2)中，图像去噪的方法是采用3X3的中值滤波器，即将图像中位于3X3窗口内像素的灰度值进行排序，取中值作为窗口中心像素的灰度值。
5.根据权利要求1所述方法，其特征是所述步骤2、中，SFS算法选用Tsd&amh的方法，利用后项有限差分方法将反射函数离散化
6.根据权利要求1所述方法，其特征是所述步骤幻中，等高线的条数是根据物体深度变化的复杂程度来确定，深度变化越复杂，等高线条数越多；深度变化的复杂程度又通过其方差来判断，方差越大，深度变化越复杂；具体方法是(31)利用SFS算法提取分辨率为XXY的灰度图中每个像素点的深度信息；(32)为了消除不同物体深度信息的变异和数值的影响，利用下列公式对物体深度信息 Z(x，y) (χ = 0，1，. . .，(X-I)，y = 0，1，. . .，(Y-I))进行标准化，得到 H(x，y)。
7.根据权利要求1所述方法，其特征是所述步骤幻中，等高线的绘制方法是在得到深度矩阵后，并且根据深度变化的复杂程度计算出等高线的数目后，将具有相同深度值的点连接起来，形成深度等高线。
8.根据权利要求1或2所述方法，其特征是所述步骤4)中，等高线对应的振动强度的确定方法是首先，根据等高线条数W，将振动强度从小到大等分为W个等级^ (j = 1,2..., W)； 然后，将W条等高线按深度值从小到大的顺序排列，即第j条等高线的深度值记作CljG =1，2. · ·，W，即 Cl1 < d2 < . · · < dw)；最后，设定深度值为…的等高线对应的振动强度为A」。
9.一种实现权利要求1 8任一所述方法的装置，其特征是包括图像采集与处理单元、 视觉/触觉信息转换单元和触觉表达单元；图像采集与处理单元输出端连接视觉/触觉信息转化单元的输入端；视觉/触觉信息转换单元的控制信号输出端连接触觉表达单元的控制信号输入端；所述触觉表达单元是二维振动触觉刺激阵列，该阵列是由NXM个振动装置构成，每个振动装置通过振动机构产生振幅可控振动。
10.根据权利要求9所述装置，其特征是所述振动机构是振动电机。
全文摘要
本发明公开了一种基于深度等高线的图像的振动触觉表达方法，它首先提取图像深度信息，然后将深度信息转化为振动触觉刺激，不同深度对应不同的振动强度。由于图像采集时采用正向投影方法，因此深度信息对应于物体表面凹凸起伏，这样，使用者用手在振动阵列上摸索时，通过不同的振感就能感知到图像中物体的三维轮廓变化。
文档编号G06F3/048GK102331838SQ20111026519
公开日2012年1月25日 申请日期2011年11月18日 优先权日2011年11月18日
发明者吴伟雄, 吴涓, 宋振中, 宋爱国, 李莅圆 申请人:东南大学