触觉图像的生成和显示方法

1.本发明属于触觉图像技术领域，具体来说涉及一种触觉图像的生成和显示方法。


背景技术：

2.触觉是人类重要的感觉模态之一，对于视觉障碍人群而言，触觉更是获取信息的主要途径。随着计算机技术的进步，目前市面上已经出现了盲文显示器和触觉显示器，帮助视障人群更加方便、快捷地获取文字、图形信息。
3.如今互联网信息中包含了大量的图片、视频、动画等数字媒介，这就扩大了视觉障碍人士理解图形图像的需求，但是现有的技术方法鲜少有将视觉图像转换成触觉图像，并在触觉显示器上显示的。
4.当前一些学者已经对触觉图像做了一定的研究，如：於文苑等(触觉二维图像识别的认知机制,心理科学进展,2019,27(4),611-622)总结了触觉二维图像识别的认知机制、影响因素和神经基础，并讨论了触觉图像的生成和应用，为视觉障碍人士触觉图像的设计提供了理论指导；龚江涛等(影响触觉图像识别因素的量化分析,计算机辅助设计与图形学学报,2018,30(8)，1438-1445)通过实验得到了影响触觉识别的重要特征，并给出了触觉图像设计的建议，试验结果表明，因遮挡省略的线条、三维透视、多余线条表达纹理、可操作性、图片对称性对于视觉障碍人士触觉图像的识别具有显著作用，其中前三者不利于识别，后两者有助于识别。
5.申请号为201811160926.1的中国专利公开了一种带有触觉引导功能的图形显示器，其按一定的顺序生成触觉图像，一滑块引导用户按照触觉图像生成顺序触摸，一定程度上帮助用户理解图像语义，但是触觉图像生成的速度较慢会导致用户体验感较差。
6.同时，申请号为201811298146.3的中国专利公开了一款触觉触摸屏，通过摄像头获取实时场景图像，将图像像素的灰度值反映到触摸屏触点升起的高度上。虽然这种方式能以浮雕形式再现场景，但是它几乎没有对摄像头采集的图像做针对视障人群的优化处理，其中包含的许多细节纹理，且物体轮廓不明显，加大了视障人士理解图形的难度。
7.综合来看，目前触觉图像生成和显示技术主要存在以下问题：1) 除了用于教学或展示的人工制作的触觉图像，大多数触觉图像都是从视觉二维图像转换过来的，但是转换过程中，很少有从易于识别的角度做相应的处理，导致生成的触觉图像难以被视障人群理解；2)触觉图像的高分辨率和触觉图形显示器有限的尺寸之间的矛盾：一方面，为了保留图像更多的细节信息，触觉图像的分辨率相对比较高，另一方面，基于成本，便携性和触摸效率的考虑，市面上的触觉图像显示器的尺寸不会太大，因此很有可能出现图形在显示器上显示不下的情况出现。


技术实现要素：

8.本发明的目的在于提供一种触觉图像的生成和显示方法，以解决背景技术中现有的方法生成的触觉图像难以被视障人群理解、较高分辨率的触觉图像无法在低分辨率的触
觉图像显示器上全部显示等问题。
9.为实现上述目的，本发明提供技术方案如下：
10.一种触觉图像的生成和显示方法，所述方法包括以下步骤：步骤 1，对获取的原始视觉二维数字图像提取目标图像；步骤2，对目标图像进行边缘检测，得到目标图像的轮廓二值图；步骤3，基于透视判别准则校正轮廓二值图；步骤4，对步骤3所得的轮廓二值图去噪；步骤5，对去噪的轮廓二值图建立图像金字塔，基于预设的综合评价策略在图像金字塔中选取最佳分辨率二值图；步骤6，将最佳分辨率二值图映射为触觉图像；步骤7，判断触觉图像的分辨率是否大于触觉显示器的分辨率，若是，采用窗口滑动的方式显示触觉图像，否则将触觉图像在触觉显示器上居中显示。
11.优选地，所述步骤1包括以下步骤：步骤1.1，获取原始视觉二位数字图像并进行目标检测，获取目标框图；步骤1.2，对目标框图进行实例分割，得到目标图像。
12.优选地，所述透视判别准则为：判断轮廓二值图是否有透视效果，若是，则对轮廓二值图进行逆透视变换，否则保留轮廓二值图。
13.优选地，所述判断轮廓二值图是否有透视效果为：通过霍夫变换提取轮廓二值图的直线，判断所有直线构建的直线轮廓中是否存在类长方体斜视的角点，若是，则认定为有透视效果，否则无透视效果；所述逆透视变换为寻求直线构成的面积最大的多边形并进行仿射变换，将得到的仿射变换图作为轮廓二值图。
14.优选地，所述类长方体斜视的角点的判定方法包括以下步骤：基于直线的函数表达式获取三线的交点；判断是否有直线连接任意两交点，若是，则将直线作为连接线，将连接线连接的两交点作为可疑角点对，否则结束；计算连接线与通过可疑角点的直线形成的角度，判断连接线同一侧的两个夹角是否互补，若是，则可疑角点为类长方体斜视的角点，否则，可疑角点不是类长方体斜视的角点。
15.优选地，所述图像去噪包括以下步骤：步骤4.1，设定通路长度阈值；步骤4.2，遍历轮廓二值图，得到轮廓像素m连通的所有通路；步骤4.3，判断通路长度是否小于通路长度阈值，若是，更改通路中每一轮廓像素为非轮廓像素，否则不变；。
16.优选地，所述图像金字塔中，每一层金字塔图像由前一层金字塔图像的宽和高减半生成，第一层金字塔图像为去噪的轮廓二值图。
17.优选地，所述综合评价策略为选择综合得分最高的一层金字塔图像作为最佳显示分辨率图像，所述综合得分sc的计算公式为
[0018][0019]
a、b、c均为权重系数，且a+b+c＝1，sn为第n层金字塔图像与第1层金字塔图像间的图像一致性得分，为归一化后的图像一致性得分，图像一致性得分的计算公式为
[0020][0021]rn
为第n层金字塔图像分辨率与触觉图像显示器的分辨率一致性得分，为归一化后的分辨率一致性得分，分辨率一致性得分的计算公式为
[0022][0023]en
为第n层金字塔图像的摸读效率得分，为归一化后的摸读效率得分，摸读效率得分的计算公式为
[0024][0025]
其中，a1为第1层金字塔图像的像素数目总和，f1为第1层金字塔图像中像素值为0的像素数目，an为第n层金字塔图像像素数目总和，fn为第n层金字塔图像中像素值为0的像素数目，wd为触觉图形显示器的宽度，hd为触觉图形显示器的高度，wn为第n层金字塔图像的宽度，hn为第n层金字塔图像的高度。
[0026]
优选地，所述映射方法为，最佳分辨率二值图中轮廓像素，在触觉图像中表示触点升起；最佳分辨率二值图中的非轮廓像素，在触觉图像中表示触点降落。
[0027]
优选地，所述步骤7中，采用窗口滑动方式显示触觉图像为，通过按键或摇杆等控制装置移动窗口，在触觉图像中选择任一局部图像来显示，所述局部图像的分辨率与触觉图像显示器分辨率相同。
[0028]
与现有技术相比，本发明的有益效果为：
[0029]
本发明提出了一种适用于点阵式触觉图像的生成和显示方法，通过特殊的图像处理策略，生成的触觉图像易于识别，且能满足在较小分辨率的触觉显示器上显示的要求。
附图说明
[0030]
图1为本发明的一种触觉图像的生成和显示方法的流程图。
[0031]
图2为本发明实施例中目标检测效果图。
[0032]
图3为本发明实施例中实例分割效果图。
[0033]
图4为本发明实施例中边缘检测效果图。
[0034]
图5为本发明实施例中去噪效果图。
[0035]
图6为本发明实施例中逆透视变换示意图。
[0036]
图7为本发明实施例中图像金字塔效果图。
[0037]
图8为本发明实施例中去噪流程图。
[0038]
图9为本发明实施例中图像金字塔的算法流程图。
[0039]
图10为本发明实施例中窗口滑动触觉图像的操作示意图。
[0040]
图11为本发明实施例中类长方体斜视的角点的示意图。
具体实施方式
[0041]
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0042]
参照图1所示，一种触觉图像的生成和显示方法，具体包括7个步骤。
[0043]
步骤1，通过摄像头或者互联网获取原始视觉二维数字图像，对获取的该原始视觉二维数字图像提取目标图像。
[0044]
具体来说，该原始视觉二维数字图像提取目标图像包括以下2个子步骤：
[0045]
步骤1.1，将该原始视觉二维数字图像进行目标检测，得到n个用包围盒框柱的对象，即目标框图，如图2所示；
[0046]
步骤1.2，将每一目标框图进行实例分割，得到目标图像，该实例分割也即去除背景像素，保留前景(对象)像素，如图3所示。
[0047]
本发明步骤1.1中，当无法在目标检测算法中检测得到目标框图时，则无法执行步骤1.2。
[0048]
本发明步骤1.2中，当有多个目标框图时，需要分别对每个目标框图进行实例分割，每一目标框图进行实例分割后得到一目标图像，目标框图的数量与目标图像的数量一致。
[0049]
本发明步骤1.1中，目标检测算法可以为rcnn、yolo系列等，同时得到包围盒及包围盒框柱的对象的分类信息。本发明步骤1.2 中，实例分割可以采用传统图像处理的算法，如显著性目标提取方法，也可以采用深度学习的算法，此为本领域公知常识，本领域技术人员可根据实际情况自行设置。
[0050]
本发明步骤1中，也可使用mask rcnn算法或者其他深度学习模型将步骤1.1中的目标检测和步骤1.2中的实例分割相结合，直接提取原始视觉二位数字图像的目标图像。
[0051]
本发明通过步骤1对原始视觉二维数字图像中的对象识别、分离，然后分别单独显示，视障人士每次摸读触觉图像都是单对象，降低了记忆要求和识别难度，同时也对触觉图像显示器的分辨率要求降低。
[0052]
步骤2，对每一目标图像进行边缘检测，得到目标图像的轮廓二值图。
[0053]
边缘检测的目的是标识数字图像中亮度变化明显的点，本发明步骤2中的边缘检测包括以下2个子步骤：
[0054]
步骤2.1，对目标图像进行灰度化处理，得到灰度图；
[0055]
步骤2.2，对灰度图使用坎尼(canny)算子进行边缘检测，得到目标图像的轮廓二值图，该轮廓二值图中对象轮廓像素点值为0(黑色)，其余像素点值为1(白色)。
[0056]
图4为本发明实施例中边缘检测效果图，参照图4所示，本发明步骤2.2使用canny算子进行边缘检测，可以通过调节第一和第二梯度阈值来抑制弱边缘，从而更准确地表示目标图像中对象轮廓的实际边缘。
[0057]
步骤3，基于透视判别准则校正轮廓二值图。具体来说，该步骤 3包括以下步骤：
[0058]
步骤3.1，通过霍夫变换提取轮廓二值图的直线，判断所有直线构建的直线轮廓中是否存在类长方体斜视的角点，若是，则认定为有透视效果，执行步骤3.2，否则无透视效果，否则保留步骤2的轮廓二值图；
[0059]
步骤3.2，寻求直线构成的面积最大的多边形并进行仿射变换，将得到的仿射变换图作为轮廓二值图。这里要找的是面积最大且内部没有线条的多边形。
[0060]
本发明步骤3.1中，在二维图像坐标系中，霍夫变换会把所有超过设定的长度的直线都描出来，同时还能获得直线在坐标系中的函数表达式；步骤3.1中，判断是否存在类长方体斜视的角点包括以下子步骤：
[0061]
步骤3.1.1，通过各直线的函数表达式确定所有至少三条直线相交的交点；
[0062]
步骤3.1.2，通过直线的函数表达式判断是否有直线连接任意两点，若是，则将连接两交点的直线作为连接线，将连接线连接的两交点作为可疑角点对，这里的可疑角点对包括两可疑角点，否则结束；
[0063]
步骤3.1.3，对所有可以点分别做如下计算：计算连接线与通过可疑角点的其他直线形成的夹角，判断连接线同一侧的两个夹角互补，则可疑角点为类长方体斜视的角点，否则，不是类长方体斜视的角点。
[0064]
该类长方体斜视的角点的认定步骤中，计算点相交和同侧角角度允许一定范围的误差。
[0065]
本发明步骤3通过设置透视判别准则判别轮廓二值图是否具有透视效果，并对具有透视效果的轮廓二值图进行逆透视变换(仿射变换)，得到的仿射变换图即为校正的轮廓二值图。
[0066]
图6表示提取的轮廓二值图的直线呈现在二维平面上的透视效果，图6中2表示图6中1经过仿射变换后得到的仿射变换图。
[0067]
步骤4，对步骤3所得的轮廓二值图去噪。本发明步骤4中，若通过步骤2得到的轮廓二值图具有透视效果，则步骤3所得的轮廓二值图即为仿射变换图，若通过步骤2得到的轮廓二值图经过步骤3的透视判别准则判定为无透视效果，则步骤3所得的轮廓二值图即为步骤2的轮廓二值图。
[0068]
图8为本发明的去噪流程图，参照图8，轮廓二值图去噪具体包括以下4个子步骤：
[0069]
步骤4.1，设定通路长度阈值rl
t
，对轮廓二值图的像素按照从左往右、从上往下的顺序进行编号，初始化当前像素编号α＝0；
[0070]
步骤4.2，令当前像素编号值加1，并判断当前像素编号是否小于轮廓二值图的最大编号，若是，执行步骤4.3，否则结束；
[0071]
步骤4.3，判断当前像素α的像素值是否为0(黑色)，若是，执行步骤4.4，否则返回步骤4.2；
[0072]
步骤4.4，确定当前像素m连通的所有通路及各通路长度l，并判断各通路长度是否小于通路长度阈值rl
t
，若是，则将该通路中的所有像素值均设置为1(白色)，否则返回步骤4.2。
[0073]
本发明步骤4.2中，轮廓二值图的最大编号为轮廓二值图中最后一像素的编号，通过比对当前像素编号与轮廓二值图的最大编号从而限制轮廓二值图的像素遍历条件。
[0074]
本发明步骤4.4中，“m连通”是数字图像处理里面常见的一个概念，具体来说，对于灰度值在v集合中的像素p和q，如果满足以下两个条件：
[0075]
1.q在p的4邻域中，或者
[0076]
2.q在p的d邻域中，并且p的4邻域与q的4邻域的交集是空的(即没有灰度值在v集合中的像素点)；
[0077]
那么称这两个像素是是m连通的。
[0078]
本发明步骤4.1-4.4得到去噪效果图参照图5所示，通过计算每一对象轮廓像素(黑色像素)m连通的通路和通路长度，并基于通路长度阈值判断是否将黑色像素更新为白色；本发明通过对轮廓二值图进行数字图像形态学处理，得到去除孤立点、短线后的轮廓二
值图。
[0079]
本发明通过步骤2的边缘检测、步骤3的透视判别准则、步骤4 的去噪处理等操作简化了目标图像，去除视觉图像中存在透视、纹理等特征，突出了轮廓特征，更有助于视障人士识别、理解触觉图像。
[0080]
步骤5，对去噪的轮廓二值图建立图像金字塔，基于预设的综合评价策略在图像金字塔中选取最佳分辨率二值图。
[0081]
本发明步骤5中，建立图像金字塔即依次缩小宽和高至原来的一般，当二值图的宽或高小于设定的最小限定时，停止缩小。据此得到一组宽和高都缩小2n倍的二值图，其中n＝1,2,3
…
。参照图7所示，图中图像金字塔各层的分辨率分别为210
×
359、105
×
179、52
×
89、 26
×
44。
[0082]
图9为本发明的建立图像金字塔的算法流程图，参照图9，具体来说，该步骤5具体包括以下子步骤：
[0083]
步骤5.1，将去噪的轮廓二值图作为第一层金字塔图像，设定宽度阈值或者高度阈值，并执行步骤5.2；
[0084]
步骤5.2，将第一层金字塔图像设为当前层；
[0085]
步骤5.3，根据当前层的金字塔图像，利用金字塔图像生成公式生成下一层金字塔图像，该金字塔图像生成公式为
[0086][0087]
其中，pn(i，j)为图像金字塔中第n层金字塔图像中第i行第j列的像素值，n＝2，3，...；
[0088]
条件a为p
n-1
(2i，2j)＝0、p
n-1
(2i，2j+1)＝0、p
n-1
(2i+ 1，2j)＝0或者p
n-1
(2i+1，2j+1)＝0；
[0089]
步骤5.4，判断新生成的金字塔图像的宽或者高是否小于宽度阈值或者高度阈值，若是，则执行步骤5.5，否则将新生成的金字塔图像作为当前层，并返回步骤5.3；
[0090]
步骤5.5，采用综合得分计算方法对各生成的金字塔图像计算综合得分，并选择综合得分最高的金字塔图像作为最佳分辨率二值图。
[0091]
所述的综合得分计算主要考虑三个方面：与金字塔第1层图像的一致性、与触觉图像显示器分辨率的一致性、摸读效率。与金字塔第 1层图像的一致性反映了缩小图像与原始图像的相似度，保证了缩小图像的质量；与触觉图像显示器分辨率的一致性为了保证触觉图像显示器的利用效率，提高显示效果；摸读效率考虑了触觉的记忆性相对远小于视觉，因此触觉图像应尽可能简洁、小尺寸。
[0092]
所述综合得分的计算方法为
[0093][0094]
其中，a、b、c均为权重系数，且a+b+c＝1，sn为第n层金字塔图像与第1层金字塔图像间的图像一致性得分，为归一化后的图像一致性得分，rn为第n层金字塔图像分辨率与触觉图像显示器的分辨率一致性得分，为归一化后的分辨率一致性得分，en为第n 层金
字塔图像的摸读效率得分，为归一化后的摸读效率得分，
[0095]
sn的计算方法为：
[0096][0097]
式中a1为第1层金字塔图像(去噪的轮廓二值图)的像素数目总和，f1为第1层金字塔图像(去噪的轮廓二值图)中像素值为0的像素数目，an为第n层金字塔图像的像素数目总和，fn为第n层金字塔图像中像素值为0的像素数目。
[0098]rn
的计算方法为：
[0099][0100]
式中wd为触觉图形显示器的宽度(即触点数)，hd为触觉图形显示器的高度(即触点数)，wn为第n层金字塔图像的宽度，hn为第n层金字塔图像的高度。
[0101]en
的计算方法为：
[0102][0103]
式中fn为第n层金字塔图像中像素值为0的像素数目。
[0104]
按综合得分的计算方法，还需要计算sn、rn、en归一化值计算方法为min-max标准化，以的计算为例：
[0105][0106]
其中，s
min
为sn中的最小值，s
max
为sn中的最大值。
[0107]
本发明步骤5通过构建图像金字塔，逐级缩小轮廓二值图，同时又设置缩小的终止条件(宽度阈值或者高度阈值)，避免过度缩小导致金字塔图像过分失真，可降低触觉图像的显示分辨率，尽可能在普遍分辨率较小的触觉图像显示器上完整显示；通过选取综合得分最高的金字塔图形作为最佳分辨率二值图，保证映射的触觉图像在触觉图像显示器的显示效果。
[0108]
步骤6，将最佳分辨率二值图映射为点阵触觉图像。该映射方法为：最佳分辨率二值图中像素值为1的像素，在点阵触觉图像中表示触点升起；最佳分辨率二值图中像素值为0的像素，在点阵触觉图像中表示触点降落。
[0109]
这种方式简单明了，并且视障人士一般具有braille点字的使用经验，对于这样类似形式的点阵触觉图像更易上手。
[0110]
步骤7，判断点阵触觉图像的分辨率是否大于触觉显示器的分辨率，若是，采用窗口滑动的方式显示点阵触觉图像，否则将点阵触觉图像在触觉显示器上居中显示。
[0111]
所述步骤7中，采用窗口滑动方式显示点阵触觉图像如图10所示，该图10中1为点阵触觉图像；图10中2为与触觉图像显示器分辨率相同的窗口；图10中3为触觉图像显示器；图10中4为按键。与触觉图像显示器分辨率相同的窗口对准点阵触觉图像的一部分，触觉显
示器显示的即为窗口框中部分的点阵触觉图像；通过按键或摇杆等控制装置移动窗口，选择点阵触觉图像的哪一部分来显示。
[0112]
本发明通过步骤7，在触觉图像分辨率大于触觉图像显示器的分辨率的情况下，采用滑动窗口的方式来保证触觉图像的完整读取，一定程度上解决了较大分辨率触觉图像与较小分辨率触觉显示器的矛盾。
[0113]
本发明综合考虑触觉图像生成和显示过程中存在的问题，基于触觉图像显示器分辨率较低的现实，可解决当前视觉图像向触觉图像转换过于简单、粗糙的问题，实现向视障人群呈现易于识别、摸读体验良好的触觉图像的目标。