一种图像显示方法及装置、计算机可读存储介质与流程

本发明涉及电子设备技术领域，尤其涉及一种图像显示方法及装置、计算机可读存储介质。

背景技术：

随着智能手机、平板电脑等智能终端的快速普及，智能终端已经成为最广泛的人机交互媒介，其中，通过触屏进行人机交互已经成为当前最普遍的交互方式。

目前，通过触摸屏浏览图像时，一般浏览的都是二维图像，交互方式比较刻板和生硬；在相关技术中，可以通过增强现实(augmentedreality，ar)技术来实现对图像的三维建模，使得用户能够通过视觉获取图像的立体模型。然而，一般情况下人类通过联合各种感觉器官，才能够获取物体真实的信息；因此，现有技术中仅仅通过视觉获取图像表征的物体的信息是十分片面的。

触觉作为连接人类意识与外部客观世界的重要的感觉之一，在识别物体的过程中发挥了至关重要的作用；因此，如何将三维的立体视觉与人类的触觉感受联合起来，在浏览图像时为用户提供更加真实的体验是亟待解决的问题。

技术实现要素：

为解决上述技术问题，本发明实施例提供了一种图像显示方法及装置、计算机可读存储介质。

本发明实施例提供一种图像显示方法，应用于具有触觉显示屏幕的电子设备，所述方法包括：

获取待显示图像，以及所述待显示图像中每个像素区域的深度信息；

至少基于所述待显示图像中每个像素区域的深度信息，确定所述待显示图像对应的触觉模拟参数；其中，所述触觉模拟参数用于指示所述待显示图像对应的目标物体的表面纹理特征；

在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制所述触觉显示屏幕对所述待显示图像进行触觉输出。

本发明实施例还提供了一种图像显示装置，所述装置包括：

获取单元，用于获取待显示图像，以及所述待显示图像中每个像素区域的深度信息；

确定单元，用于至少基于所述待显示图像中每个像素区域的深度信息，确定所述待显示图像对应的触觉模拟参数；其中，所述触觉模拟参数用于指示所述待显示图像对应的目标物体的表面纹理特征；

处理单元，用于在图像显示屏幕中显示所述待显示图像，并基于在所述显示屏幕输出所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对使得用户能够通过手指触摸所述显示屏幕感知到所述待显示图像进行触觉输出对应的目标物体的表面纹理特征。

提供一种图像显示装置，所述装置包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器配置为运行所述计算机程序时，执行所述图像显示方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现上述任一方法的步骤。

本发明实施例提供的图像显示方法及装置、计算机可读存储介质，首先，获取待显示图像，以及待显示图像中每个像素区域的深度信息；基于待显示图像中每个像素区域的深度信息，确定待显示图像对应的触觉模拟参数；其中，所述触觉模拟参数用于指示所述待显示图像对应的目标物体的表面纹理特征；在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对所述待显示图像进行触觉输出；这样，通过上述方案，可以将待显示图像在图像显示屏幕中进行显示，并且还可以将待显示图像的深度信息转换为触觉模拟参数，并在触觉显示屏幕中对待显示图像进行触觉输出，使得用户能够通过手指触摸触觉显示屏幕就能够感知到拍摄的目标物体的表面纹理特征；如此，能够在现有视觉再现的基础上，加入触觉信息，将视觉体验与人类的触觉感受结合起来，为用户提供更加真实的交互体验。

附图说明

图1为本发明实施例提供的一种图像显示方法的流程示意图；

图2为本发明实施例提供的一种电子设备的结构示意图；

图3为本发明实施例提供的另一种图像显示方法的流程示意图；

图4为本发明实施例提供的一种电子设备的操作界面的示意图；

图5为本发明实施例提供的又一种图像显示方法的流程示意图；

图6为本发明实施例提供的一种图像显示装置的结构组成示意图；

图7为本发明实施例提供的一种图像显示装置的硬件结构组成示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。

图1为本发明实施例提供的图像显示方法的流程示意图，如图1所示，所述图像方法包括以下步骤：

步骤101、获取待显示图像，以及待显示图像中每个像素区域的深度信息。

其中，步骤101获取待显示图像，以及待显示图像中每个像素区域的深度信息可以由具有触觉显示屏幕的电子设备来实现；在实际应用中，所述电子设备可以包括：具有触觉显示屏幕的智能手机、平板电脑、笔记本电脑、个人计算机等电子设备。这里，触觉显示屏幕是指可以将真实的触觉信息通过电子设备展现给用户的屏幕，在实际应用中可以通过电刺激触觉再现原理或者利用马达产生不同的震动幅度和频率来模拟不同的触觉，实现对待显示图像的触觉输出；这样，当用户触摸所述触觉显示屏幕时能够触摸感知到物体的触觉信息。需要说明的是，上述电子设备中还包括图像显示屏幕，能够对图像进行视觉输出，即图像显示屏幕能够显示二维或三维图像，使得用户通过视觉看到所述图像。

在本发明的其他实施例中，电子设备的存储装置中可以存储多个待显示图像以及每个待显示图像中各个像素区域对应的深度信息；这样，用户需要对图像进行预览时，电子设备能够直接从存储装置中直接选取待显示图像，以及待显示图像的深度信息，并在电子设备的图像显示屏幕以及触觉显示屏幕上进行显示。其中，深度信息是指对目标物体进行拍摄时，目标物体的表面与拍摄装置之间的距离信息；而待显示图像中每个像素区域的深度信息也就是指目标物体表面每个部位与拍摄装置之间的距离，可以理解为，待显示图像中每个像素区域代表目标物体表面不同的部位。

在本发明的其他实施例中，电子设备还可以通过深度相机对目标物体的图像信息和深度信息进行采集，获取待显示图像以及待显示图像中每个像素区域的深度信息。

具体地，深度相机包括图像采集装置和深度信息采集装置；其中，电子设备通过图像采集装置对目标物体进行图像采集，得到待显示图像；可以理解为，图像采集装置能够采集目标物体的二维图像信息，得到待显示图像中每个像素点在二维空间坐标内的位置信息；其中，图像采集装置优选为红-绿-蓝(red-green-blue，rgb)摄像头。深度信息采集装置优选为飞行时间(time-of-flight，tof)摄像头；其中，深度信息采集装置可以向目标物体发射光脉冲，接收光脉冲并接收光脉冲经过所述目标物体反射的反射光；获取发射光脉冲到接收到所述反射光的传输时间，并基于所述传输时间，确定所述待显示图像中每个像素区域对应的深度信息。可以理解为，深度信息采集装置能够采集目标物体的第三维度的空间信息。

步骤102、至少基于待显示图像中每个像素区域的深度信息，确定待显示图像对应的触觉模拟参数。

其中，触觉模拟参数用于指示待显示图像对应的目标物体的表面纹理特征。

在本发明的其他实施例中，步骤102至少基于待显示图像中每个像素区域的深度信息，确定待显示图像对应的触觉模拟参数可以由电子设备来实现。

在本发明的其他实施例中，电子设备可以通过电刺激触觉再现原理，在触觉显示屏幕中对待显示图像中目标物体的轮廓和纹理给予一定的电刺激，使用户在触摸时产生不同的触觉感受。在实际应用中，可以在电子设备的显示屏幕上增加一个透明的触觉显示屏幕，用于输出电刺激信号，其中，所述电子设备的硬件框架，包括处理器、摄像头模块(tof摄像头，rgb摄像头，驱动芯片，供电芯片等)，电刺激模块(触觉显示屏)，处理器(驱动芯片，供电芯片等)，图像显示模块(图像显示屏，驱动芯片，供电芯片等)。其中，如图2所示的电子设备20，图2a所示的是电子设备20的正面，在电子设备20的图像显示屏幕21的上方设置有触觉显示屏幕22；图2b所示的是电子设备20的背面，在电子设备20的背面设置有tof摄像头22和普通的rgb摄像头23。

在本实施例中，可以通过触觉模拟参数来实现不同的电刺激，也就是说，通过输出触觉模拟参数，使得用户的手指在接触到触觉显示屏幕时受到不同的刺激，让用户感受到凹凸不平的感觉。可以理解为，触觉模拟参数能够表征待显示图像对应的目标物体的表面纹理特征。

具体地，可以在电子设备的触觉显示屏幕中设置有至少一个触觉电极，用于输出触觉模拟参数，不同的触觉模拟参数能够产生不同的电刺激信号。为了能够更加真实的再现待显示图像的轮廓和纹理特征，电子设备中的触觉电极优选地呈点阵式分布于整个触觉显示屏幕中；其中，触觉显示屏幕中的触觉电极设置的越多，触觉电极所表征的像素区域就越小，触觉再现的就越准确。优选地，可以在触觉显示屏幕中每个像素对应的位置处设置一个触觉电极；这样图像显示屏幕在进行图像显示的时候，在该像素对应位置处触觉显示屏幕的触觉电极能够根据待显示图像中对应的像素区域的深度信息，输出对应的触觉模拟参数。

在上述方案中，所述触觉模拟参数至少包括以下参数之一：

每个触觉电极的电流；

每个触觉电极的电压；

每个触觉点击的脉冲频率。

在本发明的其他实施例中，在步骤102之前电子设备还可以预先设置像素的深度信息值与触觉电极输出的触觉模拟参数之间的对应关系表；可以理解为，预先设置待显示图像中像素区域的深度信息值，与电极输出的电流、电压或者脉冲频率值之间的关系。

示例性的，像素的深度信息值与触觉电极输出的触觉模拟参数之间的对应关系表如表1所示，当像素区域的深度信息值为0～1m之间时，触觉电极的输出电流可以为10a，输出电流可以为32v，输出脉冲频率可以为50khz。

表1

一般情况下，可以通过电流刺激或电荷库伦力刺激来实现触觉的再现。具体地，电流刺激是将触觉电极设置在触觉显示屏幕上与手指接触的位置；进行触觉模拟时，电子设备可以对触觉电极施加不同的电流或者脉冲频率，当用户的手指触摸这些触觉电极时，电流通过手指，能够刺激手指神经，从而引发神经纤维动作电位，传导到大脑的感觉神经中枢，使用户产生被接触的意识，从而实现触觉再现。在本实施例中，待显示图像中每个像素区域的深度信息值对应一定的电流大小或脉冲频率。

另外，电荷库伦力刺激，可以在触觉显示屏幕最外侧增加绝缘介质层，将触觉电极设置在绝缘介质层且靠近触觉显示屏幕的一侧。当用户的手指触摸绝缘介质层的最外侧表面时，底部电极与手指之间存在电压差，分别积累了电荷，根据库伦力的相互作用原理，会对手指神经产生摩擦力的感觉。在本实施例中，可以通过控制触觉电极的电压或者脉冲频率，造成不同的电荷的积累，产生不同的库伦力，使操作者产生不同的感受。其中，触觉电极输出的电压的大小或者脉冲频率的大小对应于待显示图像中每个像素区域的深度信息。

步骤103、在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对所述待显示图像进行触觉输出。

其中，步骤103在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对所述待显示图像进行触觉输出可以由电子设备来实现。

这里，触觉显示屏幕中触觉电极与其显示的图像中每个像素区域具有对应关系；电子设备在图像显示屏幕展示待显示图像的同时，将触觉模拟参数全部输出到触觉显示屏幕中的触觉电极处；这样，用户不仅可以通过视觉看到待显示图像，而且用户用手指触摸待显示图像时，通过触觉电极的刺激作用，使得用户能够感受到待显示图像的轮廓和纹理特征。

本发明实施例提供的图像显示方法，首先，获取待显示图像以及待显示图像中每个像素区域的深度信息；至少基于待显示图像中每个像素区域的深度信息，确定待显示图像对应的触觉模拟参数；其中，所述触觉模拟参数用于指示所述待显示图像对应的目标物体的表面纹理特征；在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对所述待显示图像进行触觉输出；这样，通过上述方案，可以将待显示图像的深度信息转换为触觉模拟参数，使得用户能够通过手指触摸显示屏幕就能够感知到拍摄的目标物体的表面纹理特征；如此，能够在现有视觉再现的基础上，加入触觉信息，为用户提供更加真实的交互体验。

在上述实施例中电子设备仅根据像素区域的深度信息来确定待显示图像的触觉模拟参数，当tof摄像头在距物体远近不同的情况下拍摄相同的物体时，获得的深度信息不同，那么可能会造成相同的物体具有不同的触觉感受。因此，基于上述问题的考虑，本发明实施例提供了一种图像显示方法，如图3所示，所述方法包括以下步骤：

步骤301、电子设备获取待显示图像，以及所述待显示图像中每个像素区域的深度信息。

步骤302、电子设备基于所述待显示图像和待显示图像中每个像素区域的深度信息，构建目标物体的三维空间数据模型。

其中，待显示图像可以理解为是平面二维点的集合，待显示图像中每个像素区域的深度信息可以理解为是第三维空间点的集合；电子设备根据待显示图像所表征的目标物体的二维空间信息，和待显示图像中每个像素区域的深度信息表征的目标物体的第三维空间信息，构建得到待显示图像中目标物体的三维空间数据模型。这样，电子设备可以得到待显示图像中任意两个像素点之间的空间相对位置。

步骤303、电子设备基于所述三维空间数据模型，确定所述待显示图像对应的触觉模拟参数。

在上述方案中，电子设备通过构建三维空间模型，可以获取待显示图像中每个像素点之间的空间相对位置关系。通过得到的三维空间模型来确定待显示图像对应的触觉模拟参数，能够消除拍摄时物体与摄像头距离不同对触觉模拟参数的影响。

在本发明的其他实施例中，电子设备可以根据三维空间中的像素点的相对位置关系，确定对应的触觉模拟参数。

步骤304、电子设备在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对所述待显示图像进行触觉输出。

在本发明的其他实施例中，如图4所示，电子设备可以在图像显示屏幕中显示待显示图像的三维空间模型，能让用户通过视觉看到立体的图像。同时，电子设备将触觉模拟参数输出到触觉显示屏幕的触觉电极中，使得用户在进行触摸时，感受到待显示图像对应的目标物体的表面纹理特征。

需要说明的是，本实施例中与其他实施例中相同或相关步骤的解释可以参照其他实施例中的描述，此处不再赘述。

本发明实施例提供的图像显示方法，首先，获取待显示图像以及待显示图像中每个像素区域的深度信息；至少基于待显示图像中每个像素区域的深度信息，确定待显示图像对应的触觉模拟参数；其中，所述触觉模拟参数用于指示所述待显示图像对应的目标物体的表面纹理特征；在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对所述待显示图像进行触觉输出；这样，通过上述方案，可以将待显示图像在图像显示屏幕中进行显示，并且还可以将待显示图像的深度信息转换为触觉模拟参数，并在触觉显示屏幕中对待显示图像进行触觉输出，使得用户能够通过手指触摸触觉显示屏幕就能够感知到拍摄的目标物体的表面纹理特征；如此，能够在现有视觉再现的基础上，加入触觉信息，将三维的立体视觉感受与人类的触觉感受结合起来，为用户提供更加真实的交互体验。

基于前述实施例，本发明实施例提供一种图像显示方法，如图5所示，所述方法包括以下步骤：

步骤501、电子设备获取待显示图像，以及所述待显示图像中每个像素区域的深度信息。

步骤502、电子设备至少基于所述待显示图像中每个像素区域的深度信息，确定所述待显示图像对应的触觉模拟参数。

其中，所述触觉模拟参数用于指示所述待显示图像对应的目标物体的表面纹理特征。

步骤503、电子设备在图像显示屏幕中显示所述待显示图像。

步骤504、电子设备获取用户触摸操作的触摸位置。

作为另一示例性实施例，为了尽可能地降低触觉电极在工作时造成的功耗损失，尤其是当触觉显示屏幕中的触觉电极数量众多时，可以通过获取用户的触摸操作，来确定用户触摸操作的位置；基于触摸位置，对触觉电极的触觉模拟参数进行输出，以减少工作的触觉电极的数量和时间。

在本发明的其他实施例中，电子设备可以根据触觉显示屏幕中的压力传感器或者触摸屏幕，获取用户进行触摸时的触摸位置；其中，触摸位置可以用二维坐标进行表示。需要说明的是，触摸位置可以包括多个二维坐标，也就是说，触摸位置并不是单个的坐标点，而是一块连续的区域。

步骤505、电子设备基于触摸位置，确定与触摸位置对应的待显示图像的触摸区域。

在本发明的其他实施例中，电子设备根据得到的触摸位置的坐标，来得到对应待显示图像的坐标，确定用户触摸待显示图像的对应的区域。

步骤506、电子设备基于所述触摸区域，获取所述触摸区域中每个像素区域的触觉模拟参数。

步骤507、电子设备基于所述触摸区域中每个像素区域的触觉模拟参数，控制触觉显示屏幕在所述触摸位置对所述待显示图像进行触觉输出。

具体地，电子设备仅在用户触摸触觉显示屏幕时，启动触摸区域内的触觉电极，而触摸区域外的触觉电极则处于关闭的状态，如此，能够降低触觉电极在工作时可能造成的功耗损失，节约电子设备的电源。

需要说明的是，本实施例中与其他实施例中相同或相关步骤的解释可以参照其他实施例中的描述，此处不再赘述。

本发明实施例提供的图像显示方法，首先，获取待显示图像以及待显示图像中每个像素区域的深度信息；至少基于待显示图像中每个像素区域的深度信息，确定待显示图像对应的触觉模拟参数；其中，所述触觉模拟参数用于指示所述待显示图像对应的目标物体的表面纹理特征；在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对待显示图像进行触觉输出；这样，通过上述方案，可以将待显示图像在图像显示屏幕中进行显示，并且还可以将待显示图像的深度信息转换为触觉模拟参数，并在触觉显示屏幕中对待显示图像进行触觉输出，使得用户能够通过手指触摸触觉显示屏幕就能够感知到拍摄的目标物体的表面纹理特征；如此，能够在现有视觉再现的基础上，加入触觉信息，将视觉体验与人类的触觉感受结合起来，为用户提供更加真实的交互体验。

为实现本发明实施例的方法，本发明实施例提供了一种图像显示装置，所述图像显示装置可以应用于上述方法实施例中的所述电子设备中；如图6所示，所述装置包括：

获取单元61，用于获取待显示图像，以及所述待显示图像中每个像素区域的深度信息；

确定单元62，用于至少基于所述待显示图像中每个像素区域的深度信息，确定所述待显示图像对应的触觉模拟参数；其中，所述触觉模拟参数用于指示所述待显示图像对应的目标物体的表面纹理特征；

处理单元63，用于在图像显示屏幕中显示所述待显示图像，并基于所述待显示图像中每个像素区域对应的触觉模拟参数，控制触觉显示屏幕对所述待显示图像进行触觉输出。

在本发明的其他实施例中，所述获取单元61，具体用于通过图像采集装置对所述目标物体进行图像采集，得到所述待显示图像；向所述目标物体发射光脉冲，并接收光脉冲经过所述目标物体反射的反射光；获取发射光脉冲到接收到所述反射光的传输时间，并基于所述传输时间，确定所述待显示图像中每个像素区域对应的深度信息。

在本发明的其他实施例中，所述触觉显示屏幕上设置有至少一个触觉电极；相应的，所述触觉模拟参数至少包括以下参数之一：

每个触觉电极的电流；

每个触觉电极的电压；

每个触觉点击的脉冲频率。

在本发明的其他实施例中，所述确定单元62，具体用于基于待显示图像中每个像素区域的深度信息和所述待显示图像的图像信息，构建所述待显示图像对应的目标物体的三维空间数据模型；基于所述三维空间数据模型，确定所述待显示图像对应的触觉模拟参数。

在本发明的其他实施例中，所述处理单元53，还用于获取用户触摸操作的触摸位置；基于所述触摸位置，确定与所述触摸位置对应的待显示图像的触摸区域；基于所述触摸区域，获取所述触摸区域中每个像素区域的触觉模拟参数；基于所述触摸区域中每个像素区域的触觉模拟参数，控制所述触觉显示屏幕在所述触摸位置对所述待显示图像进行触觉输出。

基于上述多媒体数据处理装置中各单元的硬件实现，为了实现本发明实施例提供的图像显示方法，本发明实施例还提供了一种图像显示装置，如图7所示，所述装置70包括：处理器71和配置为存储能够在处理器上运行的计算机程序的存储器72，

其中，所述处理器71配置为运行所述计算机程序时，执行前述实施例中的方法步骤。

当然，实际应用时，如图7所示，该装置70中的各个组件通过总线系统73耦合在一起。可理解，总线系统73用于实现这些组件之间的连接通信。总线系统73除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统73。

在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器72，上述计算机程序可由图像显示装置70的处理器71执行，以完成前述方法所述步骤。计算机可读存储介质可以是磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)等存储器。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。