一种将触感数据编码为视频流进行保存和传输的方法与流程

本发明涉及一种数据保存和传输方法，特别是关于一种将触感数据编码为视频流进行保存和传输的方法。

背景技术：

触感是一种人类用于感知物体形状和材质的感观，当人观看身临其境的视频或虚拟现实内容时，常常会伸出手去想触摸其中的物体，由此可见触感是人类相当重要的一种感观。

现在，触感重现在视频播放或虚拟现实领域得到越来越多的重视，通过力反馈手套或力反馈服装使人在观看的同时可以亲身感知物体的形状和材质。触感重现是根据画面内容把当前时刻需要通过力反馈手套或力反馈服装施加到人体之上的触感数据记录下来，触感数据可以通过手工编辑获得，也可以通过传感器采集获得，触感数据根据时序逐一保存，最终形成触感数据流。在播放视频或虚拟现实内容的同时，将当前时刻所对应的触感数据检索出来并在力反馈手套或者力反馈服装设备上驱动对应的触感动作单元集给人以触觉感观的刺激，给人以更完全的沉浸感。这就要求在保存和传输视频数据、音频数据的同时，也要同步传输触感数据，然而当前大部分系统是通过自定义格式完成触感数据的保存和传输，造成触感数据无法在系统间方便共享，同时现有的自定义格式还未考虑到数据压缩和实时流传输等在网络传输中必须解决的问题。

技术实现要素：

针对上述问题，本发明的目的是提供一种将触感数据编码为视频流进行保存和传输的方法，通过复用现有视频流的算法和机制，从根本上解决了触感数据在网络传输过程中的数据压缩和实时流传输问题，同时实现了触感数据的共享。

为实现上述目的，本发明采取以下技术方案：一种将触感数据编码为视频流进行保存和传输的方法，其特征在于包括以下步骤：1)将不同时刻三维人体各采集点上的触感数据转换为按照时序排列的二维触感图像数据序列；2)对得到的按照时序排列的二维触感图像数据序列进行编码，得到触感流数据；3)对得到的触感流数据进行解压缩，得到按照时序排列的二维触感图像数据序列；4)根据得到的按照时序排列的二维触感图像数据序列，向人体进行触感重现。

所述步骤1)中，将触感数据转换为二维触感图像数据序列的方法，包括以下步骤：1.1)为三维人体各采集点做uv展开，将人体表面映射到二维平面中的二维触感图像上；1.2)采集不同时刻作用于三维人体各采集点上的触感数据，并将各采集点上的触感数据分解为多通道数据；1.3)根据步骤1.1)中三维人体各采集点对应的二维触感图像的位置，将步骤1.2)中得到的不同时刻各采集点的多通道数据映射到rgb颜色空间，得到按时序排列的二维触感图像数据序列。

所述步骤1.3)中，按时序排列的二维触感图像数据序列的生成方法，包括以下步骤：1.3.1)获取三维人体当前时刻任一采集点的多通道数据，包括压力、x向扭矩和y向扭矩数据；1.3.2)根据步骤1.1)中的映射关系，计算该采集点在二维触感图像上的位置；1.3.3)将该采集点的多通道数据进行归一化处理后，转换为二维触感图像上对应位置的rgb数据；1.3.4)重复步骤1.3.1)到1.3.3)，将不同时刻三维人体上所有采集点的多通道数据转换为二维触感图像上的rgb数据，得到按时序排列的二维触感图像数据序列。

所述步骤1.3.3)中，各采集点的多通道数据与rgb数据的对应关系为：压力通道数据对应r通道数据，x向扭矩通道数据对应g通道数据，y向扭矩通道数据对应b通道数据。

所述多通道数据中压力、x向扭矩、y向扭矩通道数据进行归一化处理的计算公式分别为：

y压力＝(x压力-minvalue压力)/(maxvalue压力-minvalue压力)；

yx向扭矩＝(xx向扭矩-minvaluex向扭矩)/(maxvaluex向扭矩-minvaluex向扭矩)；

yy向扭矩＝(xy向扭矩-minvaluey向扭矩)/(maxvaluey向扭矩-minvaluey向扭矩)；

其中：x、y分别为转换前、后的值，maxvalue、minvalue分别为压力、x向扭矩、y向扭矩通道数据可能的最大值和最小值。

所述步骤4)中，进行触感重现的方法，包括以下步骤：4.1)根据步骤1.1)中的映射关系以及力反馈设备上各触感重现单元在三维人体上的位置，找到各触感重现单元在二维触感图像上的对应点；4.2)根据得到的按照时序排列的二维触感图像数据，找到二维触感图像上该对应点上的rgb数据；4.3)将该对应点的rgb数据转换为触感数据的多通道数据，用于控制力反馈设备的相应触感重现单元动作后施加于人体实现触感重现。

本发明由于采取以上技术方案，其具有以下优点：1、本发明将三维人体上各采集点的触感数据转换为多通道数据，能够分别与各类触感采集设备、力反馈手套或力反馈服装的触感重现单元相对应，可统一各厂商不同的触感数据编码传输方案，适用性范围更广。2、本发明将三维人体上各采集点的位置映射到二维触感图像上，并将各采集点对应的多通道数据转换为rgb数据，生成按照时序排列的二维触感图像数据，该二维触感图像数据可以采用常规视频压缩方法编解码，实现不同系统间的触感数据共享。3、本发明由于生成的二维触感图像数据可以复用视频编码成熟的压缩算法和流式传输方法，实现触感数据的压缩与流式传输，甚至可以将触感数据流做为视频流中的一个通道实现触感数据与画面、声音的同步传输。4、本发明由于采用常用的视频压缩方案对二维触感图像数据进行编解码，使得文件的体积大大缩小，同时还可以保证在重现时失真极小。本发明方法简单，操作方便，可以广泛应用于触感数据的保存和传输领域。

附图说明

图1是本发明将触感数据分为三个通道的数据示意图；

图2是本发明生成二维触感图像流程图；

图3是本发明触感数据编解码流程图；

图4是本发明触感数据在不同系统间共享示意图；

图5(a)、图5(b)是本发明触感重现示意图。

具体实施方式

下面结合附图和实施例对本发明的进行详细的描述。

本发明提供的一种将触感数据编码为视频流进行保存和传输的方法，包括以下步骤：

1)将不同时刻三维人体各采集点上的触感数据转换为按照时序排列的二维触感图像数据序列。

将不同时刻三维人体各采集点上的触感数据转换为按照时序排列的二维触感图像数据的方法，包括以下步骤：

1.1)为三维人体的各采集点做uv展开，将人体表面映射到二维平面中的二维触感图像上。

1.2)采集不同时刻作用于三维人体各采集点上的触感数据，并将各采集点上的触感数据分解为多通道数据。

如图1所示，根据当前画面使用传感器采集或手工编辑的方法，将作用于三维人体各采集点上的触感数据记录下来，然后根据触感采集设备、力反馈手套和力反馈服装设计原理的不同，将触感数据进行分解，最多可以分解为压力、x向扭矩、y向扭矩三个通道的数据，实际使用中可以选择其中某一个或某几个通道进行记录和重现。

1.3)根据步骤1.1)中三维人体各采集点对应的二维触感图像的位置，将步骤1.2)中得到的不同时刻各采集点的多通道数据映射到rgb颜色空间，得到按时序排列的二维触感图像数据序列。

如图2所示，按时序排列的二维触感图像数据的生成方法，包括以下步骤：

1.3.1)获取三维人体当前时刻某一采集点的多通道数据，包括压力、x向扭矩、y向扭矩数据。

1.3.2)根据步骤1.1)中的映射关系，计算该采集点在二维触感图像上的位置。

1.3.3)将该采集点的多通道数据进行归一化处理后，转换为二维触感图像上对应位置的rgb数据。

将采集点的多通道触感数据映射至rgb颜色空间，其中压力通道数据换算为r通道数据，x向扭矩通道数据换算为g通道数据，y向扭矩通道数据换算为b通道数据；由于r、g、b通道数据的取值范围为0至255，所以压力、x向扭矩、y向扭矩通道数据需进行归一化处理，具体公式为：

y压力＝(x压力-minvalue压力)/(maxvalue压力-minvalue压力)

yx向扭矩＝(xx向扭矩-minvaluex向扭矩)/(maxvaluex向扭矩-minvaluex向扭矩)

yy向扭矩＝(xy向扭矩-minvaluey向扭矩)/(maxvaluey向扭矩-minvaluey向扭矩)

其中：x、y分别为转换前、后的值，maxvalue、minvalue分别为压力、x向扭矩、y向扭矩通道数据可能的最大值和最小值。

经过归一化处理后的y压力、yx向扭矩、yy向扭矩分别乘以255并四舍五入后得到最后保存在二维触感图像文件对应点中的r、g、b值。

例如，某二维触感图像文件对应点中，其中一点处对应的r＝0，g＝0，b＝0，则表示该点对应位置压力、x向扭矩、y向扭矩都为可能的最小值，即不受力。如果另一点处对应的r＝128，g＝0，b＝128，则表示该点对应位置压力为压力取值范围的1/2，x向扭矩为可能的最小值，y向扭矩为y向扭矩取值范围的1/2。

1.3.4)重复步骤1.3.1)到1.3.3)，将不同时刻三维人体上所有采集点的多通道数据转换为二维触感图像上的rgb数据，得到按时序排列的二维触感图像数据序列。

2)采用常规视频压缩方法对得到的按照时序排列的二维触感图像数据序列进行编码，得到触感流数据，用于触感数据的保存和传输或进行不同系统间的触感数据共享。

如图3所示，采用mpeg-4、h.264、h.265等常用的视频压缩方法对步骤3)所得到的按照时序排列的二维触感图像数据序列进行编码，保存为触感流文件，这种触感流文件与现阶段的自定义格式的触感文件序列相比，由于使用了已发展多年的视频压缩方案，文件的体积可以大大缩小，同时还可以保证在重现时失真极小。当需要使用触感流文件对触感进行重现时，首先按照mpeg-4、h.264、h.265等常用的视频压缩方案对触感流数据进行解码，得到按照时序排列的二维触感图像数据序列，再进行后续操作。

如图4所示，通过使用mpeg-4、h.264、h.265等视频压缩方案的流式传输特性还可简便地实现不同系统间的触感数据共享，由发送端对触感数据进行实时编码，通过流式传输发送到接收端后，再进行实时解码，从而实现触感数据在不同系统间的共享。

3)采用常规视频压缩方法对得到的触感流数据进行解压缩，得到按照时序排列的二维触感图像数据。

4)根据得到的按照时序排列的二维触感图像数据，向人体进行触感重现。

根据得到的按照时序排列的二维触感图像数据，向人体进行触感重现的方法，包括以下步骤：

4.1)根据步骤1.1)中的映射关系以及力反馈设备上各触感重现单元在三维人体上的位置，找到各触感重现单元在二维触感图像上的对应点。

4.2)根据得到的按照时序排列的二维触感图像数据序列，找到二维触感图像上该对应点上的rgb数据，特别的，若该对应点无记录，则通过对该对应点附近点的rgb数据进行插值，得到该对应点的rgb数据。

4.3)将该点的rgb数据转换为触感数据的多通道数据，用于控制力反馈设备的相应触感重现单元动作后施加于人体实现触感重现。

如图5(a)、图5(b)所示，本发明以力反馈手套为例进行介绍。首先找到力反馈手套上触感重现单元a在二维触感图像上的对应点a，找到该对应点a的rgb数据，之后，将a点的rgb数据转换为多通道数据，即将a点上的r通道数据换算为压力通道数据，将a点上的g通道数据换算为x向扭矩通道数据，将a点上的b通道数据换算为y向扭矩通道数据，触感重现单元a由压力通道数据、x向扭矩通道数据、y向扭矩通道数据的某一个或某几个控制并动作后施加于人体，从而产生身临其境的触觉感观。

对于力反馈手套上触感重现单元b，首先找到该对应点b的rgb数据，当对应点b没有rgb数据时，需通过对b点附近c、d、e三点的rgb数据进行插值后得到b点的rgb数据。之后，将b点上的rgb数据转换为多通道数据，并控制触感重现单元b动作后施加于人体，实现触感重现。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。