一种划图的生成、显示方法以及装置与流程

本发明涉及图像处理领域，特别涉及一种划图的生成、显示方法以及装置。

背景技术：

苹果公司在iPhone6s和6s Plus中增加了一个全新特性——Live Photos，这新特性的作用是在照片拍摄前后录制一段1.5秒的动态视频，当用户在照片上深按一下，照片就会自动播放动态效果。同时，用户还可以将Live Photos设置为锁屏墙纸，随时重现动态瞬间。采用Live Photos技术，通过3D-Touch按压iPhone可以展示图片前后大约1-2秒时长的视频。同时这项功能是默认开启的，在拍照的界面正上方看到一个激活的黄色小标识。如果用户想拍下Live Photo形式的照片，只需要在相机界面正上方中间的“live”图标打开的时候拍摄一张照片就行(打开状态下图标为黄色，关闭状态下则图标则是黑白色)。iPhone将能够在拍摄照片前后分别自动录制一段1.5秒的视频，并把视频和照片编辑在一起。

目前，Live Photos已经具有以下运用：

用户还可以将Live Photo共享到社交平台上，如果用户要分享Live Photo，找到想要分享的那一张点击分享按键，点击照片上的live按键，那么就可以分享视频和照片结合在一起的Live Photo，如果只是需要分享一张静态照片，那就不需要打开live键，最后再选择你想要通过哪个平台来分享即可。

用户还可以把Live Photo设置为壁纸，同样先找到用户需要的照片然后点击分享按键，找到用作壁纸项，然后调整大小，预览看看效果如何，然后选择Live Photo键，点击设定就可以选择将Live Photo设定为壁纸了。

但Live Photos技术具有以下缺点：

1)只适用于部分机型苹果手机(iPhone6s、6s Plus或者iOS9以上的OS)，完全不能够使用在安卓手机上，无法适配所有的智能手机机型或操作系统。

2)由于Live Photo其实是照片和视频的结合体，所以它占据的空间其实是一般照片的两倍，占用较大的手机内存。

3)Live Photo目前仅支持：3D-Touch按压iPhone，无法支持多种方式的用户交互功能。

技术实现要素：

本发明要解决的技术问题是，提供应用适用范围广、用户交互多样、一定程度上降低内容占用量的划图的生成、显示方法。

在本申请中，划图是指包括但不限于：多种通过图片的形式展示视频内容的方式，但既不是传统的视频，不是静态的图片，也不是GIF格式的动图。

解决上述技术问题，本发明提供了一种划图的生成方法，包括如下步骤：

获得视频拍摄图像，根据所述图像提取得到多张局部图片，所述图像按照每秒的限定帧进行拍摄，并根据所述限定帧提取得到对应的所述局部图片；

将所述局部图片按照矩阵拼接转化成为拼接图片；

对所述拼接图片解码，得到的局部图片按照数组堆栈形式存储得到划图。

本发明还包括一种划图的显示方法，按照所述的划图的生成方法得到的划图后，若用户划动所述划图时从第一帧开始播放。

更进一步，所述限定帧的范围是：1秒24帧～1秒60帧或者1秒60帧～1秒120帧。

更进一步，所述获得视频拍摄图像的时间范围是：1s～10s。

更进一步，对PNG格式的所述局部图片进行压缩并按照矩阵拼接转化成为JPEG格式的拼接图片。

本发明还提出了一种划图的生成、显示装置，包括：运行iOS或Android系统的终端，所述终端被配置为：

通过摄像头按照每秒的限定帧进行拍摄，在获得视频拍摄图像后上传；

接收拼接图片，所述拼接图片通过将根据所述限定帧提取得到对应的局部图片按照矩阵拼接转化得到；所述局部图片包括：多张，并通过所述上传的图像提取得到；

以及，对接收到的所述拼接图片解码，得到的局部图片按照数组堆栈形式存储得到划图；

若用户在终端划动或者检测到重力变化时，所述划图从第一帧开始播放。

更进一步，所述划图按照第一帧为封面静态显示在所述终端中，用户划动距离为所述终端的屏幕宽度，从所述终端的屏幕左方划动到右方，按照所述视频拍摄图像的时间顺序播放划图，从右方划回左方，可倒序播放划图。

更进一步，所述终端还被配置为：通过iOS或Android系统API对视频拍摄图像进行初步压缩后上传。

更进一步，所述终端还被配置为：通过所述限定帧控制所述获得视频拍摄图像的时长、尺寸和格式。

本发明还提出了一种划图服务器端，所述划图服务器端被配置为：

接收所述终端上传的视频拍摄图像，根据所述图像提取得到多张局部图片，所述图像按照每秒的限定帧进行拍摄，并根据所述限定帧提取得到对应的所述局部图片；以及，所述划图服务器端将所述局部图片按照矩阵拼接转化成为拼接图片后同步至对所述拼接图片解码得到的局部图片按照数组堆栈形式存储得到划图的所述终端

本发明的有益效果：

1)本发明中的划图的生成、显示装置和方法，能够适用于目前市面运行iOS或Android系统的智能移动终端，比如安卓手机、苹果手机、PAD，覆盖面很广，克服了目前Live Photos技术所实现的技术局限性。

2)本发明中的划图的生成方法，由于获得视频拍摄图像，根据所述图像提取得到多张局部图片，在此过程中进行图像压缩，并通过Python提取得到多张局部图片。比如，以1秒60帧的速度拍摄视频，获取2秒时长的视频内容，通过Python编写的算法代码，提取2秒视频的每一帧视图，共120张图片。与Live Photos技术相比，能够一定程度上的节省手机的内存空间。

3)本发明中的划图的生成、显示装置，通过划动和重力感应摇摆，可以显示图片前后时长的视频，完全适用于苹果手机、安卓手机和网页展示，对于用户而言交互更丰富。

附图说明

图1是本发明一实施例中的划图生成流程示意图。

图2是本发明一实施例中的划图显示流程示意图。

图3是本发明实施例中的具体操作流程示意图。

图4是本实施例中划图生成、显示装置的硬件实现结构图。

图5是本实施例中划图生成、显示装置的操作流程示意图。

图6是划图服务器端操作流程示意图。

具体实施方式

现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

在本申请中，获得视频拍摄图像的方法包括但不限于：安卓手机或者苹果手机，只要能够进行摄像头调用即可。手机摄像头可主要包括：内置与外置，内置摄像头是指摄像头在手机内部，更方便。外置手机通过数据线或者手机下部接口与数码相机相连，来完成数码相机的一切拍摄功能。

在本申请中，手机重力感应技术：利用压电效应实现，就是测量内部一片重物(重物和压电片做成一体)重力正交两个方向的分力大小，来判定水平方向。通过对力敏感的传感器，感受手机在变换姿势时，重心的变化，使手机光标变化位置从而实现选择的功能。通过手机的重力感应，可以利用该功能来切换所需的界面和功能，甩歌甩屏，翻转静音，甩动切换视频等，是一种非常具有使用乐趣的功能。

可以理解，摄像头结构基于：SENSOR(图象传感器)，图像传感器(SENSOR)是一种半导体芯片，其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时，就会产生电荷。目前的SENSOR类型有两种：CCD(Charge Couple Device)电荷耦合器件，CMOS(Complementary Metal Oxide Semiconductor)互补金属氧化物半导体。以及A/D转换器，A/D转换器即ADC(Analog Digital Converter模拟数字转换器)ADC的两个重要指标是转换速度和量化精度，由于CAMERA SYSTEM中高分辨率图象的象素量庞大，因此对速度转换器的要求很高。同时量化精度对应的ADC转换器将每一个象素的亮度和色彩值量化为若干的等级，这个等级就是CAMERA的色彩深度。由于CMOS已经具备数字化传输接口，所以不需要A/D4.0数字信号处理芯片(DSP)数字信号处理芯片DSP(DIGITAL SIGNAL PROCESSING)功能：主要是通过一系列复杂的数学算法运算，对数字图像信号参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备。

在本申请中，对视频的初步压缩，是利用手机系统本身提供的系统API进行的，对于所属领域技术人员而言是公知的。比如，iOS：-(nullable instancetype)initWithAsset:(AVAsset*)asset presetName:(NSString*)presetName NS_DESIGNATED_INITIALIZER。

可以理解，若用户划动所述划图时从第一帧开始播放，当用户左右划动图片，按顺序前后可展示多张图片形成类似走马灯的动态播放效果。

请参考图1是本发明一实施例中的划图生成流程示意图，本实施例提供了一种划图的生成方法，包括如下步骤：步骤S100获得视频拍摄图像，根据所述图像提取得到多张局部图片，在执行上述步骤S100时，作为操作条件进入步骤S101所述图像按照每秒的限定帧进行拍摄，并根据所述限定帧提取得到对应的所述局部图片；作为本实施例中的优选，所述限定帧的范围是：1秒24帧～1秒60帧或者1秒60帧～1秒120帧。在本发明中的限定帧可以优选上述的范围，比如，1秒60帧时图像处理速度可为最优。作为本实施例中的优选，所述获得视频拍摄图像的时间范围是：1s～10s，可以根据用户的需要拍摄不同时长的视频，一般而言1s-2s内获得的视频可以记录最想要留存的瞬间。步骤S102将所述局部图片按照矩阵拼接转化成为拼接图片；作为本实施例中的优选，对PNG格式的所述局部图片进行压缩并按照矩阵拼接转化成为JPEG格式的拼接图片。步骤S103对所述拼接图片解码，得到的局部图片按照数组堆栈形式存储得到划图，所述图片解码主要是对接收到的拼接图片裁剪切割成一张张的局部图片，每一局部图片对应每一帧。

请参考图2是本发明一实施例中的划图显示流程示意图，步骤S100获得视频拍摄图像，根据所述图像提取得到多张局部图片，步骤S101所述图像按照每秒的限定帧进行拍摄，并根据所述限定帧提取得到对应的所述局部图片；步骤S102将所述局部图片按照矩阵拼接转化成为拼接图片；步骤S103对所述拼接图片解码，得到的局部图片按照数组堆栈形式存储得到划图；还包括步骤S104若用户划动所述划图时从第一帧开始播放。比如在手机上实现上述方法时，用户划动所述划图时，从第一帧开始播放，划动距离为手机屏幕宽，从手机屏幕左方划动到右方，即可顺序播放完整几秒时间内的划图，从右方划回左方，可倒序播放几秒划图，根据获得视频拍摄图像的时间范围是：1s～10s而定。另外可显示的图片数量也根据所述限定帧的范围是：1秒24帧～1秒60帧或者1秒60帧～1秒120帧而定。

请参考图3是本发明实施例中的具体操作流程示意图，以限定帧为1秒60帧，视频拍摄图像的时间为2s为例进行说明：

首先，以1秒60帧的速度拍摄视频，获取2秒时长的视频内容，视频尺寸为480*480。通过iOS或Android系统API对视频进行初步压缩后上传到本地或者云端服务器。

然后，服务器中通过比如，Python编写的算法代码，提取2秒视频的每一帧视图，共120张局部图片。图片尺寸为480*480，对这120张PNG格式图片进行压缩以12*10的矩阵拼接成一张尺寸为5760*4800的拼接图片，转换为JPEG格式。

接着，拼接图片传输到用户手机客户端，手机客户端通过本地代码(用以将拼接图片裁剪切割成一张张的局部图片，每一个局部图片对应每一帧)运行算法解码大图片，还原120张图片，并以数组堆栈形式储存在本地，这120张图片组成的一个整体，即为划图。划图会以第一帧为封面静态展示在手机中。

另外，当用户划动划图时，从第一帧开始播放，划动距离为手机屏幕宽，从手机屏幕左方划动到右方，即可顺序播放完整2秒划图，从右方划回左方，可倒序播放2秒划图。除了划动，用户还可以通过左右晃动手机播放划图。当用户晃动手机时，则调用智能手机的重力感应陀螺仪进行检测，根据晃动幅度和速度播放划图。

请参考图4和图5，其中图4是本实施例中划图生成、显示装置的硬件实现结构图，图5是本实施例中划图生成、显示装置的操作流程示意图，实施例中的划图的生成、显示装置，包括：运行iOS或Android系统的终端，所述终端包括：CPU100，RAM101，ROM103以及总线104，所述CPU100，RAM101，ROM103分别与所述总线104相连；所述CPU100是整台手机的控制中枢系统，也是逻辑部分的控制中心。微处理器通过运行存储器内的软件及调用存储器内的数据库，达到控制目的，比如，进行下述步骤S200的操作和对所述步骤S203进行反馈。所述RAM101，RAM101即运行内存，比如在Android移动操作系统中，RAM的大小直接决定了在手机后台能开多少程序，比如进行下述步骤S200。所述ROM103即机身存储，比如在Android移动操作系统中，ROM的大小决定了在手机中安装应用程序的数量，存放视频或者照片的数量。通过串行接口控制器105与内存109相连，用以视频或者照片的传输；通过并行接口控制器106与摄像头110相连，用以传输手机的摄像头110的数据。通过显示屏控制器与显示屏111相连，用于显示视频或者照片。通过键盘控制器108与触摸屏112相连，用以反馈用户的划动操作或者重力变化。

所述终端被配置为可进行如下步骤操作：

步骤S200通过摄像头按照每秒的限定帧进行拍摄，在获得视频拍摄图像后上传；优选地，所述终端还被配置为：通过iOS或Android系统API对视频拍摄图像进行初步压缩后上传。

步骤S201接收拼接图片，所述拼接图片通过将根据所述限定帧提取得到对应的局部图片按照矩阵拼接转化得到；所述局部图片包括：多张，并通过所述上传的图像提取得到；优选地，所述终端还被配置为：通过所述限定帧控制所述获得视频拍摄图像的时长、尺寸和格式。

步骤S202对接收到的所述拼接图片解码，得到的局部图片按照数组堆栈形式存储得到划图；

步骤S203若用户在终端划动或者检测到重力变化时，所述划图从第一帧开始播放，具体地，所述划图按照第一帧为封面静态显示在所述终端中，用户划动距离为所述终端的屏幕宽度，从所述终端的屏幕左方划动到右方，按照所述视频拍摄图像的时间顺序播放划图，从右方划回左方，可倒序播放划图。时间顺序播放划图形成类似走马灯的动态播放效果，是一种充满趣味的娱乐方式和多媒体表现途径。

请参考图6是划图服务器端操作流程示意图，所述划图服务器端被配置为：步骤S300接收所述终端上传的视频拍摄图像，根据所述图像提取得到多张局部图片，通过iOS或Android系统API对视频进行初步压缩后上传到划图服务器端。然后，服务器中通过比如，Python编写的算法代码，提取限定帧范围内的视频的每一帧视图，图片尺寸为480*480，对该些PNG格式图片进行压缩以12*10的矩阵拼接成一张尺寸为5760*4800的拼接图片，转换为JPEG格式。步骤S301所述图像按照每秒的限定帧进行拍摄，并根据所述限定帧提取得到对应的所述局部图片；步骤S302所述划图服务器端将所述局部图片按照矩阵拼接转化成为拼接图片后同步至对所述拼接图片解码得到的局部图片按照数组堆栈形式存储得到划图的所述终端。

虽然本公开以具体结构特征和/或方法动作来描述，但是可以理解在所附权利要求书中限定的本公开并不必然限于上述具体特征或动作。而是，上述具体特征和动作仅公开为实施权利要求的示例形式。