一种图像与音频结合的方法及装置与流程

本发明涉及图像生成领域，具体涉及一种图像区块化与多音频结合的方法及装置。

背景技术：

随着中国互联网不断发展，多媒体技术已经日益成熟。对于图像与音频结合的形式在现在非常常见，如在播放音乐的同时会展示关联的专辑图片，但是在其他方面尤其是电子图像辅助教学等需要以图像为主体的场景没有技术方案能很好的满足用户需求。

在一些场景中，不仅需要图像配上音频说明，还需要针对不同的图中区块做出不同的信息推送，因此在面对复杂图像的解释说明，需要关联多音频的场景下，现有技术受到了极大的局限。

技术实现要素：

为此，需要提供一种新型的图像与音频结合的方法及装置。

为实现上述目的，发明人提供了一种图像与音频结合的方法，包括如下步骤，对图像进行分割成多个区块单元，将不同的区块单元分别与若干音频关联。

进一步地，还包括步骤，获取用户对图像进行分割的操作信息，根据所述操作信息生成区块单元。

具体地，所述用户对图像进行分割的操作信息具体包括：获取用户对分割工具的选择信息，所述分割工具包括形状分割工具或形状运算工具。

优选地，还包括步骤，获取用户对第一区块单元的选择指令，在收到指令后对第一音频信息进行播放。

进一步地，还包括步骤，获取用户对第一区块单元的选择信息，录制第一音频信息，将所述第一区块单元与第一音频信息关联。

一种图像与音频结合的装置，包括分割模块、关联模块，所述分割模块用于对图像进行分割成多个区块单元，所述关联模块用于将不同的区块单元分别与若干音频关联。

具体地，其特征在于，还包括操作接收模块，所述操作接收模块用于获取用户对图像进行分割的操作信息，所述分割模块用于根据所述操作信息生成区块单元。

优选地，所述操作接收模块具体用于：获取用户对分割工具的选择信息，所述分割工具包括形状分割工具或形状运算工具。

优选地，还包括指令获取模块，所述指令获取模块用于获取用户对第一区块单元的选择指令，在收到指令后对第一音频信息进行播放。

进一步地，还包括录制模块，所述录制模块用于在获取用户对第一区块单元的选择信息后，录制第一音频信息，所述关联模块还用于将所述第一区块单元与第一音频信息关联。

区别于现有技术，上述技术方案能够根据用户需求对图像进行自主划分，在对划分好的图像区块进行自主讲解，解决了现有技术的场景图像配合音频推送的问题。

附图说明

图1为本发明某具体实施方式所述的一种图片音频结合方法流程图；

图2为本发明某具体实施方式所述的一种图片音频结合装置模块图。

附图标记说明：

200、分割模块；

202、关联模块；

204、操作接受模块；

206、指令获取模块；

208、录制模块。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，为本发明一种图像与音频结合的方法，本方法可以适用于图2所示的一种图像与音频结合的装置中执行，所述装置可以是装载了图示功能模块的电子产品，如手机、电脑、便携计算机等等。如图1所示，包括步骤s100-s108，在某些实施例中，步骤可以开始于：对图像进行分割成多个区块单元，所述图像可以是一张图片，也可以是多张图片，还可以是动图，甚至是一小段视频，其中多张图片或小段视频的前后帧具有一定的关联性或连续性，例如某些的实施例中，图像展示的是上课场景教师对黑板板书进行讲解的场景，可以是聚焦黑板板书本身的静态图片，也可以是包括黑板与老师动作的动态图或一小段视频(不含声音)，当然优选地动态图或一小段视频呈现的视野大小一致，需要用到的区域中的图像所展示内容的相对位置确定，接下来再进行步骤s106将不同的区块单元分别与若干音频关联，所述音频可以是通过上述装置录制的信号，也可以是通过现成的音频直接进行结合。

其中，步骤s106将图像区块与音频关联的技术原理如下：通过软件将音频文件的音频压缩成二进制音频流存入图像(如gif)数据内图像对应图像块中音频数据内，音频数据结构第一个为音频最小编码大小，用于在输入时对音频数据流进行编码，同时在输出时对编码数据流进行解码输出音频数据流。

音频数据流存储流程说明：软件定位器定位到指定图片数据块存放位置，软件音频编解码程序根据编码表对传入的音频数据流进行运算然后输入音频编码流到图像块内音频数据，完成一张图片后定位到下一段音频对应的图片，直到所有图片都处理完成。

音频编码流解析流程说明：软件解析器从文件开头开始解析，然后进入到图像(如gif)数据内的图像块开始检查音频数据块是否有数据，如果有数据软件音频编解码程序根据取出的编码表对存储的音频编码流进行解码，然后输出音频数据流到软件的音频库内，并将音频对应图片设置关联。完成后进入下一个图像块直到所有图像处理完成。结束解析程序，运行图像(如gif)图片音频浏览程序，根据图片的信息开始播放图片动画，同时音频播放程序根据图片位置查找对应的音频，如果音频库中存在音频执行音频播放命令。

当然以上只是一个具体的实现例，所有类似以上将音频数据流与图像区块进行绑定的做法都能够实现步骤s106。

例如，生物学的细胞拆解图需要对每个部分进行详细的语音说明，我们就会将拆解图的不同区块对应不同的音频关联。这种每个部分基本都是不规则图形的区块划分，我们还提供根据需求选择划分工具。因此步骤s102具体进行的步骤为，获取用户对分割工具的选择信息，所述分割工具包括形状分割工具或形状运算工具。图片划分成区块单元的做法可以通过软件智能识别、智能划分区块，但是根据用户的操作进行划分能够更好地满足用户需求，提高本发明的实用性。本文所述用户的操作可以为触屏选择、鼠标，键盘，触摸板等类似输入工具的选择，甚至是光感、遥感、声控等设备允许人机交互的外接的信号。所述形状分割工具包括矩形区块工具，可以对图像划分一个矩形的区块；

椭圆区块工具，可以对图像划分一个椭圆的区块；

索套区块工具，可以对图像自由划分一个不规则的区块；

魔棒区块工具，可以对图像的某颜色区块进行选择，并且可以控制色差范围，色差越大划分区块的颜色差别越大，反之越小；

若所选的区块与周边有明显色差，选择魔棒区块工具，调整色差范围，点选需要划分的区块，反之则选择索套区块工具，沿边缘画出所选的闭合区块。

所述形状运算工具包括加上工具、减去工具、区块编号工具、区块重合检查工具等等。

如果对工具划分的区块不满意或者有瑕疵会影响其他区块的划分，

则可以选择加上工具或减去工具，加上工具，可以将多个有重合区块合成一个区块；

减去工具。可以将区块减去重合部分。

区块编号工具，根据区块划分完成并通过检查的工具按1、2、3、4….n的顺序进行编号，数据暂存在数据存储模块。

区块检查工具，对划分的区块进行检查，必须同时满足两个条件：划分区块是否为闭合区域、任意两个区块之间的最小单位是否重合。检查工具会在每个区划划分时进行一次检查，在进行区块编号时对所有区块进行复查。然后再选择其他区块划分工具对原区块进行二次编辑，直到划分出所需区块。

每完成一次区块划分，区块检查模块都会对本次划分的区块进行一次两步检查：

第一步、检查划分区块是否闭合区域，是，继续下一步骤；否，则出现提示并要求重新划分区块；

第二步、检查图像划分区块的最小单位是否重合，是，完成区块划分；否，则出现提示并要求重新划分区块。

等待用户完成所有区块划分，并重新检查所有区块是否满足上述两个条件。所有区块检查通过后将会通过区块编号工具，根据区块划分完成并通过检查的工具按1、2、3、4….n的顺序进行编号，编号数据会暂存在数据存储模块。

进一步地，图像数据处理模块会提取每个图像区块的数据信息，包括最小单位的十六进制颜色代码、最小单位的图像位置信息，通过算法将其转化为二进制信息。与此同时，信息记录模块，同步记录区块图像数据的图像分辨率、品质数据、数据长度，并生成关键索引信息与区块编号一一对应，用于二进制数据逆处理恢复图像，数据同样存储在数据存储模块中。

为了让关键索引信息与图像二进制信息对应不混淆，需要通过赋值模块对二进制数进行赋值，将每个区块编号赋值到对应的图像二进制信息中，并生成新的带编号信息的图像二进制信息。

至此已经完成了细胞拆解图对每个拆解部分的图像区块划分并生成带编号信息的图像二进制信息，随后我们进行步骤s104，录制第一音频信息，将第一区块单元与第一音频信息进行关联，例如用户在选择操作选择到分好区块的编号1的区块单元后，系统提示进行音频的录制，系统在检测到音频信号输入后对提示录制成功，将录制的音频信息与刚才用户选择的编号1的区块单元进行关联结合。然后我们还将关联完成后的图像与音频信息存储在数据存储模块中。

在另外一些实施例中，装置还会将关联完成的关联图像展示出来，然后进行步骤，s104，获取用户对第一区块单元的选择指令，在收到指令后对第一音频信息进行播放。用户在对图像进行观察的同时可以看到图像上区块单元的分割信息，用户可以根据需要直接选取某个区块单元进行选取操作，这里的选取操作可以是触屏选择、鼠标，键盘，触摸板等类似输入工具的选择，甚至是光感、遥感、声控等设备允许人机交互的外接的信号。假设用户选取了编号1的区块单元，系统在收到上述操作指令后就会将第一音频信息通过放音设备播放出来，从而达到了对原来的录制声音重现的效果。

相较于其他一些实施例，如直接录制视频对课堂场景进行记录，本发明方法能够极大地减小共享资料需要的数据量，例如图片记录的黑板上不同位置的板书能够有不同的配音讲解，又提供了ppt类似的单一图片课件不能达到的多音频关联，对图中讲解更具针对性。另外本发明方法还提供用户自主操作选项，也为现有的云课堂的课件录制提供了中庸的优化解，在没有视频的大数据量前提下，通过图像展示多音频，用户可以根据自身需要采集板书、教具、画板等对应的图像信息，根据自身需要采用系统提供的工具对图像进行划分，再提供相应的音频讲解，从而形成课件。在我们的方案中，还可以对与音频结合好的关联图像进行上传到服务器的操作，通过互联网等共享方式进行下载的其他用户在收到上述关联图像(课件)之后，还按照区块单元的分割逻辑能够跟上制作者的思路，从而更好地达到知识的共享。在图像为动图的情况下，用户还能够观赏到制作者的肢体讲解。因此本发明方法解决了现有技术的场景图像配合音频推送的问题。

在图2所示的实施例中，本发明还包括一种图片音频结合装置，所述装置包括分割模块200、关联模块202，所述分割模块用于对图像进行分割成多个区块单元，所述关联模块用于将不同的区块单元分别与若干音频关联。

具体地，其特征在于，还包括操作接收模块204，所述操作接收模块用于获取用户对图像进行分割的操作信息，所述分割模块用于根据所述操作信息生成区块单元。

优选地，所述操作接收模块具体用于：获取用户对分割工具的选择信息，所述分割工具包括形状分割工具或形状运算工具。

优选地，还包括指令获取模块206，所述指令获取模块用于获取用户对第一区块单元的选择指令，在收到指令后对第一音频信息进行播放。

进一步地，还包括录制模块208，所述录制模块用于在获取用户对第一区块单元的选择信息后，录制第一音频信息，所述关联模块还用于将所述第一区块单元与第一音频信息关联。

上述装置能够根据用户需求对图像进行自主划分，在对划分好的图像区块进行自主讲解，解决了现有技术的场景图像配合音频推送的问题。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：ram、rom、磁碟、磁带、光盘、闪存、u盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。