电子相册生成方法以及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种电子相册生成方法以及装置。

背景技术：

随着计算机技术和多媒体技术的发展，人们接触到的多媒体资源日益丰富。随着人们兴趣的拓宽，现在很多人都直接用摄像机或数码相机拍摄视频，在计算机上使用播放器软件观看视频节目，已经成为用户的一种非常普遍的学习、休闲、娱乐方式。

与此同时，会在影片上关注到一些非常精彩的画面，并希望能够保存下来，由这些精彩的画面组成一本精美的电子相册。电子相册是由给定的一组照片来制作生成视频，通常情况会伴有背景音乐和描述文字。相关技术中，绝大部分电子相册制作流程都是用户基于视频编辑软件，在照片上配上描述文字和背景音乐以完成电子相册。

但是，目前存在的问题是：基于视频编辑软件以完成电子相册，这种制作方式属于纯粹的人工制品，需要具备一定的专业知识的用户才能完成在照片上搭配描述文字，大大增大了人工制作成本，不智能化。

技术实现要素：

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种电子相册生成方法。该方法在节省人工制作成本的同时，丰富了相册内容，提升了相册趣味性，拓展了想象空间，并提升了用户体验。

本发明的第二个目的在于提出一种电子相册生成装置。

为达到上述目的，本发明第一方面实施例提出的电子相册生成方法，包括：对照片进行内容分析，生成所述照片的描述性信息；以及根据所述照片和所述描述性信息进行视频合成，以生成目标电子相册。

本发明实施例的电子相册生成方法，可通过对照片进行内容分析，生成照片的描述性信息，并根据照片和描述性信息进行视频合成，以生成目标电子相册。即基于照片图像的内容进行分析，并基于分析结果自动为该照片给出恰当的描述性信息，这样，在电子相册的生成过程中，无需要求用户具备图像处理知识也能智能化地完成电子相册的制作，在节省人工制作成本的同时，丰富了相册内容，提升了相册趣味性，拓展了想象空间，并提升了用户体验。

为达到上述目的，本发明第二方面实施例提出的电子相册生成装置，包括：描述性信息生成模块，用于对照片进行内容分析，生成所述照片的描述性信息；以及电子相册生成模块，用于根据所述照片和所述描述性信息进行视频合成，以生成目标电子相册。

本发明实施例的电子相册生成装置，可通过描述性信息生成模块对照片进行内容分析，生成照片的描述性信息，电子相册生成模块根据照片和描述性信息进行视频合成，以生成目标电子相册。即基于照片图像的内容进行分析，并基于分析结果自动为该照片给出恰当的描述性信息，这样，在电子相册的生成过程中，无需要求用户具备图像处理知识也能智能化地完成电子相册的制作，在节省人工制作成本的同时，丰富了相册内容，提升了相册趣味性，拓展了想象空间，并提升了用户体验。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的电子相册生成方法的流程图；

图2是根据本发明一个具体实施例的电子相册生成方法的流程图；

图3(a)、(b)、(c)和(d)是根据本发明实施例的照片中对象类别的分类结果的示意图；

图3(e)是根据本发明实施例的词语“礼物”的向量表示的示意图；

图4是根据本发明实施例的vgg16模型结构的示例图；

图5是根据本发明一个实施例的生成备选描述性信息集合的流程图；

图6是根据本发明一个实施例的生成描述性信息的流程图；

图7是根据本发明一个实施例的电子相册生成装置的结构示意图；

图8是根据本发明一个具体实施例的电子相册生成装置的结构示意图；

图9是根据本发明一个实施例的生成子模块的结构示意图；

图10是根据本发明另一个具体实施例的电子相册生成装置的结构示意图；

图11是根据本发明又一个具体实施例的电子相册生成装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的电子相册生成方法以及装置。

图1是根据本发明一个实施例的电子相册生成方法的流程图。需要说明的是，本发明实施例的电子相册生成方法可应用于本发明实施例的电子相册生成装置。该电子相册生成装置可被配置于终端设备，该终端设备可以是移动终端(如手机、平板电脑、个人数字助理等硬件设备)、pc机等。

如图1所示，该电子相册生成方法可以包括：

s110，对照片进行内容分析，生成照片的描述性信息。

可以理解，为了方便对照片的内容分析，可在对照片进行内容分析之前，对照片进行预处理。例如，原始照片会存在尺寸过大、长宽比不一致等情况，需要进行尺寸变换处理，即将照片保持宽高比不改变的情况下，转换为适合目标电子相册的宽高尺寸。

在对照片进行预处理之后，可对预处理后的照片进行内容分析，并基于分析结果生成照片的描述性信息。具体地，可采用cnn(convolutionalneuralnetwork，卷积神经网络)方法，加载预先训练好的模型对照片中对象进行分析，得到照片中的对象类别，之后，可根据对象类别从预先生成的备选描述性信息集合中选取出该照片的描述性信息。具体的实现方式可参见后续实施例的描述。

需要说明的是，描述性信息的语言类型不限于中文，还可以是英文、德文、俄文等；描述性信息的文件格式可以是文本和/或语音等。也就是说，搭配到目标电子相册上的描述性信息可以是中文文字，还可以是其他语言文字，也还可以是中文语音等，具体呈现方式可根据实际需求决定，在此不作具体限定。

s120，根据照片和描述性信息进行视频合成，以生成目标电子相册。

具体地，可根据照片和描述性信息，通过视频编码技术进行电子相册的视频合成，最终得到目标电子相册。具体的实现过程可参见后续实施例的描述。

本发明实施例的电子相册生成方法，可通过对照片进行内容分析，生成照片的描述性信息，并根据照片和描述性信息进行视频合成，以生成目标电子相册。即基于照片图像的内容进行分析，并基于分析结果自动为该照片给出恰当的描述性信息，这样，在电子相册的生成过程中，无需要求用户具备图像处理知识也能智能化地完成电子相册的制作，在节省人工制作成本的同时，丰富了相册内容，提升了相册趣味性，拓展了想象空间，并提升了用户体验。

为了使得本领域的技术人员能够更加清楚地了解本发明的实现，下面将结合图2对本发明的电子相册生成方法进行进一步描述。

图2是根据本发明一个具体实施例的电子相册生成方法的流程图。如图2所示，该电子相册生成方法可以包括：

s210，根据预设的分类模型对照片进行识别，以获取照片中的对象类别。

可以理解，为了方便对照片的内容分析，可在对照片进行内容分析之前，对照片进行预处理。例如，原始照片会存在尺寸过大、长宽比不一致等情况，需要进行尺寸变换处理，即将照片保持宽高比不改变的情况下，转换为适合目标电子相册的宽高尺寸。

举例而言，以描述性信息为中文文字为例，在对照片进行预处理之后，可采用cnn方法加载预先训练好的分类模型，对照片中的对象进行分类。可以理解，分类结果是照片中的对象属于各个类别的概率，可预先设置阈值min_prob(例如，可以设定为0.5)，取各个类别概率中最大值，如果该值大于min_prob，则取该类别对应的中文label(标签)即可，否则提取label失败，即对象类别获取失败。如果照片中的对象类别对应多个中文label，则取各label中词频最高的一个label。

例如，可以采用预训练好的vgg16模型对照片中的对象进行分类，分类结果为照片中的对象属于1000个类别的概率。如图3(a)所示，prob为识别分类的概率，predict_index为vgg16分类结果序号，cn_label为将原vgg161000类别对应的中文label。可以看出，图3(a)中最大概率值为0.628759，大于阈值0.5，则可认定该照片中主要对象为仓鼠。

需要说明的是，本发明采用cnn作为分类算法，是因为当前cnn分类准确率已经达到一定程度，如图3(b)-图3(d)所示，为采用vgg16模型对各照片进行对象分类得到的分类结果。其中，图3(b)中最大概率值为0.374364，是这些各个类别概率中的最大值，则可认定该照片中主要对象为吉娃娃；图3(c)中最大概率值为0.403069，是这些各个类别概率中的最大值，而此时对应多个label(即台球桌、桌球台)，由于台球桌的出现次数大于桌球台的出现次数，所以可认定该照片中的对象主要为台球桌；图3(d)中最大概率值为0.756128，是这些各个类别概率中的最大值，则可认定该照片中主要对象为立式钢琴。

作为一种示例，如图4所示，为vgg16模型结构，该模型即为16层卷积神经网络。需要说明的是，本步骤还可采用其他cnn分类模型，只需得到照片的多分类概率结果即可，在此不作具体限定。

s220，根据对象类别，从预先生成的备选描述性信息集合中选取照片的描述性信息。

需要说明的是，在本发明的实施例中，备选描述性信息集合可以是预先生成的。作为一种示例，如图5所示，可通过以下步骤预先生成该备选描述性信息集合：

s510，获取高频词列表中的描述性词语列表，其中，描述性词语列表包括多个形容词样本和多个副词样本。

例如，以描述性信息为中文文字为例，可通过互联网采集可以获取到中文高频词列表中的描述性词语列表，该描述性词语列表可包括多个形容词样本和多个副词样本。例如，可以取中文高频词列表中的形容词样本，如：“大小多好新一般高长基本老全少快低大量自然容易自由强积极难近复杂相同不少旧早很多迅速红广大简单远丰富明显客观高兴最大美对同样清楚普遍先进平衡黑真巨大必要稳定广泛正常不好深伟大热认真著名……”；取中文高频词列表中的副词样本，通过人工过滤取得描述正向程度的副词样本，如：“很非常特别相当最真十分太多么那么确实就是极实在好极其挺的确极为最为格外特绝对何等颇为异常够”。

s520，分别获取各个形容词样本和各个副词样本的向量表示，计算各个形容词样本与各个副词样本之间的第二相似度。

具体地，继续以描述性信息为中文文字为例，可通过互联网采集获取中文语料库，经过中文切词，通过神经网络训练，获取语料库中词的向量表示。例如：可以使用word2vec对语料中词语进行处理，生成词语的k维实数向量表示。例如，“礼物”一词，经过word2vec计算可以得到其向量表示为图3(e)所示。这样，从该语料库词向量集合中，可以分别获取各个形容词样本和各个副词样本的向量表示，计算出各个形容词样本与各个副词样本之间的第二相似度(如余弦cosine相似度)。

s530，针对每个形容词样本，获取与每个形容词样本的第二相似度最高n个副词样本，其中，n为正整数。

也就是说，每个形容词样本获取与其相似度最高n个副词样本。例如，n为3，即可获取与每个形容词样本的相似度最高3个副词样本。

s540，将每个形容词样本与对应的n个副词样本进行组合以生成备选描述性信息集合。

也就是说，将每个形容词样本与对应的n个副词样本进行组合以成为一组搭配词语，如：“极其优异、何等壮丽、够漂亮”等，最后，将所有的搭配词语集合在一起，得到备选描述性信息集合。可以理解，通过上述获取方式得到的搭配词语，即为符合该语料语言习惯的文本描述，作为备选的照片文本描述。

需要补充说明的是，语料库的组成可以决定生成描述性信息的风格。例如，可以来自百科语料则产出日常描述，可以来自社交网络产出具有网络风格的新词用语等。

还需要说明的是，在本发明的一个实施例中，还可不断从互联网获取新进文本，以更新语料库。由此，通过对语料库的不断更新，保证语料库中词语的新鲜度，从而可以提高生成的描述性信息的准确度和灵活度。

由此，通过上述步骤s510-s540即可生成备选描述性信息集合。这样，在本步骤中，可通过神经语言程序学nlp技术，根据对象类别，从预先生成的备选描述性信息集合中选取照片的描述性信息，即给该照片生成描述性信息。作为一种示例，如图6所示，根据对象类别，从预先生成的备选描述性信息集合中选取照片的描述性信息的具体实现过程可包括如下步骤：

s610，获取对象类别的文本词向量。

具体地，可通过word2vec对对象类别的文本进行处理，以生成该对象类别的文本的词向量。

s620，获取与对象类别对应的高频形容词列表，其中，高频形容词列表中具有多个高频形容词。

作为一种示例，可从预先获取到的描述性词语列表中的形容词样本中，获取与该对象类别对应的高频形容词列表。

s630，计算对象类别的文本词向量与各个高频形容词的词向量之间的第一相似度。

s640，获取第一相似度大于预设阈值的目标形容词。

可以理解，可预先定义预设阈值min_similar，例如，该预设阈值可取值0.3。

s650，根据目标形容词从备选描述性信息集合中选取描述性信息。

具体地，可先从备选描述性信息集合中，找出与该目标形容词对应的形容词样本与副词样本的搭配组合，之后，可根据该形容词样本与副词样本的搭配组合对应的第二相似度确定出该该目标形容词针对该照片的描述性信息。

可选地，在本发明的一个实施例中，在根据目标形容词从备选描述性信息集合中选取描述性信息之前，还可从第一相似度大于预设阈值的目标形容词中，选取其中第一相似度最高的m个形容词作为目标形容词，m为正整数，例如m为3。这样，根据该m个目标形容词从备选描述性信息集合中选取描述性信息。

举例而言，以图3(d)所示的立式钢琴对象为例，如下面表1所示，label->adj为照片label文本和目标形容词top3相似度，adj->adv为备选描述性信息集合中的词语搭配，description为选出的照片描述性信息。这样，通过本发明来获取照片的描述性信息，即使一些识别效果并非绝对准确，但文本描述效果仍然不错。

s230，将照片与照片的描述性信息转换为视频片段。

举例而言，以描述性信息的个数为3个为例，以预定义的电子相册目标尺寸为标准，从左上1/3、右上1/3、左下1/3、右下1/3中随机取三个位置作为描述性信息的文本出现位置。这样，可通过以下方式来将照片与照片的描述性信息转换为视频片段：首先，以原照片为背景，复制20帧编号1～20帧，在每一帧对应文本出现位置，使用预定义字体按照从小到大再到小的字号变化，绘制出第一个描述性信息；再以第20帧为背景，复制20帧编号21～40帧，同上所述方式绘制第二个描述性信息；最后以第40帧为背景绘制第三个描述性信息；最后，将以上60帧组合编码为每秒10～20帧播放的视频片段即可。

s240，对视频片段进行链接以生成目标电子相册。

具体地，将全部视频片段链接起来，即将每一张照片所生成的视频片段链接在一起，组成序列照片视频，并在链接后的视频配上背景音乐，以及在视频配上片头，从而完成目标电子相册的制作。

本发明实施例的电子相册生成方法，综合使用了多项技术来完成，即使用图像处理技术对照片进行预处理、使用cnn+nlp技术给照片生成描述性词语、使用视频编解码技术进行电子相册视频合成，最终得到目标电子相册，在电子相册的生成过程中，无需要求用户具备图像处理知识也能智能化地完成电子相册的制作，在节省人工制作成本的同时，丰富了相册内容，提升了相册趣味性，拓展了想象空间，并提升了用户体验。

与上述几种实施例提供的电子相册生成方法相对应，本发明的一种实施例还提供一种电子相册生成装置，由于本发明实施例提供的电子相册生成装置与上述几种实施例提供的电子相册生成方法相对应，因此在前述电子相册生成方法的实施方式也适用于本实施例提供的电子相册生成装置，在本实施例中不再详细描述。图7是根据本发明一个实施例的电子相册生成装置的结构示意图。如图7所示，该电子相册生成装置可以包括：描述性信息生成模块700和电子相册生成模块800。

具体地，描述性信息生成模块700用于对照片进行内容分析，生成照片的描述性信息。

可以理解，为了方便对照片的内容分析，可在对照片进行内容分析之前，对照片进行预处理。例如，原始照片会存在尺寸过大、长宽比不一致等情况，需要进行尺寸变换处理，即将照片保持宽高比不改变的情况下，转换为适合目标电子相册的宽高尺寸。

在对照片进行预处理之后，描述性信息生成模块700可对预处理后的照片进行内容分析，并基于分析结果生成照片的描述性信息。具体地，可采用cnn方法，加载预先训练好的模型对照片中对象进行分析，得到照片中的对象类别，之后，可根据对象类别从预先生成的备选描述性信息集合中选取出该照片的描述性信息。具体的实现方式可参见后续实施例的描述。

需要说明的是，描述性信息的语言类型不限于中文，还可以是英文、德文、俄文等；描述性信息的文件格式可以是文本和/或语音等。也就是说，搭配到目标电子相册上的描述性信息可以是中文文字，还可以是其他语言文字，也还可以是中文语音等，具体呈现方式可根据实际需求决定，在此不作具体限定。

电子相册生成模块800用于根据照片和描述性信息进行视频合成，以生成目标电子相册。更具体地，电子相册生成模块800可根据照片和描述性信息，通过视频编码技术进行电子相册的视频合成，最终得到目标电子相册。具体的实现过程可参见后续实施例的描述。

本发明实施例的电子相册生成装置，可通过描述性信息生成模块对照片进行内容分析，生成照片的描述性信息，电子相册生成模块根据照片和描述性信息进行视频合成，以生成目标电子相册。即基于照片图像的内容进行分析，并基于分析结果自动为该照片给出恰当的描述性信息，这样，在电子相册的生成过程中，无需要求用户具备图像处理知识也能智能化地完成电子相册的制作，在节省人工制作成本的同时，丰富了相册内容，提升了相册趣味性，拓展了想象空间，并提升了用户体验。

图8是根据本发明一个具体实施例的电子相册生成装置的结构示意图。如图8所示，该电子相册生成装置可以包括：描述性信息生成模块700和电子相册生成模块800。其中，该描述性信息生成模块700可包括：识别子模块710和生成子模块720。

其中，识别子模块710用于根据预设的分类模型对照片进行识别，以获取照片中的对象类别。

生成子模块720用于根据对象类别，从预先生成的备选描述性信息集合中选取照片的描述性信息。作为一种示例，如图9所示，该生成子模块720可包括：第一获取单元721、第二获取单元722、计算单元723、第三获取单元724和生成单元725。

其中，第一获取单元721用于获取对象类别的文本词向量。

第二获取单元722用于获取与对象类别对应的高频形容词列表，其中，高频形容词列表中具有多个高频形容词。

计算单元723用于计算对象类别的文本词向量与各个高频形容词的词向量之间的第一相似度。

第三获取单元724用于获取第一相似度大于预设阈值的目标形容词。

生成单元725用于根据目标形容词从备选描述性信息集合中选取描述性信息。

需要说明的是，在本发明的实施例中，该备选描述性信息集合可以是预先生成的。作为一种示例，如图10所示，该电子相册生成装置还可包括：预先处理模块900，用于预先生成备选描述性信息集合。其中，如图10所示，该预先处理模块900可以包括：第一获取子模块910、计算子模块920、第二获取子模块930和生成子模块940。

其中，第一获取子模块910用于获取高频词列表中的描述性词语列表，其中，描述性词语列表包括多个形容词样本和多个副词样本。

计算子模块920用于分别获取各个形容词样本和各个副词样本的向量表示，计算各个形容词样本与各个副词样本之间的第二相似度。

第二获取子模块930用于针对每个形容词样本，获取与每个形容词样本的第二相似度最高n个副词样本，其中，n为正整数。

生成子模块940用于将每个形容词样本与对应的n个副词样本进行组合以生成备选描述性信息集合。

作为一种示例，如图11所示，该电子相册生成模块800可以包括：转换子模块810和生成子模块820。其中，转换子模块810用于将照片与照片的描述性信息转换为视频片段。生成子模块820用于对视频片段进行链接以生成目标电子相册。

本发明实施例的电子相册生成装置，综合使用了多项技术来完成，即使用图像处理技术对照片进行预处理、使用cnn+nlp技术给照片生成描述性词语、使用视频编解码技术进行电子相册视频合成，最终得到目标电子相册，在电子相册的生成过程中，无需要求用户具备图像处理知识也能智能化地完成电子相册的制作，在节省人工制作成本的同时，丰富了相册内容，提升了相册趣味性，拓展了想象空间，并提升了用户体验。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。