图像生成方法、装置、存储介质及计算机设备与流程

1.本技术涉及计算机视觉技术领域，更具体地，涉及一种图像生成方法、装置、存储介质及计算机设备。


背景技术：

2.移动互联网用户规模的不断扩大，使得视频创作行业得到快速发展。相较于文字，视频具有较高的信息承载量。视频封面作为视频内容的预告，可以给用户点击预期，并能展现视频的核心，让用户知道视频的大致内容。高质量的视频封面可以很好的明确视频主题，展示视频亮点。
3.目前，视频封面主要由设计师通过手动设计的方式完成封面创作。设计师需要浏览视频内容，并从中选取合适的视频画面才能进行封面设计。然而，当视频内容较多或者待设计的视频数量很大时，封面设计的周期就会延长，并且人工设计的成本较高。因此，人工设计视频封面的方法存在高成本和设计效率较低的问题。


技术实现要素：

4.本技术实施例提供一种图像生成方法、装置、存储介质以及计算机设备。旨在提升视频封面设计的效率。
5.一方面，本技术实施例提供一种图像生成方法，该方法包括：基于目标视频选取背景图像，背景图像携带有人脸信息；对背景图像进行情感识别，确定人脸信息对应的情感特征；获取人物信息所在的人像区域在背景图像中的第一面积占比；根据第一面积占比和预设占比的比对结果，确定文案区域的位置，文案区域所在的图层覆盖背景图像所在的图层；在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。
6.另一方面，本技术实施例还提供一种图像生成装置，该装置包括：图像选取模块，用于基于目标视频选取背景图像，背景图像携带有人脸信息；情感识别模块，用于对背景图像进行情感识别，确定人脸信息对应的情感特征；占比获取模块，用于获取人物信息所在的人像区域在背景图像中的第一面积占比；区域确定模块，用于根据第一面积占比和预设占比的比对结果，确定文案区域的位置，文案区域所在的图层覆盖背景图像所在的图层；封面生成模块，用于在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。
7.另一方面，本技术实施例还提供一种计算机设备，该计算机设备包括处理器以及存储器，存储器存储有计算机程序指令，计算机程序指令被处理器调用时执行上述的图像生成方法。
8.另一方面，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的图像生成方法。
9.另一方面，本技术实施例还提供一种计算机程序产品或计算机程序，该计算机程
序产品或计算机程序包括计算机指令，所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机执行上述图像生成方法中的步骤。
10.本技术提供的一种图像生成方法，可以基于目标视频选取背景图像，并对背景图像进行情感识别，确定人脸信息对应的情感特征，并获取人物信息所在的人像区域在背景图像中的第一面积占比，进一步地，根据第一面积占比和预设占比的比对结果，确定文案区域的位置，并在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。如此，从目标视频中可以选取包含人脸信息的背景图像，并通过情感识别获取人脸的情感特征，进一步地，在背景图像的文案区域上示出符合该情感特征的目标文案图像，并根据背景图像和目标文案图像自动生成目标视频对应的封面图像，从而缩短设计周期，大大提高封面图像的设计效率。
附图说明
11.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1示出了本技术实施例提供的一种图像生成方法的系统架构示意图。
13.图2示出了本技术实施例提供的一种图像生成方法的流程示意图。
14.图3示出了本技术实施例提供的一种图层的设计示意图。
15.图4示出了本技术实施例提供的一种确定文案区域的示意图。
16.图5示出了本技术实施例提供的另一种确定文案区域的示意图。
17.图6示出了本技术实施例提供的又一种确定文案区域的示意图。
18.图7示出了本技术实施例提供的另一种图像生成方法的流程示意图。
19.图8示出了本技术实施例提供的一种视频封面生成的应用场景示意图。
20.图9示出了本技术实施例提供的一种确定文案区域的场景示意图。
21.图10示出了本技术实施例提供的一种显示目标文案图像的示意图。
22.图11示出了本技术实施例提供的一种生成封面图像的场景示意图。
23.图12示出了本技术实施例提供的一种视频封面生成任务的流程图。
24.图13示出了本技术实施例提供的一种图像生成装置的模块框图。
25.图14是本技术实施例提供的一种计算机设备的模块框图。
26.图15是本技术实施例提供的一种计算机可读存储介质的模块框图。
具体实施方式
27.下面详细描述本技术的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性地，仅用于解释本技术，而不能理解为对本技术的限制。
28.在说明书、权利要求书和上述附图所描述的一些流程中，包含了按照特定顺序出现的多个步骤，但应该清楚了解，这些步骤可以不按照其在本文中出现的顺序来执行或并
行执行，步骤序号仅仅是用于区分开各个不同的步骤，序号本身不代表任何的执行顺序。此外，本文中的“第一”和“第二”等描述，是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
29.为了使本技术领域的人员更好地理解本技术的方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.互联网产品中通常含有视频内容，视频封面是视频内容非常重要的一部分，其直接关系到用户看到视频的第一印象，影响最终用户的点击转化效果。为了展现视频的核心，便于用户快速了解视频的大致内容，产品运营和设计人员会针对视频内容为视频创作视频封面，从而利用视频封面明确视频主题，展现视频亮点。
31.在封面设计过程中，设计师通常需要观看完视频内容，再从视频中选择符合特殊要求(如，清晰度、图片大小等)的视频图片作为视频封面的背景图片，进而根据自身对视频内容的理解，在背景图片上设计不同的文案元素。然而，当视频时长非常大或者有较多视频封面等待设计时，由于需要人工每次根据视频内容手动进行视频封面的设计，所以封面设计的周期和成本会增加，设计效率也会受到影响。
32.为了解决上述问题，发明人经过研究，提出了本技术实施例提供的图像生成方法，该方法可以基于目标视频选取背景图像，并对背景图像进行情感识别，确定人脸信息对应的情感特征，并获取人物信息所在的人像区域在背景图像中的第一面积占比，进一步地，根据第一面积占比和预设占比的比对结果，确定文案区域的位置，并在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。由此，给定一段视频，可以生成与背景图像中人物情感呼应的文案图像，进而基于背景图像和文案图像快速生成该段视频的视频封面，从而缩短封面设计周期，在提高设计效率的同时，降低设计成本。
33.下面先对本技术所涉及到的图像生成方法的系统的架构进行介绍。
34.如图1所示，本技术实施例提供的图像生成方法可以应用在系统300中。数据库310可以用于存储图像数据。针对本技术实施例的图像生成方法来说，图像数据可以包括文案库中的预设文案图像，其中，预设文案图像是由专业设计师预先设计的文案图像，每个预设文案图像都关联有对应的情感标签，该情感标签可以是人工标记，也可以是基于深度学习(deep learning)或机器学习(machine learning)算法进行的自动标记。
35.可选地，图1所示的系统300可以为服务端-客户端client-server(c/s)系统架构，服务端可以为云服务器330，客户端可以包括笔记本电脑320、平板340、台式电脑360以及智能手机380。其中，云服务器330配置有数据处理模块331，用于作为生成封面图像的系统后端，台式电脑360配置有数据交互模块361，用于作为数据传送和显示的系统前端。
36.例如，用户可以通过台式电脑360上的数据交互模块361上传需要生成封面图像的视频，也即目标视频，服务器330通过网络接收到目标视频后，利用数据处理模块331生成封面图像后，可以将封面图像返回至数据交互模块361，进而数据交互模块361可以显示视频的封面图像。
37.值得注意的是，图1仅是本技术实施例提供的一种系统的架构示意图。本技术实施
例描述的系统架构及应用场景是为了更加清楚地说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定。例如，图1中的服务器330用于生成封面图像，在其它情况下，客户设备350可以从服务器330调取预设文案图像，并生成封面图像，此时，服务器330仅作为文案图像的存储设备。本领域普通技术人员可知，随着系统架构的演变和新的应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
38.请参阅图2，图2示出了本技术一个实施例提供的图像生成方法的流程示意图。在具体的实施例中，所述图像生成方法应用于如图13所示的图像生成装置1100以及配置有图像生成装置1100的计算机设备1200(图14)。
39.下面将以计算机设备为例，说明本实施例的具体流程，可以理解的是，本实施例应用的计算机设备可以为服务器或者终端等，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、区块链以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。所述图像生成方法具体可以包括以下步骤：
40.步骤s110：基于目标视频选取背景图像。
41.视频数据是当前互联网产品不可缺少的业务资源，视频在播放前需要为其设计特定的封面图像，以便展现视频核心内容，引导用户的点击转化。然而运营人员和设计人员每次根据视频内容手动设计封面的效率和产量容易受限。本技术实施例通过机器自动基于视频内容生成视频封面，可以提高封面图像的设计效率，降低设计成本。
42.其中，目标视频指的是需要生成封面图像的视频，视频格式可以包括avi(audio video interactive)、wmv(windows media video)和mp4(moving picture experts group-4)等媒体格式，在此不做限定。
43.示例性地，可以从客户端获取目标视频，也可以从视频数据库获取批量的目标视频。例如，从视频创作平台获取用户上传的视频网络日志(video log，vlog)作为目标视频，以便生成该vlog的封面图像。或者，从视频播放平台的视频数据库中获取一部电视连续剧的每一集视频作为目标视频，以便生成每一集视频的封面图像。
44.为了便于用户快速了解视频的大致内容，在视觉设计领域，通常以人物为主要元素来作为视频封面的背景图像，这是因为视频中的人物往往具有社会影响力或者明星效应，并且结合人物面部表现的情感特征设计出的文案元素，更易突出视频主题和亮点。本技术的实施例中，背景图像即为视频封面的背景，该背景图像携带有人脸信息，人脸信息可以为人脸表征的人脸特征或者人脸图像，以便根据人脸信息获取人物面部的情感特征。
45.在一些实施例中，该基于目标视频选取背景图像的步骤可以包括：
46.(1)基于目标视频获取第一预设数量的第一图像。
47.其中，第一图像是指从目标视频中选取的帧图像，第一预设数量是指从目标视频中选取第一图像的数量，第一预设数量的大小可以至少由生成封面图像的计算机设备的设备性能或对背景图像的清晰度要求来决定。例如，计算机设备的内存利用率低于50％时，对于视频时长为3分钟的视频，以每隔1秒提取一张第一图像的方式，可以提取第一预设数量为180张的第一图像。
48.作为一种实施方式，可以评估当前时刻下计算设备的性能状态，并根据该性能状态来确定第一预设数量，进而获取第一预设数量的第一图像。例如，pc端计算机可以通过获取自身图形处理器(graphics processing unit，gpu)的利用率来确定性能状态，进而根据性能状态来获取第一预设数量的第一图像。
49.(2)根据图像清晰度筛选规则，从第一预设数量的第一图像中获取第二预设数量的第二图像。
50.图像的清晰度是衡量图像品质优劣的标准之一，清晰的图像能给人带来舒适且准确的视觉体验。因此，需要选取满足特定清晰度的图像(也即第二图像)来确定背景图像。其中，图像清晰度筛选规则指的是从第一预设数量的第一图像中选取满足预设清晰度的图像的规则。第二预设数量小于第一预设数量。
51.作为一种实施方式，从目标视频中选取第一图像后，可以利用清晰度检测算法对每张第一图像进行清晰度检测，计算出每个第一图像的清晰度，按照清晰度的数值大小对第一预设数量的第一图像进行降序排列，进而从排序中选取清晰度排名靠前的第二预设数量的第一图像作为第二图像。
52.作为另一种实施方式，可以利用深度神经网络(deepneural network，dnn)模型获取每个第一图像的清晰度，并将每个第一图像的清晰度与预设清晰度比较，筛选出第二预设数量的满足预设清晰度的第二图像，其中，dnn可以直接调用第三方提供的清晰度检测的应用程序接口(application programming interface，api)。
53.(3)根据图像过滤规则，从第二预设数量的第二图像中确定背景图像。
54.考虑到背景图像不仅需要满足一定的清晰度，还需要带有人脸信息才能捕获到人脸的情感特征。为此，本技术实施例通过设定图像过滤规则来选取带有人脸信息的背景图像，可选地，图像过滤规则可以包括第二图像中人物数量，正面人物占图像总面积的最佳比值，也即面积占比过滤规则，以及图像色彩三要素(色相、饱和度和明度)的数值范围等。例如，面积占比过滤规则中正面人物占图像总面积的最佳比值可以为百分之三十，也即正面人物占图像总面积的比值最接近百分之三十的第二图像可以作为背景图像。
55.可选地，图像色彩三要素的数值范围可以由视频类型所决定，例如，对于恐怖类型的视频，背景图像的色相、饱和度和明度的数值要处在使得图像处于冷色调的数值范围，进而选取数值处于图像色彩三要素的数值范围的第二图像作为背景图像。可选地，设定第二图像中人物数量(至多三人)作为图像过滤规则来确定背景图像。图像过滤规则具体可以根据应用场景的实际需求进行量化，在此不做限定。
56.作为一种实施方式，该根据图像过滤规则，从第二预设数量的第二图像中确定背景图像的步骤可以包括：
57.(3.1)对每个第二图像分别进行目标检测。
58.(3.2)当检测出至少一个第二图像携带人脸信息时，根据图像过滤规则对至少一个第二图像进行图像过滤，获取背景图像。
59.(3.3)当检测出每个第二图像都未携带人脸信息时，返回执行基于目标视频获取第一预设数量的第一图像的步骤。
60.示例性地，可以利用目标检测算法(如，yolo算法)对每个第二图像分别进行目标检测，以便判断被检测的第二图像是否携带人脸信息。当检测出至少一个第二图像携带人
脸信息时，可以根据图像过滤规则对每个携带人脸信息的第二图像进行图像过滤，获取背景图像。
61.具体地，可以获取第二图像中人脸信息的人脸区域的第二面积占比，该第二面积占比是指人脸区域与该人脸区域所在第二图像的面积之比，进一步地，根据第二面积占比和面积占比过滤规则对携带人脸信息的第二图像进行图像过滤，获取背景图像，例如，将第二面积占比最接近最佳比值的第二图像作为背景图像。可选地，当检测出每个第二图像都未携带人脸信息时，可以重新执行基于目标视频获取第一预设数量的第一图像的步骤，进而从目标视频中选取新的第一图像。
62.在本技术实施例中，计算机设备首先筛选出符合图像清晰度筛选规则的多个第二图像，再从多个第二图像中确定出符合图像过滤规则的背景图像，这一确定背景图像的过程中，是按照图像清晰度筛选规则和图像过滤规则，以量化的规则准确执行的，考虑到人工选取背景图像受到设计师的专业能力的影响。
63.例如，不同专业背景和工作能力的设计师会从同一视频中选取不同的背景图像。为此通过量化的规则选取背景图像可以保障背景图像选取的质量，可以使得背景图像的选取具有规范性。
64.步骤s120：对背景图像进行情感识别，确定人脸信息对应的情感特征。
65.作为一种实施方式，可以根据训练集数据(人脸样本图像)构建情感识别的训练任务以得到情感识别模型，在本技术实施例中，该情感识别模型可以识别出人脸的七种情感特征，分别包括生气(angry)、反感(disgusted)、害怕(fearful)、快乐(happy)、普通(neutral)、难过(sad)以及惊讶(surprised)。
66.需要说明的是，情感特征的类型和数量可以由实际的封面设计需求进行设计，在此不做限定。进一步地，将背景图像输入至训练好的情感识别模型中，该情感识别模型可以输出背景图像上人脸信息对应的情感特征。
67.作为另一种实施方式，可以通过提供情感识别服务的第三方来对背景图像进行情感识别。具体地，调用第三方服务供应商提供的情感识别api，通过该api将背景图像发送给第三方服务供应商后，可以经过该api得到该背景图像上人脸信息对应的情感特征。
68.步骤s130：获取人物信息所在的人像区域在背景图像中的第一面积占比。
69.其中，人物信息指的是经过目标检测得到的背景图像中有关人体的信息，包括人物整个身体的画面或者部分身体的画面。第一面积占比指的是人物信息所在区域(人像区域)的面积与背景图像的面积的比值。预设占比是预先确定的一个阈值，用于确定文案区域，该预设占比的大小由专业人员进行设定，在本技术实施例中，预设占比设定为0.53。
70.作为一种实施方式，通过目标检测算法可以检测出背景图像中的人物信息所在区域占背景图像的第一面积占比。例如，可以利用faster-rcnn(regions with convolutional neural network features)或yolo(you only look once)算法检测出背景图像中的人物信息所在人像区域，并计算出该人像区域面积占背景图像面积的第一面积占比。
71.步骤s140：根据第一面积占比和预设占比的比对结果，确定文案区域的位置。
72.通常封面图像除了背景人物，还具有紧扣视频主题的文案，文案主要包括视频内容的相关信息，文案可以是由不同设计风格的艺术字组成。在封面设计的过程中，封面呈现
出的直观画面是由不同图层按照前后顺序一层一层叠放组合后体现的。每个图层中都可以绘制多个设计元素，本技术实施例默认每个图层中只有一个设计元素。请参阅图3，图3示出了一种图层的设计示意图。
73.其中，文案区域431所在图层430覆盖背景图像所在图层410，也即文案区域431所在图层的层级处于背景图像所在图层410之上，可以理解，从用户观察图像的角度，文案区域431所在图层相对背景图像所在图层410是靠近用户一侧的图层。需要说明的是，图层是透明的图片，图层430的阴影区域为透明区域。文案图像显示于图层430的文案区域431。为了避免文案对背景图像的信息展示造成影响，文案区域具有特定的尺寸大小和相对位置，文案区域的尺寸大小和相对位置可以根据背景图像上经目标检测出的人脸信息来确定，以便避免文案遮挡人脸。
74.在一些实施例中，该根据第一面积占比和预设占比的比对结果，确定文案区域的位置的步骤可以包括：
75.(1)当第一面积占比大于预设占比时，确定每个人脸信息的人脸区域，并根据每个人脸区域确定文案区域。
76.(2)当第一面积占比未大于预设占比时，根据人物信息所在区域确定文案区域。
77.其中，人物信息指的是经过目标检测得到的背景图像中有关人体的信息，包括人物整个身体的画面或者部分身体的画面。第一面积占比指的是人物信息所在区域的面积与背景图像的面积的比值。预设占比是预先确定的一个阈值，用于确定文案区域，该预设占比的大小由专业人员进行设定，在本技术实施例中，预设占比设定为0.53。
78.作为一种实施方式，通过目标检测算法可以检测出背景图像中的人物信息所在区域占背景图像的第一面积占比，进而当第一面积占比未大于预设占比时，可以将背景图像中人物信息所在区域之外的区域确定为文案区域。可选地，文案区域的数量可以根据人物信息在背景图像中具体的位置进行确定。
79.如图4所示，通过目标检测算法确定了背景图像520a中人物信息所在区域510a，进一步地，计算出人物信息所在区域510a的第一面积占比未大于预设占比(0.53)，并确定出人物信息所在区域510a的位置在背景图像520a的一侧，进而将背景图像520a中人物信息所在区域510a之外的区域确定为文案区域(阴影区域)。
80.可选地，如图5所示，计算出人物信息所在区域510b的第一面积占比未大于预设占比(0.53)，并确定人物信息所在区域510b的位置在背景图像520b中间位置，进而可以将背景图像520b中人物信息所在区域510b之外的区域确定为文案区域(阴影区域)，此时，可以确定两个文案区域。
81.作为另一种实施方式，通过目标检测算法检测出背景图像中的人物信息所在区域占背景图像的第一面积占比之后，当计算出第一面积占比大于预设占比时，可以确定每个人脸信息的人脸区域，进而将背景图像中不包含所有人脸区域的区域确定为文案区域。
82.如图6所示，通过目标检测算法确定了背景图像630中人物信息所在区域640占背景图像630的第一面积占比，当第一面积占比大于预设占比时，分别确定出两个人脸信息的人脸区域610和人脸区域620，进一步地，以人脸区域610和人脸区域620的位置作为依据，避开人脸区域，将将背景图像中不包含所有人脸区域的区域确定为文案区域(阴影区域)。
83.在另一些实施例中，当第一面积占比未大于预设占比时，可以确定背景图像中除
人像区域之外的多个图像区域，并获取每个图像区域的色彩方差，该色彩方差用于表征图像区域色彩变化的状态，进而将色彩方差处于方差预设范围内的图像区域作为文案区域。示例性地，可以通过像素点扫描获取图像区域内的像素点的色彩值(如，光学三原色)。
84.如此，人物所在人像区域之外找一个连续的色彩均匀的图像区域，这块图像区域的色彩变化是很均匀的话，就说明该图像区域比较适合在上面显示文案图像。通过对图像的色彩分步的量化，对比一下图像区域的色值的方差是否在一个方差预设范围，如果在一个范围，说明色彩变化不大，色彩变化相对均匀，可作为文案区域。
85.步骤s150：在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。
86.封面图像除了需要体现视频内容，还需要获得关注度。而将文案自身设计成可识别的图像，也即文案图像，可以提升封面图像整体的视觉冲击力，使得封面图像传递的信息更有吸引力。在视觉传达设计领域，设计师通常会根据图像中人物表情设计出与人物情感相符的文案格式。为此，本技术实施例基于文案区域中人物的情感特征对应生成目标文案图像。
87.该目标文案图像可以是由文字和图形等设计元素构成的图像。因为目标文案图像的尺寸大小和排版形式需要和文案区域的尺寸大小及位置相符，所以目标文案图像除了表达的情感要与背景图像中人物情感适配之外，还需要满足文案区域的空间信息。进而根据空间信息和情感特征，在文案库中确定目标文案图像。
88.其中，文案库用于存放预设文案图像，该预设文案图像是由专业人员预先设计的文案图像，每个预设文案图像都有对应的尺寸信息(如，图像的长度和宽度等)以及情感标签，该情感标签与人脸的情感特征相对应，例如，情感标签-生气对应情感特征-生气。
89.可选地，预设文案图的情感标签可以人工打标签，也可以通过深度神经网络模型进行自动的打标签。文案库中预设文案图像可以根据实际业务变化进行调整，例根据新增的视频的类型添加预设文案图像，进而使得文案库的构建具备可拓展性，从而提高封面图像生成的丰富度。
90.在从文案库中筛选出情感标签与背景图像中人物情感特征匹配的多个预设文案图像后，可以基于空间信息在多个预设文案图像确定出中间文案图像。为了让目标文案图像的色彩与背景图像的色彩相符，也即目标文案图像符合背景图像的色彩氛围，可以对中间文案图像进行图像处理，得到目标文案图像。
91.在一些实施例中，该在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像的步骤可以包括：
92.(1)将情感特征与文案库中每个预设文案图像的情感标签进行匹配，得到情感图像。
93.(2)基于文案区域的空间信息对情感图像进行筛选，得到中间文案图像。
94.(3)根据背景图像的色彩信息对中间文案图像进行图像处理，得到目标文案图像。
95.其中，情感图像是指情感标签与情感特征匹配的预设文案图像。色彩信息可以包括色相值、饱和度和明度，考虑到预设文案图像的色彩存在于背景图像颜色不相符的情况，可以通过图像处理对图像进行色彩优化。
96.空间信息指的是文案区域的尺寸大小以及在背景图像上的相对位置，根据空间信
息可以确定文案图像的排版样式，例如，文案图像上的文字可以横向排版或者纵向排版，还可以确定文案图像的尺寸大小。示例性地，在确定文案区域后，可以获取该文案区域的宽度和长度，进而计算出文案区域的长宽比，以及获取该文案区域的中心点，并根据中心的坐标确定文案区域在背景图像上的相对位置。
97.作为一种实施方式，将文案库中情感标签与情感特征匹配的预设文案图像作为情感图像，并将每个情感图像的第一尺寸信息与空间信息进行匹配，当第一尺寸信息与空间信息指示的第二尺寸信息相同时，将该情感图像确定为中间文案图像，当第一尺寸信息与空间信息指示的第二尺寸信息不相同时，将该情感图像的第一尺寸信息调整为第二尺寸信息，并将尺寸调整后的情感图像确定为中间文案图像。
98.进一步地，可以获取背景图像平均的色相值、饱和度和明度，即获取背景图像的色彩信息，该色彩信息可以反映出背景图像中的色彩氛围，如暖色调，或冷色调，从而根据背景图像平均的色相值、饱和度和明度对中间文案图像的色相值、饱和度和明度进行调整，将调整后的中间文案图像作为目标文案图像，使得调整后的目标文案图像更贴合当前的场景的气氛，提升封面的质量。例如，对于恐怖类型的视频，通常选取的背景图像的色彩氛围为冷色调，可以根据获取的该背景图像的色彩信息，对中间文案图像进行图像处理，得到具有冷色调的目标文案图像。
99.(4)将目标文案图像显示在文案区域内，得到包含目标文案图像的目标文案区域。
100.(5)根据背景图像所在的图层和目标文案图像所在的图层生成目标视频的封面图像。
101.作为一种实施方式，在得到目标文案图像后，可以将该目标文案图像显示在文案区域内，进而得到包含目标文案图像的目标文案区域。进一步地，将背景图像所在的图层和目标文案图像所在的图层进行叠加从而合成目标视频的封面图像。
102.本技术实施例中，可以基于目标视频选取背景图像，并对背景图像进行情感识别，确定人脸信息对应的情感特征，并获取人物信息所在的人像区域在背景图像中的第一面积占比，进一步地，根据第一面积占比和预设占比的比对结果，确定文案区域的位置，并在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。如此，从目标视频中按照图像清晰度筛选规则和图像过滤规则选取包含人脸信息的背景图像，使得背景图像的选取具有规范性。
103.进一步地，基于人脸的情感特征，在可拓展得文案库中筛选出符合人脸情感特征的情感图像，并基于情感图像确定目标文案图像，进而在背景图像的文案区域上示出该文案图像，并根据背景图像和文案图像自动生成目标视频对应的封面图像，从而缩短设计周期，大大提高封面图像的设计效率，同时，规范化选取背景图像的方案以及文案库构建的课拓展性便于对封面图像的生成效果进行优化，从而降低优化成本。
104.结合上述实施例所描述的方法，以下将举例作进一步详细说明。
105.本技术的图像生成方法涉及人工智能(artificial intelligence,ai)技术，人工智能技术是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现
方法，使机器具有感知、推理与决策的功能。
106.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
107.计算机视觉(computer vision,cv)技术作为人工智能技术的一个分支是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、检测和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。
108.计算机视觉技术通常包括目标检测、情感识别、图像处理、图像识别、图像语义理解、图像检索、ocr、图像生成、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
109.本实施例提供的图像生成方法具体涉及人工智能的计算机视觉等技术，下面将以图像生成装置具体集成在计算机设备中为例进行说明，并将针对图7所示的流程结合图8所示的应用场景进行详细地阐述，该计算机设备可以为服务器或者终端设备等。请参阅图7，图7示出了本技术实施例提供的另一种图像生成方法，在具体的实施例中，该图像生成方法可以运用到如图8所示的视频封面生成场景中。
110.在线视频媒体平台可以为用户提供在线观看海量视频的服务。该在线视频媒体平台700包括后端的云训练服务器710以及云执行服务器730。云训练服务器710用于训练出对预设文案图像进行打标签的标签模型，云执行服务器730用于部署标签模型，为目标视频生成对应的封面图像。
111.需要说明的是，云执行服务器730还可以应用于视频播放等业务场景，本技术实施例仅关注其视频封面生成的场景。其中，前端为平台运营人员使用视频封面生成场景时，在电脑740上打开的平台运营端720。所述图像生成方法具体可以包括以下步骤：
112.步骤s210：计算机设备基于目标视频选取背景图像。
113.在一些实施例中，该计算机设备基于目标视频选取背景图像的步骤可以包括：
114.(1)计算机设备基于目标视频获取第一预设数量的第一图像。
115.作为一种实施方式，平台运营人员可以在平台运营端720从视频资源库中调取需要上线播放的电影a(目标视频)，该电影a为一部恐怖类电影。进而平台运营端720可以将电影a发送至云执行服务器730，以便云执行服务器730生成电影a的封面图像。
116.进一步地，云执行服务器730可以获取当前自身执行任务的占用率来确定性能状态，进而根据性能状态来获取第一预设数量的第一图像。例如，云执行服务器730获取到自身执行任务的占用率为70％时，可以每隔1秒提取一张电影a的画面(第一图像)，若任务的占用率为50％，可以每隔0.6秒提取一张电影a的画面，第一预设数量可由云执行服务器730提取第一图像的间隔时间决定。
117.(2)计算机设备根据图像清晰度筛选规则，从第一预设数量的第一图像中获取第二预设数量的第二图像。
118.作为一种实施方式，计算机设备可以从目标视频中选取第一图像后，可以利用清晰度检测算法对每张第一图像进行清晰度检测，得到每计算出张每个第一图像的清晰度，按照清晰度的数值大小对第一预设数量的第一图像进行降序排列，进而从排序中选取top-k(k为第二预设数量)个第一图像作为第二图像。
119.例如，云执行服务器730可以执行清晰度检测算法对每个第一图像进行清晰度的计算，该清晰度检测算法是基于拉普拉斯算子计算图片的二阶导数来反映图像的边缘信息，进而确定图像的清晰度，清晰度检测算法可由python语言编辑，核心代码如下所示：
[0120][0121]
(3)计算机设备根据图像过滤规则，从第二预设数量的第二图像中确定背景图像。
[0122]
背景图像中需要携带人脸信息，以便获取人脸的情感特征，为此，计算机设备可以利用目标检测算法判断每个第二图像是否携带人脸信息，进而从携带人脸信息的至少一个第二图像中确定背景图像。
[0123]
作为一种实施方式，该计算机设备根据图像过滤规则，从第二预设数量的第二图像中确定背景图像的步骤可以包括：
[0124]
(3.1)计算机设备对每个第二图像分别进行目标检测。
[0125]
(3.2)当计算机设备检测出至少一个第二图像携带人脸信息时，根据图像过滤规则对至少一个第二图像进行图像过滤，获取背景图像。
[0126]
(3.3)当计算机设备检测出每个第二图像都未携带人脸信息时，返回执行基于目标视频获取第一预设数量的第一图像的步骤。
[0127]
示例性地，可以利用目标检测算法对每个第二图像分别进行目标检测，以便判断被检测的第二图像是否携带人脸信息。当检测出至少一个第二图像携带人脸信息时，可以根据图像过滤规则对每个携带人脸信息的第二图像进行图像过滤，获取背景图像。
[0128]
例如，云执行服务器730可以利用faster-rcnn(regions with convolutional neural network features)或yolo(you only look once)算法对每个第二图像分别进行目标检测，计算出每个第二图像中人脸信息的人脸区域的第二面积占比，将第二面积占比最接近最佳比值的第二图像作为背景图像。当检测出每个第二图像都未携带人脸信息时，云执行服务器730可以重新执行基于目标视频获取第一预设数量的第一图像的步骤，进而从目标视频中选取新的第一预设数量的第一图像。
[0129]
步骤s220：计算机设备对背景图像进行情感识别，确定人脸信息对应的情感特征。
[0130]
作为一种实施方式，计算机设备可以根据训练集数据(人脸样本图像)构建情感识
别的训练任务以得到情感识别模型，该情感识别模型可以识别出人脸的情感特征包括生气、反感、害怕、快乐、普通、难过以及惊讶。例如，云执行服务器730可以使用yolov5对背景图像进行情感识别，确定背景图像中人脸信息对应的情感特征为“惊吓”。
[0131]
步骤s230：计算机设备获取人物信息所在的人像区域在背景图像中的第一面积占比。
[0132]
示例性地，云执行服务器730可以通过目标检测算法可以检测出背景图像中的人物信息所在区域占背景图像的第一面积占比。例如，可以利用faster-rcnn或yolo算法检测出背景图像中的人物信息所在人像区域，并计算出该人像区域面积占背景图像面积的第一面积占比。
[0133]
步骤s240：计算机设备根据第一面积占比和预设占比的比对结果，确定文案区域的位置。
[0134]
封面设计的过程中，封面呈现出的直观画面是由不同图层按照前后顺序一层一层叠放组合后体现的。文案区域可以根据背景图像中人物信息所在区域占背景图像的面积占比来确定。
[0135]
在一些实施例中，该计算机设备根据第一面积占比和预设占比的比对结果，确定文案区域的位置的步骤可以包括：
[0136]
(1)当第一面积占比大于预设占比时，计算机设备确定每个人脸信息的人脸区域，并根据每个人脸区域确定文案区域。
[0137]
(2)当第一面积占比未大于预设占比时，计算机设备根据人物信息所在区域确定文案区域。
[0138]
作为一种实施方式，计算机设备通过目标检测算法可以检测出背景图像中的人物信息所在区域占背景图像的第一面积占比，进而当第一面积占比未大于预设占比时，计算机设备可以将背景图像中人物信息所在区域之外的区域确定为文案区域。
[0139]
为另一种实施方式，计算机设备通过目标检测算法检测出背景图像中的人物信息所在区域占背景图像的第一面积占比之后，当计算出第一面积占比大于预设占比时，计算机设备可以确定每个人脸信息的人脸区域，进而将背景图像中不包含所有人脸区域的区域确定为文案区域。
[0140]
如图9所示，云执行服务器730利用yolo算法检测出电影a的背景图像830中的两个人物信息，并计算出两个人物信息所在区域840占背景图像830的第一面积占比大于预设占比，进而分别确定出两个人脸信息的人脸区域810和人脸区域820，并将背景图像830中不包含人脸区域810和人脸区域820的区域确定为文案区域(阴影区域)。
[0141]
在另一些实施例中，当第一面积占比未大于预设占比时，计算机设备可以确定背景图像中除人像区域之外的多个图像区域，并获取每个图像区域的色彩方差，该色彩方差用于表征图像区域色彩变化的状态，进而计算机设备可以将色彩方差处于方差预设范围内的图像区域作为文案区域。
[0142]
步骤s250：计算机设备获取文案区域的空间信息。
[0143]
作为一种实施方式，计算机设备在确定文案区域后，可以获取该文案区域的宽度和长度，进而计算出文案区域的长宽比，以及获取该文案区域的中心点，并根据中心的坐标确定文案区域在背景图像上的相对位置。
[0144]
步骤s260：计算机设备基于空间信息和情感特征，在文案库中确定目标文案图像。
[0145]
其中，文案库用于存放预设文案图像，该预设文案图像是由专业人员预先设计的，每个预设文案图像都有对应的尺寸信息(如，图像的长度和宽度等)以及情感标签。可选地，预设文案图的情感标签可以通过深度神经网络模型自动进行打标签。
[0146]
在一些实施例中，计算机设备可以对文案进行向量化得到文案对应的词向量(word embedding)，进而使用深度神经网络或逻辑回归进行网络训练，得到对尚未标注的文案进行自动标注，可选地，情感分类模型的输出层可用softmax层以获得文案的情感分类概率分布。
[0147]
在另一些实施例中，计算机设备可以基于文案图像训练出对文案图像进行情感分类的模型，例如，基于卷积神经网络(convolutional neural network，cnn)对文案图像进行情感训练，得到对尚未标注的文案图像进行自动标注。
[0148]
例如，云训练服务器710可以获取训练数据集，该训练数据集包括文案训练图像和文案训练图像关联的真实情感标签。进一步地，云训练服务器710可以基于文案训练图像和真实情感标签对预设标签神经网络进行训练，直至预设标签神经网络满足预设条件，得到训练后的标签模型。
[0149]
需要说明的是，预设条件可以为：目标损失函数的总损失值小于预设值、目标损失函数的总损失值不再变化、或者训练次数达到预设次数等。可选的，可以采用优化器去优化目标损失函数，基于实验经验设置学习率(learning rate)、训练时的批量大小(batch size)以及训练的时期(epoch)。
[0150]
进一步地，云训练服务器710可以将多个未打标签的预设文案图像输入至标签模型，使得每个预设文案图像关联对应的情感标签。
[0151]
作为一种实施方式，该计算机设备基于空间信息和情感特征，在文案库中确定目标文案图像的步骤可以包括：
[0152]
(1)计算机设备将情感特征与文案库中每个预设文案图像的情感标签进行匹配，得到情感图像。
[0153]
(2)计算机设备基于文案区域的空间信息对情感图像进行筛选，得到中间文案图像。
[0154]
(3)计算机设备根据背景图像的色彩信息对中间文案图像进行图像处理，得到目标文案图像。
[0155]
示例性地，计算机设备将文案库中情感标签与情感特征匹配的预设文案图像作为情感图像。例如，云执行服务器730得到电影a对应的背景图像中，人脸信息的情感特征为“惊吓”，进而在文案库中查找情感标签与“惊吓”相匹配的预设文案图像作为情感图像。进一步地，将每个情感图像的第一尺寸信息与空间信息进行匹配，当第一尺寸信息与空间信息指示的第二尺寸信息相同时，计算机设备将该情感图像确定为中间文案图像。
[0156]
当第一尺寸信息与空间信息指示的第二尺寸信息不相同时，计算机设备将该情感图像的第一尺寸信息调整为第二尺寸信息，并将尺寸调整后的情感图像确定为中间文案图像。进一步地，计算机设备可以获取背景图像平均的色相值、饱和度和明度，从而根据背景图像平均的色相值、饱和度和明度对中间文案图像的色相值、饱和度和明度进行调整，将调整后的中间文案图像作为目标文案图像。
[0157]
例如，云执行服务器730获取到电影a的背景图像的冷色调的色彩信息(色相值、饱和度和明度)，进而根据该冷色调的色彩信息对中间文案图像的色相值、饱和度和明度进行调整，使得中间文案图像的色彩信息贴合电影a的恐怖主题。
[0158]
步骤s270：计算机设备将目标文案图像显示在文案区域内，得到包含目标文案图像的目标文案区域。
[0159]
步骤s280：计算机设备根据背景图像所在的图层和目标文案图像所在的图层生成目标视频的封面图像。
[0160]
示例性地，如图10所示，云执行服务器730在获取目标文案图像910后，可以将目标文案图像910显示在文案区域920内，从而得到包含目标文案图像的目标文案区域。进一步地，如图11所示，云执行服务器730根据背景图像所在的图层1010和目标文案图像1020所在的图层叠加合成目标视频的封面图像1000。
[0161]
请参阅图12，图12示出了一种视频封面生成任务的流程图，在具体的实施例中，该视频封面生成任务可以运用到如图8所示的视频封面生成场景中。具体地，平台运营端720获取获取目标视频后，将目标视频发送至云执行服务器730，云执行服务器730可以对目标视频进行逐帧提取第一预设数量的第一图像，再对第一预设数量的第一图像进行清晰度筛选得到第二预设数量的第二图像。
[0162]
进一步地，云执行服务器730对第二预设数量的第二图像进行图像过滤，得到带有人脸信息的背景图像，并对人脸信息进行情感识别，得到背景图像中人脸对应的情感特征。进一步地，云执行服务器730根据背景图像中人物信息确定文案区域，并根据情感特征在文案库中获取目标文案图像，进而将目标文案图像显示在文案区域，从而根据背景图像所在的图层和目标文案图像所在的图层生成目标视频的封面图像。
[0163]
本技术实施例中，可以基于目标视频选取背景图像，并对背景图像进行情感识别，确定人脸信息对应的情感特征，并获取人物信息所在的人像区域在背景图像中的第一面积占比，进一步地，根据第一面积占比和预设占比的比对结果，确定文案区域的位置，并在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。如此，从目标视频中可以选取包含人脸信息的背景图像，基于获取的人脸情感特征，在背景图像的文案区域上示出符合人脸情感特征的文案图像，进而根据背景图像和文案图像自动生成目标视频对应的封面图像，从而缩短设计周期，大大提高封面图像的设计效率。
[0164]
请参阅图13，其示出了本技术实施例提供的一种图像生成装置1100的结构框图。该图像生成装置1100包括：图像选取模块1110，用于基于目标视频选取背景图像，背景图像携带有人脸信息；情感识别模块1120，用于对背景图像进行情感识别，确定人脸信息对应的情感特征；占比获取模块1130，用于获取人物信息所在的人像区域在背景图像中的第一面积占比；区域确定模块1140，用于根据第一面积占比和预设占比的比对结果，确定文案区域的位置，文案区域所在的图层覆盖背景图像所在的图层；封面生成模块1150，用于在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。
[0165]
在一些实施例中，封面生成模块1150可以包括：情感匹配单元，用于将情感特征与文案库中每个预设文案图像的情感标签进行匹配，得到情感图像；图像筛选单元，用于基于
文案区域的空间信息对情感图像进行筛选，得到中间文案图像；图像处理单元，用于根据背景图像的色彩信息对中间文案图像进行图像处理，得到目标文案图像；区域确定单元，用于将目标文案图像显示在文案区域内，得到包含目标文案图像的目标文案区域；封面生成单元，用于根据背景图像所在的图层和目标文案图像所在的图层生成目标视频的封面图像。
[0166]
在一些实施例中，图像筛选单元可以具体用于：将每个情感图像的第一尺寸信息与空间信息进行匹配；当情感图像的第一尺寸信息与空间信息指示的第二尺寸信息相同时，将情感图像确定为中间文案图像；当情感图像的第一尺寸信息与空间信息指示的第二尺寸信息不相同时，将情感图像的第一尺寸信息调整为第二尺寸信息，并将尺寸调整后的情感图像确定为中间文案图像。
[0167]
在一些实施例中，图像生成装置1100还可以包括：数据获取模块，用于获取训练数据集，训练数据集包括文案训练图像和文案训练图像关联的真实情感标签；网络训练模块，用于基于文案训练图像和真实情感标签对预设标签神经网络进行训练，直至预设标签神经网络满足预设条件，得到训练后的标签模型；标签输出模块，用于将多个未打标签的预设文案图像输入至标签模型，通过标签模型输出每个预设文案图像对应的情感标签。
[0168]
在一些实施例中，区域确定模块1140可以具体用于：当第一面积占比大于预设占比时，确定每个人像区域的人脸区域，并根据每个人脸区域确定文案区域的位置；当第一面积占比未大于预设占比时，根据人像区域的位置确定文案区域的位置。
[0169]
在一些实施例中，区域确定模块1140还可以具体用于：当第一面积占比未大于预设占比时，确定背景图像中除人像区域之外的多个图像区域；获取每个图像区域的色彩方差，色彩方差用于表征图像区域色彩变化的状态；将色彩方差处于方差预设范围内的图像区域作为文案区域。
[0170]
在一些实施例中，图像选取模块1110可以包括：第一图像获取单元，用于基于目标视频获取第一预设数量的第一图像；第二图像获取单元，用于根据图像清晰度筛选规则，从第一预设数量的第一图像中获取第二预设数量的第二图像，第二预设数量小于第一预设数量；背景图像确定单元，用于根据图像过滤规则，从第二预设数量的第二图像中确定背景图像。
[0171]
在一些实施例中，背景图像确定单元可以包括：检测子单元，用于对每个第二图像分别进行目标检测；获取子单元，用于当检测出至少一个第二图像携带人脸信息时，根据图像过滤规则对至少一个第二图像进行图像过滤，获取背景图像；返回子单元，用于当检测出每个第二图像都未携带人脸信息时，返回执行基于目标视频获取第一预设数量的第一图像的步骤。
[0172]
在一些实施例中，图像过滤规则至少包括面积占比过滤规则，获取子单元可以具体用于：获取至少一个第二图像中人脸信息的人脸区域的第二面积占比；根据第二面积占比和面积占比过滤规则对至少一个第二图像进行图像过滤，获取背景图像。
[0173]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0174]
在本技术所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
[0175]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以
是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0176]
本技术提供的方案，可以基于目标视频选取背景图像，并对背景图像进行情感识别，确定人脸信息对应的情感特征，并获取人物信息所在的人像区域在背景图像中的第一面积占比，进一步地，根据第一面积占比和预设占比的比对结果，确定文案区域的位置，并在文案区域内，基于文案库生成与情感特征匹配的目标文案图像，得到目标文案图像与背景图像生成的封面图像。如此，从目标视频中可以选取包含人脸信息的背景图像，基于获取的人脸情感特征，在背景图像的文案区域上示出符合人脸情感特征的文案图像，进而根据背景图像和文案图像自动生成目标视频对应的封面图像，从而缩短设计周期，大大提高封面图像的设计效率。
[0177]
如图14所示，本技术实施例还提供一种计算机设备1200，该计算机设备1200包括处理器1210、存储器1220、电源1230和输入单元1240，存储器1220存储有计算机程序指令，计算机程序指令被处理器1210调用时，可实执行上述的实施例提供的各种方法步骤。本领域技术人员可以理解，图中示出的计算机设备的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0178]
处理器1210可以包括一个或多个处理核。处理器1210利用各种接口和线路连接整个电池管理系统内的各种部分，通过运行或执行存储在存储器1220内的指令、程序、代码集或指令集，调用存储在存储器1220内的数据，执行电池管理系统的各种功能和处理数据，以及执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体控制。可选地，处理器1210可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器1210可集成中央处理器1210(central processing unit，cpu)、图像处理器1210(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1210中，单独通过一块通信芯片进行实现。
[0179]
存储器1220可以包括随机存储器1220(random access memory，ram)，也可以包括只读存储器1220(read-only memory)。存储器1220图可用于存储指令、程序、代码、代码集或指令集。存储器1220可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各种方法实施例的指令等。存储数据区还可以存储计算机设备在使用中所创建的数据(比如电话本和音视频数据)等。相应地，存储器1220还可以包括存储器控制器，以提供处理器1210对存储器1220的访问。
[0180]
电源1230可以通过电源管理系统与处理器1210逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1230还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0181]
输入单元1240，该输入单元1240可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0182]
尽管未示出，计算机设备1200还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器1210会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1220中，并由处理器1210来运行存储在存储器1220中的应用程序，从而实现前述实施例提供的各种方法步骤。
[0183]
如图15所示，本技术实施例还提供一种计算机可读存储介质1300，该计算机可读存储介质1300中存储有计算机程序指令1310，计算机程序指令1310可被处理器调用以执行上述实施例中所描述的方法。
[0184]
计算机可读存储介质可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质1300具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。
[0185]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
[0186]
以上，仅是本技术的较佳实施例而已，并非对本技术作任何形式上的限制，虽然本技术已以较佳实施例揭示如上，然而并非用以限定本技术，任何本领域技术人员，在不脱离本技术技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本技术技术方案内容，依据本技术的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本技术技术方案的范围内。