本发明涉及计算机技术领域，尤其涉及一种图像画面的获取方法和装置以及计算机可读存储介质。
背景技术：
在游戏视频领域中，经常需要从游戏视频中截取图像作为该游戏视频的封面图像。
现有技术提供如下的视频封面的截取方案：对游戏视频和直播界面进行随机取帧后截取整张图像，然后再等比例缩小该整张图像，将缩小后的整张图像作为视频或直播的封面图像。
上述现有技术至少存在如下缺点：通过截取整张截图作为封面的时候，整张截图并没有有效的帮助用户识别视频和直播的内容，甚至会使得整个封面图像变得更为杂乱，存在无法获取高质量的封面图像的缺陷。
技术实现要素：
本发明实施例提供了一种图像画面的获取方法和装置以及计算机可读存储介质，用于提升图像画面的截图效果和截图质量，提升封面内容所包括的有效信息量。
本发明实施例提供以下技术方案：
一方面，本发明实施例提供一种图像画面的获取方法，包括：
获取图像数据流，所述图像数据流中包括多帧的图像画面；
从所述图像数据流中截取出第一图像画面，所述第一图像画面属于所述多帧的图像画面；
从所述第一图像画面中识别出第一用户界面UI元素，所述第一UI元素为所述第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素；
将所述第一UI元素所在的界面边缘区域从所述第一图像画面中截掉，得到第二图像画面，所述第二图像画面为所述第一图像画面中截掉所述界面边缘区域后剩余的图像区域。
另一方面，本发明实施例还提供一种图像画面的获取装置，包括：
数据流获取模块，用于获取图像数据流，所述图像数据流中包括多帧的图像画面；
画面截取模块，用于从所述图像数据流中截取出第一图像画面，所述第一图像画面属于所述多帧的图像画面；
图片识别模块，用于从所述第一图像画面中识别出第一用户界面UI元素，所述第一UI元素为所述第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素；
区域截图模块，用于将所述第一UI元素所在的界面边缘区域从所述第一图像画面中截掉，得到第二图像画面，所述第二图像画面为所述第一图像画面中截掉所述界面边缘区域后剩余的图像区域。
在前述方面中，图像画面的获取装置的组成模块还可以执行前述一方面以及各种可能的实现方式中所描述的步骤，详见前述对前述一方面以及各种可能的实现方式中的说明。
另一方面，本发明实施例提供一种图像画面的获取装置，该图像画面的获取装置包括：处理器、存储器；存储器用于存储指令；处理器用于执行存储器中的指令，使得图像画面的获取装置执行如前述一方面中任一项的方法。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
在本发明实施例中，首先获取到包括多帧图像画面的图像数据流，然后从图像数据流中截取出第一图像画面，接下来从第一图像画面中识别出第一用户界面UI元素，该第一UI元素为第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素，最后将第一UI元素所在的界面边缘区域从第一图像画面中截掉，得到第二图像画面，第二图像画面为第一图像画面中截掉界面边缘区域后剩余的图像区域。由于本发明实施例中可以从第一图像画面中识别出位于界面边缘且元素位置在预设时间段内保持不变的第一UI元素，并且该第一UI元素所在的界面边缘区域从第一图像画面中截掉，因此在得到第二图像画面中是不包括该第一UI所在的界面边缘区域，因此第二图像画面中保留下拉的是界面非边缘区域的图像，通过第二图像画面可以直观可以显示与图像数据流更紧密相关的截图内容，提升图像画面的截图效果和截图质量，提升封面内容所包括的有效信息量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像画面的获取方法所应用的系统架构示意图；
图2为本发明实施例提供的一种图像画面的获取方法的流程方框示意图；
图3为本发明实施例提供的另一种图像画面的获取方法的流程方框示意图；
图4为现有技术提供的随机取帧截图效果，与本发明实施例中区域截图后的效果的对比示意图；
图5为本发明实施例提供的直播封面图截取的系统架构示意图；
图6为本发明实施例提供的图像画面与特征图片的匹配流程示意图；
图7-a为本发明实施例提供的特征数据库中的一种特征图片的示意图；
图7-b为本发明实施例提供的特征数据库中的另一种特征图片的示意图；
图8-a为本发明实施例提供的从一种图像画面中标注出非核心元素的示意图；
图8-b为本发明实施例提供的从另一种图像画面中标注出非核心元素的示意图；
图8-c为本发明实施例提供的从另一种图像画面中标注出非核心元素的示意图；
图9-a为本发明实施例提供的一种图像画面的获取装置的组成结构示意图；
图9-b为本发明实施例提供的一种图片识别模块的组成结构示意图；
图9-c为本发明实施例提供的一种图像匹配单元的组成结构示意图；
图9-d为本发明实施例提供的一种区域匹配单元的组成结构示意图；
图9-e为本发明实施例提供的另一种图像画面的获取装置的组成结构示意图；
图10为本发明实施例提供的一种图像画面的获取方法应用于终端的组成结构示意图；
图11为本发明实施例提供的一种图像画面的获取方法应用于服务器的组成结构示意图。
具体实施方式
本发明实施例提供了一种图像画面的获取方法和装置以及计算机可读存储介质，用于提升图像画面的截图效果和截图质量，提升封面内容所包括的有效信息量。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
请参考图1，其示出了本申请实施例提供的图像画面的获取方法所应用的系统架构示意图。该系统可以包括：数据流服务器110和图像画面的获取装置120，其中，数据流服务器可以向图像画面的获取装置120提供图像数据流，该图像数据流中包括多帧的图像画面。图像画面的获取装置120和数据流服务器110之间通过通信网络进行数据传输。该图像画面的获取装置120具体可以是如图1所示的终端120，又如该图像画面的获取装置120也可以是图像画面的获取服务器。终端可以是手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
在本发明实施例中，终端120通过通信网络可以从数据流服务器110获取到图像数据流，终端120对该图像数据流进行截图，得到第一图像画面。然后终端120可以从该第一图像画面中识别出位于界面边缘且元素位置在预设时间段内保持不变的第一用户界面(User Interface，UI)元素，并且该第一UI元素所在的界面边缘区域从第一图像画面中截掉，因此在得到第二图像画面中是不包括该第一UI所在的界面边缘区域，因此第二图像画面中保留下拉的是界面非边缘区域的图像，通过第二图像画面可以直观可以显示与图像数据流更紧密相关的截图内容，提升图像画面的截图效果和截图质量，提升封面内容所包括的有效信息量。
举例说明，图像数据流具体可以是视频数据流或者直播数据流，现有技术中整张图像的截取会出现大量的游戏界面元素和主播相关元素(如主播头像、主播粉丝群信息、开播信息等)，而这些元素对于识别直播和游戏视频的内容所起的作用较小，但是会使得整个封面截图变得更为杂乱。通过本发明实施例中的图片识别和界面非边缘区域截图，将视频和直播界面中在一定时间内不变动的，且在界面边缘的第一UI元素去掉，截取出更为核心且界面清晰的第二图像画面，让用户直观可以看到直播和视频内容相关的游戏、角色、模式、道具等更为清晰的信息。
以下从图像画面的获取装置的角度进行详细说明。本发明图像画面的获取方法的一个实施例，具体可以应用于对图像数据流的封面图像获取场景中，请参阅图2所示，本发明一个实施例提供的图像画面的获取方法，可以包括如下步骤：
201、获取图像数据流，图像数据流中包括多帧的图像画面。
在本发明实施例中，数据流服务器提供图像数据流，该图像数据流可以是视频数据流或者直播数据流，在图像数据流中包括多帧的图像画面，例如图像数据流由多帧连续的图像画面构成。该图像画面可以是应用程序中的图像，例如可以是游戏应用程序生成的图像。
图像画面的获取装置可以从数据流服务器获取到图像数据流，然后触发执行步骤202。
202、从图像数据流中截取出第一图像画面，第一图像画面属于多帧的图像画面。
在本发明实施例中，图像画面的获取装置可以对该图像数据流进行截图，得到第一图像画面。在获取到图像数据流中，从该图像数据流中可以截取出整张的图像画面，为区别于后续实施例中截取得到的图像画面，将从图像数据流中截取出的图像画面称为第一图像画面，则该第一图像画面可以属于图像数据流中多帧的图像画面中的某一帧图像画面。
在本发明的一些实施例中，步骤202从图像数据流中截取出第一图像画面，包括如下步骤：
按照预设的截取周期定时的从图像数据流中截取出第一图像画面。
其中，从图像数据流中截取图像画面时，可以按照预设的截取周期进行定时截取，例如该截取周期可以是针对图像数据流所属的应用程序类型来设置，例如应用程序可以是游戏应用程序，针对不同的游戏应用程序可以设置截取周期。在设置截取周期之后，基于该截取周期的时间要求可以定时截取，则可以从图像数据流中自动截取出多个第一图像画面。针对每个图像画面可以执行本发明实施例中的后续步骤，以实现对每个图像画面的界面边缘区域的去除，详见后续实施例的说明。
203、从第一图像画面中识别出第一UI元素，第一UI元素为第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素。
在本发明实施例中，图像画面的获取装置截取得到第一图像画面之后，对该第一图像画面进行图片识别，以识别出在第一图像画面中包括的第一UI元素，其中，第一UI元素指的是第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素。举例说明，本发明实施例中的第一UI元素指的是在UI上显示的画面元素。在不同的应用场景下，第一UI元素可以表示具体的画面元素。举例说明如下，以游戏场景为例，第一UI元素可以指的是游戏图像画面中的非核心元素，例如游戏图像画面中的操作按钮、游戏数据、主播头像等在直播/视频数据流中近乎不动的UI元素。与此相反的是，游戏图像画面中的核心元素可以指的是游戏图像画面中的游戏角色、道具、皮肤等UI元素。
在本发明实施例中，对该第一图像画面中的UI元素进行图片识别，以确定出在第一图像画面中哪些UI元素为满足上述要求的第一UI元素。其中，第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素可以称为第一UI元素，此处第一图像画面中位于界面边缘可以指的是在第一图像画面中处于界面的至少一个边缘，例如该界面边缘可以指的是界面上边缘、界面下边缘、界面左边缘或者界面右边缘中的至少一种边缘。例如第一图像画面中位于界面边缘可以指的是在第一图像画面中处于界面的四周，即环绕第一图像画面中的核心元素的周围区域上会存在第一UI元素。
204、将第一UI元素所在的界面边缘区域从第一图像画面中截掉，得到第二图像画面，第二图像画面为第一图像画面中截掉界面边缘区域后剩余的图像区域。
在本发明实施例中，从第一图像画面中识别出第一UI元素之后，再确定出该第一UI元素所在的图像区域，将该第一UI元素所在的图像区域称为界面边缘区域，接下来对该第一图像画面进行区域截图，即需要将第一图像画面中非核心元素所在的界面边缘区域截掉，将第一图像画面中截掉界面边缘区域后剩余的图像区域称为第二图像画面，该第二图像画面可以是包括核心元素在内的图像区域，该第二图像画面和界面边缘区域的并集构成第一图像画面。
举例说明如下，本发明实施例中可以按照第一UI元素所在的界面边缘区域对第一图像画面进行区域截图，区域截图是指对游戏整个画面的某一个部分做截图，去除视频直播随机封面中非核心元素。通过图片识别和区域截图，将视频和直播界面中不变动的，且在界面四周的游戏UI元素去掉。截取更为核心且界面清晰的封面。其中，视频可以是用户能够反复观看的内容，直播及时性更高，用户只能在特定时间观看。本发明实施例中通过对第一图像画面中的第一UI元素的剔除，让用户直观可以看到直播和视频内容相关的游戏、角色、模式、道具等更为清晰的信息。
在本发明实施例中，首先获取到包括多帧图像画面的图像数据流，然后从图像数据流中截取出第一图像画面，接下来从第一图像画面中识别出第一用户界面UI元素，该第一UI元素为第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素，最后将第一UI元素所在的界面边缘区域从第一图像画面中截掉，得到第二图像画面，第二图像画面为第一图像画面中截掉界面边缘区域后剩余的图像区域。由于本发明实施例中可以从第一图像画面中识别出位于界面边缘且元素位置在预设时间段内保持不变的第一UI元素，并且该第一UI元素所在的界面边缘区域从第一图像画面中截掉，因此在得到第二图像画面中是不包括该第一UI所在的界面边缘区域，因此第二图像画面中保留下拉的是界面非边缘区域的图像，通过第二图像画面可以直观可以显示与图像数据流更紧密相关的截图内容，提升图像画面的截图效果和截图质量，提升封面内容所包括的有效信息量。
请参阅图3所示，为本发明实施例提供的另一种图像画面的获取方法的流程方框示意图。主要包括如下流程：
301、获取图像数据流，图像数据流中包括多帧的图像画面。
302、从图像数据流中截取出第一图像画面，第一图像画面属于多帧的图像画面。
其中，步骤301至步骤302与前述实施例中的步骤201至步骤202相类似，此次不再赘述。
在截取到第一图像画面之后，本发明实施例可以通过如下步骤303至步骤306的方式从第一图像画面中识别出第一UI元素。
303、获取特征数据库，特征数据库中包括多张的特征图片。
在本发明实施例中图像画面的获取装置可以预先配置特征数据库，在该特征数据库中存储有多张的特征图片，其中，特征图片是指包括有图像画面的核心元素的图像区域。举例说明，游戏图像画面中的核心元素可以指的是游戏图像画面中的游戏角色、道具、皮肤等UI元素。
在本发明的一些实施例中，特征数据库中包括多张的特征图片分别对应于应用程序在不同的应用场景中的截图画面。
其中，针对应用程序的不同场景，可以分别配置不同的特征图片，例如可以将应用程序在不同的应用场景中的截图画面作为特征图片预先存储起来，所预先提取的特征图片中不包括非核心元素。举例说明，特征数据库具体可以是游戏特征数据库，在游戏特征数据库中可以包括有游戏画面中清晰部分的截图，同一个游戏应用程序可以有多张截图作为游戏特征图片。
304、将第一图像画面和特征数据库中的多张的特征图片分别进行匹配。
在本发明实施例中，从图像数据流中截取出的第一图像画面可以和特征数据库中的所有特征图片分别进行匹配，以确定该第一图像画面和特征数据库中的哪种特征图片相匹配。如果特征数据库中不存在与第一图像画面匹配的特征图片，或者匹配度很低，则返回匹配失败，此时可以重新执行步骤302，重新获取到下一帧的第一图像画面，然后再和特征数据库进行匹配。
在本发明实施例中，第一图像画面和特征图片的匹配方式可有多种，例如通过图像相似度检测算法来确定第一图像画面和特征图片是否匹配，举例说明可以利用直方图进行相似度检测，例如计算的直方图可以有两种：统计直方图和累积直方图，基于直方图结果确定第一图像画面和特征图片是否匹配。又如，本发明实施例可以根据尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)算法确定第一图像画面和特征图片是否匹配，在实际应用中可以结合场景确定选择哪种图像相似度检测算法。
在本发明的一些实施例中，步骤304将第一图像画面和特征数据库中的多张的特征图片分别进行匹配，包括：
从第一图像画面中提取出第一特征点，以及从特征数据库中每张的特征图片中提取出第二特征点；
对第一特征点和第二特征点进行相似性匹配，得到相似性匹配结果；
根据相似性匹配结果确定第一图像画面和特征图片是否匹配。
其中，可以对第一图像画面、以及特征数据库中所有特征图片分别提取特征点。该特征点也可以称为关键点，例如根据SIFT算法分别提取图像中的关键点。为便于描述，将第一图像画面中提取出的特征点称为第一特征点，将特征图片中提取出的特征点称为第二特征点。
在分别计算中第一特征点和第二特征点之后，可以对第一特征点和第二特征点进行相似性匹配，得到相似性匹配结果，通过该相似性匹配结果确定第一图像画面和特征图片是否匹配，如果图片相似再执行步骤305。举例说明如下，使用SIFI算法从第一图像画面上提取到第一SIFI特征，再用该SIFI特征和游戏特征数据库中的特征图片的SIFI特征进行匹配。
305、当特征数据库中的第一特征图片与第一图像画面匹配时，从第一图像画面中确定出与第一特征图片匹配的特征匹配区域，第一特征图片属于多张的特征图片。
在本发明实施例中，第一图像画面分别和特征数据库中的所有特征图片进行匹配之后，若确定第一特征图片与该第一图像画面匹配，则可以从第一图像画面中确定出特征匹配区域，该特征匹配区域是第一图像画面中能够与第一特征图片相匹配的图像区域。例如在第一图像画面中圈出与第一特征图片匹配的特征匹配区域。
在本发明的一些实施例中，步骤305从第一图像画面中确定出与第一特征图片匹配的特征匹配区域，包括：
从第一图像画面的多个第一特征点中确定出与第二特征点匹配的两个对角坐标；
根据两个对角坐标之间的像素差值获取特征匹配区域的长度和宽度；
根据两个对角坐标、特征匹配区域的长度和宽度、第一特征图片的长度和宽度，从第一图像画面中获取截图坐标；
根据截图坐标、特征匹配区域的长度和宽度确定出特征匹配区域。
其中，通过相似度匹配算法确定第一特征图片与第一图像画面匹配时，根据第一特征图片中的第二特征点从第一图像画面的多个第一特征点中确定出与第二特征点匹配的两个对角坐标。两个对角坐标指的是在第一图像画面中构成对角线关系的两个第一特征点。在确定出两个对角坐标之后，可以根据两个对角坐标之间的像素差值获取特征匹配区域的长度和宽度，例如用一个对角坐标的像素值减去另一个对角坐标的像素值，根据两个像素值的差值计算出特征匹配区域的长度和宽度，该长度和宽度可以通过像素来表示。
从特征数据库中查找到第一特征图片时，可以获取到该第一特征图片的长度和高度，再由前述计算可知已经得到了两个对角坐标、特征匹配区域的长度和宽度，再根据特征匹配区域的长度和宽度、第一特征图片的长度和宽度之间的关系，以两个对角坐标作为参考点，来确定出第一图像画面中哪个像素点可以作为截图坐标，其中，截图坐标指的是对第一图像画面进行截图时的起始点坐标。举例说明如下，根据两个对角坐标、特征匹配区域的长度和宽度、第一特征图片的长度和宽度，从第一图像画面中获取截图坐标，例如特征匹配区域的长度和第一特征图片的长度进行相减，特征匹配区域的宽度和第一特征图片的宽度进行相减，可以得到长宽方向上的差值结果，再根据长宽方向上的差值结果从两个对角坐标开始偏移，从而可以确定出第一图像画面中的截图坐标。最后根据截图坐标、特征匹配区域的长度和宽度确定出特征匹配区域，即以截图坐标作为起始点，从第一特征图像中截取出特征匹配区域的长度大小和宽度大小的图像区域。
举例说明，把第一图像画面与游戏特征数据库中的游戏特征图片进行比较，如果图片相似，就可以在第一图像画面中截取出与该游戏特征图片相似部分的特征匹配区域。特征匹配区域可以是根据第一图像画面中的两个对角坐标确定出的矩形区域。确定出该矩形区域后，就可以把该矩形区域内的图片截取出来，即为后续实施例中得到的第二图像画面，该第二图像画面可以作为直播数据流的当前直播封面。
306、从第一图像画面中不属于特征匹配区域的图像区域中识别出第一UI元素。
在本发明实施例中，通过上述方式从第一图像画面中检测到特征匹配区域之后，则在该第一图像画面中不属于特征匹配区域的图像区域进行UI元素的识别，在该不属于特征匹配区域的图像区域中识别出的UI元素就是前述实施例中所述的第一UI元素。
307、将第一UI元素所在的界面边缘区域从第一图像画面中截掉，得到第二图像画面，第二图像画面为第一图像画面中截掉界面边缘区域后剩余的图像区域。
在本发明实施例中，从第一图像画面中识别出第一UI元素之后，再确定出该第一UI元素所在的图像区域，将该第一UI元素所在的图像区域称为界面边缘区域，接下来对该第一图像画面进行区域截图，即需要将第一图像画面中非核心元素所在的界面边缘区域截掉，将第一图像画面中截掉界面边缘区域后剩余的图像区域称为第二图像画面，该第二图像画面可以是包括核心元素在内的图像区域，该第二图像画面和界面边缘区域的并集构成第一图像画面。
举例说明如下，如图4所示，为现有技术提供的随机取帧截图效果，与本发明实施例中区域截图后的效果的对比示意图。本发明实施例中可以按照第一UI元素所在的界面边缘区域对第一图像画面进行区域截图，区域截图是指对游戏整个画面的某一个部分做截图，去除视频直播随机封面中非核心元素。通过图片识别和区域截图，将视频和直播界面中不变动的，且在界面四周的游戏UI元素去掉。截取更为核心且界面清晰的封面。其中，视频可以是用户能够反复观看的内容，直播及时性更高，用户只能在特定时间观看。本发明实施例中通过对第一图像画面中的第一UI元素的剔除，让用户直观可以看到直播和视频内容相关的游戏、角色、模式、道具等更为清晰的信息。
在本发明的一些实施例中，步骤307将第一UI元素所在的界面边缘区域从第一图像画面中截掉，得到第二图像画面之后，本发明实施例提供的方法还包括如下步骤：
将第二图像画面发送给信息服务器，由信息服务器将第二图像画面更新为图像数据流的封面图像。
其中，图像画面的获取装置可以和信息服务器建立有通信连接，该信息服务器可以是视频信息服务器或者直播信息服务器，信息服务器中存储有图像列表，图像画面的获取装置在确定出第二图像画面之后，发送给信息服务器，信息服务器可以从图像画面的获取装置获取到第二图像画面，信息服务器在图像列表中更新该第二图像画面作为图像数据流的封面图像，从而实现对图像数据流的封面图像的实时获取。
通过以上实施例对本发明实施例的描述可知，预先配置特征数据库，通过该特征数据库中的多张特征图片分别与第一图像画面的匹配，确定出与第一图像画面匹配的第一特征图片，从第一图像画面中确定出与第一特征图片匹配的特征匹配区域，因此在第一图像画面中不属于特征匹配区域的图像区域内，就可以检测到位于界面边缘且元素位置在预设时间段内保持不变的第一UI元素，并且该第一UI元素所在的界面边缘区域从第一图像画面中截掉，因此在得到第二图像画面中是不包括该第一UI所在的界面边缘区域，因此第二图像画面中保留下拉的是界面非边缘区域的图像，通过第二图像画面可以直观可以显示与图像数据流更紧密相关的截图内容，提升图像画面的截图效果和截图质量，提升封面内容所包括的有效信息量。
为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。
本实施例提供通过图片识别，自动区域截图，去除视频直播随机封面中非核心元素的封面截取，从而可以截取更为核心且界面清晰的封面。去除游戏界面四周的游戏UI元素和文字信息，降低封面杂乱感，放大游戏内容本身的信息传递。这里的界面清晰是指通过预先设定的模型界面去匹配，匹配到的界面就是清晰的图像部分。
图5为本发明实施例提供的直播封面图截取的系统架构示意图。在该系统架构中可以包括：直播流或视频流服务器、封面截图服务器、游戏特征数据库、直播封面数据库、多个直播信息服务器、N个用户(分别为用户1、用户2、…、用户N-1、用户N)。主要包括如下交互流程：
步骤1、封面截图服务器从直播流或者视频流服务器获取到图像数据流，例如获取到直播数据流或者视频数据流。
步骤2、封面截图服务器从图像数据流中截取出图像画面，然后和游戏特征数据库中的游戏特征图片进行匹配，从该图像画面中识别出非核心元素，然后将图像画面中非核心元素所在的界面边缘区域去除，从而得到图像数据流的图像封面，将该图像封面存储到直播封面数据库中。
步骤3、用户可以从直播信息服务器拉取直播列表，直播列表中包含直播封面图。
其中，直播封面数据库的封面数据是封面截图服务器定期从直播/视频流中截取的，游戏特征数据库是产品运营时预先配置，关于游戏特征数据库是提前预设的游戏场景图像的特征库，游戏特征数据库是由若干张游戏图片构造的。
接下来对本发明实施例的应用场景进行举例说明：封面截取的场景在后台，包含直播源和视频库。封面呈现的场景在个人电脑和移动端等展现直播和视频内容的产品界面中。其中，如果从直播界面上截图就需要使用直播源，如果从视频画面上截图就需要使用视频库。
本发明实施例的功能特性在于，识别图像画面中的游戏UI元素和主播相关信息等不变的UI元素，通过自动截图将不变的非核心元素去除，保留核心游戏界面作为直播和视频内容的封面。
图6为本发明实施例提供的图像画面与特征图片的匹配流程示意图，主要包括如下步骤：
S01、读取直播数据流或视频数据流。
其中，可以读取直播数据流或视频数据流中的多帧的图像画面。
S02、定时截取图像画面。
例如按照预设的截取周期定时的截取图像画面。
S03、获取游戏特征数据库。
其中，加载游戏特征数据库中的游戏特征图片，游戏特征数据库是指游戏画面中清晰部分的截图，同一个游戏有多张截图。例如图7-a为本发明实施例提供的特征数据库中的一种特征图片的示意图，图7-b为本发明实施例提供的特征数据库中的另一种特征图片的示意图。通过图7-a和图7-b的举例说明，在特征图片中已经去除了非核心元素，即特征图片中非核心元素所在的界面边缘区域已经去除。
S04、特征匹配完成？
将截取出的图像画面和游戏特征数据库中的特征图片进行匹配，确定是否和游戏特征数据库中的所有特征图片都匹配完成，若匹配完成，执行步骤S05，若没有完成，执行步骤S06。
S05、返回匹配失败。
S06、取一个特征图片。
S07、将截取到的图像画面与特征图片进行匹配。
例如，根据SIFT算法，把截取的图像画面与游戏特征数据库的游戏特征图片进行比较，如果图片相似，使用SIFI算法从截取的图片上提取到的SIFI特征，再用该SIFI特征和游戏特征数据库进行匹配。可以在截图中截取相似部分的区域。在特征匹配区域中取两个对角坐标，就可以确定矩形区域。确定矩形区域后，就可以把矩形区域的图片截取出来，作为该直播目前的直播封面。
需要说明的是，截取的图像画面和游戏特征库数据中的任意一张特征图片都需要匹配，这里的匹配过程是循环的，直到该游戏的特征图片全部匹配完。
SIFT算法在两张图片上查找关键点(特征点)，并计算出关键点的方向，根据匹配的关键点数，确定截图与特征图片是否匹配。例如设置一个点数阈值，如果关键点数大于阈值，就是匹配，否则就不匹配。
S08、是否匹配？
S09、返回匹配的特征匹配区域。
如果匹配，找到匹配的坐标(x1,y1),(x2,y2)，这两个是个对角坐标。计算匹配区域的长度：length＝x2-x1,宽width＝y2-y1.假设特征图片的长宽是L和W，那么截图坐标就应该是：X＝x1-(L-length)/2,Y＝y2+(W-width)/2。
找到了截图坐标(X,Y)，加上它的长(L)和宽(W)就可以确定出特征匹配区域。如果游戏特征数据库中不存在匹配的特征图片，或者匹配度很低，则返回匹配失败。
在本发明实施例中，游戏特征数据库是预先配置的数据库，本方案需要提前预备一个游戏场景图像的特征库，如图7-a和图7-b所示，游戏特征数据库是由若干张游戏图片构造的。特征图片的特点是：1、标准的游戏场景图片，且去除了静态UI元素；2、一个游戏可以有多个特征图片以覆盖不同的游戏场景。
如图8-a为本发明实施例提供的从一种图像画面中标注出非核心元素的示意图，图8-b为本发明实施例提供的从另一种图像画面中标注出非核心元素的示意图，图8-c为本发明实施例提供的从另一种图像画面中标注出非核心元素的示意图。通过本发明实施例中图像画面和特征图片的匹配，可以从图像画面中识别出非核心元素，并确定非核心元素所在的界面边缘区域，将界面边缘区域去除掉后，可以得到界面非边缘。图8-a至图8-c中对于不同的游戏图像画面进行非核心元素所在的界面边缘区域去除。
需要说明的是，本发明实施例中也可以通过角色跟随截取的方式来完全区域截取，例如在特征数据库中包括有角色图片，当截图中的角色和特征图片相似时，提取该角色的画面。另外，区域截图也可以通过固定区域居中等比截取来完成，即对于每个截图，只保留画面区域居中的那个截图部分。
本发明实施例利用游戏特征数据和直播的真实图片进行匹配，例如按照SIFT算法进行图片相似度匹配，使得游戏过程中的核心元素和场景能够自动的提取出来，更好的为用户展现直播主播的画面核心要素，吸引用户观看。本发明实施例可以提升游戏直播和视频封面的质量，包括图片信息传递的有效性、封面的美观程度等。不需要人工编辑，游戏特征图片，自动截图即可。封面效果有保障之后，整体的直播和视频列表界面才能更为简洁美观。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图9-a所示，本发明实施例提供的一种图像画面的获取装置900，可以包括：数据流获取模块901、画面截取模块902、图片识别模块903、区域截图模块904，其中，
数据流获取模块901，用于获取图像数据流，所述图像数据流中包括多帧的图像画面；
画面截取模块902，用于从所述图像数据流中截取出第一图像画面，所述第一图像画面属于所述多帧的图像画面；
图片识别模块903，用于从所述第一图像画面中识别出第一用户界面UI元素，所述第一UI元素为所述第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素；
区域截图模块904，用于将所述第一UI元素所在的界面边缘区域从所述第一图像画面中截掉，得到第二图像画面，所述第二图像画面为所述第一图像画面中截掉所述界面边缘区域后剩余的图像区域。
在本发明的一些实施例中，请参阅图9-b所示，所述图片识别模块903，包括：
特征图片加载单元9031，用于获取特征数据库，所述特征数据库中包括多张的特征图片；
图像匹配单元9032，用于将所述第一图像画面和所述特征数据库中的多张的特征图片分别进行匹配；
区域匹配单元9033，用于当所述特征数据库中的第一特征图片与所述第一图像画面匹配时，从所述第一图像画面中确定出与所述第一特征图片匹配的特征匹配区域，所述第一特征图片属于所述多张的特征图片；
元素识别单元9034，用于从所述第一图像画面中不属于所述特征匹配区域的图像区域中识别出所述第一UI元素。
在本发明的一些实施例中，请参阅图9-c所示，所述图像匹配单元9032，包括：
特征提取子单元90321，用于从所述第一图像画面中提取出第一特征点，以及从所述特征数据库中每张的特征图片中提取出第二特征点；
相似计算子单元90322，用于对所述第一特征点和所述第二特征点进行相似性匹配，得到相似性匹配结果；
确定子单元90323，用于根据相似性匹配结果确定所述第一图像画面和所述特征图片是否匹配。
在本发明的一些实施例中，请参阅图9-d所示，所述区域匹配单元9033，包括：
对角坐标确定子单元90331，用于从所述第一图像画面的多个第一特征点中确定出与所述第二特征点匹配的两个对角坐标；
长宽计算子单元90332，用于根据所述两个对角坐标之间的像素差值获取所述特征匹配区域的长度和宽度；
截图坐标获取子单元90333，用于根据所述两个对角坐标、所述特征匹配区域的长度和宽度、所述第一特征图片的长度和宽度，从所述第一图像画面中获取截图坐标；
匹配区域确定子单元90334，用于根据所述截图坐标、所述特征匹配区域的长度和宽度确定出所述特征匹配区域。
在本发明的一些实施例中，所述特征数据库中包括多张的特征图片分别对应于应用程序在不同的应用场景中的截图画面。
在本发明的一些实施例中，所述画面截取模块902，具体用于按照预设的截取周期定时的从所述图像数据流中截取出第一图像画面。
在本发明的一些实施例中，请参阅图9-e所示，相对于图9-a所示，所述图像画面的获取装置900，还包括：
发送模块905，用于所述区域截图模块将所述第一UI元素所在的界面边缘区域从所述第一图像画面中截掉，得到第二图像画面之后，将所述第二图像画面发送给信息服务器，由所述信息服务器将所述第二图像画面更新为所述图像数据流的封面图像。
通过以上对本发明实施例的描述可知，首先获取到包括多帧图像画面的图像数据流，然后从图像数据流中截取出第一图像画面，接下来从第一图像画面中识别出第一用户界面UI元素，该第一UI元素为第一图像画面中位于界面边缘且元素位置在预设时间段内保持不变的UI元素，最后将第一UI元素所在的界面边缘区域从第一图像画面中截掉，得到第二图像画面，第二图像画面为第一图像画面中截掉界面边缘区域后剩余的图像区域。由于本发明实施例中可以从第一图像画面中识别出位于界面边缘且元素位置在预设时间段内保持不变的第一UI元素，并且该第一UI元素所在的界面边缘区域从第一图像画面中截掉，因此在得到第二图像画面中是不包括该第一UI所在的界面边缘区域，因此第二图像画面中保留下拉的是界面非边缘区域的图像，通过第二图像画面可以直观可以显示与图像数据流更紧密相关的截图内容，提升图像画面的截图效果和截图质量，提升封面内容所包括的有效信息量。
本发明实施例还提供了另一种终端，如图10所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图10示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图10，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该终端所包括的处理器1080还具有控制执行以上由终端执行的图像画面的获取方法流程。
图11是本发明实施例提供的一种服务器结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的图像画面的获取方法步骤可以基于该图11所示的服务器结构。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。