图像应季判别方法、系统、电子设备和介质与流程

本发明属于图像应季判别技术领域，尤其涉及一种图像应季判别方法、系统、电子设备和介质。

背景技术：

在旅游场景下，人们的一部分出行意图是在旅行中希望欣赏到有当地季节特色的景色，如冬天去哈尔滨滑雪，或者去热带的海岛避寒，在这种情境下，需要基于给到具体产品配备与当地季节相符的图片，即为应季图片。

同一时间，在不同的地理区域会有不同的季节呈现形式。根据维基百科的记录，地理上的季节的划分通常根据平均温度，夏季指平均气温在22℃以上的连续时期。冬季指平均气温在10℃以下的连续时期。春季和秋季是介于10～22℃之间的时期。依据平均温度这个客观事实，它与地理经纬度位置、海拔高度有关，二者又通过不同的方式最终影响到某地点的温度，从而据此划分为不同的季节。

目前在深度学习领域，季节分类属于图像场景分类的一个分支，通过大规模的有标签的数据集进行提取特征，进行训练，从多幅图像中区分出具有相似场景特征的图像进行分类。但是，在旅游场景下，目前单纯只通过深度学习对数据进行处理，只可获得图像视觉意义上的季节分类，而无法判断是否与该图像所在的具体地点是否相符，因此在旅游场景的应用中，亟需一种能够判断图片视觉季节与当前实际物理季节是否相符的方法。

技术实现要素：

本发明要解决的技术问题是为了克服现有技术中无法直接判断图像是否应季的缺陷，提供一种图像应季判别方法、系统、电子设备和介质。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供一种图像应季判别方法，包括以下步骤：

获取目标图像的视觉季节；

获取目标图像的地理季节；

判断视觉季节与地理季节是否一致以得到应季判别结果。

较佳地，获取图像的视觉季节的步骤包括以下步骤：

构建原始图像集；

根据视觉特征对原始图像集的图像设置季节标签以生成训练集；

将训练集输入深度学习训练网络，利用后向传播反馈逐步调整网络以得到分类预测模型；

根据分类预测模型获取目标图像的视觉季节。

较佳地，获取目标图像的地理季节的步骤包括以下步骤：

获取目标图像对应的地理信息；

通过知识图谱召回地理信息的月平均温度，根据月平均温度得到地理季节。

较佳地，获取目标图像对应的地理信息的步骤包括：

识别目标图像中的建筑物，在知识图谱中查找建筑物对应的实体结点，根据实体结点得到地理信息。

本发明还提供一种图像应季判别系统，包括第一季节获取模块、第二季节获取模块、判别模块；

第一季节获取模块用于获取目标图像的视觉季节；

第二季节获取模块用于获取目标图像的地理季节；

判别模块用于判断视觉季节与地理季节是否一致以得到应季判别结果。

较佳地，第一季节获取模块还用于构建原始图像集，并根据视觉特征对原始图像集的图像设置季节标签以生成训练集，还用于将训练集输入深度学习训练网络，利用后向传播反馈逐步调整网络以得到分类预测模型，并根据分类预测模型获取目标图像的视觉季节。

较佳地，第二季节获取模块还用于获取目标图像对应的地理信息，并通过知识图谱召回地理信息的月平均温度，并根据月平均温度得到地理季节。

较佳地，第二季节获取模块还用于识别目标图像中的建筑物，在知识图谱中查找建筑物对应的实体结点，根据实体结点得到地理信息。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明的图像应季判别方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明的图像应季判别方法的步骤。

本发明的积极进步效果在于：本发明提高了图像应季判别的准确率。

附图说明

图1为本发明的实施例1的图像应季判别方法的流程图。

图2为本发明的实施例1的图像应季判别方法的步骤s11的流程图。

图3为本发明的实施例1的图像应季判别方法的步骤s12的流程图。

图4为本发明的实施例2的图像应季判别系统的结构示意图。

图5为本发明的实施例3的电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种图像应季判别方法。参照图1，该图像应季判别方法包括以下步骤：

步骤s11、获取目标图像的视觉季节。

步骤s12、获取目标图像的地理季节。

步骤s13、判断视觉季节与地理季节是否一致以得到应季判别结果。

具体实施时，参照图2，步骤s11包括以下步骤：

步骤s111、构建原始图像集。

步骤s112、根据视觉特征对原始图像集的图像设置季节标签以生成训练集。

步骤s113、将训练集输入深度学习训练网络，利用后向传播反馈逐步调整网络以得到分类预测模型。

步骤s114、根据分类预测模型获取目标图像的视觉季节。

参照图3，步骤s12包括以下步骤：

步骤s121、获取目标图像对应的地理信息。

步骤s122、通过知识图谱召回地理信息的月平均温度，根据月平均温度得到地理季节。

在一种可选的实施方式中，通过网络数据库收集大量旅游场景下有关旅游景点的图像原始数据作为原始图像集，根据视觉特征对原始图像集的图像设置季节标签以生成训练集。在另一种可选的实施方式中，从原始图像集中筛选出可以判定为明显季节图像，并将图像对应的季节信息标记为训练标签，构成训练集。

然后，对训练集中的图像进行旋转、增强、缩放尺寸到网络输入的大小之后输入resnet50训练网络(一种训练网络)。在训练的前馈过程中，使用在公开的大型数据库imagenet(一种数据库)上的预训练模型，固定原始的图像特征提取的卷积层参数不变，修改最后的全连接分类层参数为4，即为季节种类。在训练过程中逐渐迭代更新参数，直到参数最优。然后，将训练得到网络参数按照网络结构保存下来，即可作为图像季节的分类预测模型。

接下来，获取某旅游场景下待预测的原始图像数据作为目标图像，将其预处理为网络可输入的大小，输入到分类预测模型，输出为该目标图像的视觉季节。

然后，在知识图谱中召回确定的实体结点。为了得到目标地区当前季节信息，在本实施例中，关注两种类型的实体结点的召回：景点类结点，及行政区划结点。前者包括各地景点实体及景区实体，后者包括国家、省份、大区、城市、区县等实体结点。对若干数据表的关联，可以获取待处理图像相关的城市id、景点id信息，通过图谱检索可以召回这些实体结点。

然后，生成季节数据。结合了2014年～2019年全球各行政区划及主要景点的温度和气候信息进行计算，数据来自企业内积累的数据及采集自权威天气网站的外网数据。例如对于某城市，对该城市12个月份的历史数据分别按天累加求平均，得到该城市每个月份历史数据的日均温度，进而得到各月的月均温度。依照维基中文，以“候温”为季节计算方式，定义月均温度在10℃以下为冬季月，超过22℃为夏季月，并约定以冬跨夏为春，以夏跨冬为秋来定义春秋季节月。此外，由于城市地理气候不同，存在常年冬季或常年夏季的地区，也存在全年月均温都介于10℃～22℃之间的地区等等。因此，对于全年季节中不存在冬季月或夏季月的地区，为未知季节的月份定义其季节为“非冬非夏”，以表征该月份的月均温度高于冬季标准，但低于夏季标准，但无法确定是春季还是秋季。至此，得到全球各行政区划及主要景点的季节信息。

然后，结合实体结点获取对应地理位置当前所处的季节。对于之前得到的结点，如果是景点或景区结点，先通过知识图谱召回其所在的城市及国家，通过城市或国家结点的信息可以召回其与中国的时差。接着，通过系统时间计算得到该结点所处的地理位置当前的精确月份，进而召回其在知识图谱内存储的当月季节，作为该景点或该区域的地理季节。其中可能存在实体结点的粒度较细，而无法查询到当月季节的情况，例如图像标记的区域为“a地区”，它无法直接查询到季节信息。此种情况下，通过知识图谱召回景点的父级景点或景区，或通过区县级目的地的上一级，召回城市级或更高层级目的地的季节情况来补偿，例如通过“a地区”召回上一级“b省”。

然后，将知识图谱返回的区域当前季节(地理季节)与图像的深度模型预测结果(视觉季节)进行对比是否一致，若一致，则为图像与该旅游场景应季，否则，则为不应季。

目前的旅游场景应用中，深度学习在某旅游地图像应季判断中的应用，由于缺乏相关的数据支持。本实施例结合知识图谱的关联特性，可通过景点查询城市，并通过城市获取当地时差，进而得到当地精确月份下的季节。此外，还可以借助知识图谱以下层找上层，用上层城市级季节补偿下层细粒度区县级或子景点级的季节信息缺失。通过这种方法，既可以降低人工查找的成本，也可以提高对城市季节的召回率。

实施例2

本实施例提供一种图像应季判别系统。参照图4，该图像应季判别系统包括第一季节获取模块401、第二季节获取模块402、判别模块403。

第一季节获取模块401用于获取目标图像的视觉季节。第二季节获取模块402用于获取目标图像的地理季节。判别模块403用于判断视觉季节与地理季节是否一致以得到应季判别结果。

作为一种可选的实施方式，第一季节获取模块401还用于构建原始图像集，并根据视觉特征对原始图像集的图像设置季节标签以生成训练集，还用于将训练集输入深度学习训练网络，利用后向传播反馈逐步调整网络以得到分类预测模型，并根据分类预测模型获取目标图像的视觉季节。

作为一种可选的实施方式，第二季节获取模块402还用于获取目标图像对应的地理信息，并通过知识图谱召回地理信息的月平均温度，并根据月平均温度得到地理季节。具体实施时，第二季节获取模块402还用于识别目标图像中的建筑物，在知识图谱中查找建筑物对应的实体结点，根据实体结点得到地理信息。

在一种可选的实施方式中，第一季节获取模块401通过网络数据库收集大量旅游场景下有关旅游景点的图像原始数据作为原始图像集，根据视觉特征对原始图像集的图像设置季节标签以生成训练集。在另一种可选的实施方式中，第一季节获取模块401从原始图像集中筛选出可以判定为明显季节图像，并将图像对应的季节信息标记为训练标签，构成训练集。

然后，第一季节获取模块401对训练集中的图像进行旋转、增强、缩放尺寸到网络输入的大小之后输入resnet50训练网络(一种训练网络)。在训练的前馈过程中，使用在公开的大型数据库imagenet(一种数据库)上的预训练模型，固定原始的图像特征提取的卷积层参数不变，修改最后的全连接分类层参数为4，即为季节种类。在训练过程中逐渐迭代更新参数，直到参数最优。然后，将训练得到网络参数按照网络结构保存下来，即可作为图像季节的分类预测模型。

接下来，第一季节获取模块401获取某旅游场景下待预测的原始图像数据作为目标图像，将其预处理为网络可输入的大小，输入到分类预测模型，输出为该目标图像的视觉季节。

然后，第二季节获取模块402在知识图谱中召回确定的实体结点。为了得到目标地区当前季节信息，在本实施例中，关注两种类型的实体结点的召回：景点类结点，及行政区划结点。前者包括各地景点实体及景区实体，后者包括国家、省份、大区、城市、区县等实体结点。对若干数据表的关联，可以获取待处理图像相关的城市id、景点id信息，通过图谱检索可以召回这些实体结点。

然后，第二季节获取模块402生成季节数据。结合了2014年～2019年全球各行政区划及主要景点的温度和气候信息进行计算，数据来自企业内积累的数据及采集自权威天气网站的外网数据。例如对于某城市，对该城市12个月份的历史数据分别按天累加求平均，得到该城市每个月份历史数据的日均温度，进而得到各月的月均温度。依照维基中文，以“候温”为季节计算方式，定义月均温度在10℃以下为冬季月，超过22℃为夏季月，并约定以冬跨夏为春，以夏跨冬为秋来定义春秋季节月。此外，由于城市地理气候不同，存在常年冬季或常年夏季的地区，也存在全年月均温都介于10℃～22℃之间的地区等等。因此，对于全年季节中不存在冬季月或夏季月的地区，为未知季节的月份定义其季节为“非冬非夏”，以表征该月份的月均温度高于冬季标准，但低于夏季标准，但无法确定是春季还是秋季。至此，得到全球各行政区划及主要景点的季节信息。

然后，第二季节获取模块402结合实体结点获取对应地理位置当前所处的季节。对于之前得到的结点，如果是景点或景区结点，先通过知识图谱召回其所在的城市及国家，通过城市或国家结点的信息可以召回其与中国的时差。接着，通过系统时间计算得到该结点所处的地理位置当前的精确月份，进而召回其在知识图谱内存储的当月季节，作为该景点或该区域的地理季节。其中可能存在实体结点的粒度较细，而无法查询到当月季节的情况，例如图像标记的区域为“a地区”，它无法直接查询到季节信息。此种情况下，通过知识图谱召回景点的父级景点或景区，或通过区县级目的地的上一级，召回城市级或更高层级目的地的季节情况来补偿，例如通过“a地区”召回上一级“b省”。

然后，判别模块403将知识图谱返回的区域当前季节(地理季节)与图像的深度模型预测结果(视觉季节)进行对比是否一致，若一致，则为图像与该旅游场景应季，否则，则为不应季。

目前的旅游场景应用中，深度学习在某旅游地图像应季判断中的应用，由于缺乏相关的数据支持。本实施例结合知识图谱的关联特性，可通过景点查询城市，并通过城市获取当地时差，进而得到当地精确月份下的季节。此外，还可以借助知识图谱以下层找上层，用上层城市级季节补偿下层细粒度区县级或子景点级的季节信息缺失。通过这种方法，既可以降低人工查找的成本，也可以提高对城市季节的召回率。

实施例3

图5为本实施例提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的图像应季判别方法。图5显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。

总线33包括数据总线、地址总线和控制总线。

存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和/或高速缓存存储器322，还可以进一步包括只读存储器(rom)323。

存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1的图像应季判别方法。

电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例4

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1的图像应季判别方法的步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1的图像应季判别方法的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。