一种天气预报方法、系统、装置及可读存储介质与流程

1.本技术涉及天气预报技术领域，特别涉及一种天气预报方法、系统、装置及可读存储介质。


背景技术：

2.随着人工智能技术的发展，越来越多的智能设备被应用在家庭、工厂、公共场所等区域。其中，一些智能设备需要及时获取自身所在位置在未来短期内的天气预报以方便决策和规划，例如智能割草机器人可以在临近下雨前找寻遮挡物等。但是，目前天气预报系统的最小预报区域仍然较大（通常为几公里），而预报区域内各个位置的天气可能会被该位置独特的地形或者地貌影响，从而产生与天气预报不一致的天气情况。
3.因此，提供一种天气预报方法以更加准确的对自身所处位置的天气情况进行预测是本领域技术人员亟需解决的问题。


技术实现要素：

4.本技术的目的是提供一种天气预报方法、系统、装置及可读存储介质，基于天气预报中心的天气预报文本数据以及与当前位置对应的图像数据和/或音频数据建立模型，以得到与当前位置对应的天气预报结果，而不单单是基于国家天气预报中心的天气预报文本数据得到的天气预报结果，本技术中的方式得到的当前位置的天气预报结果更加精准，提高了对天气预报测量的准确性。
5.为解决上述技术问题，本技术提供了一种天气预报方法，包括：获取当前位置与天气相关的多模态数据，所述多模态数据包括当前位置的图像数据和/或音频数据及天气预报文本数据；对所述多模态数据中的特征进行提取，得到多模态特征；对所述多模态特征建立模型；对所述模型进行分析，以得到与所述当前位置对应的天气预报结果。
6.优选地，获取当前位置与天气相关的多模态数据，包括：获取设置于所述当前位置的摄像装置发送的图像数据和/或音频数据；和/或，获取从所述国家天气预报中心获取到的所述当前位置所在区域的天气预报数据；所述天气预报数据包括天气类别、温度、湿度、风力等级、能见度及空气质量中一种或多种的组合。
7.优选地，所述图像数据包括摄像装置拍摄的彩色图像及运动图像，还包括：通过频谱分析将所述音频数据转换为与所述彩色图像的大小相同的频谱图像。
8.优选地，获取当前位置与天气相关的多模态数据之前，还包括：根据所述国家天气预报中心的信息及所述当前位置确定当前位置所在区域；获取当前位置所在区域的多个所述摄像装置发送的所述图像数据及所述音频数
据；分别根据每个所述摄像装置发送的所述图像数据、所述音频数据使用预设天气类别判断算法得到与每个所述摄像装置发送的所述图像数据、所述音频数据对应的天气类别；对所述摄像装置进行分组，每组中的所述摄像装置对应的天气类别相同；将所述摄像装置数量最多的一组对应的图像数据、音频信息和文本信息作为所述多模态数据。
9.优选地，所述预设天气类别判断算法的确定方式为：获取预设数量的所述摄像装置发送的图像数据和音频数据；分别为各个所述摄像装置发送的所述图像数据和所述音频数据标注对应的天气类别；根据所述图像数据、所述音频数据及标注的所述天气类别进行深度学习训练，得到深度神经网络模型，并作为所述预设天气类别判断算法。
10.优选地，所述多模态数据包括当前位置的图像数据和天气预报文本数据时；对所述多模态数据中的特征进行提取，得到多模态特征之前，包括：将天气类别相同的多个所述图像数据和多个所述天气预报文本数据映射在同一特征空间中；分别提取与多个所述图像数据对应的多个图像特征及与多个所述天气预报文本数据对应的多个文本特征，生成多个图像-文本特征对；对多个所述图像-文本特征对进行训练，以使第i个图像特征与第i个文本特征的向量内积最少，进而得到图像特征提取模型及文本特征提取模型，i为正整数，且不大于所述图像数据或所述天气预报数据的个数；对所述多模态数据中的特征进行提取，得到多模态特征，包括：根据所述图像特征提取模型对所述图像数据中的特征进行提取，得到图像特征，以及根据文本特征提取模型对所述文本数据中的特征进行提取，得到文本特征。
11.优选地，对所述多模态特征建立模型，包括：获取若干个设于不同位置的摄像装置发送的多个第一训练数据，对多个所述第一训练数据进行训练，以得到与天气相关的通用特征；获取预设位置的摄像装置发送的第二训练数据，并对所述第二训练数据进行训练，以得到与所述预设位置对应的特定特征；所述第一训练数据及所述第二训练数据均包括所述图像数据、所述音频数据及所述天气预报文本数据中一种或多种的组合；基于所述通用特征及所述特定特征建立模型。
12.为解决上述技术问题，本技术还提供了一种天气预报系统，包括：数据获取单元，用于获取当前位置与天气相关的多模态数据，所述多模态数据包括当前位置的图像数据和/或音频数据及天气预报文本数据；特征提取单元，用于对所述多模态数据中的特征进行提取，得到多模态特征；模型建立单元，用于对所述多模态特征建立模型；模型分析单元，用于对所述模型进行分析，以得到与所述当前位置对应的天气预报结果。
13.为解决上述技术问题，本技术还提供了一种天气预报装置，包括：存储器，用于存储计算机程序；处理器，用于在存储计算机程序时，实现如上述所述的天气预报方法的步骤。
14.为解决上述技术问题，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的天气预报方法的步骤。
15.本技术提供了一种天气预报方法、系统、装置及可读存储介质，涉及天气预报技术领域。该方案中，获取当前位置与天气相关的多模态数据，对多模态数据中的特征进行提取，得到多模态特征；对多模态特征建立模型；对模型进行分析，以得到与当前位置对应的天气预报结果，其中多模态数据包括当前位置的图像数据和/或音频数据及天气预报文本数据。本技术中，基于天气预报中心的天气预报文本数据以及与当前位置对应的图像数据和/或音频数据建立模型，以得到与当前位置对应的天气预报结果，而不单单是基于国家天气预报中心的天气预报文本数据得到的天气预报结果，本技术中的方式得到的当前位置的天气预报结果更加精准，提高了对天气预报测量的准确性。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本技术提供的一种天气预报方法的流程示意图；图2为本技术提供的一种天气特征提取模型预训练示意图；图3为本技术提供的一种基于编码器-解码器架构的短时天气预报的结构示意图；图4为本技术提供的一种天气预报系统的结构框图；图5为本技术提供的一种天气预报装置的结构框图。
具体实施方式
18.本技术的核心是提供一种天气预报方法、系统、装置及可读存储介质，基于天气预报中心的天气预报文本数据以及与当前位置对应的图像数据和/或音频数据建立模型，以得到与当前位置对应的天气预报结果，而不单单是基于国家天气预报中心的天气预报文本数据得到的天气预报结果，本技术中的方式得到的当前位置的天气预报结果更加精准，提高了对天气预报测量的准确性。
19.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.请参照图1，图1为本技术提供的一种天气预报方法的流程示意图，该方法包括：s11：获取当前位置与天气相关的多模态数据，多模态数据包括当前位置的图像数据和/或音频数据及天气预报文本数据；
具体地，要对当前位置的天气进行预测时，需要先获取与当前的位置信息对应的与天气相关的多模态数据，其中，多模态数据的数据类型较多，从而可以对当前位置的天气进行更全面、更精准的判断。
21.作为一种优选的实施例，获取当前位置与天气相关的多模态数据，包括：获取设置于当前位置的摄像装置发送的图像数据和/或音频数据；和/或，获取从国家天气预报中心获取到的当前位置所在区域的天气预报数据；天气预报数据包括天气类别、温度、湿度、风力等级、能见度及空气质量中一种或多种的组合。
22.具体地，可以但不限于在当前位置设置有摄像装置，其摄像装置具体可以为摄像机，摄像机可以采集到丰富的多模态数据，此处的多模态指数据的多样性是指既有摄像机采集到的图像数据（包括图片数据和视频数据）、摄像机的麦克风采集到的音频信息，也还可以包括通过联网从国家天气预报中心获得的天气预报文本信息。国家天气预报中心指摄像机可以通过联网获取天气预报文本数据的公共服务设施。
23.作为一种优选的实施例，图像数据包括摄像装置拍摄的彩色图像及与运动图像，还包括：通过频谱分析将音频数据转换为与彩色图像的大小相同的频谱图像。
24.具体地，本实施例限定了多模态数据包括摄像机拍摄的彩色图像、运动图像和麦克风采集到的音频信息。
25.其中，彩色图像是指：使用摄像机拍摄的彩色图像，获得r、g、b三个通道信息。
26.运动图像是指：连续彩色图像帧之间的运动信息对某些天气的识别也能起到重要作用，如降雨、降雪。设两张连续彩色图像的r通道图像分别为r
t
，r
t+1
，则r通道对应的运动图像可以表示为r
* = abs(r
t
‑ꢀrt+1
)，abs表示取绝对值操作，r
t
为t时刻的r通道图像，r
t+1
为t+1时刻的r通道图像，r
*
为r通道对应的运动图像，使用同样的方式可以获得g通道和b通道的运动图像g
*
和b
*
。
27.音频信息是指：摄像机上麦克风采集到的音频信息，为方便后续对各种数据的处理，本实施例中，通过频谱分析得到频谱图像s。为了简化计算，把频谱图像缩放到和摄像机rgb图像大小一致。
28.最后把彩色图像、运动图像、音频数据组合成多模态数据i={r、g、b、r
*
、g
*
、b
*
、s}。
29.摄像机通过连接国家天气预报中心可获得当前位置所在区域的天气预报文本数据。天气预报文本数据可以但不限于包括：天气类别，温度，湿度，风力等级，能见度等，具体例子如表1所示：表1 天气温度湿度风力能见度空气质量...摄像机1小雨35摄氏度80%51公里20...摄像机2大雪-15摄氏度60%62公里40...作为一种优选的实施例，获取当前位置与天气相关的多模态数据之前，还包括：根据国家天气预报中心的信息及当前位置确定当前位置所在区域；获取当前位置所在区域的多个摄像装置发送的图像数据及音频数据；分别根据每个摄像装置发送的图像数据、音频数据使用预设天气类别判断算法得
到与每个摄像装置发送的图像数据、音频数据对应的天气类别；对摄像装置进行分组，每组中的摄像装置对应的天气类别相同；将摄像装置数量最多的一组对应的图像数据、音频信息和文本信息作为多模态数据。
30.具体地，考虑到当前天气预报技术的限制，天气预报的空间粒度还比较大，也即，在几平方公里内的所有位置获得的天气预报信息是完全相同的。然而由于天气状况的多变性、地形地貌的复杂性，即使在几平方公里内，也会有一些位置的天气情况和整个区域的天气预报信息不一致。
31.因此，为获得较为可靠的天气预报相关文本信息，在与天气预报中心对应的每个区域对应设置多个摄像装置（以下摄像装置均用摄像机描述），然后对当前位置的多模态数据进行获取时，使用多摄像机相互校验的天气预报文本信息获取方法，对同一区域内的多个摄像机所获得的信息进行相互校验。
32.具体地，首先，在同一个区域内（具体为当前位置所在的区域内），选择多个摄像机，获取多个摄像机对应的多通道数据（也即图像数据及音频数据）。其中，当前位置所在区域的大小由国家天气预报中心的空间粒度决定，一般不超过方圆5公里。其次，运行基于多通道数据的天气类别判断算法，对属于同一个区域的多个摄像机的天气进行判断，然后按照天气类别对摄像机进行分组，如果两个摄像机的天气标注为同一天气类型，比如同为“晴天”，则把它们放入同一分组。进一步的，选择组内摄像机个数最多的摄像机分组，把该分组内的每个摄像机获得的多通道图像数据和天气预报文本信息作为多模态数据。
33.作为一种优选的实施例，预设天气类别判断算法的确定方式为：获取预设数量的摄像装置发送的图像数据和音频数据；分别为各个摄像装置发送的图像数据和音频数据标注对应的天气类别；根据图像数据、音频数据及标注的天气类别进行深度学习训练，得到深度神经网络模型，并作为预设天气类别判断算法。
34.本实施例旨在限定一种得到预设天气类别判断算法的具体实现方式，具体地，首先收集一定数量摄像机中的描述天气信息的图像数据和音频数据，其次基于人工标注的方式对每个图像数据、音频数据标注其对应的天气类别，如晴天、阴天、下雨、下雪等。然后使用多通道图像数据、音频数据和对应标签（标注的天气类别）进行深度学习训练，获得对应的深度神经网络模型，该神经网络模型的输出就是对应的天气类别结果，由于此处的天气类别判断算法是用来对天气文本数据校验，所以不需要特别大量的标注训练数据。此处的神经网络模型一般为卷积神经网络或者变形神经网络。
35.s12：对多模态数据中的特征进行提取，得到多模态特征；在上述获取到多模态数据之后，对多模态数据中的特征进行提取，以得到多模态特征，以便后续基于获取到的多模态特征对当前位置的天气情况进行分析。
36.作为一种优选的实施例，多模态数据包括当前位置的图像数据和天气预报文本数据时；对多模态数据中的特征进行提取，得到多模态特征之前，包括：将天气类别相同的多个图像数据和多个天气预报文本数据映射在同一特征空间中；
分别提取与多个图像数据对应的多个图像特征及与多个天气预报文本数据对应的多个文本特征，生成多个图像-文本特征对；对多个图像-文本特征对进行训练，以使第i个图像特征与第i个文本特征的向量内积最少，进而得到图像特征提取模型及文本特征提取模型，i为正整数，且不大于图像数据或天气预报数据的个数；对多模态数据中的特征进行提取，得到多模态特征，包括：根据图像特征提取模型对图像数据中的特征进行提取，得到图像特征，以及根据文本特征提取模型对文本数据中的特征进行提取，得到文本特征。
37.具体地，本技术中可以但不限于是使用无监督预训练的多模态天气特征提取模型对多模态数据中的特征进行提取。使用无监督预训练技术一方面可以节省大量的数据标注成本，另一方面可以支持超大规模数据的训练，可以得到优异的天气特征提取模型。
38.具体地，多模态预训练技术是利用大量的多模态天气数据进行特征提取模型训练的技术。预训练的目标是把多个与天气相关的图像数据和天气预报文本数据映射到同一个语义特征空间中。比如“下雨”天气，目标是把描述“下雨”天气的多个图像数据和天气预报文本数据映射到同一个“下雨”的特征空间中。
39.请参照图2，图2为本技术提供的一种天气特征提取模型预训练示意图。具体来说，会训练两个特征提取模型，分别为：图像特征提取模型和文本特征提取模型。在训练过程中，设同一训练批次有n个图像-文本特征对，首先使用图像特征提取模型获得n个图像特征向量（f1，f2，
…
，fn），其次使用文本特征提取模型获得n个文本特征向量（g1,g2，
…
，gn），然后生成图像-文本特征对，共有n*n个特征对，最后计算所有特征对带来的损失。也即，对（fi，gi）这样对应同一个图像-文本特征对来说，它们的向量内积f
igi
应该越少越好，而对（fi，gj）这样对应不同多通道图像-文本特征对来说，它们的向量内积f
igj
应该越大越好。这样，整个训练目标就是把同一个图像-文本对的图像特征和文本特征映射到同样的特征空间中。经过多批次的训练后，就得到了图像特征提取模型和文本特征提取模型。
40.其中，此处的图像特征提取模型一般为卷积神经网络或者变形神经网络，而文本特征提取模型一般为循环神经网络或者变形神经网络。
41.s13：对多模态特征建立模型；s14：对模型进行分析，以得到与当前位置对应的天气预报结果。
42.具体地，在上述获取多模态数据，且对多模态数据中的特征进行提取之后，对多模态特征建立模型，并后续通过对此模型进行分析，得到当前位置对应的天气预报结果。
43.作为一种优选的实施例，对多模态特征建立模型，包括：获取若干个设于不同位置的摄像装置发送的多个第一训练数据，对多个第一训练数据进行训练，以得到与天气相关的通用特征；获取预设位置的摄像装置发送的第二训练数据，并对第二训练数据进行训练，以得到与预设位置对应的特定特征；第一训练数据及第二训练数据均包括图像数据、音频数据及天气预报文本数据中一种或多种的组合；基于通用特征及特定特征建立模型。
44.具体的，建立当前位置对应的多模态特征时，由于当前位置与其他位置之间的差异性，因此即便是相邻的两个位置，其对应的天气预报结果可能也不完全相同。
45.为更加精准地得到与当前位置对应的天气预报结果，本技术中将提取到的多模态特征分为与天气相关的通用特征和特定特征，然后基于通用特征和特定特征建立模型。其中，提取通用特征和特定特征的具体方式可以但不限于是通过双编码器实现的，其中，通用编码器用于提取与天气变化通用规律相关的表征，个性化编码器用于提取当前位置对短时天气变化产生影响的特定特征，最后由解码器对通用特征和特定特征进行分析，得到当前位置的未来短时的天气预报结果。
46.具体地，假设一个摄像机a在时刻t的图像数据提取出来的图像特征为f
t
，天气预报文本数据提取出的文本特征为g
t
，则摄像机a在时刻t的信息可以描述为d
t
=（f
t
，g
t
），短时天气预报可描述为输入过去不同时刻的天气特征序列x =（d
t-n-1
，d
t-n
,
…
，d
t-1
）去预测t时刻的天气预报结果y，连续时刻的间隔根据实际需要设定，例如可以设为15分钟，天气预报结果y包含常见的天气类型如：晴天、多云、小雨、大雪、大雾等。
47.请参照图3，图3为本技术提供的一种基于编码器-解码器架构的短时天气预报的结构示意图。具体地，整个局部短期天气预报结果基于编码器-解码器架构的深度神经网络技术，其中编码器从天气信息序列中提取出抽象的天气特征，而解码器负责从天气特征预测未来的天气状况。为同时描述天气变化的内在规律和摄像机所在地的特殊情况，采用双编码器方案来提取天气表征。其中通用编码器φ（x）用来提取天气变化通用规律相关的特征，而个性化编码器ψ（x）用来提取摄像机所在位置对短时天气变化产生影响的特定表征，最后的天气预测结果由解码器ω（z
*
）得到，其中z
*
由双编码器得到的特征相加得到，也即：z=φ（x），c=ψ（x），z
*
=z+c。
48.其中，为获取与天气相关的通用特征，也即，为训练通用编码器，需要从多个摄像机（此处的多个摄像机为设置于不同位置的摄像机）收集大量的第一训练数据组成数据集π={（x，y）}，其中（x，y）为一个第一训练数据，x =（d
t-n-1
，d
t-n
,
ꢀ…
，d
t-1
）为某个摄像机过去n个不同时刻的天气信息序列，y为t时刻的天气情况。第一训练数据来自于安装在不同位置的摄像机，可以保证通用编码器能抽取描述天气变化内在规律的通用特征。其训练目标是让训练集π上的损失函数最小化，如下公式所示：其中，loss函数选择负对数似然函数。在训练过程中，同时对编码器φ和解码器ω进行求解。
49.其中，为获取与天气相关的特定特征，也即，为训练个性化编码器，以特定摄像机a为例，为训练a的个性化编码器，需要从摄像机a（该摄像机的位置为上述描述的预设位置）收集一定数量的第二训练数据组成数据集κ={（x，y）}，其中（x，y）为一个训练数据。其训练目标是让训练集κ上的损失函数最小化，如下公式所示：在训练过程中，解码器ω是固定的，只对编码器ψ进行训练。为加快个性化编码器的训练，基于通用编码器φ进行调优训练，而不是从零开始训练。
50.在通用编码器和特色编码器的训练过程中，标注信息y来源于国家天气预报文本信息，为保证标注信息y的准确性，采用上述介绍的基于多摄像机相互校验的天气预报文本信息获取技术，本技术在此不再赘述。
51.此外，上述描述的编码器和解码器一般为循环神经网络或者变形神经网络。
52.综上，通过本技术中的天气预报方法，可以支持大规模数据的多模态无监督预训练技术，不仅能节省大量的数据标注成本，而且所训练天气特征提取模型可以应对不同位置的天气状况。进一步的，基于通用编码器和个性化编码器结合的建模方法能极大提升局部短时天气预报的精度，使用普通摄像机就能及时掌握未来短时天气变化情况，性价比较高。此外，基于摄像机的局部短时天气预报技术不仅可以提升设备安装位置的天气预报精度，而且每个摄像机都可以成为国家天气预报系统的辅助天气监测点，通过信息共享可以提升整个国家天气预报系统的预报精度和密度，具有一定的社会意义。
53.为解决上述技术问题，本技术还提供了一种天气预报系统，请参照图4，图4为本技术提供的一种天气预报系统的结构框图，该系统包括：数据获取单元41，用于获取当前位置与天气相关的多模态数据，多模态数据包括当前位置的图像数据和/或音频数据及天气预报文本数据；特征提取单元42，用于对多模态数据中的特征进行提取，得到多模态特征；模型建立单元43，用于对多模态特征建立模型；模型分析单元44，用于对模型进行分析，以得到与当前位置对应的天气预报结果。
54.对于天气预报系统的介绍请参照上述实施例，本技术在此不再赘述。
55.为解决上述技术问题，本技术还提供了一种天气预报装置，请参照图5，图5为本技术提供的一种天气预报装置的结构框图，该装置包括：存储器51，用于存储计算机程序；处理器52，用于在存储计算机程序时，实现如上述的天气预报方法的步骤。
56.对于天气预报装置的介绍请参照上述实施例，本技术在此不再赘述。
57.为解决上述技术问题，本技术还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的天气预报方法的步骤。对于计算机可读存储介质的介绍请参照上述实施例，本技术在此不再赘述。
58.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
59.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其他实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。