一种设备控制的方法、装置、服务器及可读存储介质与流程

本发明实施例涉及智慧家庭领域，特别涉及一种设备控制的方法、装置、服务器及可读存储介质。

背景技术：

随着物联网、互联网和大数据等新一代信息技术的高速发展和不断普及下，智能、安全、舒适的智慧家庭生活方式已经成为千家万户追逐的潮流。智慧家庭系统是以住宅为基础，依靠物联网技术与云计算的存储技术，由硬件(如智能设备、安防控制设备等)与软件系统组成，实现人远程控制设备，以及远程控制设备间互通互联等功能，从而多方位、多角度地呈现更舒服、更便捷、更安全和更健康的家居生活。

发明人发现相关技术中至少存在如下问题：目前的智慧家庭系统通常由用户向智慧家庭系统中的硬件设备发送控制指令，控制设备的运行状态，这将导致该智慧家庭系统对设备控制的智能度低，控制的错误率高；而某些智慧家庭系统为了提高用户对智慧家庭系统的使用体验感，增加各种硬件设备，这大大增加了智慧家庭系统的成本，由于每个家庭的场景不同，导致在不同的场景下增加的硬件设备将不同，即这种智慧家庭系统的适用范围窄。

技术实现要素：

本发明实施方式的目的在于提供一种设备控制的方法、装置、服务器及可读存储介质，使得智慧家庭系统可以智能控制系统中的设备，提高用户使用该智慧家庭系统的舒适度，降低智慧家庭系统的硬件成本，提高智慧家庭系统的适用范围。

为解决上述技术问题，本发明的实施方式提供了一种设备控制的方法，包括：获取场景的图像数据以及场景内所有设备的运行状态信息，所述场景内包括m个设备，m为大于0的整数；根据图像数据，确定场景的环境信息；根据场景的环境信息以及m个设备的运行状态信息，从m个设备中确定出待控制设备以及待控制设备的控制指令；将控制指令发送至待控制设备，由待控制设备按照控制指令调整运行状态。

本发明的实施方式还提供了一种设备控制的装置，包括：获取模块、第一确定模块、第二确定模块和发送模块；获取模块，用于获取场景的图像数据以及场景内所有设备的运行状态信息，所述场景内包括m个设备，m为大于0的整数；第一确定模块，用于根据图像数据，确定场景的环境信息；第二确定模块，用于根据场景的环境信息以及m个设备的运行状态信息，从m个设备中确定出待控制设备以及待控制设备的控制指令；发送模块，用于将控制指令发送至待控制设备，由待控制设备按照控制指令调整运行状态。

本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的设备控制的方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的设备控制的方法。

本发明实施方式相对于现有技术而言，根据场景的图像数据，确定出该场景的环境信息，由于无需在场景中设置多种用于检测环境的传感器，如：温度传感器、湿度传感器、感光传感器等硬件设备，减少了用于监控场景内环境的硬件设备，从而降低了智慧家庭系统的硬件设备的成本，也提高智慧家庭系统的适用范围；通过该场景的环境信息和m个设备的运行状态信息，可确定出待控制设备以及该待控制设备的控制指令，待控制设备按照该控制指令调整运行状态，使得该待控制设备的运行状态与当前环境相适应，更符合当前环境，由于无需人工根据环境确定控制指令，即无需人工参与设备的控制操作，提高控制设备的灵活性和智能性，提高用户使用智慧系统的使用体验。

另外，图像数据包括场景的当前帧图像和与当前帧图像相邻的相邻帧图像；根据图像数据，确定场景的环境信息，具体包括：获取当前帧图像与相邻帧图像的帧差图像；将当前帧图像以及帧差图像输入场景分析网络，获得场景的环境信息，场景分析网络根据场景的每帧图像、相邻两帧图像的帧差图像、场景的环境训练信息训练获得。由于采集场景的图像数据是连续的视频帧图像，使得采用当每帧图像、帧差图像以及场景的环境训练信息训练得到的场景分析网络的预测能力更加准确，提高了场景分析网络预测环境信息的准确性。

另外，场景分析网络包括全连接网络和n个残差单元网络，n为大于0的整数；每个残差单元网络包括至少一个残差块，每个残差块具有各自对应的捷径连接。该场景分析网络中包括具有捷径连接的残差单元网络，提高了场景分析网络的预测环境信息的准确性，另外由于残差单元网络具有捷径连接，可以加快该场景分析网络的训练速度，也提高了该场景分析网络的预测环境信息的准确性。

另外，每个残差单元网络包括第一残差块和第二残差块，第一残差块的输出作为第二残差块的输入；第一残差块包括相互连接的第一卷积层和第二卷积层，第一残差块的输出为第一卷积层的输入数据与第二卷积层的输出数据之和；第二残差块中包括相互连接的第三卷积层与第四卷积层，第二残差块的输出数据为第三卷积层的输入数据。每个残差单元网络包括第一残差块和第二残差块，残差单元网络的结构简单，且第一残差块的输出的数据量增大，而第二残差块的数据量不做改变，通过第一残差块和第二残差块的组合，使得该残差单元网络的收敛速度更快。

另外，根据场景的环境信息以及m个设备的运行状态信息，从m个设备中确定出待控制设备以及待控制设备的控制指令，具体包括：针对每个设备的运行状态信息进行以下处理：根据场景的环境信息以及预设的环境信息与设备的运行状态信息之间的对应关系，确定设备在场景下的待处运行状态信息；判断设备的待处运行状态信息与设备的运行状态信息是否相同，若不相同，则确定设备为待控制设备，并根据待处运行状态信息生成控制指令。根据环境信息以及预设的环境信息与设备的运行状态之间的对应关系，即可确定出该设备符合该当前环境的运行状态，若确定该设备的待处运行状态信息与该设备的当前的运行状态信息不一致，表明该设备需要调整运行状态，即可确定为待控制设备，并基于该待处运行状态信息确定出该待控制设备的控制指令，使得待控制设备按照该控制指令调整运行状态后，更符合当前的环境，从而提高用户使用该智慧家庭系统的舒适度。

另外，根据图像数据，确定场景的环境信息之前，设备控制的方法还包括：对图像数据进行归一化处理和/或去冗余处理。对图像数据进行归一化处理和/或去冗余处理，可以提高环境信息的准确度。

另外，获取场景的图像数据，具体包括：接收图像采集装置采集的场景的图像数据，图像采集装置的拍摄范围覆盖场景。由于图像采集装置的拍摄范围覆盖整个场景，进而确保了接收的图像数据的准确性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式提供的一种设备控制的方法的具体流程图；

图2是根据本发明第二实施方式提供的确定场景的环境信息的一种具体实现示意图；

图3是根据本发明第二实施方式提供的一种场景分析网络的结构示意图；

图4是根据本发明第三实施方式提供的一种设备控制的装置具体结构示意图；

图5是根据本发明第四实施方式提供的一种服务器的具体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

发明人发现相关的智慧家庭系统为了提高各设备与人的交互能力，会获取人物表情或动作，根据人物的表情或动作控制各设备调整设备自身的运行状态，但是，这种方式需要人工配合做出预设的表情或动作，其实质还是由人工控制设备进行运行状态的改变，对设备控制的智能度低。

本发明的第一实施方式涉及一种设备控制的方法。该设备控制的方法应用于智慧家庭系统的控制器上，该控制器可以是本地服务器，也可以是云端服务器，该控制器与待控制设备之间无线通信连接，如红外方式、3g/4g/5g通信方式、无线保证(wirelessfidelity，简称“wifi”)、蓝牙或zigbee等连接方式；服务器通过无线连接向智慧家庭系统中的各个设备发送控制指令，进而控制各设备的运行状态，例如，控制智慧家庭系统中的电灯、冰箱、空调、电视等设备的运行状态。该设备控制的方法的具体流程如图1所示。

步骤101：获取场景的图像数据以及场景内所有设备的运行状态信息，场景内包括m个设备，m为大于0的整数。

一个具体的实现中，接收图像采集装置采集的场景的图像数据，图像采集装置的拍摄范围覆盖场景。只要图像采集装置的拍摄范围覆盖整个场景即可，因此图像采集装置可以是1个摄像头、也可以是多个摄像头的组合。例如，某个场景内包括3个设备，为了保证图像采集装置的拍摄范围覆盖整个场景，可以在该场景的4个角落各设置一个摄像头。若包括m个设备的场景的空间范围较广，还可以将该场景划分为n个区域，每个区域设置摄像头，从而便于n个区域内的摄像头的组合的拍摄范围覆盖整个场景。

在获取到图像数据的同时，场景内所有设备可以主动向该服务器发送自身的运行状态信息。还可以是服务器以固定间隔向场景内各设备发送请求，以及向图像采集装置发送请求，各设备接收到请求后向服务器反馈自身的运行状态信息，同时图像采集装置也返回图像数据。

需要说明的是，应获取相同时刻的图像数据以及场景内设备的运行状态信息，可以理解的是，获取图像数据的时刻与获取的场景内所有设备的运行状态信息的时刻之间的时间误差允许在预设时间范围内，如预设时间范围为1分钟内。

步骤102：根据图像数据，确定场景的环境信息。

具体的说，将获取的图像数据输入场景分析网络中，得到该场景的环境信息。环境信息为以下信息中的一种或多种的组合，该场景中环境的温度、湿度、光线、以及环境中是否包含人物以及人物的数量等。

为了确保经过场景分析网络得到的环境信息的准确性，在确定场景的环境信息之前，可以对图像数据进行归一化处理和/或去冗余处理。通过归一化处理可以将图像数据映射在[0,1]的范围内，统一图像数据的数值范围，便于后续得到环境信息，而通过去冗余处理，可以减小图像数据的数据量，减小无效数据对确定环境信息的干扰。

场景分析网络的训练可以采用深度学习的方式进行，该场景分析网络训练的训练集可以为图像训练数据，以及场景的环境信息。根据该训练集，采用深度学习的方式即可训练得到该场景分析网络，深度学习的方式如卷积神经网络(convolutionalneuralnetworks，简称“cnn”)等。

为了保证训练得到的场景分析网络的准确性。可以从网上搜集家庭场景的视频，如10000个视频作为初始训练样本集，该初始训练样本集中的视频中包括：有人物的场景、无人物的场景、以及各种光线下的场景等。为了进一步丰富初始训练样本集，还可以在开源超大型视频数据库中的视频数据作加入初始训练样本集中；得到的初始训练样本集中的视频内容覆盖广泛的多样化场景，具有普遍适用性，例如该初始训练样本集中包含800万个视频。

初始训练样本集中为视频数据，提取该初始样本训练集中的视频图像数据，作为图像训练数据，同样在进行训练之间，对图像训练数据进行归一化处理和/去冗余处理，可以采用“min-max标准”进行归一化，将图像训练数据应劭到[0,1]之间。通过对图像训练数据进行归一化和/或去冗余处理，可以减小该场景分析网络训练的复杂度，加快该场景分析网络训练的收敛速度，从而快速得到该场景分析网络，具体的训练过程，此处将不追赘述。

步骤103：根据场景的环境信息以及m个设备的运行状态信息，从m个设备中确定出待控制设备以及待控制设备的控制指令。

一个具体的实现中，由于场景中包括了m个设备，针对每个设备的运行状态信息进行以下处理：

根据场景的环境信息以及预设的环境信息与该设备的运行状态信息之间的对应关系，确定设备在场景下的待处运行状态信息；判断设备的待处运行状态信息与设备的运行状态信息是否相同，若不相同，则确定该设备为待控制设备，并根据该待处运行状态信息生成控制指令。

具体的说，可以预先设置环境信息与该设备的运行状态信息之间的对应关系，例如，设备为明暗可调节的电灯，该电灯具有3个运行状态，分别为运行状态1——关闭；运行状态2——弱光线模式；运行状态3——强光线模式；环境中的光线强度值表示为f，那么在a<f<b，则对应电灯的运行状态3，若b<f<c，则该环境信息对应电灯的运行状态2，若f>c，则该环境信息对应电灯的运行状态1。因此，在获取到场景的环境信息，根据该设备的运行状态信息与环境信息之间的对应关系，即可确定该环境信息对应该设备的待处运行状态信息。将该待处运行状态信息与设备的运行状态信息进行比对，若相同，说明该设备的运行状态与当前环境信息相适应，该设备无需进行调整；若该待处运行状态信息与设备的运行状态信息不相同，则表明该设备的运行状态与当前的环境信息不相适应，该设备需要调整运行状态，即可确定该设备为待控制设备，并按照确定的待处运行状态信息生成控制指令，该控制指令可以包括该设备的待处运行状态信息。

步骤104：将控制指令发送至待控制设备，由待控制设备按照控制指令调整运行状态。

具体的说，将该控制指令发送至该待控制设备，由于控制指令中包含了该设备的待运行状态的信息，因而该待控制设备将当前运行状态调整为待运行状态。

本发明实施方式相对于现有技术而言，根据场景的图像数据，确定出该场景的环境信息，由于无需在场景中设置多种用于检测环境的传感器，如：温度传感器、湿度传感器、感光传感器等硬件设备，减少了用于监控场景内环境的硬件设备，从而降低了智慧家庭系统的硬件设备的成本，也提高智慧家庭系统的适用范围；通过该场景的环境信息和m个设备的运行状态信息，可确定出待控制设备以及该待控制设备的控制指令，待控制设备按照该控制指令调整运行状态，使得该待控制设备的运行状态与当前环境相适应，更符合当前环境，由于无需人工根据环境确定控制指令，即无需人工参与设备的控制操作，提高控制设备的灵活性和智能性，提高用户使用智慧系统的使用体验。

本发明的第二实施方式涉及一种设备控制的方法，该设备控制的方法包括：获取场景的图像数据以及场景内所有设备的运行状态信息，场景内包括m个设备，m为大于0的整数；根据图像数据，确定场景的环境信息；根据场景的环境信息以及m个设备的运行状态信息，从m个设备中确定出待控制设备以及待控制设备的控制指令；将控制指令发送至待控制设备，由待控制设备按照控制指令调整运行状态。

本第二实施方式与第一实施方式大致相同，主要区别之处在于：在本发明第二实施方式中，图像数据包括场景的当前帧图像和与当前帧图像相邻的相邻帧图像，本实施方式提供另一种根据图像数据，确定场景的环境信息的具体实现方式。确定场景的环境信息的具体流程如图2所示。

步骤201：获取当前帧图像与相邻帧图像的帧差图像。

具体的说，可以采用帧间差分法提取当前图像与相邻帧图像的帧差图像，即根据相邻的两帧图像之间的区别，即可得到帧差图像。

步骤202：将当前帧图像以及帧差图像输入场景分析网络，获得场景的环境信息，场景分析网络根据场景的每帧图像、相邻两帧图像的帧差图像、场景的环境训练信息训练获得。

由于采集场景的图像数据是连续的视频帧图像，使得采用当每帧图像、帧差图像以及场景的环境训练信息训练得到的场景分析网络的预测能力更加准确，提高了场景分析网络预测环境信息的准确性。

一个具体的实现中，场景分析网络的包括全连接网络和n个残差单元网络，n为大于0的整数；每个残差单元网络包括至少一个残差块，每个残差块具有各自对应的捷径连接。每个残差单元网络包括第一残差块和第二残差块，第一残差块的输出作为第二残差块的输入；第一残差块包括相互连接的第一卷积层和第二卷积层，第一残差块的输出为第一卷积层的输入数据与第二卷积层的输出数据之和；第二残差块中包括相互连接的第三卷积层与第四卷积层，第二残差块的输出数据为第三卷积层的输入数据。

具体的说，在训练该场景分析网络过程中，输入数据为每帧图像的特征向量和帧差图像的特征向量，每个残差单元网络包括第一残差块和第二残差块。每个残差单元网络的网络结构可以表示为公式(1)：

h＝f(x,{wi})+x公式(1)；

其中，x为该残差单元网络的输入数据，h为该残差单元网络的输出数据，f(x,{wi})表示被学习到的残差映射，wi为该残差单元的网络权重参数。

图3为该场景分析网络的结构图，下面结合3介绍该场景分析网络。

具体的说，为了减少输入数据冗余特征，该场景分析网络的设置一个1×1的卷积层，输入数据通过该1×1的卷积层。由于在该网络结构的数据输入侧设置了1×1的卷积层，因而每个残差单元网络中还包括1×1的卷积层，该1×1的卷积层设置在第二残差块的数据输出侧，使得该第二残差块输出的数据在经过1×1的卷积层后，输出数据恢复初始的维度。为了减少训练的时间，每个残差单元网络还包括池化层，池化层的输出数据作为第一个残差单元网络的输入数据；本实施方式中如图3所示，选择步长为2的池化层。本实施方式中的场景分析网络设置5个残差单元网络，即标号1-1表示第一个残差单元网络，1-5表示第五个残差单元网络，另外，全连接网络设置在该最后个残差单元网络(即标号1-5)的输出端，全连接层可以根据实际应用选择，全连接网络的输出的数据经过分类器即可得到环境信息。图3中，标号10即为第一残差块，标号20即为第二残差块，其中，第一卷积层的输入与第二卷层的输出之和作为第一残差块的输出数据，虚线表示第一残差块的捷径连接；第二残差块的输出数据为第三卷积层的输入数据，实线曲线表示第二残差块的捷径连接。

训练过程中需要初始场景分析网络的网络权重参数，采用阶梯下降策略不断调整初始场景分析网络的网络参数。采用错误率指标来评价训练网络的精确性，错误率度量的是练网络输出结果与真实结果之间的不匹配程度，即错误率越小，表明练网络的鲁棒性越好。考虑到场景分析网络的精度，将训练数据集进行上万次的迭代训练，选取错误率最小时所对应的参数，得到最终的场景分析网络。

本实施方式提供的设备控制的方法，该场景分析网络中包括具有捷径连接的残差单元网络，提高了场景分析网络的预测环境信息的准确性，同时包括残差单元网络，可以加快该场景分析网络的训练速度。每个残差单元网络包括第一残差块和第二残差块，残差单元网络的结构简单，且第一残差块的输出的数据量增大，而第二残差块的数据量不做改变，通过第一残差块和第二残差块的组合，使得该残差单元网络的收敛速度更快。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种设备控制的装置，该设备控制的装置30的结构如图4所示，包括：获取模块301、第一确定模块302、第二确定模块303和发送模块304。获取模块301，用于获取场景的图像数据以及场景内所有设备的运行状态信息，场景内包括m个设备，m为大于0的整数；第一确定模块302，用于根据图像数据，确定场景的环境信息；第二确定模块303，用于根据场景的环境信息以及m个设备的运行状态信息，从m个设备中确定出待控制设备以及待控制设备的控制指令；发送模块304，用于将控制指令发送至待控制设备，由待控制设备按照控制指令调整运行状态。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第四实施方式涉及一种服务器，该服务器40的结构如图5所示，包括：至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一实施方式或第二实施方式中的设备控制的方法。

其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。

处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器在执行操作时所使用的数据。

本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现第一实施方式或第二实施方式中的设备控制的方法。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。