IOT设备控制界面的显示方法、系统、设备及存储介质与流程

本发明涉及物联网领域，具体地说，涉及一种iot设备控制界面的显示方法、系统、设备及存储介质。
背景技术：
：iot(internetofthings，物联网)是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。iot的发展使得以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术等家居生活有关的设施集成的智能家居系统成为可能。智能家居系统可构建高效的住宅设施(iot设备)与家庭日程事物的管理系统，其中，iot设备包括智能家用电器：如空调、中央空调系统、冰箱、现代化的厨卫、整体厨房、电饭煲、电视、家庭娱乐、家庭影院、中央背景音乐系统、热水淋浴器、整体卫浴、洗衣机、吸尘器和电热暖气等；还包括智能家居网络传感器：如无线可燃气泄漏探测器、气体成分传感器、温度感应器、湿度传感器、无线门磁感应器、窗磁感应器。还包括视频传感智能系统：门禁视频智能系统、老幼生活安全视频智能系统和车库视频智能系统等；还包括智能能源动力开关系统：智能供电箱、智能电流插座，它可远程遥控和管理电参数的：电流、电压、功率、电耗；电动煤气阀门、电动水阀门、暖气热源系统电动阀门等，甚至还可包括智能建筑与环境监测。智能家居系统的iot设备的一般由用户端，如手机、pad端或pc端的app实现管理，但随着iot设备的增多，不同设备的管理app及同一设备的多种操作界面的人工查找、显示费时且繁琐，因此，亟需一种高效的自动iot设备控制界面的显示方法以适应智能家居发展的需要。需要说明的是，在上述
背景技术：
部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。技术实现要素：针对现有技术中的问题，本发明的目的在于提供了一种iot设备控制界面的显示方法、系统、设备及存储介质，解决随着iot设备增加而引起的人工查找设备控制界面困难且繁琐的问题。本发明的实施例提供了一种iot设备控制界面的显示方法，其特征在于，该方法包括以下步骤：用户端获取iot设备相关的第一图像，并将所述第一图像发送至控制中心，所述控制中心设置有分类能力的机器学习算法模型；所述控制中心接收到第一图像，通过所述机器学习算法模型识别设备识别号；若所述控制中心识别成功，则所述控制中心返回设备识别号至所述用户端，所述用户端显示所述设备识别号所对应的控制界面；若所述控制中心识别失败，则所述控制中心返回设备识别号列表至所述用户端，所述用户端根据所述用户指令选择设备识别号，所述用户端发送第一图像存储信号给所述控制中心，所述控制中心将经用户识别后的所述第一图像存储至图像训练集，所述图像训练集包含标注有设备识别号的图像，用于训练所述机器学习算法模型。优选地，所述机器学习算法模型至少包括第一模型、第二模型和第三模型中任意一模型；所述第一模型的输入为包含有设备的图像，输出为对应的设备识别号；所述第二模型的输入为包含有设备及背景的图像，输出为对应的设备识别号；所述第三模型的输入为包含有设备所对应场景的图像，输出为对应的设备识别号。优选地，采用所述图像训练集通过以下步骤训练所述机器学习算法模型：提取所述图像训练集的图像特征，所述图像特征使用向量形式进行表示，得到机器学习算法模型的模型参数。优选地，所述控制中心可设定训练所述机器学习算法模型的频率或者启动训练的条件。优选地，所述控制中心通过所述机器学习算法模型识别设备识别号包括以下步骤：所述控制中心提取接收到的所述第一图像的第一图像特征，并将第一图像特征与所述机器学习算法模型中的图像特征进行比对，得到第一图像标识为各个设备识别号的概率。优选地，所述控制中心确定所述概率中的最大概率，设定一特定数值；当所述最大概率大于等于所述一特定数值时，为识别成功状态，将最大概率对应的设备识别号作为所述图像的所对应的设备识别号返回至所述用户端；当所述最大概率小于所述一特定数值时，为识别失败状态，所述控制中心返回设备识别号列表至所述用户端。优选地，所述控制中心返回设备识别号列表至所述用户端，所述列表为按概率大小排列的各个设备识别号。本发明的实施例还提供了一种iot设备控制界面的显示系统，其特征在于，该系统包括用户端和控制中心；所述用户端具有摄像功能；所述控制中心包括控制单元、分析计算单元、图像单元和训练单元；所述用户端获取iot设备相关的第一图像，并将所述第一图像发送至所述控制单元，所述控制单元设置有分类能力的机器学习算法模型；所述控制单元接收第一图像，所述分析计算单元通过所述机器学习算法模型识别设备识别号；若所述分析计算单元识别成功，则所述控制单元返回设备识别号至所述用户端，所述用户端显示所述设备识别号所对应的控制界面；若所述分析计算单元识别失败，则所述控制单元返回设备识别号列表至所述用户端，所述用户端根据所述用户指令选择设备识别号，所述用户端发送第一图像存储信号给所述控制单元，所述控制单元将经用户识别后的所述第一图像存储至所述图像单元中的图像训练集，所述图像训练集包含标注有设备识别号的图像，所述训练单元使用所述图像训练集训练所述机器学习算法模型。本发明实施例还提供了一种iot设备控制界面的显示设备，其特征在于，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述iot设备控制界面的显示方法的步骤。本发明实施例一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现所述iot设备控制界面的显示方法的步骤。本发明是通过图像识别来自动显示iot设备的控制界面，解决随着iot设备增加而引起的人工查找设备控制界面困难且繁琐的问题，本发明通过图像训练集训练机器学习算法模型，一方面会随着用户使用次数的增加而增加图像训练集的数据，随之的机器学习算法模型更优化，从而提高使用过程中iot设备控制界面显示的准确性和效率，同时，根据使用习惯对应的应用场景生成的图像训练集也使用户个性化的需求成为可能，即每个用户可训练带有个性化的机器学习算法模型。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明一实施例图的iot设备控制界面的显示方法应用场景示意图；图2为本发明一实施例图的iot设备控制界面的显示方法的流程图；图3为本实用一实施例的初始设置的交互界面示意图；图4为本实用一实施例识别成功后显示iot设备控制界面的示意图；图5为本实用一实施例识别失败后用户端交互界面的示意图；图6为本发明一实施例的iot设备控制界面的显示系统的示意图；图7为本发明一实施例的iot设备控制界面的显示设备的结构示意图；以及图8为本发明一实施例的计算机可读存储介质的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。图1为智能家居系统的结构示意图，该系统包括：用户端10、控制中心20和多个iot设备30。用户端10和控制中心20之间、控制中心20和多个iot设备30之间通过有线网络或无线网络相连。iot设备30采用的网络协议包括但不限于如下协议中的至少一种：基于zigbee(zigzagflyingofbees，紫蜂)协议的网络协议；基于无线组网规格z-wave的网络协议；基于wi-fi(wirelessfidelity，无线保真)协议的网络协议；基于ble(bluetoothlowenergy，蓝牙低功耗)协议的网络协议；基于rf(radiofrequency，射频)433协议的网络协议，该网络协议使用433mhz频段；基于rf2.4g协议的网络协议，该网络协议使用2.4ghz频段；基于射频rf5g协议的网络协议，该网络协议使用5ghz频段。图2为本发明一实施例的iot设备控制界面的显示方法的流程图，该方法具体包括以下步骤:s100用户端获取iot设备相关的第一图像，用户端可以是具有摄像功能的手机端11、pad端12或pc端13。s100是用户拍摄iot设备的过程，用户端将所述第一图像发送至控制中心，所述控制中心设置有分类能力的机器学习算法模型；s200所述控制中心接收第一图像；s300所述控制中心通过所述机器学习算法模型识别设备识别号，这里的设备识别号可以是各个iot设备的编号，起到能标识各个iot设备的作用即可；s400若所述控制中心识别成功，则所述控制中心返回设备识别号至所述用户端，实施例中，用户端可以预存有设备识别号与对应的控制界面的映射关系表，用户端通过所述显示映射关系表确定对应的控制界面的并显示之。表1设备识别号与对应的控制界面的映射关系表设备识别号iot设备对应的控制界面id0001冰箱的控制界面id0002空调的控制界面idxxxx音箱的控制界面s500若所述控制中心识别失败，则所述控制中心返回设备识别号列表至所述用户端，所述用户端根据所述用户指令选择设备识别号，所述用户端发送第一图像存储信号给所述控制中心，所述控制中心将经用户识别后的所述第一图像存储至图像训练集，所述图像训练集包含标注有设备识别号的图像，用于训练所述机器学习算法模型。初始的图像训练集可以是控制中心预存储的与设备相关的通用图像训练集，设置有分类能力的机器学习算法模型可以是通过预存储通用图像训练集训练好的机器学习算法模型。在本发明的实施例中，图像训练集也可以是用户个性化设置的，本发明的用户端可以提供设置初始图像训练集的交互界面，如图3所示。具体地，用户选择交互界面上的一iot设备，如选项客厅的设备001，用户端进入拍摄模式，对设备001进行拍摄，拍摄时可以考虑日常使用习惯，同一个设备从多个角度、多个距离拍摄，以获得设备各个视角的图像，并将之上传至控制中心的图像训练集，在选择设备后进行拍摄的图像用户端自动的设置图像对应设备识别号，即图像训练集存储的是注有设备识别号的图像，用户可重复上述步骤完成家居环境下各个iot设备图像标识分类。用户端输入设定图像训练集的方法不限于此，例如也可先拍摄图像，用户手动填写设备信息等。上述用户个性化的图像训练集建立完成后，机器学习算法模型提取所述图像训练集的图像特征，图像特征使用向量形式进行表示，得到机器学习算法模型的模型参数，机器学习算法模型训练完成。在实际的使用中，当设备的外形相同或类似是，仅通过设备外形识别设备，会出现识别率低的问题。因此，本发明的机器学习算法模型可以包括不同图像识别方式的模型，如第一模型、第二模型和第三模型等。我们的实施例中定义所述第一模型的输入为包含有设备的图像，输出为对应的设备识别号；所述第二模型的输入为包含有设备及背景的图像，输出为对应的设备识别号；所述第三模型的输入为包含有设备所对应场景的图像，输出为对应的设备识别号。对于外形相同或类似的设备，拍摄设备的时候可以包含背景，如周围的部分装饰场景；如果设备所处的背景也相同或类似，则可以在设备上附贴一些可辨识的装饰以便提高识别正确率。要说明的是本发明不仅可以通过识别图像中的设备来确定设备识别号，还可以设定特定的设备所对应场景的图像来识别设备，比如扫地机器人正在清扫床底，用户在客厅拍摄地面，控制中心识别地面的图像，找到地面对应的扫地机器人识别号，用户端即可调出扫地机器人的控制界面，从而对其进行控制。机器学习算法模型的数量和模型对图像的识别方式不限于上述阐述，可根据实际需要来确定。s300所述控制中心通过所述机器学习算法模型识别设备识别号，实施例中，可以具体包括以下步骤：所述控制中心提取接收所述第一图像的第一图像特征，并将第一图像特征与所述机器学习算法模型中的图像特征进行比对，图像特征的比对为多个使用的向量之间的比对，根据向量之间的相似度，得到第一图像标识为各个设备识别号的概率。所述控制中心确定所述概率中的最大概率，设定一特定数值；当所述最大概率大于等于所述一特定数值时，为识别成功状态，将最大概率对应的设备识别号作为所述图像的所对应的设备识别号返回至所述用户端。图4为本实用一实施例识别成功后用户端10显示iot设备控制界面的示意图，用户通过所述控制界面控制iot设备，此实施例中为音箱的控制界面。当所述最大概率小于所述一特定数值时，为识别失败状态，所述控制中心返回设备识别号列表至所述用户端。图5为本实用一实施例识别失败后用户端10交互界面的示意图，所述列表为按概率大小排列的各个设备识别号。实际列表中的设备识别号可能多于图5中显示的个数，见图5的返回列表区8。举例来说，若用户选择图5中的“空调”为上述识别失败的第一图像所对应的设备，则用户端将所示第一图像标注为“空调”对应设备识别号，并发送第一图像存储信号给所述控制中心，所述控制中心将所述第一图像存储至图像训练集，此过程实际为用户端更新图像训练集的过程。控制中心可设定训练所述机器学习算法模型的频率或者启动训练的条件。例如可设定定期根据图像训练集训练所述机器学习算法模型，或者是图像训练集每增加一定数量图像后训练所述机器学习算法模型。为方便起见，识别失败时用户端10交互界面也可以提供再次获取iot设备相关的图像的选项，见图5的功能区9，从而返回本发明的步骤s100，重复本发明的显示方法的流程。图6为本发明一实施例的iot设备控制界面的显示系统的示意图，该系统包括用户端10和控制中心20；所述用户端10具有摄像功能，所述控制中心包括控制单元21、分析计算单元22、图像单元23和训练单元24；所述用户端获取iot设备相关的第一图像，并将所述第一图像发送至所述控制单元21，所述控制单元21设置有分类能力的机器学习算法模型；所述控制单元21接收第一图像，所述分析计算单元22通过所述机器学习算法模型识别设备识别号；若所述分析计算单元22识别成功，所述控制单元21返回设备识别号至所述用户端，所述用户端显示所述设备识别号所对应的控制界面；若所述分析计算单元22识别失败，所述控制单元21返回设备识别号列表至所述用户端，所述用户端根据所述用户指令选择设备识别号，所述用户端发送第一图像存储信号给所述控制单元21，所述控制单元21将经用户识别后的所述第一图像存储至所述图像单元23中的图像训练集，所述图像训练集包含标注有设备识别号的图像，所述训练单元24使用所述图像训练集训练所述机器学习算法模型。本发明实施例还提供一种iot设备控制界面设备，包括处理器；存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的iot设备控制界面方法的步骤。所属
技术领域：
的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图2中所示的步骤。存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、ra识别信息系统、磁带驱动器以及数据备份存储平台等。本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行实现iot设备控制界面的显示方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。综上所述，本发明提供了一种iot设备控制界面的显示方法，其特征在于，该方法包括用户端获取iot设备相关的第一图像，并将所述第一图像发送至控制中心，所述控制中心设置有分类能力的机器学习算法模型；所述控制中心接收到第一图像，通过所述机器学习算法模型识别设备识别号；若所述控制中心识别成功，所述控制中心返回设备识别号至所述用户端，所述用户端显示所述设备识别号所对应的控制界面；若所述控制中心识别失败，所述控制中心返回设备识别号列表至所述用户端，所述用户端根据所述用户指令选择设备识别号，所述用户端发送第一图像存储信号给所述控制中心，所述控制中心将经用户识别后的所述第一图像存储至图像训练集，所述图像训练集包含标注有设备识别号的图像，用于训练所述机器学习算法模型。本发明是通过图像识别来自动显示iot设备的控制界面，解决随着iot设备增加而引起的人工查找设备控制界面困难且繁琐的问题，本发明通过图像训练集训练机器学习算法模型，一方面会随着用户使用次数的增加而增加图像训练集的数据，随之的机器学习算法模型更优化，从而提高使用过程中iot设备控制界面显示的准确性和效率，同时，根据使用习惯对应的应用场景生成的图像训练集也使用户个性化的需求成为可能，即每个用户可训练带有个性化的机器学习算法模型。以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。当前第1页12