基于智能家居的行为识别方法、装置、存储介质及设备与流程

本发明涉及人工智能技术领域，尤其涉及一种基于智能家居的行为识别方法、装置、存储介质及设备。

背景技术：

随着人工智能技术的发展，越来越多的产品加入了智能化应用，这些智能化产品使得我们的生活更加便利。以家庭服务为主智能监控系统逐渐进入到我们的生活中，在行为监控方面传统技术主要通过视频图像检测来实现，但是传统技术局限并不能准确可靠地检测出异常行为。

技术实现要素：

鉴于上述问题，本发明提出了一种基于智能家居的行为识别方法、装置、存储介质及设备，能够准确、可靠的实现对行为事件的识别，以及时发现异常行为事件，使智能家居监控系统更加智能、安全。

本发明的一个方面，提供了一种基于智能家居的行为识别方法，所述方法包括：

获取智能家居监控系统采集的图像或视频数据；

识别所述图像或视频数据中的动作特征以及与所述动作特征相关物品的物品特征；

监测当前数据采集时刻待测对象接收到定位信号的信号接收强度，所述定位信号由预先布置于智能家居监控系统的信号源发射；

判定所述信号接收强度对应的位置信息；

根据所述动作特征、物品特征以及位置信息识别待测对象的行为。

其中，所述根据所述动作特征、物品特征以及位置信息识别待测对象的行为之后，所述方法还包括：

根据预设的行为识别模型，判定待测对象的行为是否为异常行为，若待测对象的行为是异常行为，则根据预设的救援方式向外界发出报警信号。

其中，所述识别所述图像或视频数据中的动作特征以及与所述动作特征相关物品的物品特征，包括：

根据背景相减法提取所述图像或视频数据中的待测对象区域和背景区域；

提取所述待测对象区域的运动历史图像特征，采用预设动态贝叶斯网络模型对所述运动历史图像特征进行识别，得到所述图像或视频数据中的动作特征；

根据迭代阈值算法对背景区域进行分割，分别提取分割后各个子图像的图像特征，并采用预设支持向量机模型对各个子图像的图像特征进行识别，得到所述图像或视频数据中的物品特征。

其中，所述根据背景相减法提取所述图像或视频数据中的待测对象区域和背景区域，包括：

采用小波阈值法对所述图像或视频数据进行去噪处理；

采用基于混合高斯模型的背景减除法提取所述图像或视频数据中的待测对象区域和背景区域。

其中，所述根据迭代阈值算法对背景区域进行分割，包括：

根据预设比例在所述待测对象区域外部截取指定范围的目标背景区域，对截取到的目标背景区域采用迭代阈值算法进行分割。

其中，所述判定所述信号接收强度对应的位置信息，包括：

查找预设的定位映射关系，以获取所述信号接收强度对应的位置信息，所述定位映射关系中包括有指定区域内不同的位置信息与该位置信息的信号接收强度之间的对应关系。

其中，所述判定所述信号接收强度对应的位置信息，包括：

将所述信号接收强度与预设数据库中位置信息进行匹配，采用k-近邻法从所述预设数据库中查找所述信号接收强度对应的位置信息的k个相邻位置信息，所述数据库中包括有指定区域内不同的位置信息与该位置信息的信号接收强度之间的对应关系；

根据k个所述相邻位置信息确定与所述信号接收强度对应的位置信息。

其中，所述根据所述动作特征、物品特征以及位置信息识别待测对象的行为，包括：

将所述动作特征、物品特征以及位置信息作为描述子信息，采用上下文无关文法对所述描述子信息进行描述识别，以确定待测对象的行为。

本发明的另一个方面，提供了一种基于智能家居的行为识别装置，包括：

获取模块，用于获取智能家居监控系统采集的图像或视频数据；

特征识别模块，用于识别所述图像或视频数据中的动作特征以及与所述动作特征相关物品的物品特征；

监测模块，用于监测当前数据采集时刻待测对象接收到定位信号的信号接收强度，所述定位信号由预先布置于智能家居监控系统的信号源发射；

判定模块，用于判定所述信号接收强度对应的位置信息；

行为识别模块，用于根据所述动作特征、物品特征以及位置信息识别待测对象的行为。

其中，所述行为识别模块，还用于在所述根据所述动作特征、物品特征以及位置信息识别待测对象的行为之后，根据预设的行为识别模型，判定待测对象的行为是否为异常行为，若待测对象的行为是异常行为，则根据预设的救援方式向外界发出报警信号。

其中，所述特征识别模块，包括：

第一提取单元，用于根据背景相减法提取所述图像或视频数据中的待测对象区域和背景区域；

第一识别单元，用于提取所述待测对象区域的运动历史图像特征，采用预设动态贝叶斯网络模型对所述运动历史图像特征进行识别，得到所述图像或视频数据中的动作特征；

第二识别单元，用于根据迭代阈值算法对背景区域进行分割，分别提取分割后各个子图像的图像特征，并采用预设支持向量机模型对各个子图像的图像特征进行识别，得到所述图像或视频数据中的物品特征。

其中，所述判定模块，具体用于查找预设的定位映射关系，以获取所述信号接收强度对应的位置信息，所述定位映射关系中包括有指定区域内不同的位置信息与该位置信息的信号接收强度之间的对应关系，或，

将所述信号接收强度与预设数据库中位置信息进行匹配，采用k-近邻法从所述预设数据库中查找所述信号接收强度对应的位置信息的k个相邻位置信息，所述数据库中包括有指定区域内不同的位置信息与该位置信息的信号接收强度之间的对应关系，根据k个所述相邻位置信息确定与所述信号接收强度对应的位置信息。

其中，所述行为识别模块，具体用于将所述动作特征、物品特征以及位置信息作为描述子信息，采用上下文无关文法对所述描述子信息进行描述识别，以确定待测对象的行为。

此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。

此外，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。

本发明实施例提供的基于智能家居的行为识别方法、装置、存储介质及设备，将待测对象的动作特征、与动作特征相关的物品特征以及位置信息融合识别待测对象的当前行为，对行为事件的识别更加可靠，能够及时发现异常行为事件，使智能家居监控系统更加智能、安全。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例的一种基于智能家居的行为识别方法的流程示意图；

图2为本发明实施例的一种基于智能家居的行为识别方法中室内定位系统的示意图；

图3为本发明实施例的另一种基于智能家居的行为识别方法的流程示意图；

图4为本发明实施例的一种基于智能家居的行为识别方法中步骤s12的细分流程图；

图5为本发明实施例的一种基于智能家居的行为识别装置的结构示意图；

图6为本发明实施例的一种基于智能家居的行为识别装置中特征识别模块的内部结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

图1示意性示出了本发明一个实施例的基于智能家居的行为识别方法的流程图。参照图1，本发明实施例提出的基于智能家居的行为识别方法具体包括步骤s11～s15，如下所示：

s11、获取智能家居监控系统采集的图像或视频数据。

本实施例中，可通过智能家居监控系统中的分布式视频摄像头实现图像或视频数据的采集和上传。

s12、识别所述图像或视频数据中的动作特征以及与所述动作特征相关物品的物品特征。

s13、监测当前数据采集时刻待测对象接收到定位信号的信号接收强度，所述定位信号由预先布置于智能家居监控系统的信号源发射。

本实施例中，预先在智能家居监控系统布置信号源，用于发射定位信号。

具体的，本实施例中的室内定位技术采用基于射频信号的场景分析法，来定位待测对象，如：人体，在家居环境中的具体位置。如图2所示，以室内定位系统为例进行说明。首先在室内四周布置rfid读写器，在室内环境中测量不同位置的信号接收强度，收集到的不同位置区域的信号接收强度信息(rss)建立相应的数据库或映射关系。

s14、判定所述信号接收强度对应的位置信息。

具体的，可通过预先建立的数据库或映射关系匹配确定当前信号接收强度对应的位置信息。

s15、根据所述动作特征、物品特征以及位置信息识别待测对象的行为。

本发明实施例提供的基于智能家居的行为识别方法，通过分布式视频摄像头和射频传感系统获取图像或视频数据，采用识别算法识别图像或视频数据中待测对象的动作特征、与动作特征相关的物品特征，并基于定位技术实时定位待测对象的具体信息，将待测对象的动作特征、与动作特征相关的物品特征以及位置信息融合识别待测对象的当前行为，对行为事件的识别更加可靠，能够及时发现异常行为事件，使智能家居监控系统更加智能、安全。

图3示意性示出了本发明另一个实施例的基于智能家居的行为识别方法的流程图。参照图3，在实施例中，在根据所述动作特征、物品特征以及位置信息识别待测对象的行为之后，还包括步骤s16，具体如下：

s16根据预设的行为识别模型，判定待测对象的行为是否为异常行为，若待测对象的行为是异常行为，则根据预设的救援方式向外界发出报警信号。

具体的，本发明还可以扩展定义、分析多种行为，在发生设定的异常行为时，自动进行识别并报警，提高了安防系统的识别性能和更智能化的处理能力。

在本发明实施例中，如图4所示，步骤s12中的识别所述图像或视频数据中的动作特征以及与所述动作特征相关物品的物品特征，具体包括以下步骤：

s121、根据背景相减法提取所述图像或视频数据中的待测对象区域和背景区域。

进一步地，步骤s121中的根据背景相减法提取所述图像或视频数据中的待测对象区域和背景区域，可通过以下步骤实现：采用小波阈值法对所述图像或视频数据进行去噪处理；采用基于混合高斯模型的背景减除法提取所述图像或视频数据中的待测对象区域和背景区域。

s122、提取所述待测对象区域的运动历史图像特征，采用预设动态贝叶斯网络模型对所述运动历史图像特征进行识别，得到所述图像或视频数据中的动作特征。

s123、根据迭代阈值算法对背景区域进行分割，分别提取分割后各个子图像的图像特征，并采用预设支持向量机模型对各个子图像的图像特征进行识别，得到所述图像或视频数据中的物品特征。

进一步地，步骤s123中的根据迭代阈值算法对背景区域进行分割，具体实现如下：根据预设比例在所述待测对象区域外部截取指定范围的目标背景区域，对截取到的目标背景区域采用迭代阈值算法进行分割。

在实际应用中，通过视频处理实现人体动作特征的识别。首先进行预处理,采用小波阈值进行去噪处理；运动人体的检测，采用基于混合高斯的背景减除法实现运动人体区域的检测其实时性较高；对检测到的人体区域提取运动历史图像(mhi)特征，来描述人体运动在空间中发生的位置；分类器使用动态贝叶斯网络对提取到的特征进行训练和识别。

通过上述的背景减除法能够区分开人体区域和背景区域，根据人体区域轮廓，按照一定比例在人体轮廓外部周围截取背景图像，然后对截取到的背景图像采用迭代阈值算法对图像进行分割，提取sift特征，使用支持向量机对分割的图像特征进行物品的训练和识别。

在本发明实施例中，步骤s14中的判定所述信号接收强度对应的位置信息，可通过以下步骤实现：查找预设的定位映射关系，以获取所述信号接收强度对应的位置信息，所述定位映射关系中包括有指定区域内不同的位置信息与该位置信息的信号接收强度之间的对应关系。

在本发明另一实施例中，步骤s14中的判定所述信号接收强度对应的位置信息，可通过以下步骤实现：将所述信号接收强度与预设数据库中位置信息进行匹配，采用k-近邻法从所述预设数据库中查找所述信号接收强度对应的位置信息的k个相邻位置信息，所述数据库中包括有指定区域内不同的位置信息与该位置信息的信号接收强度之间的对应关系；根据k个所述相邻位置信息确定与所述信号接收强度对应的位置信息。

在实际中，实时测量待测对象所在位置的信号接收强度与之前建立的数据库信息进行匹配，采用k-近邻法，利用均方根法寻找k个最近值，根据k个最近值确定出待测对象所在的位置信息。

在本发明实施例中，步骤s15中的根据所述动作特征、物品特征以及位置信息识别待测对象的行为，具体通过以下步骤实现：将所述动作特征、物品特征以及位置信息作为描述子信息，采用上下文无关文法对所述描述子信息进行描述识别，以确定待测对象的行为。

本实施例中，获取到三种信息后，将获取的动作特征、物品特征以及位置信息作为描述子信息，定义相应的逻辑关系，使用上下文无关文法进行描述识别，判断当前描述是否满足预设的逻辑关系并基于具体单词内容进行事件的识别。进一步地，当识别出危险事件后向外界发送警报信号，可以将识别的描述信息作为向外界传输内容的一部分，可以让人清楚具体是什么危险事件能够有所准备。

下面通过两个具体实施例对本发明技术方案进行详细说明。

示例1：对老人摔倒事件的识别，其发生的地点一般为除沙发和床的其他地方，通过基于视频的动作识别识别摔倒动作，动作相关联的物品如与身体大部分部位关联的地板，对地板进行识别，然后识别出具体位置，将三种信息进行汇总融合识别发生的摔倒事件。如果识别为摔倒事件，后续识别出人一直在摔倒的位置且动作为横躺动作，关联物品仍为地板，则为晕倒事件，及时通过报警系统向外界发出危险信号。

示例2：对于小孩子爬窗户和灶台玩耍都是一种危险行为，通过视频识别爬动作和相关联的窗户和灶台等物品识别，通过定位系统具体对人所在的位置进行定位，进一步确定信息即事件内容，最后通过上下文无关文法进行事件的识别，从而鉴定是否为危险行为。

本发明实施例提供的基于智能家居的行为识别方法，通过建立相关算法模型实现对智能家居监控系统采集的图像或视频数据中待测对象动作特征的识别和与待测对象动作特征相关联物品的物品特征识别，通过无线射频(rfid)技术定位待测对象的具体位置信息，将动作特征、关联物品特征和位置信息建立融合模型进而实现行为综合识别，对异常行为事件的识别更加可靠，使智能家居监控系统更智能，人的生活更安全。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图5示意性示出了本发明一个实施例的基于智能家居的行为识别装置的结构示意图。参照图5，本发明实施例的基于智能家居的行为识别装置具体包括获取模块501、特征识别模块502、监测模块503、判定模块504以及行为识别模块505，其中：

获取模块501，用于获取智能家居监控系统采集的图像或视频数据；

特征识别模块502，用于识别所述图像或视频数据中的动作特征以及与所述动作特征相关物品的物品特征；

监测模块503，用于监测当前数据采集时刻待测对象接收到定位信号的信号接收强度，所述定位信号由预先布置于智能家居监控系统的信号源发射；

判定模块504，用于判定所述信号接收强度对应的位置信息；

行为识别模块505，用于根据所述动作特征、物品特征以及位置信息识别待测对象的行为。

在本发明实施例中，所述行为识别模块505，还用于在所述根据所述动作特征、物品特征以及位置信息识别待测对象的行为之后，根据预设的行为识别模型，判定待测对象的行为是否为异常行为，若待测对象的行为是异常行为，则根据预设的救援方式向外界发出报警信号。

在本发明实施例中，如图6所示，所述特征识别模块502，具体包括第一提取单元5021、第一识别单元5022以及第二识别单元5023，其中：

第一提取单元5021，用于根据背景相减法提取所述图像或视频数据中的待测对象区域和背景区域；

第一识别单元5022，用于提取所述待测对象区域的运动历史图像特征，采用预设动态贝叶斯网络模型对所述运动历史图像特征进行识别，得到所述图像或视频数据中的动作特征；

第二识别单元5023，用于根据迭代阈值算法对背景区域进行分割，分别提取分割后各个子图像的图像特征，并采用预设支持向量机模型对各个子图像的图像特征进行识别，得到所述图像或视频数据中的物品特征。

所述的第一提取单元5021，具体用于采用小波阈值法对所述图像或视频数据进行去噪处理；采用基于混合高斯模型的背景减除法提取所述图像或视频数据中的待测对象区域和背景区域。

所述的第二识别单元5023，具体用于根据预设比例在所述待测对象区域外部截取指定范围的目标背景区域，对截取到的目标背景区域采用迭代阈值算法进行分割。

在本发明实施例中，所述判定模块504，具体用于查找预设的定位映射关系，以获取所述信号接收强度对应的位置信息，所述定位映射关系中包括有指定区域内不同的位置信息与该位置信息的信号接收强度之间的对应关系。

在本发明另一实施例中，所述判定模块504，具体用于将所述信号接收强度与预设数据库中位置信息进行匹配，采用k-近邻法从所述预设数据库中查找所述信号接收强度对应的位置信息的k个相邻位置信息，所述数据库中包括有指定区域内不同的位置信息与该位置信息的信号接收强度之间的对应关系，根据k个所述相邻位置信息确定与所述信号接收强度对应的位置信息。

在本发明实施例中，所述行为识别模块505，具体用于将所述动作特征、物品特征以及位置信息作为描述子信息，采用上下文无关文法对所述描述子信息进行描述识别，以确定待测对象的行为。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明实施例提供的基于智能家居的行为识别方法、装置、存储介质及设备，将待测对象的动作特征、与动作特征相关的物品特征以及位置信息融合识别待测对象的当前行为，对行为事件的识别更加可靠，能够及时发现异常行为事件，使智能家居监控系统更加智能、安全。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。

本实施例中，所述基于智能家居的行为识别装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明实施例提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个基于智能家居的行为识别方法实施例中的步骤，例如图1所示的步骤s11、获取智能家居监控系统采集的图像或视频数据。s12、识别所述图像或视频数据中的动作特征以及与所述动作特征相关物品的物品特征。s13、监测当前数据采集时刻待测对象接收到定位信号的信号接收强度，所述定位信号由预先布置于智能家居监控系统的信号源发射。s14、判定所述信号接收强度对应的位置信息。s15、根据所述动作特征、物品特征以及位置信息识别待测对象的行为。或者，所述处理器执行所述计算机程序时实现上述各基于智能家居的行为识别装置实施例中各模块/单元的功能，例如图5所示的获取模块501、特征识别模块502、监测模块503、判定模块504以及行为识别模块505。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于智能家居的行为识别装置中的执行过程。例如，所述计算机程序可以被分割成获取模块501、特征识别模块502、监测模块503、判定模块504以及行为识别模块505。

所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本实施例中的电子设备可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述电子设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。