一种实时视频家居环境设备识别交互的远程智能家居控制方法与流程

本发明涉及智能家居中的远程视频识别及交互控制和视频模式识别算法技术领域，尤其涉及一种实时视频家居环境设备识别交互的远程智能家居控制方法。

背景技术：

随着移动网络和智能家居技术的应用，在网络环境下，实现远程家居设备的操作成为目前的一个研究热点。基于无线网络智能家居和计算机视觉识别的控制在智能家居、远程交互、助残护理等领域中有较为广泛的应用。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种实时视频家居环境设备识别交互的远程智能家居控制方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种实时视频家居环境设备识别交互的远程智能家居控制方法，实现在家居环境场景中，使用网络摄像机对家居环境中的电器、设备进行识别，并根据识别结果开启对应设备的控制界面，进行设备电器的远程控制，同时在实时视频中进行控制结果的反馈，该方法包括以下步骤：

s1、使用基于wifi网络的网络摄像头，监控家居场景，采集家居环境中的多角度图像，并对图像做预处理，包括：灰度化、二值化、边缘化操作；

s2、使用在线设备形状分类器，将预处理的图像与该分类器中的模型进行匹配，对家居环境中存在的设备信息做初定位，提取初定位区域图像，作为设备识别分类器的输入；

s3、对提取的初定位区域图像，调用在线设备分类器模型，使用深度学习匹配算法，对该图像进行识别；

s4、深度学习匹配算法实时识别出家居环境中的电器设备，根据识别出的设备类别，调用预学习的遥控码，对该设备进行远程控制；

s5、对电器设备的远程控制结果通过实时视频反馈到控制端，获取电器设备的实时状态值，并远程调整摄像头运动，获取多角度图像，完成控制过程。

进一步地，本发明的步骤s1的具体方法为：

s11、在提取的视频图像上，进行图像的形状处理，首先对图像做边缘检测，提取连续边缘；

s12、在连续边缘区域提取设备的轮廓，标识开轮廓区域的角点，利用角点位置做几何校正，获取该设备的规范图。

进一步地，本发明的步骤s2的具体方法为：

s21、分类器学习：在分类器学习的预处理阶段，使用多种设备样本作为训练分类器输入，进行分类器学习，分类器学习阶段使用多特征对输入样本进行分解，在分割的初定位图像中，存在误检和错检，为避免错漏，将该初定位图像输入到形状分类器；该分类器使用在线学习获取，具体的获取方法是：在初始化阶段，将预拍摄的已知设备的图像形状处理结果存储为匹配模板，该模板包含多设备的多角度结果；

s22、实时获取的待识别的形状，输入到该形状分类器中，对该形状进行分类器识别，将识别的最大概率结果作为预判设备；

s23、在该形状边缘区域进行扩展10％像素点，获取的轮廓区域作为设备分类器识别的输入图像。

进一步地，本发明的步骤s3的具体方法为：

s31、对输入的设备图像做多特征提取，包括边缘、角点、文字及图标特征关键值；

s32、将多特征进行归一化处理，构建特征向量多维矩阵；

s33、该多维矩阵输入到设备识别分类器中与模板进行模式匹配，输出识别结果作为最终的判定结果。

进一步地，本发明的步骤s4的具体方法为：

s41、标记识别出的电器设备的识别结果，在远程控制数据库中调用该设备的控制参数；

s42、通过视频传输控制参数，作为远程控制触发代码；

s43、通过ip网络将控制结果图像压制为字节码流，传输到远程控制端，作为控制结果反馈。

进一步地，本发明的步骤s5的具体方法为：

s51、远程网络摄像头的云台控制，包含角度调整、聚焦调整，在云台图像中对画面图像进行特征提取，并将提取的特征传入识别硬件，该硬件设备集成在云台中；

s52、该网络摄像头实现在线的图像设备轮廓提取和模式匹配过程，算法集成在设备中，不需要远程服务器参与；

s53、远程通过ip协议，传输远程控制代码，该代码为在线学习获取，存储在ip摄像机存储内；

s54、远程控制界面由网络摄像头内部算法实时生成，并进行控制代码映射，实现远程遥控。

本发明产生的有益效果是：本发明的实时视频家居环境设备识别交互的远程智能家居控制方法，能够在家居环境下，通过视频摄像头对家电设备进行智能识别，并弹出响应的控制界面实现对设备的远程控制。该发明针对家居环境的智能识别和控制，特别适合家中有独居老人或行动不便者，可以使用无线视频进行远程无线控制，提高家居的智能控制水平和自理能力。在残障患者助残辅具的智能控制等领域具有广泛的应用前景，可以获得较好的社会效益。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的算法整体流程图；

图2是本发明实施例的家居设备识别算法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例的实时视频家居环境设备识别交互的远程智能家居控制方法，实现在家居环境场景中，使用网络摄像机对家居环境中的电器、设备进行识别，并根据识别结果开启对应设备的控制界面，进行设备电器的远程控制，同时在实时视频中进行控制结果的反馈，该方法包括以下步骤：

s1、使用基于wifi网络的网络摄像头，监控家居场景，采集家居环境中的多角度图像，并对图像做预处理，包括：灰度化、二值化、边缘化操作；

s11、在提取的视频图像上，进行图像的形状处理，首先对图像做边缘检测，提取连续边缘；

s12、在连续边缘区域提取设备的轮廓，标识开轮廓区域的角点，利用角点位置做几何校正，获取该设备的规范图。

s2、使用在线设备形状分类器，将预处理的图像与该分类器中的模型进行匹配，对家居环境中存在的设备信息做初定位，提取初定位区域图像，作为设备识别分类器的输入；

s21、分类器学习：在分类器学习的预处理阶段，使用多种设备样本作为训练分类器输入，进行分类器学习，分类器学习阶段使用多特征对输入样本进行分解，在分割的初定位图像中，存在误检和错检，为避免错漏，将该初定位图像输入到形状分类器；该分类器使用在线学习获取，具体的获取方法是：在初始化阶段，将预拍摄的已知设备的图像形状处理结果存储为匹配模板，该模板包含多设备的多角度结果；

s22、实时获取的待识别的形状，输入到该形状分类器中，对该形状进行分类器识别，将识别的最大概率结果作为预判设备；

s23、在该形状边缘区域进行扩展10％像素点，获取的轮廓区域作为设备分类器识别的输入图像。

s3、对提取的初定位区域图像，调用在线设备分类器模型，使用深度学习匹配算法，对该图像进行识别；

s31、家居场景中的电器的识别为典型的多分类识别，使用深度神经网络，对预设的家居图像进行分类训练，考虑以下的多分类目标：

其中vi为分类器的前级识别结果，对于总类别数为c的家居场景图像分类的任务，i为各类别的索引，si为当前的元素的分类结果值的指数与所有分类结果的和的比值；

s32、使用softmax函数将多分类的输出数值转化为相对概率分布，其中概率最大的类别为识别的结果；同时考虑到指数函数的溢出问题，使用归一化方法对初步分类结果的指数数值进行以下处理：

d＝max(v)

s33、在家居图像分类中，令x为输入的图像，y为分类的结果，w为分类器的参数，则每一类分类的结果：

s＝wx

对于每一类分类结果，有：

对分类结果进行对数运算：

因为对数运算不改变函数的单调性，可取

得到训练的目标函数；

s34.使用深度神经网络，针对该目标函数进行优化，获取分类的学习参数w。在识别阶段，针对实际摄像头中的场景，运行匹配算法，获取识别的结果。

s4、深度学习匹配算法实时识别出家居环境中的电器设备，根据识别出的设备类别，调用预学习的遥控码，对该设备进行远程控制；

s41、针对家居中的电器设备，对其遥控器功能编码使用遥控编码学习装置，对家居设备的红外遥控码进行解析，获取红外码字符串，并将所有红外码对应存储为设备数据的红外控制标识，对一般的遥控电器，使用该方法可以获取其遥控编码；

s42、对已学习控制码的设备，使用机载的红外发射装置，可以进行多设备的红外控制；

s43、标记识别出的电器设备的识别结果，在远程控制数据库中调用该设备的红外控制参数；

s44、通过视频传输控制参数，作为远程控制触发代码；具体的步骤为：通过远程云平台，实现与家居设备控制器的ip互联，并获取家居设备的视频图像；当视频图像中出现已经识别的电器设备时，在远程的视频界面对应的设备图像处弹出控制菜单，远程界面上点击该菜单按钮，则在远程发送控制指令给家居控制器，家居控制器识别该控制指令后，将其映射为已经学习并存储的红外控制码，控制对应的设备动作；

s45、通过ip网络将控制结果图像传输到远程控制端，作为控制结果反馈。

s5、对电器设备的远程控制结果通过实时视频反馈到控制端，获取电器设备的实时状态值，并远程调整摄像头运动，获取多角度图像，完成控制过程。

s51、远程网络摄像头的云台控制，包含角度调整、聚焦调整，在云台图像中对画面图像进行特征提取，并将提取的特征传入识别硬件，该硬件设备集成在云台中；

s52、该网络摄像头实现在线的图像设备轮廓提取和模式匹配过程，算法集成在设备中，不需要远程服务器参与；

s53、远程通过ip协议，传输远程控制代码，该代码为在线学习获取，存储在ip摄像机存储内；

s54、远程控制界面由网络摄像头内部算法实时生成，并进行控制代码映射，实现远程遥控。

在本发明的另一个具体实施例中：

对家居环境场景中的电器设备进行基于互联网的远程无线控制的方法，包括以下步骤：

1、在家居环境中的自然光照及场景下，使用wifi摄像头采集家居设备的视频图像；

2、对检测到的设备进行识别，标记其位置和类型，并相应弹出其控制菜单；在家居视频图像中对设备进行识别，具体包括：

1)将视频图像进行图像灰度归一化处理；

2)读取预设的家居设备的图像模板，对视频中的设备进行匹配；

3)计算视频图像的设备关键点；

4)计算视频图像关键点与模板图像关键点的匹配结果；

5)根据匹配结果，识别该设备是否为模板设备，并输出结果。

6)读取数据库中对应该设备的控制选项菜单，并将菜单的控制按钮与控制指令代码今转换，当用户按下该控制按钮时，向设备发送对应的控制指令。

3、在远程交互界面中，用户对该设备的菜单进行交互控制；

4、控制指令通过互联网和家居无线网络，对设备进行操控；

5、设备运行状态和控制结果通过实时视频画面传输到远程用户界面上，完成信息反馈；

6、用户通过控制摄像头旋转，对其他设备进行控制并反馈控制结果。

本发明实施例实时视频交互的远程智能家居控制方法，如图1所示，包括以下步骤：

1、对输入家居视频图像进行金字塔分解，共分5组金字塔尺度，

定义可变尺度高斯函数：

家居图像i(x,y)的尺度空间分解为：

l(x,y,σ)＝g(x,yσ)*i(x,y)(2)

其中(x,y)是图像的空间坐标，σ是金字塔分解的尺度坐标。考虑到家居图像中场景复杂，为提高关键点的尺度稳定性使用高斯差分尺度空间：

d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)＝l(x,y,kσ)-l(x,y,σ)(3)

即将图像与不同尺度的高斯差分核做卷积运算。

2、在金子塔分解图像中计算空间极值点。具体的步骤为：选定一个像素点，与在其同一尺度图像上3×3子块上相邻的8个像素点做灰度大小比较，然后再与在其相邻上下两个空间尺度图像上的18个像素点做灰度大小比较，获取尺度空间和二维图像空间的极值点。

3、在局部极值点基础上精确定位关键点，对dog函数(3)计算taylor展开：

极值点为：

4、消除边缘响应，计算图像点的hessian矩阵：

令α，β分别为h矩阵的最大最小特征值，α＝kβ，

当两个特征值相等时，该式取最小值，令r＝10，当时，保留关键点。

5、计算像素点的梯度：

6、根据关键点的8个方向的梯度直方图，绘制每个梯度直方图的累计值，并进行规范化，获取归一化的特征，将该特征参数输入深度学习网络，

实现场景的图像分类识别。

7、在家居场景中，在预处理阶段对需要识别控制的电器设备进行图像采集，在实时识别阶段，使用采集的图像与实时获取的图像进行穷举匹配，实现对实际场景中的设备的识别。

8、完成设备识别后，将该设备的控制界面选项菜单显示在视频中，用户可以与之进行远程交互。

本发明的优点是：

1、针对家居设备，通过预处理阶段的设备图像采集，获取控制模板，使设备的识别匹配具有针对性，减少了识别算法的计算耗时。

2、使用梯度方向直方图匹配以减少实际视频图像的旋转、缩放变形，使识别精度得到改进。

3、通过智能匹配设备类别型号，调用对应的控制界面，实现对设备参数的准确设置。

4、使用远程视频场景作为主界面，与传统智能家居中使用卡通形象的控制界面相比，具有控制设备直观可见、控制结果实时传输，且家居环境可以远程可见，使控制过程真实可靠，提升了用户体验感受。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。