基于人员检测的嵌入式控制系统、设备和方法
【技术领域】
[0001]本申请涉及嵌入式智能设备技术领域，具体涉及一种基于人员检测的嵌入式控制系统、设备和方法。
【背景技术】
[0002]目前的嵌入式系统均期望在家居家电等设备上创造出创新的用户体验，若要实现快速准确的人员感知系统、按照用户的位置距离进行自适应的控制调整，主要技术难点在于:
[0003]—、难以快速准确地检测各种不同姿态的人员；
[0004]二、目前的硬件解决方案中采用的摄像头成本较高。例如一些游戏机和家电方案，采用深度摄像头如kinect，或双目摄像头系统，获得人的深度或立体信息以进行检测识别，摄像头的成本高昂且需要占用较多的计算资源。而基于单目摄像头的图像处理算法，通常需要运行多个复杂的模型，处理不同姿态和遮挡情况的人员的图像进行检测，占用内存高，
计算复杂度非常高。
【发明内容】
[0005]鉴于现有技术中的上述缺陷或不足，期望提供一种能快速准确地检测不同姿态的人员同时整体硬件成本较低的基于人员检测的嵌入式控制系统、设备和方法。
[0006]第一方面，本发明提供一种基于人员检测的嵌入式控制系统，所述系统包括:
[0007]单目摄像头，用于采集当前场景的图像序列，并将所采集的图像序列发送至人员检测单元；
[0008]人员检测单元，与所述单目摄像头连接，用于通过多层深度神经网络的图像识别对所述图像序列所示场景中是否存在人员、存在人员的位置信息进行检测，并将检测结果发送至设备控制单元；
[0009]设备控制单元，与所述人员检测单元连接，用于根据所述检测结果和预设的控制策略生成操作指令，并控制所述嵌入式智能设备执行所述操作指令。
[0010]第二方面，本发明提供一种嵌入式智能设备，所述设备内设有上述的基于人员检测的嵌入式控制系统。
[0011]第三方面，本发明提供一种适用于上述系统或设备的基于人员检测的嵌入式控制方法，所述方法包括:
[0012]S10:米集当前场景的图像序列；
[0013]S30:通过多层深度神经网络的图像识别对所述图像序列所示场景中是否存在人员、存在人员的位置信息进行检测，得到检测结果；
[0014]S50:根据所述检测结果和预设的控制策略生成操作指令，并控制所述嵌入式智能设备执行所述操作指令。
[0015]本发明诸多实施例提供的基于人员检测的嵌入式控制系统、设备和方法通过多层深度神经网络的图像识别检测单目摄像头所采集的图像序列，再根据检测结果和预设的控制策略生成操作指令，最终控制嵌入式智能设备执行操作指令，从而以较低的硬件成本实现了快速准确的人员感知并对设备进行控制调整；
[0016]本发明一些实施例提供的基于人员检测的嵌入式控制系统、设备和方法进一步通过多级检测卷积神经网络模型对不同的姿态和角度的人员进行探测、通过多模型分类卷积神经网络对不同的姿态和角度的人员模型进行归类，实现了快速准确地检测各种不同姿态的人员；
[0017]本发明一些实施例提供的基于人员检测的嵌入式控制系统、设备和方法进一步通过对所采集的图像降采样实现了在基本不影响检测结果的准确率的前提下大幅减轻了系统的计算压力；
[0018]本发明一些实施例提供的基于人员检测的嵌入式控制系统、设备和方法进一步通过预设置多种一一对应的工作模式和控制策略，实现了系统能自动在设备的不同工作模式下进行不同策略的灵活控制。
【附图说明】
[0019]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显:
[0020]图1为本发明一实施例中基于人员检测的嵌入式控制系统的结构示意图。
[0021 ]图2为本发明一优选实施例中探测子单元的工作流程示意图。
[0022]图3为本发明一优选实施例中人员在不同的姿态和角度下的模型示意图。
[0023]图4为本发明一实施例中基于人员检测的嵌入式控制方法的流程图。
[0024]图5为图4所示嵌入式控制方法的一优选实施方式中步骤S30的流程图。
[0025]图6为图5所示步骤S30的一优选实施方式的流程图。
[0026]附图标记说明:
[0027]10 嵌入式控制系统
[0028]30 嵌入式智能设备
[0029]11 单目摄像头[°03°]13 人员检测单元
[0031]15 设备控制单元
[0032]51 头部模型
[0033]52 半身模型
[0034]53 全身模型
【具体实施方式】
[0035]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
[0036]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0037]图1为本发明一实施例提供的基于人员检测的嵌入式控制系统的结构示意图。
[0038]如图1所示，在本实施例中，本发明提供的基于人员检测的嵌入式控制系统10设置在嵌入式智能设备30中，所述系统包括:
[0039]单目摄像头11，用于采集当前场景的图像序列，并将所采集的图像序列发送至人员检测单元13;
[0040]人员检测单元13，与单目摄像头11连接，用于通过多层深度神经网络的图像识别对所述图像序列所示场景中是否存在人员、存在人员的位置信息进行检测，并将检测结果发送至设备控制单元15;
[0041]设备控制单元15，与人员检测单元13连接，用于根据所述检测结果和预设的控制策略生成操作指令，并控制嵌入式智能设备30执行所述操作指令。
[0042]上述实施例通过多层深度神经网络的图像识别检测单目摄像头所采集的图像序列，再根据检测结果和预设的控制策略生成操作指令，最终控制嵌入式智能设备执行操作指令，从而以较低的硬件成本实现了快速准确的人员感知并对设备进行控制调整。
[0043]在一优选实施例中，人员检测单元13包括探测子单元和分类子单元。
[0044]所述探测子单元用于对所述图像序列的每一图像进行滑动窗搜索，获取可能包含人员部分模型或完整模型的备选区域。所述滑动窗检索包括对所述图像每间隔预设数量的像素即提取一预设大小的图像块，对所述图像块输入多级检测卷积神经网络模型以探测是否包含人员部分模型或完整模型。所述多级检测卷积神经网络模型为各人员模型共用的卷积神经网络模型。
[0045]所述分类子单元用于对所述备选区域输入多模型分类卷积神经网络以准确判断所述备选区域所包含的人员模型的类型并进行分类，根据所述人员模型的类型、在所述图像中的相对大小和位置进行归并，得到以人员为单位的检测结果，并根据所述单目摄像头的事先得到的校准信息，如摄像头安装高度和内外参数矩阵，计算出所检测到人员的位置信息，如到摄像头的距离和相对角度。。
[0046]具体地，以720P高清单目摄像头为例，所述图像序列的每一图像的分辨率为1280*720，探测子单元对图像中每间隔3个像素提取一个40*40的图像块。预设的多级检测卷积神经网络模型同时用于检测3项人员部分模型和I项人员完整模型，探测子单元对每个图像块输入多级检测卷积神经网络模型以探测是否包含人员模型，如包含，则该图像块为备选区域。
[0047]分类子单元对各个备选区域分别输入多模型分类卷积神经网络，从而准确判断出，备选区域所包含的人员模型属于头部模型、上半身模型、下半身模型和全身模型中的哪一种，并以此进行分类。然后再根据所述人员模型的类型、在所述图像中的相对大小和位置进行归并，得到以人员为单位的检测结果。例如模型a为头部模型、模型b为上半身模型、模型g为下半身模型、模型h为全身模型，且模型a、b、g、h在图像A中的相对大小和位置匹配，从而确认图像A的检测结果中包含人员α。分类子单元还根据单目摄像头提前获取的校准信息和人员α在图像A中的位置计算出人员α的位置信息。
[0048]在更多的实施例中，上述实施例中的单目摄像头像素、图像的分辨率、图像块的大小、滑动窗检索所间隔的像素数、人员模型的类型，均可根据实际需求采用不同的设置参数，只要探测子单元通过滑动窗搜索的原理选出了可能包含人员模型的备选区域，即可实现相同的技术效果，并未超出上述技术方案的设计思想和保护范围。
[0049]上述实施例进一步通过多级检测卷积神经网络模型对不同的姿态和角度的人员进行探测、通过多模型分类卷积神经网络对不同的姿态和角度的人员模型进行归类，实现了快速准确地检测各种不同姿态的人员。
[0050]图2为本发明一优选实施例中探测子单元的工作流程示意图。
[0051]如图2所示，在一优选实施例中，所述探测子单元还用于对所述图像序列的每一图像进行降采样以得到包含不同分辨率图像的图像金字塔，并对每一分辨率图像进行所述滑动窗检索。
[0052]具体地，对于分辨率较高的单目摄像头，例如720P、1080P的高清摄像头乃至更高分辨率的超清摄像头，所采集的图像分辨率较大，对应地，探测子单元所提取的图像块数量大幅增长，判断备选区域的计算次数大幅增长，系统的计算压力非常大。通过降采样降低图像分辨率，可以大幅减少图像块的数量，对应地大幅减少了备选区域的计算次数，减轻了系统的计算压力。同时由分类子单元的判断分类和归并保障了检测结果的高准确率，因此降低图像分辨率对最终检测结果的准确率影响非常微小。
[0053]上述实施例进一步通过对所采集的图像降采样实现了在基本不影响检测结果的准确率的前提下大幅减轻了系统的计算压力。<