基于儿童睡眠系统的睡眠监测方法和终端处理器与流程

1.本公开一般涉及人工智能技术领域，具体涉及人脸识别技术领域，尤其涉及一种基于儿童睡眠系统的睡眠监测方法和终端处理器。


背景技术：

2.相关技术中，人脸识别多用于门禁系统、安检系统等，没有针对婴儿的人脸系统。然而，在实际应用中，婴儿在睡觉时家长一般不会守在床边，而是趁着孩子休息的时间自行休息、吃饭、干家务等，但是，由于孩子睡觉时容易翻动、趴睡等，如果不及时进行干预容易影响孩子的呼吸，严重时甚至威胁到生命。


技术实现要素：

3.鉴于现有技术中的上述缺陷或不足，期望提供一种基于儿童睡眠系统的睡眠监测方法和终端处理器，能够通过儿童的微表情对儿童的睡眠状态进行监控。
4.第一方面，本技术实施例提供了一种基于儿童睡眠监护系统的睡眠监测方法，儿童睡眠监护系统包括滑轨支架、设置在滑轨支架上的图像采集装置和终端处理器，所述滑轨支架通过支撑转轴跨设在儿童床上，所述支撑转轴垂直于所述儿童床的长度方向设置，所述滑轨支架沿着所述支撑转轴转动，所述图像采集装置可在所述滑轨支架上滑动，所述终端处理器分别与所述滑轨支架和所述图像采集装置相连，所述方法包括：
5.所述终端处理器分别对所述图像采集装置和所述滑轨支架进行控制，调整所述图像采集装置的运动位置，以使所述图像采集装置采集儿童的表情信息；
6.所述终端处理器接收所述表情信息，并根据所述表情信息确定所述儿童的睡眠状态。
7.在一些实施例中，所述调整所述图像采集装置的运动位置，以使所述图像采集装置采集儿童的表情信息，包括：
8.所述终端处理器控制所述图像采集装置运动到所述滑轨支架上的预设位置；
9.所述终端处理器控制所述滑轨支架沿着所述支撑转轴转动，并控制所述图像采集装置采集第一图像；
10.所述终端处理器利用第一卷积图像处理模型对所述第一图像进行图像识别，得到所述儿童的头部位置坐标；
11.所述终端处理器根据所述头部位置坐标，控制所述图像采集装置在所述滑轨支架上反复移动，并采集第二图像；
12.所述终端处理器利用第二卷积图像处理模型对第二图像进行人脸识别，以确定所述儿童的人脸位置；
13.所述终端处理器控制所述图像采集装置移动到所述人脸位置对应的采集位置，并采集所述儿童的表情信息。
14.在一些实施例中，在预设时间内，所述终端处理器未得到所述第二卷积图像处理
模型确定的所述人脸位置时，则确定所述儿童睡姿异常，并发出睡姿异常提醒信息。
15.在一些实施例中，所述根据所述表情信息确定所述儿童的睡眠状态，包括：
16.所述终端处理器利用第三卷积图像处理模型对所述表情信息进行表情识别，以确定所述儿童的睡眠表情；
17.所述终端处理器对所述睡眠表情进行分类识别，确定所述儿童的睡眠状态。
18.在一些实施例中，所述终端处理器统计所述儿童睡眠期间的所述睡眠状态；
19.所述终端处理器根据统计结果生成所述与儿童对应的睡眠状态分析报告，并在儿童睡眠结束时展示所述分析报告。
20.在一些实施例中，所述终端处理器采用rk3399处理器。
21.第二方面，本技术实施例提供了一种终端处理器，包括：控制模块和图像处理模块，
22.所述控制模块用于控制儿童睡眠监控系统中的滑轨支架和图像采集装置，以使所述图像采集装置采集儿童的表情信息；
23.所述图像处理模块用于对所述图像采集装置采集到的表情信息进行分析，以确定所述儿童的睡眠状态。
24.在一些实施例中，采用rk3399处理器。
25.第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本技术实施例描述的方法。
26.第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术实施例描述的方法。
27.本技术利用儿童睡眠监护系统，能够有效确定出能够拍摄出儿童表情(正脸)的位置，进而采集有效的儿童表情，通过对儿童表情的识别，确定儿童的睡眠状态，有效辅助看护人员了解儿童的睡眠情况。
28.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
29.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
30.图1为本技术实施例的儿童睡眠监护系统的结构示意图；
31.图2为本发明实施例的一种基于儿童睡眠监护系统的睡眠监测方法的流程图；
32.图3为本发明实施例的另一种基于儿童睡眠监护系统的睡眠监测方法的流程图；
33.图4为本发明实施例的又一种基于儿童睡眠监护系统的睡眠监测方法的流程图；
34.图5为本发明实施例的再一种基于儿童睡眠监护系统的睡眠监测方法的流程图；
35.图6为本发明实施例的一种终端处理器的方框示意图；
36.图7示出了适于用来实现本技术实施例的电子设备或服务器的计算机系统的结构示意图。
具体实施方式
37.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
38.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
39.图1为本技术实施例的儿童睡眠监护系统的结构示意图。如图1所示，儿童睡眠监护系统包括滑轨支架1、图像采集装置2和终端处理器3。
40.其中，图像采集装置2设置在滑轨支架1上，滑轨支架1通过支撑转轴4跨设在儿童床上，支撑转轴4垂直于儿童床的长度方向设置，滑轨支架1沿着支撑转轴4转动，图像采集装置2可在滑轨支架1上滑动，终端处理器3分别与滑轨支架1和图像采集装置2相连。
41.可选的，图像采集装置为就有红外功能的rgb摄像头。终端处理器为rk3399处理器，其中，终端处理器内部预设有本技术提出的基于儿童睡眠监护系统的睡眠监测方法，能够进行离线的儿童睡眠监测，无需在儿童房配置wifi覆盖，有效避免因网络问题带来的监护异常，同时有效降低儿童睡眠监护系统的成产成本。
42.应当理解的是，在无需对床上的儿童进行睡眠监测时，还可通过终端处理器和/或人工操作将滑轨支架移动到儿童床的头部或尾部的外侧，以节省收纳空间，并防止儿童在儿童床上站立影响儿童的安全等。
43.图2为本发明实施例的一种基于儿童睡眠监护系统的睡眠监测方法的流程图。如图2所示，本发明实施例的一种基于儿童睡眠监护系统的睡眠监测方法，包括以下步骤：
44.步骤101，终端处理器分别对图像采集装置和滑轨支架进行控制，调整图像采集装置的运动位置，以使图像采集装置采集儿童的表情信息。
45.需要说明的是，滑轨支架上设置有第一驱动装置，图像采集装置上设置有第二驱动装置，第一驱动装置和第二驱动装置分别与终端处理器相连，终端处理器通过对第一驱动装置进行控制，以使第一驱动装置驱动滑轨支架沿着支撑转轴转动，终端处理器通过对第二驱动装置进行控制，以使第二驱动装置驱动图像采集装置在滑轨支架上滑动。
46.进一步地，如图3所示，调整图像采集装置的运动位置，以使图像采集装置采集儿童的表情信息，包括：
47.步骤1011，终端处理器控制图像采集装置运动到滑轨支架上的预设位置。
48.其中，预设位置可以是预设的滑轨之间中的某一特定位置，例如滑轨直接的中间位置，或者是儿童床上方的某一位置，也可是上一次用于检测儿童表情信息的位置，还可以根据历史儿童头部所处位置推算出的能够最快检测到儿童头部的位置。
49.步骤1012，终端处理器控制滑轨支架沿着支撑转轴转动，并控制图像采集装置采集第一图像。
50.应当理解的是，由于支撑转轴垂直于儿童床的长度方向设置，因此，沿着支撑转轴转动的滑轨支架实际上是沿着支撑转轴在儿童床的头尾方向之间摆动。还应当理解的是，滑轨支架摆动覆盖区域的大小，与滑轨支架最高点与支撑转轴之间的第一长度和儿童床的第二长度以及支撑转轴的设置位置有关，例如，当支撑转轴设置在儿童床的长度方向上的中间位置时，如果第一长度大于第二长度的一半，则滑轨支架可从儿童床头部外侧摆动到
儿童床尾部的外侧，如果第一长度小于等于第二长度的一半，则滑轨支架可以从儿童床头部上方摆动到儿童床尾部的上方。
51.其中，第一图像为图像采集装置在滑轨支架沿着支撑转轴在儿童床的头部和尾部之间来回摆动过程中，在滑轨支架的预设位置处采集的图像。
52.步骤1013，终端处理器利用第一卷积图像模型对第一图像进行图像识别，得到儿童的头部位置坐标。
53.其中，儿童头部位置的空间坐标可以是根据终端处理器所处位置建立的空间坐标系的空间坐标，也可以是终端处理器根据儿童床的大小建立的空间坐标系的空间坐标，还可以是终端处理器根据图像采集装置所在的预设位置建立的空间坐标系的空间坐标。
54.另外，第一卷积图像处理模型还可被训练成根据儿童身体其他部位的图像确定儿童头部位置坐标，或者第一图像包括rgb和红外信息图像，第一卷积图形处理模型可根据红外图像得到儿童的头部位置坐标。
55.也就是说，终端处理器获取到滑轨支架沿着支撑转轴在儿童床的头部和尾部之间来回摆动中图像采集装置实时采集的第一图像，然后将第一图像输入至第一卷积图像处理模型中，以利用第一卷积图像处理模型对第一图像进行图像识别，得到至少一张包含有儿童头部图像的第一图像，根据这些包含有儿童头部图像的第一图像的参数信息，例如采集的时间、采集时滑轨支架所处的位置等，确定出儿童头部位置的空间坐标。
56.步骤1014，终端处理器根据头部位置坐标，控制图像采集装置在滑轨支架上反复移动，并采集第二图像。
57.需要说明的是，在控制图像采集装置在滑轨支架上反复移动之前，还包括：终端处理器根据头部位置坐标控制滑轨支架移动到最佳采集位置。
58.其中，最佳采集位置为能够使图像采集更好的拍摄儿童头部图片和/表情信息的位置，例如能够使图像采集装置距离儿童头部最近的位置。
59.在终端处理器控制滑轨支架移动到最佳采集位置后，进一步控制图像采集装置在滑轨支架上反复移动，以从多个角度采集儿童头部的第二图像。
60.步骤1015，终端处理器利用第二卷图像处理模型对第二图像进行人脸识别，以确定儿童的人脸位置。
61.也就是说，在图像采集装置在滑轨支架上反复移动拍摄得到儿童头部多个角度的第二图像后，终端处理器将第二图像输入至第二卷积图像处理模型，以利用第二图像卷积模型对第二图像进行人脸识别，得到至少一张包含儿童脸部信息的第二图像，并根据至少一张包含儿童脸部信息的第二图像的参数信息，例如拍摄时间和图像采集装置相对于滑轨支架的位置，来确定儿童的人脸位置。
62.其中，第一图像卷积模型和第二图像卷积模型均为图像识别，因此，二者可使用同一个模型或根据不同的识别需求使用不同的模型。
63.进一步地，如果在预设时间内，终端处理器未得到第二卷积图像处理模型确定的人脸位置，则确定儿童睡姿异常，例如儿童脸部被遮挡、趴睡等，并发出睡姿异常提醒。
64.应当理解的是，由于本技术能够通过第一图像准确确定儿童的头部位置，在确定出儿童头部时，通过对调整图像采集装置的位置拍摄大量的第二图像，确无法得到儿童的人脸位置时，则可确定在图像采集装置的可视范围内没有不存在儿童的人脸，即，儿童的脸
被遮挡，遮挡的方式可包括被被子、枕巾等遮挡，也包括儿童处于趴姿造成的遮挡等。由于儿童很难自主调整睡眠姿态，或者对被子等进行位置调节，如果长时间遮挡面部容易造成窒息等严重后果，因此，需要发出睡姿异常提醒，以提醒看护人员及时予以干预。
65.其中，睡姿异常提醒可包括但不限于发出蜂鸣音、播放特定的摇篮曲、歌谣等。
66.步骤1016，终端处理器控制图像采集装置移动到人脸位置对应的采集位置，并采集儿童的表情信息。
67.其中，人脸位置对应的采集位置为最便于采集儿童脸部表情信息的位置，例如距离儿童脸部最近的位置、能够拍摄儿童脸部正脸等。
68.由此，本技术通过对滑轨支架和图像采集装置的控制，实现了对儿童脸部追踪，能够使得采集到的儿童表情信息更清晰，有效提高基于儿童脸部表情的睡眠监测的可靠性。
69.步骤102，终端处理器接收表情信息，并根据表情信息确定儿童的睡眠状态。
70.作为一个可选实施例，如图4所示，步骤102，终端处理器接收表情信息，并根据表情信息确定儿童的睡眠状态，包括：
71.步骤1021，终端处理器利用第三卷积图像处理模型对表情信息进行表情识别，以确定儿童的睡眠表情。
72.应当理解的是，儿童的睡眠表情通常是儿童睡前、睡中和睡醒后经常出现的表情，包括但不限于平静、咧嘴笑、睁眼、哭泣、噘嘴和红脸横眉。
73.步骤1022，终端处理器对睡眠表情进行分类识别，确定儿童的睡眠状态。
74.需要说明的是，本技术利用大量儿童的表情和状态数据训练的分类器对儿童的睡眠表情进行分类识别，例如，当睡眠表情为平静时，对应儿童的处于熟睡状态，咧嘴笑对应儿童处于兴奋愉快的状态，睁眼对应儿童处于未在睡眠状态，哭泣对应儿童处于未在睡眠状态，噘嘴对应儿童处于要小便的状态，红脸横眉对应儿童处于要大便的状态。
75.进一步地，在确定出儿童的表情分类后，本技术根据确定出的表情类型来确定儿童的睡眠状态，例如，儿童熟睡的状态可对应深度状态，兴奋愉快、要小便和要大便对应浅度睡眠，未在睡眠状态对应清醒。
76.应当理解的是，由于儿童欠缺表达能力，很多情绪、状态都是通过表情进行，因此，对儿童的表情进行表情识别对了解儿童的情绪状态，有重要意义。本技术通过儿童睡眠监护系统，能够有效确定出能够拍摄出儿童表情(正脸)的位置，进而采集有效的儿童表情，通过对儿童表情的识别，确定儿童的睡眠状态，有效辅助看护人员了解儿童的睡眠情况。可广泛应用于家庭儿童看护、护幼机构等应用场景。
77.需要说明的是，在本技术实施例中，第一卷积图像处理模型、第二卷积图像处理模型和第三卷积图像处理模型是利用大量儿童图像、头部图像以及表情图像训练得到的神经网络模型。
78.进一步地，如图5所示，本技术还包括：
79.步骤201，终端处理器统计儿童睡眠期间的睡眠状态。
80.其中，儿童睡眠期间可从开启睡眠监测功能开始，并在监测到儿童清醒为止，也可根据家长手动停止睡眠监测功能为止。
81.步骤202，终端处理器根据统计结果生成与儿童对应的睡眠状态分析报告，并在儿童睡眠结束时展示分析报告。
82.由此，本技术能够通过展示分析报告，使得看护人员了解儿童真实的睡眠情况，例如，在儿童午睡时间不足时，能够通过调整晚间睡眠时间来进行睡眠步长，确保儿童的充足睡眠时间等。
83.综上所述，本技术通过儿童睡眠监护系统，能够有效确定出能够拍摄出儿童表情(正脸)的位置，进而采集有效的儿童表情，通过对儿童表情的识别，确定儿童的睡眠状态，有效辅助看护人员了解儿童的睡眠情况。
84.图6为本技术实施例提出的一种终端处理器的结构示意图。如图6所示，终端处理器10包括：控制模块11和图像处理模块12。
85.其中，控制模块11用于控制儿童睡眠监控系统中的滑轨支架和图像采集装置，以使图像采集装置采集儿童的表情信息；
86.图像处理模块12用于对图像采集装置采集到的表情信息进行分析，以确定儿童的睡眠状态。
87.在一些实施例中，终端处理器10采用rk3399处理器。
88.在一些实施例中，终端处理器的控制模块11用于控制图像采集装置运动到滑轨支架上的预设位置；
89.终端处理器的控制模块11用于控制滑轨支架沿着支撑转轴转动，并控制图像采集装置采集第一图像；
90.终端处理器的图像处理模块12用于利用第一卷积图像处理模型对第一图像进行图像识别，得到儿童的头部位置坐标；
91.终端处理器的控制模块11用于根据头部位置坐标，控制图像采集装置在滑轨支架上反复移动，并采集第二图像；
92.终端处理器的图像处理模块12用于利用第二卷积图像处理模型对第二图像进行人脸识别，以确定儿童的人脸位置；
93.终端处理器的控制模块11用于控制图像采集装置移动到人脸位置对应的采集位置，并采集儿童的表情信息。
94.在一些实施例中，终端处理器的控制模块11用于在预设时间内，终端处理器未得到第二卷积图像处理模型确定的人脸位置时，确定儿童睡姿异常，并发出睡姿异常提醒信息。
95.在一些实施例中，终端处理器的图像处理模块12用于利用第三卷积图像处理模型对表情信息进行表情识别，以确定儿童的睡眠表情；
96.终端处理器的图像处理模块12用于对睡眠表情进行分类识别，确定儿童的睡眠状态。
97.在一些实施例中，终端处理器的控制模块11用于统计儿童睡眠期间的睡眠状态；
98.终端处理器的控制模块11用于根据统计结果生成与儿童对应的睡眠状态分析报告，并在儿童睡眠结束时展示分析报告。
99.综上所述，本技术提出的终端处理器，能够有效确定出能够拍摄出儿童表情(正脸)的位置，进而采集有效的儿童表情，通过对儿童表情的识别，确定儿童的睡眠状态，有效辅助看护人员了解儿童的睡眠情况。
100.在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根
据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
101.需要说明的是，本技术实施例的终端处理器中未披露的细节，请参照本技术上述实施例中所披露的细节，这里不再赘述。
102.下面参考图7，图7示出了适于用来实现本技术实施例的电子设备或服务器的计算机系统的结构示意图，
103.如图7所示，计算机系统包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统的操作指令所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
104.以下部件连接至i/o接口705；包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
105.特别地，根据本技术的实施例，上文参考流程图图2描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本技术的系统中限定的上述功能。
106.需要说明的是，本技术所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以为的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述
的任意合适的组合。
107.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作指令。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连接表示的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作指令的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
108.描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括控制模块和图像处理模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，控制模块，还可以被描述为“对图像采集装置采集到的表情信息进行分析，以确定儿童的睡眠状态”。
109.作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或多个程序，当上述程序被一个或者一个以上的处理器用来执行描述于本技术的基于儿童睡眠监护系统的睡眠监测方法。
110.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。