提醒佩戴安全带的方法及可穿戴设备与流程

文档序号:31934001发布日期:2022-10-26 01:15阅读:320来源:国知局

1.本发明涉及终端技术领域,尤其涉及一种提醒佩戴安全带的方法及可穿戴设备。


背景技术:

2.安全带是最有效的被动安全装置,当汽车遇到意外情况紧急制动时,它可以将驾驶员和乘客束缚在座椅上,以免前冲,防止驾乘人员被抛出车外。
3.然而,驾乘人员乘车系安全带的比例不是很高,近年来立法后前排乘员系安全带有所好转,而后排乘客系安全带的比例据调查不到三成,很多人存在侥幸心理,因此发生的惨案不在少数。驾乘人员乘车系安全带的比例不是很高,近年来立法后前排乘员系安全带有所好转,而后排乘客系安全带的比例据调查不到三成,很多人存在侥幸心理,因此发生的惨案不在少数。
4.因此,当前亟需一种精准地提醒佩戴安全带的方法,以提醒驾乘人员佩戴安全带,保障驾乘人员的生命安全。


技术实现要素:

5.本发明实施例提供一种提醒佩戴安全带的方法及可穿戴设备,其通过可穿戴设备来识别用户是否佩戴安全带,在识别到用户进车且未佩戴安全带时,进行提示,以保障驾乘人员的生命安全。
6.第一方面,本技术实施例提供了一种提醒佩戴安全带的方法,应用于可穿戴设备,所述可穿戴设备包括至少一个传感器,包括所述方法包括:
7.所述可穿戴设备在识别到用户进车时,通过所述至少一个传感器识别安全带的佩戴情况;
8.所述可穿戴设备在识别到安全带未佩戴的情况下,提示所述用户佩戴安全带。
9.上述方法通过佩戴在驾乘人员(也称为用户)身上的可穿戴设备来识别用户是否进车以及是否佩戴安全带,在识别到用户进车且未佩戴安全带时,进行提示,以保障驾乘人员的生命安全。
10.而且,上述方法,一方面,对比智能安全带来说,其不要求在现有安全带上做任何改进,适用于所有汽车;另一方面,不需要采集用户图像,不存在用户隐私泄露的风险;又一方面,该方法通用性强,不仅可用于驾驶员的安全带佩戴检测和提示,也适用于乘客,尤其实现后排乘客的安全带佩戴检测和提示。
11.在一种可能的实现中,所述至少一个传感器包括惯性传感器和麦克风,所述通过所述至少一个传感器识别安全带的佩戴情况,具体包括:
12.所述可穿戴设备通过所述惯性传感器实时采集第一运动信息;
13.所述可穿戴设备通过所述麦克风实时采集第一声音信息;
14.所述可穿戴设备基于所述第一运动信息和所述第一声音信息中的至少一种,确定安全带的佩戴情况。
15.上述方法,提供了一种安全带的佩戴识别方法,通过可穿戴设备中的惯性传感器采集的第一运动信息或利用麦克风采集的第一声音信息来实现,使得可穿戴设备可以实现安全带的佩戴的检测。
16.在一种可能的实现中,所述可穿戴设备基于所述第一运动信息和所述第一声音信息中的至少一种,确定安全带的佩戴情况,具体包括:
17.所述可穿戴设备在基于所述第一运动信息检测到拉拽安全带的动作的情况下,确定所述安全带已佩戴;
18.所述可穿戴设备在基于所述第一运动信息未检测到拉拽安全带的动作的情况下,确定所述安全带未佩戴。
19.在一种可能的实现中,所述方法还包括:
20.所述可穿戴设备基于所述第一运动信息确定在所述可穿戴设备在水平面方向上的第一位移以及在水面上的第二位移;
21.在所述第一位移大于第一长度且所述第二位移大于所述第二长度时,确定检测到拉拽安全带的动作。
22.上述方法,通过可穿戴设备的位移来检测拉拽安全带的动作,在识别到拉拽安全第的动作后,确定识别到安全第已佩戴。
23.在一种可能的实现中,所述可穿戴设备基于所述第一运动信息和所述第一声音信息中的至少一种,确定安全带的佩戴情况,具体包括:
24.所述可穿戴设备在基于所述第一声音信息识别到拉拽安全带的声音以及安全带插入到安全带插口的声音的情况下,确定所述安全带已佩戴;
25.所述可穿戴设备在基于所述第一声音信息未识别到拉拽安全带的声音或安全带插入到安全带插口的声音的情况下,确定所述安全带未佩戴。
26.上述方法,在先后识别拉拽安全带的声音和安全带插入到安全带插口的声音后,确定安全带已佩戴,更加准确。
27.在一种可能的实现中,所述方法还包括:
28.所述可穿戴设备将所述第一声音信息输入到声音识别模型,得到所述第一声音信息的声音类型;
29.所述可穿戴设备在所述第一声音信息的类型为拉拽安全带的声音时,将所述麦克风在识别到拉拽安全带的声音之后采集的第一声音信息输入到所述声音识别模型,得到后采集的第一声音信息的声音类型;在所述后采集的第一声音信息的声音类型为安全带插入到安全带插口的声音时,则识别到安全带插入到安全带插口的声音。
30.在一种可能的实现中,所述可穿戴设备基于所述第一运动信息和所述第一声音信息中的至少一种,确定安全带的佩戴情况,具体包括:
31.所述可穿戴设备基于第一置信度和第二置信度确定安全带的佩戴情况,所述第一置信度用于指示基于所述第一运动信息检测到安全带已佩戴的概率;所述第二置信度用于指示基于所述第一声音信息检测到安全带佩戴的概率。
32.在一种可能的实现中,所述可穿戴设备基于第一置信度和第二置信度确定安全带的佩戴情况,具体包括:
33.所述可穿戴设备确定所述第一置信度和第二置信度的加权之和;
34.所述可穿戴设备在所述加权之和大于目标阈值时,确定安全带已佩戴;
35.所述可穿戴设备在所述加权之和不大于所述目标阈值时,确定安全带未佩戴。
36.上述方法,综合第一运动信息和第一声音信息进行安全带的佩戴识别,更加准确,且可以提高识别的成功几率。
37.在一种可能的实现中,所述可穿戴设备在识别到用户进车时,通过所述至少一个传感器识别安全带的佩戴情况之前,所述方法还包括:
38.所述可穿戴设备通过所述惯性传感器实时采集第二运动信息;
39.所述可穿戴设备通过所述麦克风实时采集第二声音信息;
40.所述可穿戴设备在基于第二声音信息检测到打开车门的声音之后基于所述第二运动信息检测到用户的人体状态从站姿变为坐姿以及检测到关闭车门的声音时,确定所述用户进车。
41.上述用户的进车识别方式,在检测到开车门、站姿转变为坐姿和关车门这一些列操作依次发生时,则判断为用户进车,该方法通过开/关车门和位姿变化相结合来进行用户进车识别,更准确,用户体验更佳。
42.在一种可能的实现中,所述方法还包括:
43.所述可穿戴设备提取所述第二声音信息的特征;
44.所述可穿戴设备在所述第二声音信息的特征与打开车门的声音的特征相匹配时,确定基于所述第二声音信息检测到打开车门的声音;
45.所述可穿戴设备在基于所述第二声音信息检测到打开车门的声音之后,提取所述麦克风在检测到打开车门的声音之后采集的第二声音信息输入的特征;
46.所述可穿戴设备在后采集的第二声音信息的特征与关闭车门的声音的特征相匹配时,确定检测到关闭车门的声音。
47.在一种可能的实现中,所述方法还包括:
48.所述可穿戴设备通过所述惯性传感器实时采集第三运动信息;
49.所述可穿戴设备通过所述麦克风实时采集第三声音信息;
50.所述可穿戴设备通过定位系统实时采集位置信息;
51.所述可穿戴设备基于所述第三运动信息、所述第三声音信息和位置信息中的至少一种确定车辆的启动情况。
52.在一种可能的实现中,所述可穿戴设备基于所述第三运动信息、所述第三声音信息和位置信息中的至少一种确定车辆的启动情况,包括:
53.所述可穿戴设备在满足预设条件中n项时,确定车辆的启动;所述n为不大于3的正整数,所述预设条件包括:
54.基于所述第三运动信息检测到所述可穿戴设备在水平方向上加速度突变;
55.基于第三声音信息检测到发动机启动的声音;
56.基于所述位置信息确定所述可穿戴设备的位移大于预设长度。
57.在一种可能的实现中,所述可穿戴设备基于所述第三运动信息、所述第三声音信息和位置信息中的至少一种确定车辆的启动情况,包括:
58.所述可穿戴设备基于第三置信度、第四置信度和第五置信度确定安全带的佩戴情况,所述第三置信度用于指示基于所述第三声音信息检测到车辆已启动的概率;所述第四
置信度用于指示基于所述位置信息检测到车辆已启动的概率;所述第五置信度用于指示基于所述第三运动信息检测到车辆已启动的概率。
59.第二方面,本技术实施例还提供了一种可穿戴设备,所述可穿戴设备包括处理器、存储器和至少一个传感器,所述处理器分别耦合所述处理器和所述至少一个传感器,所述存储器用于存储计算机指令,所述处理器用于运行所述存储器存储的计算机指令,执行:
60.在识别到用户进车时,通过所述至少一个传感器识别安全带的佩戴情况;
61.在识别到安全带未佩戴的情况下,提示所述用户佩戴安全带。
62.在一种可能的实现中,所述至少一个传感器包括惯性传感器和麦克风,所述处理器执行所述通过所述至少一个传感器识别安全带的佩戴情况,具体包括执行:
63.通过所述惯性传感器实时采集第一运动信息;
64.通过所述麦克风实时采集第一声音信息;
65.基于所述第一运动信息和所述第一声音信息中的至少一种,确定安全带的佩戴情况。
66.在一种可能的实现中,所述处理器执行所述基于所述第一运动信息和所述第一声音信息中的至少一种,确定安全带的佩戴情况,具体包括执行:
67.在基于所述第一运动信息检测到拉拽安全带的动作的情况下,确定所述安全带已佩戴;
68.在基于所述第一运动信息未检测到拉拽安全带的动作的情况下,确定所述安全带未佩戴。
69.在一种可能的实现中,所述处理器还执行:
70.基于所述第一运动信息确定在所述可穿戴设备在水平面方向上的第一位移以及在水面上的第二位移;
71.在所述第一位移大于第一长度且所述第二位移大于所述第二长度时,确定检测到拉拽安全带的动作。
72.在一种可能的实现中,所述处理器执行所述基于所述第一运动信息和所述第一声音信息中的至少一种,确定安全带的佩戴情况,具体包括执行:
73.在基于所述第一声音信息识别到拉拽安全带的声音以及安全带插入到安全带插口的声音的情况下,确定所述安全带已佩戴;
74.在基于所述第一声音信息未识别到拉拽安全带的声音或安全带插入到安全带插口的声音的情况下,确定所述安全带未佩戴。
75.在一种可能的实现中,所述处理器还执行:
76.将所述第一声音信息输入到声音识别模型,得到所述第一声音信息的声音类型;
77.在所述第一声音信息的类型为拉拽安全带的声音时,将所述麦克风在识别到拉拽安全带的声音之后采集的第一声音信息输入到所述声音识别模型,得到后采集的第一声音信息的声音类型;
78.在所述后采集的第一声音信息的声音类型为安全带插入到安全带插口的声音时,则识别到安全带插入到安全带插口的声音。
79.在一种可能的实现中,所述处理器执行所述基于所述第一运动信息和所述第一声音信息中的至少一种,确定安全带的佩戴情况,具体包括执行:
80.基于第一置信度和第二置信度确定安全带的佩戴情况,所述第一置信度用于指示基于所述第一运动信息检测到安全带已佩戴的概率;所述第二置信度用于指示基于所述第一声音信息检测到安全带佩戴的概率。
81.在一种可能的实现中,所述处理器执行所述基于第一置信度和第二置信度确定安全带的佩戴情况,具体包括执行:
82.确定所述第一置信度和第二置信度的加权之和;
83.在所述加权之和大于目标阈值时,确定安全带已佩戴;
84.在所述加权之和不大于所述目标阈值时,确定安全带未佩戴。
85.在一种可能的实现中,所述处理器执行所述在识别到用户进车时,通过所述至少一个传感器识别安全带的佩戴情况之前,所述处理器还执行:
86.通过所述惯性传感器实时采集第二运动信息;
87.通过所述麦克风实时采集第二声音信息;
88.在基于第二声音信息检测到打开车门的声音之后基于所述第二运动信息检测到用户的人体状态从站姿变为坐姿以及检测到关闭车门的声音时,确定所述用户进车。
89.在一种可能的实现中,所述处理器还执行:
90.提取所述第二声音信息的特征;
91.在所述第二声音信息的特征与打开车门的声音的特征相匹配时,确定基于所述第二声音信息检测到打开车门的声音;
92.在基于所述第二声音信息检测到打开车门的声音之后,提取所述麦克风在检测到打开车门的声音之后采集的第二声音信息输入的特征;
93.在后采集的第二声音信息的特征与关闭车门的声音的特征相匹配时,确定检测到关闭车门的声音。
94.在一种可能的实现中,所述处理器还执行:
95.通过所述惯性传感器实时采集第三运动信息;
96.通过所述麦克风实时采集第三声音信息;
97.通过定位系统实时采集位置信息;
98.基于所述第三运动信息、所述第三声音信息和位置信息中的至少一种确定车辆的启动情况。
99.在一种可能的实现中,所述处理器执行所述基于所述第三运动信息、所述第三声音信息和位置信息中的至少一种确定车辆的启动情况,包括执行:
100.在满足预设条件中n项时,确定车辆的启动;所述n为不大于3的正整数,所述预设条件包括:
101.基于所述第三运动信息检测到所述可穿戴设备在水平方向上加速度突变;
102.基于第三声音信息检测到发动机启动的声音;
103.基于所述位置信息确定所述可穿戴设备的位移大于预设长度。
104.在一种可能的实现中,所述处理器执行基于所述第三运动信息、所述第三声音信息和位置信息中的至少一种确定车辆的启动情况,包括执行:
105.基于第三置信度、第四置信度和第五置信度确定安全带的佩戴情况,所述第三置信度用于指示基于所述第三声音信息检测到车辆已启动的概率;所述第四置信度用于指示
基于所述位置信息检测到车辆已启动的概率;所述第五置信度用于指示基于所述第三运动信息检测到车辆已启动的概率。
106.其有益效果,可以上述第一方面中相关描述,这里不再赘述。
107.第三方面,本技术实施例还提供了一种计算机程序产品,当所述计算机程序产品在可穿戴设备上运行时,使得所述可穿戴设备执行如第一方面或第一方面任意一种实现所述的方法。
108.第四方面,本技术实施例还提供了一种计算机可读存储介质,包括计算机指令,其特征在于,当所述计算机指令在可穿戴设备上运行时,使得所述可穿戴设备执行如第一方面或第一方面任意一种实现所述的方法。
109.其有益效果,可以上述第一方面中相关描述,这里不再赘述。
附图说明
110.为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
111.图1是本技术实施例提供的一种提醒佩戴安全带方法的场景示意图;
112.图2是本技术实施例提供的一种提醒佩戴安全带的方法的流程示意图;
113.图3是本技术实施例提供的一种用户的进车识别方法的流程示意图;
114.图4a是本技术实施例提供的一种安全带的佩戴识别的流程示意图;
115.图4b是本技术实施例提供的一种拉拽安全带的动作识别原理示意图;
116.图5是本技术实施例提供的另一种车辆的启动识别的流程示意图;
117.图6a-图6b是本技术实施例提供的一些用户界面的示意图;
118.图7是本技术实施例提供的一种可穿戴设备的结构示意图。
具体实施方式
119.下面结合图1介绍本技术的应用场景。
120.本技术以下实施例提供一种提醒佩戴安全带的方法,该方法通过佩戴在驾乘人员(也称为用户)身上的可穿戴设备来识别用户是否进车以及是否佩戴安全带,在识别到用户进车且未佩戴安全带时,进行提示,以保障驾乘人员的生命安全。
121.在用户上车,但不是需要行驶的场景下,用户不需要佩戴安全带,为提高提示的精确度,避免不需要行驶的场景下,可穿戴设备的误提示,还可以在进行提示之前,识别车辆是否启动,在识别到用户进车、未佩戴安全带且车辆启动后,进行提示。
122.上述可穿戴设备包括至少一个传感器,该至少一个传感器可以包括惯性传感器、声音采集装置(如麦克风)、心率传感器等,以实现其用户的进车识别、安全带的佩戴识别和车辆的启动识别等。应理解,惯性传感器可以是加速度传感器,还可以由加速度传感器、陀螺仪、磁传感器等组成。
123.上述可穿戴设备可以是智能手环、智能手表等使用时需要佩戴于用户手上、手腕或胳臂等的电子设备,还可以是通过佩戴装置可以固定于上述用户手上、手腕或胳臂等处
的电子设备,如手机等,这里不再一一列举。
124.本技术各个实施例中“车辆”、“车”可以是汽车,如小轿车、越野车、电动汽车、无人驾驶车、半自动驾驶车等。
125.下面分别通过4个实施例来进行说明。
126.实施例1:
127.本技术实施例1提供一种提醒佩戴安全带的方法,如图2所示的流程示意图,该方法通过佩戴在驾乘人员身上的可穿戴设备来识别用户是否进车以及是否佩戴安全带,在识别到用户进车且未佩戴安全带时,进行提示。
128.该方法可以包括如下过程:
129.(一)用户的进车识别
130.可穿戴设备可以通过至少一个传感器检测用户的位姿变化和/或通过麦克风获取的声音信号检测车辆的开/关门声音,进一步地,结合检测结果中的一种或者多种来判断用户是否进车。如果识别到用户已进车,则可以开启安全带的佩戴识别的流程,或者分别开启安全带的佩戴识别的流程和车辆的启动识别的流程;如果识别到用户未进车,则可以重新执行用户的进车识别的流程,或者按照预设频率执行该流程,也可以在检测到触发条件时,执行该流程。该触发条件可以是,可穿戴设备的运动传感器检测到用户发生运动,或者检测到用户正在行走,或者检测到用户停止行走,还可以是其他触发条件,这里不作限定。其中,至少一个传感器可以是惯性传感器,如加速度计、陀螺仪、重力传感器等,也可以是心率传感器,还可以是惯性传感器和心率传感器的组合。
131.关于用户进车识别的具体实现可以参见下述实施例2所示的用户的进车识别方法实施例中相关描述,这里不再赘述。
132.(二)安全带的佩戴识别
133.在可穿戴设备识别到用户进车后,可穿戴设备可以通过惯性传感器获取的运动信息检测用户的拉拽安全带动作和/或通过麦克风获取的声音信号检测安全带的拉拽声音和安全带插入安全带插口(也即为安全带被扣上)的声音,结合检测结果中的一种或者多种来判断安全带是否被佩戴。
134.在一些实施例中,若判断出安全带被佩戴,可穿戴设备可以关闭车辆的启动识别的流程和结束流程,也可以进行提示用户安全带已佩戴;若判断出安全带未被佩戴,可穿戴设备可以执行提示用户佩戴安全带的流程。
135.在另一些实施例中,也可以在判断出安全带被佩戴且车辆启动的情况下,可穿戴设备才执行提示用户佩戴安全带的流程。
136.关于用户进车识别的具体实现可以参见下述实施例3所示的安全带的佩戴识别方法实施例中相关描述,这里不再赘述。
137.(三)车辆的启动识别
138.在可穿戴设备识别到用户进车后,可穿戴设备可以检测通过惯性传感器获取的运动信息检测车辆的移动和/或通过麦克风获取的声音信号检测车辆启动的声音,结合检测结果中的一种或者多种来判断车辆是否被启动。在车辆启动且安全带未佩戴的情况下,可以执行提示用户佩戴安全带的流程。在车辆未启动是,可穿戴设备可以重复执行车辆启动识别的流程,若在预设时长,如5分钟或10分钟等内,始终未检测到车辆启动,则可以结束流
程,返回用户进车识别的流程,或者触发用户进车识别的流程。
139.关于用户进车识别的具体实现可以参见下述实施例4所示的车辆的启动识别方法实施例中相关描述,这里不再赘述。
140.(四)提示用户佩戴安全带
141.在安全带未佩戴且车辆启动的情况下,可穿戴设备可以提示用户佩戴安全带,进一步地,结束流程。提示的方式包括但不限于,语音提示、震动提示、显示提示、指示灯提示等中的一种或多种的组合。
142.上述方法,一方面,对比智能安全带来说,其不要求在现有安全带上做任何改进,适用于所有汽车;另一方面,不需要采集用户图像,不存在用户隐私泄露的风险;又一方面,该方法通用性强,不仅可用于驾驶员的安全带佩戴检测和提示,也适用于乘客,尤其实现后排乘客的安全带佩戴检测和提示。
143.实施例2:
144.如图3所示,为本请实施例2提供的一种进车识别方法的流程示意图,该方法可以由可穿戴设备实现,包括但不限于如下部分或全部步骤:
145.s11:通过传感器实时检测人体状态。其中,传感器可以是惯性传感器,如加速度传感器,也可以是心率传感器等,需要识别的人体状态可以包括站立姿态(简称为站姿)和坐立姿态(简称为坐姿)。
146.s12:判断是否检测到打开车门的声音。如果是,则执行s13;否则,执行s12。
147.其中,可穿戴设备可以通过麦克风实时采集声音信息,并提取采集到的声音信息的特征,进一步地,基于该采集到的声音信息的特征识别采集声音信息是否为打开/关闭车门的声音。
148.s13:检测用户的人体状态是否从站姿变为坐姿。如果是,则执行s14;否则,重复执行s13。
149.s14:判断是否检测到关闭车门的声音。如果是,则判断用户进车,否则,用户未进车。
150.上述用户的进车识别方法,在检测到开车门、站姿转变为坐姿和关车门这一些列操作依次发生时,则判断为用户进车,该方法通过开/关车门和位姿变化相结合来进行用户进车识别,更准确,用户体验更佳。
151.在一些实施例中,为提高用户的进车识别的速度,可穿戴设备还可以在目标时长检测到打开车门的声音和关闭车门的声音时,则判断用户进车,若未检测到打开车门的声音或关闭车门的声音时,则判断用户未进车。
152.在一些实施例中,为提高用户的进车识别的速度,可穿戴设备还可以在目标时长内检测到用户的人体状态是否从站姿变为坐姿时,则判断用户进车;否则,则判断用户未进车。
153.上述目标时长,可以是以触发进行用户的进车识别的时间为开始实现的一定时长。如2分钟、或3分钟等。
154.在一些实施例中,可穿戴设备也可以在检测到打开车门的声音后,再执行s11和s13,以避免用于识别人体状态的传感器的实时工作,降低可穿戴设备的功耗。
155.如下介绍上述进车识别方法涉及的这两种传感器检测人体状态的原理。
156.(一)通过惯性传感器检测人体状态的原理。
157.具体的,可以通过惯性传感器采集可穿戴设备的运动信息,根据该运动信息得到其运动轨迹,进而基于检测到的运动轨迹来识别位姿的变化。
158.在一些实施例中,可穿戴设备可以预先采集用户从站立变为坐姿的运动轨迹,基于采集的运动轨迹生成预设轨迹。在具体应用时,可穿戴设备可以获取从检测到打开车门的声音开始之后的一段时间内的运动信息或者获取检测到打开车门的声音时至检测到关门的声音时这一时间段内采集的惯性传感器采集的运动信息,计算得到运动轨迹;进而,可穿戴设备可以判断计算出的运动轨迹与预设轨迹相似度是否大于预设阈值,如果是,则检测到用户的位姿变化从站立变为坐姿,确定用户的进车;否则,用户未进车。可选地,该预设轨迹可以是一条轨迹或多条轨迹,在预设轨迹包括多条轨迹是,可穿戴设备可以计算检测到的运动轨迹可以与多条中的每一条运动轨迹的相似度,若存在一条轨迹与其的相似度大于预设阈值,则确定用户的进车;否则,用户未进车。
159.在另一些实施例中,可穿戴设备可以判断计算出的运动轨迹是否为从上到下的轨迹,如果是,则检测到用户的位姿变化从站立变为坐姿,确定用户的进车;否则,用户未进车。
160.(二)通过心率传感器检测人体状态的原理。
161.人体在处于站姿和坐姿时,心率明显不同。通常,人体处于坐姿时的心率小于站姿时的心率。可穿戴设备可以通过心率传感器检测用户的心率,进而,基于检测到的心率识别用户的状态或状态的转变。例如,当检测到的心率处于站立的心率范围时,确认用户的人体状态为站立;当用户的心率处于坐姿时的心率范围时,确认用户的人体状态为坐姿。又例如,在用户的心率从第一稳态下降到第二稳态且该第一稳态和第二稳态之间的差值不小于第一阈值,如10次/秒或15次/秒时,则识别为用户的人体状态由站姿变为坐姿,其中,第一稳态和第二稳态皆为在一定时长内心率变化幅度不大于第二阈值,如3次/秒或5次/秒等。第一阈值和第二阈值,可以基于用户采集的心率数据得到的,此时,针对不同的用户,第一阈值和第二阈值的设置可以基于用户的实际心率来确定,使得用户的人体状态的识别更加准确。
162.不限于上述(一)和(二)所示的人体状态的识别原理,还可以采用两者结合的方式来识别。例如,在上述(一)和(二)中任意一种方式检测到用户的人体状态的从站姿变为坐姿时,则认定为用户的人体状态的从站姿变为坐姿,以提高检测到的成功率。又例如,在上述(一)和(二)中两种方式均检测到用户的人体状态的从站姿变为坐姿时,则认定为用户的人体状态的从站姿变为坐姿,以提高识别的准确度。
163.如下介绍上述进车识别方法涉及的打开/关闭车门的声音的识别原理。其识别原理可以包括特征匹配和通过人工智能(artificial intelligence,ai)模型识别。
164.特征匹配:
165.可穿戴设备可以预先采集车辆的打开/关闭车门的声音,进而分别提取打开车门的声音的特征和提取关闭车门的声音的特征作为预存特征信息。在应用过程中,可穿戴设备可以提取实时采集到的声音信息的特征,将其与打开车门的声音的特征进行匹配,当两者相匹配时,则认为该采集到的声音信息为打开车门的声音;反之,若不匹配,则该声音信息不是打开车门的声音。同理,可穿戴设备可以提取在识别到打开车门之后实时采集到的
声音信息的特征,将其与关闭车门的声音的特征进行匹配,当两者相匹配时,则认为该后采集到的声音信息为关闭车门的声音;反之,若不匹配,则该后采集到的声音信息不是位关闭车门的声音。
166.ai模型识别:
167.训练设备可以通过样本集训练一个声音识别模型,该声音识别模型为一个分类模型,识别输入的声音属于打开车门的声音的概率、属于关闭车门的声音的概率和属于其它声音的概率。进一步地,可以基于输出的概率值,来识别其所属的类型。应理解,这里的其他声音是指既非打开车门的声音也非关闭车门的声音。训练设备可以是服务器、云服务器、笔记本或者其他具备计算能力的电子设备,其可以将训练后的声音识别模型发送至可穿戴设备。
168.其中,声音识别模型可以是卷积神经网络(cnn)、循环神经网络(recurrent neural network,rnn)、深度神经网络(dnn)等,用于识别输入的声音信息所属的声音类型,这里声音类型包括打开车门的声音、关闭车门的声音和其它声音。训练声音识别模型采用的样本包括声音信息和该声音信息所属的声音类型(也称为真实声音类型)。训练方法是:将样本中的声音信息输入到声音识别模型,得到该声音信息的预测声音类型,通过预测声音类型与其真实声音类型之间的损失更新声音识别模型的参数,使得损失越来越小,当损失收敛或者训练次数达到要求时,就可以得到具备声音识别能力的声音识别模型。
169.可穿戴设备可以预存或者下载声音识别模型。在模型的应用过程中,可穿戴设备可以实时采集到的声音信息,将其输入到声音识别模型,声音识别模型对该采集到的声音信息进行处理,得到该采集到的声音信息分别属于打开车门的声音的概率p1、属于关闭车门的声音的概率p2和属于其他声音的概率p3,进而,在p1大于p2且大于p3时,则判断其属于打开车门的声音;在p2大于p1且大于p3时,则判断其属于关闭车门的声音;否则,其属于其它声音。
170.可选地,识别打开车门的声音和关闭车门的声音的模型可以是不同的两个模型,例如,用于识别打开车门的声音的模型为第一声音识别模型,为一个二分类模型,用于识别是否属于打开车门的声音;同理,用于识别关闭车门的声音的模型为第二声音识别模型,其为一个二分类模型,用于识别是否属于关闭车门的声音。其训练原理和应用方法同上述声音识别模型,具体不再赘述。
171.实施例3:
172.如图4a所示,为本请实施例3提供的一种安全带的佩戴识别方法的流程示意图,该方法可以由可穿戴设备实现,包括但不限于如下部分或全部步骤:
173.s21:通过惯性传感器实时采集可穿戴设备的运动信息。
174.s22:基于采集到的运动信息检测是否发生拉拽安全带的动作。如果是,则确定安全带已佩戴或执行s23、s25,或执行s26;否者,可以确定安全带未佩戴或执行s25或s26。
175.s23:通过麦克风实时采集声音信息。
176.s24:判断是否检测到拉拽安全带的声音。如果是,则确定安全带已佩戴或执行s25,或执行s26;否者,可以确定安全带未佩戴或执行s26。
177.s25:判断是否检测到安全带插入到安全带插口的声音。如果是,则确定安全带已佩戴或执行s26;否者,确定安全带未佩戴或执行s26。
178.s26:基于动作和声音的检测结果判断安全带是否佩戴。
179.应理解,上述步骤s21-s22与步骤s23-s25可以不分先后,同时执行。
180.其中,基于动作和声音的检测结果判断安全带是否佩戴可以包括但限于如下实现方式:
181.实现方式1:仅基于动作来判断。具体地,可穿戴设备可以通过上述s21-s22来识别安全带是否佩戴,其中,当发生拉拽安全带动作时,则判断为安全带被佩戴,否者,安全带未被佩戴。
182.实现方式2:仅基于声音来判断。具体地,可穿戴设备可以通过上述s23-s25来识别安全带是否佩戴,其中,在检测到拉拽安全带的声音之后检测到安全带插入安全带插口的声音时,则判断为安全带被佩戴,否者,安全带未被佩戴。
183.实现方式3:仅基于安全带插入到安全带插口的声音来判断。具体地,可穿戴设备可以通过上述s25来识别安全带是否佩戴,其中,在检测到安全带插入安全带插口的声音时,则判断安全带被佩戴,否者,安全带未被佩戴。
184.实现方式4:基于动作和安全带插入到安全带插口的声音来判断。具体地,可穿戴设备可以通过上述s21-s22、s23和s25来识别安全带是否佩戴,当检测道发生拉拽安全带的动作之后检测到安全带插入到安全带插口的声音的情况下,则判断为安全带被佩戴,否者,安全带未被佩戴。
185.实现方式5:基于动作、拉拽安全带的声音和安全带插入到安全带插口的声音来判断。具体地,可穿戴设备可以通过上述s21-s22和s23-s25来识别安全带是否佩戴,当发生拉拽安全带的动作的同时检测到拉拽安全带的声音,并且在检测到拉拽安全带的声音之后检测到安全带插入到安全带插口的声音的情况下,才判断为安全带被佩戴,否者,安全带未被佩戴。或者,当满足上述发生拉拽安全带的动作、检测到拉拽安全带的声音和检测到安全带插入到安全带插口的声音之中的一种或两种条件时,判断为安全带被佩戴,否者,安全带未被佩戴。
186.其中,在实现方式4和实现方式5中,在综合动作和声音来判断时,还可以确定第一置信度α和第二置信度β,其中,第一置信度α用于指示基于动作检测到安全带佩戴的可靠性,第二置信度β用于指示基于声音检测到安全带佩戴的可靠性;进而基于上述第一置信度α和第二置信度β的加权之和来判断安全带是否佩戴,在其加权之和大于目标阈值θ时,则确定安全带已佩戴,否者,安全带未佩戴,其公式表达为:
187.c1*α+c2*β》θ
188.其中,c1、c2分别为α、β的权重。在一种实现中,考虑到驾乘人员不一定用佩戴可穿戴设备的手去佩戴安全带,此时可穿戴设备可以识别其被佩戴的左右手,进而在其识别到可穿戴设备为左手佩戴时,设置第一置信度α的权重c1小于第二置信度β的权重c2。考虑到当前麦克风可能被占用,此时,可穿戴设备在执行s23之间,可以判断麦克风的占用情况,在麦克风被其他程序占用时,可穿戴设备可以设置第一置信度α的权重c1大于第二置信度β的权重c2。权重c1、c2还可以具有其他设置方式,本技术实施例不再一一列举。
189.如下介绍拉拽安全带的动作的检测原理。
190.应理解,汽车内座椅的大小一般较为固定,如图4b所示。因此,驾乘人员佩戴安全带的动作较为统一,可以利用惯性传感器采集可穿戴设备的运动信息,基于其运动轨迹确
定其在垂直于水平面方向(即z轴方向)的位移sz以及水平面上(即x轴方向)的位移sx:在满足阈值时间,如两秒内,若sz大于第一长度(如0.6m)且|sx|大于第二长度(如0.4m),则认为用户有佩戴安全带的动作,进一步地可以基于该动作相似度输出第一置信度α。其中,动作相似度可以基于sz与第一长度的偏差和|sx|与第二长度的偏差确定,偏差越大,动作相似度越小。
191.应理解,还可以基于其他方式来检测拉拽安全带的动作,如,可穿戴设备可以判断可穿戴设备的运动轨迹与预存拉拽安全带操作的运动轨迹相似度是否大于预设阈值,如果是,则认为用户有佩戴安全带的动作,否则,安全带未佩戴。进一步地,也可以通过该相似度确定第一置信度α,如该相似度等于第一置信度α。
192.如下介绍拉拽安全带的声音的检测原理。在系安全带过程中有很明显的拉安全带的声音以及安全带插入到安全带插口的声音,尤其是安全带插入到安全带插口的声音因其声音特别,非常具有识别力。同上述打开/关闭车门的声音的检测原理相同,可以包括但不限于特征匹配和ai模型识别两种原理。
193.特征匹配:
194.可穿戴设备可以预先采集拉拽安全带的声音,进而提取拉拽安全带的声音的特征作为预存特征信息。在应用过程中,可穿戴设备可以提取实时采集到的声音信息的特征,将其与拉拽安全带的声音的特征进行匹配,当两者相匹配时,则认为该采集到的声音信息为拉拽安全带的声音;反之,若不匹配,则该声音信息不是拉拽安全带的声音。可选地,第二置信度β等于采集到的声音信息的特征与拉拽安全带的声音的特征的相似度或由该相似度得到。该相似度越大,第二置信度β越大;反之,相似度越小,第二置信度β越小。
195.ai模型识别:
196.训练设备可以通过样本集训练一个声音识别模型,该声音识别模型为一个二分类模型,识别输入的声音属于拉拽安全带的声音的概率和不属于拉拽安全带的声音的概率。进一步地,可以基于输出的概率值,来识别其所属的类型。训练设备可以是服务器、云服务器、笔记本或者其他具备计算能力的电子设备,其可以将训练后的声音识别模型发送至可穿戴设备。
197.其中,声音识别模型可以是卷积神经网络(cnn)、循环神经网络(recurrent neural network,rnn)、深度神经网络(dnn)等,用于识别输入的声音信息所属的声音类型,这里声音类型包括拉拽安全带的声音和非拉拽安全带的声音。训练声音识别模型采用的样本包括声音信息和该声音信息所属的声音类型(也称为真实声音类型)。训练方法是:将样本中的声音信息输入到声音识别模型,得到该声音信息的预测声音类型,通过预测声音类型与其真实声音类型之间的损失更新声音识别模型的参数,使得损失越来越小,当损失收敛或者训练次数达到要求时,就可以得到具备声音识别能力的声音识别模型。
198.可穿戴设备可以预存或者下载声音识别模型。在模型的应用过程中,可穿戴设备可以实时采集到的声音信息,将其输入到声音识别模型,声音识别模型对该采集到的声音信息进行处理,得到该采集到的声音信息分别属于拉拽安全带的声音的概率q1和属于非拉拽安全带的声音q2,进而,在q1大于q2或大于目标阈值(如0.6、0.7)时,则判断其属于拉拽安全带的声音;在q1不大于q2或不大于目标阈值时,则判断其属于非拉拽安全带的声音。
199.在第二置信度β的一实现中,第二置信度β等于该采集到的声音信息属于拉拽安全
带的声音的概率q1或由q1得到。q1越大,第二置信度β越大;反之,q1越小,第二置信度β越小。
200.如下介绍检测到安全带插入到安全带插口的声音(简称为安全带扣上的声音)的检测原理。同上述打开/关闭车门的声音的检测原理相同,可以包括但不限于特征匹配和ai模型识别两种原理。
201.特征匹配:
202.可穿戴设备可以预先采集安全带扣上的声音,进而提取安全带扣上的声音的特征作为预存特征信息。在应用过程中,可穿戴设备可以提取实时采集到的声音信息的特征,将其与安全带扣上的声音的特征进行匹配,当两者相匹配时,则认为该采集到的声音信息为安全带扣上的声音;反之,若不匹配,则该声音信息不是安全带扣上的声音。
203.ai模型识别:
204.训练设备可以通过样本集训练一个声音识别模型,该声音识别模型为一个二分类模型,识别输入的声音属于安全带扣上的声音的概率和不属于安全带扣上的声音的概率。进一步地,可以基于输出的概率值,来识别其所属的类型。训练设备可以是服务器、云服务器、笔记本或者其他具备计算能力的电子设备,其可以将训练后的声音识别模型发送至可穿戴设备。
205.其中,声音识别模型可以是卷积神经网络(cnn)、循环神经网络(recurrent neural network,rnn)、深度神经网络(dnn)等,用于识别输入的声音信息所属的声音类型,这里声音类型包括安全带扣上的声音和非安全带扣上的声音。训练声音识别模型采用的样本包括声音信息和该声音信息所属的声音类型(也称为真实声音类型)。训练方法是:将样本中的声音信息输入到声音识别模型,得到该声音信息的预测声音类型,通过预测声音类型与其真实声音类型之间的损失更新声音识别模型的参数,使得损失越来越小,当损失收敛或者训练次数达到要求时,就可以得到具备声音识别能力的声音识别模型。
206.可穿戴设备可以预存或者下载声音识别模型。在模型的应用过程中,可穿戴设备可以实时采集到的声音信息,将其输入到声音识别模型,声音识别模型对该采集到的声音信息进行处理,得到该采集到的声音信息分别属于安全带扣上的声音的概率o1和属于非安全带扣上的声音的概率o2,进而,在o1大于o2或大于目标阈值(如0.6、0.7)时,则判断其属于安全带扣上的声音;在o1不大于o2或不大于目标阈值时,则判断其属于非安全带扣上的声音。
207.在第二置信度β的另一实现中,第二置信度β等于该采集到的声音信息属于拉拽安全带的声音的概率o1或由o1得到。o1越大,第二置信度β越大;反之,o1越小,第二置信度β越小。
208.在第二置信度β的又一实现中,第二置信度β等于该概率q1和o1得到,例如,β为q1和o1的均值;又例如,β为q1和q2的乘积。
209.在另一种实现中,训练设备可以训练的声音识别模型,可识别的声音类型包括拉拽安全带的声音、安全带扣上的声音和其它声音。其训练采用的样本集包括标签分别为上述各个声音类型的声音信息。训练得到的声音识别模型可以识别输入的声音所属的声音类型。其具体训练方法同上述实施例2中的声音识别模型,这里不再赘述。
210.在又一种实现中,训练设备可以训练的声音识别模型,可识别的声音类型包括打
开车门的声音、关闭车门的声音、拉拽安全带的声音、安全带扣上的声音和其它声音。其训练采用的样本集包括标签分别为上述各个声音类型的声音信息。训练得到的声音识别模型可以识别输入的声音所属的声音类型。其具体训练方法同上述实施例2中的声音识别模型,这里不再赘述。
211.上述安全带的佩戴识别方法,在检测到拉拽安全带的动作、拉拽安全带的声音和安全带扣上的声音时这一些列操作时,则判断为安全带已佩戴,更准确,用户体验更佳。
212.实施例4:
213.如图5所示,为本请实施例4提供的一种车辆的启动识别方法的流程示意图,该方法可以由可穿戴设备实现,包括但不限于如下部分或全部步骤:
214.s31:通过麦克风实时采集声音信息。
215.s32:判断是否检测到发动机启动的声音。
216.s33:通过定位系统实时采集位置信息。其中,定位系统可以是基站定位系统、全球定位系统(global positioning system,gps)或北斗卫星导航系统(beidou navigation satellite system,bds)等。
217.s34:根据位置信息确定车辆的位移。
218.s35:检测位移是否大于预设长度。
219.s36:通过惯性传感器实时采集可穿戴设备的加速度。
220.s37:基于采集到的加速度检测是否发生水平方向上的加速度突变。
221.s38:基于声音、位移和加速度的检测结果判断车辆是否启动。
222.其中,基于声音、位移和加速度判断车辆是否启动包括但不限于如下实现方式:
223.第1实现方式:仅基于声音来判断。具体地,可穿戴设备可以通过上述s31-s32来识别车辆是否启动,其中,在检测到发动机启动的声音,则判断为车辆已启动,否者,车辆未启动。
224.第2实现方式:仅基于定位系统获取到的位置信息来判断。具体地,可穿戴设备可以通过上述s33-s35来识别车辆是否启动,其中,在检测到可穿戴设备的位移大于预设长度时,说明车辆发生运动,则判断为车辆已启动,否者,车辆未启动。
225.第3实现方式:仅基于惯性传感器采集到加速度来判断。具体地,可穿戴设备可以通过上述s36-s37来识别车辆是否启动,其中,在基于采集到的加速度检测到发生水平方向上的加速度突变时,说明车辆发生运动,则判断为车辆已启动,否者,车辆未启动。
226.第4实现方式:基于声音和定位系统获取到的位置信息来判断。具体地,可穿戴设备可以通过上述s31-s35来识别车辆是否启动,其中,若在检测到发动机启动的声音后检测到位移大于预设长度,则判断为车辆已启动,否者,车辆未启动。
227.第5实现方式:基于声音和惯性传感器采集到的加速度来判断。具体地,可穿戴设备可以通过上述s31-s32和s36-s37来识别车辆是否启动,其中,若在检测到发动机启动的声音后基于采集到的加速度检测到发生水平方向上的加速度突变时,则判断为车辆已启动,否者,车辆未启动。
228.第6实现方式:基于定位系统获取到的位置信息和惯性传感器采集到的加速度来判断。具体地,可穿戴设备可以通过上述s33-s35和s36-s37来识别车辆是否启动,其中,若检测到位移大于预设长度且基于采集到的加速度检测到发生水平方向上的加速度突变时,
则判断为车辆已启动,否者,车辆未启动。
229.第7实现方式:基于声音、定位系统获取到的位置信息和惯性传感器采集到的加速度来判断。具体地,可穿戴设备可以通过上述s31-s37来识别车辆是否启动,当检测到发动机启动的声音之后,检测到位移大于预设长度且基于采集到的加速度检测到发生水平方向上的加速度突变的情况下,才判断为车辆已启动,否者,车辆未启动。或者,当满足上述检测到发动机启动的声音、检检测到位移大于预设长度和基于采集到的加速度检测到发生水平加速度之中的一种或两种条件时,判断为车辆已启动,否者,车辆未启动。
230.其中,在综合声音、定位系统获取到的位置信息和惯性传感器采集到的运动信息来判断时,还可以确定第三置信度x、第四置信度y和第五置信度z,其中,第三置信度x用于指示基于声音检测到车辆启动的可靠性,第四置信度y用于指示定位系统获取到的位置信息检测到车辆启动的可靠性可靠性,第五置信度z用于指示基于惯性传感器采集到的加速度检测到车辆启动的可靠性。上述第三置信度x、第四置信度y和第五置信度z的确定方法可以分别参见下述“通过声音识别车辆启动的原理”、“通过定位系统获取的位置信息识别车辆启动的原理”和“通过惯性传感器采集的加速度识别车辆启动的原理”通过中相关描述,这里不再赘述。进一步地,可穿戴设备可以基于上述第三置信度x、第四置信度y和第五置信度z的加权之和来判断车辆是否启动,在其加权之和大于目标阈值l时,则确定车辆已启动,否者,安全带未佩戴其公式表达为:
231.w1*x+w2*y+w3*z》l
232.其中,w1、w2、w3分别为x、y、z的权重。在一种实现中,考虑到当前麦克风可能被占用,此时,可穿戴设备在执行s31之间,可以判断麦克风的占用情况,在麦克风被其他程序占用时,可穿戴设备可以调小w1或者设置权重w1小于w2和w3。在考虑到车辆可能处于地下停车场等定位信号弱的地方,可穿戴设备在执行s33之前,可以判断定位系统的信号是否良好,如果是,则可以执行s33-s35,调大w2,否者,可穿戴设备可以调小w2或者设置权重w2小于w1和w3。在考虑到不同的定位系统的定位精度不同,从而造成其检测结果的可靠性的不同,因而可以对不同定位系统设置不同的权重w2,定位精确度高的定位系统,可以设置更大的权重w2。在考虑可穿戴设备的加速度可能不是由于车辆的运动引起的,而是用户自身活动所导致的,此时,可穿戴设备可以在基于运动信息检测到非水平加速度时,可以调小w3或者设置权重w3小于w1和w2。权重w1、w2、w3还可以具有其他设置方式,本技术实施例不再一一列举。
233.下面分别上述车辆启动识别方法中涉及的识别车辆启动的原理。
234.下面介绍通过声音识别车辆启动的原理。
235.在车辆启动过程中,具有很明显的车辆的发动机启动的声音,该声音具有较大的识别力。同上述打开/关闭车门的声音的检测原理相同,可以包括但不限于特征匹配和ai模型识别两种原理。
236.特征匹配:
237.可穿戴设备可以预先采集车辆启动的声音,进而提取车辆启动的声音的特征作为预存特征信息。在应用过程中,可穿戴设备可以提取实时采集到的声音信息的特征,将其与车辆启动的特征进行匹配,当两者相匹配时,则认为该采集到的声音信息为车辆启动的声音;反之,若不匹配,则该声音信息不是车辆启动的声音。其中,第三置信度x可以等于采集
到的声音信息的特征与车辆启动的特征的匹配程度,或基于该匹配程度确定。匹配程度越高,则第三置信度x越高;反之,匹配程度越低,则第三置信度x越低。
238.ai模型识别:
239.训练设备可以通过样本集训练一个声音识别模型,该声音识别模型为一个二分类模型,识别输入的声音属于车辆启动的声音的概率和不属于车辆启动的声音的概率。进一步地,可以基于输出的概率值,来识别其所属的类型。训练设备可以是服务器、云服务器、笔记本或者其他具备计算能力的电子设备,其可以将训练后的声音识别模型发送至可穿戴设备。
240.其中,声音识别模型可以是卷积神经网络(cnn)、循环神经网络(recurrent neural network,rnn)、深度神经网络(dnn)等,用于识别输入的声音信息所属的声音类型,这里声音类型包括车辆启动的声音和车辆启动的声音。训练声音识别模型采用的样本包括声音信息和该声音信息所属的声音类型(也称为真实声音类型)。训练方法是:将样本中的声音信息输入到声音识别模型,得到该声音信息的预测声音类型,通过预测声音类型与其真实声音类型之间的损失更新声音识别模型的参数,使得损失越来越小,当损失收敛或者训练次数达到要求时,就可以得到具备声音识别能力的声音识别模型。
241.可穿戴设备可以预存或者下载声音识别模型。在模型的应用过程中,可穿戴设备可以实时采集到的声音信息,将其输入到声音识别模型,声音识别模型对该采集到的声音信息进行处理,得到该采集到的声音信息分别属于车辆启动的概率和属于非车辆启动的声音的概率,进而,在基于得到的概率值识别是否为车辆启动的声音。例如,当该采集到的声音信息属于车辆启动的概率大于属于非车辆启动的声音的概率时,则该声音信息属于车辆启动的声音,否者,为非车辆启动的声音。
242.其中,第三置信度x可以等于该采集到的声音信息属于车辆启动的概率,或基于该概率确定。该概率越高,则第三置信度x越高;反之,该概率越低,则第三置信度x越低。
243.下面介绍通过定位系统获取的位置信息识别车辆启动的原理。
244.当用户进车后,在车辆不启动时,通常用户坐在座位上不会移动或其运动的位移有限,不会超过车辆内部的空间大小,当其位移超过车辆内部空间的大小时,可以确定为车辆启动并发生移动。因此,可穿戴设备在识别到用户进车后,可以通过定位系统实时检测当前的位置信息,进而,基于该位置信息,检测到可穿戴设备的位移大于目标距离时,确定车辆启动,否者,车辆未启动。其中,目标距离可以等于车辆内部空间的尺寸,或者为其他值。
245.其中,第四置信度y可以由位移与目标距离的偏差确定,偏差越大,越可能是车辆发生移动,第四置信度y越高,反之,偏差越小,则第四置信度y越小。
246.下面介绍通过惯性传感器采集的加速度识别车辆启动的原理。
247.当用户进车后,一方面,可穿戴设备可以随着用户的佩戴部位的运动而发生运动;另一方面,当车辆启动时,由于瞬间的加速度,可穿戴设备会在水平方向上突然具有一个水平方向的加速度。其中,可穿戴设备在检测到水平方向的加速度突变时,则可以确定车辆启动,反之,当水平方向上的加速度未发生突变,或者变化幅度较小时,则确定车辆未启动。
248.其中,第五置信度z可以基于该水平方向上的加速度大小来确定,水平方向的加速度突变幅度越大,则越可能是由于车辆的突然启动而引起的,第五置信度z越大;反之,水平方向的加速度突变幅度越小,则第五置信度z越小。
249.需要说明的是,在上述(一)用户的进车识别、(二)安全带的佩戴识别、(三)车辆的启动识别三个过程中涉及的声音识别模型,虽然采用了相同的描述,但三个过程中的声音识别模型可以不同,其可识别的声音类型不同,训练采用的样本集不同。在一些实施例中,上述三个过程可以采用同一声音识别模型,该声音识别模型可以识别上述三个过程中涉及到的任意一种声音类型,训练其的样本也包括了标签为上述三个过程中涉及的各个类型的样本,训练方法同上述各个过程中模型的训练方法,这里不再赘述。
250.还需要说的是,在上述(一)用户的进车识别、(二)安全带的佩戴识别、(三)车辆的启动识别三个过程中涉及的运动信息和声音信息,虽然采用了相同的描述,但是三个过程中获取因为时间段不同,获取到的运动信息和声音信息不同,在(一)用户的进车识别过程其可以分别称为第一运动信息和第一声音信息,在(二)安全带的佩戴识别过程其可以分别称为第二运动信息和第二声音信息,在三)车辆的启动识别过程其可以分别称为第三运动信息和第三声音信息。
251.应理解,本技术中“第一”、“第二”、“第三”、“第四”、“第五”等仅为了区分。不具备实际的含义。
252.下面介绍本技术各个实施例涉及的用户界面。
253.可穿戴设备可以包括安全带佩戴提示的功能,如图6a所示的用户界面601,可穿戴设备可以设置该功能的开启和关闭,当该功能开启时,即电子设备通过调用存储器存储的计算机指令,实现上述实施例1所述的提醒佩戴安全带的方法。在检测到用户进车后,未佩戴安全带时,可以进行提示,例如,可穿戴设备显示如图6b所示的用户界面602,并且进行震动,以提示用户佩戴安全带。
254.下面介绍本技术实施例提供的示例性可穿戴设备100,该可穿戴设备100可以执行本技术实施例1-实施例4所述的方法的所有步骤和流程,其中可穿戴设备100可以对应于本技术实施例所述的智能手表、智能手环等。
255.示例性的,图7示出了可穿戴设备100的结构示意图。该可穿戴设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,至少一个按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包括但不限于:压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m、心率传感器180n、血氧传感器180o等。
256.可以理解的是,本发明实施例示意的结构并不构成对可穿戴设备100的具体限定。在本技术另一些实施例中,可穿戴设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。例如,对于部分智能手表来说,其可以不必包括移动通信模块150、sim卡接口195等。
257.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器
serial interface,dsi)等。在一些实施例中,处理器110和摄像模组193通过csi接口通信,实现可穿戴设备100的摄像功能。处理器110和显示屏194通过dsi接口通信,实现可穿戴设备100的显示功能。
267.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像模组193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。
268.usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为可穿戴设备100充电,也可以用于可穿戴设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他可穿戴设备,例如ar设备等。
269.可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对可穿戴设备100的结构限定。在另一些实施例中,可穿戴设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
270.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过可穿戴设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为可穿戴设备供电。
271.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
272.可穿戴设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
273.天线1和天线2用于发射和接收电磁波信号。可穿戴设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
274.移动通信模块150可以提供应用在可穿戴设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
275.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基
带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
276.无线通信模块160可以提供应用在可穿戴设备100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。示例性地,无线通信模块160可以包括蓝牙模块、wi-fi模块等。
277.在一些实施例中,可穿戴设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得可穿戴设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time-division code division multiple access,td-scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
278.可穿戴设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
279.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,可穿戴设备100可以包括1个或n个显示屏194,n为大于1的正整数。在本技术实施例中,显示屏194用于显示如图6a和图6b所示的用户界面。
280.可穿戴设备100可以通过摄像模组193,isp,视频编解码器,gpu,显示屏194以及应
用处理器ap、神经网络处理器npu等实现摄像功能。
281.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当可穿戴设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
282.视频编解码器用于对数字视频压缩或解压缩。可穿戴设备100可以支持一种或多种视频编解码器。这样,可穿戴设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)-1,mpeg-2,mpeg-3,mpeg-4等。
283.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现可穿戴设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
284.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展可穿戴设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、照片、视频等数据保存在外部存储卡中。
285.内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得可穿戴设备100执行上述实施例1-实施例4所述的方法,以及各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储可穿戴设备100使用过程中所创建的数据(比如照片,联系人等)。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
286.可穿戴设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
287.音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
288.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。可穿戴设备100可以通过扬声器170a收听音乐,或收听免提通话。
289.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当可穿戴设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。
290.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。可穿戴设备100可以设置至少一个麦克风170c。在另一些实施例中,可穿戴设备100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,可穿戴设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。在本技术中,麦克风170c还用于采集声音信息,以供处理器110识别该声音信息的声音类型。
291.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动可穿戴设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
292.压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。可穿戴设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,可穿戴设备100根据压力传感器180a检测所述触摸操作强度。可穿戴设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
293.陀螺仪传感器180b可以用于确定可穿戴设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定可穿戴设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测可穿戴设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消可穿戴设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
294.气压传感器180c用于测量气压。在一些实施例中,可穿戴设备100通过气压传感器180c测得的气压值计算海拔高度,辅助定位和导航。
295.磁传感器180d包括霍尔传感器。
296.加速度传感器180e可检测可穿戴设备100在各个方向上(一般为三轴)加速度的大小。当可穿戴设备100静止时可检测出重力的大小及方向。还可以用于识别可穿戴设备的姿态,应用于横竖屏切换,计步器等应用。应理解,本技术中惯性传感器可以为加速度传感器180e,也可以是加速度传感器180e与陀螺仪传感器180b的组合。
297.距离传感器180f,用于测量距离。可穿戴设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,可穿戴设备100可以利用距离传感器180f测距以实现快速对焦。
298.接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。可穿戴设备100通过发光二极管向外发射红外光。可穿戴设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定可穿戴设备100附近有物体。当检测到不充分的反射光时,可穿戴设备100可以确定可穿戴设备100附近没有物体。可穿戴设备100可以利用接近光传感器180g检测用户手持可穿戴设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。
299.环境光传感器180l用于感知环境光亮度。可穿戴设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测可穿戴设备100是否在口袋里,以防误触。
300.指纹传感器180h用于采集指纹。可穿戴设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
301.温度传感器180j用于检测温度。在一些实施例中,可穿戴设备100利用温度传感器180j检测的温度,执行温度处理策略。
302.触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于可穿戴设备100的表面,与显示屏194所处的位置不同。
303.骨传导传感器180m可以获取振动信号。在一些实施例中,骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏,接收血压跳动信号。
304.心率传感器180n用于测量心率,在一些实施例中,心率传感器180n可以是光电传感器,光电传感器可以包括发射器、接收器等。其中,发射器可以是发光二极管、红外发射二极管等,接收器可以包括光电晶体管等。当发射器发出的光照透过皮肤组织然后再反射到接收器时光照存在一定程度的衰减。通过光照的变化即可容积脉搏血流的变化。利用光电式传感器检测经过人体血液和组织吸收后的反射光强度的不同,可以获得血液流量在心跳周期内的变化,从获得的脉搏波形中计算出心率。在另外一些实施例中,心率传感器180n还可以是电容式传感器、压阻式传感器或压电式传感器等,本技术实施例对此不作限定。
305.血氧传感器180o可以包括至少一个发光源和至少一个光电探测器,用于计算血氧饱和度。其中,该至少一个发光源可以发射红光和红外光,发射的红光和红外光经人体组织反射,至少一个光电探测器可以接收该反射的光并将其分别转变为光电容积脉搏波(photoplethysmography,ppg)信号,其中,接收红光转变为红光ppg信号,接收的红外光转变为红外ppg信号。红光ppg信号及红外ppg信号用于计算血氧饱和度。例如,血氧传感器包括2个led和2个pd,其中,一个led可以发射红光,一个led可以发射近红外光,一个pd用于检测红光,一个pd用于检测近红外光。
306.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。可穿戴设备100可以接收按键输入,产生与可穿戴设备100的用户设置以及功能控制有关的键信号输入。
307.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
308.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
309.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和可穿戴设备100的接触和分离。可穿戴设备100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个
sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。可穿戴设备100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,可穿戴设备100采用esim,即:嵌入式sim卡。esim卡可以嵌在可穿戴设备100中,不能和可穿戴设备100分离。
310.在上述实施例中,可以全部或部分的通过软件,硬件,固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式出现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术实施例所述的流程或功能。
311.通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
312.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
313.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
314.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
315.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
316.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!