一种功能调节方法以及相关装置与流程

文档序号:33319198发布日期:2023-03-03 19:08阅读:26来源:国知局
一种功能调节方法以及相关装置与流程

1.本技术涉及雷达领域,尤其涉及一种功能调节方法以及相关装置。


背景技术:

2.随着社会的进步和物质生活的快速发展,人们对于更加智能、便捷的人机交互方式的需求越来越强烈。人机交互是一门研究系统与用户之间的交互关系的学问,系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互技术在未来终端、智能座舱等应用场景具有极高的发展潜力和应用价值。
3.人机交互方式正持续发展中,可分为接触式交互与非接触式交互。最初键盘或物理按键的交互方式有较高的准确率,无冗余操作,但交互不直观且需要复杂的设备接口以此覆盖所有操作;图形用户界面的诞生摆脱了抽象的命令,交互设备一般是鼠标,但鼠标设备的控制与界面显现的显示域是分离的,因而用户需要对目标进行间接的交互操作,从而更加增加了交互的难度;触摸交互界面实现了直接的交互操作,从而在保留了一部分触觉反馈的同时,进一步降低了用户的学习和认知成本。然而在触屏上点击时往往难以精确地控制落点位置,输入信号的粒度远远低于交互元素的响应粒度,同时,其交互形态仍然为二维界面;而当前非接触式交互主要有声控交互、动作交互等方式。其中声控交互对噪声环境的严苛要求限制了其应用场景。
4.手势识别作为人机交互的重要方式之一,成为了研究的热点,在各个领域得到了广泛的应用。例如在车载环境中,由于行车过程中环境噪声过大以及车内可能存在多人说话的场景,语音识别的准确率往往不尽如人意。对于触控屏方式,驾驶员必须转移视线进行操作,影响行车安全。因此在车载环境中,手势识别作为一种容许盲操、非接触的交互方式有极高的需求。
5.传统的手势识别技术主要是利用光学摄像头进行的,光学图像可以清晰地表征手势的形状和纹理,但其限制性也较大,首先光学摄像头在强光或者昏暗光照下的效果较差;其次它对视距的限制也较大,用户必须在某个空间内进行动作识别,并且不能有障碍物的存在;再者,光学图像的存贮代价以及计算成本都相对较高;另外,光学技术存在较大的隐私泄漏风险,无法确保安全性。相比之下,基于毫米波的手势识别就体现出了它的优势,不仅不受光照条件的影响,而且使用范围也有了较大的提高,并且其低功耗的优点能让它很好地集成,且没有涉及用户隐私的问题。
6.基于雷达的手势识别具有精准度高、流畅性好、环境适应性强、保护隐私的特点,可用于隔空精细调节,在智能座舱、未来终端等场景具有重要应用价值。当前单一的毫米波手势识别系统其输出结果只能实现单指令操作而无法完成对设备某些功能的双向精确调节,但未来同样要求利用手势进行如音量调节、地图缩放等精细调节功能。


技术实现要素:

7.第一方面,本技术提供了一种功能调节方法,所述方法包括:
8.获取第一雷达数据;
9.应理解,本技术实施例中的第一雷达数据可以指雷达系统中接收天线在模拟处理电路处接收的反射信号,该反射信号为模拟信号。在得到模拟信号后,模拟信号可以被发射到模数转换器电路并由该电路进行信号的数字化,以得到数字信号。
10.应理解,模拟处理电路所得到的模拟信号可以被发射到模数转换器电路并由该电路进行信号的数字化,以得到数字信号,本技术实施例中的第一雷达数据还可以指上述数字化得到的数字信号,这里并不限定;
11.基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,开启针对于目标功能的调节功能;
12.其中,第一手势可以为预设类型的手势(也就是预先配置的可以开启精细调节功能的手势类型),例如悬停手势等;
13.在获取第一雷达数据之后,可以从信号层对第一雷达数据指示的用户的手势的运动特征(例如距离、速度、角度等)进行分析,当用户的手势的持续时间超过第一阈值,且运动特征可以指示第一手势时,开启针对于目标功能的调节功能;
14.其中,获取第一雷达数据之后,当用户的手势的持续时间超过第一阈值时,可以从第一雷达数据中截取部分雷达数据,并通过预训练的神经网络(或者其他手势类别识别方式)对部分雷达数据进行手势识别,当识别结果为第一手势时,开启针对于目标功能的调节功能;
15.在一种可能的实现中,所述第一阈值大于0.7秒且小于1.5秒。
16.其中,本技术实施例中的雷达手势(例如第一手势、第二手势、第三手势)为基于雷达且与触摸无关的手势(radar-based touch-independent gesture),也可以称之为“3dgesture(3d手势)”,雷达手势是指手势在空间上远离电子设备的性质(例如,该手势不需要用户触摸设备,尽管该手势并未排除触摸)。雷达手势本身通常可能仅具有二维的活动信息分量,诸如由左上至右下轻扫组成的雷达手势,但是由于雷达手势距电子设备有一定距离(“third(第三)”维或深度),本技术实施例中的雷达手势通常可以被视为三维;
17.在一种可能的实现中,第一雷达数据中的部分数据或者全部数据可以为与第一手势相对应的雷达数据,在获取到第一雷达数据之后,需要从中识别出与用户的手势相关的雷达数据,进而可以这部分识别出的雷达数据进行第一手势的相关处理(例如手势类别的确定、手势持续时间的确定等等)。
18.其中,精细调节可以包括功能的开启、以及功能的程度调节,该程度调节可以为数值的增大或减小、显示位置的方向调节、显示区域的缩放调节、硬件的位置或者是形态的调节,例如精细调节可以包括音量大小调节、显示亮度调节或者显示图像的缩放调节、显示界面的移动调节、车窗高度调节、车舱内座椅的前后位置调节等。由于涉及功能的程度调节,因此精细调节的手势需要持续一定的时间来进行调节程度的选择,持续的时间较长。
19.在一种可能的实现中,可以从检测到手势数据时开启计时,若手势数据的持续时间未超过第一阈值就终止了,则可以开启独立手势调节模式。
20.其中,独立手势调节模式可以包括功能的开启或者关闭,由于不涉及功能的程度调节,因此独立手势可以为单独的手势,且持续时间很短,例如左挥手、右挥手等。
21.在基于第一雷达数据指示的第一手势的持续时间超过第一阈值时,可以对第一雷
达数据中与第一手势相关的雷达数据进行手势类别的识别(也就是进行第一手势的手势类别的识别),之所以进行第一手势的手势类别的识别,是因为需要基于第一手势的手势类别确定后续精细调节的功能类型(也就是确定目标功能)。应理解,这里的手势类别可以理解为手型类别,不同手势类别的手势之间的手型特征不同。
22.获取第二雷达数据;
23.具体的,处理器可以获取到第二雷达数据,其中,第二雷达数据可以是对用户的手势(第二手势)的反射信号得到的;
24.响应于所述针对于目标功能的调节功能的开启,根据所述第二雷达数据,确定所述第二雷达数据指示的第二手势、以及所述第二手势的运动特征;
25.应理解,第一手势和第二手势之间也存在预设的映射关系,具体的,第一手势可以用于开启与第一手势的手势类型对应的目标功能的调节模式,在开启目标功能的调节模式的情况下,用户也只能基于与目标功能的调节模式所对应的手势类型(第二手势的手势类型)进行目标功能的调节。
26.根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对所述目标功能进行调节。
27.其中,调节幅度指示了精细调节的调节大小,例如音量调节的大小、车窗的升起高度等,调节方向可以指示精细调节的调节方向,例如音量调大或者调小,车辆升起或者降低等,调节速度指示了精细调节时单位时间内的调节大小,也就是调节的数值变化速率,例如音量在调节时的大小变化速率,车窗的升起速率等。
28.其中,在精细调节的场景中,上述各个调节信息之间可以相互组合;
29.需要说明的是,在一些精细调节的实现中,可以只基于调节方向进行精细调节,例如进行左挥手,表示将音量的调大到相邻的固定位点(例如100为最大音量,固定位点可以为0、10、20、30、40、50、60、70、80、90、100),每次左挥手可以调大到相邻的音量位点(例如从10调大到20),进行右挥手,则表示将音量的调小到相邻的固定位点。
30.本技术实施例中,将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,这部分雷达数据可以不作为后续进行精细调节时调节程度的确定依据,而仅仅作为是否开启精细调节的触发条件(本技术实施例中也可以称之为唤醒手势),基于手势持续时间的方式来开启精细调节具有如下的好处:由于手势类型是有限的,在未来功能类型不断丰富的情况下,将手势类型作为开启精细调节功能的方案中手势类型可能不够用(独立手势功能占用一部分手势类型,唤醒手势再占据另一部分手势类型,两者之间不能重叠,否则会出现错误),而基于手势持续时间作为是否开启精细调节模式的依据,则可以让独立手势功能使用的手势类别和唤醒手势重叠,进而可以减少在进行手势实现的功能调节时所需的手势类别。此外,在针对于手势相关的功能调节场景中,尤其是精细调节的场景中,需要尽可能保证整体的手势设计是连续的,当用户想进行基于手势的精细调节时,会下意识知晓调节过程需要连续的一段时间内的手势,在唤醒精细调节的功能时,若将唤醒手势的规则也定义为基于持续时间是否足够长,那么作为用户来说,会认为这部分唤醒手势的操作过程和后续是连贯的。将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,更符合用户的思维惯式和使用习惯,减少用户的学习成本。
31.在一种可能的实现中,所述第一雷达数据为在所述第二雷达数据之前获取的。
32.在一种可能的实现中,所述第一雷达数据和所述第二雷达数据为在时域上连续获取的雷达数据;或者,所述第一雷达数据和所述第二雷达数据为在时域上间隔目标时间段获取的雷达数据,所述目标时间段的时长小于第二阈值。其中,第二阈值可以是处理器在进行第一雷达数据的相关处理的时间,在该时间内,针对于目标功能的调节功能还未开启。
33.在一种可能的实现中,第一手势和第二手势还可以为用户连续的手势动作,所谓连续的手势动作,可以理解为第一手势和所述第二手势的手型相同(或者差异很小),可选的,所述第一手势可以为静止手势或者移动幅度小于阈值的手势,由于第二手势需要对目标功能进行一定调节幅度的调节,因此所述第二手势可以为移动幅度大于阈值的手势。
34.本技术实施例中,第一手势和所述第二手势的手型相同,使得用户在进行精细调节的功能唤醒时的手势和进行精细调节时采用的手势为相同手型的手势,可以让用户在很小的学习成本下就能准确的进行功能调节。
35.在一种可能的实现中,所述第一手势为手指捏合的手势,所述第二手势为保持所述手指捏合且拖动的手势;或者,所述第一手势为手掌悬停手势,所述第二手势为上抬手势或者下压手势;或者,所述第一手势为手掌悬停手势,所述第二手势为左右挥手手势;或者,所述第一手势为手掌悬停手势,所述第二手势为前后推手势;或者,所述第一手势为握拳的手势,所述第二手势为保持所述握拳且移动的手势;或者,所述第一手势为手掌轻晃手势,所述第二手势为上抬手势或者下压手势;或者,所述第一手势为握拳且伸出大拇指的手势,所述第二手势为保持所述握拳且伸出大拇指并前后推的手势。上述第二手势的手势语义贴合调节功能,符合用户习惯,可以助于降低学习成本。
36.在一种可能的实现中,所述开启针对于所述目标功能的调节功能之前,所述方法还包括:基于预设的对应关系,确定所述第一手势的手势类型对应于所述目标功能,其中所述预设的对应关系包括手势类型与功能之间的映射。
37.在一种可能的实现中,所述第一手势的手势类型为手指捏合,所述目标功能为应用播放的视频或音频的进度调节;或者,
38.所述第一手势的手势类型为画圈,所述目标功能为音量大小调节;或者,
39.所述第一手势的手势类型为手掌悬停,所述目标功能为显示亮度调节或者显示图像的缩放调节;或者,
40.所述第一手势的手势类型为握拳,所述目标功能为显示界面的移动调节;或者,
41.所述第一手势的手势类型为手掌轻晃,所述目标功能为车窗高度调节;或者,
42.所述第一手势的手势类型为握拳且伸出大拇指,所述目标功能为车舱内座椅的前后位置调节。
43.具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为手指捏合,进而可以开启针对于应用播放的视频或音频的进度调节的功能调节模式。
44.具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为画圈,进而可以开启针对于音量大小调节的功能调节模式。
45.具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为
手掌悬停,进而可以开启针对于显示亮度调节或者显示图像的缩放调节的功能调节模式。
46.具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为握拳,进而可以开启针对于显示界面的移动调节的功能调节模式。
47.具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为手掌轻晃,进而可以开启车窗高度调节的功能调节模式。
48.具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为握拳且伸出大拇指,进而可以开启针对于车舱内座椅的前后位置调节的功能调节模式。
49.本技术实施例中,在基于第一雷达数据,确定出存在第一手势,且第一手势的持续时间超过第一阈值时,可以开启针对于目标功能的调节功能。
50.具体的,在开启针对于目标功能的调节功能时,可以呈现一定的反馈信息,该反馈信息可以指示针对于目标功能的调节功能已开启,具体的,在开启针对于目标功能的调节功能时,可以进行所述目标功能相对应的目标呈现,所述目标呈现用于指示已开启针对于目标功能的调节功能。
51.在一种可能的实现中,所述目标呈现可以包括:进行所述目标功能的调节的控件显示。在智能家居的应用场景中,可以在具有显示屏的电子设备上进行目标呈现;在智能座舱的场景中,可以在车舱内的中控屏上进行目标呈现。
52.以目标功能为应用播放的视频或音频的进度调节为例,则目标呈现可以为进度条的显示。
53.以目标功能为音量大小调节为例,则目标呈现可以为音量调节控件的显示。
54.以目标功能为显示亮度调节为例,则目标呈现可以为显示亮度调节控件的显示。
55.以目标功能为显示图像的缩放调节为例,则目标呈现可以为图像的缩放控件的显示。
56.以目标功能为显示界面的移动调节为例,则目标呈现可以为显示界面的移动控件的显示。
57.在一种可能的实现中,所述目标呈现可以包括:与所述目标功能相关的硬件的震动提示,例如在智能车舱的场景中,目标呈现可以为座椅的震动提示。
58.以目标功能为车舱内座椅的前后位置调节为例,则目标呈现可以为要进行座椅位置调节的座椅的震动提示。
59.在一种可能的实现中,所述目标呈现可以包括:声音提示,该声音提示可以包含已开启针对于目标功能的调节功能的语音,例如以目标功能为应用播放的视频或音频的进度调节为例,则目标呈现可以为播放语音“应用播放的视频或音频的进度调节功能已开启”;以目标功能为音量大小调节为例,则目标呈现可以为播放语音“音量调节功能已开启”;以目标功能为显示亮度调节为例,则目标呈现可以为播放语音“显示亮度调节功能已开启”;以目标功能为显示图像的缩放调节为例,则目标呈现可以为播放语音“图像的缩放功能已开启”;以目标功能为车窗高度调节为例,则目标呈现可以为播放语音“车窗高度调节功能已开启”;以目标功能为车舱内座椅的前后位置调节为例,则目标呈现可以为播放语音“车
舱内座椅的前后位置调节功能已开启”。
60.在一种可能的实现中,所述基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,包括:基于所述第一雷达数据指示用户的手势,且所述用户的手势的持续时间超过第一阈值,根据所述第一雷达数据,确定所述用户的手势为第一手势,所述第一手势用于指示开启所述的调节功能。
61.在一种可能的实现中,可以从所述第一雷达数据中截取部分雷达数据,并根据所述部分雷达数据,确定所述用户的手势为第一手势。可选的,所述部分雷达数据为所述第一雷达数据中前n个雷达数据。区别于手势检测,手势截取是在手势动作进行过程中截取部分合适长度的手势,进行手势识别。因此,截取长度是手势截取的关键,截取太短或太长都会导致该部分手势识别的失效。可选的,可以通过时间截取法和手势特征截取法进行手势截取。
62.时间截取法与独立手势判断的思想一致,从时间角度出发,截取自手势开始后的n个雷达数据(例如截取n个chirp信号),将截取后的信号进行手势识别。时间截取法简单、直接但有效,其有效性来源于以下几个方面:第一,在后续进行手势类别确定时可以利用基于自注意力机制的多维特征融合网络的手势识别算法,该算法对手势信号长度变化不敏感,相似手势特征,时间长度(即手势动作快慢)略有差异,对识别结果影响很小,不同用户的同一手势长度本身也存在差异性;第二,独立手势长度短于第一阈值,基于持续时间的判断可以保证独立手势不会被截取,因此不会对独立手势的识别产生影响。
63.手势特征截取法是指分析特定手势的特征变化,完成手势截取,截取长度不固定,随手势情况变化。例如:从距离或速度变化可完成悬停手势截取,从距离、角度、速度变化完成对连续画圈动作中第一圈的截取,手势特征截取可以解决不同用户、不同手势带来的手势长度差异性对截取的影响问题,对单个手势的截取更加准确。
64.基于上述描述,时间截取法适用于不同唤醒手势的时间长度相仿的情况;而手势特征截取法适用于不同唤醒手势具有特征相仿的某一相同特征,能用单一特征实现不同唤醒手势的截取。在实际应用时,可以根据唤醒手势的种类和特点综合考虑选择何种截取方式。
65.在一种可能的实现中,运动特征为手势动作某个单一的显著特征(例如距离、速度、角度特征等),通过对该特征的分析可以实现对某一类手势的识别。基于手势的运动特征进行的手势类型识别只需进行部分特征分析,无需经过特征融合和神经网络,故可以简化一部分手势识别工作,减少计算量,提高实时性。
66.在一种可能的实现中,所述根据所述第一雷达数据,确定所述用户的手势为第一手势,包括:根据所述第一雷达数据,获取所述用户的手势的运动特征,并根据所述用户的手势的运动特征确定所述用户的手势为第一手势;或者,根据所述第一雷达数据,通过预训练的手势分类网络,确定所述用户的手势为第一手势。
67.在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,包括:所述第二手势的距离信息,所述距离信息包括所述第二手势与所述雷达系统之间的距离随时间的变化、所述距离的变化速率、以及所述距离的变化方向中的至少一种。
68.在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷
达场的反射得到的,所述第二手势的运动特征,包括:所述第二手势的速率信息,所述速率信息包括所述第二手势在所述雷达场中的移动速率随时间的变化大小。
69.在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,包括:所述第二手势的角度信息,所述角度信息包括所述第二手势与雷达系统之间的角度随时间的变化,所述角度包括方位角和/或俯仰角。
70.本技术实施例在手势特征提取的基础上,对手势特征进行精细量化,包括距离,速度,水平角度,俯仰角度等。获取反映特征变化方向、特征变化量、特征变化速度的变量,进而可以实现双向、不同幅度、不同快慢、高稳定性、强泛化性的精细调节。
71.在一种可能的实现中,在所述基于所述调节信息对所述目标功能进行调节之后,所述方法还包括:获取第三雷达数据;基于所述第三雷达数据指示第三手势,关闭针对于目标功能的调节功能;所述第三手势为撤手手势或者悬停手势。
72.第二方面,本技术提供了一种功能调节方法,所述方法包括:
73.获取目标雷达数据,所述目标雷达数据为基于用户的目标手势在雷达系统提供的雷达场中的反射得到的;其中,在存在唤醒手势的设计中,目标雷达数据可以为第一方面中描述的第二雷达数据;
74.根据所述目标雷达数据,确定所述目标手势的运动特征;所述目标手势的运动特征的特征类型包括距离信息、速率信息或角度信息中的至少两种,所述距离信息包括所述目标手势和所述雷达系统之间的距离随时间的变化,所述速度信息包括所述目标手势和所述雷达系统的相对速度随时间的变化,所述角度信息包括所述目标手势在所述雷达场中的角度随时间的变化,所述角度包括方位角和/或俯仰角;
75.根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对目标功能进行调节。
76.在现有的实现中,采用飞行时间(time of flight,tof)的方式实现精细调节,由于tof相关的硬件的限制,精细调节的灵敏度以及操作的精准度很低,本技术实施例采用雷达(例如毫米波雷达)实现精细调节,可以提高操作的精准度,且在进行功能的精细调节时,调节动作都至少具有某一显著变化的特征,如距离或角度或速度,本技术实施例在手势的运动特征提取的基础上,对手势特征进行精细量化,包括距离,速度,水平角度,俯仰角度等。获取反映特征变化方向、特征变化量、特征变化速度的变量,进而可以实现双向、不同幅度、不同快慢、高稳定性、强泛化性的精细调节。
77.在一种可能的实现中,所述距离随时间的变化包括:
78.所述距离随时间的变化数值、所述距离随时间的变化速率或所述距离随时间的变化方向中的至少一种;
79.所述调节幅度与所述距离随时间的变化数值有关,所述调节速度与所述距离随时间的变化速率有关,所述调节方向与所述距离随时间的变化方向有关。
80.在一种可能的实现中,所述目标手势为周期性手势,所述相对速度随时间的变化用于确定所述目标手势的手势周期数量;
81.所述调节幅度与所述周期数量有关,所述调节速度与固定时间内所述目标手势的手势周期数量有关。
82.应理解,针对于周期性手势,还可以采用其他类型的运动特征进行精细调节,这里并不限定。
83.在一种可能的实现中,所述角度随时间的变化包括:
84.所述角度随时间的变化数值、所述角度随时间的变化速率或所述角度随时间的变化方向中的至少一种;
85.所述调节幅度与所述角度随时间的变化数值有关,所述调节速度与所述角度随时间的变化速率有关,所述调节方向与所述角度随时间的变化方向有关。
86.在一种可能的实现中,在所述根据所述目标雷达数据,确定所述目标手势的运动特征之前,所述方法还包括:
87.基于所述目标手势为周期性手势或者为与所述雷达系统之间的相对速率不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述速度信息;
88.基于所述目标手势为与所述雷达系统之间的距离不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述距离信息;
89.基于所述目标手势为在所述雷达场中角度不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述角度信息。
90.针对于不同的手势类别,可以获取对应的运动特征类型,在保证准确识别的前提下,降低了数据的处理量。
91.第三方面,本技术提供了一种功能调节装置,所述装置包括:
92.获取模块,用于获取第一雷达数据;
93.功能开启模块,用于基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,开启针对于目标功能的调节功能;
94.所述获取模块,还用于获取第二雷达数据;
95.功能调节模块,用于响应于所述针对于目标功能的调节功能的开启,根据所述第二雷达数据,确定所述第二雷达数据指示的第二手势、以及所述第二手势的运动特征;以及,
96.根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对所述目标功能进行调节。
97.本技术实施例中,将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,这部分雷达数据可以不作为后续进行精细调节时调节程度的确定依据,而仅仅作为是否开启精细调节的触发条件(本技术实施例中也可以称之为唤醒手势),基于手势持续时间的方式来开启精细调节具有如下的好处:由于手势类型是有限的,在未来功能类型不断丰富的情况下,将手势类型作为开启精细调节功能的方案中手势类型可能不够用(独立手势功能占用一部分手势类型,唤醒手势再占据另一部分手势类型,两者之间不能重叠,否则会出现错误),而基于手势持续时间作为是否开启精细调节模式的依据,则可以让独立手势功能使用的手势类别和唤醒手势重叠,进而可以减少在进行手势实现的功能调节时所需的手势类别。此外,在针对于手势相关的功能调节场景中,尤其是精细调节的场景中,需要尽可能保证整体的手势设计是连续的,当用户想进行基于手势的精细调节时,会下意识知晓调节过程需要连续的一段时间内的手势,在唤醒精细调节的功能时,若将唤醒手势的规则也定义为基于持续时间是否足够长,那么作为用户来说,会认为这部分唤醒手势
的操作过程和后续是连贯的。将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,更符合用户的思维惯式和使用习惯,减少用户的学习成本。
98.在一种可能的实现中,所述第一阈值大于0.7秒且小于1.5秒。
99.在一种可能的实现中,所述第一雷达数据为在所述第二雷达数据之前获取的。
100.在一种可能的实现中,所述第一雷达数据和所述第二雷达数据为在时域上连续获取的雷达数据;或者,
101.所述第一雷达数据和所述第二雷达数据为在时域上间隔目标时间段获取的雷达数据,所述目标时间段的时长小于阈值。
102.在一种可能的实现中,所述第一手势与第二手势为用户连续的手势动作。
103.在一种可能的实现中,所述第一手势和所述第二手势的手势类型相同,所述第一手势为静止手势或者移动幅度小于阈值的手势,所述第二手势为移动幅度大于阈值的手势。
104.在一种可能的实现中,所述第一手势为手指捏合的手势,所述第二手势为保持所述手指捏合且拖动的手势;或者,
105.所述第一手势为手掌悬停手势,所述第二手势为上抬手势或者下压手势;或者,
106.所述第一手势为手掌悬停手势,所述第二手势为左右挥手手势;或者,
107.所述第一手势为手掌悬停手势,所述第二手势为前后推手势;或者,
108.所述第一手势为握拳的手势,所述第二手势为保持所述握拳且移动的手势;或者,
109.所述第一手势为手掌轻晃手势,所述第二手势为上抬手势或者下压手势;或者,
110.所述第一手势为握拳且伸出大拇指的手势,所述第二手势为保持所述握拳且伸出大拇指并前后推的手势。
111.在一种可能的实现中,所述第一手势和所述第二手势为所述第一手势的手势类型相同,且所述第一手势和所述第二手势均为移动幅度大于阈值的手势。
112.在一种可能的实现中,所述第一手势和所述第二手势均为画圈手势。
113.在一种可能的实现中,所述功能开启模块,还用于:
114.在所述启针对于所述目标功能的调节功能之前,基于预设的对应关系,确定所述第一手势的手势类型对应于所述目标功能,其中所述预设的对应关系包括手势类型与功能之间的映射。
115.在一种可能的实现中,所述第一手势的手势类型为手指捏合,所述目标功能为应用播放的视频或音频的进度调节;或者,
116.所述第一手势的手势类型为画圈,所述目标功能为音量大小调节;或者,
117.所述第一手势的手势类型为手掌悬停,所述目标功能为显示亮度调节或者显示图像的缩放调节;或者,
118.所述第一手势的手势类型为握拳,所述目标功能为显示界面的移动调节;或者,
119.所述第一手势的手势类型为手掌轻晃,所述目标功能为车窗高度调节;或者,
120.所述第一手势的手势类型为握拳且伸出大拇指,所述目标功能为车舱内座椅的前后位置调节。
121.在一种可能的实现中,所述装置还包括:
122.呈现模块,用于在所述基于所述调节信息对所述目标功能进行调节之前,进行所
述目标功能相对应的目标呈现,所述目标呈现用于指示已开启针对于目标功能的调节功能。
123.在一种可能的实现中,所述目标呈现包括如下的至少一种:
124.进行所述目标功能的调节的控件显示;
125.与所述目标功能相关的硬件的震动提示;以及,
126.声音提示。
127.在一种可能的实现中,所述基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,包括:
128.基于所述第一雷达数据指示用户的手势,且所述用户的手势的持续时间超过第一阈值,根据所述第一雷达数据,确定所述用户的手势为第一手势,所述第一手势用于指示开启所述的调节功能。
129.在一种可能的实现中,所述根据所述第一雷达数据,确定所述用户的手势为第一手势,包括:
130.从所述第一雷达数据中截取部分雷达数据;
131.根据所述部分雷达数据,确定所述用户的手势为第一手势。
132.在一种可能的实现中,所述部分雷达数据为所述第一雷达数据中前n个雷达数据。
133.在一种可能的实现中,所述根据所述第一雷达数据,确定所述用户的手势为第一手势,包括:
134.根据所述第一雷达数据,获取所述用户的手势的运动特征,并根据所述用户的手势的运动特征确定所述用户的手势为第一手势;或者,
135.根据所述第一雷达数据,通过预训练的手势分类网络,确定所述用户的手势为第一手势。
136.在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,包括:
137.所述第二手势的距离信息,所述距离信息包括所述第二手势与所述雷达系统之间的距离随时间的变化、所述距离的变化速率、以及所述距离的变化方向中的至少一种。
138.在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,包括:
139.所述第二手势的速率信息,所述速率信息包括所述第二手势在所述雷达场中的移动速率随时间的变化大小。
140.在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,包括:
141.所述第二手势的角度信息,所述角度信息包括所述第二手势与雷达系统之间的角度随时间的变化,所述角度包括方位角和/或俯仰角。
142.在一种可能的实现中,所述获取模块,还用于:
143.在所述基于所述调节信息对所述目标功能进行调节之后,获取第三雷达数据;
144.所述装置还包括:
145.功能关闭模块,用于基于所述第三雷达数据指示第三手势,关闭针对于目标功能的调节功能;所述第三手势为撤手手势或者悬停手势。
146.第四方面,本技术提供了一种功能调节装置,所述装置包括:
147.获取模块,用于获取目标雷达数据,所述目标雷达数据为基于用户的目标手势在雷达系统提供的雷达场中的反射得到的;
148.运动特征确定模块,用于根据所述目标雷达数据,确定所述目标手势的运动特征;所述目标手势的运动特征的特征类型包括距离信息、速率信息或角度信息中的至少两种,所述距离信息包括所述目标手势和所述雷达系统之间的距离随时间的变化,所述速度信息包括所述目标手势和所述雷达系统的相对速度随时间的变化,所述角度信息包括所述目标手势在所述雷达场中的角度随时间的变化,所述角度包括方位角和/或俯仰角;
149.功能调节模块,用于根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对目标功能进行调节。
150.在进行功能的精细调节时,调节动作都至少具有某一显著变化的特征,如距离或角度或速度,本技术实施例在手势的运动特征提取的基础上,对手势特征进行精细量化,包括距离,速度,水平角度,俯仰角度等。获取反映特征变化方向、特征变化量、特征变化速度的变量,进而可以实现双向、不同幅度、不同快慢、高稳定性、强泛化性的精细调节。
151.在一种可能的实现中,所述距离随时间的变化包括:
152.所述距离随时间的变化数值、所述距离随时间的变化速率或所述距离随时间的变化方向中的至少一种;
153.所述调节幅度与所述距离随时间的变化数值有关,所述调节速度与所述距离随时间的变化速率有关,所述调节方向与所述距离随时间的变化方向有关。
154.在一种可能的实现中,所述目标手势为周期性手势,所述相对速度随时间的变化用于确定所述目标手势的手势周期数量;
155.所述调节幅度与所述周期数量有关,所述调节速度与固定时间内所述目标手势的手势周期数量有关。
156.在一种可能的实现中,所述角度随时间的变化包括:
157.所述角度随时间的变化数值、所述角度随时间的变化速率或所述角度随时间的变化方向中的至少一种;
158.所述调节幅度与所述角度随时间的变化数值有关,所述调节速度与所述角度随时间的变化速率有关,所述调节方向与所述角度随时间的变化方向有关。
159.在一种可能的实现中,所述运动特征确定模块,还用于:在所述根据所述目标雷达数据,确定所述目标手势的运动特征之前,基于所述目标手势为周期性手势或者为与所述雷达系统之间的相对速率不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述速度信息;
160.基于所述目标手势为与所述雷达系统之间的距离不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述距离信息;
161.基于所述目标手势为在所述雷达场中角度不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述角度信息。
162.第五方面,本技术提供了一种功能调节装置,包括:一个或多个处理器和存储器;其中,所述存储器中存储有计算机可读指令;
163.所述一个或多个处理器读取所述计算机可读指令,以使所述计算机设备实现如第
一方面及其任一可选的方法、以及第二方面及其任一可选的方法。
164.在一种可能的实现中,所述装置还包括雷达系统,用于:
165.提供雷达场;
166.感测来自所述雷达场中的用户的反射;
167.分析来自所述雷达场中的所述用户的反射;以及
168.基于对所述反射的分析,提供雷达数据。
169.第六方面,本技术实施例提供了一种计算机可读存储介质,其特征在于,包括计算机可读指令,当该计算机可读指令在计算机设备上运行时,使得该计算机设备执行上述第一方面及其任一可选的方法、以及第二方面及其任一可选的方法。
170.第七方面,本技术实施例提供了一种计算机程序产品,其特征在于,包括计算机可读指令,当该计算机可读指令在计算机设备上运行时,使得该计算机设备执行上述第一方面及其任一可选的方法、以及第二方面及其任一可选的方法。
171.第八方面,本技术提供了一种芯片系统,该芯片系统包括处理器,用于支持执行设备或训练设备实现上述方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据;或,信息。在一种可能的设计中,该芯片系统还包括存储器,该存储器,用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
172.第九方面,本技术提供了一种车辆,包括:一个或多个处理器和存储器;其中,所述存储器中存储有计算机可读指令;
173.所述一个或多个处理器读取所述计算机可读指令,以使所述计算机设备实现如上述第一方面及其任一可选的方法、以及第二方面及其任一可选的方法;
174.所述车辆的车舱内还包括雷达系统,用于:
175.提供雷达场;
176.感测来自所述雷达场中的用户的反射;
177.分析来自所述雷达场中的所述用户的反射;以及
178.基于对所述反射的分析,提供雷达数据。
179.在一种可能的实现中,所述车舱还包括主驾驶位、副驾驶位以及固定于所述主驾驶位前方的方向盘;其中,
180.所述雷达系统包括:
181.第一雷达系统,所述第一雷达系统包括第一雷达集成电路,所述第一雷达集成电路包括:
182.至少一个第一发射天线;
183.至少一个第一接收天线;
184.所述第一雷达集成电路位于所述方向盘上靠近所述副驾驶位的一侧,其中,所述方向盘处于未被用户旋转的状态。
185.在一种可能的实现中,所述至少一个第一发射天线用于向如下区域的至少一个提供雷达场:
186.所述主驾驶位中靠近所述副驾驶位的区域;以及,
187.所述主驾驶位与所述副驾驶位之间的区域。
188.在一种可能的实现中,所述车舱还包括主驾驶位、副驾驶位以及中控台;
189.所述雷达系统包括:
190.第二雷达系统,所述第二雷达系统包括第二雷达集成电路,所述第二雷达集成电路包括:
191.至少一个第二发射天线;
192.至少一个第二接收天线;
193.所述第二雷达集成电路位于所述中控台上背离所述车辆车头方向的一侧。
194.在一种可能的实现中,所述至少一个第二发射天线用于向如下区域的至少一个提供雷达场:
195.主驾驶位中靠近所述副驾驶位的区域;
196.所述副驾驶位中靠近所述主驾驶位的区域;以及
197.所述主驾驶位与所述副驾驶位之间的区域。
198.在一种可能的实现中,所述车舱还包括主驾驶位、副驾驶位以及扶手箱,所述扶手箱固定于所述主驾驶位与所述副驾驶位之间的区域;
199.所述雷达系统包括:
200.第三雷达系统,所述第三雷达系统包括第三雷达集成电路,所述第三雷达集成电路包括:
201.至少一个第三发射天线;
202.至少一个第三接收天线;
203.所述第三雷达集成电路位于所述扶手箱上朝向所述主控台的一侧。
204.在一种可能的实现中,所述至少一个第三发射天线用于向如下区域的至少一个提供雷达场:
205.主驾驶位中靠近所述副驾驶位的区域;
206.所述副驾驶位中靠近所述主驾驶位的区域;以及
207.所述主驾驶位与所述副驾驶位之间的区域。
208.其中,位于方向盘右侧的雷达系统(例如本技术实施例中的第一雷达系统)的雷达波束向右斜方照射,该部署位置主要针对主驾人员操控,可主要减少驾驶员躯体以及驾驶员手臂操控方向盘动作造成的信号干扰。
209.其中,部署在中控台附近雷达系统(例如本技术实施例中的第二雷达系统)的雷达波束朝中间照射,可同时供主副驾人员使用,乘客躯体干扰小。
210.其中,位于扶手箱位置的雷达系统(例如本技术实施例中的第三雷达系统)的雷达波束朝上方照射,可同时供主副驾人员使用,乘客躯体干扰小。
211.本技术实施例允许用户在无接触、无视线转移、短手臂移动距离的条件下完成手势操控,保证了行车安全和操作便捷性。
212.在一种可能的实现中,所述车辆还包括:座椅;
213.所述一个或多个处理器还用于读取所述计算机可读指令,以便在所述开启针对于目标功能的调节功能时,控制所述座椅进行震动提醒。
214.第十方面,本技术提供了一种车辆,包括:车舱;所述车舱内包括雷达系统;
215.所述雷达系统,用于:
216.提供雷达场;
217.感测来自所述雷达场中的用户的反射;
218.分析来自所述雷达场中的所述用户的反射;以及
219.基于对所述反射的分析,提供雷达数据;
220.所述雷达系统包括:
221.第一雷达系统,所述第一雷达系统包括第一雷达集成电路,所述第一雷达集成电路包括:
222.至少一个第一发射天线;
223.至少一个第一接收天线;
224.所述第一雷达集成电路位于所述方向盘上靠近所述副驾驶位的一侧,其中,所述方向盘处于未被用户旋转的状态。
225.在一种可能的实现中,所述至少一个第一发射天线用于向如下区域的至少一个提供雷达场:
226.所述主驾驶位中靠近所述副驾驶位的区域;以及,
227.所述主驾驶位与所述副驾驶位之间的区域。
228.在一种可能的实现中,所述车舱还包括主驾驶位、副驾驶位以及中控台;
229.所述雷达系统包括:
230.第二雷达系统,所述第二雷达系统包括第二雷达集成电路,所述第二雷达集成电路包括:
231.至少一个第二发射天线;
232.至少一个第二接收天线;
233.所述第二雷达集成电路位于所述中控台上背离所述车辆车头方向的一侧。
234.在一种可能的实现中,所述至少一个第二发射天线用于向如下区域的至少一个提供雷达场:
235.主驾驶位中靠近所述副驾驶位的区域;
236.所述副驾驶位中靠近所述主驾驶位的区域;以及
237.所述主驾驶位与所述副驾驶位之间的区域。
238.在一种可能的实现中,所述车舱还包括主驾驶位、副驾驶位以及扶手箱,所述扶手箱固定于所述主驾驶位与所述副驾驶位之间的区域;
239.所述雷达系统包括:
240.第三雷达系统,所述第三雷达系统包括第三雷达集成电路,所述第三雷达集成电路包括:
241.至少一个第三发射天线;
242.至少一个第三接收天线;
243.所述第三雷达集成电路位于所述扶手箱上朝向所述主控台的一侧。
244.在一种可能的实现中,所述至少一个第三发射天线用于向如下区域的至少一个提供雷达场:
245.主驾驶位中靠近所述副驾驶位的区域;
246.所述副驾驶位中靠近所述主驾驶位的区域;以及
247.所述主驾驶位与所述副驾驶位之间的区域。
248.其中,位于方向盘右侧的雷达系统(例如本技术实施例中的第一雷达系统)的雷达波束向右斜方照射,该部署位置主要针对主驾人员操控,可主要减少驾驶员躯体以及驾驶员手臂操控方向盘动作造成的信号干扰。
249.其中,部署在中控台附近雷达系统(例如本技术实施例中的第二雷达系统)的雷达波束朝中间照射,可同时供主副驾人员使用,乘客躯体干扰小。
250.其中,位于扶手箱位置的雷达系统(例如本技术实施例中的第三雷达系统)的雷达波束朝上方照射,可同时供主副驾人员使用,乘客躯体干扰小。
251.本技术实施例允许用户在无接触、无视线转移、短手臂移动距离的条件下完成手势操控,保证了行车安全和操作便捷性。
252.本技术实施例提供了一种功能调节方法,所述方法包括:获取第一雷达数据;基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,开启针对于目标功能的调节功能;获取第二雷达数据;响应于所述针对于目标功能的调节功能的开启,根据所述第二雷达数据,确定所述第二雷达数据指示的第二手势、以及所述第二手势的运动特征;根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对所述目标功能进行调节。本技术实施例中,将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,这部分雷达数据可以不作为后续进行精细调节时调节程度的确定依据,而仅仅作为是否开启精细调节的触发条件(本技术实施例中也可以称之为唤醒手势),基于手势持续时间的方式来开启精细调节具有如下的好处:由于手势类型是有限的,在未来功能类型不断丰富的情况下,将手势类型作为开启精细调节功能的方案中手势类型可能不够用(独立手势功能占用一部分手势类型,唤醒手势再占据另一部分手势类型,两者之间不能重叠,否则会出现错误),而基于手势持续时间作为是否开启精细调节模式的依据,则可以让独立手势功能使用的手势类别和唤醒手势重叠,进而可以减少在进行手势实现的功能调节时所需的手势类别。此外,在针对于手势相关的功能调节场景中,尤其是精细调节的场景中,需要尽可能保证整体的手势设计是连续的,当用户想进行基于手势的精细调节时,会下意识知晓调节过程需要连续的一段时间内的手势,在唤醒精细调节的功能时,若将唤醒手势的规则也定义为基于持续时间是否足够长,那么作为用户来说,会认为这部分唤醒手势的操作过程和后续是连贯的。将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,更符合用户的思维惯式和使用习惯,减少用户的学习成本。
附图说明
253.图1a为本技术实施例提供的场景示意;
254.图1b为本技术实施例提供的场景示意;
255.图1c为本技术实施例提供的场景示意;
256.图2为本技术实施例提供的场景示意;
257.图3为本技术实施例提供的场景示意;
258.图4为本技术实施例提供的场景示意;
259.图5为本技术实施例提供的场景示意;
260.图6为本技术实施例提供的一个功能调节方法的流程示意;
261.图7a为本技术实施例提供的场景示意;
262.图7b为本技术实施例提供的一个雷达信号示意;
263.图8为本技术实施例提供的一个雷达数据处理示意;
264.图9为本技术实施例提供的一个雷达数据处理示意;
265.图10为本技术实施例提供的一个手势数据示意;
266.图11a为本技术实施例提供的一个手势数据示意;
267.图11b为本技术实施例提供的一个手势数据示意;
268.图11c为本技术实施例提供的一个雷达数据处理示意;
269.图12a为本技术实施例提供的一个手势示意;
270.图12b为本技术实施例提供的一个功能调节方法的流程示意;
271.图13为本技术实施例提供的一个雷达数据处理示意;
272.图14为本技术实施例提供的一个手势数据示意;
273.图15为本技术实施例提供的一个手势数据示意;
274.图16为本技术实施例提供的一个手势数据示意;
275.图17为本技术实施例提供的一个手势数据示意;
276.图18为本技术实施例提供的一个手势数据示意;
277.图19为本技术实施例提供的一个雷达天线示意;
278.图20为本技术实施例提供的一个手势数据示意;
279.图21为本技术实施例提供的一个雷达角度示意;
280.图22为本技术实施例提供的一个手势数据示意;
281.图23为本技术实施例提供的一个手势数据示意;
282.图24a为本技术实施例提供的一个功能调节方法的流程示意;
283.图24b为本技术实施例提供的一个功能调节方法的流程示意;
284.图25为本技术实施例提供的功能调节装置的一种结构示意图;
285.图26为本技术实施例提供的功能调节装置的一种结构示意图;
286.图27为本技术实施例提供的功能调节装置的一种结构示意图;
287.图28为本技术实施例提供的芯片的一种结构示意图。
具体实施方式
288.下面结合本技术实施例中的附图对本技术实施例进行描述。本技术的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释,而非旨在限定本技术。
289.本技术的说明书和权利要求书及上述附图中的术语“第一”、第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
290.下面结合附图,对本技术的实施例进行描述。本领域普通技术人员可知,随着技术
的发展和新场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。首先介绍本技术实施例的应用场景:
291.本技术实施例可以应用于智能家居、智能座舱等需要进行功能调节的场景中。
292.接下来结合场景所包括的产品架构,分别对上述应用场景的架构进行描述。
293.场景一、智能家居:
294.参考图1a,图1a示出了本技术实施例提供的智能家居系统的结构示意图。如图1a所示,该智能家居系统可包括:电子设备100(可选的)、一个或多个智能家居设备200、云服务器300(可选的)。
295.关于电子设备100:
296.其中,电子设备100可以为手机、平板电脑、个人数字助理(personal digital assistant,pda)、可穿戴设备等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载ios、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是,在本技术其他一些实施例中,电子设备100也可以不是便携式电子设备,而是具有触敏表面(例如触控面板)的台式计算机。
297.电子设备100可以安装有用于管理智能家居设备的应用(application,app),或者,电子设备100可以访问用于管理智能家居设备的万维网(world wide web,web)页面。用于管理智能家居设备的应用或者web页面可以由智能家居设备的生产厂商(例如智能路由器的生产厂商(例如华为))开发并提供。
298.关于智能家居设备200:
299.智能家居设备是指能够通过无线通信技术实现信息交换、甚至能够自主学习的智能化设备,能够为用户提供方便有效的服务,减少用户的劳动量。智能家居设备200可包括智能插座、智能门锁、智能灯具、智能风扇、智能空调、智能窗帘、智能电视、智能电饭煲、智能路由器等等。示例性地,如图1a所示,智能家居设备200可包括智能灯具201、智能电视202和智能音箱203。其中,智能灯具201可以控制灯光的变化,例如灯光颜色及亮度的变化。智能电视202可以和用户进行语音交互,例如可以接收用户的语音控制指令播放用户喜爱的电视节目。智能音箱203可以和用户进行语音交互,例如可以接收用户的语音控制指令播放用户喜爱的歌曲。在一些实现方式中,智能音箱203可以带有集成的语音助手模块,可通过一个“唤醒词”(例如,“你好,小艺”)提供交互式语音对话或查询功能。
300.智能家居设备200可以配置有雷达系统(雷达系统的架构可以参照图2所示),雷达系统可以向监视的区域发射雷达信号,并接收雷达信号的反射信号(本技术实施例中可以称之为雷达数据),通过对反射信号的分析处理,可以实现对监视的区域内的对象的状态确定(例如移动状态、睡眠状态、静止状态等等)、或者手势的信息识别(例如手势类别的确定、手势的运动特征的确定)。
301.关于雷达系统:
302.根据雷达系统的不同具体实现,该雷达信号可以有多种载体,例如:当该雷达系统是微波雷达时,该雷达信号为微波信号;当该雷达系统是超声波雷达时,该雷达信号为超声波信号;当雷达系统是激光雷达时,该雷达信号为激光信号。需要说明的是,当该雷达系统为集成多种不同的雷达时,该雷达信号可以是多种雷达信号的集合,此处不作限定。
303.雷达系统可以生成雷达信号并将雷达信号发射到雷达系统正在监视的区域中。参照图2,信号的生成和发射可以由射频(radio frequency,rf)信号发生器12、雷达发射电路14和发射天线32来实现。雷达发射电路14通常包括生成经由发射天线32发射的信号所需的任何电路,例如脉冲整形电路、发射触发电路、rf开关电路或其他适当的发射电路。rf信号发生器12和雷达发射电路14可经由处理器20来得以控制,该处理器经由控制线34发出命令和控制信号,使得在发射天线32处发射具有期望的配置和信号参数的期望的rf信号。
304.雷达系统还可以经由接收天线30在模拟处理电路16处接收返回的雷达信号,此返回的雷达信号可以称为“回波”、“雷达数据”、“回波信号”、“回波数据”或“反射信号”。模拟处理电路16通常包括处理经由接收天线30接收的信号(例如信号分离、混合、外差和/或零差转换、放大、滤波、接收信号触发、信号切换和路由,以及/或者其他适当的雷达信号接收功能)所需的任何电路。因此,模拟处理电路16生成一个或多个模拟信号,例如同相(i)模拟信号和正交(q)模拟信号。所得到的模拟信号被发射到模数转换器电路(analog-to-digital converter,adc)18并由该电路数字化。然后,数字化的信号被转发到处理器20以进行反射信号处理。
305.应理解,上述雷达系统也可以不部署于智能家居设备200中,而是与智能家居设备200独立部署。
306.示例性的,以智能家居设备200为智慧屏为例,参照图1b,雷达系统可以部署在但不局限于图1b中所示的显示屏的上边框的边角位置,参照图1c,雷达系统还可以与智能家居设备200独立部署,其作为独立的传感单元设置于智能家居场景内。
307.关于处理器:
308.处理器20可以是实现下述功能的各种类型的处理器中的一种:其能够对数字化的接收信号进行处理并且控制rf信号发生器12和雷达发射电路14以提供终端设备100的雷达操作和功能。因此,处理器20可以是数字信号处理器(digital signal processor,dsp)、微处理器、微控制器或其他此类设备。
309.在一些实现中,处理器20可以包括硬件电路(如专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)、通用处理器、数字信号处理器(digital signal processing,dsp)、微处理器或微控制器等等)、或这些硬件电路的组合,例如,处理器20可以为具有执行指令功能的硬件系统,如cpu、dsp等,或者为不具有执行指令功能的硬件系统,如asic、fpga等,或者为上述不具有执行指令功能的硬件系统以及具有执行指令功能的硬件系统的组合。
310.为了执行雷达系统的雷达操作和功能,处理器20经由系统总线22与一个或多个其他所需电路(例如由一种或多种类型的存储器组成的一个或多个存储器设备24、任何所需的外围电路26标识以及任何所需的输入/输出电路28对接。
311.如上该,处理器20可以经由控制线34对接rf信号发生器12和雷达发射电路14。在替代实施例中,rf信号发生器12和/或雷达发射电路14可连接到总线22,使得它们可经由总线22与处理器20、存储器设备24、外围电路26和输入/输出电路28中的一者或多者通信。
312.其中,目标对象(例如本技术实施例中用户的手势)可以位于雷达系统的监视区域内,因此雷达系统可以接收到目标对象对雷达信号反射后的反射信号(例如本技术实施例中的第一雷达数据、第二雷达数据、第三雷达数据)。
313.在一种可选的实现中,处理器20在接收到雷达数据后,可以对雷达数据进行处理以确定反射信号所指示的手势以及手势相关的信息,并基于手势相关的信息进行相关的功能控制。
314.应理解,智能家居系统中可以包括多个具有数据处理能力的智能家居设备,且各个智能家居设备之间存在通信连接关系,因此可以通过智能家具系统中的多个智能家居设备实现分布式计算,进而上述处理以确定反射信号所指示的手势以及手势相关的信息的动作可以由智能家具系统中的多个智能家居设备来实现。
315.本技术实施例中,处理器20可以获取到存储器设备24(或者是与处理器20分离部署的存储器设备)中存储的代码来实现本技术实施例中的功能调节方法。
316.具体的,处理器20可以为具有执行指令功能的硬件系统,本技术实施例提供的功能调节方法可以为存储在存储器中的软件代码,处理器20可以从存储器中获取到软件代码,并执行获取到的软件代码来实现本技术实施例提供的功能调节方法。
317.应理解,处理器20还可以为不具有执行指令功能的硬件系统以及具有执行指令功能的硬件系统的组合,本技术实施例提供的功能调节方法中的部分步骤还可以通过处理器20中不具有执行指令功能的硬件系统来实现,这里并不限定。
318.在一些可能的实现中,上述确定目标对象的身份的步骤也可以基于智能家居设备200与云服务器300的交互来实现。
319.智能家居设备200可以配置有无线通信模块,智能家居设备200可以通过无线通信模块与云服务器300建立通讯连接。
320.关于无线通信模块:
321.该无线通信模块可以提供应用在智能家居设备200上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信方式中的一个或多个。在一些实施例中,智能家居设备200还可以配置有移动通信模块,该移动通信模块可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信技术的解决方案。
322.智能家居设备200可以通过该无线通信模块或者移动通信模块连接到网络,进而和云服务器300通信,以接收云服务器300的数据、指令等,或者,智能家居设备200可以将数据、自身的工作状态和工作参数等上报给云服务器300。
323.在一种可选的实现中,处理器20在接收到雷达数据后,可以将雷达数据传递至云服务器300,进而服务器可以对雷达数据进行处理以确定反射信号所指示的手势以及手势相关的信息。
324.在一种可选的实现中,处理器20可以接收到云服务器发送的反射信号所指示的手势以及手势相关的信息等。
325.关于云服务器300:
326.云服务器300是提供安全可靠的弹性计算服务的设备,能够作为媒介平台实现家庭内部与外部控制设备的通信交流,满足远程控制、检测和信息交换的需求。可理解的,云服务器300可以包括一个或多个服务器,例如云服务器300可以为服务器集群,不同的服务器可用于提供不同的服务。云服务器300和智能家居设备200的制造商或服务提供商相关
联。例如,云服务器300可以向智能家居设备200自动地发送软件更新或者为智能家居设备200提供云服务。在本技术实施例中,云服务器300提供用于管理智能家居设备的应用或者web页面的接口。云服务器300可通过该接口接收到电子设备100发送的用于管理智能家居设备的指令,并基于该指令向对应的智能家居设备发送指令,以管理智能家居设备。例如,云服务器300可根据电子设备100发送的指令指示智能灯具201开启/关闭、调节亮度或色温等。
327.场景二、智能座舱
328.图3为本技术实施例提供的一种汽车内部的结构示意图。目前在汽车领域中,车机(也称为车内影音娱乐系统)等车载终端可以固定位于汽车的中控台,其屏幕也可以称之为中控显示屏或中控屏。另外,有一些高端汽车,座舱内逐步全面数字化显示,座舱内设置有多块或一块显示屏,用于显示数字仪表盘、车载娱乐系统等内容。如图3所示,座舱内设置有多块显示屏,如数字仪表显示屏101,中控屏102,副驾驶位上的乘客(也称为前排乘客)面前的显示屏103,左侧后排乘客面前的显示屏104以及右侧后排乘客面前的显示屏105。
329.另外,汽车内部还可以部署有雷达系统(后续实施例中也可以简称为雷达),虽然图3中仅在驾驶员侧的a柱(pillar)附近示出一个雷达106,座舱内可以设置有多个雷达,且雷达的位置较为灵活,例如,有的座舱的雷达可以设置于车辆中控屏上方,有的座舱的雷达可以设置于车辆中控屏左侧,有的座舱的雷达可以设置于a柱或b柱,有的座舱的雷达可以设置于车辆的座舱顶前部。关于雷达的具体描述可以参照上述实施例中图2中关于雷达系统的描述。
330.为了能够识别出主驾驶和副驾驶的手势信息,可以将雷达设置在方向盘上靠近副驾驶位的一侧、主控台上、以及主驾驶位和副驾驶位之间的扶手箱上。
331.例如,可以参照图4,其中,图4示出了一种雷达在车舱内的布局示意,如图4所示,可以在方向盘上靠近副驾驶位的一侧设置雷达1,雷达1提供雷达场的方向可以朝向主驾驶位中靠近副驾驶位的区域,以及主驾驶位与副驾驶位之间的区域,此外,还可以在中控台上朝向主驾驶位和副驾驶位的一侧设置雷达2,雷达2提供雷达场的方向可以朝向主驾驶位中靠近副驾驶位的区域、副驾驶位中靠近主驾驶位的区域、以及主驾驶位与副驾驶位之间的区域。
332.例如,可以参照图5,其中,图5示出了一种雷达在车舱内的布局示意,如图4所示,可以在方向盘上靠近副驾驶位的一侧设置雷达1,雷达1提供雷达场的方向可以朝向主驾驶位中靠近副驾驶位的区域,以及主驾驶位与副驾驶位之间的区域,此外,还可以在中控台上朝向主驾驶位和副驾驶位的一侧设置雷达2,雷达2提供雷达场的方向可以朝向主驾驶位中靠近副驾驶位的区域、副驾驶位中靠近主驾驶位的区域、以及主驾驶位与副驾驶位之间的区域,此外,还可以在主驾驶位与副驾驶位之间的扶手箱上朝向主控台的一侧设置雷达3,雷达3提供雷达场的方向可以朝向主驾驶位中靠近副驾驶位的区域、副驾驶位中靠近主驾驶位的区域、以及主驾驶位与副驾驶位之间的区域。
333.本技术实施例从方便乘客使用、保证安全,降低信号干扰,增强手势动作特征的角度提出了三种雷达系统的部署位置。
334.其中,位于方向盘右侧的雷达系统(例如本技术实施例中的第一雷达系统)的雷达波束向右斜方照射,该部署位置主要针对主驾人员操控,可主要减少驾驶员躯体以及驾驶
员手臂操控方向盘动作造成的信号干扰。
335.其中,部署在中控台附近雷达系统(例如本技术实施例中的第二雷达系统)的雷达波束朝中间照射,可同时供主副驾人员使用,乘客躯体干扰小。
336.其中,位于扶手箱位置的雷达系统(例如本技术实施例中的第三雷达系统)的雷达波束朝上方照射,可同时供主副驾人员使用,乘客躯体干扰小。
337.本技术实施例允许用户在无接触、无视线转移、短手臂移动距离的条件下完成手势操控,保证了行车安全和操作便捷性。
338.上述车辆200可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等,本技术实施例不做特别的限定。
339.下面结合本技术实施例中的附图对本技术实施例进行描述。本技术的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释,而非旨在限定本技术。
340.参照图6,图6为本技术实施例提供的一种功能调节方法的实施例示意图,本技术实施例提供的功能调节方法可以应用于电子设备或服务器,其中,电子设备可以为车载设备、计算机、智能手机或智能手表等产品。如图6示出的那样,本技术实施例提供的功能调节方法可以包括:
341.601、获取第一雷达数据。
342.以智能家居的应用场景为例,室内的用户可以在雷达的探测范围内进行雷达手势的操作,用户可以通过雷达手势的操作对智能家居中特定的功能进行调节。
343.以智能座舱的应用场景为例,车上的乘客(例如主驾驶员与副驾位置乘客)可以在雷达的探测范围内进行雷达手势的操作,用户可以通过雷达手势的操作对车载系统中特定的功能进行调节。
344.其中,本技术实施例中的雷达手势(例如第一手势、第二手势、第三手势、目标手势)为基于雷达且与触摸无关的手势(radar-based touch-independent gesture),也可以称之为“3dgesture(3d手势)”,雷达手势是指手势在空间上远离电子设备的性质(例如,该手势不需要用户触摸设备,尽管该手势并未排除触摸)。雷达手势本身通常可能仅具有二维的活动信息分量,诸如由左上至右下轻扫组成的雷达手势,但是由于雷达手势距电子设备有一定距离(“third(第三)”维或深度),本技术实施例中的雷达手势通常可以被视为三维。
345.在一种可能的实现中,用户在进行手势操作时,用户的手势可以位于雷达系统的监视区域内,雷达系统可以向监测的区域发射雷达信号,并接收到用户的手势对雷达信号的反射信号。例如,信号的生成和发射可以由上述实施例中的rf信号发生器12、雷达发射电路14和发射天线32来实现。
346.其中,雷达系统可以生成雷达信号,雷达信号的种类可以包括但不限于连续波(continuous wave,cw)信号和chirp信号(或者称之为啁啾)。
347.以chirp信号为例,chirp信号是频率随时间变化的电磁信号。通常,上升chirp信号的频率随时间推移增大,而下降chirp信号的频率随时间推移减小。chirp信号的频率变化可以呈现许多不同的形式。例如,线性调频(linear frequency modulated,lfm)信号的频率线性地变化。chirp信号中的其他形式的频率变化包括指数变化。除了频率根据某些预定函数(即线性函数或指数函数)连续变化的类型的chirp信号之外,还可以生成步进chirp
信号形式的chirp信号,其中频率步进变化。也就是说,典型的步进chirp信号包括多个频率步进,其中频率在每个步进处在某个预定持续时间内恒定。步进chirp信号还可脉冲式开启和关闭,其中该脉冲在chirp扫描的各个步进期间的某个预定时间段期间开启。
348.在一种可能的实现中,雷达系统可以发射chirp信号,其中chirp信号数学表达式可以示例性的为:
[0349][0350]
其中,b为带宽,为固定初始相位,tc为chirp信号周期,a为幅值,f0为起始频率。
[0351]
在一种可能的实现中,雷达系统可以发射雷达信号并接收来自用户的手势反射的反射信号。
[0352]
其中,所谓“用户的手势反射的反射信号”可以理解为:雷达信号撞击用户的手势并被用户的手势反射的信号。其中,在智能家居的场景中,雷达信号可以是雷达信号撞击行走时的目标对象并被目标对象反射的信号,在智能座舱的场景中,雷达信号可以是雷达信号撞击上下车时的目标对象并被目标对象反射的信号。
[0353]
进而,处理器可以获取到第一雷达数据,并基于第一雷达数据对用户的手势进行识别和手势信息的分析。
[0354]
应理解,本技术实施例中的第一雷达数据可以指雷达系统中接收天线在模拟处理电路处接收的反射信号,该反射信号为模拟信号。在得到模拟信号后,模拟信号可以被发射到模数转换器电路并由该电路进行信号的数字化,以得到数字信号。
[0355]
应理解,模拟处理电路所得到的模拟信号可以被发射到模数转换器电路并由该电路进行信号的数字化,以得到数字信号,本技术实施例中的第一雷达数据还可以指上述数字化得到的数字信号,这里并不限定。
[0356]
接下来基于处理器以及雷达系统部署位置的情况对处理器获取第一雷达数据的实现进行描述:
[0357]
1、雷达系统和处理器部署在同一个电子设备中:
[0358]
其中,电子设备可以为智能家居中的一个终端或者是智能座舱中的车载设备;
[0359]
在一种可能的实现中,雷达系统可以部署在电子设备中,雷达系统在获取到第一雷达数据后,可以将第一雷达数据传递至电子设备中的处理器(若第一雷达数据为模拟信号,则模数转换电路可以将模拟信号转换为数字信号后,将数字信号传递至处理器),处理器可以对第一雷达数据进行处理。
[0360]
2、雷达系统和处理器部署在不同的电子设备(为方便描述,以下将不同的电子设备描述为a电子设备和b电子设备)中:
[0361]
在一种可能的实现中,雷达系统可以部署在a电子设备中,雷达系统在获取到第一雷达数据后,可以将第一雷达数据传递至b电子设备中的处理器(若第一雷达数据为模拟信号,则a电子设备中的模数转换电路可以将模拟信号转换为数字信号后,将数字信号传递至b电子设备中的处理器,或者可以将模拟信号传递至b电子设备,由b电子设备中的处理器模数转换电路将模拟信号转换为数字信号后,将数字信号传递至b电子设备中的处理器),进而b电子设备中的处理器可以对第一雷达数据进行处理。
[0362]
3、雷达系统部署在电子设备中,处理器部署在云服务器中:
[0363]
在一种可能的实现中,雷达系统可以部署在电子设备中,雷达系统在获取到第一雷达数据后,可以将第一雷达数据传递至云服务器中的处理器(若第一雷达数据为模拟信号,则电子设备中的模数转换电路可以将模拟信号转换为数字信号后,将数字信号传递至云服务器中的处理器,或者可以将模拟信号传递至云服务器,由云服务器的处理器模数转换电路将模拟信号转换为数字信号),进而云服务器中的处理器可以对第一雷达数据进行处理。
[0364]
参照图7a,图7a示出了雷达系统102的一个示例性操作。其中雷达系统102被实现为调频连续波雷达。在环境中,用户302位于距雷达系统102的监测环境处。为了检测用户302,雷达系统102发射雷达发射信号306(图7a中描述为雷达发射信号306)。雷达发射信号306的至少一部分被用户302反射。该反射部分表示反射信号308(图7a中描述为雷达接收信号308)。雷达系统102接收反射信号308,并处理反射信号308以提取用于基于雷达的应用206的数据。如所描绘的,由于在传播和反射期间引起的损耗,反射信号308的幅度小于雷达发射信号306的幅度。
[0365]
雷达发射信号306包括啁啾a310-1至310-n的序列,其中n表示大于一的正整数。雷达系统102可以以连续突发发射啁啾310-1至310-n,或者作为时间分离的脉冲发射啁啾310-1至310-n。例如,每个啁啾310-1至310-n的持续时间可以在数十或数千微秒的数量级上(例如,在近似30微秒(μs)至5毫秒(ms)之间)。
[0366]
啁啾310 1至310-n的各个频率可以随时间增加或减少。在所描绘的示例中,雷达系统102采用双斜率循环(例如,三角频率调制)以随着时间线性增大和线性减小啁啾310-1至310-n的频率。双斜率循环使雷达系统102能够测量由用户302的运动引起的多普勒频移。
[0367]
通常,啁啾310-1至310-n的发射特性(例如,带宽、中心频率、持续时间和发射功率)可以被定制以实现特定的检测范围、范围分辨率或多普勒灵敏度,以检测用户302的一个或多个特征或用户302执行的一个或多个手势动作。
[0368]
在雷达系统102处,反射信号308表示雷达发射信号306的延迟版本。延迟量与从雷达系统102的天线阵列212到用户302的倾斜范围(例如,距离)成比例。具体来说,此延迟表示雷达发射信号306从雷达系统102传播到用户302所花费的时间与反射信号308从用户302传播到雷达系统102所花费的时间的总和。如果用户302和/或雷达系统102正在移动,则由于多普勒效应反射信号308在频率中相对于雷达发射信号306被偏移。换句话说,反射信号308的特性取决于手的运动和/或雷达系统102的运动。类似于雷达发射信号306,反射信号308由啁啾310-1至310n中的一个或多个组成。
[0369]
在一种可能的实现中,可以基于第一雷达数据来提取雷达场中物体的运动信息(例如用户的手势的运动信息),运动信息可以包括但不限于距离信息、速率信息、角度信息等,其中,距离信息蕴含于各回波脉冲的频率中,可通过在快时间对单个脉冲进行快速傅立叶变换,获得手势于当前脉冲时间内的距离信息,对各脉冲距离信息进行整合,即可得到单个手势的整体距离变化信息。在对手势原始回波快时间进行fft后,在慢时间维再进行fft,其峰值可反应目标的多普勒频率,即蕴含目标的速度信息。慢时间域fft需在同一距离门内进行,而因目标的整体运动存在距离徙动,不能直接对整体手势的某一距离门进行fft,而应合理设置积累脉冲数,使得每次fft操作内的手势截断基本无距离徙动。
[0370]
具体的,在获取到第一雷达数据后,可以对第一雷达数据进行初步的处理(例如快速傅里叶变换(fast fourier transform,fft)),具体的,处理器可以对第一雷达数据进行一维(1d)快速傅里叶变换(fast fourier transform,fft)计算获取距离傅里叶谱range-fft,通过二维(2d)fft计算获取距离多普勒谱range-doppler,接下来针对于上述1d-fft、2d-fft的过程进行详细描述:
[0371]
在一种可能的实现中,第一雷达数据可以包括多个chirp信号,可以对每个chirp信号进行处理,得到对应的距离傅里叶谱range-fft。例如,若r(n)为数字化的反射信号,其中n为单个chirp信号周期内的采样数,则可以对r(n)做n1点fft(或者称之为1d-fft)计算,得到r(k):
[0372]
r(k)=fft(r(n),n1),n1≥n;
[0373]
即,可以对反射信号进行1d-fft计算,得到对应的距离傅里叶频谱range-fft,其中距离傅里叶频谱range-fft可以由多个距离点range-bin组成,距离点range-bin可以表示为其中αi为r(k)正频域复数值的模值,可以定义单个距离点range-bin对应的单位距离为距离分辨率d
res
,则距离值di=αi×dres
,最大探测距离为距离傅里叶谱range-fft的横轴可以为上述距离值,距离傅里叶谱range-fft的纵轴可以为每个距离值对应的信号反射强度,信号反射强度可以定义为复数信号的模值(例如,若复数信号为a+bj,则信号反射强度可以表示为),距离傅里叶谱range-fft可以包括n1/2个距离值,以及每个距离值对应的信号反射强度。
[0374]
示例性的,可以参照图5,图5为一种距离傅里叶谱range-fft的示意,如图5示出的那样,距离傅里叶谱range-fft的横坐标为距离值d(包括),纵轴表示信号反射强度。
[0375]
在一种可能的实现中,在计算出一个chirp信号的距离傅里叶谱range-fft之后,类似的,可以对一帧内所有k个chirp信号进行1d-fft处理,得到k个距离傅里叶谱range-fft。
[0376]
在一种可能的实现中,可以对距离傅里叶谱range-fft上同一个距离range-bin上的k个值构成的序列再进行一次fft计算(也可以称之为2d-fft),得到距离多普勒谱range-doppler。
[0377]
以雷达数据为chirp信号为例,第一雷达数据可以包括多个chirp信号,参照图7b,图7b所示的矩阵中的每一行为一个chirp信号,多个chirp信号以行叠加成手势数据(例如第一雷达数据)。
[0378]
在一种可能的实现中,雷达系统可以具有远距离、大角度的探测范围,同时优异的雷达性能使得对微小运动也十分敏感,可以通过距离维滤波和速度维滤波对与手势不相关的干扰信息进行滤除。
[0379]
其中,距离维滤波是指将手势区域以外的目标(包括动目标与静目标,例如智能座舱场景中的驾驶员肢体动作、驾驶员呼吸等)滤除。如图8所示,手势动作与人体范围在距离上是分开的,可以利用距离维的滤波器将手势距离以外的其他目标滤除。
[0380]
其中,速度维滤波是指利用四阶反馈型滤波器将手势区域内的静止目标与低速目
标(例如车内显示器、静止或晃动的摆件等)滤除。
[0381]
602、基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,开启针对于目标功能的调节功能。
[0382]
本技术实施例中,在获取到第一雷达数据之后,可以对第一雷达数据进行手势相关的数据分析。
[0383]
在一种可能的实现中,第一雷达数据中的部分数据或者全部数据可以为与第一手势相对应的雷达数据,在获取到第一雷达数据之后,需要从中识别出与用户的手势相关的雷达数据,进而可以这部分识别出的雷达数据进行第一手势的相关处理(例如手势类别的确定、手势持续时间的确定等等)。
[0384]
在一种可能的实现中,可以通过方差检测法来判断第一雷达数据中第一手势的起始时刻与结束时刻。例如:可以对手势回波的每一个chirp求取方差,由于在有手势动作时的回波方差相较于无动作时的方差显著增加,利用这个特性即可判断一个手势的起止时刻,在有手势时,回波方差增大,当一段雷达信号数据的回波方差大于设置的门限θ时,判断为手势起始时刻。如图9所示的一个一段雷达数据,某点的回波方差大于门限θ,则确定从此点开始的雷达波数据为手势数据,如图9中“手势起始点a”所示。在手势终止的判断过程中,由于手势过程中可能有短暂静止情况,会出现某一时间段的方差小于门限的情况(如图9所示的从b点到c点数据段),如果将这一段数据计入用于手势识别的雷达信号数据,就会有冗余的数据,增加了计算量,因此将手势的结束标志设置为连续n帧(例如大约为1/30s)的回波方差都小于门限θ(如图9所示,从b点开始连续n帧的回波方差都小于门限θ,则将b点标识为手势终止点)。判断收到一个手势的回波后,n帧后的结束点(图9中所示的c点)不作为手势终止点,而将最后一个小于门限的回波作为手势数据的终止点(图9中所示的b点)。
[0385]
本技术实施例中,可以从检测到手势数据时开启计时,若手势数据的持续时间超过第一阈值则可以开启精细调节模式。其中,第一阈值可以大于0.7秒且小于1.5秒,例如第一阈值可以为0.7秒、0.8秒、0.9秒、1秒、1.1秒等。
[0386]
其中,精细调节可以包括功能的开启、以及功能的程度调节,该程度调节可以为数值的增大或减小、显示位置的方向调节、显示区域的缩放调节、硬件的位置或者是形态的调节,例如精细调节可以包括音量大小调节、显示亮度调节或者显示图像的缩放调节、显示界面的移动调节、车窗高度调节、车舱内座椅的前后位置调节等。由于涉及功能的程度调节,因此精细调节的手势需要持续一定的时间来进行调节程度的选择,持续的时间较长。
[0387]
在一种可能的实现中,可以从检测到手势数据时开启计时,若手势数据的持续时间未超过第一阈值就终止了,则可以开启独立手势调节模式。
[0388]
其中,独立手势调节模式可以包括功能的开启或者关闭,由于不涉及功能的程度调节,因此独立手势可以为单独的手势,且持续时间很短,例如左挥手、右挥手等。
[0389]
随着交互方案的逐渐丰富,手势动作数量逐渐增加,各手势动作的特征各不相同,因此独立手势与精细调节手势在动作特征上具有很多重叠性,不易直接区分,其最大的区别在于手势时间长度,独立手势都为单独手势,持续时间很短。如下表1所示,表1以画圈为例示出了连续画圈动作时长统计示例。
[0390]
表1
[0391][0392]
表1以连续画圈动作为例,考虑个体手势差异,取判断界限为1s,在上表1测试雷达参数配置下1s对应1440chirps,小于1s的手势动作判定为独立手势,大于1s的手势视为精细调节手势,即可保证在进行第二圈动作的初始,系统即可获知已在进行精细调节。
[0393]
本技术实施例中,将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,这部分雷达数据可以不作为后续进行精细调节时调节程度的确定依据,而仅仅作为是否开启精细调节的触发条件(本技术实施例中也可以称之为唤醒手势),基于手势持续时间的方式来开启精细调节具有如下的好处:由于手势类型是有限的,在未来功能类型不断丰富的情况下,将手势类型作为开启精细调节功能的方案中手势类型可能不够用(独立手势功能占用一部分手势类型,唤醒手势再占据另一部分手势类型,两者之间不能重叠,否则会出现错误),而基于手势持续时间作为是否开启精细调节模式的依据,则可以让独立手势功能使用的手势类别和唤醒手势重叠,进而可以减少在进行手势实现的功能调节时所需的手势类别。此外,在针对于手势相关的功能调节场景中,尤其是精细调节的场景中,需要尽可能保证整体的手势设计是连续的,当用户想进行基于手势的精细调节时,会下意识知晓调节过程需要连续的一段时间内的手势,在唤醒精细调节的功能时,若将唤醒手势的规则也定义为基于持续时间是否足够长,那么作为用户来说,会认为这部分唤醒手势的操作过程和后续是连贯的。
[0394]
在基于第一雷达数据指示的第一手势的持续时间超过第一阈值时,可以对第一雷达数据中与第一手势相关的雷达数据进行手势类别的识别(也就是进行第一手势的手势类别的识别),之所以进行第一手势的手势类别的识别,是因为需要机遇第一手势的手势类别确定后续精细调节的功能类型(也就是确定目标功能)。应理解,这里的手势类别可以理解为手型类别,不同手势类别的手势之间的手型特征不同。
[0395]
在一种可能的实现中,处理器可以基于所述第一雷达数据指示用户的手势,且所述用户的手势的持续时间超过第一阈值,根据所述第一雷达数据,确定所述用户的手势为第一手势,所述第一手势用于指示开启所述的调节功能。
[0396]
在一种可能的实现中,可以从所述第一雷达数据中截取部分雷达数据,并根据所述部分雷达数据,确定所述用户的手势为第一手势。可选的,所述部分雷达数据为所述第一雷达数据中前n个雷达数据。区别于手势检测,手势截取是在手势动作进行过程中截取部分合适长度的手势,进行手势识别。因此,截取长度是手势截取的关键,截取太短或太长都会导致该部分手势识别的失效。可选的,可以通过时间截取法和手势特征截取法进行手势截取。
[0397]
时间截取法与独立手势判断的思想一致,从时间角度出发,截取自手势开始后的n
个雷达数据(例如截取n个chirp信号),将截取后的信号进行手势识别。时间截取法简单、直接但有效,其有效性来源于以下几个方面:第一,在后续进行手势类别确定时可以利用基于自注意力机制的多维特征融合网络的手势识别算法,该算法对手势信号长度变化不敏感,相似手势特征,时间长度(即手势动作快慢)略有差异,对识别结果影响很小,不同用户的同一手势长度本身也存在差异性;第二,独立手势长度短于第一阈值,基于持续时间的判断可以保证独立手势不会被截取,因此不会对独立手势的识别产生影响。
[0398]
以连续画圈精细调节为例,根据表1可知,第一圈顺逆时针唤醒手势的长度一般不超过1000chirps,故可取截取长度n为1000chirps。参照图10,图10为逆时针画2圈手势进行手势截取前的示意,参照图11a,图11a为逆时针画2圈手势进行手势截取后的示意。
[0399]
在上述连续画圈精细调节示例中,手势动作进行到1s时系统判定正在进行精细调节操作,截取1s中前1000chirps(当前雷达参数配置下1s为1440chirps,大于1000chirps)数据进行识别,识别结果即为唤醒手势的类别。
[0400]
手势特征截取法是指分析特定手势的特征变化,完成手势截取,截取长度不固定,随手势情况变化。例如:从距离或速度变化可完成悬停手势截取,从距离、角度、速度变化完成对连续画圈动作中第一圈的截取,手势特征截取可以解决不同用户、不同手势带来的手势长度差异性对截取的影响问题,对单个手势的截取更加准确。
[0401]
基于上述描述,时间截取法适用于不同唤醒手势的时间长度相仿的情况;而手势特征截取法适用于不同唤醒手势具有特征相仿的某一相同特征,能用单一特征实现不同唤醒手势的截取。在实际应用时,可以根据唤醒手势的种类和特点综合考虑选择何种截取方式。
[0402]
在得到上述截取后的雷达数据后,可以根据所述第一雷达数据,获取所述用户的手势的运动特征,并根据所述用户的手势的运动特征确定所述用户的手势为第一手势;或者,根据所述第一雷达数据,通过预训练的手势分类网络,确定所述用户的手势为第一手势。
[0403]
接下来描述如何根据所述第一雷达数据,获取所述用户的手势的运动特征,并根据所述用户的手势的运动特征确定所述用户的手势为第一手势:
[0404]
在一种可能的实现中,运动特征为手势动作某个单一的显著特征(例如距离、速度、角度特征等),通过对该特征的分析可以实现对某一类手势的识别。基于手势的运动特征进行的手势类型识别只需进行部分特征分析,无需经过特征融合和神经网络,故可以简化一部分手势识别工作,减少计算量,提高实时性。
[0405]
在唤醒手势中,以悬停动作为例,悬停动作为静止动作,距离、速度、角度特征维持不变,十分适合从信号层进行判断,且考虑在常规硬件性能下,距离分辨率远高于角度分辨率,故利用距离特征进行判断悬停动作。具体的,可以获取当前接受信号距离特征,提取每一时间信号能量最大值位置,以信号末端位置为基准,不断向信号起点向延伸,直到连续出现若干个时间手势位置与基准位置距离差值超过门限时,认为此时非悬停,存在较大位移。通过该方法,可以定量获取悬停时间。此外,还可以类似距离特征精细量化,当一定时间内一阶距离变化拟合直线的斜率值持续较低时,可认为是悬停动作。
[0406]
参照图11b,图11b为采用上述方法进行的悬停手势信号层判断示例,其各阶段斜率值分别为-7.2967、-1.5059e-14、-2.8360、-1.5059e-14、1.2219、-1.5059e-14、0.1450、
0.5360、0.5165、-0.0956、-0.7544、2.3507、-0.8567、-0.6055、0.4787。若将斜率判定界限设为3,则可知悬停手势持续了2秒钟左右。
[0407]
接下来描述如何根据所述第一雷达数据,通过预训练的手势分类网络,确定所述用户的手势为第一手势:
[0408]
在一种可能的实现中,上述预训练的手势分类网络可以为基于结合自注意力机制的卷积层多维度特征融合识别算法实现的网络,融合手势动作的距离、角度、速度特征,可以得到识别结果。应理解上述预训练的手势分类网络也可以应用在独立手势模式中的独立手势类别识别中。
[0409]
其中,手势识别的实现主要包括网络识别与信号层识别两种方式,网络层识别即利用本技术基于的结合注意力机制的多维度特征融合识别算法,算法的整体架构如图11c所示,算法首先对单个手势的三类信息进行堆叠,获得三通道格式的信息,类似于计算机视觉中深度学习算法普遍输入的rgb图像,作为单个手势的数据输入。后对输入数据进行特征提取,此部分通过多层卷积层完成,卷积层的卷积核大小为3。特征提取部分使得数据尺寸减小,通道数增加,数据输出通过基于自注意力机制的通道间特征融合步骤,在各通道上叠加注意力值信息。后通过全连接层及softmax层,对特征数据一维化,并缩短长度至手势类别数量,输出对各类别手势的预测概率。进而,可以将预测概率最高的手势类别作为第一手势的手势类型。
[0410]
通过上述方式,可以得到第一手势的手势类型,进而可以基于预设的对应关系,确定所述第一手势的手势类型对应于所述目标功能,其中所述预设的对应关系包括手势类型与功能之间的映射。
[0411]
也就是说,可以基于第一手势的手势类型来确定后续开启的精细调节时的调节对象(即目标功能)是什么。
[0412]
在一种可能的实现中,所述第一手势的手势类型为手指捏合(例如图12a所示),所述目标功能为应用播放的视频或音频的进度调节;或者,所述第一手势的手势类型为画圈,所述目标功能为音量大小调节;或者,所述第一手势的手势类型为手掌悬停,所述目标功能为显示亮度调节或者显示图像的缩放调节;或者,所述第一手势的手势类型为握拳,所述目标功能为显示界面的移动调节;或者,所述第一手势的手势类型为手掌轻晃,所述目标功能为车窗高度调节;或者,所述第一手势的手势类型为握拳且伸出大拇指,所述目标功能为车舱内座椅的前后位置调节。
[0413]
具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为手指捏合,进而可以开启针对于应用播放的视频或音频的进度调节的功能调节模式。
[0414]
具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为画圈,进而可以开启针对于音量大小调节的功能调节模式。
[0415]
具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为手掌悬停,进而可以开启针对于显示亮度调节或者显示图像的缩放调节的功能调节模式。
[0416]
具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,
且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为握拳,进而可以开启针对于显示界面的移动调节的功能调节模式。
[0417]
具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为手掌轻晃,进而可以开启车窗高度调节的功能调节模式。
[0418]
具体的,处理器可以识别出某一时刻在雷达系统的监测区域内存在用户的手势,且确定出用户的手势的持续时间超过第一阈值,进而可以识别出用户的手势的手势类别为握拳且伸出大拇指,进而可以开启针对于车舱内座椅的前后位置调节的功能调节模式。
[0419]
本技术实施例中,在基于第一雷达数据,确定出存在第一手势,且第一手势的持续时间超过第一阈值时,可以开启针对于目标功能的调节功能。
[0420]
具体的,参照图12b,在开启针对于目标功能的调节功能时,可以呈现一定的反馈信息,该反馈信息可以指示针对于目标功能的调节功能已开启,具体的,在开启针对于目标功能的调节功能时,可以进行所述目标功能相对应的目标呈现,所述目标呈现用于指示已开启针对于目标功能的调节功能。
[0421]
在一种可能的实现中,所述目标呈现可以包括:进行所述目标功能的调节的控件显示。在智能家居的应用场景中,可以在具有显示屏的电子设备上进行目标呈现;在智能座舱的场景中,可以在车舱内的中控屏上进行目标呈现。
[0422]
以目标功能为应用播放的视频或音频的进度调节为例,则目标呈现可以为进度条的显示。
[0423]
以目标功能为音量大小调节为例,则目标呈现可以为音量调节控件的显示。
[0424]
以目标功能为显示亮度调节为例,则目标呈现可以为显示亮度调节控件的显示。
[0425]
以目标功能为显示图像的缩放调节为例,则目标呈现可以为图像的缩放控件的显示。
[0426]
以目标功能为显示界面的移动调节为例,则目标呈现可以为显示界面的移动控件的显示。
[0427]
在一种可能的实现中,所述目标呈现可以包括:与所述目标功能相关的硬件的震动提示,例如在智能车舱的场景中,目标呈现可以为座椅的震动提示。
[0428]
以目标功能为车舱内座椅的前后位置调节为例,则目标呈现可以为要进行座椅位置调节的座椅的震动提示。
[0429]
在一种可能的实现中,所述目标呈现可以包括:声音提示,该声音提示可以包含已开启针对于目标功能的调节功能的语音,例如以目标功能为应用播放的视频或音频的进度调节为例,则目标呈现可以为播放语音“应用播放的视频或音频的进度调节功能已开启”;以目标功能为音量大小调节为例,则目标呈现可以为播放语音“音量调节功能已开启”;以目标功能为显示亮度调节为例,则目标呈现可以为播放语音“显示亮度调节功能已开启”;以目标功能为显示图像的缩放调节为例,则目标呈现可以为播放语音“图像的缩放功能已开启”;以目标功能为车窗高度调节为例,则目标呈现可以为播放语音“车窗高度调节功能已开启”;以目标功能为车舱内座椅的前后位置调节为例,则目标呈现可以为播放语音“车舱内座椅的前后位置调节功能已开启”。
[0430]
603、获取第二雷达数据。
[0431]
在开启针对于目标功能的调节功能(精细调节)后,用户可以在雷达系统的监测区域内通过手势来进行针对于目标功能的调节。
[0432]
具体的,处理器可以获取到第二雷达数据,其中,第二雷达数据可以是对用户的手势(第二手势)的反射信号得到的,关于处理器如何获取第二雷达数据,可以参照上述实施例中关于第一雷达数据的获取方式的描述,这里不再赘述。
[0433]
在一种可能的实现中,所述第一雷达数据为在所述第二雷达数据之前获取的。
[0434]
在一种可能的实现中,所述第一雷达数据和所述第二雷达数据为在时域上连续获取的雷达数据;或者,所述第一雷达数据和所述第二雷达数据为在时域上间隔目标时间段获取的雷达数据,所述目标时间段的时长小于第二阈值;其中,第二阈值可以是处理器在进行第一雷达数据的相关处理的时间,在该时间内,针对于目标功能的调节功能还未开启。
[0435]
604、响应于所述针对于目标功能的调节功能的开启,根据所述第二雷达数据,确定所述第二雷达数据指示的第二手势、以及所述第二手势的运动特征。
[0436]
本技术实施例中,基于针对于目标功能的调节功能的已开启,可以根据所述第二雷达数据,确定所述第二雷达数据指示的第二手势、以及所述第二手势的运动特征。
[0437]
应理解,第一手势和第二手势之间也存在预设的映射关系,具体的,第一手势可以用于开启与第一手势的手势类型对应的目标功能的调节模式,在开启目标功能的调节模式的情况下,用户也只能基于与目标功能的调节模式所对应的手势类型(第二手势的手势类型)进行目标功能的调节。
[0438]
其中,第二雷达手势是用户进行精细调节时的手势,第一手势作为精细调节功能的唤醒手势,可以和第二手势之间的手势差异较大,也就是可以认为第一手势和第二手势之间为独立手势。
[0439]
在一种可能的实现中,第一手势和第二手势还可以为用户连续的手势动作,所谓连续的手势动作,可以理解为第一手势和所述第二手势的手型相同(或者差异很小),可选的,所述第一手势可以为静止手势或者移动幅度小于阈值的手势,由于第二手势需要对目标功能进行一定调节幅度的调节,因此所述第二手势可以为移动幅度大于阈值的手势。
[0440]
本技术实施例中,第一手势和所述第二手势的手型相同,使得用户在进行精细调节的功能唤醒时的手势和进行精细调节时采用的手势为相同手型的手势,可以让用户在很小的学习成本下就能准确的进行功能调节。
[0441]
在一种可能的实现中,所述第一手势为手指捏合的手势,所述第二手势为保持所述手指捏合且拖动的手势;或者,所述第一手势为手掌悬停手势,所述第二手势为上抬手势或者下压手势;或者,所述第一手势为手掌悬停手势,所述第二手势为左右挥手手势;或者,所述第一手势为手掌悬停手势,所述第二手势为前后推手势;或者,所述第一手势为握拳的手势,所述第二手势为保持所述握拳且移动的手势;或者,所述第一手势为手掌轻晃手势,所述第二手势为上抬手势或者下压手势;或者,所述第一手势为握拳且伸出大拇指的手势,所述第二手势为保持所述握拳且伸出大拇指并前后推的手势。上述第二手势的手势语义贴合调节功能,符合用户习惯,可以助于降低学习成本。
[0442]
在一种可能的实现中,所述第一手势和所述第二手势为所述第一手势的手势类型相同,且所述第一手势和所述第二手势均为移动幅度大于阈值的手势。例如,所述第一手势和所述第二手势可以均为画圈手势。
[0443]
本技术实施例中,可以对第二雷达数据进行分析以确定第二手势的运动特征,该运动特征可以用于进行精细调节时调节信息的确定。精细调节方案中不需要对每个调节动作的所有特征进行精细量化,根据手势特点,可以选择手势的某一个或部分运动特征来实现精细调节功能。其中,不同手势可以采用不同的运动特征。
[0444]
在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,可以包括:所述第二手势的距离信息,所述距离信息包括所述第二手势与所述雷达系统之间的距离随时间的变化、所述距离的变化速率、以及所述距离的变化方向中的至少一种。
[0445]
其中,基于距离特征实现精细调节的适用情况可以为手势动作与雷达之间相对距离不断变化的情况,以及手部反射点区域较为集中,有利于距离探测的情况。
[0446]
例如适合采用距离特征精细量化的手势可以包括但不限于:手掌上抬/下压、左右挥动、前后移动等。
[0447]
其中,距离信息蕴含于各回波脉冲的频率中,可通过在快时间对单个脉冲进行快速傅立叶变换,获得手势于当前脉冲时间内的距离信息,对各脉冲距离信息进行整合,即可得到单个手势的整体距离变化信息。
[0448]
中频信号可简化为:
[0449][0450]
即可通过fft获得信号频谱,找出谱峰位置:
[0451][0452]
其同目标距离成正比,可得目标距离为:
[0453][0454]
距离信息提取示意图如图13。距离分辨率是指区分两个临近目标的能力,即能保证回波信号不混叠的目标最小间距,其满足:
[0455][0456]
其中c为光速,b为chirp信号调频带宽。在60ghz频段常用带宽及距离分辨率对应关系可以如下表2所示:
[0457]
表2
[0458][0459]
因此,增大扫频带宽的提高可提高距离分辨率。此时距离维度精细调节的最小刻度为距离分辨率。本技术实施例中,还可以在提取距离特征时通过调整range-fft来提升距离分辨能力。具体的,在进行range_fft处理后,一个频谱间隔对应一个距离门单元,满足以下关系:
[0460]
[0461]
其中,ns表示i/q路chirp信号采样点数,n
fft
表示fft采样点数。一般情况下,ns与n
fft
相等,此时若增大n
fft
,即可减小a。
[0462]
举例说明:若设置ns为128,n
fft
为512,信号的128个采样点作为fft的首个1/4输入,其余3/4用0填补,此时距离门间隔降低为之前的1/4。此时超分辨的精细调节的最小刻度可以为距离分辨率的1/4。
[0463]
在一种可能的实现中,可以通过range-fft获取距离特征图,特征图横轴对应chirp信号数,可表示时间。纵轴表示距离,每一单位对应距离分辨r
res
所对应的长度。由于毫米波雷达对亚毫米级位移的敏感,同一chirp信号上不同距离门上都有强度不一的回波信号。之后可以提取每一chirp回波信号内能量最大值位置,该位置对应纵轴值即为当前手势动作所处位置。结果中一般存在极少数位置突变点,分析原因主要是由于噪声导致。为减弱突变点的影响,使用滑窗平均法进行平滑处理,同时可以平滑距离点之间的跃式跳变,便于后续处理。滑窗长度可以根据提取精细特征时间窗(n frames)长度确定。之后可以对每段距离特征数据进行一阶拟合,提取一阶拟合函数斜率k,以得到以下表3所示的距离调节依据信息:
[0464]
表3
[0465][0466]
以上抬手势和下压手势为例,对于上抬动作,参照图14,上抬动作可以持续5/6秒左右,产生了5个斜率值。分别为-4.4657、2.4895、5.7985、8.8039、12.5691,其中第一个斜率为负数,其原因在于,伸手进入雷达探测过程是相对距离减小过程,后续动作不断远离雷达。数值大小反映了动作速率。
[0467]
对于下压动作,参照图15,与上抬动作相反,下压动作作为相对距离不断减小的过程。上述动作同样持续了约5/6秒左右,所有斜率值均为负数,分别为-9.4675、-8.8054、-4.7695、-8.7964、-6.6660。同理,斜率绝对值大小反映了动作速度。
[0468]
在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征可以包括:所述第二手势的速率信息,所述速率信息包括所述第二手势在所述雷达场中的移动速率随时间的变化大小。
[0469]
基于速度特征实现的精细调节可以适用于有明显速度变化的精细调节过程,尤其适用于周期性运动。此时速度随时间呈现清晰的正弦曲线关系变化。据此分析,适合采用速度特征精细量化的手势例如顺、逆时针画圈、连续点击、拨滑块等。
[0470]
在一种可能的实现中,在对手势原始回波快时间进行fft后,在慢时间维再进行fft,其峰值可反应目标的多普勒频率,即蕴含目标的速度信息。慢时间域fft需在同一距离门内进行,而因目标的整体运动存在距离徙动,不能直接对整体手势的某一距离门进行fft,而应合理设置积累脉冲数,使得每次fft操作内的手势截断基本无距离徙动。本文通过短时傅里叶变换完成对手势信号的时频分析,从而提取手势多普勒信息,合理设计积累脉冲数,即为合理设置短时傅里叶变换的窗长。
[0471]
对于本文的数据处理,首先对原始信号进行快时间fft得到距离信息,后提取各脉
冲峰值位置数据并重组成一列,对此列数据利用stft进行时频分析,从而获得单个手势的多普勒变化规律。
[0472]
若目标处于运动状态,则:
[0473][0474]
信号频率同时含有距离及速度信息,即出现距离同速度的耦合,无法直接通过一维fft求得。设信号采样周期为ts,脉冲重复间隔为t,单脉冲采样点数为n,接收l个脉冲,改写为:
[0475][0476]
其中n=0,1,2,

,n-1,代表单脉冲的采样点序列,l=0,1,2,

,l-1,代表脉冲序列。
[0477]
观察可知,信号的相位部分带有速度信息,相位部分在进行一维fft后呈现为信号复包络的形式。故再对一维fft过后的信号于第二维做fft(即以慢时间lt为变量),可得反应目标速度的信号中心频率(即为目标多普勒频率):
[0478][0479]
可得:
[0480][0481]
信号的时频分析指对于信号各时间范围的频率成分组成方式进行描述。因平稳信号常为为理想状况或人为制造,而一般情况下信号呈现非平稳,故傅里叶变换不足以对其进行分析,需要通过时频分析的手段进行分析。短时傅里叶变换进行时频分析手段。
[0482]
短时傅里叶变换(stft)通过时间窗内的一段信号来表示某一时刻的信号特征。在短时傅里叶变换过程中,时频图的时间分辨率和频率分辨率由窗长确定,窗长的增加导致截取信号长度增加,使得stft获得的频率分辨率越高,时间分辨率越差,反之亦然。具体操作而言,短时傅里叶变换就首先把一个函数和窗函数进行相乘,然后再进行一维傅里叶变换。并通过窗函数的滑动得到一系列的傅立叶变换结果,将这些结果排开便得到一个横轴为时域,纵轴为频域的二维表象。设s(t)为待分析信号,stft(t,ω)为信号时频分析结果,则短时傅里叶变换公式如:
[0483]
stft(t,ω)=∫s(t

)ω(t
′‑
t)e-jωt

dt


[0484]
如上所述,使用stft时需要设置窗长,而窗长会影响时间分辨率及频率分辨率,高频信号适合使用小窗长,从而获得时域高分辨率,低频信号适合使用大窗长,从而获得频域高分辨率,但stft窗长固定,故对信号的时频分析能力仍有一定缺陷。不同频率下的stft基函数可以如图16所示。多普勒信息提取示意图可以如图17所示。
[0485]
示例性的,在进行基于速度信息的精细调节时,可以获取速度特征图,并提取每一chirp回波信号内能量最大值位置,该位置对应纵轴值即为当前手势速度值。局部速度值可以存在波动,这是由于手势动作无法保持绝对稳定的速度所致。为消除速度变化曲线局部的波动情况,采用滑窗平均法进行平滑处理。得到的速度曲线可以反映手势动作的相对匀变速运动。根据上述所得的速度曲线的形状特征,可以提取反映手势精细特征的变量。以正
弦类型速度变化曲线为例,可通过介值定理确定正弦速度曲线零点数目:函数在[a,b]内单调性不变,且f(a)*f(b)<0,则函数f(x)在[a,b]有且仅有一个零点。一个零点对应1/2周期。通过一阶求导,可确定满足导数值为0的波峰波谷数目。一个波峰到波谷对应1/2周期。进行正弦函数拟合,获取速度变换正弦函数的频率。其中,手势总时长/正弦函数周期t=周期数。
[0486]
与距离特征类似,同样可以单独基于变换域速度特征的变化实现调节幅度、调节快慢的控制。调节方向的实现既可以基于唤醒手势识别结果,如顺时针、逆时针画圈,或同时利用角度特征实现判断,例如顺时针、逆时针的角度变化方向相反。
[0487]
以画圈手势为例,依据上述分析,顺逆时针画圈是采用速度特征进行精细调节的典型动作,速度信息经过stft之后的周期性变化比距离周期性起伏变化更加明显。
[0488]
图18所示的速度特征图为逆时针画圈5圈动作的速度特征图,经过上述步骤处理后可得零点数为11,波峰波谷数为11。根据手势分类结果判断为逆时针,根据波峰波谷数及零点数每过1/4个周期可对用户进行反馈,通过在固定处理时间间隔内的波峰波谷数目多少即可判断调节快慢。
[0489]
在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征可以包括所述第二手势的角度信息,所述角度信息包括所述第二手势与雷达系统之间的角度随时间的变化,所述角度包括方位角和/或俯仰角。
[0490]
其中,基于角度特征实现的精细调节可以适用于手势动作无较大距离、速度起伏变化的情况下,尤其适用于轨迹存在于示意图不同高度的xoy平面中的手势。例如,可以适用于沿不同方向移动的动作(当前受限于硬件性能,角度分辨率较低,可将360
°
平面分为4个区域,如图21所示),目标角度的获取基于雷达的多接收天线,通过测量各接收回波的相位差实现。多天线接收目标回波示意图如图19。
[0491]
示例性的,可以采用多信号分类算法(multiple signal classification,music),利用雷达四接收天线阵列,对手势的角度变化进行测量,不同于前序有关算法所使用的对阵列接收信号的协方差矩阵直接进行处理的思想,music算法将任意阵列输出数据的协方差矩阵进行特征分解,从而得到与信号分量相对应的信号子空间和与信号分量相正交的噪声子空间,后利用这两个子空间的正交性来估计入射方向、极化信息和信号强度等信号参数。music算法具有普遍的适用性,具有精度高,多信号同时测量等优势。music算法的使用需要雷达满足阵元间距不大于载波半波长。
[0492]
示例性的,雷达线阵阵元数为k,间距为d,则两阵元间接收信号时延为dsinθ/c,假设存在m个目标,其角度分别为θm,m=1,

,m,则m个目标接收信号为:
[0493]
s(t)=[s1(t),s2(t),

,sm(t)]
t

[0494]
信号的方向矢量为:
[0495]
[0496]
其中,
[0497][0498]
设阵元噪声矢量为:
[0499]
n(t)=[n1(t),n2(t),

,nk(t)]
t

[0500]
则可得接收信号为:
[0501]
x(t)=as(t)+n(t);
[0502]
假设各阵元信号不相关,得接收信号协方差矩阵为:
[0503]
r=e[xxh]=apah+σ2i;
[0504]
其中,p=e[ssh],为信号相关矩阵,σ2是噪声功率,i为k
×
k阶单位矩阵。由于r为满秩矩阵且特征值为正,将r特征分解得特征向量vi(i=1,2,

,k),由于噪声子空间与信号子空间正交,用噪声特征向量为列,构造噪声矩阵:
[0505]en
=[v
m+1
,

,vk];
[0506]
定义空间谱函数:
[0507][0508]
当a(θ)和en各列正交时,分母达到最小值,故可对p
mu
(θ)进行谱峰搜索,通过寻找波峰估计到达角。
[0509]
基于雷达的多接收天线,通过music算法可获取手势过程的角度变化。对本文而言,每次角度计算利用的脉冲数为8,即首先将单通道接收回波的8个原始回波脉冲进行拼接。
[0510]
xi=[x
i1
,x
i2
,

,x
in
];
[0511]
其中n=4096,即8脉冲的总长度,i为通道序数。后将四通道数据拼接,得music算法的输入矩阵:
[0512][0513]
通过music算法获得该段回波信号对应的手势角度分布。对全部回波中的每8个脉冲进行如上操作,可获得单个手势全阶段的角度信息。角度信息提取示意图如图20所示。
[0514]
角度分辨率表征能够分辨在相同距离上的两个目标的能力,用此时的夹角表示。一般来说,fmcw毫米波角度测量时的角度分辨率与接收天线的数目相关,接收天线越多,精度越高。其满足:
[0515][0516]
通过使用多发射端能够进一步提高角度分辨率,mimo阵列一系列发射、接收天线能够构成虚拟阵列,此时角度分辨率满足:
[0517][0518]
根据以上公式,计算两种常用收发机制下角度分辨率结果如下表3所示:
[0519][0520]
综上,可以看出,角度分辨率能够通过提高雷达硬件配置得到大幅提升。
[0521]
在基于角度特征进行目标功能的精细调节时,可以利用角度特征提取方法,获取角度特征图,并将角度特征图散射点分布按照角度进行区域划分,根据角度随着时间的变化即可确定手掌移动方向,之后可以确定角度特征的变化方向、变化大小、变化快慢,可以通过区域的变化来体现角度特征的调节方向、通过角度差值来体现调节的幅度大小、通过单位时间内的角度差来体现调节的快慢。
[0522]
示例性的,由于当前角度分辨率的限制,可将雷达探测区域大致分为四个部分(如图21所示)。随着雷达性能的提升,可以更为精细地划分区域,从而实现更为精准的方向判断。在划分4个区域的情况下,每个区域对应90
°
。手掌在雷达上方从area 4水平移动至area 2可得特征图可以如图22所示。
[0523]
此外,参照图23,还可以基于上述多个运动特征来进行目标功能的精细调节,具体的,可以对于多种高自由度手势均需要进行精细调节时,在距离、速度、角度(方位角、俯仰角)单一维度不容易实现,采用融合特征进行精细调节。可以通过增加收发天线数量,或采用虚拟孔径技术,使雷达测角分辨率与精度进一步提升后,角度特征与距离特征、速度特征可进行融合,实现对手势的实时空间定位与追踪,从而实现类似空鼠移动功能。
[0524]
可选的,为了保证实时性,可以采用短间隔特征精细量化方法,每一段时间窗(n frames)提取一次精细特征,每段处理的手势数据不会保存,快速更新,这样的小规模的数据处理模式,提高了特征反馈速度。
[0525]
本技术实施例在手势特征提取的基础上,对手势特征进行精细量化,包括距离,速度,水平角度,俯仰角度等。获取反映特征变化方向、特征变化量、特征变化速度的变量,进而可以实现双向、不同幅度、不同快慢、高稳定性、强泛化性的精细调节。
[0526]
605、根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对所述目标功能进行调节。
[0527]
其中,以目标功能为应用播放的视频或音频的进度调节为例,调节幅度可以指示进度的调节大小,调节方向可以指示进度的调节方向(例如是向前或者是向后调节进度),调节速度可以指示进度的调节速度。
[0528]
其中,以目标功能为音量大小调节为例,调节幅度可以指示进度的调节大小,调节方向可以指示进度的调节方向(例如是向前或者是向后调节进度),调节速度可以指示进度的调节速度。
[0529]
其中,以目标功能为显示亮度调节为例,调节幅度可以指示进度的调节大小,调节方向可以指示进度的调节方向(例如是向前或者是向后调节进度),调节速度可以指示进度的调节速度。
[0530]
其中,以目标功能为显示图像的缩放调节为例,调节幅度可以指示显示图像的缩放比例大小,调节方向可以指示是放大或者是缩小调节,调节速度可以指示缩放的调节速度。
[0531]
其中,以目标功能为显示界面的移动调节为例,调节幅度可以指示调节时移动的
位移大小,调节方向可以指示调节时移动的方向,调节速度可以指示调节时移动的速度。
[0532]
其中,以目标功能为车窗高度调节为例,调节幅度可以指示车窗高度的调节大小,调节方向可以指示车窗高度是向上调节或者是向下调节,调节速度可以指示车窗高度的调节速度。
[0533]
其中,以目标功能为车舱内座椅的前后位置调节为例,调节幅度可以指示车舱内座椅的前后位置的调节大小,调节方向可以指示车舱内座椅是向前调节或者是向后调节,调节速度可以指示车舱内座椅的前后位置调节速度。
[0534]
在一种可能的实现中,用户可以通过终止手势(第三手势)来关闭精细调节功能,具体的,处理器可以获取第三雷达数据,进而可以基于所述第三雷达数据指示第三手势,关闭针对于目标功能的调节功能,其中所述第三手势为撤手手势或者悬停手势。其中,停止动作的作用是充当精细调节的标志,避免多余动作造成误调节,大多数精细调节功能可直接撤手停止,部分对距离变化敏感的采用悬停停止。可选的,第三手势与第二手势之间可以具有强连贯性。
[0535]
示例性的,可以参照图24a,图24a为本技术实施例提供的一种功能调节方法的流程示意。如图24a所示,本技术实施例可以将精细调节与手势分类识别有机结合,既保证了手势分类识别输出识别结果完成单指令操作,同时兼容采用组合手势或连续重复手势进入精细调节功能。
[0536]
本技术实施例提供了一种功能调节方法,所述方法包括:获取第一雷达数据;基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,开启针对于目标功能的调节功能;获取第二雷达数据;响应于所述针对于目标功能的调节功能的开启,根据所述第二雷达数据,确定所述第二雷达数据指示的第二手势、以及所述第二手势的运动特征;根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对所述目标功能进行调节。本技术实施例中,将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,这部分雷达数据可以不作为后续进行精细调节时调节程度的确定依据,而仅仅作为是否开启精细调节的触发条件(本技术实施例中也可以称之为唤醒手势),基于手势持续时间的方式来开启精细调节具有如下的好处:由于手势类型是有限的,在未来功能类型不断丰富的情况下,将手势类型作为开启精细调节功能的方案中手势类型可能不够用(独立手势功能占用一部分手势类型,唤醒手势再占据另一部分手势类型,两者之间不能重叠,否则会出现错误),而基于手势持续时间作为是否开启精细调节模式的依据,则可以让独立手势功能使用的手势类别和唤醒手势重叠,进而可以减少在进行手势实现的功能调节时所需的手势类别。此外,在针对于手势相关的功能调节场景中,尤其是精细调节的场景中,需要尽可能保证整体的手势设计是连续的,当用户想进行基于手势的精细调节时,会下意识知晓调节过程需要连续的一段时间内的手势,在唤醒精细调节的功能时,若将唤醒手势的规则也定义为基于持续时间是否足够长,那么作为用户来说,会认为这部分唤醒手势的操作过程和后续是连贯的。将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,更符合用户的思维惯式和使用习惯,减少用户的学习成本。
[0537]
参照图24b,图24b为本技术实施例提供的一种功能调节方法的流程示意,所述方法可以包括:
[0538]
2401、获取目标雷达数据,所述目标雷达数据为基于用户的目标手势在雷达系统提供的雷达场中的反射得到的;
[0539]
其中,在存在唤醒手势的设计中,目标雷达数据可以为第一方面中描述的第二雷达数据,相似之处,这里不再赘述。
[0540]
2402、根据所述目标雷达数据,确定所述目标手势的运动特征;所述目标手势的运动特征的特征类型包括距离信息、速率信息或角度信息中的至少两种,所述距离信息包括所述目标手势和所述雷达系统之间的距离随时间的变化,所述速度信息包括所述目标手势和所述雷达系统的相对速度随时间的变化,所述角度信息包括所述目标手势在所述雷达场中的角度随时间的变化,所述角度包括方位角和/或俯仰角。
[0541]
在一种可能的实现中,所述距离随时间的变化包括:
[0542]
所述距离随时间的变化数值、所述距离随时间的变化速率或所述距离随时间的变化方向中的至少一种;
[0543]
所述调节幅度与所述距离随时间的变化数值有关,所述调节速度与所述距离随时间的变化速率有关,所述调节方向与所述距离随时间的变化方向有关。
[0544]
在一种可能的实现中,所述目标手势为周期性手势,所述相对速度随时间的变化用于确定所述目标手势的手势周期数量;
[0545]
所述调节幅度与所述周期数量有关,所述调节速度与固定时间内所述目标手势的手势周期数量有关。
[0546]
在一种可能的实现中,所述角度随时间的变化包括:
[0547]
所述角度随时间的变化数值、所述角度随时间的变化速率或所述角度随时间的变化方向中的至少一种;
[0548]
所述调节幅度与所述角度随时间的变化数值有关,所述调节速度与所述角度随时间的变化速率有关,所述调节方向与所述角度随时间的变化方向有关。
[0549]
在一种可能的实现中,可以基于所述目标手势为周期性手势或者为与所述雷达系统之间的相对速率不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述速度信息;
[0550]
基于所述目标手势为与所述雷达系统之间的距离不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述距离信息;
[0551]
基于所述目标手势为在所述雷达场中角度不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述角度信息。
[0552]
本技术实施例针对于不同的手势类别,可以获取对应的运动特征类型,在保证准确识别的前提下,降低了数据的处理量。
[0553]
更多关于步骤2402的描述可以参照上述实施例中步骤604的描述,这里不再赘述。
[0554]
2403、根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对目标功能进行调节。
[0555]
在进行功能的精细调节时,调节动作都至少具有某一显著变化的特征,如距离或角度或速度,本技术实施例在手势的运动特征提取的基础上,对手势特征进行精细量化,包括距离,速度,水平角度,俯仰角度等。获取反映特征变化方向、特征变化量、特征变化速度的变量,进而可以实现双向、不同幅度、不同快慢、高稳定性、强泛化性的精细调节。
[0556]
参照图25,图25为本技术实施例提供的一种功能调节装置的结构示意,其中,所述装置2500包括:
[0557]
获取模块2501,用于获取第一雷达数据;
[0558]
其中,关于获取模块2501的具体描述可以参照步骤601以及步骤603,相似之处这里不再赘述。
[0559]
功能开启模块2502,用于基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,开启针对于目标功能的调节功能;
[0560]
其中,关于功能开启模块2502的具体描述可以参照步骤602,相似之处这里不再赘述。
[0561]
所述获取模块2501,还用于获取第二雷达数据;
[0562]
功能调节模块2503,用于响应于所述针对于目标功能的调节功能的开启,根据所述第二雷达数据,确定所述第二雷达数据指示的第二手势、以及所述第二手势的运动特征;以及,
[0563]
根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对所述目标功能进行调节。
[0564]
其中,关于功能调节模块2503的具体描述可以参照步骤604和步骤605,相似之处这里不再赘述。
[0565]
在一种可能的实现中,所述第一阈值大于0.7秒且小于1.5秒。
[0566]
在一种可能的实现中,所述第一雷达数据为在所述第二雷达数据之前获取的。
[0567]
在一种可能的实现中,所述第一雷达数据和所述第二雷达数据为在时域上连续获取的雷达数据;或者,
[0568]
所述第一雷达数据和所述第二雷达数据为在时域上间隔目标时间段获取的雷达数据,所述目标时间段的时长小于阈值。
[0569]
在一种可能的实现中,所述第一手势与第二手势为用户连续的手势动作。
[0570]
在一种可能的实现中,所述第一手势和所述第二手势的手势类型相同,所述第一手势为静止手势或者移动幅度小于阈值的手势,所述第二手势为移动幅度大于阈值的手势。
[0571]
在一种可能的实现中,所述第一手势为手指捏合的手势,所述第二手势为保持所述手指捏合且拖动的手势;或者,
[0572]
所述第一手势为手掌悬停手势,所述第二手势为上抬手势或者下压手势;或者,
[0573]
所述第一手势为手掌悬停手势,所述第二手势为左右挥手手势;或者,
[0574]
所述第一手势为手掌悬停手势,所述第二手势为前后推手势;或者,
[0575]
所述第一手势为握拳的手势,所述第二手势为保持所述握拳且移动的手势;或者,
[0576]
所述第一手势为手掌轻晃手势,所述第二手势为上抬手势或者下压手势;或者,
[0577]
所述第一手势为握拳且伸出大拇指的手势,所述第二手势为保持所述握拳且伸出大拇指并前后推的手势。
[0578]
在一种可能的实现中,所述第一手势和所述第二手势为所述第一手势的手势类型相同,且所述第一手势和所述第二手势均为移动幅度大于阈值的手势。
[0579]
在一种可能的实现中,所述第一手势和所述第二手势均为画圈手势。
[0580]
在一种可能的实现中,所述功能开启模块2502,还用于:
[0581]
在所述启针对于所述目标功能的调节功能之前,基于预设的对应关系,确定所述第一手势的手势类型对应于所述目标功能,其中所述预设的对应关系包括手势类型与功能之间的映射。
[0582]
在一种可能的实现中,所述第一手势的手势类型为手指捏合,所述目标功能为应用播放的视频或音频的进度调节;或者,
[0583]
所述第一手势的手势类型为画圈,所述目标功能为音量大小调节;或者,
[0584]
所述第一手势的手势类型为手掌悬停,所述目标功能为显示亮度调节或者显示图像的缩放调节;或者,
[0585]
所述第一手势的手势类型为握拳,所述目标功能为显示界面的移动调节;或者,
[0586]
所述第一手势的手势类型为手掌轻晃,所述目标功能为车窗高度调节;或者,
[0587]
所述第一手势的手势类型为握拳且伸出大拇指,所述目标功能为车舱内座椅的前后位置调节。
[0588]
在一种可能的实现中,所述装置还包括:
[0589]
呈现模块,用于在所述基于所述调节信息对所述目标功能进行调节之前,进行所述目标功能相对应的目标呈现,所述目标呈现用于指示已开启针对于目标功能的调节功能。
[0590]
在一种可能的实现中,所述目标呈现包括如下的至少一种:
[0591]
进行所述目标功能的调节的控件显示;
[0592]
与所述目标功能相关的硬件的震动提示;以及,
[0593]
声音提示。
[0594]
在一种可能的实现中,所述基于所述第一雷达数据指示第一手势、且所述第一手势的持续时间超过第一阈值,包括:
[0595]
基于所述第一雷达数据指示用户的手势,且所述用户的手势的持续时间超过第一阈值,根据所述第一雷达数据,确定所述用户的手势为第一手势,所述第一手势用于指示开启所述的调节功能。
[0596]
在一种可能的实现中,所述根据所述第一雷达数据,确定所述用户的手势为第一手势,包括:
[0597]
从所述第一雷达数据中截取部分雷达数据;
[0598]
根据所述部分雷达数据,确定所述用户的手势为第一手势。
[0599]
在一种可能的实现中,所述部分雷达数据为所述第一雷达数据中前n个雷达数据。
[0600]
在一种可能的实现中,所述根据所述第一雷达数据,确定所述用户的手势为第一手势,包括:
[0601]
根据所述第一雷达数据,获取所述用户的手势的运动特征,并根据所述用户的手势的运动特征确定所述用户的手势为第一手势;或者,
[0602]
根据所述第一雷达数据,通过预训练的手势分类网络,确定所述用户的手势为第一手势。
[0603]
在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,包括:
[0604]
所述第二手势的距离信息,所述距离信息包括所述第二手势与所述雷达系统之间的距离随时间的变化、所述距离的变化速率、以及所述距离的变化方向中的至少一种。
[0605]
在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,包括:
[0606]
所述第二手势的速率信息,所述速率信息包括所述第二手势在所述雷达场中的移动速率随时间的变化大小。
[0607]
在一种可能的实现中,所述第二雷达数据为基于用户的手势在雷达系统提供的雷达场的反射得到的,所述第二手势的运动特征,包括:
[0608]
所述第二手势的角度信息,所述角度信息包括所述第二手势与雷达系统之间的角度随时间的变化,所述角度包括方位角和/或俯仰角。
[0609]
在一种可能的实现中,所述获取模块2501,还用于:
[0610]
在所述基于所述调节信息对所述目标功能进行调节之后,获取第三雷达数据;
[0611]
所述装置还包括:
[0612]
功能关闭模块,用于基于所述第三雷达数据指示第三手势,关闭针对于目标功能的调节功能;所述第三手势为撤手手势或者悬停手势。
[0613]
本技术实施例中,将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,这部分雷达数据可以不作为后续进行精细调节时调节程度的确定依据,而仅仅作为是否开启精细调节的触发条件(本技术实施例中也可以称之为唤醒手势),基于手势持续时间的方式来开启精细调节具有如下的好处:由于手势类型是有限的,在未来功能类型不断丰富的情况下,将手势类型作为开启精细调节功能的方案中手势类型可能不够用(独立手势功能占用一部分手势类型,唤醒手势再占据另一部分手势类型,两者之间不能重叠,否则会出现错误),而基于手势持续时间作为是否开启精细调节模式的依据,则可以让独立手势功能使用的手势类别和唤醒手势重叠,进而可以减少在进行手势实现的功能调节时所需的手势类别。此外,在针对于手势相关的功能调节场景中,尤其是精细调节的场景中,需要尽可能保证整体的手势设计是连续的,当用户想进行基于手势的精细调节时,会下意识知晓调节过程需要连续的一段时间内的手势,在唤醒精细调节的功能时,若将唤醒手势的规则也定义为基于持续时间是否足够长,那么作为用户来说,会认为这部分唤醒手势的操作过程和后续是连贯的。将第一雷达数据指示的手势的持续时间作为是否开启精细调节模式的依据,更符合用户的思维惯式和使用习惯,减少用户的学习成本。
[0614]
参照图26,图26为本技术实施例提供的一种功能调节装置的结构示意,其中,所述装置2600包括:
[0615]
获取模块2601,用于获取目标雷达数据,所述目标雷达数据为基于用户的目标手势在雷达系统提供的雷达场中的反射得到的。
[0616]
关于获取模块2601的具体描述,可以参照上述实施例中步骤2401的描述,这里不再赘述。
[0617]
运动特征确定模块2602,用于根据所述目标雷达数据,确定所述目标手势的运动特征;所述目标手势的运动特征的特征类型包括距离信息、速率信息或角度信息中的至少两种,所述距离信息包括所述目标手势和所述雷达系统之间的距离随时间的变化,所述速度信息包括所述目标手势和所述雷达系统的相对速度随时间的变化,所述角度信息包括所
述目标手势在所述雷达场中的角度随时间的变化,所述角度包括方位角和/或俯仰角;
[0618]
关于运动特征确定模块2602的具体描述,可以参照上述实施例中步骤2402的描述,这里不再赘述。
[0619]
功能调节模块2603,用于根据所述运动特征,确定调节信息,所述调节信息包括调节幅度、调节方向以及调节速度中的至少一种,并基于所述调节信息对目标功能进行调节。
[0620]
关于功能调节模块2603的具体描述,可以参照上述实施例中步骤2403的描述,这里不再赘述。
[0621]
在一种可能的实现中,所述距离随时间的变化包括:
[0622]
所述距离随时间的变化数值、所述距离随时间的变化速率或所述距离随时间的变化方向中的至少一种;
[0623]
所述调节幅度与所述距离随时间的变化数值有关,所述调节速度与所述距离随时间的变化速率有关,所述调节方向与所述距离随时间的变化方向有关。
[0624]
在一种可能的实现中,所述目标手势为周期性手势,所述相对速度随时间的变化用于确定所述目标手势的手势周期数量;
[0625]
所述调节幅度与所述周期数量有关,所述调节速度与固定时间内所述目标手势的手势周期数量有关。
[0626]
在一种可能的实现中,所述角度随时间的变化包括:
[0627]
所述角度随时间的变化数值、所述角度随时间的变化速率或所述角度随时间的变化方向中的至少一种;
[0628]
所述调节幅度与所述角度随时间的变化数值有关,所述调节速度与所述角度随时间的变化速率有关,所述调节方向与所述角度随时间的变化方向有关。
[0629]
在一种可能的实现中,所述运动特征确定模块2602,还用于:在所述根据所述目标雷达数据,确定所述目标手势的运动特征之前,基于所述目标手势为周期性手势或者为与所述雷达系统之间的相对速率不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述速度信息;
[0630]
基于所述目标手势为与所述雷达系统之间的距离不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述距离信息;
[0631]
基于所述目标手势为在所述雷达场中角度不断变化的手势时,确定所述目标手势的运动特征的特征类型包括所述角度信息。
[0632]
在进行功能的精细调节时,调节动作都至少具有某一显著变化的特征,如距离或角度或速度,本技术实施例在手势的运动特征提取的基础上,对手势特征进行精细量化,包括距离,速度,水平角度,俯仰角度等。获取反映特征变化方向、特征变化量、特征变化速度的变量,进而可以实现双向、不同幅度、不同快慢、高稳定性、强泛化性的精细调节。
[0633]
接下来介绍本技术实施例提供的一种功能调节装置,请参阅图27,图27为本技术实施例提供的功能调节装置的一种结构示意图。具体的,功能调节装置2700包括:接收器2701、发射器2702、处理器2703和存储器2704(其中功能调节装置2700中的处理器2703的数量可以一个或多个,图27中以一个处理器为例),其中,处理器2703可以包括应用处理器27031和通信处理器27032。在本技术的一些实施例中,接收器2701、发射器2702、处理器2703和存储器2704可通过总线或其它方式连接。
[0634]
存储器2704可以包括只读存储器和随机存取存储器,并向处理器2703提供指令和数据。存储器2704的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,nvram)。存储器2704存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
[0635]
处理器2703控制雷达系统(包括天线、接收器2701以及发射器2702)的操作。具体的应用中,雷达系统的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
[0636]
上述本技术实施例揭示的功能调节方法(图6和图24b所示的)可以应用于处理器2703中,或者由处理器2703实现。处理器2703可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器2703中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2703可以是通用处理器、数字信号处理器(digital signal processing,dsp)、微处理器或微控制器,还可进一步包括专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器2703可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2704,处理器2703读取存储器2704中的信息,结合其硬件完成上述实施例提供的功能调节方法的步骤。
[0637]
接收器2701可用于接收输入的数字或字符信息,以及产生与雷达系统的相关设置以及功能控制有关的信号输入。发射器2702可用于通过第一接口输出数字或字符信息;发射器2702还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据。
[0638]
在一种可能的实现中,所述装置还包括雷达系统,用于:
[0639]
提供雷达场;
[0640]
感测来自所述雷达场中的用户的反射;
[0641]
分析来自所述雷达场中的所述用户的反射;以及
[0642]
基于对所述反射的分析,提供雷达数据。
[0643]
其中,功能调节装置2700可以为智能座舱场景中的车载设备、智能家居场景中的终端设备等。
[0644]
本技术实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中描述的功能调节方法。
[0645]
本技术实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如上述实施例中描述的功能调节方法。
[0646]
本技术实施例提供的功能调节装置具体可以为芯片,芯片包括:处理单元和通信
单元,该处理单元例如可以是处理器,该通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使执行设备内的芯片执行上述实施例描述的图像增强方法,或者,以使训练设备内的芯片执行上述实施例描述的图像增强方法。可选地,该存储单元为该芯片内的存储单元,如寄存器、缓存等,该存储单元还可以是该无线接入设备端内的位于该芯片外部的存储单元,如只读存储器(read-only memory,rom)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,ram)等。
[0647]
具体的,请参阅图28,图28为本技术实施例提供的芯片的一种结构示意图,该芯片可以表现为神经网络处理器npu280,npu 280作为协处理器挂载到主cpu(host cpu)上,由host cpu分配任务。npu的核心部分为运算电路2803,通过控制器2804控制运算电路2803提取存储器中的矩阵数据并进行乘法运算。
[0648]
在一些实现中,运算电路2803内部包括多个处理单元(process engine,pe)。在一些实现中,运算电路2803是二维脉动阵列。运算电路2803还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路2803是通用的矩阵处理器。
[0649]
举例来说,假设有输入矩阵a,权重矩阵b,输出矩阵c。运算电路从权重存储器2802中取矩阵b相应的数据,并缓存在运算电路中每一个pe上。运算电路从输入存储器2801中取矩阵a数据与矩阵b进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器(accumulator)2808中。
[0650]
统一存储器2806用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller,dmac)2805,dmac被搬运到权重存储器2802中。输入数据也通过dmac被搬运到统一存储器2806中。
[0651]
biu为bus interface unit即,总线接口单元2810,用于axi总线与dmac和取指存储器(instruction fetch buffer,ifb)2809的交互。
[0652]
总线接口单元2810(bus interface unit,简称biu),用于取指存储器2809从外部存储器获取指令,还用于存储单元访问控制器2805从外部存储器获取输入矩阵a或者权重矩阵b的原数据。
[0653]
dmac主要用于将外部存储器ddr中的输入数据搬运到统一存储器2806或将权重数据搬运到权重存储器2802中或将输入数据数据搬运到输入存储器2801中。
[0654]
向量计算单元2807包括多个运算处理单元,在需要的情况下,对运算电路的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。主要用于神经网络中非卷积/全连接层网络计算,如batch normalization(批归一化),像素级求和,对特征平面进行上采样等。
[0655]
在一些实现中,向量计算单元2807能将经处理的输出的向量存储到统一存储器2806。例如,向量计算单元2807可以将线性函数和/或非线性函数应用到运算电路2803的输出,例如对卷积层提取的特征平面进行线性插值,再例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元2807生成归一化的值、像素级求和的值,或二者均有。在一些实现中,处理过的输出的向量能够用作到运算电路2803的激活输入,例如用于在神经网络中的后续层中的使用。
[0656]
控制器2804连接的取指存储器(instruction fetch buffer)2809,用于存储控制器2804使用的指令;
[0657]
统一存储器2806,输入存储器2801,权重存储器2802以及取指存储器2809均为on-chip存储器。外部存储器私有于该npu硬件架构。
[0658]
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,asic,或一个或多个用于控制上述实施例中描述的功能调节方法相关步骤的程序执行的集成电路。
[0659]
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本技术提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
[0660]
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本技术各个实施例该的方法。
[0661]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
[0662]
该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本技术实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。该计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘(solid state disk,ssd))等。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1