音响的声道补偿方法及装置、电子设备和存储介质与流程

1.本公开涉及车辆技术领域，尤其涉及音响的声道补偿方法及装置、电子设备和存储介质。


背景技术：

2.随着越来越多的家庭拥有轿车，汽车逐渐成为一种移动的信息娱乐平台，用户对车载音响的要求也越来越高。
3.当前随着用户对车载音响需求的提高，例如杜比、数字音乐模式dts等解码的多声道音轨内容成为主流。此类音轨在设计初期是应用于家庭影院中，每个声道包含全频段的内容信息。以dts为例，受车辆扬声器系统的制约，中置扬声器、顶棚扬声器、环绕扬声器受物理条件的限制，扬声器尺寸过小，导致无法满足全频段内容播放，导致低频部分的缺失，从而降低了用户的听觉感受。


技术实现要素：

4.本公开提供了一种音响的声道补偿方法及装置、电子设备和存储介质。
5.根据本公开的一方面，提供了一种音响的声道补偿方法，包括：
6.获取音源中待处理声道的声音信号，复制所述声音信号得到第一路声音信号和第二路声音信号，其中，所述待处理声道为扬声器无法播放的低频信号的声道；
7.获取所述第一路声音信号中的所述低频信号，并确定所述第一路声音信号对应的目标混音声道，所述目标混音声道为能够播放音源的低频信号的声道；
8.将所述第一路声音信号与所述目标混音声道的原声音信号进行混音，输入所述目标混音声道；以及
9.将所述第二路声音信号输入所述待处理声道。
10.在将所述第一路声音信号与所述目标混音声道的原声音信号进行混音之前，所述方法还包括：
11.可选的，根据所述目标混音声道调整所述第一路声音信号中的所述低频信号的入耳延时和/或音量。
12.可选的，根据所述目标混音声道调整所述第一路声音信号中的所述低频信号的入耳延时和/或音量包括：
13.获取所述目标混音声道的所述低频信号的参考入耳延时，将所述待处理声道的所述低频信号的入耳延时调整为所述参考入耳延时；和/或，
14.获取所述目标混音声道的所述低频信号的参考音量，将所述待处理声道的所述低频信号的音量调整为所述参考音量。
15.可选的，确定所述第一路声音信号对应的目标混音声道包括：
16.若所述待处理声道为中置声道，确认所述中置声道的第一路声音信号对应的目标混音声道为左前门低音声道以及右前门低音声道；
17.若所述待处理声道为左后环绕声道，确认所述左后环绕声道的第一路声音信号对应的目标混音声道为左后门低音声道；
18.若所述待处理声道为右后环绕声道，确认所述右后环绕声道的第一路声音信号对应的目标混音声道为右后门低音声道
19.若所述待处理声道为左前3d声道，确认所述左前3d声道的第一路声音信号对应的目标混音声道为左前门低音声道；
20.若所述待处理声道为右前3d声道，确认所述右前3d声道的第一路声音信号对应的目标混音声道为右前门低音声道；
21.若所述待处理声道为左后3d声道，确认所述左后3d声道的第一路声音信号对应的目标混音声道为左后门低音声道；以及
22.若所述待处理声道为右后3d声道，确认所述右后3d声道的第一路声音信号对应的目标混音声道为右后门低音声道。
23.可选的，所述中置声道的第一路声音信号中的所述低频信号为40hz-199 hz；
24.所述左环绕声道及所述右环绕声道的第一路声音信号中的所述低频信号为40hz-199 hz；
25.所述左前3d声道以及所述右前3d声道的第一路声音信号中的所述低频信号为40hz-299 hz；以及
26.所述左后3d声道以及所述右后3d声道的第一路声音信号中的所述低频信号为40hz-299 hz。
27.可选的，所述待处理声道通过如下方式确定：
28.获取预设声道的需求频宽；
29.获取预设声道对应的扬声器能够播放的频宽，作为扬声器频宽；
30.若所述需求频宽未处于所述扬声器频宽的范围内，则确定所述预设声道对应的扬声器不具备低频信号播放能力，并将所述预设声道确定为所述待处理声道。
31.可选的，从音源获取待处理声道的声音信号包括：
32.在确认所述音源的音量大于预设音量阈值后，对音量大于所述预设音量阈值的部分进行削波处理以得到所述声音信号。
33.根据本公开的另一方面，提供了一种音响的声道补偿装置，包括：
34.第一获取单元，用于从音源获取待处理声道的声音信号，复制所述声音信号得到第一路声音信号和第二路声音信号，其中，所述待处理声道对应的扬声器不具备低频信号播放能力；
35.第二获取单元，用于获取所述第一路声音信号中的所述低频信号；
36.确定单元，用于确定所述第一路声音信号对应的目标混音声道，所述目标混音声道为具备所述低频信号播放能力的声道；
37.调整单元，用于根据所述目标混音声道调整所述第一路声音信号中的所述低频信号的入耳延时和/或音量；
38.混音单元，用于将所述调整单元调整后的所述第一路声音信号与所述目标混音声道的原声音信号进行混音，输入所述目标混音声道；以及
39.输入单元，用于将所述第二路声音信号输入所述待处理声道。
40.可选的，所述装置还包括：
41.调整单元，用于在所述混音单元将所述第一路声音信号与所述目标混音声道的原声音信号进行混音之前，根据所述目标混音声道调整所述低频信号的入耳延时和/或音量。
42.可选的，所述调整单元包括：
43.第一获取模块，用于获取所述目标混音声道的所述低频信号的参考入耳延时；以及
44.第一调整模块，用于将所述待处理声道的所述低频信号的入耳延时调整为所述参考入耳延时；和/或
45.第二获取模块，用于获取所述目标混音声道的所述低频信号的参考音量；
46.第二调整模块，用于将所述待处理声道的所述低频信号的音量调整为所述参考音量。
47.可选的，所述确定单元还用于：
48.若所述待处理声道为中置声道，确认所述中置声道的第一路声音信号对应的目标混音声道为左前门低音声道以及右前门低音声道；
49.若所述待处理声道为左后环绕声道，确认所述左后环绕声道的第一路声音信号对应的目标混音声道为左后门低音声道；
50.若所述待处理声道为右后环绕声道，确认所述右后环绕声道的第一路声音信号对应的目标混音声道为右后门低音声道；
51.若所述待处理声道为左前3d声道，确认所述左前3d声道的第一路声音信号对应的目标混音声道为左前门低音声道；
52.若所述待处理声道为右前3d声道，确认所述右前3d声道的第一路声音信号对应的目标混音声道为右前门低音声道；
53.若所述待处理声道为左后3d声道，确认所述左后3d声道的第一路声音信号对应的目标混音声道为左后门低音声道；以及
54.若所述待处理声道为右后3d声道，确认所述右后3d声道的第一路声音信号对应的目标混音声道为右后门低音声道。
55.可选的，所述中置声道的第一路声音信号中的所述低频信号为40hz-199 hz；
56.所述左环绕声道及所述右环绕声道的第一路声音信号中的所述低频信号为40hz-199 hz；
57.所述左前3d声道以及所述右前3d声道的第一路声音信号中的所述低频信号为40hz-299 hz；以及
58.所述左后3d声道以及所述右后3d声道的第一路声音信号中的所述低频信号为40hz-299 hz。
59.可选的，所述装置还包括：
60.第三获取单元，用于获取预设声道的需求频宽；
61.第四获取单元，用于获取预设声道对应的扬声器能够播放的频宽，作为扬声器频宽；
62.确定单元，用于当所述需求频宽未处于所述扬声器频宽的范围内时，确定所述预设声道对应的扬声器不具备低频信号播放能力，并将所述预设声道确定为所述待处理声
道。
63.可选的，所述第一获取单元，还用于在确认所述音源的音量大于预设音量阈值后，对音量大于所述预设音量阈值的部分进行削波处理以得到所述声音信号。
64.根据本公开的另一方面，提供了一种电子设备，包括：
65.至少一个处理器；以及
66.与所述至少一个处理器通信连接的存储器；其中，
67.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面所述的方法。
68.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面所述的方法。
69.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述一方面所述的方法。
70.本公开提供的音响的声道补偿方法及装置、电子设备和存储介质，获取音源待处理声道的声音信号，复制声音信号得到第一路声音信号和第二路声音信号后，待处理声道对应的扬声器不具备低频信号播放能力，获取第一路声音信号中的低频信号，并确定第一路声音信号对应的目标混音声道，目标混音声道为具备所述低频信号播放能力的声道，将第一路声音信号与目标混音声道的原声音信号进行混音，输入目标混音声道，将第二路声音信号输入待处理声道。本技术实施例中提升频宽较窄声道的低频表现力，使每个声音信号都可以通过扬声器全频段输出，大大提升了车辆座舱中播放多声道音轨的听觉感受。
71.应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
72.附图用于更好地理解本方案，不构成对本公开的限定。其中：
73.图1为本公开实施例所提供的一种音响的声道补偿方法的流程示意图；
74.图2示出了本技术实施例提供的一种声道补偿的处理过程示意图；
75.图3示出了本技术实施例提供的一种声道低音补偿信号链的示意图；
76.图4为本公开实施例提供的一种音响的声道补偿装置的结构示意图；
77.图5为本公开实施例提供的另一种音响的声道补偿装置的结构示意图；
78.图6为本公开实施例提供的示例电子设备600的示意性框图。
具体实施方式
79.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
80.下面参考附图描述本公开实施例的音响的声道补偿方法、装置、电子设备和存储介质。
81.图1为本公开实施例所提供的一种音响的声道补偿方法的流程示意图。
82.如图1所示，该方法包含以下步骤：
83.101、获取音源中待处理声道的声音信号，复制所述声音信号得到第一路声音信号和第二路声音信号，其中，所述待处理声道对应的扬声器不具备低频信号播放能力。
84.本公开中，在基于杜比、dts等技术编码的音源解码后的声道分配是固定的，本技术中以下实施例7.1.4声道为例进行说明，12个声道的顺序分别是1、左声道；2、右声道；3、中置声道；4、重低音；5、左环绕声道；6、右环绕声道；7、左后环绕声道；8、右后环绕声道；9、左前3d声道；10、右前3d声道；11、左后3d声道；12、左后3d声道。
85.为了清楚说明本实施例，如表1所示，表1为解码器要求每个声道的频宽和车载音响的每个声道可以达到的频宽：
86.表1
[0087][0088]
通过表1可以看出，由于受车内布置空间的限制，中置、左后环绕、右后环绕以及顶棚扬声器无法选用大尺寸的扬声器，导致无法满足全频段播放，从而严重影响音响系统的播放效果；为了不影响车辆的整体听觉效果，需要进行声道间的低频补偿技术。
[0089]
本技术实施例所述的方法针对的是无法播放音源的低频信号的声道，对于能够播放低频信号的声道不进行补偿处理，而是原声道输出播放。
[0090]
本技术实施例所述的待处理声道包含表1所示的车载音响系统频宽无法满足解码器要求频宽的所有声道，包括：中置声道、左后环绕声道、右后环绕声道、左前3d声道、右前3d声道、左后3d声道、右后3d声道。
[0091]
在获取待处理声道的声音信号后，将该声音信号进行全复制，其目的在于，将该声音信号分为两路，即第一路声音信号和第二路声音信号，可对其中任一路声音信号的低频信号进行处理，以确保全频率信号均能被播放，如此一来提高车载音响的用户听觉体验。
[0092]
需要说明的是，本技术实施例所述的第一第二，仅仅是为了区分不同的声音信号，
并非包含其他含义，如优先级，信号长度等含义。
[0093]
102、获取所述第一路声音信号中的所述低频信号，并确定所述第一路声音信号对应的目标混音声道，所述目标混音声道为具备所述低频信号播放能力的声道。
[0094]
为了清楚说明本实施例，所述的低频信号跟随着声道的不同，而存在差异，请继续参阅表1，对于中置声道而言，其低频信号为40hz-199 hz，对于左前3d声道而言，其低频信号为40hz-299 hz。从实现角度说明，将第一路声音信号经过低通滤波器(low pass filter，lpf)后，在根据表1所示的“车载音响系统频宽”把需要处理的低频信号截取出来，以便将截取的低频信号进行混音处理。
[0095]
执行混音处理的前提是确定出能够播放音源的低频信号的声道作为目标混音声道，以实现播放全频率的目的。理论上讲，在确认标混音声道时，可选择车辆中的任意能够播放音源的低频信号的声道作为目标混音声道，但是由于人耳左右的对称性，为了不影响音频的入耳时间，在确定目标混音声道时，需选择与待处理声道最近的，且能够播放音源的低频信号的声道作为目标混音声道。
[0096]
103、将所述第一路声音信号与所述目标混音声道的原声音信号进行混音，输入所述目标混音声道。
[0097]
本发明实施例中在执行混音时可基于混音器mixer实现，实际上，混音的执行，还可采用相关技术中的任意一种方法完成混音，本实施例对混音手段不进行限定。
[0098]
104、将所述第二路声音信号输入所述待处理声道。
[0099]
本技术实施例提供的音响的声道补偿方法，获取音源待处理声道的声音信号，复制声音信号得到第一路声音信号和第二路声音信号后，待处理声道对应的扬声器不具备低频信号播放能力，获取第一路声音信号中的低频信号，并确定第一路声音信号对应的目标混音声道，目标混音声道为具备所述低频信号播放能力的声道，将第一路声音信号与目标混音声道的原声音信号进行混音，输入目标混音声道，将第二路声音信号输入待处理声道。本技术实施例中提升频宽较窄声道的低频表现力，使每个声音信号都可以通过扬声器全频段输出，大大提升了车辆座舱中播放多声道音轨的听觉感受。
[0100]
作为对上述实施例扩展，在步骤103执行将所述第一路声音信号与所述目标混音声道的原声音信号进行混音之前，根据所述目标混音声道调整所述第一路声音信号中的所述低频信号的入耳延时和/或音量，根据目标混音声音对第一路声音信号进行调整的目的在于，让用户从听觉上认为音频是从待处理声道发出的，能够提升多声音音轨播放的听觉感受。若不执行调整操作的话，虽然能够实现全频率播放，但是可能会存在出现杂音或者音量骤变的情况。
[0101]
作为第一种可能实现的方式，在根据所述目标混音声道调整所述第一路声音信号中的所述低频信号的入耳延时包括：首先获取所述目标混音声道的所述低频信号的参考入耳延时，再将所述待处理声道的所述低频信号的入耳延时调整为所述参考入耳延时。考虑到车辆中可能同时乘坐驾驶人和乘客的应用场景，在确定入耳延时，主要以声音到达驾驶人的耳朵为准。
[0102]
作为第二种可实现的方式，在根据所述目标混音声道调整所述第一路声音信号中的所述低频信号的音量时，具体包括：获取所述目标混音声道的所述低频信号的参考音量，将所述待处理声道的所述低频信号的音量调整为所述参考音量。在根据参考音量调整时，
采用增益处理的方式进行。
[0103]
基于前述两种可能的实现方式，可以采用两者(入耳延时/音量)单独调整的方式，也可以采用两者同时调整的方式，以使得对声道补偿的方法更加灵活。
[0104]
为了更好的理解，如图2所示，图2示出了本技术实施例提供的一种声道补偿的处理过程示意图，其中，lpf为低通滤波器，g/d入耳延时和音量，mixer为混音器。在确定第一路声音信号对应的目标混音声道时，若所述待处理声道为中置声道，确认所述中置声道的第一路声音信号对应的目标混音声道为左前门低音声道以及右前门低音声道，所述中置声道的第一路声音信号中的所述低频信号为40hz-199 hz。
[0105]
若所述待处理声道为左后环绕声道，确认所述左后环绕声道的第一路声音信号对应的目标混音声道为左后门低音声道。
[0106]
若所述待处理声道为右后环绕声道，确认所述右后环绕声道的第一路声音信号对应的目标混音声道为右后门低音声道，所述左环绕声道及所述右环绕声道的第一路声音信号中的所述低频信号为40hz-199 hz。
[0107]
若所述待处理声道为左前3d声道，确认所述左前3d声道的第一路声音信号对应的目标混音声道为左前门低音声道。
[0108]
若所述待处理声道为右前3d声道，确认所述右前3d声道的第一路声音信号对应的目标混音声道为右前门低音声道，所述左前3d声道以及所述右前3d声道的第一路声音信号中的所述低频信号为40hz-299 hz。
[0109]
若所述待处理声道为左后3d声道，确认所述左后3d声道的第一路声音信号对应的目标混音声道为左后门低音声道。
[0110]
若所述待处理声道为右后3d声道，确认所述右后3d声道的第一路声音信号对应的目标混音声道为右后门低音声道，所述左后3d声道以及所述右后3d声道的第一路声音信号中的所述低频信号为40hz-299 hz。
[0111]
有上述实施例可知，对声道补偿针对的是低频信号进行的，因此，如何确定出待处理声道是前提条件。获取音源中待处理声道的方法包括：获取预设声道的需求频宽，获取预设声道对应的扬声器能够播放的频宽，作为扬声器频宽，若所述需求频宽未处于所述扬声器频宽的范围内，则确定所述预设声道对应的扬声器不具备低频信号播放能力，并将所述预设声道确定为所述待处理声道。其中，有关需求频宽和扬声器频宽可参阅表1的详细描述，本实施例在此不再进行赘述。
[0112]
前述声道补偿方法在数字信号处理(digital signal processing，dsp)中完成处理，dsp中预置了全局音量控制以及多声道媒体播放信号链，声道低音补偿信号链需要嵌入音量控制与多声道媒体播放信号链之间。如图3所示，图3示出了本技术实施例提供的一种声道低音补偿信号链的示意图，由于声道低音补偿技术中涉及音量增益的设定，如果增益为正，即在最大音量时，如果声道低音补偿技术信号链在全局音量控制之前，就会使整体信号幅度超过预设音量阈值(如0db)，为了避免削波失真，声道低音补偿技术需要嵌入到音量控制之后。声道低音补偿技术是对多轨音源的重混音，即对音源的重新编辑，是多声道媒体播放处理的前提，所以应该嵌入到多声道媒体播放信号链之前。
[0113]
因此，在从音源获取待处理声道的声音信号时，确认所述音源的音量是否大于预设音量阈值，如果是，则对所述音源的音量大于所述预设音量阈值的部分进行削波处理以
得到所述声音信号。实际应用中，声音信号的满幅值即最大值为0db，只能在此基础上做衰减。根据采样定理，在离散数字信号转化为持续模拟信号(声音信号)时，如果信号幅度大于0db，那么高于0db的部分将不会被转化为模拟信号，因此需要对所述音源的音量大于所述预设音量阈值的部分进行削波处理以得到所述声音信号。
[0114]
图4为本公开实施例提供的一种音响的声道补偿装置的结构示意图，如图4所示，包括：
[0115]
第一获取单元41，用于获取音源中待处理声道的声音信号，复制所述声音信号得到第一路声音信号和第二路声音信号，其中，所述待处理声道对应的扬声器不具备低频信号播放能力；
[0116]
第二获取单元42，用于获取所述第一路声音信号中的所述低频信号；
[0117]
确定单元43，用于确定所述第一路声音信号对应的目标混音声道，所述目标混音声道为具备所述低频信号播放能力的声道；
[0118]
混音单元44，用于将所述第一路声音信号与所述目标混音声道的原声音信号进行混音，输入所述目标混音声道；以及
[0119]
输入单元45，用于将所述第二路声音信号输入所述待处理声道。
[0120]
本公开提供的音响的声道补偿装置，获取音源待处理声道的声音信号，复制声音信号得到第一路声音信号和第二路声音信号后，获取第一路声音信号中的低频信号，并确定第一路声音信号对应的目标混音声道，目标混音声道为具备所述低频信号播放能力的声道，将第一路声音信号与目标混音声道的原声音信号进行混音，输入目标混音声道，将第二路声音信号输入待处理声道。本技术实施例中提升频宽较窄声道的低频表现力，使每个声道都可以通过扬声器全频段输出，大大提升了车辆座舱中播放多声道音轨的听觉感受。
[0121]
根据本技术实施例一种实现方式，如图5所示，所述装置还包括：
[0122]
调整单元46，用于根据所述目标混音声道调整所述第一路声音信号中的所述低频信号的入耳延时和/或音量。
[0123]
根据本技术实施例一种实现方式，如图5所示，所述调整单元46包括：
[0124]
第一获取模块461，用于获取所述目标混音声道的所述低频信号的参考入耳延时；以及
[0125]
第一调整模块462，用于将所述待处理声道的所述低频信号的入耳延时调整为所述参考入耳延时；
[0126]
第二获取模块463，用于获取所述目标混音声道的所述低频信号的参考音量；以及
[0127]
第二调整模块464，用于将所述待处理声道的所述低频信号的音量调整为所述参考音量。
[0128]
根据本技术实施例一种实现方式，所述确定单元43还用于：
[0129]
若所述待处理声道为中置声道，确认所述中置声道的第一路声音信号对应的目标混音声道为左前门低音声道以及右前门低音声道；
[0130]
若所述待处理声道为左后环绕声道，确认所述左后环绕声道的第一路声音信号对应的目标混音声道为左后门低音声道；
[0131]
若所述待处理声道为右后环绕声道，确认所述右后环绕声道的第一路声音信号对应的目标混音声道为右后门低音声道
memory，随机访问/存取存储器)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。i/o(input/output，输入/输出)接口605也连接至总线604。
[0149]
设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0150]
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于cpu(central processing unit，中央处理单元)、gpu(graphic processing units，图形处理单元)、各种专用的ai(artificial intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、dsp(digital signal processor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如音响的声道补偿方法。例如，在一些实施例中，音响的声道补偿方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前述音响的声道补偿方法。
[0151]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、fpga(field programmable gate array，现场可编程门阵列)、asic(application-specific integrated circuit，专用集成电路)、assp(application specific standard product，专用标准产品)、soc(system on chip，芯片上系统的系统)、cpld(complex programmable logic device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0152]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0153]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、ram、rom、eprom(electrically programmable read-only-memory，可擦除可编程只读存储器)或快闪存储器、光纤、cd-rom(compact disc read-only memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0154]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(cathode-ray tube，阴极射线管)或者lcd(liquid crystal display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0155]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：lan(local area network，局域网)、wan(wide area network，广域网)、互联网和区块链网络。
[0156]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0157]
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0158]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0159]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。