用于多源域适应学习的计算机系统及其的方法

1.本发明的多种实施例涉及基于无过拟合的单神经网络的多源域适应学习的计算机系统及其的方法。


背景技术：

2.如深度学习的传统机器学习方法局限于单一域(domain)。通过特定域数据进行学习的模型很快会被过拟合(overfitting)而无法用在其他域中。因此，为了在其他域中使用而需要追加完整的数据(已标记数据(labeled data))，在此过程中将产生庞大的费用。
3.为了解决上述问题，研究了以利用现有域的完整数据及目标域的不完整数据来提高目标域中的性能为目标的域适应(domain adaptation)方法论。但是，因未考虑从多个域中同时收集数据的情况，而导致扩展性大幅降低，无法一次性提取可在域中共同使用的信息。


技术实现要素：

4.本发明的多种实施例提供可利用单神经网络来一次性学习多个域的数据集的计算机系统及其的方法。
5.本发明的多种实施例提供在无过拟合的情况下可提取多个域之间共享的共享信息并学习共享信息的计算机系统及其的方法。
6.多种实施例的基于计算机系统的方法可包括如下的步骤：将多个域的数据集规范化；提取在规范化的多个上述数据集之间共享的共享信息；以及基于所提取的上述共享信息进行学习来实现学习模型。
7.多种实施例的计算机系统可包括：存储器；以及处理器，与上述存储器相连接，用于执行存储在上述存储器的至少一个指令，上述处理器可以将多个域的数据集规范化，提取在规范化的多个上述数据集之间共享的共享信息，基于所提取的上述共享信息进行学习来实现学习模型。
8.多种实施例的非暂时性计算机可读存储介质可存储一个以上的程序，上述程序用于执行如下的步骤：将多个域的数据集规范化；提取在规范化的多个上述数据集之间共享的共享信息；以及基于所提取的上述共享信息进行学习来实现学习模型。
9.根据多种实施例，计算机系统可在将多个域的数据集规范化之后，从多个数据集实现学习模型，因此，可以防止对于学习模型的多个域中的一部分的过拟合。
10.根据多种实施例，计算机系统可基于在多个域的数据集之间共享的共享信息来实现学习模型，因此，也可以通过单神经网络，即，在不追加其他神经网络的情况下实现学习模型。
11.根据多种实施例，当将多个数据集规范化时，随着计算机系统使用于从每个数据集提取的特征数据的复杂度强化，所实现的学习模型可具有得到进一步提高的性能。即，可以防止在将多个数据集规范化时，从多个数据集提取的特征数据被简化的问题。
附图说明
12.图1为示出多种实施例的计算机系统的图。
13.图2为用于概念性说明图1的计算机系统的工作特性的图。
14.图3为用于例示性说明图1的计算机系统的工作特性的图。
15.图4为示出多种实施例的计算机系统的方法的图。
16.图5a、图5b、图5c、图6a、图6b、图7a及图7b为用于说明多种实施例的计算机系统100的工作性能的图。
具体实施方式
17.以下，参照附图，说明本发明的多种实施例。
18.在现有深度学习领域中，为了完善不足的数据并获取可更加泛化的模型，研究了将已学习的模型迁移到其他域的对抗性域适应(adversarial domain adaptation)方法论。为此，需要对现有域和目标域的信息进行分类的域分类模型。但是，现有方法论在可使用的现有域为多个的一般情况下，1)计算资源使用的效率性和2)信息提取能力将大幅下降。例如，当给定大数据且可使用的现有域的数量呈指数增长时，难以处理不断增加的域分类模型和基于此的计算资源。并且，未统一的各个域分类模型所编码的信息相互独立，因此，无法在多个域中对可彼此互补的信息进行编码，由此，很难掌握隐藏在已知的多重域数据中的共同的基本原理。
19.这种问题可通过开发基于信息理论的多重域适应模型来解决。(1)公开通过域与提取特征之间的相互信息量规范化过程来解释现有域适应，从而一次性对多个域进行分类的统一的模型的理论背景。(2)此外提出基于卷积神经网络的单域分类模型。这不仅使得可以不受限制地利用大量的现有域数据，而且还可以通过对不限于特定域的有用的信息的编码来共享域之间的基础知识。(3)并且，为解决因现有域适应方式限制相互信息量而导致的提取特征简化的问题，开发渐进式提取特征复杂度改善算法。由此，可以将已学习的域迁移到目标域，而不会存在现有的已学习的域的性能下降的风险。
20.多种实施例为对于多重域的数据的批量信息处理及编码系统，使用在无过拟合的风险的情况下向目标域迁移模型的技术。对于这种单一域分类神经网络的技术是开发可进行多重作业的元人工智能的核心技术。并且，在无需生成额外的数据、扩展及添加网络、预先学习等方面的灵活性高，是一项没有类似研究案例的技术。
21.多种实施例为如下的技术，即，(1)使用所有可使用的域数据来编码信息，(2)可将所提取的信息成功迁移到目标域，(3)在此过程中，可在没有模型简化的风险的情况下进行学习。
22.图1为示出多种实施例的计算机系统100的图。图2为用于概念性说明图1的计算机系统100的工作特性的图。图3为用于例示性说明图1的计算机系统100的工作特性的图。
23.参照图1，多种实施例的计算机系统100可包括输入模块110、输出模块120、存储器130或处理器140中的至少一个。在一实施例中，计算机系统100的结构要素中的至少一个可以被省略，可以添加至少一个其他结构要素。在一实施例中，计算机系统100的结构要素中的至少两个可实现为合并成一个的电路。在此情况下，计算机系统100可以由至少一个装置，例如，至少一个服务器(server)或至少一个电子装置(electronic device)中的至少一
个形成。在一实施例中，当计算机系统100包括多个装置时，计算机系统100的结构要素可以形成在多个装置中的一个，可分散在多个装置中的至少两个。
24.输入模块110可以输入用于计算机系统100的至少一个结构要素的信号。输入模块110可包括用户直接向计算机系统100输入信号的输入装置、检测周边的变化来发生信号的传感器装置或从外部设备接收信号的接收装置的至少一个。例如，输入装置可包括麦克风(microphone)、鼠标(mouse)或键盘(keyboard)中的至少一个。在一实施例中，输入装置可以包括用于检测触摸的触摸电路(touch circuitry)或用于测定通过触摸发生的力的强度的传感器电路中的至少一个。
25.输出模块120可以向计算机系统100的外部输出信息。输出模块120可包括视觉性输出信息的显示装置、可以将信息以音频信号输出的音频输出装置或可以无线发送信息的发送装置中的至少一个。例如，显示装置可包括显示器、全息设备或投影仪中的至少一个。作为一例，显示装置可以与触摸电路或传感器电路中的至少一个组装来实现触摸屏。例如，音频输出装置可以包括扬声器或接收器中的至少一个。
26.根据一实施例，接收装置的发送装置可实现为通信模块。通信模块可以在计算机系统100中与外部设备进行通信。通信模块可以建立计算机系统100与外部设备之间的通信通道，通过通信通道来与外部设备进行通信。其中，外部设备可以包括卫星、基站、服务器或其他计算机系统中的至少一个。通信模块可以包括有线通信模块或无线通信模块中的至少一个。有线通信模块可以与外部设备有线连接来进行有线通信。无线通信模块可以包括近距离通信模块或远距离通信模块中的至少一个。近距离通信模块可通过近距离通信方式与外部设备进行通信。例如，近距离通信方式可以包括蓝牙(bluetooth)、无线直连(wifi direct)或红外线通信(irda；infrared data association)中的至少一个。远距离通信模块可通过远距离通信方式与外部设备进行通信。其中，远距离通信模块可通过网络与外部设备进行通信。例如，网络可以包括如蜂窝网络、互联网或局域网(lan，local area network)或广域网(wan，wide area network)的计算机网络中的至少一个。
27.存储器130可以存储通过计算机系统100的至少一个结构要素使用的多种数据。例如，存储器130可以包括易失性存储器或非易失性存储器中的至少一个。数据可以包含至少一个程序及与此有关的输入数据或输出数据。程序可以作为包含至少一个指令的软件存储在存储器130，操作系统、中间件或应用程序中的至少一个。
28.处理器140可执行存储器130的程序来控制计算机系统100的至少一个结构要素。由此，处理器140可以执行数据处理或计算。在此情况下，处理器140可执行存储在存储器130的指令。
29.根据多种实施例，处理器140可以将多个域的数据集规范化(regularization)。为了防止多个域中的一部分的过拟合(overfitting)，处理器140可以将多个域的数据集规范化。即，处理器140可基于用于防止如图2所示的过拟合的信息理论来将多个数据集规范化(i(z；v))。在此情况下，处理器140可从每个数据集提取规范化的信息量的特征数据。例如，处理器140可包括分类器(classifier)，如图3所示，分类器可从每个数据集提取特征数据(l(f,c))。
30.根据一实施例，处理器140可强化与用于提取的特征数据有关的复杂度，可从每个数据集提取特征数据。根据一实施例，处理器140可以逐渐强化复杂度。其中，处理器140可
利用批量谱惩罚(batch spectral penalization)算法来强化复杂度。作为一例，处理器140可利用衰减(decaying)批量谱惩罚算法来强化复杂度。由此，可防止发生随着将多个数据集规范化而有可能发生的至少一个问题。例如，可防止发生在将多个数据集规范化时从多个数据集提取的特征数据简化的问题。
31.根据多种实施例，处理器140可以提取在多个数据集之间共享的共享信息。处理器140可通过单神经网络(neural network)在多个数据集之间提取共享信息。根据一实施例，单神经网络可以为卷积神经网络(convolutional neural network；cnn)。即，如图2所示，处理器140可以对多个域提取共享信息。图2中，多个椭圆可分别呈现多个域或多个域的数据集，如图2的(a)部分所示，与多个域对应的多个椭圆实质上可单独存在。在此情况下，如图2的(b)部分所示，处理器140可分析多个数据集并使与多个域对应的多个椭圆对齐，最终，如图2的(c)部分所示，可以使与多个域对应的多个椭圆重叠。其中，多个椭圆重叠的区域可以呈现多个数据集的共享信息。通过这种方式，处理器140可提取多个数据集的共享信息。例如，如图3所示，处理器140可包括编码器(encoder)，编码器可通过单神经网络对多个数据集进行编码来提取共享信息。在此情况下，处理器140可基于来自每个数据集的特征数据提取共享信息。
32.根据多种实施例，处理器140可基于共享信息进行学习来实现学习模型。由此，处理器140可以与多个域相关联来实现学习模型。即，处理器140并不局限于多个域中的一部分，可以与所有域相关联来实现学习模型。例如，如图3所示，处理器140可包括单个判别器(discriminator)，单个判别器可基于共享信息来进行对抗性学习。由此，计算机系统100可通过对抗性适应学习(adversarial adaptation training)来实现对于多个域的学习模型。
33.根据多种实施例，处理器140可以将学习模型迁移到目标域。由此，可在目标域中使用学习模型。
34.图4为示出多种实施例的计算机系统100的方法的图。在此情况下，图4示出通过计算机系统100的基于无过拟合的单神经网络的多源域适应学习的方法。
35.参照图4，在步骤410中，计算机系统100可以将多个域的数据集规范化。为了防止对于多个域中的一部分过拟合，计算机系统100可以将多个域的数据集规范化。即，处理器140可基于如图2所示的用于防止过拟合的信息理论来将多个数据集规范化(i(z；v))。在此情况下，处理器140可从每个数据集提取规范化的信息量的特征数据。例如，如图3所示，处理器140可通过分类器从每个数据集提取特征数据(l(f,c))。
36.根据某些实施例，处理器140可以强化与用于提取的特征数据有关的复杂度，可从每个数据集提取特征数据。根据一实施例，处理器140可以逐渐强化复杂度。其中，处理器140可利用批量谱惩罚算法来强化复杂度。作为一例，处理器140可利用衰减批量谱惩罚算法来强化复杂度。由此，可防止发生随着将多个数据集规范化而有可能发生的至少一个问题。例如，可防止发生在将多个数据集规范化时从多个数据集提取的特征数据简化的问题。
37.在步骤420中，计算机系统100可提取在多个数据集之间共享的共享信息。计算机系统100可通过单神经网络在多个数据集之间提取共享信息。根据一实施例，单神经网络可以为卷积神经网络(cnn)。即，如图2所示，处理器140可对多个域提取共享信息。例如，如图3所示，处理器140可通过编码器对多个数据集进行编码来提取共享信息。在此情况下，处理
器140可基于来自每个数据集的特征数据来提取共享信息。
38.在步骤430中，计算机系统100可基于共享信息进行学习来实现学习模型。由此，计算机系统100可以与多个域相关联来实现学习模型。即，处理器140并不局限于多个域中的一部分，可以与所有域相关联来实现学习模型。例如，如图3所示，处理器140可通过单个判别器，基于共享信息来进行对抗性学习。由此，计算机系统100可通过对抗性适应学习来实现对于多个域的学习模型。
39.在步骤440中，计算机系统100可将学习模型迁移到目标域。由此，可在目标域中使用学习模型。
40.图5a、图5b及图5c为用于说明多种实施例的计算机系统100的工作性能的图。在此情况下，图5a、图5b及图5c示出多种实施例的计算机系统100的模拟结果。图5a为示出针对5个分别与数字图像识别有关的域来实现的学习模型的各个域的适应性能的表，图5b为示出针对3个分别与基于照片的办公用品分类有关的域来实现的学习模型的各个域的适应性能的表，图5c为示出针对4个分别与基于虚拟图形及实物的办公用品有关的域来实现的学习模型的各个域的适应性能的表。
41.参照图5a、图5b及图5c，多种实施例的计算机系统100具有优秀的工作性能。其中，“source-combined(源组合)”为简单结合多个域的数据集来实现学习模型的情况，“single-best(单个最佳)”为基于多个域中的一个，即，最优的域的数据集来实现学习模型的情况，“multi-source(多源)”为根据多种实施例实现学习模型的情况。在此情况下，学习模型基于多个域的数据集的共享信息来实现，由此，学习模型对各个域呈现出优秀的适应性能。即，计算机系统100与多个域的数量无关，可实现适应性能优秀的学习模型。
42.图6a及图6b为用于说明多种实施例的计算机系统100的工作性能的图。在此情况下，图6a及图6b示出通过多种实施例的计算机系统100实现的学习模型和通过现有技术实现的学习模型的工作准确度。其中，图6a及图6b为分别示出不同域的工作准确度的图表。
43.参照图6a及图6b，多种实施例的计算机系统100具有优秀的工作性能。根据多种实施例，学习模型基于多个域的数据集的共享信息来实现，由此，与现有技术的学习模型相比，多种实施例的学习模型对各个域呈现出高准确度。即，计算机系统100可实现对任何域呈现出高准确度的学习模型。
44.图7a及图7b为用于说明多种实施例的计算机系统100的工作性能的图。在此情况下，图7a为用于说明随着将多个数据集规范化而有可能发生的问题的图表，图7b为用于说明解决多种实施例的计算机系统100中的上述问题的表。
45.参照图7a，当将多个数据集规范化时，从多个数据集提取的特征数据的复杂度有可能减少。其中，复杂度可通过熵(entropy)来表现。根据多种实施例，计算机系统100在将多个数据集规范化时，可强化用于提取的特征数据的复杂度。即，计算机系统100可强化与用于提取的特征数据有关的复杂度，从多个数据集提取特征值，基于所提取的特征数据来实现学习模型。根据多种实施例，如图7b所示，随着所提取的特征数据的复杂度强化，学习模型对各个域呈现出得到进一步提高的适应性能。在此情况下，计算机系统100可利用批量谱惩罚算法来强化复杂度。其中，计算机系统100可利用衰减(decaying)批量谱惩罚算法来强化复杂度。由此，可以防止发生在将多个数据集规范化时从多个数据集提取的特征数据简化的问题。
46.根据多种实施例，计算机系统100可将多个域的数据集规范化之后，从多个数据集实现学习模型，因此，可以防止对于学习模型的多个域中的一部分过拟合。根据多种实施例，计算机系统100可基于在多个域的数据集之间共享的共享信息来实现学习模型，因此，可仅通过单神经网络，即，在不追加其他神经网络的情况下实现学习模型。根据多种实施例，当计算机系统100将多个数据集规范化时，随着使用于从每个数据集提取的特征数据的复杂度强化，所实现的学习模型可具有进一步得到提高的性能。即，可以防止发生在将多个数据集规范化时从多个数据集提取的特征数据简化的问题。
47.根据多种实施例，基于计算机系统100的方法可包括如下的步骤：将多个域的数据集规范化；提取在规范化的多个数据集之间共享的共享信息；以及基于所提取的共享信息进行学习来实现学习模型。
48.根据多种实施例，基于计算机系统100的方法还可包括将学习模型迁移到目标域的步骤。
49.根据多种实施例，在提取共享信息的步骤中，可通过单神经网络对规范化的多个数据集进行编码来提取共享信息。
50.根据多种实施例，单神经网络可以为卷积神经网络(cnn)。
51.根据多种实施例，将多个数据集规范化的步骤可包括如下的步骤，即，从每个数据集提取用于向神经网络输入的特征数据。
52.根据多种实施例，提取共享信息的步骤可包括基于特征数据来提取共享信息的步骤。
53.根据多种实施例，在将多个数据集规范化的步骤中，可利用批量谱惩罚算法来强化与用于从每个数据集提取的特征数据有关的复杂度。
54.根据多种实施例，在实现学习模型的步骤中，可通过单个判别器进行对抗性学习。
55.根据多种实施例，计算机系统100可包括：存储器130；以及处理器140，与存储器130相连接，用于执行存储在存储器130的至少一个指令。
56.根据多种实施例，处理器140可将多个域的数据集规范化，提取在规范化的多个数据集之间共享的共享信息，基于所提取的共享信息进行学习来实现学习模型。
57.根据多种实施例，处理器140可将学习模型迁移到目标域。
58.根据多种实施例，处理器140可包括编码器，上述编码器通过单神经网络对规范化的多个数据集进行编码来提取共享信息。
59.根据多种实施例，单神经网络可以为卷积神经网络(cnn)。
60.根据多种实施例，处理器140可从每个数据集提取用于向神经网络输入的特征数据，基于特征数据来提取共享信息。
61.根据多种实施例，处理器140可利用批量谱惩罚算法来强化与用于从每个数据集提取的特征数据有关的复杂度。
62.根据多种实施例，处理器140可包括用于进行对抗性学习的单个判别器。
63.多种实施例可以在没有遗漏的情况下学习已知的域数据，可以整理在多个域中学到的基本原理并将其应用于其他目标域，因此，可积极用于需要丰富的扩展性的领域。例如，如下的领域。
64.第一为医疗人工智能领域。在帮助临床诊断及治疗的人工智能开发过程中必须使
用主动数据。但是，医疗数据因其特性通过多种医疗设备(x-ray、mri、ct等)收集，因此，人工智能模型很难通过综合使用来学习，在学习之后，也存在被特定数据过拟合的风险。本系统不仅仅是简单地汇集多个数据来使模型进行学习，而是掌握在各个医学领域的数据中共享的基本原理，由此可以帮助做出更准确的诊断。并且，在没有遗漏的情况下学习已知的多种形式的数据，由此可以有效地使用数据。此外，由于特定文化、社会或时代特性，医疗数据容易被统计多元化。例如，因大规模感染疾病(covid-19等)，整体数据的分布和统计快速发生改变，或者可存在民族和文化特性的差异。本系统考虑到可获取的多种数据之间的差异，可用于构建通用且能够灵活地适用的医疗诊断算法。
65.第二为自动驾驶领域。用于自动驾驶汽车的数据在收集过程中必将伴随多种环境变化。例如，当行驶时，因季节、光量、位置、车辆的种类、摄像头的视角、时间变化等而分类为多个域。了解这些数据的环境对于成功的自动驾驶至关重要。本系统基于高的扩展性，可以并行、批量处理同时从多个域中收集的大规模数据，在此过程中有效地利用已知的计算资源。因此，可用于开发能够灵活地响应环境变化并确保稳定性的自动驾驶算法。
66.第三为机器翻译/自然语言处理领域。机器翻译领域通过使用在多个文化圈、语言圈中收集的大规模的文本语料库(corpus)来学习。与可在英美及西方文化圈中大规模收集的数据不同，可在特定专业领域及少数语言圈中收集的数据是有限的，因此无法应用现有的机器翻译技术。本系统利用可使用的现有大规模语料库数据来学到基本的语言原理，并将其应用于其他目标域，以获取可适用于多种语言圈的模型。
67.第四为个性化领域。广告提出、移动内容推荐等个性化领域需要掌握众多的个人用户的行为特征。但是，从多种平台及设备中收集的数据中存在用户数据的统计差异，从而很难普遍适用学习的模型。若使用本技术，则以从多个用户、平台收集的数据为基础掌握偏好度，从而可以开发能够向特定目标用户组迁移的普遍性推荐模型。
68.由于云及移动市场的发展，所收集的数据的规模和多样性越来越大，以往开发的人工智能模型没有准确考虑到这些数据文件。以可通过并行处理从多个域中收集的数据来在多种环境中使用的方式设计的提出技术可广泛应用于包括医疗及自动驾驶领域在内的所有需要灵活性的自动化相关市场。
69.在发展中国家或特定的专业群体、文化圈的情况下，由于不支持数字、移动环境的发展速度而很难处理及保护数据，由此，学习的模型无法充分反映上述文化特性、地理特性。通过本系统，基于现有大规模数据来使模型进行学习之后，将其迁移到上述特殊环境中，从而为社会公平的人工智能的发展做出贡献。
70.所提出的技术可通过多种媒体、平台等的路径收集数据，并适用于所有将其泛化的公司及服务。例如，所提出的技术可应用于基于人工智能的医疗及临床诊断技术开发公司、媒体平台开发公司、智能工厂等基于人工智能技术的制造公司、自动驾驶技术开发公司等。
71.上述装置可以实现为硬件组件、软件组件和/或硬件组件和软件组件的组合。例如，实施例中说明的装置和组件可利用处理器、控制器、算术逻辑单元(alu，arithmetic logic unit)、数字信号处理器(digital signal processor)、微型计算机(field programmable gate array)、现场可编程门阵列(fpga，field programmable gate array)、可编程逻辑单元(programmable logic unit，plu)、微型处理器、或如可执行且响
应指令(instruction)的其他任何装置的一个以上通用计算机或专用计算机来实现。处理装置可执行操作系统(os)和在上述操作系统上运行的一个以上软件应用程序。并且，处理装置还可响应软件的执行来访问、存储、操作、处理和生成数据。为了便于理解，可将处理装置说明为使用的一个元件，但本领域普通技术人员可以理解，处理装置包括多个处理元件(processing element)和/或各种类型的处理元件。例如，处理装置可以包括多个处理器或包括一个处理器和一个控制器。并且，例如并行处理器(parallel processor)的其他处理配置(processing configuration)也是可行的。
72.软件可以包括计算机程序(computer program)、代码(code)、指令(instruction)或它们中的一个以上的组合，并且可以配置处理装置以根据需要进行操作，或独立地或共同地(collectively)命令处理装置。软件和/或数据可以具体表现(embody)为任何类型的机器、组件(component)、物理装置、计算机存储介质或装置，以便由处理装置解释或向处理装置提供指令或数据。软件可以分布在联网的计算机系统上，并以分布的方式存储或执行。软件和数据可以存储在一个以上的计算机可读记录介质中。
73.多种实施例的方法能够以可以通过多种计算机单元执行的程序指令的形式实现，并记录在计算机可读介质中。在此情况下，介质可以继续存储计算机可执行程序或者为了执行或下载而可以暂时存储。而且，介质可以为结合单个或多个硬件的形态的多种记录单元或存储单元，并不局限于直接连接在一种计算机系统的介质，可以分散存在于网络上。介质的示例包括如硬盘、软盘及磁带等的磁性介质，如cd-rom和dvd等的光学记录介质，如软式光盘(floptical disk)等的磁光介质(magneto-optical medium)，以及rom、ram、闪存等，从而可以存储程序指令。并且，并且，作为介质的另一例示，还可以包括由流通应用的应用商店或提供或流通各种其他多种软件的网站以及在服务器中管理的记录介质或存储介质。
74.本发明的多种实施例及用于其的术语并非将在本发明中记载的技术限定在特定实施形态，对应实施例的多种变更、而是包括等同技术方案和/或代替技术方案。与附图的说明有关，对类似的结构要素可使用类似的附图标记。除非文脉上明确说明，否则单数的表述可包括复数的表述。在本发明中，“a或b”、“a和/或b中的至少一个”、“a、b或c”或“a、b和/或c中的至少一个”等表述可以包括一同罗列的项目的所有组合。“第一”、“第二”、“第一个”或“第二个”等表述可以与顺序或重要程度无关地修饰对应结构要素，并为了区分两种结构要素而使用，而并非限定对应结构要素。当提及一个(例如：第一)结构要素与其他(例如：第二)结构要素“(功能性或通信性)连接”或“联接”时，上述一种结构要素可以与其他结构要素直接连接或者通过其他结构要素(例如：第三结构要素)连接。
75.在本发明中所使用的术语“模块”可包括由硬件、软件或固件构成的单元，例如，可以与逻辑、伦理块、部件或电路等的术语相互互换使用。模块可以为够成为一体的部件或执行一个或一个以上的功能的最小单位或其一部分。例如，模块可以由专用集成电路(asic，application-specific integrated circuit)构成。
76.根据多种实施例，所记述的结构要素的各个结构要素(例如，模块或程序)可包括单数或复数的个体。根据多种实施例，上述对应结构要素中的一个以上的结构要素或步骤可以被省略，或者可以添加一个以上的其他结构要素或步骤。代替性地或追加性地，多个结构要素(例如，模块或程序)可以合并成一个结构要素。在此情况下，合并的结构要素可以执
行与合并多个结构要素的各个结构要素的一个以上的功能之前通过多个结构要素中对应结构要素执行的功能相同或类似的功能。根据多种实施例，通过模块、程序或其他结构要素执行的步骤可以依次、并列、反复或启发式执行，或者多个步骤中的一个以上可按不同的顺序执行或省略或添加一个以上的其他步骤。