透镜装置、摄像装置、控制方法及计算机可读存储介质与流程

1.本发明涉及透镜装置、摄像装置、控制方法及计算机可读存储介质。


背景技术：

2.日本特开05
‑
127061号公报讨论了一种如下的变焦透镜，其基于针对各个致动器而设置的限值，根据条件分支使用多个致动器的组合进行控制。为了在特定条件下将一种控制方法切换到另一种控制方法，通常改变用于生成命令信号的算术表达式(计算方法)。在日本特开06
‑
175000号公报中讨论的透镜操作设备中，改变计算方法(添加计算)以在特定条件下，例如，当变焦透镜单元位于远摄端或广角端时，或者当聚焦透镜单元位于无限远端或最近端时，将一种控制方法切换为另一种控制方法。
3.在影响控制的多个因素下进行控制的情况下，难以基于多个因素的协同作用来进行控制。在日本特开05
‑
127061号公报和06
‑
175000号公报中讨论的控制中，由于基于是否满足条件的操作(控制操作)的分支，所以控制操作中的改变是不连续的，使得获得图像中的改变也是不连续的，这可能让查看图像的查看者感到奇怪。


技术实现要素：

4.本发明的第一方面提供一种透镜装置，其包括光学构件；驱动设备，其被构造为驱动所述光学构件；检测器，其被构造为检测与所述驱动有关的状态；以及处理器，其被构造为基于关于检测到的状态的第一信息生成针对所述驱动设备的控制信号。所述处理器包括机器学习模型，其被构造为基于所述第一信息和与所述第一信息不同的、关于所述透镜装置的第二信息生成与所述控制信号有关的输出。
5.本发明的第二方面一种摄像装置，其包括根据第一方面所述的透镜装置，以及被构造为拍摄由所述透镜装置形成的图像的摄像元件。
6.本发明的第三方面提供一种控制方法，其控制针对驱动设备的控制信号的生成，所述驱动设备被构造为基于关于所述驱动状态的第一信息驱动透镜装置的光学构件，其中，在所述控制方法中，使用机器学习模型，所述机器学习模型被构造为基于所述第一信息和关于所述透镜装置的第二信息生成与所述控制信号有关的输出。
7.本发明的第四方面提供一种计算机可读存储介质，其存储有使计算机执行根据第三方面的控制方法的程序。
8.通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。
附图说明
9.图1例示了根据各个示例性实施例的系统的示例构造。
10.图2例示了根据第一示例性实施例的透镜装置的构造示例的框图。
11.图3是例示学习用系统的构造示例的框图。
12.图4例示了向神经网络的输入和来自神经网络的输出。
13.图5是学习用流程图。
14.图6是例示根据第二示例性实施例的学习用系统的构造示例的框图。
15.图7例示了向变焦用神经网络的输入和来自变焦用神经网络的输出。
16.图8例示了向聚焦用神经网络的输入和来自聚焦用神经网络的输出。
17.图9是例示根据第三示例性实施例的学习用系统的构造示例的框图。
18.图10例示了向神经网络的输入和来自神经网络的输出。
19.图11是例示根据第四示例性实施例的学习用系统的构造示例的框图。
20.图12a和图12b各自例示了聚焦透镜单元的位置误差的允许范围。
21.图13例示了根据第四示例性实施例的控制系统的构造示例。
具体实施方式
22.下面将参照附图描述本公开的示例性实施例。基本上(除非另有说明)在例示示例性实施例的所有附图中用相同的附图标记表示相同的部件等，并省略其重复描述。
23.[第一示例性实施例]
[0024]
图1例示了根据包括第一示例性实施例的示例性实施例的系统的构造示例。图3是例示学习用系统的构造示例的框图。图3还例示了图1例示的系统的构造示例中包括的设备的硬件资源和软件构造。
[0025]
<透镜装置的构造示例>
[0026]
图2是例示根据第一示例性实施例的透镜装置的构造示例的框图。图2还例示了包括照相机本体的构造示例系统(摄像装置)的构造示例。该系统包括照相机本体200和透镜装置100(还被称为可互换透镜)。照相机本体200与透镜装置100经由用作连接机构的托板(mount)300机械地连接并电连接。托板300可以包括属于照相机本体200的托板单元或属于透镜装置100的托板单元，或者可以包括这两种托板单元。照相机本体200可以通过托板300中包括的供电端子向透镜装置100供给电力。照相机本体200和透镜装置100可以经由托板300中包括的通信端子彼此通信。
[0027]
透镜装置100包括场透镜单元101、用于倍率调整的可动变焦透镜单元102、用于调整光量的光圈单元103、图像抖动校正透镜单元104和用于聚焦调整的可动聚焦透镜单元105。这些透镜单元中的各个可以包括单个透镜。为了便于说明，各个透镜单元被简称为透镜。变焦透镜单元102和聚焦透镜单元105各自被透镜保持架(未例示)保持。透镜保持架可沿着未例示的导向轴(沿着附图中由虚线表示的光轴)移动。
[0028]
变焦透镜单元102通过变焦透镜驱动单元106而沿着光轴移动，并且变焦透镜单元102的位置由变焦透镜检测单元107检测。聚焦透镜单元105通过聚焦透镜驱动单元111而沿着光轴移动，并且聚焦透镜单元105的位置由聚焦透镜检测单元112检测。光圈单元103包括要被光圈驱动单元108驱动的光圈叶片，并且光圈单元103调整光量。光圈检测单元109检测光圈单元103的f数。图像抖动校正透镜单元104通过图像抖动校正透镜驱动单元110而沿着与光轴正交的方向移动，并且减少由照相机运动等引起的图像模糊(被称为图像抖动)。图像抖动校正透镜单元104的位置由图像抖动校正透镜检测单元121检测。
[0029]
变焦透镜驱动单元106、聚焦透镜驱动单元111、光圈驱动单元108和图像抖动校正透镜驱动单元110中的各个包括诸如超声波马达等的致动器。致动器不限于超声波马达，而
可以是用音圈马达、直流(dc)电机和步进电机来替代。运动传感器120是检测透镜装置100的抖动(振动)的传感器。运动传感器120例如是包括陀螺仪的角速度传感器。
[0030]
微计算机113(也被称为透镜微计算机或处理器)，包括存储单元114、估计单元115、控制单元116、通信单元117和确定单元118(也被称为透镜装置信息确定单元)。在这里，存储单元114存储机器学习参数。估计单元115(生成单元)估计(生成)用于控制用于聚焦透镜单元105的聚焦透镜驱动单元111的控制信号。控制单元116控制变焦透镜单元102、光圈单元103和图像抖动校正透镜单元104的各个位置。例如，控制单元116基于控制对象的目标位置或速度与控制对象的位置或速度之间的偏差，生成响应比例
‑
积分
‑
微分控制器(pid控制)的针对驱动单元的控制信号。通信单元117与照相机本体200进行通信。确定单元118确定关于透镜装置100的输入信息。输入信息是在估计单元115的估计(生成)中使用的信息。下面将描述机器学习参数和输入信息。
[0031]
照相机本体200可以包括摄像元件201、模拟
‑
数字(a/d)转换电路202、信号处理电路203、记录单元204、微计算机205(也被称为照相机微计算机或处理器)以及显示单元206。摄像元件201是拍摄由透镜装置100形成的图像的摄像元件。摄像元件201可以包括电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器。a/d转换电路202将从摄像元件201输出的模拟信号(电信号)转换为数字信号。信号处理电路203将从a/d转换电路202输出的数字信号转换为视频(图像)数据。记录单元204记录从信号处理电路203输出的视频数据。显示单元206显示从信号处理电路203输出的视频数据。用户使用操作单元207操作照相机。照相机本体200的处理器205在照相机本体200中进行控制。处理器205包括通信单元208和控制单元209。通信单元208经由通信单元117与透镜装置100通信。控制单元209基于操作信息和从信号处理电路203输出的视频数据向透镜装置100发送命令。操作信息指示用户进行的并从操作单元207输出的操作。通信单元208将来自控制单元209的命令发送到透镜装置100。
[0032]
<视频图像的记录和显示>
[0033]
现在将描述图2中例示的构造示例中的视频图像的记录和显示。入射到透镜装置100上的光通过场透镜单元101、变焦透镜单元102、光圈单元103、图像抖动校正透镜单元104和聚焦透镜单元105在摄像元件201上形成图像。该图像被摄像元件201转换为电信号。电信号被a/d转换电路202转换为数字信号。数字信号被信号处理电路203转换为视频数据。视频数据被记录在记录单元204上。显示单元206基于视频数据显示视频图像。
[0034]
<聚焦控制>
[0035]
现在将描述通过照相机本体200的透镜装置100的聚焦控制。控制单元209基于从信号处理电路203输出的视频数据进行自动聚焦控制(af控制)。控制单元209进行控制使得，例如，聚焦透镜单元105基于视频数据的对照来移动以便被摄体对焦。控制单元209将与聚焦透镜单元105的移动有关的命令输出到通信单元208。响应于接收到来自控制单元209的命令，通信单元208将该命令转换为控制命令并经由托板300的通信接触点将该控制命令发送到透镜装置100。通信单元117将从通信单元208接收到的控制命令转换为上述命令并将该命令输出到估计单元115。响应于接收到作为输入的命令，估计单元115通过使用存储在存储单元114中的经训练的机器学习参数，基于包括该输入的多个输入来生成控制信号，并将该控制信号输出到用于聚焦透镜单元105的聚焦透镜驱动单元111。多个输入包括由用
于聚焦透镜单元105的聚焦透镜检测单元112检测到的关于聚焦透镜单元105的位置的信息和由确定单元118确定的关于透镜装置100的输入信息。下面将描述输入信息和估计单元115生成控制信号的方法。利用上述构造，聚焦透镜单元105基于来自控制单元209的命令移动以便使视频数据的对照最大化，由此实现适当的af控制。
[0036]
<光圈控制>
[0037]
现在将描述通过照相机本体200的透镜装置100的光圈控制。控制单元209基于从信号处理电路203输出的视频数据进行光圈控制(曝光控制)处理。更具体地，控制单元209确定目标f数，使得视频数据的辉度值被设置为恒定。控制单元209将确定的f数作为命令输出到通信单元208。通信单元208将从控制单元209接收到的命令转换为控制命令，并通过托板300的通信接触点将控制命令发送到透镜装置100。通信单元117将从通信单元208接收到的控制命令转换为与f数有关的命令，并将该命令输出到控制单元116。控制单元116基于该命令和由光圈检测单元109检测到的光圈单元103的f数确定控制信号，并将该控制信号输出到光圈驱动单元108。上述构造实现了如下的适当曝光控制，控制f数使得视频数据的辉度值被设置为恒定。
[0038]
<变焦控制>
[0039]
现在将描述通过照相机本体200的透镜装置100的变焦控制。用户经由操作单元207对透镜装置100进行变焦操作。控制单元209基于用户进行的变焦操作的量向通信单元208输出用于移动变焦透镜单元102的命令(例如，速度命令)。从操作单元207输出变焦操作的量。通信单元208将从控制单元209接收到的命令转换为控制命令，并通过托板300的通信接触点将控制命令发送到透镜装置100。通信单元117将从通信单元208接收到的控制命令转换为用于变焦的命令，并且将该命令输出到控制单元116。控制单元116基于该命令和由变焦透镜检测单元107检测到的变焦透镜单元102的位置确定控制信号并将该控制信号输出到用于聚焦透镜单元105的聚焦透镜驱动单元111。利用上述构造，可以根据在操作单元207上的用户操作移动变焦透镜单元102。
[0040]
<图像稳定控制>
[0041]
现在将描述透镜装置100的图像稳定控制。控制单元116确定图像抖动校正透镜单元104的目标位置以便基于从运动传感器120输出的信号减少由于透镜装置100的抖动而引起的图像抖动。从运动传感器120输出的信号与透镜装置100的抖动有关。控制单元116基于目标位置和由图像抖动校正透镜检测单元121检测到的图像抖动校正透镜单元104的位置确定控制信号，并将该控制信号输出到用于图像抖动校正透镜单元104的图像抖动校正透镜驱动单元110。利用上述构造，能够减少通过摄像元件201摄像导致的图像模糊(图像抖动)。
[0042]
<聚焦控制的要求>
[0043]
现在将描述根据本示例性实施例的af控制。此处假设af控制的要求包括位置误差、速度和电力消耗。
[0044]
<要求中的位置误差>
[0045]
这里使用的术语“位置误差”是指，指示将聚焦透镜单元105移动到目标位置的情况下焦透镜单元105可以被多么精确地移动到目标位置的指数。聚焦透镜单元105被移动到特定的目标位置，使得特定的被摄体对焦。在af控制中，随着目标位置与实际位置之间的误
差的增大，视频图像中的被摄体在很大程度上离焦。众所周知，即使误差相同，虽然在焦点深度深的情况下被摄体可能对焦，但是在由f数确定的焦点深度和最小模糊圈浅的情况下，被摄体也可能离焦。
[0046]
图12a和图12b各自例示了聚焦透镜单元105的位置误差的允许范围。更具体地，图12a和图12b各自例示了在聚焦透镜单元105从初始位置移动到目标位置的情况下与焦点深度对应的允许范围。图12a例示了焦点深度深的情况，图12b例示了焦点深度浅的情况。a1和b1各自代表聚焦透镜单元105的初始位置。a2和b2各自例示聚焦透镜单元105移动后聚焦透镜单元105的位置。图12a和图12b中的虚线指示光轴。聚焦透镜单元105沿着光轴移动。图12a例示的情况焦点深度深，图12b例示的情况焦点深度浅。图12a和图12b各自例示了聚焦透镜单元105停止在了与目标位置相距与控制误差相对应的距离处的情况。假设，图12a中的初始位置、目标位置和控制误差与图12b中的一致。
[0047]
在图12a的情况下，移动后的聚焦透镜单元105的位置a2落入与焦点深度相对应的控制误差(位置误差)的允许范围内，使得获得特定被摄体对焦的视频图像。通过对照，在图12b的情况下，移动后的聚焦透镜单元105的位置b2落在与焦点深度相对应的控制误差的允许范围之外，使得获得特定被摄体离焦的视频图像。因此，即使在控制误差(位置误差)相同的情况下，控制误差的允许范围也依赖于焦点深度而变化。因此控制误差与允许范围的比值也变化。通过使用下式(1)中表达的聚焦敏感度，作为用于估计像面位置的参数的焦点深度可以被转换为用于估计聚焦透镜单元105的位置或控制误差(位置误差)的参数。
[0048]
[像面的偏移量]＝[聚焦敏感度]
×
[聚焦透镜单元的偏移量]
ꢀꢀꢀ
(1)
[0049]
在式(1)中，聚焦敏感度是依赖于聚焦透镜单元105的位置和变焦透镜单元102的位置而变化的值。焦点深度依赖于f数而变化。因此，为使特定被摄体对焦而获得的聚焦透镜单元105的控制误差(位置误差)依赖于聚焦透镜单元105的位置、变焦透镜单元102的位置以及光圈单元103的位置(透镜装置100中的特定光学构件的状态)而变化。
[0050]
<要求中的速度>
[0051]
上述要求之一的术语“速度”是指当聚焦透镜单元105移动时的移动速度。也可以使用每单位时间的预定偏移量作为速度。假设被摄体对焦的面(像面)的偏移量被视为像面偏移量并且该面的移动速度被视为像面移动速度，聚焦透镜单元105的偏移量可以被视为与像面偏移量成比例。然而，比例常数可以依赖于透镜装置100中包括的各个光学系统的状态(依赖于多个光学构件间的位置关系)而变化。比例常数与上述式(1)中表示的聚焦敏感度相对应。
[0052]
即使聚焦透镜单元105偏移相同的量，但在由于透镜装置100的状态而使聚焦敏感度高的情况下，像面偏移量相对大，而在聚焦敏感度低的情况下，像面偏移量相对小。因此，将聚焦透镜单元105移动与通过使用式(1)获得的焦透镜单元105的偏移量相对应的量，以便可以使聚焦透镜单元105移动使得像面偏移量被设置为恒定。此外，在使运动被摄体恒定对焦的状态下控制像面移动速度的情况下，可以基于焦点深度来确定目标像面移动速度与像面的实际移动速度之间的误差的允许范围。
[0053]
这里，如上所述聚焦敏感度依赖于聚焦透镜单元105的位置和变焦透镜单元102的位置而变化。此外，焦点深度依赖于f数而变化。因此，像面的一定的移动速度或者例如跟踪被摄体所需的聚焦透镜单元105的移动速度依赖于聚焦透镜单元105的位置、变焦透镜单元
102的位置和光圈单元103的状态而变化。
[0054]
在某些情况下，可以要求伴随对聚焦透镜单元105的驱动而发出的并且可以被记录在视频图像的拍摄中的声音的音量设置为小于或等于特定音量(阈值)。在这种情况下，聚焦透镜单元105的移动速度可以被设置为小于或等于特定阈值。
[0055]
<要求中的电力消耗>
[0056]
这里使用的术语“电力消耗”是指驱动聚焦透镜单元105时要消耗的电力。电力消耗依赖于使聚焦透镜单元105移动的速度和时段而变化。
[0057]
通过减少电力消耗，可以有效地使用电池容量。例如，电池充电一次能够拍摄的图像数量和拍摄图像的操作时间可以增加，这使得电池的大小减小。
[0058]
当满足对上述的位置误差、速度和电力消耗的特定要求时，例如可以为用户实现聚焦。多个要求可以有权衡关系。例如，位置误差和电力消耗可以有权衡关系。在焦点深度深的情况下，聚焦透镜单元105的位置偏差对聚焦的影响小于在焦点深度浅的情况下对聚焦的影响。因此，可以通过允许控制误差，只要聚焦透镜单元105的位置误差落入与焦点深度对应的允许范围即可，来减少电力消耗。反之，在焦点深度浅的情况下，聚焦透镜单元105的位置偏差对聚焦的影响大。因此，如果控制误差减小以便聚焦透镜单元105的位置误差落入与焦点深度对应的允许范围，则电力消耗增加。
[0059]
在进行聚焦控制使得被摄体被连续对焦的情况下，设置聚焦透镜单元105的目标位置与聚焦透镜单元105的实际位置之间的误差(也被称为控制误差或控制偏差)以便该误差连续落入与焦点深度对应的允许范围内。为此，例如，可以进行控制使得，在控制误差的允许范围内的特定范围中，将聚焦透镜单元105的移动速度设置得相对低，而在超出该特定范围的范围中，聚焦透镜单元105的移动速度设置得相对高。在这种情况下，电力消耗可以随着聚焦透镜单元105的移动速度降低而减小。这里，可以基于焦点深度确定允许范围。此外，聚焦透镜单元105的移动速度与像面移动速度之间的关系可以基于聚焦敏感度确定。因此，可以基于聚焦透镜单元105的位置、变焦透镜单元102的位置和光圈单元103的状态，确定用于对被摄体连续对焦的聚焦透镜单元105的移动速度。
[0060]
利用上述构造，可以基于与聚焦透镜单元105的移动相关联的对位置误差、速度和电力消耗的要求来改变控制用于聚焦透镜单元105的聚焦透镜驱动单元111的控制信号。
[0061]
<估计单元115的控制信号的确定>
[0062]
在估计单元115中实施神经网络(也被称为nn)。估计单元115参照存储在存储单元114中的机器学习参数并使用机器学习参数基于nn算法确定控制信号。图4例示了向神经网络的输入和来自神经网络的输出。在作为根据第一示例性实施例的学习模型(训练模型)的nn中，输入x1表示聚焦透镜单元105的目标位置并且是来自通信单元117的输出。输入x2表示聚焦透镜单元105的实际位置并且从聚焦透镜检测单元112获得。输入x3表示作为与透镜装置100有关的信息的焦点深度。输入x4表示聚焦敏感度，是与透镜装置100有关的信息。输出y1表示用于控制用于聚焦透镜单元105的聚焦透镜驱动单元111的控制信号。这里，与透镜装置100的光学特性有关的信息，诸如焦点深度和聚焦敏感度等，可以由确定单元118依赖于特定信息(例如最小模糊圈、f数、聚焦透镜单元105的位置和变焦透镜单元102的位置)来确定。基于包括如上所述的输入和输出的训练模型生成用于控制用于聚焦透镜单元105的聚焦透镜驱动单元111的控制信号。
[0063]
<学习单元的构造>
[0064]
图3是例示学习用系统的构造示例的框图。参照图3，通信单元122(也被称为个人计算机(pc)通信单元)是用于与pc 400(也被称为信息处理装置)通信的通信单元。pc 400包括处理器(中央处理单元(cpu)或图形处理单元(gpu))和存储设备(只读存储器(rom)、随机存取存储器(ram)或硬盘驱动器(hdd))。存储设备存储用于处理器执行操作的程序、数据等。通信单元404用于与通信单元122通信。学习单元403(也被称为机器学习单元)通过获得估计单元115中的输入和输出来进行学习处理。下面将详细描述学习处理。
[0065]
pc 400中的学习单元403和通信单元404可以实施为，使得存储在hdd中的执行程序被加载到存储器(rom或ram)并通过诸如cpu等的硬件资源执行所加载的程序。在该程序中描述用于设置用于强化学习的奖励的规则。下面将描述该规则。
[0066]
通信单元404从透镜装置100的通信单元122接收关于透镜装置100的操作日志的信息。操作日志包括估计单元115中的输入和输出。关于操作日志的信息被输入到学习单元403。学习单元403基于关于操作日志的信息进行机器学习并输出用于机器学习的参数。下面将描述学习单元403使用的学习方法。从学习单元403输出的机器学习参数经由通信单元404被发送到透镜装置100。由通信单元122接收的机器学习参数被存储在存储单元114中。存储在存储单元114中的机器学习参数被估计单元115参照并被反映在估计单元115的nn算法中。估计单元115输出基于nn算法的控制信号，聚焦透镜驱动单元111基于该控制信号驱动聚焦透镜单元105。
[0067]
这里，gpu对于有效地进行数据的并行处理是可行的，因此在使用诸如用于深度学习的学习模型等学习模型进行重复学习的情况下是有效的。因此，在由学习单元403进行的处理中，可以使用gpu代替cpu，或者除了cpu之外还使用gpu。例如，包括学习模型的学习程序可以期望地由cpu和gpu协作执行。可以使用gpu执行学习单元403进行的处理。
[0068]
<由学习单元403生成经训练的机器学习参数的方法>
[0069]
接下来，描述根据本示例性实施例的由学习单元403执行的使用机器学习参数的学习方法(生成经训练的机器学习参数的方法)。在图3例示的系统中学习机器学习参数。如上所述该系统包括透镜装置100和pc 400。
[0070]
估计单元115将用于生成用于移动聚焦透镜单元105的控制信号的程序从开始位置到停止位置合并到预定的学习用特定模式中。基于该程序控制聚焦透镜单元105。重复进行该控制和与该控制相关联的学习，以便由pc 400重写控制单元116中的机器学习参数。图5例示了学习用流程图。图5中的各个步骤可以由pc 400的学习单元403或者透镜装置100的估计单元115执行。
[0071]
在图5中，首先在步骤s101(机器学习参数的初始化)，学习单元403将机器学习参数的初始值(例如“0”)经由通信单元404发送到透镜装置100。在步骤s102(透镜单元控制和日志获得)，估计单元115将聚焦透镜单元105从预定的开始位置移动到预定的停止位置。通信单元122可以获得控制信号、控制量、焦点深度、聚焦敏感度和电力消耗作为与聚焦透镜单元105的控制有关的日志。可以从估计单元115获得控制信号。可以从聚焦透镜检测单元112获得控制量(在该情况下为位置)。可以从确定单元118获得焦点深度和聚焦敏感度。可以从聚焦透镜驱动单元111获得聚焦透镜驱动单元111中的电力消耗。可以根据在马达的电源中配设的电流检测器检测到的电流来获得聚焦透镜驱动单元111中的电力消耗。如上所
述的日志从通信单元122被发送到pc 400。
[0072]
接下来，在步骤s103(授予奖励)，学习单元403基于初步存储在存储单元410(也被称为数据存储单元)中的规则，对与该日志相关联的控制授予奖励。下面将描述该规则。接下来，在步骤s104，学习单元403更新机器学习参数以便使奖励最大化。可以通过反向传播更新机器学习参数。然而，用于更新机器学习参数的方法不限于反向传播。在更新的机器学习参数被存储在存储单元410中之后，更新的机器学习参数经由通信单元404和通信单元122被存储在存储单元114中。在步骤s105，更新单元412(也被称为数据更新单元)确定机器学习参数的学习是否结束。例如，基于机器学习的重复次数(机器学习参数的更新)是否达到阈值，或者基于机器学习的奖励的变化是否小于阈值，来确定机器学习是否结束。如果更新单元412确定机器学习未结束(步骤s105中为“否”)，则处理返回到步骤s101。如果更新单元412确定机器学习结束(步骤s105中为“是”)，则学习单元403使存储单元410存储通过机器学习获得的关于机器学习参数的信息，然后处理终止。
[0073]
机器学习算法的示例包括邻近算法(nearest neighbor algorithm)、朴素贝叶斯方法(bayes method)、决策树(decision tree)、支持向量机(support vector machine)以及使用神经网络的深度学习。算法不限于这些示例，可以适当地选择并应用任何可用的算法。
[0074]
<奖励设置方法>
[0075]
现在将描述奖励设置方法。这里假设针对“位置误差”、“速度误差”和“电力消耗”这三个项目分别确定要授予奖励的规则，并且将针对这三个项目的规则汇总。位置误差和速度误差各自的容许量依赖于焦点深度和聚焦敏感度而变化，因此在这种情况下基于位置误差和速度误差与容许量的比值来设置位置误差和速度误差。例如，在比值小于100％的情况下授予更高的奖励(得分)，而在比值大于100％的情况下授予较低的奖励(得分)。位置误差是目标位置与实际位置之间的差。目标位置是由估计单元115确定的目标控制量，并且可以从日志获得。可以通过检测器从日志获得实际位置。这里，速度误差是目标像面移动速度与实际像面移动速度之间的差，并且可以从日志获得或可以根据日志计算。
[0076]
例如，可以根据生成的目标位置的日志(历史)由估计单元115计算目标像面移动速度。可以根据从日志获得的聚焦透镜单元105的聚焦敏感度和移动速度，通过将式(1)中的可以根据实际像面位置的日志(历史)计算的偏移量用速度替换而获得的式(2)来获得实际像面移动速度。
[0077]
[像面移动速度]＝[聚焦敏感度]
×
[聚焦透镜单元的移动速度]
ꢀꢀꢀ
(2)
[0078]
在电力消耗小于预定的上限的情况下，授予更高的奖励。可以使用针对上述的三个项目确定的奖励来获得机器学习模型。
[0079]
<机器学习模型中的输入数据和输出数据之间的相关性>
[0080]
通过如上所述设置奖励，可以调整就聚焦性能和电力消耗而言有利的机器学习模型的参数。机器学习模型(在这种情况下为神经网络)的输入数据包括与作为机器学习模型的输出数据的各驱动单元的控制信号具有相关性的信息。基于目标位置和实际位置获得要用于聚焦的聚焦透镜单元105的偏移量。基于焦点深度确定实际位置相对于目标位置的误差的允许范围。因此，期望通过随着误差在允许范围内减小而设置更高的奖励来获得控制信号。此外，由于聚焦透镜单元105的偏移量可以被像面偏移量替换，所以期望通过随着像
面偏移量或像面移动速度相对于目标像面偏移量或像面移动速度的误差减小而设置更高的奖励来获得适当的控制信号。
[0081]
<本示例性实施例的有益效果>
[0082]
在通常的透镜控制中，基于针对位置误差、速度误差和电力消耗的要求分别设置的条件来建立用于切换(分支)控制操作的算法。
[0083]
更具体地，针对焦点深度或聚焦敏感度的各自范围来设置位置误差的允许范围。因此，控制信号根据范围的切换而不连续地改变，这导致难以进行无缝控制。在本示例性实施例中，控制信号不依赖于这样的条件分支，代替地而是依赖于如上所述的机器学习模型，使得能够输出无缝地改变位置、速度和电力消耗的控制信号。因此，根据本示例性实施例，能够提供就控制操作变化或图像变化的连续性而言有利的透镜装置。
[0084]
<其他控制目标>
[0085]
根据本示例性实施例的控制目标不限于聚焦透镜单元105，代替地可以是例如，变焦透镜单元102、图像抖动校正透镜单元104或者孔径光阑。在这种情况下，要被输出的与控制信号具有相关性的信息(信息集)可以被选择为要被输入到机器学习模型(例如，神经网络)的与透镜装置100有关的信息(信息集)。例如，可以选择包括变焦操作环的旋转角度、焦距和辉度的信息(信息集)。因此，在如上所述的控制中也可以获得本示例性实施例产生的上述有益效果。
[0086]
例如，在将机器学习模型应用于变焦透镜驱动控制操作的情况下，可以基于关于目标位置和视角相对于变焦透镜单元102的信息，获得用于控制用于变焦透镜单元102的变焦透镜驱动单元106的、使视角的变化率(每单位时间视角的变化率)变得恒定的控制信号。在这种情况下，可以随着视角的变化率接近恒定值而设置更高的奖励。另外，在将机器学习模型应用于孔径光阑驱动控制操作的情况下，可以使用视频图像的辉度和f数作为输入，来获得基于视频图像的辉度变化(与视频图像的辉度变化兼容)的、用于控制用于孔径光阑的驱动单元的控制信号。例如，即使以相同的驱动量驱动孔径光阑，在辉度高且f数小的情况下，与辉度低且f数大的情况相比辉度的变化更迅速，这让正在查看视频图像的用户感到奇怪。在这种情况下，可以随着辉度变化的减小而设置更高的奖励。此外，在将机器学习模型应用于图像抖动校正透镜单元104的驱动控制操作的情况下，可以使用焦距和视频图像的偏移量作为输入，获得基于焦距的、用于控制用于图像抖动校正透镜单元104的图像抖动校正透镜驱动单元110的控制信号。即使图像抖动校正透镜单元104偏移了相同的偏移量，在焦距长的情况下，视频图像的偏移量增大，因此要快速地驱动图像抖动校正透镜单元104。在这种情况下，随着图像抖动校正透镜单元104的位置误差减小设置更高的奖励。在接通电源之后的一定时段内包括陀螺仪的运动传感器120的输出不稳定。因此，可以使用时间作为输入来获得基于运动传感器120启动之后的时间的、用于控制用于图像抖动校正透镜单元104的图像抖动校正透镜驱动单元110的控制信号。在这种情况下，随着从运动传感器120输出的漂移的增加设置更低的奖励。此外，通过使用关于从摄像装置获得的视频图像偏移向量(运动向量)的信息作为输入，可以获得基于偏移向量的、用于控制用于图像抖动校正透镜单元104的图像抖动校正透镜驱动单元110的控制信号。在这种情况下，随着偏移向量的绝对值减小设置更高的奖励。
[0087]
透镜装置100的定向(倾斜)、温度和周围环境音量也可以用作机器学习模型的输
入。定向使驱动透镜或光圈时作用的重力的效果改变，因而驱动单元的驱动扭矩也变化。温度使驱动单元的润滑剂的特性改变，因而也改变了驱动单元的驱动扭矩。周围环境音量通过限制驱动单元的驱动声音限制驱动速度。因此，通过输入如上所述的状态量，可以获得基于状态量(与状态量兼容)的用于控制驱动单元的控制信号。
[0088]
[第二示例性实施例]
[0089]
<用于多组控制(多模型)的示例性实施例>
[0090]
第二示例性实施例涉及用于并行地控制多个透镜单元的系统，并例示了变焦透镜单元102和聚焦透镜单元105的协作控制操作的示例。根据第二示例性实施例，在摄像条件由两个光学构件确定的情况下，用于控制一个光学构件的驱动单元的控制信号通过将另外关于另一个光学构件的控制信息输入机器学习模型(在这种情况下为神经网络)来获得。如同第一示例性实施例，第二示例性实施例也适用于使用除了聚焦透镜单元105和变焦透镜单元102的组合之外的光学构件的组合的协作控制操作。图6是例示根据第二示例性实施例学习用系统的构造示例的框图。第二示例性实施例与第一示例性实施例不同之处在于，向输出用于控制针对透镜单元中的一个的驱动单元的控制信号的神经网络的输入中的至少一个代表其他透镜单元的位置。将描述图6例示的构造示例与第一示例性实施例的构造示例之间的不同之处。
[0091]
透镜微计算机113(也被称为处理器)包括估计单元a 715a和估计单元b 715b(即估计单元的数量与要被控制的透镜单元的数量相对应，即，在这种情况下为两个估计单元)。估计单元a 715a估计(输出)用于控制用于聚焦透镜单元105的聚焦透镜驱动单元111的控制信号，估计单元b 715b估计(输出)用于控制用于变焦透镜单元102的变焦透镜驱动单元106的控制信号。估计单元a 715a基于从照相机本体200供给的驱动命令根据变焦透镜102的位置确定聚焦透镜单元105的目标位置，并输出(生成)基于目标位置的用于控制用于聚焦透镜单元105的聚焦透镜驱动单元111的控制信号。估计单元a 715a初步保持指示被摄体距离、变焦透镜102的位置和聚焦透镜单元105的位置之间的关系的表信息，并基于该表信息确定聚焦透镜单元105的目标位置。被确定的聚焦透镜单元105的目标位置被输入到学习机器学习参数的nn算法中。接收到作为估计单元a 715a的输出的控制信号的焦透镜驱动单元111使聚焦透镜单元105沿着光轴移动。通过对照，估计单元b 715b获得用于控制用于变焦透镜102的变焦透镜驱动单元106的控制信号，并且接收到作为估计单元b 715b的输出的控制信号的变焦透镜驱动单元106使变焦透镜102沿着光轴移动。存储单元114存储用于估计单元a 715a和估计单元b 715b中的各个的经训练的机器学习参数。
[0092]
接下来，描述根据第二示例性实施例的由学习单元703执行的机器学习参数学习方法(用于生成经训练的机器学习模型的方法)与第一示例性实施例的方法的不同之处。估计单元a 715a、控制单元a 716a和学习单元a 703a在变焦透镜单元102的控制中起作用，估计单元b 715b、控制单元b 716b和学习单元b 703b在聚焦透镜单元105的控制中起作用。
[0093]
图7例示了向变焦用神经网络的输入和来自变焦用神经网络的输出。图7中例示的示例是估计单元a 715a中的神经网络(机器学习模型)。下面描述要被输入的信息(x1至x6)。x1代表由控制单元116确定的聚焦透镜单元105的目标位置。x2代表从聚焦透镜检测单元112获得的聚焦透镜单元105的实际位置(当前位置)。x3代表透镜装置100的焦点深度。x4代表透镜装置100聚焦敏感度。x5代表由控制单元116确定的变焦透镜单元102的目标位置。
x6代表从变焦透镜检测单元107获得的变焦透镜单元102的实际位置。x4(聚焦敏感度)是用于根据聚焦透镜单元105的偏移量获得像面偏移量的信息(值)。要被输出的信息y2是用于控制用于变焦透镜单元102的变焦透镜驱动单元106的控制信号。从以上显而易见，在输出用于变焦透镜单元102的控制信号时，关于作为与变焦透镜单元102不同的透镜单元的聚焦透镜单元105的信息被输入到神经网络(机器学习模型)。
[0094]
图8例示了向聚焦用神经网络的输入和来自聚焦用神经网络的输出。图8中例示的示例是估计单元b 715b中的神经网络(机器学习模型)。下面描述要被输入的信息(x1至x6)。x1代表由控制单元116确定的聚焦透镜单元105的目标位置。x2代表从聚焦透镜检测单元112获得的聚焦透镜单元105的实际位置(当前位置)。x3代表透镜装置100的焦点深度。x4代表透镜装置100聚焦敏感度。x5代表由控制单元116确定的变焦透镜单元102的目标位置。x6代表从变焦透镜检测单元107获得的变焦透镜单元102的实际位置。要被输出的信息y1是用于控制用于聚焦透镜单元105的聚焦透镜驱动单元111的控制信号。x4(聚焦敏感度)用于根据变焦透镜单元102的偏移量获得像面偏移量的信息(值)。从以上显而易见，在输出用于聚焦透镜单元的控制信号时，关于作为与聚焦透镜单元105不同的透镜单元的变焦透镜单元102的信息被输入到神经网络(机器学习模型)。
[0095]
可以由pc 400中的学习单元a 703a和学习单元b 703b以及处理器113中的估计单元a 715a和估计单元b 715b执行机器学习模型(机器学习参数)生成方法。该方法的过程与第一示例性实施例的过程类似。
[0096]
<本示例性实施例的有益效果>
[0097]
根据本示例性实施例的如上所述的两个不同的经训练的机器学习模型(神经网络)被分别合并到对变焦透镜单元102的控制和对聚焦透镜单元105的控制中，由此使得能够对这两个透镜单元进行相互协作的控制操作。因此，与使变焦透镜单元跟随聚焦透镜单元的现有技术不同，在本示例性实施例中能够实现对变焦透镜单元102和聚焦透镜单元105的相互协作的控制操作。因此，与现有技术不同，通过控制能够实现对聚焦透镜单元105的位置精度不足的补偿或者对变焦透镜单元102的速度不足的补偿。
[0098]
<其他控制目标>
[0099]
在本示例性实施例中描述了聚焦控制，但是协作控制操作不限于聚焦控制。例如，本示例性实施例还适用于聚焦透镜单元105和变焦透镜单元102之间的协作控制操作，用于通过变焦透镜单元102的移动补偿由于聚焦透镜单元105的移动而导致的视角的变化(像场变化)。此外，本示例性实施例还适用于变焦透镜单元102和孔径光阑之间的协作控制操作，用于通过调整孔径光阑的开口度补偿由于变焦透镜单元102的移动而导致的f数的变化。此外，本示例性实施例还适用于用于进行图像抖动校正的多个控制系统之间的协作控制操作，诸如用于图像抖动校正的多个图像抖动校正透镜之间的协作控制操作、图像抖动校正透镜单元104与图像抖动校正摄像元件之间的协作控制操作或图像抖动校正透镜单元104与图像抖动校正图像处理之间的协作控制操作。
[0100]
[第三示例性实施例]
[0101]
<多组控制(一个模型)的示例性实施例>
[0102]
如同第二示例性实施例，第三示例性实施例也涉及用于并行地控制多个透镜单元的系统。第三示例性实施例与第二示例性实施例的不同之处在于，使用单个机器学习模型
(在这种情况下为神经网络)进行用于并行地控制多个透镜单元的处理。下面将描述聚焦控制的示例。
[0103]
本示例性实施例涉及基于两个透镜单元确定摄像条件(在这种情况下为对焦状态或被摄体距离)的情况。在这种情况下，单个机器学习模型(在这种情况下为神经网络)接收关于两个透镜单元的信息作为输入，并输出用于控制用于这两个透镜单元的驱动单元的控制信号。图9是例示根据第三示例性实施例的学习用系统的构造示例的框图。下面将描述第三示例性实施例与第一和第二示例性实施例的不同之处。处理器113中包括的估计单元815包括单个机器学习模型(在这种情况下为神经网络)。要被输入到神经网络的关于透镜装置100的信息包括关于变焦透镜单元102和聚焦透镜单元105的位置信息，要从神经网络输出的信息指示用于控制用于这两个透镜单元的驱动单元的控制信号。基于这些控制信号并行地控制变焦透镜单元102和聚焦透镜单元105。
[0104]
如上所述，估计单元815分别并行地输出针对变焦透镜单元102的控制信号和聚焦透镜单元105的控制信号。基于控制信号，聚焦透镜驱动单元111使聚焦透镜105沿着光轴移动并且变焦透镜驱动单元106使变焦透镜102沿着光轴移动。存储单元114存储估计单元815要使用的经训练的机器学习参数。
[0105]
现在将描述根据第三示例性实施例的学习单元803要执行的机器学习参数学习方法(用于生成经训练的机器学习模型的方法)与第一示例性实施例的方法的不同之处。估计单元815基于预定的特定的改变模式将用于生成针对变焦透镜驱动单元106和聚焦透镜驱动单元111的命令的学习程序合并。在学习程序程序运行时输入到估计单元815的信息和从估计单元815输出的信息作为日志被获得。图10例示了向神经网络的输入和来自神经网络的输出。现在将在下面描述关于向神经网络的输入的信息的示例。x1代表由控制单元116确定的针对聚焦透镜单元105的命令。x2代表从聚焦透镜检测单元112获得的聚焦透镜单元105的实际位置(当前位置)。x3代表透镜装置100的焦点深度。x4代表上述透镜装置100的聚焦敏感度。x5代表由控制单元116确定的针对变焦透镜单元102的命令。x6代表从变焦透镜检测单元107获得的变焦透镜单元102的实际位置。x7代表与变焦透镜单元102的移动相关联的聚焦敏感度(“聚焦敏感度”通过用[变焦透镜单元的偏移量]替换上述式(1)中的[聚焦透镜单元的偏移量]而获得)。y1代表针对聚焦透镜驱动单元111的控制信号。y2代表针对变焦透镜驱动单元106的控制信号。pc 400的学习单元803和处理器113的估计单元815能够执行上述经训练的机器学习模型生成方法。生成(学习)处理的过程与第一示例性实施例(图5)类似。
[0106]
<本示例性实施例的有益效果>
[0107]
根据本示例性实施例，能够通过使用单个机器学习模型(神经网络)进行使用两个透镜单元的协作控制操作。如果存在与变焦透镜单元102的控制和聚焦透镜单元105的控制相同的一些处理，能够将这些处理整合到神经网络中的一个处理中，这使得处理器113的负荷减轻。因此，就估计单元815的处理时间减少而言，本示例性实施例比第二示例性实施例更有利。此外，就协作控制操作的同步性而言本示例性实施例是有利的。
[0108]
<其他控制目标>
[0109]
在本示例性实施例中描述了聚焦控制，但是协作控制操作不限于聚焦控制。在这个方面，第三示例性实施例与第二示例性实施例类似。
[0110]
[第四示例性实施例]
[0111]
<针对辅助控制的示例性实施例>
[0112]
图11是例示根据第四示例性实施例的学习用系统的构造示例的框图。第四示例性实施例与上述示例性实施例的不同之处在于，透镜微计算机113包括对聚焦透镜单元105进行pid控制的控制单元1516和对控制单元1516要执行的控制进行辅助控制操作的估计单元1515。下面将描述聚焦控制的示例。
[0113]
通过使用pid控制难以进行与透镜装置100的各种状态或使用环境，例如关于透镜装置100的定向和温度、作用于透镜装置100的重力以及透镜装置100的各个驱动单元的润滑剂，相适应的控制。当驱动目标的运动开始和停止时，动摩擦和静摩擦切换，因此难以进行精确和稳定的控制。在摄像装置中，查看在有这种困难的控制下而获得的视频图像的查看者可能感觉不舒服。根据本示例性实施例，鉴于这种困难，在本示例性实施例就控制操作的稳定性和精确度而言不利的情况下，例如在运动开始或停止时，进行使用机器学习模型(在这种情况下为神经网络)的辅助控制操作。
[0114]
第四示例性实施例与第一示例性实施例不同之处在于配设聚焦控制单元1516、估计单元1515、pc通信单元1522和学习单元1503。下面将描述根据第一示例性实施例的构造示例与图11例示的构造示例的不同之处。
[0115]
<根据本示例性实施例的聚焦控制>
[0116]
根据第四示例性实施例的聚焦控制与根据第一示例性实施例的聚焦控制的不同之处在于透镜微计算机113包括控制单元1516和估计单元1515。将参照图13描述根据本示例性实施例的控制单元1516。图13例示了根据第四示例性实施例的控制系统的构造示例。在图13中，g1代表从通信单元117输出的用于聚焦透镜驱动单元111的目标位置。p1代表从聚焦透镜检测单元112获得的聚焦透镜单元105的实际位置(当前位置)。e1代表g1和p1之间的差(偏差)。控制单元1516包括进行p
‑
控制处理的p
‑
控制器1516a、进行i
‑
控制处理的i
‑
控制器1516b和进行d
‑
控制处理的d
‑
控制器1516c。o1代表针对聚焦透镜驱动单元111的控制信号。x1、x2、x3和x4与图5中例示的一致。y1代表使得来自控制单元1516的输出(控制信号)o1在控制处理的精确度和稳定性方面有利的、来自机器学习模型的输出。σ1代表用于获得偏差e1的算数单元(减法器)。σ2代表用于通过将来自控制器1516a至1516c的输出相加而获得控制信号o1的算数单元(加法器)。
[0117]
控制单元1516生成目标位置g1与实际位置p1之间的偏差e1。p
‑
控制器1516a输出通过将偏差e1乘以特定增益而获得的值。i
‑
控制器1516b输出通过将偏差e1的积分值乘以特定增益而获得的值。d
‑
控制器1516c输出通过将偏差e1的微分值乘以特定增益而获得的值。估计单元1515基于x1、x2、x3和x4输出y1的方法与根据第一示例性实施例的方法类似。在控制单元1516中，算数单元σ2将来自p
‑
控制器1516a的输出、来自i
‑
控制器1516b的输出、来自d
‑
控制器1516c的输出和来自估计单元1515的输出y1相加，以获得控制信号o1，并将获得的控制信号输出。以这种方式控制聚焦透镜单元105。
[0118]
这里，算数单元σ2可以基于特定条件确定是否加上来自估计单元1515的输出y1。例如，基于指示是否正在拍摄照相机本体200的处理器205的运动图像的信息，当拍摄运动图像时，可以加上输出y1，或者在其他情况下不加输出y1。在拍摄聚焦透镜单元105的运动开始或停止时可以被拍摄的运动图像的情况下，可以加上来自估计单元1515的输出y1以实
现聚焦透镜单元105的运动开始或停止时的平滑运动。利用该构造，能够减少处理器113的处理负荷。此外，如果速度不均匀易于被注意的聚焦透镜单元105以低于阈值的速度移动，则加上来自估计单元1515的输出y1。此外，如果焦点深度小于或等于阈值，因此可能期望获得更高的位置精确度，则可以加上来自估计单元1515的输出y1。此外，在运动图像的记录期间可以加上来自估计单元1515的输出y1。
[0119]
<用于生成经训练的机器学习参数(机器学习模型)的方法>
[0120]
根据本示例性实施例的生成方法与根据第一示例性实施例的方法的不同之处在于，处理器113中的估计单元151和通信单元1522的构造和pc 400中学习单元1503的构造。机器学习的目标和估计单元1515的操作目标限于如上所述移动聚焦透镜单元105的特定情况。例如，学习用程序可以在本地重复开始或停止聚焦透镜单元105的运动。此外，该程序使得能够在不同的状态或环境下执行学习，例如，关于透镜装置100的定向和温度。
[0121]
本示例性实施例与上述示例性实施例的不同之处还在于关于要从通信单元1522发送到通信单元404的日志的信息。该日志不仅包括向估计单元115的输入和来自估计单元115的输出，还包括向控制单元1516的输入和来自控制单元1516的输出。该学习方法除了上述的点之外与根据第一示例性实施例的方法类似。
[0122]
<本示例性实施例的有益效果>
[0123]
根据本示例性实施例，对于透镜控制，可以将使用机器学习模型的控制和其他控制组合。因此，通过限制机器学习模型的学习范围可以减少学习用时间，或者通过减小机器学习模型的大小可以减少估计单元115的处理时间。此外，例如，在需要高度精确控制场景的情况下，应用使用机器学习模型的控制，而在其他情况下，使用其他控制，因此减少处理器113的处理负荷和电力消耗。
[0124]
<其他控制目标>
[0125]
在本示例性实施例中，描述了聚焦控制，但是辅助控制操作不限于聚焦控制。就这一点而言本示例性实施例与第二示例性实施例类似。例如，在变焦控制中，如果以低于阈值的速度进行变焦(移动变焦透镜单元102)，在该速度下速度的不均匀容易被注意到，则进行辅助控制操作(加上估计单元115的输出)。
[0126]
虽然本示例性实施例例示了将pid控制与机器学习模型结合的示例，但是也可以结合不同的机器学习模型。可以将多个不同的机器学习模型，诸如与运动开始的情况对应的和与运动停止的情况对应的两个学习模型可以与其他控制诸如pid控制进行结合。
[0127]
<程序、存储介质和数据结构的示例性实施例>
[0128]
本实施例的方面还可以通过如下的处理实施：将用于实施根据上述示例性实施例的一个或更多个功能的程序或数据结构经由网络或存储介质提供给系统或装置，并且系统或装置中的计算机读取并执行该程序。计算机包括一个或更多个处理器或电路。计算机可以包括多个分立的计算机、多个分立的处理器或电路或电路网络以读取并执行计算机可执行指令。
[0129]
处理器或电路可以包括cpu、微处理单元(mpu)、gpu、专用集成电路(asic)和现场可编程门电路(fpga)。此外，处理器或电路可以包括数字信号处理器(dsp)、数据流处理器(dfp)和神经处理单元(npu)。
[0130]
以上描述了本公开的示例性实施例。然而，本公开不限于上述示例性实施例，并且
可以在实施例的方面的范围内做各种变形和改变。
[0131]
另外，可以通过读出并执行记录在储存介质(也可更完整地称为“非临时性计算机可读储存介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述储存介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)，微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述储存介质被提供给计算机。所述储存介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)
tm
)、闪存设备以及存储卡等中的一个或更多个。
[0132]
其他实施例
[0133]
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0134]
虽然已经参考示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释，以涵盖所有这类变型例以及等同的结构和功能。