具备事件相机的摄像装置的制作方法

具备事件相机的摄像装置
1.本案是分案申请，其母案为于2020年10月16日提交的发明名称为“具备事件相机的摄像装置”、申请号为202011110893.7的申请。
技术领域
2.本发明涉及具备用于光学地拍摄被摄体的光学系统以及摄像元件的摄像装置，特别涉及具备事件相机(event based camera)的摄像装置。


背景技术：

3.近年来，作为更加高速地生成测量对象物的光学图像的技术，已知在下述专利文献1中公开的事件相机。该事件相机是从生物的视网膜结构受到启发而开发的亮度值差分输出相机，其构成为针对每个像素感测亮度的变化并输出其坐标、时间、以及亮度变化的极性。
4.根据这种结构，事件相机具有如下特征，即不像以往的相机那样输出没有亮度变化的像素信息即冗余的数据，因此能够通过实现数据通信量的减轻和图像处理的轻量化等，更加高速地生成测量对象物的图像。
5.现有技术文献
6.专利文献
7.专利文献1：美国专利申请公开第2016/0227135号说明书


技术实现要素：

8.本发明所要解决的技术问题
9.然而，利用通常的光学相机取得的图像数据的各像素必定具有某种亮度信息，使用该亮度信息的自动对焦功能作为标准功能搭载于多数相机上。另一方面，在事件相机中，即使能取得与亮度的变化相应的事件数据也无法取得亮度信息本身，因此无法采用利用亮度信息的自动对焦功能。因此，存在如下问题：即使是事件相机，由于不合焦，当测量对象物被模糊地拍摄时，测量对象物的光被分散，因此无法准确地获得事件数据。
10.本发明是为了解决上述技术问题而提出的，其目的在于使具有事件相机的摄像装置具有自动对焦功能，特别是，其第一具体目的在于提供一种无需利用亮度信息就具有自动对焦功能的摄像装置。
11.另外，第二具体目的在于提供一种无需利用从摄像元件输出的事件数据就具有自动对焦功能的摄像装置。
12.用于解决技术问题的技术方案
13.为了达成上述第一具体目的，一个示例性的结构所涉及的摄像装置(10)的特征在于，具备：
14.摄像元件(21)，输出包含与通过受光透镜(22)受光时存在亮度变化的像素相对应地确定该像素的位置的二维点数据在内的事件数据；
15.调整机构(23)，用于调整所述受光透镜的焦点位置；
16.控制部(11)，对所述调整机构进行驱动控制；以及
17.点密度计算部(11)，在正由所述调整机构调整所述受光透镜的焦点位置的状态下，计算点密度，所述点密度相当于分别将在一定期间内从所述摄像元件输出的多个所述事件数据的所述二维点数据作为点绘制在规定的平面上时的点的密度，
18.当由所述点密度计算部计算出所述点密度时，所述控制部根据该点密度与过去计算出的所述点密度的比较结果对所述调整机构进行驱动控制，从而向合焦位置调整所述焦点位置。
19.这样，在正由调整机构调整受光透镜的焦点位置的状态下，由点密度计算部计算相当于分别将在一定期间内从摄像元件输出的多个事件数据的二维点数据作为点绘制在规定的平面上时的点的密度的点密度。而且，当由点密度计算部计算出点密度时，由控制部根据该点密度与过去计算出的点密度的比较结果对调整机构进行驱动控制，从而向合焦位置调整焦点位置。由此，能够使具有事件相机的摄像装置具有自动对焦功能。
20.在跑焦的状态(焦点位置偏离合焦位置的状态)下，分别将在一定期间内从摄像元件输出的多个事件数据的二维点数据作为点绘制在规定的平面上的情况下，测量对象物的边缘模糊，因此点数据容易分散。另一方面，在合焦的状态(焦点位置与合焦位置一致的状态)下，分别将在一定期间内从摄像元件输出的多个事件数据的二维点数据作为点绘制在规定的平面上的情况下，测量对象物的边缘清晰，因此二维点数据的点密度变高。即，焦点的偏移量越小，二维点数据的点密度越高。
21.因此，在获得本次计算出的点密度比过去计算出的点密度高的比较结果的情况下，视作焦点位置正向合焦位置调整，而以维持调整方向的方式对调整机构进行驱动控制。另外，在获得本次计算出的点密度比过去计算出的点密度低的比较结果的情况下，视作焦点位置正以远离合焦位置的方式调整，而以使调整方向切换到相反侧的方式对调整机构进行驱动控制。这样，能够利用事件数据调整焦点位置，因此无需利用亮度信息就能够实现自动对焦功能。
22.进一步，例如，在上述结构中，当由点密度计算部计算出点密度时，仅在该点密度与过去计算出的点密度的差大于等于规定值的情况下，由控制部对调整机构进行驱动控制。由此，在本次计算出的点密度与过去计算出的点密度的差小于上述规定值的情况下，即，例如，在如大致合焦的情况下不驱动调整机构，因此能够抑制不必要的对焦点位置的调整。
23.为了达成上述第二具体目的，一个示例性的结构所涉及的摄像装置(10a)的特征在于，具备：
24.摄像元件(21)，输出包含与通过受光透镜(22)受光时亮度变化大于等于规定的阈值的像素相对应地确定该像素的位置的二维点数据在内的事件数据；
25.调整机构(23)，用于调整所述受光透镜的焦点位置；
26.控制部(11)，对所述调整机构进行驱动控制；
27.偏移量检测部(25)，在通过所述受光透镜受光时，通过相位差af(autofocus；自动对焦)方式检测该受光透镜距离合焦位置的偏移量；以及
28.分光部(24)，对从所述受光透镜射向所述摄像元件的光的一部分进行分光并使所
述偏移量检测部受光，
29.所述控制部根据由所述偏移量检测部检测出的所述偏移量对所述调整机构进行驱动控制，从而向合焦位置调整所述焦点位置。
30.根据该结构，采用一种摄像元件，其输出包含与通过受光透镜受光时亮度变化大于等于规定的阈值的像素相对应地确定该像素的位置的二维点数据在内的事件数据。而且，从受光透镜射向摄像元件的光的一部分被分光部分光，在接收到该被分出的光的偏移量检测部中，受光时通过相位差af方式检测该受光透镜距离合焦位置的偏移量。由控制部根据该检测出的偏移量对调整机构进行驱动控制，从而向合焦位置调整焦点位置。由此，也能够使具有事件相机的摄像装置具有自动对焦功能。
31.这样，能够利用由分光部分出的光检测受光透镜距离合焦位置的偏移量并调整焦点位置，因此无需利用从摄像元件输出的事件数据就能够实现自动对焦功能。
32.此外，上述各括号内的附图标记表示与将在后面进行说明的实施方式所记载的具体手段的对应关系。
附图说明
33.图1是表示第一实施方式所涉及的摄像装置的概略结构的框图。
34.图2是说明测量对象物的形状的说明图。
35.图3a是说明绘制了二维点数据的状态的说明图，其中二维点数据是通过在大致合焦的状态下向摄像装置侧移动图2所示的测量对象物并且进行拍摄来获得的，图3b是放大示出图3a的x1部分的放大图。
36.图4a是说明绘制了二维点数据的状态的说明图，其中二维点数据是通过在跑焦的状态下向摄像装置侧移动图2所示的测量对象物并且进行拍摄来获得的，图4b是放大示出图4a的x2部分的放大图。
37.图5是说明绘制了二维点数据的一部分的状态的说明图，其中二维点数据是通过在测量对象物未移动的情况下调整焦点位置来输出的。
38.图6是示例出由摄像装置的控制部进行的焦点位置调整处理的流程的流程图。
39.图7是示出第二实施方式所涉及的摄像装置的概略结构的框图。
40.图8是比较被半反射镜分光的状态下的亮度变化与不被分光的状态下的亮度变化的说明图。
41.图9a、图9b是说明第三实施方式所涉及的摄像装置的图，图9a是示例出测量对象物的说明图，图9b是说明在接收到来自图9a的测量对象物的光的情况下，在合焦的状态下测定的亮度的随位置变化与在跑焦的状态下测定的亮度的随位置变化的说明图。
42.图10a是说明在合焦的状态下，在图9a所示的测量对象物向附图右方向移动的情况下变化的亮度的随位置变化的说明图，图10b是说明在跑焦的状态下，在图9a所示的测量对象物向附图右方向移动的情况下变化的亮度的随位置变化的说明图，图10c是示例出在图10b的受光状态下阈值变更前的输出事件数据的范围的说明图，图10d是示例出在图10b的受光状态下阈值变更后的输出事件数据的范围的说明图。
43.附图标记说明
44.10：摄像装置
45.11：控制部(点密度计算部)
46.21：摄像元件
47.22：受光透镜
48.23：调整机构
49.24：半反射镜(分光部)
50.25：相位差af传感器(偏移量检测部)
具体实施方式
51.【第一实施方式】
52.以下，参照图1～图6，对具体化本发明的摄像装置的第一实施方式进行说明。
53.本实施方式所涉及的摄像装置10是作为所谓的事件相机(event based camera)发挥功能的装置。该摄像装置10构成为检测包含与存在亮度变化的二维图像的像素各自相对应地确定该像素的位置的数据、时间和亮度变化的极性(正、负)的事件数据。进一步，该摄像装置10构成为制作将这样在一定期间内输出的多个事件数据绘制在给定的平面(规定平面)上的二维点数据，并将该二维点数据生成为拍摄了测量对象物的图像数据。另外，规定平面sh是指后述的存储部12的存储区域中设定的运算上的二维面，同时是在显示部15上显示时的显示图像面(参照图2)。
54.如图1所示，摄像装置10包括具备cpu(central processing unit；中央处理器)等的控制部11以及作为一例具备ram(random access memory；随机存取存储器)、rom(read-only memory；只读存储器)、主存储器等半导体存储器的存储部12。除此之外，摄像装置10还具备通过该控制部11控制显示内容的显示部13、向控制部11输出与输入操作相应的操作信号的操作部14、用于与外部设备等进行通信的通信部15等。
55.这些要素11～15作为一例构成为计算机cpt，并且构成为通过运算装置读取预先保存在rom中的各种程序，将其按照时序并且作为一例，每规定时间反复执行，从而发挥所期望的功能。该程序也包括后述的焦点位置调整处理用的程序。
56.另外，摄像装置10作为摄像部具备摄像元件21、作为一例使用光学透镜的受光透镜22、调整机构23等。摄像元件21构成为，向控制部11输出包含与通过受光透镜22受光时存在亮度变化的像素相对应地确定该像素的位置的点数据的事件数据。即，摄像元件21以如下方式发挥功能：向控制部11输出与存在亮度变化的一个或多个像素各自相对应的事件数据(二维点数据、时间、亮度变化的极性)，而关于不存在亮度变化的像素不输出点数据。另外，在本实施方式中，确定各像素的位置的点数据被绘制在规定平面sh(参照图2)上时所呈现的点数据的分布(集合)称作二维点数据。该平面sh的纵轴和横轴所确定的位置对应于摄像元件21的摄像范围的各像素的位置。
57.调整机构23是用于调整受光透镜22的焦点位置的公知的机构，由控制部11驱动控制，通过向沿着光軸la的方向(调整方向)的一侧或者另一侧机械地移动受光透镜22，来调整受光透镜22的焦点位置。
58.在这样构成的摄像装置10中，通过由控制部11(即具备cpu的运算装置)进行的焦点位置调整处理，利用从摄像元件21输出的事件数据朝向合焦位置自动地调整受光透镜22的焦点位置。
59.以下，参照附图，对由控制部11进行的焦点位置调整处理进行详细说明。此外，图2是说明测量对象物r的形状的说明图。图3a是说明绘制了通过在大致合焦的状态下向摄像装置10侧移动图2所示的测量对象物r并且进行拍摄来获得的点数据的状态的说明图，图3b是放大示出相当于图3a的一个块(将规定的平面sh划分时的一个区域)的x1部分的放大图。图4a是说明绘制了通过在跑焦的状态向摄像装置10侧移动图2所示的测量对象物r并且进行拍摄来获得的点数据的状态的说明图，图4b是放大示出相当于图4a的1块的x2部分的放大图。
60.在从摄像元件21输出到控制部11的事件数据中不包含亮度信息，因此无法实施利用亮度信息的自动对焦。因此，在本实施方式中，在由控制部11进行的焦点位置调整处理中，计算相当于分别将在一定期间内从摄像元件21输出的多个事件数据的点数据pd作为点绘制在规定的平面sh上时的二维点数据的点的密集度的点密度，调整受光透镜22的焦点位置，使得该点密度变高。另外，摄像元件21将各个点数据附加给阈值处理，生成事件数据。此外，进行计算上述点密度的处理的控制部11可相当于“点密度计算部”的一例。
61.具体而言，例如，将上述规定的平面sh划分为既定个数的二维块，对于事件数据的个数大于等于规定个数的块，使用最近距离法根据以下的式(1)针对每个块关于二维点数据(二维绘制的点数据pd：赋予与一个点数据pd同样的附图标记)计算平均最近距离w，计算出各平均最近距离w的平均值作为点密度。而且，调整受光透镜22的焦点位置，使得该计算出的点密度变高。
62.[式1]
[0063][0064]
其中，di为从点i到最近点的距离，n为点的个数。
[0065]
以下，对于调整受光透镜22的焦点位置使得这样计算出的点密度变高的理由进行说明。
[0066]
在跑焦的状态(焦点位置偏离合焦位置的状态)下，分别将在一定期间内从摄像元件21输出的多个事件数据的点数据pd作为点绘制在规定的平面sh上的情况下，测量对象物r的边缘变模糊，因此二维点数据pd容易分散。另一方面，在合焦的状态(焦点位置与合焦位置一致的状态)下，分别将在一定期间内从摄像元件21输出的多个事件数据的点数据pd作为点绘制在规定的平面sh上的情况下，测量对象物r的边缘变清晰，因此二维点数据pd的点密度变高。
[0067]
例如，设想移动受光透镜22调整焦点位置，并且如图2所示，拍摄在白色的背景下使黑色的圆形的测量对象物r向摄像装置10侧移动的状态的情况。在这种拍摄状态下，以使黑色的圆形相对于白色的背景逐渐地变大的方式被拍摄，因此在测量对象物r的边缘部分，获得向负亮度的变化(以下称作负亮度变化)的二维点数据pd。即，当像素从白色转换为黑色时，成为负亮度变化，能够针对每个像素获得包含亮度变化的极性示出负值的数据的事件数据。
[0068]
在此，在大致合焦的情况下，测量对象物r的边缘部分变清晰，因此如图3a、图3b所
示，以沿着相当于实际的边缘部分的线re(图3b的点划线)的方式获得点密度较高的二维点数据pd。相对于此，在跑焦的情况下，测量对象物r的边缘部分变模糊，因此如图4a、图4b所示，以偏离相当于实际的边缘部分的线rr(图4b的点划线)的方式获得点密度较低的二维点数据pd。即，根据图3以及图4可知，焦点的偏移量越小，二维点数据pd的点密度越高。
[0069]
另外，在测量对象物未移动的情况下，也为了调整焦点位置而移动受光透镜22，从而在相当于测量对象物的边缘部分的位置，亮度发生变化，因此根据该亮度变化输出事件数据。例如，在以黑色的背景拍摄白色的测量对象物的情况下，如图5的(a)～图5的(e)所示，在作为测量对象物与背景的边界的边缘部分(参照图5的附图标记re)，分别获得多个负亮度变化的二维点数据pd(参照图5的黑色矩形)与向正的亮度变化(以下称作正亮度变化)的二维点数据(参照图5的白色矩形)。在此，正亮度变化是当像素从黑色转换为白色时亮度变化的极性示出正值的数据，能够按照每个像素获得包含该数据的事件数据。
[0070]
此时，在跑焦较多的情况下，边缘部分变模糊而在黑色的点数据pd与白色的点数据pd之间由于散景(bokeh)而形成具有一定宽度的灰色范围。因此，如图5的(a)所示，在灰色范围的、与黑色范围相接的部分获得负亮度变化的二维点数据pd，在灰色范围的、与白色范围相接的部分获得正亮度变化的二维点数据pd。
[0071]
而且，在以使焦点位置向合焦位置去的方式调整的情况下，上述灰色范围的宽度变化为较窄，因此如图5的(b)所示，以负亮度变化的二维点数据组(表示点数据pd的集合体的分布)与正亮度变化的二维点数据组彼此靠近的方式取得。进一步，通过以使焦点位置向合焦位置去的方式调整，如图5的(c)所示，负亮度变化的二维点数据组与正亮度变化的二维点数据组进一步靠近，当焦点位置与合焦位置大致一致时，如图5的(d)所示，以负亮度变化的二维点数据组与正亮度变化的二维点数据组位于实际的边缘部分上的方式取得。而且，当焦点位置超过合焦位置而移动时，如图5的(e)所示，以负亮度变化的二维点数据组与正亮度变化的二维点数据组的位置调换的方式取得。这样，在测量对象物未移动的情况下，也在焦点位置与合焦位置大致一致的状态下(参照图5的(d))，二维点数据pd的点密度变高，当焦点位置远离合焦位置时，二维点数据的点密度pd变低。
[0072]
因此，在本实施方式中，在由控制部11进行的焦点位置调整处理中，在以对调整机构23进行驱动控制使受光透镜22沿着光轴la移动的方式调整焦点位置时，根据计算出的二维点数据pd的点密度控制受光透镜22的调整方向。具体而言，在本次计算出的点密度比过去计算出的点密度高的情况下，视作正以焦点位置向合焦位置去的方式调整，从而维持调整方向，在本次计算出的点密度比过去计算出的点密度低的情况下，视作正以焦点位置远离合焦位置的方式调整，从而将调整方向切换到相反侧。
[0073]
以下，参照图6所示的流程图，对由控制部11进行的焦点位置调整处理进行详细说明。
[0074]
当由控制部11开始焦点位置调整处理时，在根据调整机构23的驱动控制，为了调整焦点位置而向既定的方向(例如调整方向一侧)开始移动受光透镜22的状态下(s101)，进行步骤s103所示的绘制数据制作处理。在该处理中，分别将在一定期间(例如，100μs)内从摄像元件21输出的多个事件数据的二维点数据pd作为点绘制在规定的平面sh上。
[0075]
接下来，进行步骤s105所示的点密度计算处理，作为点密度计算出关于如上述那样绘制的各点针对每个块计算出的各平均最近距离w的平均值。
[0076]
接下来，在步骤s107的判断处理中，判断本次计算出的点密度是否比如将在后面进行说明的那样存储在存储部12中的上一次计算出的点密度高。此外，在上述判断处理中，不局限于比较本次计算的点密度与上一次计算的点密度，例如，也可以与上上一次计算的点密度进行比较。即，在上述判断处理中，比较本次计算出的点密度与过去计算出的点密度。
[0077]
在此，当本次计算出的点密度比上一次计算出的点密度高时(在s107中为是)，如上所述，视作焦点位置正向合焦位置调整，以维持受光透镜22的移动方向的方式对调整机构23进行驱动控制(s109)。然后，在将本次计算出的点密度作为上一次计算出的点密度存储于存储部12(s113)之后，进行从上述步骤s103开始的处理。
[0078]
另一方面，当本次计算的点密度比上一次计算的点密度低时(在s107中为否)，如上所述，视作正以焦点位置远离合焦位置的方式调整，从而将受光透镜22的移动方向切换为反方向(如果向调整方向一侧移动，则为调整方向另一侧)(s111)。然后，在将本次计算出的点密度作为上一次计算出的点密度存储于存储部12(s113)之后，进行从上述步骤s103开始的处理。
[0079]
作为一例，上述的图6的处理每隔一定时间反复执行。
[0080]
这样，调整焦点位置使得点密度进一步变高，成为焦点位置大致与合焦位置一致的状态，受光透镜22的位置稳定。更加准确地说，在焦点位置大致与合焦位置一致的状态下，受光透镜22微小地进行往返移动。
[0081]
如以上说明的那样，在本第一实施方式所涉及的摄像装置10中，在由控制部11进行的焦点位置调整处理中，在由调整机构23调整受光透镜22的焦点位置的状态下，计算相当于分别将在一定期间内从摄像元件21输出的多个事件数据的二维点数据pd作为点绘制在规定的平面上时的点的密度的点密度。然后，当计算出点密度时，根据该点密度与上一次计算的点密度的比较结果由控制部11对调整机构23进行驱动控制，从而向合焦位置调整焦点位置。
[0082]
即，在获得本次计算出的点密度比上一次计算出的点密度变高的比较结果的情况下，视作焦点位置正向合焦位置调整，从而以维持调整方向的方式调整机构23进行驱动控制。另外，在获得本次计算出的点密度比上一次计算出的点密度变低的比较结果的情况下，视作正以焦点位置远离合焦位置的方式调整，从而以将调整方向切换到相反侧的方式对调整机构23进行驱动控制。这样，能够利用事件数据调整焦点位置，因此无需利用亮度信息就能够实现自动对焦(af)功能。由此，能够使具有事件相机的摄像装置具有自动对焦功能。
[0083]
特别是，利用事件数据调整焦点位置，因此无需另外设置焦点位置调整用的光学系统等，因此能够实现可实现自动对焦功能的摄像装置10的小型化。进一步，由于与以往相机的对比度af比较，处理的像素数据量小即可解决，因此能够缩短数据转送时间，能够实现处理的高速化。另外，无需为了自动对焦而进行亮度变换或者亮度信息的取得，因此能够更加高速地实施自动对焦所需的调整机构23的驱动控制。而且，能够确保以往相机的对比度af不擅长的、对于向移动的测量对象物的自动对焦的优越性。在事件相机的情况下，由于仅获得存在动作的测量对象物的边缘周边信息因此处理的数据量少，因为按照μ秒单位输出事件数据的高帧率性，能够缩短从检测测量对象物的动作到自动对焦为止的时间。
[0084]
另外，在本实施方式中，上述规定的平面被划分为既定个数的块，对于事件数据的
个数大于等于规定个数的块，针对每个块计算相当于点密度的值并对其取平均来计算点密度。这样，与对于全部的块计算相当于点密度的值的情况比较，对于事件数据的个数大于等于规定个数块，计算相当于点密度的值，不仅能够减轻处理负载，还能够将仅包含噪声的的块不作为计算对象。由此，能够适当地计算点密度，更加提高调整精度。
[0085]
此外，本发明不局限于上述第一实施方式，例如，也可以如以下那样具体化。
[0086]
(1)在由控制部11进行的焦点位置调整处理中，为了便于说明，将在一定期间内从摄像元件21输出的多个事件数据的二维点数据绘制在规定的平面上之后计算上述点密度，但是不局限于此，也可以无需进行绘制而直接根据二维点数据计算上述点密度。另外，也可以由作为计数部发挥功能的控制部11对在一定期间内从摄像元件21输出的事件数据的个数进行计数，并在该被计数的个数大于等于规定个数的情况下计算点密度。由此，在事件数据的个数小于上述规定个数的情况下，即，在虽不存在测量对象物但检测出噪声的情况下不计算点密度，因此无需不必要地驱动调整机构23，能够抑制不必要的焦点位置的调整。
[0087]
(2)在由控制部11进行的焦点位置调整处理中，使用最近距离法计算上述点密度，但是不局限于此，也可以使用其他的计算方法，例如k函数法和核方法(kernel method)计算上述点密度。另外，在由控制部11进行的焦点位置调整处理中，关于点密度将针对每个块计算出的值取平均并计算为上述点密度，但是不局限于此，也可以使用最近距离法等根据在一定期间内从摄像元件21输出的全部的事件数据的二维点数据计算上述点密度。
[0088]
(3)在由控制部11进行的焦点位置调整处理中，也可以在步骤s107的判断处理中，本次计算出的点密度与上一次计算出的点密度的差大于等于规定值的情况下判断为是，从而进行上述步骤s109以后的处理。即，当通过点密度计算处理来计算出点密度时，仅限于在该点密度与过去计算出的点密度的差大于等于上述规定值的情况下，调整机构23被驱动控制。由此，在本次计算出的点密度与过去计算出的点密度的差小于上述规定值的情况下，即，例如，在大致合焦的情况下调整机构23不被驱动，因此能够抑制不必要的焦点位置的调整。
[0089]
(4)在上述的焦点位置调整处理中的点密度计算处理中，也可以以如下方式计算点密度：使其相当于分别将正亮度变化的事件数据的二维点数据以及负亮度变化的事件数据的二维点数据中的任意一者作为点绘制在规定的平面上时的点的密度。例如，在正亮度变化的二维点数据的输出个数比负亮度变化的二维点数据的输出个数多的情况下，不考虑负亮度变化的二维点数据，而计算相当于分别将正亮度变化的二维点数据作为点绘制在规定的平面时的点的密度的点密度。在合焦的状态下容易分别独立地集中产生正亮度变化的二维点数据与负亮度变化的二维点数据，因此能够通过区别正亮度变化的二维点数据与负亮度变化的二维点数据而对于任意一者计算点密度，来更加提高调整精度。
[0090]
【第二实施方式】
[0091]
以下，参照图7～图8，对具体化本发明的摄像装置的第二实施方式进行说明。
[0092]
此外，在本实施方式以及之后的实施方式中，对于与前述第一实施方式所涉及的摄像装置的结构要素相同或者等同的结构要素赋予相同的参照附图标记，并简化或者省略其说明。
[0093]
该实施方式所涉及的摄像装置10a也与所述摄像装置10同样地，是作为所谓的事件相机发挥功能的装置。该摄像装置10以包含与存在亮度变化的像素相对应地确定该像素
的位置的二维点数据pd、时间和亮度变化的极性方式输出事件数据，，并分别将在一定期间内输出的多个事件数据的二维点数据pd作为点绘制在规定的平面上，生成拍摄了测量对象物的图像数据。
[0094]
如图7所示，摄像装置10a除了包括cpu等的控制部11以及包括半导体存储器等的存储部12之外，还具备通过控制部11控制显示内容的显示部13、向控制部11输出与输入操作相应的操作信号的操作部14、用于与外部设备等进行通信的通信部15等。
[0095]
进一步，摄像装置10a作为摄像部，除了前述的摄像元件21、受光透镜22、以及调整机构23之外，还具备相位差af传感器24、以及半反射镜24。其中，摄像元件21、受光透镜22、以及调整机构23构成为与所述第一实施方式的一样。
[0096]
半反射镜24构成为按照规定的光量衰减比对从受光透镜22射向摄像元件21的光的一部分进行分光并用于使相位差af传感器25受光的分光部。因此，在本实施方式中，根据基于半反射镜24的规定的光量衰减比设定摄像元件21中的上述规定的阈值。
[0097]
以下，参照图8，对根据基于半反射镜24的规定的光量衰减比设定摄像元件21中的上述规定的阈值的理由进行说明。此外，图8是比较被半反射镜24分光的状态下的亮度变化与不被分光的状态下的亮度变化的说明图。
[0098]
在与亮度变化大于等于规定的阈值的像素相对应地输出事件数据的摄像元件21中，即使受光量通过半反射镜24减少，也不会受到传感器噪声的影响。然而，存在由于受光量本身减少而亮度变化幅度减少，从而事件数据的输出频率降低的情况。例如，如图8所示，设想在检测未被分光的状态下的亮度变化作为δl1a的情况下，通过分光按照上述规定的光量衰减比减少受光量并检测亮度变化作为δl1b的情况。在这种情况下，相对于上述规定的阈值，一方面亮度变化δl1a变大，而另一方面亮度变化δl1b变小时，由于分光而事件数据不再被输出。
[0099]
因此，在本实施方式中，根据基于半反射镜24的规定的光量衰减比设定摄像元件21中的上述规定的阈值。具体而言，相对于不分光的情况下的阈值乘以δl1b/δl1a而使其减少，设定上述规定的阈值。由此，能够抑制由于基于半反射镜24的分光引起的事件数据的输出频率的降低。
[0100]
相位差af传感器25是在通过受光透镜22受光时通过相位差af方式检测该受光透镜22距离合焦位置的偏移量的公知的传感器。该相位差af传感器25构成为，在接收到通过半反射镜24分出的光时，向控制部11输出相当于上述偏移量的信号。此外，相位差af传感器25可相当于检测受光透镜22距离合焦位置的偏移量的“偏移量检测部”的一例。
[0101]
在这样构成的摄像装置10a中，在由控制部11进行的焦点位置调整处理中，通过对调整机构23进行驱动控制，使得由相位差af传感器25检测的受光透镜22距离合焦位置的偏移量变小，从而向合焦位置调整受光透镜22的焦点位置。
[0102]
如以上说明的那样，在本实施方式所涉及的摄像装置10a中，采用输出包含与通过受光透镜22受光时亮度变化大于等于规定的阈值的像素相对应地确定该像素的位置的二维点数据在内的事件数据的摄像元件21。而且，通过半反射镜24来对从受光透镜22射向摄像元件21的光的一部分进行分光，在接收到该被分出的光的相位差af传感器25中，受光时通过相位差af方式检测该受光透镜22距离合焦位置的偏移量。通过根据该被检测的偏移量由控制部11对调整机构23进行驱动控制，从而向合焦位置调整受光透镜22的焦点位置。
[0103]
这样，能够利用通过半反射镜24来分出的光检测受光透镜22距离合焦位置的偏移量并调整该焦点位置，因此无需利用从摄像元件21输出的事件数据也能够实现自动对焦功能。由此，也能够使具有事件相机的摄像装置具有自动对焦功能。
[0104]
特别是，根据基于半反射镜24的光量衰减比设定上述规定的阈值，因此通过半反射镜24来减少由摄像元件21接收的光量，由此能够抑制事件数据的输出频率降低。
[0105]
【第三实施方式】
[0106]
接下来，参照图9a、图9b以及图10a～图10d，对本第三实施方式所涉及的摄像装置进行说明。
[0107]
该第三实施方式所涉及的摄像装置本身具有与所述第二实施方式所涉及的摄像装置10a同样的结构。
[0108]
在本第三实施方式中，与上述第二实施方式不同之处主要在于，根据利用相位差af传感器25检测的偏移量变更上述规定的阈值。因此，对于实质上与第二实施方式相同的结构部分赋予相同的附图标记，并省略其说明。
[0109]
此外，图9a是示例出测量对象物的说明图，图9b是说明在接收到来自图9a的测量对象物的光的情况下，在合焦的状态下测定的亮度的随位置变化与在跑焦的状态下测定的亮度的随位置变化的说明图。图10a是说明在合焦的状态下，在图9a所示的测量对象物向附图右方向移动的情况下变化的亮度的随位置变化的说明图，图10b是说明在跑焦的状态下，在图9a所示的测量对象物向附图右方向移动的情况下变化的亮度的随位置变化的说明图，图10c是示例出在图10b的受光状态下阈值变更前的输出事件数据的范围的说明图，图10d是示例出在图10b的受光状态下阈值变更后的输出事件数据的范围的说明图。
[0110]
在采用上述的摄像元件21的结构中，存在当测量对象物移动时，难以合焦从而持续事件数据的输出频率降低的状态的情况。例如，如图9a所示，设想将白黑沿着一个方向波形状地变化的面作为测量对象物并接收来自该面的光的情况。在以静止状态拍摄这种测量对象物的情况下，当以合焦的状态(焦点位置与合焦位置一致的状态)受光时，如图9b所示的亮度l2那样，亮度值以亮度带宽(参照图9b的附图标记δl2m)变宽的方式变化。另一方面，当以跑焦的状态(焦点位置从合焦位置偏离的状态)受光时，散景加大，因此如图9b所示的亮度l3那样，亮度值以亮度带宽(参照图9b的附图标记δl3m)相对于亮度l2变窄的方式变化。
[0111]
因此，在图9a所示的测量对象物向附图右方向移动的情况下，在合焦的状态下，如从图10a可知，亮度变化比较大，在跑焦的状态下，如从图10b可知，亮度变化比较小。例如，在最小亮度值附近，跑焦的状态下的亮度变化(参照图10b的附图标记δl3)比在合焦的状态下的亮度变化(参照图10a的附图标记δl2)小。
[0112]
这样，在测量对象物移动的情况下，在跑焦的状态下，亮度变化比在合焦的状态下小，因此事件数据的输出频率降低。例如，在图10b的受光状态下，亮度变化特别是在最大亮度值附近与最小亮度值附近变小，因此在阈值变更前，如图10c的事件数据输出范围sa所示，在最大亮度值附近以及最小亮度值附近不再输出事件数据。
[0113]
因此，在本实施方式中，通过基于控制部11(参照图7)的摄像元件21的阈值控制，根据利用相位差af传感器25检测的偏移量变更作为在摄像元件21中输出事件数据时的基准的上述规定的阈值。具体而言，例如，如果检测出的偏移量大于等于预先设定的规定量，
则由控制部11对摄像元件21进行阈值控制，使得上述规定的阈值减少规定值的量。此外，对摄像元件21进行上述阈值控制的控制部11可相当于“阈值变更部”的一例。
[0114]
由此，例如，即使是在图10b的受光状态下，在阈值变更后，如图10d的事件数据输出范围sb所示，输出范围比阈值变更前的图10c的事件数据输出范围sa宽，能够提高事件数据的输出频率。即，在偏移量变大的情况下，通过减少上述规定的阈值，在未合焦的状态持续的情况下，也能够抑制事件数据的输出频率的降低。
[0115]
另一方面，在检测出的偏移量小于等于规定量的情况下，即，在大致合焦的情况下，能够通过增加上述规定的阈值，来抑制过多的事件数据的输出。
[0116]
此外，本发明不局限于上述各实施方式等，例如，也可以如以下那样具体化。
[0117]
(1)在上述第二实施方式中，作为在摄像元件21中输出事件数据时的基准的上述规定的阈值也可以变更为，检测出的偏移量越大，其减少幅度越大。
[0118]
(2)受光透镜22距离合焦位置的偏移量不局限于通过相位差af传感器25来检测，也可以通过采用其他的检测方式的偏移量检测部来检测。
[0119]
(3)进一步，在上述所有实施方式中，也可以替代上述使用光学透镜的受光透镜22，而采用电子的、从而能够更迅速的调整焦点的可变对焦液体透镜(variable focus liquid lens)，由此也能够享受上述的各实施方式中所得到的作用效果。