本申请要求分别在2017年3月8日和2017年11月2日在韩国知识产权局递交的韩国专利申请no.10-2017-0029687和no.10-2017-0145538两者的优先权，其公开内容以全文引用的方式并入本文中。
本文描述的本发明构思的各种示例实施例涉及一种包括视觉传感器在内的图像处理设备、图像处理系统、图像处理方法和/或包括与图像处理方法有关的指令在内的非暂时性计算机可读介质，更具体地，涉及一种被配置为重新生成在坏像素处发生的事件的时间戳的图像处理设备。
背景技术：
通常，图像传感器可以被分类为异步操作的图像传感器或同步操作的图像传感器。同步操作的图像传感器例如是互补金属氧化物半导体(cmos)图像传感器。异步操作的图像传感器例如是诸如动态视觉传感器之类的视觉传感器。
cmos图像传感器处理基于帧的图像。由于这个原因，可以按规则间隔(或周期性地)来持续生成帧。在这种情况下，由于与用户不感兴趣的部分(例如，背景等)相关的信息也按规则间隔持续地生成，所以处理器处理的数据量可能大幅增加。这可能导致图像处理设备的性能下降。
相对地，视觉传感器处理基于事件的图像。“基于事件”可以意味着：一旦事件发生，则生成与事件(例如，光强度的改变等)有关的信息并且将其提供给用户，而不是按规则间隔来生成数据。由于光强度的改变主要发生在对象的轮廓上，因此在视觉传感器中不生成不必要的信息(例如关于背景的信息)。因此，处理器处理的数据量可以大幅下降。
同时，视觉传感器的像素尺寸颇大于诸如cmos图像传感器之类的传统图像传感器的像素尺寸。在视觉传感器的像素本身存在问题的情况下，视觉传感器的制造工艺的产量以及由视觉传感器向用户提供的图像的质量可能受到影响。然而，由于仅通过改善视觉传感器的制造工艺来提高产量是有限的，因此需要通过使用硬件和/或软件(例如，固件等)来解决由于视觉传感器的坏像素所导致的问题。
技术实现要素：
本发明构思的各种示例实施例涉及一种被配置为重新生成在坏像素处发生的事件的时间戳的图像处理设备。
根据至少一个示例实施例，一种图像处理设备，包括：视觉传感器，被配置为通过多个像素中的至少一个像素来生成多个事件，以及生成与所述多个事件发生的时间相关联的多个时间戳，每个事件对应于由所述多个像素中的所述至少一个像素观察到的光强度的改变，所述多个像素包括目标像素以及所述目标像素周围的相邻像素；以及至少一个处理器，被配置为：基于与事件相关联的时间戳的值，将所述多个事件分类为至少第一组和第二组，其中与所述第一组相关联的事件与第一时间戳值相关联，以及与所述第二组相关联的事件与第二时间戳值相关联，确定所述多个事件发生的方向，基于所确定的方向以及与所述目标像素和所述相邻像素相对应的时间戳值来确定与所述目标像素或所述相邻像素相关联的至少一个事件是否是异常事件，该确定包括确定所述至少一个事件是否与第三组相关联，所述第三组具有第三时间戳值，以及用与引起所述异常事件的像素相邻的像素相对应的时间戳中的任意一个时间戳来替换所述第三时间戳。
附图说明
通过参考附图详细描述本发明构思的各种示例实施例，本发明构思的上述及其他目的和特征将变得更清楚。
图1是示出了根据本发明构思的至少一个示例实施例的图像处理设备的框图。
图2是示出了根据至少一个示例实施例的图1所示的视觉处理器的配置的框图。
图3a是示出了根据至少一个示例实施例的图2所示的视觉处理器的示例配置的框图。
图3b是示出了根据至少一个示例实施例的从图3a所示的示例视觉传感器的配置输出的信息的格式的视图。
图4a是示出了根据至少一个示例实施例的图2所示的视觉处理器的示例配置的框图。
图4b是示出了根据至少一个示例实施例的从图4a所示的示例视觉传感器的配置输出的信息的格式的视图。
图5a是示出了根据至少一个示例实施例的图2所示的视觉处理器的示例配置的框图。
图5b是示出了根据至少一个示例实施例的从图5a所示的示例视觉传感器的配置输出的信息的格式的视图。
图6a是示出了根据至少一个示例实施例的图2所示的视觉处理器的示例配置的框图。
图6b是示出了根据至少一个示例实施例的从图6a所示的示例视觉传感器的配置输出的信息的格式的视图。
图7a是示出了根据至少一个示例实施例的图2所示的视觉处理器的示例配置的框图。
图7b是示出了根据至少一个示例实施例的从图7a的视觉传感器输出的帧的示例格式的视图。
图8是示出了根据至少一个示例实施例的图3a至图7b所示的像素的配置的框图。
图9是示出了根据至少一个示例实施例的图8所示的像素的配置的电路图。
图10a是示出了根据至少一个示例实施例的参考图1至图9所述的图像处理设备的半导体封装的截面图。
图10b是示出了根据至少一个示例实施例的参考图1至图9所述的图像处理设备的半导体封装的截面图。
图10c是示出了根据至少一个示例实施例的参考图1至图9所述的图像处理设备的半导体封装的截面图。
图10d是示出了根据至少一个示例实施例的参考图1至图9所述的图像处理设备的半导体封装的截面图。
图11是示出了根据至少一个示例实施例的图1所示的处理器的操作的框图。
图12是示出了根据至少一个示例实施例的图11所示的时间戳再生器如何重新生成噪声像素或热像素的时间戳的视图。
图13是示出了根据至少一个示例实施例的本发明构思的示例时间戳再生器如何确定噪声像素或热像素的视图。
图14是示出了根据至少一个示例实施例的本发明构思的示例处理器如何确定噪声像素或热像素的视图。
图15是示出了根据至少一个示例实施例的本发明构思的示例时间戳再生器如何重新生成噪声像素或热像素的时间戳的视图。
图16是示出了根据至少一个示例实施例的本发明构思的示例时间戳再生器如何重新生成无效像素的时间戳的视图。
图17是示出了根据至少一个示例实施例的本发明构思的示例处理器如何确定无效像素的视图。
图18是示出了根据本发明构思的至少一个示例实施例的时间戳再生方案的流程图。
图19和图20是示出了根据至少一个示例实施例的本发明构思的时间戳再生方案被应用于子采样处理的处理的视图。
图21是示出了应用了根据本发明构思的至少一个示例实施例的图像处理设备的电子设备的框图。
具体实施方式
以下将参考附图更详细地描述本发明构思的示例实施例。贯穿该申请的相同附图标记可以表示相同元件。本发明构思的示例实施例提供了一种通过使用硬件安全模块及其固件管理方法来提供固件的高安全性和可靠性的计算系统。
图1是示出了根据本发明构思的至少一个示例实施例的图像处理设备100的框图。图像处理设备100可以被配置为处理同步事件以及异步事件。例如，图像处理设备100可以生成与事件相关联的同步帧以及与事件相关联的异步分组。图像处理设备100可以包括视觉传感器110和/或处理器120，但是不限于此。
视觉传感器110可以感测光强度的改变，并且响应于感测的结果来输出事件信号。例如，在发生光强度增加的事件的情况下，视觉传感器110可以输出与事件的发生相对应的“开启事件”信号(例如，指示发生光强度增加的信号)。相反，在发生光强度减小的事件的情况下，视觉传感器110可以输出“关闭事件”(例如，指示发生光强度减小的信号)。
根据一些示例实施例，视觉传感器110可以是基于事件的视觉传感器。例如，视觉传感器110可以访问感测到光强度改变(例如，光强度改变、光强度的差异/亮度水平的差异等)的像素，以输出事件信号。例如，光的强度改变可以来自由视觉传感器110拍摄的对象(例如，被摄体等)的移动、对象(和/或被摄体)的改变(例如在对象是图像的情况下的图像的改变)和/或视觉传感器110自身的移动。在这种情况下，由视觉传感器110感测到的和/或由视觉传感器110输出的事件信号可以是异步事件。
备选地或附加地，视觉传感器110可以是基于帧的视觉传感器。例如，视觉传感器110可以针对每个参考时段(例如周期地和/或按照期望间隔)来扫描视觉传感器110的所有像素，以输出事件信号。然而，与一般的cmos图像传感器不同，视觉传感器110可以不输出针对所有像素的事件信号，而是可以仅针对感测到光的强度、光强度的差异和/或光强度的改变的像素来输出事件信号。在这种情况下，从视觉传感器110输出的事件信号可以由处理器120等转换为同步事件信号。
处理器120可以处理由视觉传感器110感测到的信号。处理器120可以通过使用相邻像素的时间戳之间的时间相关性来重新生成视觉传感器110的像素(诸如噪声像素、热像素或无效像素)的时间戳。稍后将详细描述重新生成时间戳的方案。
处理器120可以包括被实现为执行该方案以重新生成时间戳的专用集成电路(asic)、现场可编程门阵列(fpga)、专用微处理器、微处理器等。备选地或附加地，处理器120可以包括通用处理器。在这种情况下，重新生成时间戳的方案可以由连接到处理器120的主机处理器(例如，应用处理器等)执行。此外，虽然图1中示出了单个处理器120，但是示例实施例不限于此，且处理器120可以是多核处理器、多处理器系统、分布式计算系统、云计算系统等。
本发明构思的示例实施例中的至少一个示例实施例的图像处理设备100可以重新生成从视觉传感器110的像素当中的坏像素(例如，噪声像素、热像素、无效像素等)输出的事件信号的时间戳，从而可以提高图像处理设备100的性能。坏像素可以被该方案视为与正常像素相似，从而提高视觉传感器110的像素阵列的产量。
图2是示出了图1所示的视觉传感器110的配置的框图。参考图2，视觉传感器110可以包括像素阵列111和事件检测电路112，但示例实施例不限于此。事件检测电路112可以被配置为处理由像素阵列111感测到的光的强度增加或减小的事件。例如，事件检测电路112可以包括诸如地址事件表示(afr)、采样器、分组器和/或扫描器之类的各种组件中的一个或多个，但不限于此。事件检测电路112的示例配置将参照图3a至图7a来详细描述。
像素阵列111可以包括沿“m”行和“n”列以矩阵形式布置的多个像素px。像素阵列111可以包括被配置为感测光强度增加或减小的事件的多个像素。换言之，多个像素中的每一个像素被配置为感测和/或检测光是否发生改变(和/或检测在像素处观察到的光的差异)。例如，每个像素可以通过列方向上的列线和行方向上的行线而连接到事件检测电路112。可以由像素例如通过列线向事件检测电路112发送指示在该像素处发生事件的信号。可以例如通过列线向事件检测电路112发送在每个像素处发生的事件的极性信息(即，对光强度增加的开启事件或者光强度减小的关闭事件加以指示的信息)。
事件检测电路112可以被配置为处理事件。例如，事件检测电路112可以生成包括事件发生的时间的信息在内的时间戳。例如，事件检测电路112可以向发生事件的像素发送重置信号rst，使得该像素被重置。此外，事件检测电路112可以生成包括事件的极性信息、发生事件的像素的地址addr、时间戳等在内的分组或帧。由事件检测电路112生成的分组或帧可以由处理器120(参考图1)处理，该处理器120被配置为实现本说明书中要描述的时间戳再生方案。
根据至少一个示例配置，在像素阵列111中发生的事件可以以像素为单位、以各自包括多个像素在内的像素组为单位、以列为单位、或以帧为单位来处理。然而，至少一个示例实施例可以仅意味着通过像素阵列111感测到的事件能够通过各种方法进行处理，且通过本说明书描述的技术思想不被限制于仅本文讨论的示例实施例。
图3a是示出了根据至少一个示例实施例的图2所示的视觉处理器110的示例配置的框图。视觉传感器110a可以包括像素阵列111a、列aer(地址事件表示电路)113a、行aer115a和/或分组器和输入/输出(io)电路117a，但是不限于此。
像素阵列111a的多个像素中发生事件的像素可以向列aer113a输出指示发生了光强度增加或减小的事件的列请求信号cr。
列aer113a可以响应于从发生事件的像素接收到的列请求信号cr，向发生事件的像素发送确认信号ack。接收到确认信号ack的像素可以向行aer115a输出发生的事件的极性信息pol。此外，列aer113a可以基于从发生事件的像素接收到的列请求信号cr来生成发生事件的像素的列地址c_addr。
行aer115a可以从发生事件的像素接收极性信息pol。行aer115a可以基于极性信息pol来生成包括与事件发生的时间有关的信息在内的时间戳ts。在至少一个示例实施例中，时间戳ts可以由行aer115a中设置的时间戳器116a(例如，时间戳电路)生成。例如，可以通过使用以几十微秒为单位来生成的时间分段信号(timetick)来实现时间戳器116a，但不限于此。响应于极性信息pol，行aer115a可以向发生事件的像素发送重置信号rst。重置信号rst可以重置发生事件的像素。此外，行aer115a可以生成发生事件的像素的行地址r_addr。
行aer115a可以控制生成重置信号rst的时段。例如，为了减少和/或防止由于发生很多和/或大量事件而导致工作负载增加，aer逻辑可以控制生成重置信号rst的时间段的长度，使得事件不会在特定和/或期望的时间段内发生。也就是说，aer逻辑可以控制事件发生的不应期，且因此可以仅在期望的时间段期间允许像素感测单个事件。
分组器和io电路117a可以基于时间戳ts、列地址c_addr、行地址r_addr、和/或极性信息pol来生成分组。分组器和io电路117a可以向分组的前部添加指示分组的开始的报头，并向分组的后部添加指示分组的结束的尾部。
图3b是示出了根据至少一个示例实施例的从图3a所示的示例视觉传感器的配置输出的信息的格式的视图。为了更好的理解，将结合图3a一起来给出描述。
时间戳ts可以包括与事件发生的时间有关的信息。例如，时间戳ts可以由32个比特形成，但是示例实施例不限于此，可以使用更少或更多个比特来用于时间戳格式。
列地址c_addr和行地址r_addr中的每一个可以分别由8个比特形成。因此，可以提供一种视觉传感器，该视觉传感器包括最多以多个行(例如28行)和多个列(例如28列)布置的多个像素。然而，这仅仅是示例，且列地址c_addr的比特数和行地址r_addr的比特数可以根据像素阵列中的像素的数量以不同方式来确定。
极性信息pol可以包括与开启事件和/或关闭事件有关的信息。例如，极性信息pol可以由包括与是否发生开启事件有关的信息在内的第一比特和包括与是否发生关闭事件有关的信息在内的第二比特形成。例如，第一比特和第二比特都为“1”的事件可能不会发生，但是第一比特和第二比特都为“0”的事件可能发生。
分组器和io电路117a输出的分组可以包括时间戳ts、列地址c_addr、行地址r_addr、和/或极性信息pol，但不限于此。附加地，分组的布置顺序不限于此。
图4a是示出了根据一些示例实施例的图2所示的视觉处理器110的示例配置的框图。视觉传感器110b可以包括像素阵列111b、列aer113b、行aer115b、控制逻辑114b、和/或分组器和io电路117b，但不限于此。
与图3a的示例实施例不同，多个像素可以被划分为多个组，每个组包括至少两个或更多个像素。在至少一个示例实施例中，例如，在图4a中示出了包括在同一列处布置的八个像素在内的第k个像素组。来自第k个像素组的像素中的发生事件的像素可以向列aer113b输出指示事件发生的列请求信号cr。
列aer113b可以响应于从发生事件的像素接收到的列请求信号cr，向发生事件的像素发送确认信号ack。包括接收到确认信号ack的像素在内的第k像素组的像素可以向行aer115b输出极性信息pol。此外，列aer113b可以基于从发生事件的像素接收到的列请求信号cr来生成发生事件的像素组的列地址c_addr。
控制逻辑114b可以向行aer115b发送列地址c_addr。
行aer115b可以从包括发生事件的至少一个像素在内的像素组的一个或多个像素接收各条极性信息pol。行aer115b(在至少一个示例实施例中，时间戳器116b)可以基于各条极性信息pol来生成包括与一个或多个事件发生的时间有关的信息在内的时间戳ts。响应于各条极性信息pol，行aer115b可以向包括发生事件的至少一个像素在内的像素组的像素分别发送重置信号rst。重置信号rst可以重置属于第k个像素组的像素。行aer115b可以生成第k个像素组的组地址gp_addr。行aer115b可以控制生成重置信号rst的时段。
此外，行aer115b可以基于列地址c_addr来生成包括发生事件的至少一个像素在内的组的组地址gp_addr。可以预先定义第k个像素组的组地址gp_addr与属于第k个像素组的像素的列/行地址之间的对应关系，但是示例实施例不限于此，并且可以实时或根据需求来定义。例如，可以定义(例如预先定义等)第一像素组的组地址以指示从第一列的第一行到第八行的像素的地址。因此，在图4a的使用组地址gp_addr的示例实施例的情况下，在分组中可以不包括单独的列地址或单独的行地址。
分组器和io电路117b可以基于时间戳ts、列地址c_addr、组地址gp_addr、和/或各条极性信息pol来生成分组，但不限于此。
图4b是示出了根据至少一个示例实施例的从图4a所示的示例视觉传感器的配置输出的信息的格式的视图。为了更好的理解，将结合图4a一起来给出描述。
从分组器和io电路117b输出的分组可以包括时间戳ts、组地址gp_addr、开启事件信息、和/或关闭事件信息，但不限于此。附加地，布置顺序不限于此。开启事件信息和关闭事件信息可以被称为“极性信息”(例如，与由视觉传感器捕捉的图像的被摄体有关的极性信息)。
时间戳ts可以包括在属于第k个像素组的每个像素处发生的事件的时间信息。组地址gp_addr可以指示包括发生事件的像素在内的像素组的唯一地址。在至少一个示例实施例中，组地址gp_addr被示出为由8个比特形成。然而，本发明构思的示例实施例不限于此。也就是说，组地址gp_addr的比特数可以基于像素阵列111b的像素数量而变化。
例如，开启事件信息和关闭事件信息中的每个都可以由8个比特形成。指示开启事件的比特中的第一比特可以指示属于第k组的第一像素(例如，图4a的像素当中由“1”值标记的像素)的事件信息。如在以上的描述中，指示开启事件的比特中的第八比特可以指示属于第k组的第八像素(例如，图4a的像素当中由“8”标记的像素)的事件信息。关闭事件类似于上述开启事件，关闭事件由“0”值表示。然而，示例实施例不限于此，可以用“0”值来标记开启事件，并且可以用“1”值来标记关闭事件等。
图5a是示出了根据至少一个示例实施例的图2所示的视觉处理器110的示例配置的框图。视觉传感器110c可以包括像素阵列111c、列aer113c、控制逻辑114c、行采样器115c、和/或分组器和io电路117c，但不限于此。
与图3a的示例实施例不同，多个像素可以以列为单位分组。例如，发生事件的像素可以向列aer113c输出指示事件发生的列请求信号cr。
列aer113c可以响应于从发生事件的像素接收到的列请求信号cr，向发生事件的像素发送确认信号ack。在与接收确认信号ack的像素所属的列相同列处布置的像素中的每一个像素可以向行采样器115c输出极性信息pol。此外，列aer113c可以基于从发生事件的像素接收的列请求信号cr来生成发生事件的像素所属的列的列地址c_addr。
控制逻辑114c可以请求行采样器115c对在与发生事件的像素相同的列处布置的像素执行采样。控制逻辑114c可以发送列地址c_addr。
行采样器115c可以从在与发生事件的像素相同的列处布置的像素接收各条极性信息pol。行采样器115c(在至少一个示例实施例中，时间戳器116c)可以基于各条极性信息pol来生成包括与一个或多个事件发生的时间有关的信息在内的时间戳ts。行采样器115c可响应于各条极性信息pol，向在与发生事件的像素相同的列处布置的像素分别发送重置信号rst。重置信号rst可以重置在与发生事件的像素相同的列处布置的像素。行采样器115c可以控制生成重置信号rst的时段。
图5b是示出了根据至少一个示例实施例的从图5a所示的示例视觉传感器的配置输出的信息的格式的视图。为了更好的理解，将结合图5a一起来给出描述。
从分组器和io电路117c输出的分组可以包括时间戳ts、列地址c_addr、开启事件信息、和/或关闭事件信息，但不限于此。附加地，分组的布置顺序不限于此。
开启事件信息和关闭事件信息中的每个都可以由m个比特形成。例如，指示开启事件的多个比特中的第一比特可以指示在与发生事件的像素相同的列处布置的多个像素中的与第一行相对应的像素的事件信息。如在以上的描述中，指示开启事件的比特中的第m比特可以指示在与发生事件的像素相同的列处布置的多个像素中的与第m行相对应的像素的事件信息。关闭事件类似于上述开启事件。
图6a是示出了根据至少一个示例实施例的图2所示的视觉处理器110的示例配置的框图。视觉传感器110d可以包括像素阵列111d、列扫描器113d、控制逻辑114d、行采样器115d、和/或分组器和10电路117d，但不限于此。
与上述示例实施例不同，发生事件的像素可以不向列扫描器113d输出指示事件发生的信号(例如，列请求信号)。与上述示例实施例不同，在本示例实施例中可以不对像素进行分组。
列扫描器113d可以顺序地和/或周期性地从第一列到第n列扫描像素阵列111d。列扫描器113d可以生成要扫描的列的列地址c_addr，并且可以向控制逻辑114d发送列地址c_addr。
控制逻辑114d可以请求行采样器115d对在由列扫描器113d扫描的列处布置的像素执行采样。此外，控制逻辑114d可以向行采样器115d发送要扫描的列的列地址c_addr。
行采样器115d可以从在扫描的列处布置的像素接收各条极性信息pol。行采样器115d(在至少一个示例实施例中，时间戳器116d)可以基于各条极性信息pol来生成包括与一个或多个事件发生的时间有关的信息在内的时间戳ts。行采样器115d可以响应于各条极性信息pol，向在扫描的列处布置的像素分别发送重置信号rst。重置信号rst可以重置在扫描的列处布置的像素。行采样器115d可以控制生成重置信号rst的时段。
图6b是示出了根据至少一个示例实施例的从图6a所示的示例视觉传感器的配置输出的信息的格式的视图。为了更好的理解，将结合图6a一起来给出描述。
从分组器和io电路117d输出的分组可以包括与在像素阵列111d中发生的所有事件有关的信息。例如，分组可以包括与第一列有关的信息到与第n列有关的信息。为了简化说明，在图6b中示出了从分组器和io电路117d输出的分组的与第一列有关的信息和与第n列有关的信息。
分组中的与第一列相关联的部分可以包括时间戳ts、第一列地址lstc_addr、开启事件信息、和/或关闭事件信息，但不限于此。附加地，分组的布置顺序不限于此。
时间戳ts可以包括在第一列处发生的事件的时间信息。开启事件信息和关闭事件信息中的每个都可以由m个比特形成。例如，指示开启事件的比特中的第一比特可以指示第一行和第一列处的像素的事件信息。如在以上的描述中，指示开启事件的比特中的第m比特可以指示第m行和第一列处的像素的事件信息。关闭事件类似于上述开启事件。
上述配置可以等同地应用于分组中的与第二列相对应的部分到分组中的与第n列相对应的部分。因此，这里将不再重复其详细描述。
图7a是示出了根据至少一个示例实施例的图2所示的视觉处理器110的示例配置的框图。图7b是示出了根据至少一个示例实施例的从图7a的视觉传感器输出的帧的示例格式的视图。
视觉传感器110e可以包括像素阵列111e、列扫描器113e、控制逻辑114e、行采样器115e、和/或帧生成器和io电路117e，但不限于此。视觉传感器110e的配置和操作类似于参考图6a描述的视觉传感器的配置和操作，且因此在此将不重复对其的重复描述。然而，根据至少一个示例实施例，视觉传感器110e可以被配置为以同步方式来生成帧，而不是以异步方式来生成分组。
例如，帧生成器和10电路117e可以通过使用时间戳ts、列地址c_addr、行地址r_addr、和/或由列扫描器113e和行采样器115e周期性地获得的各条极性信息pol来生成帧。
例如，在列扫描器113e按规则时段(例如，周期地和/或按照期望间隔)来扫描像素阵列111e的情况下，帧生成器和io电路117e可以周期性地生成帧。因此，视觉传感器110e可以以同步方式操作。在至少一个示例实施例中，在视觉传感器110e以同步方式操作的情况下，行采样器115e可以控制生成重置信号rst的时段。例如，如果帧速率是60帧/秒，则生成重置信号rst的时段可以是1/60秒。
然而，基于帧的视觉传感器110e可以不总是以同步方式操作。例如，已经发生的事件的量(例如，已经发生的事件的数量)可以一直变化。例如，任意帧可能包含非常少量和/或数量非常少的事件，而另一个事件可能包含大量和/或数量非常大的事件。例如，如果发生的事件的量小，则由于用于生成重置信号rst的周期的减少，基于视觉传感器110e的输出来生成帧的速度可以变快。相对地，如果发生事件的量大，则由于用于生成重置信号rst的周期的增加，生成帧的速度可以变慢。在这种情况下，由于生成帧的时段频繁变化，所以可以以异步的方式输出帧。
参考图3a至图7a描述图2所示的事件检测电路112的一些示例。然而，这些示例实施例可以仅意味着通过像素阵列感测到的事件能够通过各种方法进行处理，且通过本说明书描述的技术思想不限于所讨论的示例实施例的配置。
图8是示出了根据一些示例实施例的图3a至图7b所示的像素的配置的框图。像素px可以包括感测单元118和/或像素内电路119，但不限于此。在任意示例实施例中，感测单元118可被称为用于感测光的改变的“功能块”。像素内电路119可以被称为用于将感测到的光的改变处理为模拟信号或数字信号的“功能块”。例如，像素内电路119可以用模拟电路、数字电路或其组合来实现。
图9是示出了根据至少一个示例实施例的图8所示的像素的配置的电路图。像素可以包括感测单元118和/或像素内电路119，但不限于此。
感测单元118可以包括光电二极管pd。光电二极管pd可以将光能转换成电能。也就是说，由于电能根据光的强度改变(例如，光强度的改变)而变化，所以可以通过感测电能变化(例如，感测能量差)来确定事件是否发生。
像素内电路119可以包括电容器“c”、差分放大器da、比较器cmp、和/或读出电路，但不限于此。像素内电路119还可以包括用于供电的传输门晶体管tg和用于在完整处理一个事件之后重置像素的开关sw。
电容器“c”可以存储由光电二极管pd生成的电能。例如，可以考虑到在一个像素处连续出现的两个事件之间的最短时间(例如，不应期)，来适当地选择电容器“c”的电容。
如果开关sw由重置信号rst接通，则电容器“c”中存储的电荷可以被放电，且从而像素可以被重置。例如，可以从参考图3a至图7a描述的行aer(参考图3a和图4a)或行采样器(参考图5a、图6a和图7a)接收重置信号rst。
差分放大器da可以放大与光电二极管pd中存储的电荷相对应的电压电平。这使得比较器cmp容易确定事件的类型。
比较器cmp可以比较差分放大器da的输出电压的电平和参考电压vref的电平，以确定像素处发生的事件是开启事件还是关闭事件。例如，在光强度增加的情况下，比较器cmp可以输出指示开启事件的信号0n。相反，在光强度减小的情况下，比较器cmp可以输出指示关闭事件的信号off。
读出电路可以发送与在像素处发生的事件有关的信息(即，指示事件是开启事件还是关闭事件的信息)。可以向参考图3a至图7a描述的行aer(参考图3a和图4a)或行采样器(参考图5a、图6a和图7a)发送被称为“极性信息”的开启事件信息或关闭事件信息。
图9中示出的像素的配置可以是一个示例。即，在图9中示出了用于感测光改变的配置(例如光电二极管)、用于存储电能的配置(例如“c”)、用于根据所存储的电能来确定发生的事件的类型的配置(例如cmp)、以及用于生成与事件有关的最基本信息的配置(例如读出电路)。然而，可以将用于感测光强度的改变并基于感测结果来确定事件的类型的各种配置的像素应用于本发明构思。
图10a是示出了根据一些示例实施例的参考图1至图9所述的图像处理设备的半导体封装的截面图。参考图10a，半导体封装10可以包括下封装11和/或上封装15，但不限于此。
下封装11可以包括下衬底12和/或下半导体芯片13，但不限于此。例如，下半导体芯片13可以包括除了图9的像素阵列和像素内电路119以外的参考图3a、图4a、图5a、图6a或图7a描述的视觉传感器110a/110b/110c/110d/110e的剩余组件(例如，113a、115a和117a/113b、114b、115b和117b/113c、114c、115c和117c/113d、114d、115d和117d/113e、114e、115e和117e)。下封装11可以是倒装芯片组件，其中下半导体芯片13以面朝下的方式安装在下衬底12上。
下衬底12可以是具有电路图案的印刷电路板(pcb)。下衬底12的下表面上设置的外部端子可以将上半导体芯片17和/或下半导体芯片13与外部电子设备(未示出)电连接。例如，上半导体芯片17和外部端子可以通过内部导线和/或穿硅通孔(tsv)彼此电连接。例如，在使用tsv的情况下，可以省略其上安装有上半导体芯片17的上衬底16。
下半导体芯片13可以安装在下衬底12上。下半导体芯片13可以由模制层(未示出)来封装。模制层可以包括绝缘聚合物材料(例如，环氧树脂模塑料)等。
上封装15可以包括上衬底16和/或上半导体芯片17，但不限于此。例如，上半导体芯片17可以包括图3的感测单元118。也就是说，上半导体芯片17可以由用于感测图2的像素阵列111的光的改变的组件(例如，光电二极管)形成。
上衬底16可以是具有电路图案的pcb。上半导体芯片17可以由模制层(未示出)来封装。
图10b是示出了根据一些示例实施例的参考图1至图9所述的图像处理设备的半导体封装的截面图。参考图10b，半导体封装20可以包括下封装21和/或上封装25，但不限于此。下封装21可以包括下衬底22和/或下半导体芯片23，但不限于此。上封装25可以包括上衬底26和/或上半导体芯片27，但不限于此。除了图10b的半导体封装20是以引线接合方式封装的之外，半导体封装20类似于图10a的半导体封装10。因此，这里将不再重复其详细描述。
图10c是示出了根据一些示例实施例的参考图1至图9所述的图像处理设备的半导体封装的截面图。参考图10c，半导体封装30可以包括封装衬底31、第一半导体芯片33、第二半导体芯片35和/或第三半导体芯片37，但不限于此。除了进一步封装了包括存储器件在内的半导体芯片之外，图10c的半导体封装30类似于图10a的半导体封装10。因此，这里将不再重复其详细描述。
第一半导体芯片33可以包括存储器。可以将本发明构思的至少一个示例实施例的图像处理设备所需的数据存储在使用第一半导体芯片33实现的存储器中。例如，图像处理设备处理的数据可被存储在使用第一半导体芯片33实现的存储器中。例如，第一半导体芯片33可以包括诸如动态随机存取存储器(dram)、同步dram(sdram)等的易失性存储器和/或诸如相变ram(pram)、磁阻ram(mram)、电阻ram(reram)、铁电ram(fram)等的非易失性存储器。
第二半导体芯片35可以包括除了图9的像素阵列和像素内电路119以外的参考图3a、图4a、图5a、图6a或图7a描述的视觉传感器110a/110b/110c/110d/110e的剩余组件(例如，113a、115a和117a/113b、114b、115b和117b/113c、114c、115c和117c/113d、114d、115d和117d/113e、114e、115e和117e)。第三半导体芯片37可以包括参考图3a、图4a、图5a、图6a或图7a描述的视觉传感器110a/110b/110c/110d/110e的组件中的像素阵列111a/111b/111c/111d/111e。
图10d是示出了根据一些示例实施例的参考图1至图9所述的图像处理设备的半导体封装的截面图。参考图10d，半导体封装40可以包括封装衬底41、第一半导体芯片43、第二半导体芯片45和/或第三半导体芯片47，但不限于此。例如，第一半导体芯片43、第二半导体芯片45和第三半导体芯片47可以分别对应于图10c中示出的第二半导体芯片35、第一半导体芯片33和第三半导体芯片37。也就是说，除了半导体芯片的堆叠顺序之外，图10d的半导体封装40可以类似于图10c的半导体封装30。因此，这里将不再重复其描述。
图11是示出了根据至少一个示例实施例的图1所示的处理器120的操作的框图。处理器120与存储器130一起被示出。例如，存储器130可以是使用图10c或图10d所示的第一半导体芯片33或第二半导体芯片45实现的存储器，但不限于此。备选地或附加地，存储器130可以是设置为与处理器120一起的缓冲器或高速缓冲存储器。处理器120可以包括时间戳再生器122等。附加地，处理器120可以是多核处理器、多处理器系统、分布式处理系统、云处理系统等。为了更好的理解，将参考图1至图9来给出描述。
存储器130可以存储从视觉传感器110接收到的分组或帧。例如，如参考图3b至图7b所描述的，分组或帧可以包括时间戳ts、列地址c_addr、行地址r_addr、组地址gp_addr、和/或包括开启事件信息和关闭事件信息在内的极性信息pol中的一部分等。
处理器120可以基于时间戳ts、地址addr和极性信息pol来生成开启事件图和关闭事件图。开启事件图和关闭事件图可被存储在存储器130中。开启事件图可以包括发生光强度增加的开启事件的像素的坐标以及与事件发生的时间有关的信息。例如，在开启事件和关闭事件图中，每个元素的两个下标(例如，“i”和“j”)指示像素阵列111的每个像素的坐标，并且每个元素的变量(例如，“t”)指示开启事件发生的时间。
时间戳再生器122可以通过使用坏像素(诸如噪声像素、热像素、无效像素等)与相邻像素的时间戳之间的时间相关性来重新生成在坏像素处发生的事件的时间戳。下面将详细描述重新生成时间戳的方案。
图12是示出了根据一些示例实施例的图11所示的时间戳再生器122如何重新生成噪声像素或热像素(例如坏像素)的时间戳的视图。在至少一个示例实施例中，具有3×3矩阵形式的九个像素的时间戳被示出为图11中所示的开启事件图或关闭事件图的一部分。由时间戳“1”标记的事件可以指示在第一时间段期间发生的事件，并且由时间戳“2”标记的事件可以指示在第二时间段期间发生的事件，但是示例实施例不限于此。为帮助理解，将参考图1至图11来描述图12。
例如，9个像素中布置在第二行和第二列处的阴影像素指示目标像素。在图12的示例实施例中提到的噪声像素是指即使实际上没有发生事件，但是由于在像素本身或在像素的外部发生的噪声而被标记为发生事件的像素。热像素是指由于像素本身的缺陷而始终被标记为事件的像素(例如，即使实际上没有发生事件，像素也始终输出指示事件已发生的信号)。噪声像素和热像素类似之处在于，即使实际上没有发生事件，也被标记为已经发生的事件，因此至少一个示例实施例类似地处理噪声像素和热像素。
处理器120可以监视目标像素和目标像素周围的相邻像素(例如，八个像素)的时间戳，并且可以确定在目标像素处发生的事件与在目标像素周围的像素处发生的事件之间的时间相关性。例如，假设在目标像素处在第一时间段期间发生第一事件，并且在经过参考时间之后在目标像素周围的相邻像素处在第二时间段期间发生第二事件，则第一事件与第二事件之间的时间相关性可以被认为非常高(和/或强)。在图12的示例实施例中，提到的“相邻像素”可以指定目标像素周围的八个像素，但是示例实施例不限于此。
处理器120可以基于时间相关性适当地对时间戳进行分组。处理器120可以将在第一行和第三列布置的并且由时间戳“1”标记的像素分类为第一组。以下，在本说明书中，在描述在第x行和第y列处布置的像素时，将第x行和第y列表达为[x，y]。由于在[1，2]和[2，3]处布置的像素的时间戳为“2”，所以在目标像素处发生的事件和在[1，2]和[2，3]处布置的像素处发生的事件具有相同的时间相关性。因此，处理器120可将在[1，2]和[2，3]处布置的像素分类为第二组。由于在[1，1]、[2，2]和[3，3]处布置的像素的时间戳为“0”，所以在目标像素处发生的事件和在[1，1]、[2，2]和[3，3]处布置的像素处发生的事件具有相同的时间相关性。因此，处理器120可以将在[1，1]、[2，2]和[3，3]处布置的像素分类为第三组。
处理器120可以基于所分类的组来确定对象的轮廓。例如，可以基于在[1，2]和[2，3]处布置的且用时间戳“2”来标记的像素的地址以及在[1，1]、[2，2]和[3，3]处布置的且用时间戳“0”来标记的像素的地址来确定从左上方朝向右下方的对象的轮廓。
此外，处理器120可以基于经分类的组的时间戳来确定对象的移动方向。例如，处理器120可以基于属于第一组的时间戳是“1”并且属于第二组的时间戳是“2”，来确定对象从右上方朝向左下方移动。此外，处理器120可以参考对象的移动方向和经分组的时间戳的位置和/或值来确定对象的速度和/或加速度。
备选地或附加地，处理器120可以基于经分类的组的时间戳来确定视觉传感器110的移动方向。原因在于：即使在对象静止并且视觉传感器110从左下方朝向右上方移动的情况下，也能够获得图12所示的相同时间戳。在这种情况下，处理器120可以参考视觉传感器110的移动方向和经分组的时间戳的位置和/或值来确定视觉传感器110的速度。然而，这仅仅是相对的，并且本发明构思的示例实施例可以等同地应用于仅视觉传感器110移动的情况以及对象和视觉传感器110都移动的情况。
处理器120可以确定在目标像素处发生的事件与在第三组中包括的像素处发生的事件之间的时间相关性。例如，由于所有事件发生在目标像素处，并且在[1，1]和[3，1]处布置的像素的时间戳为“0”，所以处理器120可以确定事件的发生结束。
此外，处理器120可以确定在目标像素处发生的事件与在[3，1]处布置的像素处发生的事件之间的时间相关性。然而，考虑到例如对象从右上方朝向左下方移动，并且在属于第二组的像素处发生的事件处标记了时间戳“2”之后事件的发生结束，则在目标像素处发生的事件与在[3，1]处布置的像素处发生的事件之间的时间相关性可以非常低(或弱)。也就是说，在[3，1]处布置的像素处发生的事件来自于噪声或像素本身(即，热像素等)的缺陷的概率很高。结果，处理器120可以基于时间相关性将在[3，1]处布置的像素确定为坏像素、噪声像素或热像素等。
时间戳再生器122可以用目标像素的时间戳(即，“0”)替换被确定为噪声像素或热像素的像素的时间戳(即，“4”)。也就是说，基于确定的结果，时间戳再生器122可以更新存储器130中存储的开启事件图或关闭事件图的时间戳。
然而，考虑到对象(和/或视觉传感器)的移动方向，由于在图12中示出的在[3，1]处布置的像素的时间戳被突然标记为“4”，可以理解这样的标记来自于由于像素本身的缺陷而引起的异常事件。然而，在某些情况下，可能难以确定时间戳是来自正常事件的发生还是来自噪声像素或热像素(例如，坏像素)。将参考图13和图14来描述与这样的情况相关联的时间戳再生器122的操作。
图13是示出了本发明构思的至少一个示例实施例的时间戳再生器122如何确定噪声像素或热像素的视图。与参考图12描述的示例实施例不同，目标像素周围的相邻像素可以被认为更精确地确定坏像素、噪声像素或热像素。在图13的示例实施例中，提到的“相邻像素”可以指定目标像素周围的24个像素，但是示例实施例不限于此，并且任意数量的像素可以被用作相邻像素。
处理器120可以监视目标像素和目标像素周围的24个像素的时间戳以确定时间相关性。如参考图12给出的描述，发生由时间戳“1”标记的事件的像素可以被分类为第一组，发生由时间戳“2”标记的事件的像素可以被分类为第二组，并且发生由时间戳“3”标记的事件的像素可以被分类为第三组，等等。
处理器120可以基于属于第二组的像素具有时间戳“2”并且属于第三组的像素具有时间戳“3”来确定对象的轮廓。另外，处理器120可以基于属于时间戳组(例如第一至第三组)的时间戳来确定对象和/或视觉传感器的行进方向，例如，对象从右上方朝向左下方移动。
处理器120可以确定在目标像素处发生的事件与在属于第一至第三组的像素处发生的事件之间的时间相关性，并且可以在属于第三组的像素处发生事件之后确定事件的发生结束。
此外，处理器120可以确定在目标像素处发生的事件与在[4，2]处布置的像素处发生的事件之间的时间相关性。类似于参考图12所描述的示例实施例，如果处理器120仅考虑目标像素周围的8个像素的时间戳，则可能将与在[4，2]处布置的像素相关联的时间戳“2”确定为来自噪声像素或热像素(例如，坏像素)。
然而，处理器120还可以监视在[4，1]、[5，2]和[5，1]处布置的时间戳，以减少和/或防止在[4，2]处布置的像素被异常地和/或不准确地确定为噪声像素或者热像素(例如，坏像素)。根据图13中所示的时间戳，确定在[4，2]、[4，1]、[5，2]和[5，1]处布置的像素处发生新事件是合理的。相反，考虑到对象移动的方向，在[3，3]处布置的目标像素可能是无效像素。
总之，不论目标像素是否是无效像素，在[4，2]处布置的像素也不应该被确定为噪声像素或热像素(例如，坏像素)。处理器120可以通过扩展要监视的像素的范围来将在[4，2]处布置的像素确定为正常像素。在这种情况下，时间戳再生器122可以不操作。
图14是示出了本发明构思的至少一个示例实施例的处理器120如何确定噪声像素或热像素(例如，坏像素)的视图。如参考图13给出的描述，可以考虑在目标像素周围的24个像素。
如在以上至少一个示例实施例中，处理器120可以对像素进行分组(或分类)。处理器120可以仅考虑在目标像素处发生的事件与在目标像素周围的像素处发生的事件之间的时间相关性，来确定对象的轮廓和/或对象和/或视觉传感器的移动方向，例如确定该对象从右上方朝向左下方移动。
处理器120还可以监视在[4，1]、[5，2]和[5，1]处布置的像素的时间戳以及在[4，2]处布置的时间戳，并且可以确定时间相关性。例如，由于在目标像素处发生的事件的时间戳是“0”，并且在[4，2]处布置的像素处发生的事件的时间戳是“1”，所以在目标像素处发生的事件与在[4，2]处布置的像素处发生的事件之间可以在某种程度上存在时间相关性。也就是说，基于时间戳的时间邻近度，处理器120可以确定在[4，2]处布置的像素处发生来自极小对象的细微移动的事件。
然而，在特定情况下，在[4，2]处布置的像素处感测到的事件可能来自非常细微的噪声或像素本身(例如热像素等)的缺陷。因此，由于与布置在[4，2]处的像素相邻的八个像素的所有时间戳都是“0”，因此处理器120可以确定在布置在[4，2]处的像素处发生了非常细微的噪声(例如，布置在[4，2]处的像素处发信号通知的事件是错误和/或噪声等)。
时间戳再生器122可以基于处理器120的确定，将在[4，2]处布置的像素的时间戳替换为“0”。原因在于：如果在[4，2]处布置的像素是坏像素(例如，噪声像素或热像素)，则其时间戳应该被替换为“0”。此外，原因在于，即使在布置在[4，2]处的像素处实际发生了事件，如果事件对应于极小对象的细微移动(例如，小移动)，则其应被视为没有发生事件(和/或无事件)，因此近似是可能的。
图15是示出了本发明构思的至少一个示例实施例的时间戳再生器122如何重新生成噪声像素或热像素(例如，坏像素)的时间戳的视图。
如在以上至少一个示例实施例中，处理器120可以适当地对时间戳进行分组(或分类)。处理器120可以确定对象和/或视觉传感器移动的方向，并且可以基于在目标像素处发生的事件与在目标像素周围的像素处发生的事件之间的时间相关性，来确定在目标像素处发生的事件是异常事件(例如，错误事件和/或要被忽略的事件)。
例如，时间戳再生器122可以基于处理器120的确定结果(例如，在处理器120确定事件是异常事件等的情况下)，用与目标像素相邻的像素的时间戳(即，“0”)来替换目标像素的时间戳(即，“4”)。该替换可以通过更新存储器130中存储的开启事件图或关闭事件图来进行。
图16是示出了本发明构思的至少一个示例实施例的时间戳再生器122如何重新生成无效像素的时间戳的视图。在至少一个示例实施例中，具有3×3矩阵形式的九个像素的时间戳被示出为图11中所示的开启事件图或关闭事件图的一部分。为了帮助理解示例实施例中的至少一个，将参考图1至图11来描述图16。
图16所示的9个像素中在[2，2]处布置的阴影像素表示目标像素。在图16的示例实施例中，无效像素是指由于诸如像素本身的缺陷之类的原因，即使事件实际发生，也被标记为没有发生事件的像素。换言之，即使像素应当输出指示在像素处已经发生事件的信号，无效像素也不能输出指示该像素已经感测到事件的信号。
处理器120可以将在[1，3]处布置的像素分类为第一组。处理器120可以将在[1，2]和[2，3]处发生的由时间戳“2”标记的事件的像素分类为第二组。处理器120可以基于经分类的组以及属于像素组(例如，第一组和第二组)的像素的时间戳的变化的发展来确定对象的轮廓和/或对象(和/或视觉传感器)移动的方向，例如确定对象从右上方朝向左下方移动。
处理器120可以确定在目标像素处发生的事件与在与属于第二组的像素相邻的像素(不包括目标像素)处发生的事件之间的时间相关性。也就是说，处理器120可以确定在目标像素处发生的事件和在[1，1]和[3，3]处布置的像素处发生的事件之间的时间相关性。由于在目标像素处发生的事件的时间戳是“0”，并且在[1，1]和[3，3]处布置的像素处发生的事件的时间戳是“4”，所以处理器120可以确定在目标像素处发生的事件是异常事件(即，无效像素等)。
时间戳再生器122可以用周围时间戳中具有最大值的时间戳(即，“4”)来替换被确定为无效像素的目标像素的时间戳(即，“0”)。原因在于：考虑到对象的移动和轮廓，在两个相邻像素处发生的事件的时间戳急剧变化的可能性非常低。
图17是示出了本发明构思的至少一个示例实施例的处理器120如何确定无效像素(例如，坏像素)的视图。与参考图16描述的示例实施例不同，可以考虑目标像素周围的24个像素，但是不限于此。原因在于：即使图16的示例实施例中目标像素是正常的，也不能排除在[1，1]和[3，3]处布置的像素是无效像素的可能性。
如在以上至少一个示例实施例中，处理器120可以基于与像素相关联的时间戳，或者换言之，基于与由像素生成的事件相关联的时间戳，来对像素进行分组(或分类)。例如，处理器120可以将发生由时间戳“1”标记的事件的像素分类为第一组。处理器120可以将发生由时间戳“2”标记的事件的像素分类为第二组。第三组和第四组可以以与上述方式类似的方式被分类。
处理器120可以考虑在属于各个组的像素处发生的事件的时间戳和时间戳变化的发展来确定对象(和/或视觉传感器)的轮廓和/或移动方向。例如，处理器120可以基于像素的时间戳的值和/或像素的时间戳值的趋势，来确定对象从右上方移动到左下方，并且确定对象的轮廓是从左上到右下的对角线。例如，在图17中，可以基于对由像素阵列生成的事件的时间戳值和/或分配给像素阵列的像素的组的检验来确定移动方向。在像素[5，1]处，时间戳值是1；在像素[4，1]和[5，2]处，时间戳值是2；在像素[3，1]、[2，4]和[3，5]处，时间戳值是3；在像素[1，2]、[2，3]、[3，4]和[4，5]处，时间戳值是4；在像素[2，2]和[4，4]处，时间戳值5；以及其余像素的时间戳值为0。基于像素阵列的时间戳值(和/或分配给事件的组)和/或时间戳值的趋势，对象的方向被确定为在像素[1，5]处开始(因为其具有最早的时间戳值)，并在从上到下和从右到左的方向上继续。
附加地，处理器120可以确定在目标像素处发生的事件与在与目标像素相邻的像素处发生的事件之间的时间相关性。考虑到对象(和/或视觉传感器)的移动方向和/或轮廓，由于像素的时间戳值与相邻像素的时间戳值以及对象(和/或视觉传感器)的移动方向和/或轮廓相比存在差别和/或差异，因此可以将在某些像素处发生的事件确定为异常事件。换言之，可以基于所确定的对象(和/或视觉传感器)的移动方向和/或轮廓以及针对这些像素所期望的时间戳值(和/或发生或未发生的事件)，来确定一个或多个事件和/像素是否是异常的。
例如，在图17中，基于所确定的对象的移动方向，布置在[2，2]和[4，4]处的像素、或者布置在目标像素和布置在[1，1]和[5，5]处的像素发生的事件可能是异常事件。在这种情况下，处理器120可以确定在[2，2]和[4，4]处布置的像素处发生的事件是异常事件(即，由噪声像素或热像素等引起的事件)。原因在于：两个像素(例如，[2，2]和[4，4]处的像素)有缺陷的概率高于三个像素(例如，目标像素[3，3]以及在[1，1]和[5，5]处的像素)有缺陷的概率。然而，示例实施例不限于此，目标像素可以是像素阵列中的任意像素。
基于处理器120的确定结果，时间戳再生器122可以用与其它像素的时间戳值和/或与像素相关联的组中的事件相关联的时间戳值(例如，“0”)来替换布置在[2，2]和[4，4]处的被确定为坏像素(例如，噪声像素或热像素等)的时间戳。
根据参考图12至图17描述的方案，可以在噪声像素、热像素和无效像素处获得与发生正常事件相同的效果。因此，可以提高图像处理设备的性能。另外，由于实现了各种有益的改进，诸如像素阵列的产量的提高、最终用户使用的像素阵列中的坏像素的修复等，可以降低图像处理装置的制造成本和/或可以增加图像处理设备的使用寿命和可靠性。
图18是示出了根据本发明构思的至少一个示例实施例的时间戳再生方案的流程图。为了帮助理解示例实施例中的至少一个，将参考图12至图17来描述图18。
在操作s110中，可以生成多个时间戳。时间戳可以指示与事件发生的时间有关的信息。
在操作s120中，可以将多个时间戳分类为多个组。例如，可以将在[1，2]、[2，3]、[3，4]和[4，5]处布置的像素处发生的事件分类为第四组。第一至第三组可以包括以与上述方式相似的方式分类的像素。
可以基于属于各个组的时间戳和时间戳变化的发展来确定对象的轮廓和/或移动方向。例如，参考图16，可以基于像素观察到的时间戳，确定对象从右上方移动到左下方，并且确定对象的轮廓是从左上到右下的对角线。
在操作s130中，可以确定在目标像素处发生的事件与在每个组中包括的像素处发生的事件之间的时间相关性。此外，还可以确定在目标像素处发生的事件与在发生上一次事件的组相邻的像素处发生的事件之间的时间相关性。考虑到根据属于第四组的时间戳来确定的对象(和/或视觉传感器)的轮廓和/或移动方向，在[1，1]、[2，2]、[3，3]、[4，4]和[5，5]处布置的像素处发生的事件的一部分可能是异常事件。在这种情况下，处理器120可以确定在[2，2]和[4，4]处布置的像素是坏像素(例如，噪声像素或热像素等)。
在操作s140中，可以基于操作s130的确定结果来重新生成坏像素的时间戳。例如，图17的时间戳再生器17可以将在[2，2]和[4，4]处布置的像素的时间戳替换为“0”。
图19和图20是示出了本发明构思的一些示例实施例的时间戳再生方案被应用于子采样处理的处理的视图。为了帮助理解示例实施例中的至少一个，将参考图1至图11来描述图19和图20。
参考图19，多个像素可以被分类为多个组gp1至gp9。例如，第一组gp1包括在[1，1]、[1，2]、[2，1]和[2，2]处布置的像素。第二组gp2包括在[1，3]、[1，4]、[2，3]、[2，4]处布置的像素。类似地，其余组gp3至gp9中的每一个组可以包括多个像素。至少一个示例实施例被示出为四个像素被分类为一个组。然而，属于每个组的像素的数量不限于此，并且可以被确定为与通过子采样实现的分辨率一致。
在本发明构思的至少一个示例实施例中，术语“子采样”是指通过减少像素的数量来降低数据吞吐量的技术(例如，仅考虑所有像素的子集的输出)。例如，如果6×6像素被分类为多个组gp1到gp9，并且从包括在每个组中的像素的时间戳值中选择代表值，则6×6像素的输出可以被对待为在3×3像素处的事件(例如，可以通过使用来自6×6像素阵列的每个组的代表值来导出6×6像素阵列的3×3子采样)。
例如，根据子采样技术，可以从属于每个组的像素的时间戳中选择与最新(例如最近或最新等)发生的事件相对应的时间戳作为代表值。然而，示例实施例不限于此，可以选择首先发生的事件的时间戳作为代表值，或者可以选择中间值的时间戳作为代表值等。例如，在属于第一组gp1的像素处发生的事件中最近发生的事件发生在由“6”标记的像素处。因此，第一组gp1的子采样时间戳可以是“6”。可以以类似的方式对其余的组gp2至gp9执行子采样。每个组的子采样时间戳由圆圈内标记的数字来表达。
同时，假设属于第七组gp7且在[6，2]处布置的像素是坏像素，例如噪声像素或热像素。通过上述子采样技术，即使在由时间戳“6”标记的像素处发生的事件结束，第七组gp7的子采样时间戳也是“4”。
本发明构思的至少一个示例实施例的时间戳再生方案可以等同地应用于采用子采样技术的情况。
参考图20，处理器可以基于像素组的子采样时间戳来确定对象(和/或视觉传感器)的移动方向。例如，处理器可以考虑第三组gp3的子采样时间戳是“3”，第二组gp2和第六组gp6的子采样时间戳是“5”，且第一组gp1、第五组gp5和第九组gp9的子采样时间戳是“6”的事实。此外，考虑到第四组gp4和第八组gps的子采样时间戳是“0”的事实，处理器120可以确定事件的发生结束。
此外，处理器120可以确定多个组gp1至gp9的时间戳之间的时间相关性。例如，处理器120可以基于第四组gp4和第八组gp8的子采样时间戳是“0”但是第七组gp7的子采样时间戳是“4”的事实，来确定第七组gp7的子采样时间戳“4”来自异常事件。原因在于：考虑到对象(和/或视觉传感器)的移动方向，子采样时间戳从“0”到“4”的急剧变化是异常的。
时间戳再生器122可以重新生成具有异常代表值的第七组gp7的子采样时间戳。例如，时间戳再生器122可以用相邻的子采样时间戳来替换第七组gp7的子采样时间戳。例如，第七组gp7的子采样时间戳“4”可以被替换为与第七组gp7相邻的第四组gp4和第八组gp8的子采样时间戳“0”。
图21是示出了根据本发明构思的至少一个示例实施例的图像处理设备的电子设备的框图。例如，电子设备1000可以用智能手机、平板电脑、台式电脑、笔记本电脑、可穿戴设备、家庭自动化设备、安保相机等来实现。此外，电子设备1000可以用操作无人安保系统、物联网设备、工业机器人、自主车辆和工业质量保证设备所需的各种类型的电子设备之一来实现。
电子设备1000可以包括图像处理设备1100、主处理器1200、工作存储器1300、存储设备1400、显示器1500、通信块1600和/或用户接口1700，但不限于此。
图像处理设备1100可以是被实现为执行参考图1至图20描述的方案的图像处理设备。
同时，时间戳再生方案可以作为由主处理器1200而不是处理器1120执行的专用软件或固件(例如，专用计算机可读指令)来执行。在这种情况下，作为用于实现时间戳再生方案的专用固件或软件的时间戳再生器1310可以被加载在工作存储器1300上，并且主处理器1200可以驱动时间戳再生器1310。在这种情况下，由于时间戳再生方案由主处理器1200驱动/处理，因此可以省略处理器1120。
工作存储器1300可以存储要用于电子设备1000的操作的数据。例如，工作存储器1300可以临时存储由处理器1120处理的分组或帧。例如，工作存储器1300可以包括诸如动态随机存取存储器(dram)、同步dram(sdram)等的易失性存储器和/或诸如相变ram(pram)、磁阻ram(mram)、电阻ram(reram)、铁电ram(fram)等的非易失性存储器。
存储设备1400可以存储用于执行时间戳再生方案的专用固件或软件。固件或软件包括用于执行时间戳再生方案的计算机可读指令，其可以取决于主处理器1200的请求或命令从存储设备1400读取，并且可被加载在工作存储器1300上。存储设备1400可以包括诸如闪存、pram、mram、reram、fram等的非易失性存储器件。
显示器1500可以包括显示面板和显示器串行接口(dsi)外围电路。例如，显示面板可以用诸如液晶显示(lcd)设备、发光二极管(led)显示设备、有机led(oled)显示设备、有源矩阵oled(amoled)显示设备等各种设备来实现。主处理器1200中嵌入的dsi主机可以通过dsi与显示面板执行串行通信。dsi外围电路可以包括驱动显示面板所需的定时控制器、源驱动器等。
通信块1600可以通过天线与外部设备/系统交换信号。通信块1600的收发器1610和调制器/解调器(modem)1620可以根据诸如长期演进(lte)、全球微波接入互操作性(wimax)、全球移动通信系统(gsm)、码分多址(cdma)、蓝牙、近场通信(nfc)、无线保真(wi-fi)、射频识别(rfid)等的无线通信协议来处理与外部设备/系统交换的信号。
用户接口1700可以包括诸如键盘、鼠标、键区、麦克风、相机、按钮、触摸面板、触摸屏、触摸板、触摸球、陀螺仪传感器、振动传感器、加速度传感器等的输入接口中的至少一个。
电子设备1000的组件可以基于诸如通用串行总线(usb)、小型计算机系统接口(scsi)、高速外围组件互连(pcie)、移动pcie(m-pcie)、高级技术附件(ata)、并行ata(pata)、串行ata(sata)、串行连接scsi(sas)、集成驱动电子设备(ide)、增强型ide(eide)、非易失性存储器快速(nvme)、通用闪存(ufs)等的各种接口协议中的一个或多个来交换数据。
根据本发明构思的各种示例实施例，可以通过重新生成在坏像素处发生的事件的时间戳来改善图像处理设备的性能。
此外，由于将以与正常像素类似的方式来对待坏像素，因此可以提高图像处理设备的像素阵列的产量。
尽管已经参照本发明构思的示例实施例描述了本发明构思，但是对于本领域普通技术人员来说显而易见的是：在不脱离由所附权利要求阐述的本发明构思的精神和范围的情况下，可以进行各种改变和修改。