用于多传感器照相机装置的同步控制器和相关同步方法
【专利摘要】一种用于多传感器照相机装置(10)的同步控制器(100)，包含检测电路(102)和控制电路(104)。检测电路(102)检测从多传感器照相机装置(10)生成的图像输出之间的不同步，其中图像输出对应于不同的观看角度。控制电路(104)响应于由检测电路(102)检测的不同步来控制多传感器照相机装置(10)的操作。此外，应用于多传感器照相机装置(10)的同步方法包含以下步骤：检测从多传感器照相机装置(10)生成的图像输出之间的不同步，其中图像输出对应于不同的观看角度；以及响应于检测的不同步来控制多传感器照相机装置(10)的操作。
【专利说明】用于多传感器照相机装置的同步控制器和相关同步方法
[0001] 夺叉参考相关引用
[0002] 本申请要求2013年7月5日申请的美国临时申请No. 61/843,221以及2014年7 月3日申请的美国申请No. 14/322,925的权利。其全部内容通过参考并入于此。
【技术领域】
[0003] 所公开的本发明的实施例是关于生成同步的图像输出，且更特别地，关于用于多 传感器照相机装置（例如，立体照相机装置）的同步控制器和相关同步方法。
【背景技术】
[0004] 随着科学和技术的发展，用户追求立体的和更真实的图像而不是高质量的图像。 存在两种现有立体图像显示的技术。一种是使用以眼镜（例如，立体眼镜、偏振眼镜或快门 (shutter)眼镜）配合的视频输出装置，而另一种是直接使用不用任何配合眼镜的显示装 置。不论使用哪种技术，立体图像显示的主要理论是使左眼和右眼看到不同的图像（即，一 个左视图像和一个右视图像）。因此，大脑将把从两个眼镜看到的不同的图像看作为一个立 体图像。
[0005] -个左视图像和一个右视图像的立体图像对可以通过使用立体照相机装置获得。 立体照相机装置是具有设计为拍摄两张照片的两个图像传感器的照相机。立体图像对，包 含一个左视图像和一个右视图像，因此，当用户观看时创建三维（3D)效果。然而，可能存在 从立体照相机装置生成的左视图像和右视图像彼此不同步的问题。其结果是，当不同步的 左视图像和右视图像在电子装置（例如，智能电话）的3D面板上显示时，电子装置的用户 将会有较差的3D观看体验。
【发明内容】
[0006] 根据示范性本发明的实施例，提出用于多传感器照相机装置（例如，立体照相机 装置）的同步控制器和相关同步方法以解决上述的问题。
[0007] 根据第一方面，公开用于多传感器照相机装置的一种示范性同步控制器。示范性 同步控制器包含检测电路和控制电路。检测电路配置为检测从多传感器照相机装置生成的 图像输出之间的不同步，其中图像输出对应于不同的观看角度。控制电路配置为响应于由 检测电路检测的不同步来控制多传感器照相机装置的操作。
[0008] 根据本发明的第二方面，公开应用于多传感器照相机装置的一种示范性同步方 法。示范性同步方法包含：检测从多传感器照相机装置生成的图像输出之间的不同步，其中 图像输出对应于不同的观看角度；以及响应于检测的不同步来控制多传感器照相机装置的 操作。
[0009] 在阅读了图示于各种图和附图中的优先实施例的以下详细描述后，本发明的这些 和其它目的将对本领域的普通技术人员变得明显。
【专利附图】
【附图说明】
[0010] 图1是根据本发明的实施例图示同步控制器的框图。
[0011] 图2是图示具有两个非对称图像传感器的立体照相机模块的示意图。
[0012] 图3是图示具有两个非对称图像传感器的自由模块的立体照相机的示意图。
[0013] 图4是图不具有两个对称图像传感器的立体照相机|旲块的不意图。
[0014] 图5是图不具有两个对称图像传感器的自由|旲块的立体照相机的不意图。
[0015] 图6是图示根据本发明的另一实施例的同步控制器的示意图。
[0016] 图7是图示从显示于图6中的图像传感器生成的垂直同步信号之间的时序关系的 时序图。
【具体实施方式】
[0017] 遍及整篇描述和权利要求的某些术语用于指代特定部件。如本领域的技术人员意 识到的，制造商可用不同的名称指代部件。此文档不打算区别名称不同但功能相同的部件。 在权利要求和下文的描述中，术语"包括"和"包含"用于开放方式，且因此应该解释为意思 是"包含，但不限于"。而且，术语"耦合"意于表示间接或直接电连接。因此，如果一个装置 耦合到另一装置，那个连接可以通过直接电连接，或通过经由其它装置和连接的间接电连 接。
[0018] 本发明的一个概念是控制多传感器照相机装置的操作，以调整从多传感器照相机 装置生成的图像输出之间的时间差，由此减小/消除图像输出之间的不同步，图像输出提 供到后续的图像处理阶段用于进一步处理。提出的用于多传感器照相机装置的同步机制能 够放宽传感器规格要求。对于一个示例，允许多传感器照相机装置的每个图像传感器在传 感器启动和从图像传感器生成的垂直同步信号的第一脉冲之间具有固定的时间延迟。对于 另一示例，在多传感器照相机装置的两个图像传感器之间不要求专属同步机制，例如，使用 多传感器照相机装置的两个图像传感器的同步引脚的主-从控制机制。基本上，在提出的 同步机制帮助下，两个或者更多任意的单个-透镜图像传感器可达到所希望的图像输出同 步。另外，因为不需要线缓冲器或帧缓冲器用于达到图像输出同步，所以，提出的用于多传 感器照相机装置的同步机制是低成本解决方案。提出的用于多传感器照相机装置的同步机 制的进一步细节在以下描述。
[0019] 图1是根据本发明的实施例图示同步控制器的框图。同步控制器100配置为 控制多传感器照相机装置10,用于减小/消除多传感器照相机装置10的图像输出不同 步。多传感器照相机装置10可以配置为生成对应于不同观看角度的多个图像输出頂G_ OUTi-IMGJ^l。例如，当多传感器照相机装置10操作于视频记录模式时，每个图像输出 IMGjUTrlMGjUl将具有一系列帧（即，拍摄的图像）。
[0020] 关于同步控制器100,根据本发明的实施例，其可包含检测电路102、控制电路104 和可选的初始化电路106。在本实施例中，检测电路102配置为检测从多传感器照相机装置 10生成的图像输出頂G+OUTi-IMG+OUlN之间的不同步。控制电路104耦合于检测电路102 和多传感器照相机装置10之间，并配置为响应于由检测电路102检测的不同步，控制多传 感器照相机装置10的操作，以由此调整图像输出頂的至少一个的输出时 间。以此方式，通过应用于多传感器照相机装置10的合适的控制，图像输出IMG_0UT「IMG_ 〇utn之间的不同步可减小或消除。
[0021] 应该注意到，不同观看角度的图像输出的数量可取决于实施于多传感器照相机装 置10的图像传感器的数量。另外，本发明对包含于多传感器照相机装置10的图像传感器 的数量没有限制。换句话说，包含于多传感器照相机装置10的图像传感器的数量可以取决 于实际设计考虑而变化。因此，提出的同步机制可以应用于具有多于一个图像传感器的任 何照相机装置。例如，当多传感器照相机装置10是具有两个图像传感器的立体照相机装置 时，从一个图像传感器生成的图像输出是左视图像输出，以及从另一个图像传感器生成的 图像输出是右视图像输出。因此，同步控制器100可用于使左视图像输出与右视图像输出 同步，由此，当左视图像输出和右视图像输出显示在电子装置（例如，智能电话）的3D面板 上时，允许用户具有更好的3D观看体验。
[0022] 为了清楚和简明起见，以下假设多传感器照相机装置10是具有两个图像传感器 的立体照相机装置。然而，此仅仅是用于说明性的目的，且并非是本发明的限制。以示例的 方式，多传感器照相机装置10可使用具有两个非对称图像传感器的立体照相机模块200来 实施，包含主图像传感器201和次（辅助）图像传感器202 (即，具有不同分辨率和/或不 同传感器类型的图像传感器），如图2所示。在一个实施例中，当立体照相机模块200安装 于电子装置（例如，移动电话）时，立体照相机模块200可以用集成在其中的桥式电路连接 到图像信号处理器（ISP) 204。因此，不需要耦合于ISP和立体照相机模块的图像传感器之 间的外部桥式集成电路（1C)。备选地，多传感器照相机装置10可以使用具有两个非对称 图像传感器的自由模块（module-free)立体照相机300来实施，包含主图像传感器301和 次（辅助）图像传感器302 (即，具有不同分辨率和/或不同传感器类型的单个透镜图像传 感器单独提供而不包装为一个立体照相机模块），如图3所示。应该注意到，主图像传感器 301和次（辅助）图像传感器302可以由不同模块室（modulehouse)供应。在一个实施例 中，当自由模块立体照相机300安装于电子装置（例如，移动电话）时，自由模块立体照相 机300可以用集成在其中的桥式电路连接到ISP204。因此，不需要耦合于ISP和个别图像 传感器之间的外部桥式1C。
[0023] 无论多传感器照相机装置10是否使由显示于图2中的立体照相机模块200或显 示于图3中的自由模块立体照相机300来实施，非对称图像传感器可具有不同的帧率或动 态帧率。帧率之间的差别将导致左视图像输出和右视图像输出之间的不同步。在示范性设 计中，同步控制器100可以实施于ISP204中。因此，可以采用同步控制器100以检测和测 量左视图像输出和右视图像输出之间的不同步，以及然后控制非对称双图像传感器以减小 或消除所检测的左视图像输出和右视图像输出之间的不同步。
[0024] 应该注意到，使用同步控制器100用于解决由立体照相机模块200或自由模块立 体照相机300实施的多传感器照相机装置10遭遇的输出图像不同步问题仅仅是一个示例。 备选地，可以采用同步控制器100用于解决由具有对称图像传感器的立体照相机装置遭遇 的图像输出不同步问题。即，如图4所示，多传感器照相机装置10可以使用具有两个对称图 像传感器401和402 (即，具有相同分辨率的图像传感器）的立体照相机模块400来实施， 或如图5所示，可以使用具有两个对称图像传感器501和502(即，具有相同分辨率的单个 透镜图像传感器单独提供而不包装于一个立体照相机模块）的自由模块立体照相机500来 实施。应该注意到，图像传感器501和502可以从不同的模块室供应。这些备选设计均落 入本发明的范围。
[0025] 检测电路102可根据从多传感器照相机装置10生成的垂直同步信号，检测从多传 感器照相机装置10生成的图像输出頂(例如，从显示于图2-图5的立体 照相机的一个生成的一个左视图像输出和一个右视图像输出）之间的不同步，其中垂直同 步信号分别与图像输出IMG+OUTi-nKLOUl关联。另外，基于由检测电路102提供的所检测 的不同步的信息，控制电路104可通过调整主时钟、像素时钟、传感器虚拟线设定和/或传 感器虚拟像素设定来控制多传感器照相机装置10。为了更好地理解本发明的技术特征，给 出用于电子装置的同步控制器100和多传感器照相机装置10的示例如以下。
[0026] 图6是根据本发明的另一实施例图示同步控制器的框图。同步控制器600遵照显 示于图1中的同步控制器100的架构，并因此包含检测电路602和控制电路604。在本实 施例中，同步控制器600可以实施于移动电话的基带芯片的图像信号处理器（ISP)601中。 然而，此并非是本发明的限制。采用同步控制器600以解决由多传感器照相机装置（例如， 本实施例中的立体照相机装置605)遭遇的图像输出不同步问题。立体照相机装置605可 以使用显示于图2-图5中的一个示范性照相机设计来实施，且可具有两个图像传感器606 和607。因此，由于在立体照相机装置605执行的合适的照相机控制，从图像传感器606和 607生成的左视图像输出和右视图像输出之间的不同步可减小或消除。
[0027] 如图6所不，ISP601还包含时序发生器608、609以及I2C(Inter-Integrated Circuit)总线控制器610、612。时序发生器608可生成传感器复位信号RESET1以复位图像 传感器606,并供应主时钟MCLK1到图像传感器606以用作参考时钟。因此，当由传感器复 位信号RESET1触发时，图像传感器606执行传感器启动操作。此外，图像传感器606可包含 用于基于主时钟MCLK1生成像素时钟PCLK1的频率合成器。图像传感器606根据像素时钟 PCLK1输出图像输出（例如，左视图像输出和右视图像输出的一个）中每个帧的像素数据。 图像传感器606还通过照相机接口发送像素时钟PCLK1、水平同步信号HS1以及垂直同步 (Vsync)信号VS1到ISP601的时序发生器608。例如，照相机接口可以是由移动产业处理 器接口（MobileIndustryProcessorInerface，MIPI)标准化的照相机串行接口（Camera SerialInerface，CSI)。水平同步信号HS1和垂直同步信号VS1与图像传感器606的图像 输出关联，其中水平同步信号HS1指示从图像传感器606生成的帧的每条线的传送的结束， 以及垂直同步信号VS1指示从图像传感器606生成的帧的最后一条线的传送的结束。
[0028] 类似地，时序发生器609可生成传感器复位信号RESET2以复位图像传感器607,且 供应主时钟MCLK2到图像传感器607以用作参考时钟。因此，当由传感器复位信号RESET2 触发时，图像传感器607执行传感器启动操作。此外，图像传感器607可包含用于基于主时 钟MCLK2生成像素时钟PCLK2的频率合成器。图像传感器607根据像素时钟PCLK2输出图 像输出（例如，左视图像输出和右视图像输出的另一个）的每个帧的像素数据。图像传感 器607还通过照相机接口发送像素时钟PCLK2、水平同步信号HS2以及垂直同步信号VS2到 ISP601的时序发生器609。例如，照相机接口可以是由移动产业处理器接口（MIPI)标准 化的照相机串行接口（CSI)。水平同步信号HS2和垂直同步信号VS2与图像传感器607的 图像输出关联，其中水平同步信号HS2指示从图像传感器607生成的帧中每条线的传送的 结束，以及垂直同步信号VS2指示从图像传感器607生成的帧中最后一条线的传送的结束。
[0029] 垂直同步信号VS1是指示从图像传感器606生成的整个帧已经经由照相机接口发 送到ISP601的一种方法。类似地，垂直同步信号VS2是指示从图像传感器607生成的整 个帧已经经由照相机接口发送到ISP601的一种方法。在本实施例中，检测电路602配置 为根据从立体照相机装置605生成的垂直同步信号VS1和VS2,检测立体照相机装置605的 图像输出之间的不同步，其中每个垂直同步信号VS1和VS2具有Vsync脉冲，每个Vsync脉 冲指示当前帧的结束和下一帧的开始。如图6所示，检测电路602包含，但不限于，周期计 数器614和差值计数器616。周期计数器614配置为计数相同垂直同步信号（例如，此示 例中的VS1)中两个连续Vsync脉冲之间的周期，并因此生成计数值CNT。差值计数器616 配置为计数两个连续Vsync脉冲之间的时间差，包含一个垂直同步信号（例如，此示例中的 VS1)中的Vsync脉冲和另一垂直同步信号（例如，此示例中的VS2)中的Vsync脉冲，并因 此生成计数值DIFF。计数值CNT和DIFF提供所检测的立体照相机装置605的图像输出之 间的不同步的信息。
[0030] 图7是图示从显示于图6中的图像传感器606和607生成的垂直同步信号VS1和 VS2之间的时序关系的时序图。在一个示范性设计中，差值计数器616可以配置为当差值计 数器616相继地由垂直同步信号VS1中的Vsync脉冲和垂直同步信号VS2中的Vsync脉冲 触发时，生成具有正值的计数值DIFF，并当差值计数器616相继地由垂直同步信号VS2中的 Vsync脉冲和垂直同步信号VS1中的Vsync脉冲触发时，生成具有负值的计数值DIFF。控 制电路604可以配置为将计数值DIFF与CNT比较，以决定由差值计数器616监测的垂直同 步信号VS1和VS2的Vsync脉冲之间实际相位领先/落后状态。当
【权利要求】
1. 一种用于多传感器照相机装置的同步控制器，其特征在于，包含： 检测电路，配置为检测从所述多传感器照相机装置生成的图像输出之间的不同步，其 中所述图像输出对应于不同的观看角度；以及 控制电路，配置为响应于由所述检测电路检测的所述不同步来控制所述多传感器照相 机装置的操作。
2. 如权利要求1所述的同步控制器，其特征在于，所述检测电路配置为根据从所述多 传感器照相机装置生成的垂直同步信号检测所述不同步；以及所述垂直同步信号分别与所 述图像输出关联。
3. 如权利要求1所述的同步控制器，其特征在于，所述多传感器照相机装置具有图像 传感器，所述图像传感器接收主时钟，以及所述控制电路配置为通过根据由所述检测电路 检测的所述不同步，来调整所述主时钟来控制所述多传感器照相机装置。
4. 如权利要求1所述的同步控制器，其特征在于，所述多传感器照相机装置具有图像 传感器，所述图像传感器根据像素时钟输出所述图像输出的一个，以及所述控制电路配置 为通过根据由所述检测电路检测的所述不同步，来调整所述像素时钟来控制所述多传感器 照相机装置。
5. 如权利要求1所述的同步控制器，其特征在于，所述多传感器照相机装置具有图像 传感器，所述图像传感器生成所述图像输出的一个，以及所述控制电路配置为通过根据由 所述检测电路检测的所述不同步，来调整所述图像传感器的传感器虚拟线设定来控制所述 多传感器照相机装置。
6. 如权利要求1所述的同步控制器，其特征在于，所述多传感器照相机装置具有图像 传感器，所述图像传感器生成所述图像输出的一个，以及所述控制电路配置为通过根据由 所述检测电路检测的所述不同步，来调整所述图像传感器的传感器虚拟像素设定来控制所 述多传感器照相机装置。
7. 如权利要求1所述的同步控制器，其特征在于，所述多传感器照相机装置具有第一 图像传感器，用于生成所述图像输出的第一图像输出，以及第二图像传感器，用于生成所述 图像输出的第二图像输出，且所述同步控制器还包含： 初始化电路，配置为控制所述第一图像传感器的复位和所述第二图像传感器的复位， 以确保所述第一图像输出和所述第二图像输出之间的所述不同步的初始值在所述第一图 像传感器和所述第二图像传感器复位后是位于预定范围内。
8. 如权利要求1所述的同步控制器，其特征在于，由所述同步控制器控制的所述多传 感器照相机装置具有非对称图像传感器。
9. 如权利要求8所述的同步控制器，其特征在于，所述多传感器照相机装置是包装有 所述非对称图像传感器的照相机模块。
10. 如权利要求8所述的同步控制器，其特征在于，所述多传感器照相机装置是自由模 块。
11. 一种应用于多传感器照相机装置的同步方法，其特征在于，包含： 检测从所述多传感器照相机装置生成的图像输出之间的不同步，其中所述图像输出对 应于不同的观看角度；以及 响应于所述检测的不同步来控制所述多传感器照相机装置的操作。
12. 如权利要求11所述的同步方法，其特征在于，检测从所述多传感器照相机装置生 成的图像输出之间的不同步的步骤包含： 根据从所述多传感器照相机装置生成的垂直同步信号检测所述不同步；以及所述垂直 同步信号分别与所述图像输出关联。
13. 如权利要求11所述的同步方法，其特征在于，所述多传感器照相机装置具有图像 传感器，所述图像传感器接收主时钟，以及控制所述多传感器照相机装置的步骤包含： 根据所述检测的不同步调整所述主时钟。
14. 如权利要求11所述的同步方法，其特征在于，所述多传感器照相机装置具有图像 传感器，所述图像传感器根据像素时钟输出所述图像输出的一个，以及控制所述多传感器 照相机装置的步骤包含： 根据所述检测的不同步调整所述像素时钟。
15. 如权利要求11所述的同步方法，其特征在于，所述多传感器照相机装置具有图像 传感器，所述图像传感器生成所述图像输出的一个，以及控制所述多传感器照相机装置的 步骤包含： 根据所述检测的不同步调整所述图像传感器的传感器虚拟线设定。
16. 如权利要求11所述的同步方法，其特征在于，所述多传感器照相机装置具有图像 传感器，所述图像传感器生成所述图像输出的一个，以及控制所述多传感器照相机装置的 步骤包含： 根据所述检测的不同步调整所述图像传感器的传感器虚拟像素设定。
17. 如权利要求11所述的同步方法，其特征在于，所述多传感器照相机装置具有第一 图像传感器，用于生成所述图像输出的第一图像输出，以及第二图像传感器，用于生成所述 图像输出的第二图像输出，且所述同步方法还包含： 控制所述第一图像传感器的复位和所述第二图像传感器的复位，以确保所述第一图像 输出和所述第二图像输出之间的所述不同步的初始值在所述第一图像传感器和所述第二 图像传感器复位后是位于预定范围内。
18. 如权利要求11所述的同步方法，其特征在于，所述多传感器照相机装置具有非对 称图像传感器。
19. 如权利要求18所述的同步方法，其特征在于，所述多传感器照相机装置是包装有 所述非对称图像传感器的照相机模块。
20. 如权利要求18所述的同步方法，其特征在于，所述多传感器照相机装置是自由模 块。
【文档编号】H04N5/235GK104412585SQ201480001278
【公开日】2015年3月11日 申请日期:2014年7月4日 优先权日:2013年7月5日
【发明者】吴东海, 辜维正, 蔡忠宏, 李元仲 申请人:联发科技股份有限公司