用于校准图像的方法和设备的制造方法
【专利说明】
[0001 ] 本申请要求于2014年11月20日提交到韩国知识产权局的第10-2014-0162651号韩 国专利申请的优先权，该韩国专利申请的全部内容通过引用其全部合并于此。
技术领域
[0002] 至少一个示例实施例设及一种用于校准多视点图像的方法和/或设备。
【背景技术】
[0003] 通常，显示=维(3D)图像的3D显示设备可使用从包括左视点图像和右视点图像的 立体图像产生多视点图像的方法来产生将被显示的图像。在运种产生多视点图像的方法 中，可基于左视点图像和右视点图像产生深度图像，并可执行图像校准W均衡左视点图像 与右视点图像之间的所有相应像素的高度值。通常，基于对极几何(邱ipoIar geometry)的 图像校准可被应用于调整左视点图像与右视点图像之间的高度差。
【发明内容】
[0004] 至少一个示例实施例设及一种校准图像的方法。
[0005] 根据至少一个示例实施例，所述方法可包括:从包括第一视点图像和第二视点图 像的多视点图像提取特征点，从包括在第一视点图像的当前图像帖中的特征点之中选择与 第一视点图像的在前图像帖的特征点相应的第一特征点;从第一特征点之中选择与包括在 第二视点图像的当前图像帖中的特征点相应的第二特征点;基于第二特征点对第二视点图 像的当前图像帖执行图像校准。
[0006] 选择第一特征点的步骤可包括:确定第一视点图像的当前图像帖与第一视点图像 的在前图像帖之间的相应特征点对;使用第一视点图像的当前图像帖与第一视点图像的在 前图像帖之间的基础矩阵，从所述相应特征点对之中选择第一特征点。
[0007] 选择第一特征点的步骤可包括:从确定的相应特征点对之中随机选择多对特征点 对;基于选择所述多对特征点对的位置信息来确定所述基础矩阵。
[0008] 执行图像校准的步骤可包括:基于第二特征点和第二视点图像的当前图像帖中的 与第二特征点相应的第=特征点，对第二视点图像的当前图像帖执行图像校准。
[0009] 执行图像校准的步骤可包括:基于第二特征点的位置信息和第=特征点的位置信 息，确定第一视点图像的当前图像帖与第二视点图像的当前图像帖之间的单应矩阵;通过 将所述单应矩阵应用于第二视点图像的当前图像帖来调整包括在第二视点图像的当前图 像帖中的像素的位置。
[0010] 执行图像校准的步骤可包括:基于捜索区域对第二特征点和第=特征点进行筛 选;基于通过筛选剩余的第二特征点和剩余的第=特征点对第二视点图像的当前图像帖执 行图像校准。
[0011] 所述方法还可包括:基于第一视点图像的当前图像帖与第二视点图像的当前图像 帖之间的单应矩阵，调整包括在第二视点图像的当前图像帖中的像素的颜色值。
[0012] 调整颜色值的步骤可包括:使用所述单应矩阵来使第二视点图像的当前图像帖变 形;将第二视点图像的经过变形的当前图像帖映射到第一视点图像的当前图像帖；识别第 二视点图像的当前图像帖与映射了第二视点图像的当前图像帖的第一视点图像的当前图 像帖中的相应像素;基于识别出的像素的颜色值来确定颜色变换矩阵;通过将颜色变换矩 阵应用于第二视点图像的当前图像帖来调整包括在第二视点图像的当前图像帖中的像素 的颜色值。
[0013] 提取特征点的步骤可包括:对第一视点图像的当前图像帖进行下采样;从下采样 的当前图像帖提取特征点。
[0014] 其它示例实施例设及一种用于校准图像的设备。
[0015] 根据至少一个示例实施例，所述设备可包括:特征点提取器，被配置为从包括第一 视点图像和第二视点图像的多视点图像提取特征点；特征点确定器，被配置为基于包括在 第一视点图像的在前图像帖中的特征点，从第一视点图像的当前图像帖和第二视点图像的 当前图像帖选择将被用于图像校准的特征点；图像校准器，被配置为基于选择的特征点执 行图像校准。
[0016] 图像校准器可包括:几何校准器，被配置为基于将被用于图像校准的特征点的位 置信息调整包括在第二视点图像的当前图像帖中的像素的位置。
[0017] 图像校准器可包括:颜色校正器，被配置为基于第一视点图像的当前图像帖与第 二视点图像的当前图像帖之间的单应矩阵，调整包括在第二视点图像的当前图像帖中的像 素的颜色值。
[0018] 颜色校正器可基于所述单应矩阵确定颜色变换矩阵，并通过将所述颜色变换矩阵 应用于第二视点图像的当前图像帖来调整包括在第二视点图像的当前图像帖中的像素的 颜色值。
[0019] 根据至少一个示例实施例，一种用于校准包括第一视点图像和第二视点图像的多 视点图像的设备包括:特征点确定器，被配置为通过将第一视点图像的当前帖的特征点与 第一视点图像的在前帖的特征点进行匹配W产生第一匹配特征点，来对第一视点图像的当 前帖执行第一筛选操作。特征点确定器被配置为通过将第一匹配特征点与第二视点图像的 当前帖的特征点进行匹配W产生第二匹配特征点，来对第二视点图像的当前帖执行第二筛 选操作。所述设备包括图像校准器，其中，图像校准器被配置为基于第二匹配特征点来校准 多视点图像。
[0020] 根据至少一个示例实施例，特征点确定器被配置为通过W下操作来执行在第一筛 选操作中的匹配:确定第一视点图像的当前帖与第一视点图像的在前帖之间的特征点对； 使用第一视点图像的当前帖与第一视点图像的在前帖之间的基础矩阵，从所述特征点对选 择特征点。
[0021 ]根据至少一个示例实施例，图像校准器包括:几何校准器，被配置为基于第二匹配 特征点的位置信息，调整第二视点图像的当前帖中的像素的位置。
[0022] 根据至少一个示例实施例，几何校准器被配置为:基于第二匹配特征点的位置信 息来确定第一视点图像的当前帖与第二视点图像的当前帖之间的单应矩阵，并使用所述单 应矩阵来调整第二视点图像的当前帖中的像素的位置。
[0023] 根据至少一个示例实施例，图像校准器包括:颜色校正器，被配置为基于第一视点 图像的当前帖与第二视点图像的当前帖之间的单应矩阵来调整第二视点图像的当前帖中 的像素的颜色值。
[0024] 根据至少一个示例实施例，颜色校正器被配置为:基于所述单应矩阵来确定颜色 变换矩阵，并使用所述颜色变换矩阵来调整第二视点图像的当前帖中的像素的颜色值。
[0025] 根据至少一个示例实施例，一种用于校准包括第一视点图像和第二视点图像的多 视点图像的设备包括:特征点提取器，被配置为从第一视点图像的当前帖提取特征点。所述 设备可包括特征点确定器，其中，所述特征点确定器被配置为:确定提取的特征点与第一视 点图像的在前帖的初始特征点之间的相应特征点对，使用所述相应特征点对来产生基础矩 阵，并基于所述基础矩阵和条件来确定第一视点图像的在前帖与第一视点图像的当前帖之 间是否已经发生场景改变。
[0026] 根据至少一个示例实施例，特征点确定器被配置为通过W下操作来确定所述相应 特征点对:基于提取的特征点的坐标与所述初始特征点的坐标之间的距离将提取的特征点 与所述初始特征点进行匹配，W产生匹配特征点对，并使用具有小于或等于阔值的距离值 的匹配特征点对来产生所述相应特征点对。
[0027] 根据至少一个示例实施例，特征点确定器被配置为通过W下操作来产生所述基础 矩阵：随机提取多对相应特征点对，并使用提取的所述多对相应特征点对的位置信息来产 生所述基础矩阵。
[0028] 根据至少一个示例实施例，所述设备包括图像校准器，其中，所述图像校准器被配 置为:如果未发生改变场景，则使用所述相应特征点对来校准多视点图像，如果已经发生场 景改变，则在不使用所述相应特征点对的情况下校准多视点图像。
[0029] 根据至少一个示例实施例，特征点确定器被配置为:将第一视点图像的当前帖划 分为包括提取的特征点的捜索区域，并通过在每个捜索区域中选择具有最大分数的提取的 特征点来减小提取的特征点的数量，其中，分数指示提取的特征点在所述相应特征点对中 的可能性。
[0030] 根据至少一个示例实施例，一种用于校准包括第一视点图像和第二视点图像的多 视点图像的设备包括:特征点确定器，被配置为从第一视点图像的当前图像帖中的提取的 特征点之中选择与第一视点图像的在前图像帖的特征点相应的第一特征点。特征点确定器 被配置为从第一特征点之中选择与第二视点图像的当前图像帖中的特征点相应的第二特 征点。所述设备包括图像校准器，其中，图像校准器被配置为基于第二特征点来对第二视点 图像的当前图像帖执行图像校准。
[0031] 根据至少一个示例实施例，特征点确定器被配置为通过W下操作来选择第一特征 点：确定第一视点图像的当前图像帖与第一视点图像的在前图像帖之间的相应特征点对， 并使用第一视点图像的当前图像帖与第一视点图像的在前图像帖之间的基础矩阵来在所 述相应特征点对之中选择第一特征点。
[0032] 根据至少一个示例实施例，特征点确定器被配置为:通过从确定的相应特征点对 之中随机选择多对特征点对，并基于选择的所述多对特征点对的位置信息来确定所述基础 矩阵，来选择第一特征点。
[0033] 根据至少一个示例实施例，特征点确定器被配置为通过W下操作来确定所述相应 特征点对:基于指示特征点的邻域属性的特征点描述符的差异来确定所述相应特征点对。
[0034] 根据至少一个示例实施例，图像校准器被配置为:基于第二特征点和第二视点图 像的当前图像帖中的与第二特征点相应的第=特征点，对第二视点图像的当前图像帖执行 图像校准。
[0035] 根据至少一个示例实施例，图像校准器被配置为通过W下操作来执行图像校准： 基于第二特征点的位置信息和第=特征点的位置信息来确定第一视点图像的当前图像帖 与第二视点图像的当前图像帖之间的单应矩阵，并通过将所述单应矩阵应用于第二视点图 像的当前图像帖来调整第二视点图像的当前图像帖中的像素的位置。
[0036] 根据至少一个示例实施例，图像校准器被配置为通过W下操作来执行图像校准： 基于捜索区域对第二特征点进行筛选;基于第二特征点之中的在筛选之后剩余的第二特征 点对第二视点图像的当前图像帖执行图像校准。
[0037] 根据至少一个示例实施例，图像校准器被配置为通过W下操作来执行图像校准： 通过基于第二特征点的位置信息和第=特征点的位置信息，调整第二视点图像的当前图像 帖中的像素的纵坐标值。
[0038] 示例实施例的另外的方面将在下面描述中部分进行阐述，部分从该描述将是清楚 的，或者可W通过本公开的实践而获知。
【附图说明】
[0039] 从W下结合附图对示例实施例进行的描述，运些和/或其它方面将变得明显且更 容易理解，其中：
[0040] 图1是示出根据至少一个示例实施例的用于校准图像的设备的整体操作的示图；
[0041] 图2示出根据至少一个示例实施例的基于第一视点图像和第二视点图像由用于校 准图像的设备执行图像校准的操作的示例；
[0042] 图3是示出根据至少一个示例实施例的用于校准图像的设备的配置的示图；
[0043] 图4示出根据至少一个示例实施例的确定参考特征点的操作的示例；
[0044] 图5示出根据至少一个示例实施例的执行局部最大检测的操作的示例；
[0045] 图6示出根据至少一个示例实施例的基于参考特征点来执行图像校准的操作的示 例；
[0046] 图7是示出根据至少一个示例实施例的校准图像的方法的流程图；
[0047] 图8是示出根据至少一个示例实施例的基于基础矩阵来确定匹配特征点的操作是 否成功的过程的流程图；
[0048] 图9是示出根据至少一个示例实施例的执行颜色校正的过程的流程图。
【具体实施方式】
[0049] 现在将参照附图更充分地描述本发明构思，在附图中示出了本发明构思的示例实 施例。提供运些示例实施例使得本公开将是彻底和完整的，并且运些示例实施例将向本领 域的技术人员充分传达本公开的发明构思。本发明构思可W W具有各种修改的许多不同形 式来实施，并且一些实施例将在附图中被示出并被详细解释。然而，运不应该被解释为受限 于在此阐述的示例实施例，相反，应该理解:在不脱离本发明构思的原理和精神的情况下， 可对运些示例实施例做改变，本发明构思的范围在权利要求及其等同物中被限定。相同的 标号始终表示相同的元件。在附图中，为了清楚起见，夸大了层和区域的厚度。
[0050]将理解，虽然术语"第一"、"第二"等可在此用于描述各种元件，但是运些元件不应 受运些术语