穿戴式电子设备和图像处理方法
【专利摘要】本发明实施例提供了一种穿戴式电子设备和图像处理方法。根据本发明实施例的穿戴式电子设备，包括：固定部件，配置来维持穿戴式电子设备与用户头部的相对位置关系；图像采集部件，设置在固定部件上，并且包括多个图像采集模块，其中多个图像采集模块设置在固定部件不同的位置上，并且多个图像采集模块中相邻两个图像采集模块的图像采集方向之间的夹角大于预定角度；处理部件，设置在固定部件上，并且配置来对图像采集模块中的至少一个图像采集模块所采集的图像进行图像处理；以及显示部件，设置在固定部件上，并且配置来向用户显示经过处理部件处理的图像。
【专利说明】穿戴式电子设备和图像处理方法
【技术领域】
[0001] 本发明的实施例涉及一种穿戴式电子设备和图像处理方法，具体地，本发明的实 施例涉及一种能够拍摄并显示所拍摄的图像的穿戴式电子设备和应用于该穿戴式电子设 备的图像处理方法。
【背景技术】
[0002] 随着科技的发展，近年来例如腕带式设备、头戴式设备的各种穿戴式电子设备被 广泛应用，以进一步方便用户的携带并且向用户提供不同的使用体验。在现有的头戴式电 子设备中，用户可通过例如镜片之类的透光部件看到面前的场景，而当用户希望看到其它 方向上的景象时需要转动头部。虽然为了方便用户的使用，有些头戴式电子设备设置有图 像采集部件并且可向用户显示图像采集部件所拍摄的图像，但是这些图像采集部件的拍摄 方向被设置为与用户透过透光部件观看的方向相同，因此，当用户希望看到其它方向上的 景象或者对其它方向上的场景进行拍摄时仍然需要转动头部，给用户的使用带来不便。
【发明内容】
[0003] 本发明实施例的目的在于提供一种穿戴式电子设备和图像处理方法，以解决上述 问题。
[0004] 本发明的一个实施例提供了一种穿戴式电子设备，包括：固定部件，配置来维持穿 戴式电子设备与用户头部的相对位置关系；图像采集部件，设置在固定部件上，并且包括多 个图像采集模块，其中多个图像采集模块设置在固定部件不同的位置上，并且多个图像采 集模块中相邻两个图像采集模块的图像采集方向之间的夹角大于预定角度；处理部件，设 置在固定部件上，并且配置来对图像采集模块中的至少一个图像采集模块所采集的图像进 行图像处理；以及显示部件，设置在固定部件上，并且配置来向用户显示经过处理部件处理 的图像。
[0005] 本发明的另一实施例提供了一种图像处理方法，应用于穿戴式电子设备，电子设 备包括配置来维持穿戴式电子设备与用户头部的相对位置关系的固定部件、设置在固定部 件上并且包括多个图像采集模块的图像采集部件。所述方法包括：对图像采集模块中的至 少两个图像采集模块所采集的图像进行图像处理；以及向用户显示经过处理的图像，其中 多个图像采集模块中相邻两个图像采集模块的图像采集方向之间的夹角大于或等于预定 角度。
[0006] 在根据本发明实施例的穿戴式电子设备和图像处理方法中，通过在固定部件不同 的位置上设置图像采集方向相互不同的多个图像采集模块，使得用户可以在观看面前的场 景的同时，不需要转动头部也能够实时看到自己周围的场景，从而加宽了视野并且方便了 用户的使用。
【专利附图】
【附图说明】
[0007] 为了更清楚地说明本发明实施例的技术方案，下面将简要描述本发明的实施例描 述中所需要使用的附图。
[0008] 图1是示出了根据本发明一个实施例的穿戴式电子设备的示例性框图。
[0009] 图2是示出了图1中所示的穿戴式电子设备的一个示意情形的说明图。
[0010] 图3a至图3d分别示出了在同一时刻，通过第一图像采集模块至第四图像采集模 块所拍摄的图像的一个示意情形的说明图。
[0011] 图4示出了通过智能眼镜中的处理部件对第一图像采集模块至第四图像采集模 块所拍摄的图像进行合并处理所获得的合并图像的一个示意情形的说明图。
[0012] 图5a和图5b是示出了从图4所示的合并图像中获取的与夹角对应的部分图像的 一个示例情形的说明图。
[0013] 图6是示出了在图4所示的合并图像中将图像选择输入所指示的图像采集模块所 采集的图像的显示效果设置为与其它图像采集模块所采集的图像的显示效果不同的一个 示例情形的说明图。
[0014] 图7是描述了根据本发明实施例的图像处理方法的流程图。
【具体实施方式】
[0015] 在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图 中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解 释将被省略。
[0016] 下面，将参照图1和图2说明根据本发明的一个实施例的穿戴式电子设备。图1 是示出了根据本发明一个实施例的穿戴式电子设备的示例性框图。如图1所示，穿戴式电 子设备100包括固定部件110、图像采集部件120、处理部件130和显示部件140。
[0017] 具体地，固定部件110可维持所述穿戴式电子设备与用户头部的相对位置关系。 例如，固定部件110可以是能够被佩戴在头部的头箍、头盔、眼镜的镜架等。图像采集部件 120设置在固定部件110上。如图1所示，图像采集部件120包括设置在固定部件110的不 同的位置上的多个图像采集模块120-1U20-2……120-n。在根据本发明的实施例中，多个 图像采集模块120-1、120-2……120-n中相邻两个图像采集模块的图像采集方向之间的夹 角大于预定角度。例如，预定角度可以是45度，可将相邻两个图像采集模块的图像采集方 向之间的夹角设置为90度。
[0018] 图2是示出了图1中所示的穿戴式电子设备的一个示意情形的说明图。在图2所 示的示例中，将以穿戴式电子设备为智能眼镜为例进行描述。如图2所示，镜架部件210可 维持所述穿戴式电子设备与用户头部的相对位置关系。换言之，智能眼镜200可通过镜架 部件210被佩戴在用户头部。智能眼镜200包括设置在镜架部件210上的图像采集部件。 如图2所示，图像采集部件包括设置在镜架部件210的左侧眼镜腿末端的第一图像采集模 块221、设置在镜架部件210的镜框左侧的第二图像采集模块222、设置在镜架部件210的 镜框右侧的第三图像采集模块223和与第三图像采集模块223相邻的第四图像采集模块 224。当智能眼镜200被用户佩戴时，第一图像采集模块221可对用户的后方进行图像采集、 第二图像采集模块222可对用户的左侧进行图像采集、第三图像采集模块223可对用户的 前方进行图像采集、以及第四图像采集模块224可对用户的右侧进行图像采集。
[0019] 返回图1，处理部件130设置在固定部件110上。例如，在图2所示的示例中，处理 部件可设置在镜架部件210内部。处理部件130对图像采集模块中的至少一个图像采集模 块所采集的图像进行图像处理。显示部件140设置在固定部件上以向用户显示经过处理部 件处理的图像。例如，在图2所示的示例中，显示部件可设置在镜架部件210内部，并且将 从经过处理部件处理的图像投影到智能眼镜的镜片上，以向用户进行显示。优选地，智能眼 镜的镜片在从内侧到外侧的方向上满足预定透光率，使得用户能够在观看第一放大虚像的 同时能够观看周围环境。
[0020] 根据本发明的一个示例，处理单元130可按照图像采集模块在固定部件中的设置 位置和采集方向，对图像采集部件中的至少两个图像采集模块所采集的图像进行合并处 理，以获得合并图像。显示部件140可向用户显示处理单元130生成的合并图像。
[0021] 以下将结合图3a-图3d以及图4来描述图2所示的示例中智能眼镜200中的处 理部件对第一图像采集模块221至第一图像采集模块224所采集的图像进行合并处理的一 个示例。具体地，图3a至图3d分别示出了在同一时刻，通过第一图像采集模块221至第四 图像采集模块224所拍摄的图像的一个示意情形的说明图。图4示出了通过智能眼镜200 中的处理部件对第一图像采集模块221至第四图像采集模块224所拍摄的图像进行合并处 理所获得的合并图像400的一个示意情形的说明图。在图4所示的示例中，智能眼镜200中 的处理部件按照设置位置从前到后，并且按照对左侧进行图像采集、对前方进行图像采集、 对右侧进行图像采集和对后方进行图像采集的采集方向的顺序来对第一图像采集模块221 至第四图像采集模块224所拍摄的图像进行合并处理，以获得合并图像。如图4所示，合并 图像400依次包括图3b中所示的第二图像采集模块222所拍摄的图像320、图3c中所示的 第三图像采集模块223所拍摄的图像330、图3d中所示的第四图像采集模块224所拍摄的 图像340和图3a中所示的第一图像采集模块221所拍摄的图像310。
[0022] 此外可选择地，电子设备100还可包括设置在固定部件110上的运动检测部件，以 检测电子设备与预定基准方向之间的夹角。当电子设备100被佩戴在用户的头部并且用户 的头部转动时，处理部件110可根据运动检测部件检测的夹角确定佩戴了电子设备的用户 的头部是否进行了在特定方向上的转动。当确定用户的头部进行了在特定方向上的转动 时，处理部件110可从合并图像中获取与夹角对应的部分图像。例如，运动检测部件的具体 形式可以包括但不限于陀螺仪、G-sensor等感应部件。显示部件140可向用户显示处理单 元130生成的部分图像。
[0023] 图5a和图5b是示出了从图4所示的合并图像400中获取的与夹角对应的部分图 像500的一个示例情形的说明图。在图5所示的示例中，以用户佩戴电子设备时身体朝向的 方向为预定基准方向。假设根据第一图像采集模块221至第一图像采集模块224的设置位 置和/或图像采集方向，预先设置当用户的头部向左转动小于预定旋转角度（例如45度） 时，截取合并图像400中第二图像采集模块222所拍摄的图像作为部分图像；当用户的头 部向左转动大于或等于预定旋转角度（例如45度）时，截取合并图像400中第一图像采集 模块221所拍摄的图像作为部分图像；当用户的头部向右转动小于预定旋转角度（例如45 度）时，截取合并图像400中第三图像采集模块223所拍摄的图像作为部分图像；当用户的 头部向右转动大于或等于预定旋转角度（例如45度）时，截取合并图像400中第四图像采 集模块224所拍摄的图像作为部分图像。当运动检测部件检测到电子设备相对于与预定基 准方向向左偏转30度时，处理部件可确定佩戴了电子设备的用户的头部向左转动了 30度， 并且如图5a所示，处理部件根据预先设置沿虚线截取合并图像400中的第二图像采集模块 222所拍摄的图像，以获得图5b所示的部分图像500。
[0024] 应注意，虽然在图5a和图5b中以根据图像采集模块的设置位置和/或图像采集 方向预先设置转动方向与所截取的部分图像之间的对应关系为例进行了描述，但是本发明 不限于此。例如，还可在将合并图像转换为环形图像，并且预先确定图像截取区域和合并图 像中的原点位置，当根据运动检测部件检测到的电子设备与预定基准方向之间的夹角确定 佩戴了电子设备的用户的头部在特定方向上的转动时，处理部件在转换后的环形图像中确 定与原点位置之间的夹角与头部的转动角度对应的转动位置，并以该转动位置为中心，截 取预定的图像截取区域，作为部分图像。
[0025] 此外根据本发明的另一示例，电子设备100还可包括输入单元，以接收图像选择 输入。处理单元110还可确定图像选择输入所指示的图像采集模块所采集的图像，并且在 合并图像中图像选择输入所指示的图像采集模块所采集的图像的显示效果设置为与其它 图像采集模块所采集的图像的显示效果不同。
[0026] 例如，输入单元可以是上述用于检测电子设备与预定基准方向之间的夹角的运动 检测部件。处理单元110可根据运动检测部件检测的夹角确定佩戴了电子设备的用户的头 部是否进行了在特定方向上的转动。当确定用户的头部进行了在特定方向上的转动时，处 理部件110可将在合并图像中与该夹角所对应的图像采集模块所采集的图像的显示效果 设置为与其它图像采集模块所采集的图像的显示效果不同。此外，输入单元还可以是触摸 输入单元、实体按键等。
[0027] 图6是示出了在图4所示的合并图像400中将图像选择输入所指示的图像采集模 块所采集的图像的显示效果设置为与其它图像采集模块所采集的图像的显示效果不同的 一个示例情形的说明图。假设在图6所示的示例中，输入单元接收的图像选择输入指示的 图2中的第二图像采集模块222所采集的图像。如图6所示，在合并图像400中，以较大尺 寸显示第二图像采集模块222所采集的图像320,并且以较小尺寸显示其它图像采集模块 所采集的图像。此外，以较高亮度显示第二图像采集模块222所采集的图像320,并且以较 低亮度显示其它图像采集模块所采集的图像。
[0028] 在图6以示例的方式示出了不同的显示效果。然而，应理解，本发明不限于此。例 如，可对合并图像进行弯曲处理以获得曲面图像，并且在曲面图像的弧度较大的突出部分 中显示与图像选择输入所指示的图像采集方向对应的图像采集模块所采集的图像，而在曲 面图像的其它部分显示其它图像采集模块所采集的图像。
[0029] 此外根据本发明的又一示例，在电子设备100包括上述检测电子设备与预定基准 方向之间的夹角的运动检测部件的情况下，电子设备1〇〇还可包括设置在固定部件上的控 制部件，以根据夹角分别控制各个图像采集模块的开启或关闭。可与结合图5描述的设置 佩戴了电子设备的用户的头部的转动与所截取的部分图像之间对应关系的方法类似的方 法来设置电子设备与预定基准方向之间的夹角与各个图像采集模块之间对应关系，从而根 据所检测的夹角来控制各个图像采集模块的开启或关闭。
[0030] 在以上描述的根据本发明实施例的穿戴式电子设备中，通过在固定部件不同的位 置上设置图像采集方向相互不同的多个图像采集模块，使得用户可以在观看面前的场景的 同时，不需要转动头部也能够实时看到自己周围的场景，从而加宽了视野并且方便了用户 的使用。
[0031] 下面，参照图7说明本发明的实施例的图像处理方法。图7是描述了根据本发明 实施例的图像处理方法700的流程图。图像处理方法700可用于包括配置来维持穿戴式电 子设备与用户头部的相对位置关系的固定部件、设置在固定部件上并且包括多个图像采集 模块的图像采集部件的穿戴式电子设备，并且图像处理方法700中的各个步骤可分别被上 述图1中穿戴式电子设备中的相应部件执行。因此，以下仅对图像处理方法700的主要步 骤进行了描述，而省略了以上已经结合图1描述过的细节内容。
[0032] 在图7的步骤S701中，对图像采集模块中的至少两个图像采集模块所采集的图像 进行图像处理。在根据本实施例中，穿戴式电子设备的多个图像采集模块中相邻两个图像 采集模块的图像采集方向之间的夹角大于预定角度。例如，预定角度可以是45度，可将相 邻两个图像采集模块的图像采集方向之间的夹角设置为90度。然后，在步骤S702中，向用 户显示经过处理的图像。
[0033] 根据本发明的一个示例，在步骤S701可按照图像采集模块在固定部件中的设置 位置和采集方向，对图像采集部件中的至少两个图像采集模块所采集的图像进行合并处 理，以获得合并图像。例如，如以上结合图3和图4所描述的，在步骤S701中，可对图像采 集部件中包含的所有图像采集模块所采集的图像进行合并处理，以获得合并图像。可替换 地，在步骤S701中，也可仅对图像采集部件中包含的所有图像采集模块所采集的图像进行 合并处理，以获得合并图像。在步骤S702中，可向用户显示所获得的合并图像。
[0034] 此外可选择地，图7中所示的图像处理方法700还可包括当电子设备被佩戴在用 户的头部并且用户的头部转动时，检测电子设备与预定基准方向之间的夹角，以根据所检 测的夹角确定用户的头部是否进行了在特定方向上的转动。在步骤S701中，对图像采集部 件中包含的所有图像采集模块所采集的图像进行合并处理以获得合并图像之后，当确定用 户的头部进行了在特定方向上的转动时，还可进一步从合并图像中获取与夹角对应的部分 图像。在步骤S702中，可向用户显示所获得的部分图像。
[0035] 如以上结合图5a和图5b所描述的，在步骤S701中，可根据图像采集模块的设置 位置和/或图像采集方向预先设置转动方向与所截取的部分图像之间的对应关系，从而当 根据所检测的夹角确定用户的头部进行了在特定方向上的转动时，根据转动方向获得部分 图像。
[0036] 此外，在步骤S701中还可在将合并图像转换为环形图像，并且预先确定图像截取 区域和合并图像中的原点位置，当根据运动检测部件检测到的电子设备与预定基准方向之 间的夹角确定佩戴了电子设备的用户的头部在特定方向上的转动时，处理部件在转换后的 环形图像中确定与原点位置之间的夹角与头部的转动角度对应的转动位置，并以该转动位 置为中心，截取预定的图像截取区域，作为部分图像。
[0037] 此外根据本发明的另一示例，图7中所示的图像处理方法700还可包括接收图像 选择输入。在步骤S701中，对图像采集部件中包含的所有图像采集模块所采集的图像进行 合并处理以获得合并图像之后，还可进一步确定图像选择输入所指示的图像采集模块所采 集的图像，并且在合并图像中图像选择输入所指示的图像采集模块所采集的图像的显示效 果设置为与其它图像采集模块所采集的图像的显示效果不同。
[0038] 例如，所接收的图像选择输入可以是上述所检测的电子设备与预定基准方向之间 的夹角。在步骤S701中，可根据运动检测部件检测的夹角确定佩戴了电子设备的用户的 头部是否进行了在特定方向上的转动，并且当确定用户的头部进行了在特定方向上的转动 时，可将在合并图像中与该夹角所对应的图像采集模块所采集的图像的显示效果设置为与 其它图像采集模块所采集的图像的显示效果不同。此外，输入单元还可以是通过触摸输入 单元的触摸输入、通过实体按键的按键输入等。
[0039] 又例如，如以上结合图6所描述的，可以较大尺寸显示图像选择输入所指示的第 二图像采集模块所采集的图像，并且以较小尺寸显示其它图像采集模块所采集的图像。此 夕卜，以较高亮度显示图像选择输入所指示的第二图像采集模块所采集的图像，并且以较低 亮度显示其它图像采集模块所采集的图像。此外，还可对合并图像进行弯曲处理以获得曲 面图像，并且在曲面图像的弧度较大的突出部分中显示与图像选择输入所指示的图像采集 方向对应的图像采集模块所采集的图像。
[0040] 此外根据本发明的又一示例，在图7中所示的图像处理方法700包括检测所述电 子设备与预定基准方向之间的夹角的情况下，图像处理方法700还可进一步包括根据夹角 分别控制各个图像采集模块的开启或关闭。可与结合图5描述的设置佩戴了电子设备的用 户的头部的转动与所截取的部分图像之间对应关系的方法类似的方法来设置电子设备与 预定基准方向之间的夹角与各个图像采集模块之间对应关系，从而根据所检测的夹角来控 制各个图像采集模块的开启或关闭。
[0041] 在以上描述的根据本发明实施例的图像处理方法中，通过对在固定部件不同的位 置上设置图像采集方向相互不同的多个图像采集模块所采集的图像进行图像处理，使得用 户可以在观看面前的场景的同时，不需要转动头部也能够实时看到自己周围的场景，从而 加宽了视野并且方便了用户的使用。
[0042] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单 元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可 互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟 以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人 员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超 出本发明的范围。
[〇〇43] 本领域技术人员应该理解，可依赖于设计需求和其它因素对本发明进行各种修 改、组合、部分组合和替换，只要它们在所附权利要求书及其等价物的范围内。
【权利要求】
1. 一种穿戴式电子设备，包括： 固定部件，配置来维持所述穿戴式电子设备与用户头部的相对位置关系； 图像采集部件，设置在所述固定部件上，并且包括多个图像采集模块，其中所述多个图 像采集模块设置在所述固定部件不同的位置上，并且所述多个图像采集模块中相邻两个图 像采集模块的图像采集方向之间的夹角大于预定角度； 处理部件，设置在所述固定部件上，并且配置来对所述图像采集模块中的至少一个图 像采集模块所采集的图像进行图像处理；以及 显示部件，设置在所述固定部件上，并且配置来向用户显示经过所述处理部件处理的 图像。
2. 如权利要求1所述的电子设备，其中 所述处理单元按照所述图像采集模块在所述固定部件中的设置位置和采集方向，对 所述图像采集部件中的至少两个图像采集模块所采集的图像进行合并处理，以获得合并图 像。
3. 如权利要求2所述的电子设备，还包括： 运动检测部件，设置在所述固定部件上，并且配置来检测所述电子设备与预定基准方 向之间的夹角，其中 当所述电子设备被佩戴在用户的头部并且用户的头部转动时，所述处理部件根据所述 运动检测部件检测的夹角确定佩戴了所述电子设备的用户的头部是否进行了在特定方向 上的转动，并且当确定用户的头部进行了在特定方向上的转动时，从所述合并图像中获取 与所述夹角对应的部分图像。
4. 如权利要求1或2所述的电子设备，还包括： 运动检测部件，设置在所述固定部件上，并且配置来检测所述电子设备与预定基准方 向之间的夹角；以及 控制部件，设置在所述固定部件上，并且配置来根据所述夹角分别控制各个图像采集 模块的开启或关闭。
5. 如权利要求2所述的电子设备，还包括： 输入单元，配置来接收图像选择输入，其中 所述处理单元还配置来确定所述图像选择输入所指示的图像采集模块所采集的图像， 并且在所述合并图像中所述图像选择输入所指示的图像采集模块所采集的图像的显示效 果设置为与其它图像采集模块所采集的图像的显示效果不同。
6. -种图像处理方法，应用于穿戴式电子设备，所述电子设备包括配置来维持所述穿 戴式电子设备与用户头部的相对位置关系的固定部件、设置在所述固定部件上并且包括多 个图像采集模块的图像采集部件，所述方法包括： 对所述图像采集模块中的至少两个图像采集模块所采集的图像进行图像处理；以及 向用户显示经过处理的图像，其中 所述多个图像采集模块中相邻两个图像采集模块的图像采集方向之间的夹角大于或 等于预定角度。
7. 如权利要求6所述的方法，其中 所述对所述图像采集模块中的至少两个图像采集模块所采集的图像进行图像处理，包 括： 按照所述图像采集模块在所述固定部件中的设置位置和采集方向，对所述图像采集部 件中的至少两个图像采集模块所采集的图像进行合并处理，以获得合并图像。
8. 如权利要求7所述的方法，还包括： 当所述电子设备被佩戴在用户的头部并且用户的头部转动时，检测所述电子设备与预 定基准方向之间的夹角，以根据所检测的夹角确定所述用户的头部是否进行了在特定方向 上的转动，其中 所述对所述图像采集模块中的至少一个图像采集模块所采集的图像进行图像处理还 包括： 当确定用户的头部进行了在特定方向上的转动时，从所述合并图像中获取与所述夹角 对应的部分图像。
9. 如权利要求6或7所述的方法，还包括： 检测所述电子设备与预定基准方向之间的夹角；以及 根据所述夹角分别控制各个图像采集模块的开启或关闭。
10. 如权利要求7所述的方法，还包括： 接收图像选择输入，其中 所述对所述图像采集模块中的至少一个图像采集模块所采集的图像进行图像处理还 包括： 确定所述图像选择输入所指示的图像采集模块所采集的图像，以及 在所述合并图像中所述图像选择输入所指示的图像采集模块所采集的图像的显示效 果设置为与其它图像采集模块所采集的图像的显示效果不同。
【文档编号】H04N13/04GK104065952SQ201410313182
【公开日】2014年9月24日 申请日期:2014年7月2日 优先权日:2014年7月2日
【发明者】王永亮 申请人:联想(北京)有限公司