电子设备的制作方法

本公开涉及电子设备。

背景技术：

在最近的智能手机、便携电话、pc(personalcomputer：个人计算机)等电子设备中，在显示部的边框(外框)搭载有相机等各种传感器。另一方面，具有希望不对画面尺寸带来影响地使电子设备的外形尺寸尽可能紧凑的请求，外框宽度有缩窄的倾向。在这种背景下，提出了在显示部的正下方配置相机模块，并用相机拍摄穿过了显示部的被摄体光的技术。

现有技术文献

专利文献

专利文献1：美国专利公开公报2018/0069060

技术实现要素：

发明要解决的技术问题

在智能手机等的显示部内置有触摸传感器，在显示面上多附着有指纹、手油等。另外，有时也在显示面、保护显示面的膜上存在瑕疵或者在显示面与膜之间产生气泡。

这样，在显示面存在异常的状态下，当穿过显示部用配置于显示部的正下方的相机进行拍摄时，有可能会导致异物映入拍摄图像或者焦点对准异物，而无法进行预计的拍摄。

因此，在本公开中提供能够不受显示面的异常的影响地进行拍摄的电子设备。

用于解决技术问题的方案

为了解决上述的技术问题，根据本公开，提供一种电子设备，具备：显示部；摄像部，配置在与所述显示部的显示面相反的一侧；异常检测部，检测所述显示面上的异常；以及显示控制部，将产生了由所述异常检测部检测出的所述异常的位置在所述显示部上强调显示。

也可以是，所述显示控制部使所述显示部显示提醒去除所述异常的信息。

也可以是，所述信息包括与所述异常的种类相应的信息。

也可以是，所述显示控制部使所述显示部显示指示产生了所述异常的位置的标志。

根据本公开，提供一种电子设备，具备：显示部，能够按彼此不同的多个发光波长发光；摄像部，配置在与所述显示部的显示面相反的一侧；以及异常检测部，基于在使所述显示面中的至少一部分按所述多个发光波长的每一发光波长发光的状态下由所述摄像部拍摄到的多个图像，检测所述显示面上的异常。

也可以是，所述异常检测部基于使所述显示面上的与所述摄像部的视角重叠的区域按所述多个发光波长的每一发光波长发光的状态下由所述摄像部拍摄到的多个图像，检测所述显示面上的异常。

根据本公开，提供一种电子设备，具备：显示部；摄像部，配置在与所述显示部的显示面相反的一侧；异常检测部，检测所述显示面上的异常；以及校正处理部，基于所述异常，校正由所述摄像部拍摄到的图像。

也可以是，所述校正处理部基于所述异常的种类、颜色、尺寸、位置以及数量中的至少一个信息，校正由所述摄像部拍摄到的图像。

也可以是，所述电子设备具备判别所述异常的种类的异常判别部，

所述校正处理部对由所述摄像部拍摄到的图像实施与由所述异常判别部判别的所述异常的种类相应的校正处理。

也可以是，所述校正处理包括边缘强调处理、变形校正处理以及瑕疵校正处理中的至少一个。

也可以是，所述电子设备具备模型生成部，所述模型生成部生成基于所述异常的信息对由所述摄像部拍摄到的图像进行校正的模型，所述模型是基于所述异常的种类、颜色、尺寸、位置及数量中的至少一个信息和所述校正处理部实施校正前后的图像进行学习而得到的，

所述校正处理部对学习完毕的所述模型提供由所述摄像部拍摄到的图像和所述异常的信息，来校正由所述摄像部拍摄到的图像。

也可以是，所述电子设备具备：校正判定部，判定由所述校正处理部进行的校正是否有效；图像通信部，在判定为由所述校正处理部进行的校正无效的情况下，所述图像通信部将由所述摄像部拍摄到的图像和所述异常的信息发送到信息处理装置，并且接收由所述信息处理装置校正后的图像；以及输出部，输出由所述信息处理装置校正后的图像。

也可以是，所述摄像部具有分别进行不同的视角的拍摄的多个相机，所述校正处理部基于由所述多个相机拍摄到的多个图像，从由所述摄像部拍摄到的图像去除所述异常。

也可以是，所述摄像部具有将经由所述显示部入射的光进行光电转换的多个光电转换部，所述多个光电转换部中的至少一个光电转换部能够检测相位差信息，所述异常检测部基于所述相位差信息检测所述异常。

也可以是，所述摄像部具有：多个光电转换部，将经由所述显示部入射的光进行光电转换；以及多个偏振元件，配置于所述多个光电转换部中的至少一个光电转换部的光入射侧，所述异常检测部基于由所述多个偏振元件偏振并由所述光电转换部进行了光电转换的偏振信息，检测所述异常。

也可以是，所述多个偏振元件包括分别检测不同的偏振状态的多种偏振元件。

也可以是，所述摄像部具有：多个光电转换部，将经由所述显示部入射的光进行光电转换；以及微透镜阵列，使被摄体光成像于所述多个光电转换部。

也可以是，所述电子设备具备距离检测部，所述距离检测部检测到由所述摄像部摄像的被摄体为止的距离，所述异常检测部基于由所述距离检测部检测出的距离，检测所述异常。

也可以是，所述摄像部具有分别进行不同的视角的拍摄的多个相机，所述距离检测部基于所述多个相机的拍摄图像来检测所述距离。

也可以是，所述电子设备具备指纹检测部，所述指纹检测部基于由所述摄像部拍摄到的图像来检测与所述显示面接触的手指的指纹。

附图说明

图1a是第一实施方式的电子设备的示意性截面图。

图1b是在图1a中追加了开口部的电子设备的示意性截面图。

图2的(a)是图1a的电子设备的示意性外观图，图2的(b)是图2的(a)的a-a线方向的截面图。

图3是表示摄像部的截面结构的一例的截面图。

图4a是表示第一实施方式的电子设备的内部构成的框图。

图4b是表示信号处理部的内部构成的框图。

图5是表示第一实施方式的电子设备1的处理动作的流程图。

图6a是表示对产生了异常的位置进行强调显示的具体例的图。

图6b是表示对产生了异常的位置进行强调显示的具体例的图。

图6c是表示对产生了异常的位置进行强调显示的具体例的图。

图6d是表示对产生了异常的位置进行强调显示的具体例的图。

图7a是示意性地表示在使显示面的一部分显示区域分别以不同的发光波长的光发光的状态下由摄像部进行曝光的例子的图。

图7b是示意性地表示在使显示面的一部分显示区域分别以不同的发光波长的光发光的状态下由摄像部进行曝光的例子的图。

图7c是示意性地表示在使显示面的一部分显示区域分别以不同的发光波长的光发光的状态下由摄像部进行曝光的例子的图。

图8是表示第二实施方式的电子设备的处理动作的流程图。

图9是表示第三实施方式的电子设备的内部构成的框图。

图10是表示校正处理部进行的校正处理的处理顺序的流程图。

图11是表示电子设备与信息处理装置的连接方式的一例的框图。

图12是第四实施方式的电子设备的俯视图。

图13是图12的a-a线方向的截面图。

图14是表示第五实施方式的摄像部的像素排列的一例的俯视图。

图15是表示第六实施方式的摄像部的像素排列的一例的俯视图。

图16是第六实施方式的摄像部的截面图。

图17是表示各偏振元件的详细结构的一例的立体图。

图18是表示具有抑制耀斑光、衍射光的影响的功能的电子设备内的信号处理部的内部构成的框图。

图19是表示第七实施方式的电子设备的概要构成的框图。

图20是表示第九实施方式的电子设备所搭载的相机模块的摄像部的截面结构的图。

图21是将第一～第九实施方式的电子设备应用于胶囊内窥镜的情况下的俯视图。

图22是将第一～第九实施方式的电子设备应用于数字单反相机的情况下的后视图。

图23a是表示将第一～第九实施方式的电子设备应用于hmd的例子的俯视图。

图23b是表示目前的hmd的图。

附图标记说明

1：电子设备；1a：显示面；1b：外框；2：显示部；2b：保护膜；2c：聚酰亚胺基板；2d：显示层；2e：阻挡层；2f：触摸传感器层；2g：粘着层；2h：圆偏振板；2i：光学粘着片；2p：异常；2q：标志；2r：膜；3：相机模块；4：摄像部；4a：光电转换部；5：光学系统；11：半导体基板；12：元件分离层；13：平坦化层；14：彩色滤光片层；15：芯片上透镜；16：读取电路；17：层间绝缘膜；21：摄像装置；22：应用处理器；23：视频信号生成部；24：a/d转换部；25：显示控制部；31：a/d转换部；32：信号处理部；32a：夹持部；32b：彩色输出部；32c：缺陷校正部；32d：线性矩阵部；32e：伽马校正部；32f：亮度色度信号生成部；32g：降噪部；32h：边缘强调部；33：摄像控制部；34：曝光调整部；35：异常检测部；36：输出部。

具体实施方式

以下，参照附图对电子设备的实施方式进行说明。以下以电子设备的主要构成部分为中心进行说明，但在电子设备中可能存在未被图示或说明的构成部分、功能。在以下的说明中，并未去除未被图示或说明的构成部分、功能。

(第一实施方式)

图1a和图1b是第一实施方式的电子设备1的示意性截面图。图1a的电子设备1是智能手机、便携电话、平板、pc等兼具显示功能和拍摄功能的任意的电子设备1。图1a的电子设备1具备配置于与显示部2的显示面1a相反的一侧的相机模块(摄像部)3。这样，图1a的电子设备1在显示部2的显示面1a的背侧设置有相机模块。因而，相机模块穿过显示部2地进行拍摄。

图2的(a)是图1a的电子设备1的示意性外观图，图2的(b)是图2的(a)的a-a线方向的截面图。在图2的(a)的例子中，显示面1a扩大到电子设备1的外形尺寸的附近，将位于显示面1a的周围的外框1b的宽度设为几mm以下。通常，前置相机多搭载于外框1b，但在图2的(a)中，如虚线所示，在显示面1a的大致中央部的背面侧配置有作为前置相机发挥功能的相机模块3。这样，通过将前置相机设置于显示面1a的背面侧，从而无需将前置相机配置于外框1b，而能够缩窄外框1b的宽度。

此外，在图2的(a)中，在显示面1a的大致中央部的背面侧配置有相机模块3，但在本实施方式中，只要是显示面1a的背面侧即可，例如可以在显示面1a的周缘部附近的背面侧配置相机模块3。这样，本实施方式的相机模块3配置于与显示面1a重叠的背面侧的任意位置。

如图1a所示，显示部2是将保护膜2b、聚酰亚胺基板2c、显示层2d、阻挡层2e、触摸传感器层2f、粘着层2g、圆偏振板2h、光学粘着片(oca：opticalclearadhesive(光学透明胶))2i以及防护玻璃2j按顺序层叠而成的层叠体。显示层2d例如可以是oled(organiclightemittingdevice：有机发光二极管)显示层，也可以是液晶显示层，也可以是microled，也可以是基于其它显示原理的显示层。显示层2d有时也可以由多个层构成。例如，显示层2d有时也可以包括彩色滤光片层、背光源层等。显示部2进行使用可见光波长区域的光的显示，但由显示部2显示的光也可以包括红外光成分。

阻挡层2e是防止氧气、水分侵入显示层2d的层。在触摸传感器层2f组装有触摸传感器。触摸传感器是静电电容型、电阻膜型等各种方式，但也可以采用任意的方式。另外，也可以将触摸传感器层2f与显示层2d一体化。

粘着层2g是为了将圆偏振板2h与触摸传感器层2f粘接而设置的。对于粘着层2g使用可见光透射率较高的材料。圆偏振板2h是为了减少眩光或者在明亮的环境下也提高显示面1a的可视性而设置的。光学粘着片2i是为了提高圆偏振板2h与防护玻璃2j的紧贴性而设置的。光学粘着片2i可以使用可见光透射率较高的材料。防护玻璃2j是为了保护显示层2d等而设置的。此外，显示部2的层构成不一定限于图1a、图2所示的层构成。

相机模块3配置于与显示部2的显示面1a相反的一侧，即显示部2的背侧。相机模块3具有摄像部4和光学系统5。光学系统5配置于摄像部4的光入射面侧、即距显示部2近的一侧，使穿过了显示部2的光聚光到摄像部4。光学系统5通常由多个透镜构成。如后所述，有时也可以在与显示部2的显示面1a相反的一侧配置多个相机模块3。在这种情况下，各相机模块3的光学系统5的焦距也可以彼此不同，由此能够进行长焦、广角的视角不同的拍摄。

摄像部4具有光电转换部4a。光电转换部4a对经由显示部2入射的光进行光电转换。光电转换部4a可以是cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)传感器，也可以是ccd(chargecoupleddevice：电荷耦合器件)传感器。另外，光电转换部4a可以是光电二极管，也可以是有机光电转换膜。

光电转换部4a按每一像素具有cmos传感器等光电转换元件。各像素能够按任意的方式排列。具体地，各像素的排列方式可以是拜耳排列，可以是隔行排列，可以是花纹排列，可以是条纹排列，也可以是其它排列。

如图1a和图2的(b)所示，本实施方式的电子设备1配置成显示部2与相机模块3在正反方向上重叠。因此，在相机模块3中，成为对透射过显示部2的被摄体光进行摄像。如图1a所示，显示部2由多个层形成，在各层中若具有足够的灵敏度的波长带的光的透射率较高则摄像部4没有问题，但实际上一部分层的透射率有可能较低。例如，聚酰亚胺基板2c的可见光透射率没有那么高。因而，如图1b所示，可以在构成显示部2的多个层中透射率没有那么高的层中形成一个以上的开口部2k，并用相机模块3对穿过了开口部2k的光进行摄像。在图1b的例子中，设置有将构成显示部2的多个层中防护玻璃2j以外的层贯通的多个开口部2k。这些开口部2k设置在俯视观察显示部2时与相机模块3重叠的位置处。各开口部2k的直径、个数考虑显示部2的显示和摄像部4的摄像图像的画质而设定为适当的值。

此外，在代替聚酰亚胺基板2c而使用透明性较高的基板的情况下，未必一定设置开口部2k。

图3是表示摄像部4的截面结构的一例的截面图。图3的摄像部4具备在半导体基板11内形成的光电转换部4a，光电转换部4a按每一像素而由元件分离层12分隔开。在光电转换部4a之上配置有平坦化层13，在平坦化层13上配置有彩色滤光片层14。彩色滤光片层14可以具有rgb这三色的滤光片层，也可以具有作为其互补色的青色、品红、黄色的滤光片层。或者，也可以具有使红外光等可见光以外的颜色透射过的滤光片层，也可以具有具备多光谱特性的滤光片层，也可以具有白色等减色的滤光片层。通过使红外光等可见光以外的光透射过，能够检测深度信息等感测信息。在彩色滤光片层14之上配置有芯片上透镜15。光穿过芯片上透镜15而入射。在本说明书中，将配置有芯片上透镜15的一侧称为摄像部4的背面侧。

在摄像部4的表面侧，在半导体基板11之上形成有读取电路16，读取电路16的周围被层间绝缘膜17覆盖。读取电路16具有传输晶体管、复位晶体管、放大晶体管以及选择晶体管等。此外，摄像部4的截面结构不限于图3所示的截面结构。

图4a是表示第一实施方式的电子设备1的内部构成的框图。如图4a所示，电子设备1具有摄像装置21、应用处理器22、视频信号生成部23、a/d转换部24、显示控制部25以及显示部2。

摄像装置21能够由一个或多个半导体设备构成，除构成相机模块3的摄像部4、光学系统5以及ir(infraredray：红外线)截止滤光片6之外，还具有a/d转换部31、信号处理部32、摄像控制部33、曝光调整部34、异常检测部35以及输出部36。

a/d转换部31将由摄像部4拍摄到的模拟像素信号转换为数字像素数据。

例如图4b中详细所示，信号处理部32具有：夹持部32a、彩色输出部32b、缺陷校正部32c、线性矩阵部32d、伽马校正部32e、亮度色度信号生成部32f、降噪部32g以及边缘强调部32h。

夹持部32a进行规定黑电平的处理。更具体地，夹持部32a进行从数字像素数据减去黑电平数据的处理。彩色输出部32b例如输出rgb的每一颜色的像素数据。缺陷校正部32c进行根据周围的像素的摄像数据来对由于某些原因而无法准确地读取的特定像素的摄像数据进行校正的处理。线性矩阵部32d通过进行针对rgb等颜色信息的行列运算，进行更准确的颜色再现。伽马校正部32e根据显示部2的显示特性进行伽马校正，以能够达到可视性优异的显示。例如，伽马校正部32e一边使梯度变化一边进行从10位向8位的转换。亮度色度信号生成部32f基于伽马校正部32e的输出数据，生成用于使显示部2显示的亮度色度信号。降噪部32g进行削减亮度色度信号中包括的噪声的处理。边缘强调部32h基于亮度色度信号，进行强调被摄体图像的边缘的处理。由降噪部32g进行的降噪处理和由边缘强调部32h进行的边缘强调处理也可以仅在满足规定的条件的情况下进行。输出部36输出进行降噪处理后的亮度色度信号。

摄像控制部33基于亮度色度信号，设定用摄像部4进行摄像的帧率。曝光调整部34根据摄像控制部33所设定的帧率，调整曝光时间。光电转换部4a根据用曝光调整部34调整后的曝光时间，按每一像素进行摄像。

异常检测部35检测显示部2的显示面上的异常。异常是显示面上的各种附着物、显示面的瑕疵、保护显示面的膜等保护材料的附着物、瑕疵、显示面与保护材料之间的气泡等。附着物包括污垢、手油、固化物、液化物等。瑕疵包括开裂、裂缝、裂纹等。这样，异常检测部35检测多种异常。在本说明书中，有时将异常统称为异物。

异常检测部35将检测出的异常的信息发送到应用处理器22。在此，异常的信息例如是指异常的种类、位置的信息。另外，异常检测部35将包括异常的信息的摄像图像数据发送到输出部36。输出部36将异常的信息与摄像图像数据一起输出。输出部36有时也能够将映入有异常的摄像图像数据发送到视频信号生成部23。

应用处理器22是与相机模块3独立的半导体设备，与相机模块3安装于同一或不同的基板。应用处理器22在其内部具有cpu(centralprocessingunit：中央处理器)等，并执行操作系统、各种应用软件等程序。应用处理器22也可以搭载gpu(graphicsprocessingunit：图形处理器)、基带处理器等进行图像处理、信号处理等的功能。应用处理器22根据需要对所输入的图像数据、运算结果执行各种处理、或者进行在电子设备1的显示部2中显示图像的控制、或者经由规定的网络发送到外部的云服务器。

应用处理器22当接收到从异常检测部35发送的异常的信息时，将该信息发送到显示控制部25。显示控制部25在显示部2中强调显示产生了由异常检测部35检测出的异常的位置。强调显示的具体例将在后述。

视频信号生成部23生成用于在显示部2中显示的视频信号。a/d转换部24将视频信号转换为数字像素数据。显示控制部25进行将数字像素数据显示于显示部2的控制。此时，如上所述，基于由异常检测部35检测出的异常的信息，对产生了异常的位置进行强调显示。

图5是表示第一实施方式的电子设备1的处理动作的流程图，例如表示了应用处理器22、摄像控制部33以及显示控制部25的处理动作。在将电子设备1的电源开启的期间，持续重复该流程图。

首先，判定电子设备1的用户是否已将相机模块3启动(步骤s1)。若用户未将相机模块3启动，则基于来自应用处理器22的指示由视频信号生成部23生成的图像显示于显示部2(步骤s2)。

在用户将相机模块3启动了的情况下，在显示部2的显示关闭期间内进行基于摄像部4的曝光(步骤s3)。显示部2的显示在1秒钟内按30～120帧的频率被更新。在连续的两个帧之间，存在不进行显示的显示关闭期间。另外，在一个帧内，一边按各水平线的每一水平线进行扫描，一边进行显示，在各水平线之间也存在不进行显示的显示关闭期间。在步骤s3中，在这些显示关闭期间内进行基于摄像部4的曝光。

在显示关闭期间内进行曝光的原因是，当在显示部2中显示有图像的状态下相机模块3进行拍摄时，有可能对拍摄图像带来不良影响。不过，如后所述，为了进行异常检测，有时也可以在有意识地使显示部2按规定的发光色发光的状态下进行摄像。因而，步骤s3的显示关闭期间更准确地是指，未进行在将相机模块3启动之前已在显示部2显示的图像显示的期间。

接着，通过信号处理部32对在基于摄像部4的曝光处理中获得的摄像图像进行各种信号处理(步骤s4)。

接着，异常检测部35基于信号处理后的摄像图像数据来检测在显示面上是否有异常(步骤s5)。对于异常的检测方法可以考虑各种方法，其具体例将在后述。在并未检测出异常的情况下，从信号处理部32输出的摄像图像数据被发送到输出部36(步骤s6)。

当在步骤s5中检测出异常时，异常检测部35将包括产生了异常的位置的异常的信息发送到应用处理器22，并且将异常的信息和摄像图像数据发送到输出部36(步骤s7)。

应用处理器22将从异常检测部35发送的异常的信息发送到显示控制部25。显示控制部25在将基于由视频信号生成部23生成的视频信号的图像显示于显示面时，将产生了异常的位置强调显示在显示面上(步骤s8)。

图6a、图6b、图6c以及图6d是表示对产生了异常2p的位置进行强调显示的具体例的图。图6a表示了对包围产生了异常2p的位置的圆环形状的标志2q进行显示的例子。图6a的标志2q优选以与背景图像的显示颜色不同的显示颜色醒目地进行显示。另外，也可以使标志2q的线宽变粗。

图6b表示了对指示产生了异常2p的位置的箭头的标志2q进行显示的例子。另外，也可以在箭头的根部用文字信息标记“请擦拭”等消息。

图6c表示了为了将异常2p的种类通知给用户而将摄像图像数据中包括的异常2p放大并显示于显示面的例子。图6c表示了异常2p是指纹的例子，用户能够通过放大图像来掌握异常的种类。

图6d表示了异常2p是贴附到显示面的膜2r的破损的例子。在这种情况下，也可以用文字信息标记“请更换膜”等消息。

这样，在第一实施方式中，当用在与显示部2的显示面相反的一侧配置的摄像部4进行摄像时，若检测出显示面上的异常2p，则将产生了异常2p的位置在显示部2中强调显示。由此，能够事先通知用户会对摄像部4的摄像带来妨碍，能够促进异常2p的消除。用户根据显示部2的强调显示通过在自主进行擦拭显示面等消除异常2p的作业的基础上，进行基于摄像部4的摄像，从而实现摄像图像的画质提高。

(第二实施方式)

第二实施方式基于在以多个发光波长的光发光的状态下拍摄到的多个摄像图像来检测异常2p。

图7a、图7b以及图7c是示意性地表示在分别使作为相机模块3的视角范围内的显示面1a的一部分显示区域20以不同的发光波长的光发光的状态下进行基于摄像部4的曝光的例子的图。例如，图7a～图7c分别表示了以红、绿以及蓝的发光波长进行发光并曝光的例子。

如上所述，由相机模块3进行的拍摄是在帧之间、水平线期间之间等显示关闭期间内进行的，但图7a～图7c的发光是为了进行异物检测而使用显示期间的一部分进行的。

第二实施方式的电子设备1具备与图4a和图4b同样的内部构成，但进行一部分与图5不同的处理动作。

图8是表示第二实施方式的电子设备1的处理动作的流程图。以下，以与图5不同的处理动作为中心进行说明。在用户没有启动相机模块3的情况下，进行与图5的步骤s1和s2同样的动作(步骤s11、s12)。

在用户启动相机模块3的情况下，如图7a所示，使相机模块3的视角范围内的一部分显示区域20以第一发光波长发光(步骤s13)。根据相机模块3所具备的透镜的焦距的不同，视角范围也不同，因此以第一发光波长发光的显示区域20的尺寸也需要与透镜的焦距相应地进行调整。或者，也可以使显示面1a的整个区域以第一发光波长发光。

在步骤s13中使其发光的期间内，进行基于摄像部4的曝光(步骤s14)，用信号处理部32进行各种信号处理而生成摄像图像数据(步骤s15)。

接着，如图7b所示在使显示区域20以第二发光波长发光的状态下进行与步骤s13～s15同样的动作(步骤s16～s18)。接下来，如图7c所示在使显示区域20以第三发光波长发光的状态下进行与步骤s13～s15同样的动作(步骤s19～s21)。

异常检测部35基于在步骤s15、s18、s21中获得的三个摄像图像数据来检测异常2p的有无(步骤s22～s24)。

这样，在第二实施方式中，在使显示部2的至少一部分显示区域20以多种发光波长的光发光的状态下进行基于摄像部4的摄像，并基于所获得的多个摄像图像数据，通过异常检测部35检测异常2p。根据异常2p的种类的不同，仅使特定的发光波长的光反射或者透射，因此在按多种发光波长的光使显示部2发光的状态下进行摄像，从而易于确定异常2p的有无和异常2p的种类。

(第三实施方式)

在第三实施方式中，当由异常检测部35检测出异常2p时，进行摄像图像数据的校正处理。

图9是表示第三实施方式的电子设备1的内部构成的框图。图9的电子设备1对图4a的电子设备1追加了校正处理部37。校正处理部37对显示于显示部2的图像进行校正以使异常2p变得不醒目。更具体地，校正处理部37基于由异常检测部35检测出的异常2p的信息，对从信号处理部32输出的摄像图像数据进行校正处理，并输出校正处理后的图像数据。从校正处理部37输出的图像数据被发送到输出部36。校正处理部37进行的校正处理也可以包括例如边缘强调处理、变形校正处理以及瑕疵校正处理中的至少一个。

第三实施方式的电子设备1内的异常检测部35也可以与第二实施方式同样地使显示面1a按多个发光波长发光来检测显示面1a的异常2p。本实施方式的异常检测部35能够检测异常2p的种类，并根据异常2p的种类的不同，针对特定的发光波长的吸收特性、散射特性发生变化。异常检测部35能够根据发光波长与吸收特性、散射特性的对应关系，比较准确地推定异常2p的种类。若异常检测部35能够检测异常2p的种类，则校正处理部37能够根据异常2p的种类进行适当的校正处理。

图10是表示校正处理部37所进行的校正处理的处理顺序的流程图。图10的校正处理是在图5的步骤s5或者图8的步骤s22中判定为在显示面1a有异常的情况下代替图5的步骤s7～s8或者图8的步骤s24～s25而进行的。

首先，基于由异常检测部35检测出的异常2p的信息来判别异常2p的种类(步骤s31)。

接着，判定能否用电子设备1内的校正处理部37进行有效的校正处理(步骤s32)。例如，在电子设备1是智能手机等携带设备的情况下，与pc、服务器等相比硬件性能较差，难以进行高度的校正处理。因此，在无法在数秒内进行用户满意程度的校正处理的情况下，判定为无法进行有效的校正处理。步骤s32的判定处理例如是用校正处理部37进行的。

当在步骤s32中判定为能够进行有效的校正处理时，校正处理部37进行与异常2p的种类相应的校正处理(步骤s33)。例如，当用异常检测部35检测出异常2p是附着于显示面1a上的手油时，存在穿过手油拍摄到的摄像图像的边缘模糊的倾向，因此进行边缘强调处理。在这种情况下，可以在校正处理部37的内部进行边缘强调处理，或者校正处理部37也可以对信号处理部32内的边缘强调部32h指示边缘强调处理的强化。另外，当用异常检测部35检测出异常2p是附着于显示面1a的水滴时，被摄体光被水滴折射，因此会获得变形了的摄像图像数据。因此，校正处理部37可以进行变形校正处理，另外，当用异常检测部35检测出异常2p是显示面1a上的瑕疵时，校正处理部37可以进行去除瑕疵的校正处理。校正处理后的图像数据被发送到输出部36(步骤s34)。

另一方面，当在步骤s32中判定为无法进行有效的校正处理时，将从信号处理部32输出的摄像图像数据和用异常检测部35检测出的异常2p的信息发送到进行高度的校正处理的特定的信息处理装置(步骤s35)。信息处理装置例如既可以是连接到网络的服务器装置，也可以是高性能的pc。之后，校正处理通过信息处理装置进行摄像图像数据的校正处理，校正处理部37接收校正处理后的图像数据(步骤s36)。接收到的校正处理后的图像数据被发送到输出部36。

图11是表示电子设备1与信息处理装置41的连接方式的一例的框图。在图11的例子中，电子设备1与信息处理装置41经由网络42进行信息的收发。信息处理装置41既可以设置于距离电子设备1为不特定的场所、即云环境，也可以如mec(mobileedgecomputing：移动边缘计算)等那样设置于距离电子设备1比较近的场所(例如，基站等)。

信息处理装置41连接着数据库装置43，数据库装置43存储有关于异常2p的种类与校正处理的对应关系的信息、以及关于根据异常2p的种类进行校正处理的模型的信息。信息处理装置41进行模型的学习，从而以异常2p的种类和摄像图像数据为模型的输入数据，输出进行了适当的校正处理的摄像图像数据。在学习的过程中，将神经网络的权重信息进行各种变更后进行模型的更新。信息处理装置41通过将各种异常2p的种类和校正处理的结果存储到数据库装置43并重复进行模型的学习，从而能够生成可靠性较高的模型。通过事前预先进行这种模型的学习，能够对从电子设备1发送来的异常2p的种类和摄像图像数据在短时间内进行可靠性较高的校正处理，并将校正处理后的图像数据返回到电子设备1。

此外，在图10的流程图中，说明了在判定为无法在电子设备1的内部进行有效的校正处理的情况下用外部的信息处理装置41进行校正处理的例子，但在外部的信息处理装置41不存在的情况下、或者在由于某些原因而无法进行与外部的信息处理装置41的通信的情况下，也可以将无法进行有效的校正处理这一情况显示于显示部2。

这样，在第三实施方式中，当用异常检测部35检测出异常2p时，进行摄像图像数据的校正处理以使异常2p变得不醒目，因此即使用户不进行消除显示面1a的异常2p的作业，也能够获得高质量的摄像图像数据。

(第四实施方式)

第四实施方式在与显示部2的显示面1a相反的一侧配置多个相机模块3。

图12是第四实施方式的电子设备1的俯视图。图12的电子设备1在与显示部2的显示面1a相反的一侧配置有三个相机模块3。此外，相机模块3的数量不限于三个。各相机模块3的焦距既可以是相同的，也可以是不同的。

图13是图12的a-a线方向的截面图。用虚线表示各相机模块3的拍摄范围。在本实施方式中，设为至少两个相机模块3能够对显示部2的显示面1a的任意场所进行拍摄。由此，能够用多个相机模块3对在显示面1a上的任意场所产生的异常2p进行摄像。

通过分别从不同的方向对显示面1a上的异常部位进行摄像，从而易于确定异常2p的种类。异常检测部35参照多个相机模块3拍摄到的多个摄像图像数据来检测异常2p的种类。此时，也可以与第二实施方式同样地，在使显示面1a按彼此不同的多个发光波长的光发光的状态下进行摄像。

校正处理部37基于用多个相机模块3拍摄到的多个摄像图像数据，进行用于将异常2p去除的校正处理。与基于从一个方向拍摄到的摄像图像数据进行校正处理相比，基于从多个方向拍摄到的多个摄像图像数据进行校正处理能够进行更有效的校正处理。此外，在判定为无法用校正处理部37进行有效的校正处理的情况下，只要将用多个相机模块3拍摄到的多个摄像图像数据发送到外部的信息处理装置41，并用信息处理装置41进行校正处理即可。

这样，在第四实施方式中，通过设置多个相机模块3，能够用至少两个相机模块3对显示面1a的任意场所的异常2p进行摄像，因此能够高精度地进行异常2p的有无、异常2p的种类的检测以及用于消除异常2p的校正处理。

(第五实施方式)

第五实施方式涉及异常2p的具体的检测方法，能够应用于第一～第四实施方式的异常检测部35。

图14是表示第五实施方式的摄像部4的像素排列的一例的俯视图。在图14的例子中，在二维方向上配置有rgb的三色用像素。各像素具备光电转换部4a，将所入射的光转换为与光量相应的电信号。多个像素中的一部分像素是用于检测相位差的像素，并且像素区域被分割为两个。用于检测相位差的像素的各分割像素10a、10b分别独立地进行光电转换。两个分割像素10a、10b所光电转换的电信号的差分是相位差信息，并能够通过该相位差信息来检测散焦量。该散焦量能够用于焦点调节。在图14的例子中，表示了在四角配置有用于检测相位差的像素的例子，但将用于检测相位差的像素按哪种程度配置于何处是任意的。

能够用通过构成用于检测相位差的像素的两个分割像素10a、10b获得的散焦量来检测异常2p的有无。即，在显示面1a上有异物的情况下，用于检测相位差的像素将该异物识别为被摄体的一部分来检测散焦量。能够通过检测出的散焦量来检测异物。例如，在如图12所示配置有多个相机模块3的情况下，至少两个各相机模块3检测由异物导致的散焦量，因此能够将检测出的散焦量确定为不是由本来预计的被摄体导致的，而是由显示面1a上的异物导致的。

这样，在第五实施方式中，通过在用于摄像的像素排列的一部分设置用于检测相位差的像素，从而能够高精度地进行显示面1a上的异常2p的检测。

(第六实施方式)

第六实施方式通过与第五实施方式不同的方法来检测显示面1a上的异常2p。第六实施方式的异常2p检测处理能够应用于第一～第四实施方式的异常检测部35。

图15是表示第六实施方式的摄像部4的像素排列的一例的俯视图。在图15的例子中，与图14同样地，在二维方向上配置有rgb的三色用像素。各像素具有光电转换部4a。在一部分像素中，在光电转换部4a的光入射面一侧配置有偏振元件8b。以下，将配置有偏振元件8b的像素称为偏振像素10c，将未配置有偏振元件8b的像素称为非偏振像素10d。

偏振元件8b使穿过显示部2而入射的光偏振。由偏振元件8b偏振后的光入射到对应的光电转换部4a而被光电转换。

图15表示了8×8＝64个像素中的60个是非偏振像素10d且4个是偏振像素10c的例子，但非偏振像素10d与偏振像素10c的比例、偏振像素10c的场所是任意的。

图16是第六实施方式的摄像部4的截面图。在图16中，对于与图3共用的部分标注相同的附图标记，并且以下以不同点为中心进行说明。在图16的摄像部4中，在平坦化层13之上配置有遮光层18和基底绝缘层19，并且在基底绝缘层19之上，间隔开地配置有多个偏振元件8b。偏振元件8b例如是配置于基底绝缘层19的一部分的线与间隙结构的线栅偏振元件8b。

图17是表示各偏振元件8b的详细结构的一例的立体图。如图17所示，多个偏振元件8b分别具有单向地延伸的凸形状的多个线部8d、以及各线部8d之间的间隙部8e。偏振元件8b具有线部8d的延伸方向分别不同的多个种类。更具体地，偏振元件8b具有三种以上，例如，光电转换部4a的排列方向与线部8d的延伸方向所成的角度可以是0度、60度、120度这三种。或者光电转换部4a的排列方向与线部8d的延伸方向所成的角度可以是0度、45度、90度、135度这四种，也可以是除此以外的角度。或者，多个偏振元件8b也可以仅进行单一方向上的偏振。多个偏振元件8b的材料既可以是铝、钨等金属材料，也可以是有机光电转换膜。

如图15所示，在摄像部4具备四种偏振元件8b的情况下，各偏振元件8b分别使独立的偏振状态下的光穿过，并用对应的光电转换部4a进行光电转换。在显示面1a上有异常2p的情况下，根据该异常2p的种类的不同，穿过四种偏振元件8b的光的种类发生变化。因而，通过分析由四种偏振像素10c所光电转换的电信号，能够确定异常2p的种类。

另外，偏振像素10c在将入射到显示面1a的耀斑、衍射光的成分提取并去除的目的中也能够利用。

图18是表示具有抑制耀斑光、衍射光的影响的功能的电子设备1内的信号处理部32a的内部构成的框图。电子设备1内的信号处理部32a以外的构成与图4a相同。

在图18中，对于与图4b共用的部分附上相同的附图标记，并且以下以不同点为中心进行说明。除了图4b的信号处理部32的内部构成之外，图18的信号处理部32a还具有偏振输出部32j、耀斑提取部32k以及耀斑校正信号生成部32m。

偏振输出部32j输出偏振信息数据。耀斑提取部32k从偏振信息数据提取耀斑成分和衍射光成分中的至少一方。由耀斑提取部32k提取到的耀斑成分和衍射光成分中的至少一方是校正量。耀斑校正信号生成部32m对从彩色输出部32b输出的数字像素数据进行用耀斑提取部32k提取到的校正量的减法处理，从而校正数字像素数据。耀斑校正信号生成部32m的输出数据是耀斑成分和衍射光成分中的至少一方被去除的数字像素数据。这样，耀斑校正信号生成部32m作为基于偏振信息对由多个非偏振像素10d所光电转换的摄像图像进行校正的校正部而发挥功能。

偏振像素10c的像素位置处的数字像素数据的信号电平降低了穿过偏振元件8b的量。因此，缺陷校正部32c将偏振像素10c视为缺陷，并进行规定的缺陷校正处理。

如图15～图18所示，通过用多个偏振元件8b获取偏振信息，从而能够在简单且可靠性良好地去除了在显示部2内重复反射后入射到多个非偏振像素10d的光中包括的耀斑成分、衍射光成分的状态下生成摄像图像。

这样，在第六实施方式中，在用于摄像的像素排列的一部分设置使用了偏振元件8b的偏振像素10c，因此能够利用偏振像素10c来检测显示面1a的异常2p。另外，能够用偏振像素10c进行入射到显示面1a的耀斑、衍射光的提取和去除。

(第七实施方式)

第七实施方式使用以光学方式检测到被摄体为止的距离的传感器来进行显示面1a上的异常2p的检测。

图19是表示第七实施方式的电子设备1的概要构成的框图。除了图4a的电子设备1的组件构成之外，图19的电子设备1还具有距离测量部27。距离测量部27具有投光部27a和受光部27b。投光部27a间歇地放射规定波长的脉冲状的光，受光部27b接收投光部27a所放射的光由物体反射后的光。距离测量部27根据从投光部27a放射光到受光部27b接收光为止的时间差来测量到物体为止的距离。投光部27a可以在规定的角度范围内使光的投光方向进行扫描。由此，能够对显示面1a的整个区域放射来自投光部27a的光。

在显示部2的显示面1a有异常2p的情况下，若该异常2p是异物，则反射来自投光部27a的光。因而，从距离测量部27到显示面1a的距离是预先知道的，因此，异常检测部35通过使用由距离测量部27测量到的距离，能够准确地检测物体是否是显示面1a上的异物。

这样，在第七实施方式中，设置以光学方式检测到物体为止的距离的距离测量部27，因此能够简单且高精度地检测在显示面1a上是否有异常2p。

此外，也可以设置分别进行不同视角的拍摄的多个相机，并基于这些多个相机的拍摄图像来测量到物体为止的距离，而代替通过从投光部27a投射光到受光部27b接收光为止的时间来测量到物体为止的距离。

(第八实施方式)

在上述的第一～第七实施方式中，表示了为了进行被摄体的拍摄而使用电子设备1内的摄像部4的例子，但摄像部4能够用于指纹检测、虹彩检测、网膜检测、静脉检测、生物体形状检测等生物识别认证用途。根据生物体的检测对象的不同，适当的焦距是不同的，因此通过设置与检测对象相应的焦距的透镜并且使棱镜、光源等最优化，从而能够在各种生物体信息的检测中应用第一～第七实施方式的电子设备1。

(第九实施方式)

在第九实施方式的电子设备1中，相机模块3的光学系统5与第一～第八实施方式是不同的。

图20是表示第九实施方式的电子设备1所搭载的相机模块3的摄像部4的截面结构的图。图20的摄像部4不是单一的透镜或者将单一的透镜在光轴方向上排列的透镜组，而具有微透镜阵列64。

更详细地，图20的摄像部4具有：光电转换部4a，沿着壳体63的底面而配置；微透镜阵列64，配置在光电转换部4a的上方；多个遮光体66，配置在相邻的微透镜65之间；以及导光板67，配置在微透镜阵列64的上方。图20的摄像部4能够应用于上述的第一～第八实施方式中的任意一者。

(第十实施方式)

作为具备在上述的第一～第九实施方式中说明的构成的电子设备1的具体候选，可以考虑各种电子设备。例如，图21是将第一～第九实施方式的电子设备1应用于胶囊内窥镜50的情况下的俯视图。图21的胶囊内窥镜50例如在两端面为半球状且中央部为圆筒状的壳体51内具备：相机(超小型相机)52，用于拍摄体腔内的图像；存储器53，用于记录由相机52拍摄到的图像数据；以及无线发送机55，用于在胶囊内窥镜50被排出到受检者的体外后将所记录的图像数据经由天线54向外部发送。

另外，在壳体51内设置有cpu(centralprocessingunit：中央处理器)56和线圈(磁力/电流转换线圈)57。cpu56控制由相机52进行的拍摄以及向存储器53的数据存储动作，并且控制从存储器53通过无线发送机55向壳体51外的数据接收装置(未图示)发送数据。线圈57进行向相机52、存储器53、无线发送机55、天线54以及后述的光源52b的电力供给。

进而，在壳体51中设置有磁性(导线)开关58，用于在将胶囊内窥镜50放置于数据接收装置时对其进行检测。cpu56检测该导线开关58向数据接收装置的放置，并在能够发送数据的时刻进行从线圈57向无线发送机55的电力供给。

相机52例如具有摄像元件52a以及对体腔内进行照明的多个光源52b，上述摄像元件52a包括用于拍摄体腔内的图像的物镜光学系统。具体地，作为相机52的光源52b，例如由具备led(lightemittingdiode：发光二极管)的cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)传感器、ccd(chargecoupleddevice：电荷耦合器件)等构成。

第一～第九实施方式的电子设备1的显示部2是包括如图21的光源52b那样的发光体的概念。图21的胶囊内窥镜50例如具有两个光源52b，但能够用具有多个光源部的显示面板、具有多个led的led模块来构成这些光源52b。在这种情况下，通过在显示面板、led模块的下方配置相机52的摄像部4，从而与相机52的布局配置有关的制约变少，能够实现更小型的胶囊内窥镜50。

另外，图22是将第一～第九实施方式的电子设备1应用于数字单反相机60的情况下的后视图。数字单反相机60、紧凑型相机在与透镜相反的一侧的背面具备显示预览画面的显示部2。可以设为能够在与该显示部2的显示面相反的一侧配置相机模块3而将拍摄者的脸部图像显示于显示部2的显示面1a。在第一～第九实施方式的电子设备1中能够将相机模块3配置在与显示部2重叠的区域，因此可以不将相机模块3设置于显示部2的边框部分，能够将显示部2的尺寸尽可能大型化。

图23a是表示将第一～第九实施方式的电子设备1应用于头戴式显示器(以下为hmd)61的例子的俯视图。图23a的hmd61用于vr(virtualreality：虚拟现实)、ar(augmentedreality：增强现实)、mr(mixedreality：混合现实)或者sr(substituionalreality：代替现实)等。如图23b所示，目前的hmd在外表面搭载有相机62，hmd的佩戴者能够视觉辨认周围的图像，而另一方面存在对于周围的人而言不知道hmd的佩戴者的眼睛、脸部的表情这样的问题。

因此，在图23a中，在hmd61的外表面设置显示部2的显示面，并且在与显示部2的显示面相反的一侧设置相机模块3。由此，能够使显示部2的显示面显示用相机模块3拍摄到的佩戴者的脸部的表情，佩戴者周围的人能够实时掌握佩戴者的脸部的表情、眼部运动。

在图23a的情况下，在显示部2的背面侧设置相机模块3，因此相机模块3的设置场所不受制约，能够提高hmd61的外观设计的自由度。另外，能够将相机配置在最佳的位置，因此能够防止显示于显示面的佩戴者的视线不一致等缺陷。

这样，在第十实施方式中，能够将第一～第九实施方式的电子设备1用于各种用途，能够提高利用价值。

此外，本技术可以采取如下所述的构成。

(1)一种电子设备，具备：显示部；摄像部，配置在与所述显示部的显示面相反的一侧；异常检测部，检测所述显示面上的异常；以及显示控制部，将产生了由所述异常检测部检测出的所述异常的位置在所述显示部上强调显示。

(2)在(1)所记载的电子设备中，所述显示控制部使所述显示部显示提醒去除所述异常的信息。

(3)在(2)所记载的电子设备中，所述信息包括与所述异常的种类相应的信息。

(4)在(1)至(3)中任一项所记载的电子设备中，

所述显示控制部使所述显示部显示指示产生了所述异常的位置的标志。

(5)一种电子设备，具备：显示部，能够按彼此不同的多个发光波长发光；摄像部，配置在与所述显示部的显示面相反的一侧；以及异常检测部，基于在使所述显示面中的至少一部分按所述多个发光波长的每一发光波长发光的状态下由所述摄像部拍摄到的多个图像，检测所述显示面上的异常。

(6)在(5)所记载的电子设备中，所述异常检测部基于在使所述显示面上的与所述摄像部的视角重叠的区域按所述多个发光波长的每一发光波长发光的状态下由所述摄像部拍摄到的多个图像，检测所述显示面上的异常。

(7)一种电子设备，具备：显示部；摄像部，配置在与所述显示部的显示面相反的一侧；异常检测部，检测所述显示面上的异常；以及校正处理部，基于所述异常，校正由所述摄像部拍摄到的图像。

(8)在(7)所记载的电子设备中，所述校正处理部基于所述异常的种类、颜色、尺寸、位置以及数量中的至少一个信息，校正由所述摄像部拍摄到的图像。

(9)在(7)或(8)所记载的电子设备中，所述电子设备具备判别所述异常的种类的异常判别部，所述校正处理部对由所述摄像部拍摄到的图像实施与由所述异常判别部判别的所述异常的种类相应的校正处理。

(10)在(9)所记载的电子设备中，所述校正处理包括边缘强调处理、变形校正处理以及瑕疵校正处理中的至少一个。

(11)在(7)至(10)中任一项所记载的电子设备中，所述电子设备具备模型生成部，所述模型生成部生成基于所述异常的信息对由所述摄像部拍摄到的图像进行校正的模型，所述模型是基于所述异常的种类、颜色、尺寸、位置及数量中的至少一个信息和所述校正处理部实施校正前后的图像进行学习而得到的，并且所述校正处理部对学习完毕的所述模型提供由所述摄像部拍摄到的图像和所述异常的信息，来校正由所述摄像部拍摄到的图像。

(12)在(7)至(11)中任一项所记载的电子设备中，所述电子设备具备：校正判定部，判定由所述校正处理部进行的校正是否有效；图像通信部，在判定为由所述校正处理部进行的校正无效的情况下，所述图像通信部将由所述摄像部拍摄到的图像和所述异常的信息发送到信息处理装置，并且接收由所述信息处理装置校正后的图像；以及输出部，输出由所述信息处理装置校正后的图像。

(13)在(7)至(12)中任一项所记载的电子设备中，所述摄像部具有分别进行不同的视角的拍摄的多个相机，所述校正处理部基于由所述多个相机拍摄到的多个图像，从由所述摄像部拍摄到的图像去除所述异常。

(14)在(1)至(13)中任一项所记载的电子设备中，所述摄像部具有将经由所述显示部入射的光进行光电转换的多个光电转换部，所述多个光电转换部中的至少一个光电转换部能够检测相位差信息，所述异常检测部基于所述相位差信息检测所述异常。

(15)在(1)至(13)中任一项所记载的电子设备中，所述摄像部具有：多个光电转换部，将经由所述显示部入射的光进行光电转换；以及多个偏振元件，配置于所述多个光电转换部中的至少一个光电转换部的光入射侧，所述异常检测部基于由所述多个偏振元件偏振并由所述光电转换部进行了光电转换的偏振信息，检测所述异常。

(16)在(15)所记载的电子设备中，所述多个偏振元件包括分别检测不同的偏振状态的多种偏振元件。

(17)在(1)至(16)中任一项所记载的电子设备中，所述摄像部具有：多个光电转换部，将经由所述显示部入射的光进行光电转换；以及微透镜阵列，使被摄体光成像于所述多个光电转换部。

(18)在(1)至(13)中任一项所记载的电子设备中，所述电子设备具备距离检测部，所述距离检测部检测到由所述摄像部摄像的被摄体为止的距离，所述异常检测部基于由所述距离检测部检测出的距离，检测所述异常。

(19)在(18)所记载的电子设备中，所述摄像部具有分别进行不同的视角的拍摄的多个相机，所述距离检测部基于所述多个相机的拍摄图像来检测所述距离。

(20)在(1)至(19)中任一项所记载的电子设备中，所述电子设备具备指纹检测部，所述指纹检测部基于由所述摄像部拍摄到的图像来检测与所述显示面接触的手指的指纹。

本公开的方式不限于上述的各个实施方式，也包括本领域技术人员能够想到的各种变形，本公开的效果也不限定于上述内容。即，在不脱离从权利要求书所规定的内容及其均等的内容中导出的本公开的概念思想和主旨的范围内，能够进行各种追加、变更及部分删除。