交通工具损坏估计的制作方法
本公开总体上涉及交通工具损坏评估。
背景技术：
交通工具在操作过程中可能被损坏。交通工具损坏可以包括在交通工具主体板件上发生的轻微划痕和凹陷。在交通工具移动时，与其他交通工具或与其他固定和/或移动对象(包括障碍物、栏杆等)的接触可能造成交通工具损坏。即使在交通工具停放时，与移动的交通工具和其他移动对象的接触也可能导致交通工具损坏。
技术实现要素：
交通工具可能被损坏。交通工具损坏可以包括在交通工具主体板件上发生的轻微划痕和凹陷。轻微划痕和凹陷在本文中被定义为可以在视觉上辨别但不会妨碍交通工具正常操作的交通工具损坏。当前技术支持对交通工具损坏的主观评估，例如，可以提供用于手动检查的图像和/或可以执行图像识别以确定可能存在的损坏，但不确定损坏的程度。例如，计算装置可以配备有摄像机以获取关于受损的交通工具主体板件的视频图像数据，然而要获取、传输、存储和召回的数据量将很大，并且需要大量的计算资源、网络带宽。此外，缺乏软件来跟踪和解译交通工具图像以可靠且准确地检索和比较与每次交通工具使用相关的正确的前后图像。此外，对交通工具损坏的主观评估通常不足以以期望的准确度或可靠性来确定交通工具损坏。仍有空间来提供技术基础设施来识别和评估交通工具损坏，包括损坏的程度和预测对损坏负责的用户。
对于交通工具主体板件的轻微损坏，本文描述的技术通过仅需要交通工具在使用之后的图像来确定交通工具主体板件损坏而使损坏评估在可靠性和准确度两者上以及计算资源的利用效率得以改进。如本文所述，计算机可以通过从在使用交通工具之前获取的“前”图像减去在交通工具使用之后获取的“后”图像来确定对交通工具主体板件的损坏。该技术包括准确地对准前后图像，并且还包括获得一组前图像并且再现照明和相机位置以将后图像与前图像进行匹配。在本上下文中，匹配图像意味着第二或再现图像基本上将第一图像中的对象的大小、形状、颜色和光照用第二图像中的对象的大小、形状、颜色和光照进行复制。可以通过执行以下操作来确定匹配：从第二图像逐像素地减去第一图像，以基于对两个图像之间的绝对差求和来确定匹配。可以将绝对差相和后基本上为零的图像确定为匹配的。所存储的交通工具图像可以用作前图像，但是将依赖于正确地识别交通工具的品牌和型号并再现颜色、照明和相机位置。
前图像和后图像可以作为输入提供到神经网络。例如，本文描述的技术对交通工具主体板件的图像进行掩蔽、基于神经网络处理来重建掩蔽部分404，并且从交通工具在使用之后的图像减去重建图像。可以根据重建图像与所获取图像之间的差异来识别对交通工具主体板件的轻微(即，划痕和凹陷)损坏，并且可以基于图像差异的大小和形状来评估所述轻微损坏以确定交通工具损坏的程度。简而言之，本文描述的技术相对其他技术通过消除损坏估计中的主观性、减少相机照明和位置问题以及减少图像比较技术所需的计算机和网络资源来提高准确度。
本文公开了一种方法，所述方法包括：训练生成对抗网络(gan)以通过基于来自图像的在缺失部分周围的部分的数据确定图像的重建部分来重建图像的缺失部分；将所获取图像与图像的重建部分进行比较以确定受损部分；以及基于受损部分来确定估计损坏。指令可以包括用于基于受损部分的大小、形状、颜色和位置来确定估计损坏的指令。估计损坏可以包括推荐的修复技术。gan可以包括生成网络，所述生成网络包括卷积层的第一流水线，接着是编码层的第二和第三并行流水线，接着是组合卷积层的第四流水线。gan可以包括鉴别器网络，所述鉴别器网络包括两个并行流水线，所述两个并行流水线包括全局wasserstein损失流水线和局部wasserstein损失流水线。可以通过组合局部wasserstein损失与全局wasserstein损失以确定用于鉴别器网络的权重来训练gan，其中通过计算像素概率分布的散度来确定wasserstein损失。确定图像的重建部分可以包括首先生成图像的重建部分的粗糙表示。
确定图像的重建部分还可以包括通过组合应用于图像的重建部分的粗糙表示的注意力编码器和幻觉编码器的结果来精细化所述粗糙表示并将精细化结果图像输入到生成网络，其中所述注意力编码器是将周围数据的相对位置传播到图像的重建部分中的第一神经网络，并且所述幻觉编码器是将周围数据的细节传播到图像的重建部分中的第二神经网络。生成网络可以包括卷积层。可以通过执行从图像逐像素地减去图像的重建部分来确定损坏。可以将高通滤波器应用于从所获取图像逐像素地减去图像的重建部分得到的结果，以保留高频差异。所述高通滤波器可以包括canny边缘检测。可以基于图像的多个缺失部分来确定图像的要重建的缺失部分。可以基于从先前受损交通工具获取的估计损坏数据来确定估计损坏。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开一种经编程用于执行上述方法步骤中的一些或全部的计算机，包括：训练生成对抗网络(gan)以通过基于来自图像的在缺失部分周围的部分的数据确定图像的重建部分来重建图像的缺失部分；将所获取图像与图像的重建部分进行比较以确定受损部分；以及基于受损部分来确定估计损坏。指令可以包括用于基于受损部分的大小、形状、颜色和位置来确定估计损坏的指令。估计损坏可以包括推荐的修复技术。gan可以包括生成网络，所述生成网络包括卷积层的第一流水线，接着是编码层的第二和第三并行流水线，接着是组合卷积层的第四流水线。gan可以包括鉴别器网络，所述鉴别器网络包括两个并行流水线，所述两个并行流水线包括全局wasserstein损失流水线和局部wasserstein损失流水线。可以通过组合局部wasserstein损失与全局wasserstein损失以确定用于鉴别器网络的权重来训练gan，其中通过计算像素概率分布的散度来确定wasserstein损失。确定图像的重建部分可以包括首先生成图像的重建部分的粗糙表示。
所述计算机还可以被编程为：确定图像的重建部分还包括通过组合应用于图像的重建部分的粗糙表示的注意力编码器和幻觉编码器的结果来精细化所述粗糙表示并将精细化结果图像输入到生成网络，其中所述注意力编码器是将周围数据的相对位置传播到图像的重建部分中的第一神经网络，并且所述幻觉编码器是将周围数据的细节传播到图像的重建部分中的第二神经网络。生成网络可以包括卷积层。可以通过执行从图像逐像素地减去图像的重建部分来确定损坏。可以将高通滤波器应用于从所获取图像逐像素地减去图像的重建部分得到的结果，以保留高频差异。所述高通滤波器可以包括canny边缘检测。可以基于图像的多个缺失部分来确定图像的要重建的缺失部分。可以基于从先前受损交通工具获取的估计损坏数据来确定估计损坏。
附图说明
图1是示例性计算机成像系统的图。
图2是示例性生成对抗网络的图。
图3是具有损坏的示例性交通工具板件的图。
图4是具有缺失部分的示例性交通工具板件的图。
图5是具有包括粗糙填充的缺失部分的示例性交通工具板件的图。
图6是具有包括精细填充的缺失部分的示例性交通工具板件的图。
图7是示例性交通工具损坏的图。
图8是示例性生成神经网络的图。
图9是示例性对抗神经网络的图。
图10是利用生成对抗网络来确定交通工具损坏的示例性过程的流程图。
具体实施方式
图1是计算机成像系统100的图。计算机成像系统100可以被布置成获取交通工具102的图像数据，其中交通工具102可以是汽车、卡车、飞机、船、无人机、机器人等，或者通过原动力进行传送、运输或移动的任何其他装置。交通工具102可能包括对一个或多个主体板件的轻微损坏104，其中主体板件被定义为交通工具102的形成交通工具的整体形状的外表面或覆盖物的连续部分。交通工具主体板件可以是钢的或塑料的，并且通常被涂漆或涂覆。计算机成像系统100包括相机106(其可以是摄像机)并且包括具有视野110的镜头108。视野可以被布置成准许相机106获取包括交通工具102上的轻微损坏104的图像。相机106在视野110内获取包括轻微损坏104的图像数据，并且经由有线或无线连接将图像数据传送到计算装置112。
计算装置112包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行的用于进行包括如本文所公开的各种操作的指令。例如，计算装置112可以包括用于经由接口从一个或多个相机106获取图像数据的编程。计算装置112可以另外或可选地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。计算装置112可以使用这些通信机制经由网络114与远程服务器计算机116(例如，云服务器)进行通信，如下所描述的，其包括硬件、固件和软件，所述硬件、固件和软件准许计算装置112经由诸如无线互联网
图2是生成对抗网络(gan)200的图。gan200是在计算装置112或服务器计算机116上执行的软件程序。gan200接收图像202(在该示例中，交通工具主体板件的图像202)作为输入。生成网络(gen)204是通过基于图像202的掩蔽部分周围的像素数据形成像素数据以替换零来“修补”掩蔽部分的神经网络。修补意味着用通过周围的非缺失像素数据确定的像素数据替换缺失的像素数据。在操作中，生成网络204可以输入包括具有丢失数据的掩蔽部分的图像202，并且输出重建图像206，其中掩蔽部分的零被模拟未受损交通工具主体板件的图像的像素值替换。下面关于图7给出了关于生成网络204的操作的细节。
为了训练生成网络204，其作为输入接收的重建图像206被传递到对抗网络208，所述对抗网络接收重建图像206作为输入并确定重建图像206是否准确地模拟未受损交通工具主体的图像。继而可以通过在接收重建图像206作为输入之前使用未受损交通工具主体板件的真实图像222来训练对抗网络208以做出该确定。对抗网络208输出输出损失210，所述输出损失测量重建图像106有多接近匹配交通工具主体板件的真实图像212。在训练时，输出损失210被反向传播到生成网络204，以提供关于由生成网络204生成的重建图像206有多接近复制未受损交通工具主体板件的真实图像212的反馈。下面关于图8给出了对抗网络的操作的细节。
图3是交通工具的包括交通工具主体板件302的部分的图像300的图，该图在实践中是彩色图像，但是这里以黑白色呈现以符合专利局规定。交通工具主体板件302(在该示例中，为交通工具门)可以是交通工具的一部分。交通工具主体板件302包括受损部分304，所述受损部分可以是例如凹陷或划痕。
图4是交通工具的包括交通工具主体板件402的部分的图像400的图，该图在实践中是彩色图像，但是这里以黑白色呈现以符合专利局规定。交通工具主体板件402包括掩蔽部分404，所述掩蔽部分掩蔽图像400的一部分，在所述部分内图像400的像素数据被设置为零。除了零之外，图像400的掩蔽部分404还可以是被指定为对应于缺失数据的某个其他像素值，例如空值或-1。交通工具的一部分的图像400可以包括多个可能的掩蔽部分404，所述多个可能的掩蔽部分以不同的大小覆盖图像400的多个不同部分。在将图像400输入到gan200以确定损坏之前，可以根据多个掩蔽部分404选择掩模404以完全覆盖受损部分304，同时使掩蔽部分404的大小最小化。
图5是交通工具的包括交通工具主体板件502的部分的图像500的图，该图在实践中是彩色图像，但是这里以黑白色呈现以符合专利局规定。交通工具主体板件502包括粗糙修补部分504。交通工具主体板件502可以由生成网络1204的卷积编码器(conv)804粗糙地修补，如下面关于图8所描述的。粗糙修补是生成网络204的卷积编码器804用来自掩蔽部分周围的像素的非零像素值替换图像500的掩蔽部分404中的零像素值的过程。通过生成网络204的卷积编码器804，来自掩蔽部分404周围的像素的像素值可以从掩蔽部分的外边缘到掩蔽部分404的中心进行复制，同时对像素值求平均以提供颜色的平滑过渡。
图6是交通工具的包括交通工具主体板件602的部分的图像600的图，该图在实践中是彩色图像，但是这里以黑白色呈现以符合专利局规定。交通工具主体板件602包括基于精细修补的重建部分604。精细修补是将来自图像600的在掩蔽部分404周围的区域的细节和结构呈现到上面图5中的图像500的粗糙修补部分504上的过程。如下面关于图8进一步描述的，精细修补由生成网络204的注意力编码器(ae)808、幻觉编码器(he)810和组合编码器(comb)814执行。注意力编码器808将来自图像600的围绕粗糙修补部分504的周围部分的图像细节传播到粗糙修补部分504中以产生重建部分604。幻觉编码器810基于经训练的图像细节和粗糙修补部分504中的相对位置来生成图像细节。
注意力编码器808在训练时被训练成复制来自图像600的在粗糙修补部分504周围的区域的图像细节。幻觉编码器810生成在图像600的在粗糙修补部分504周围的区域中不会出现的细节。幻觉编码器810通过对图像600的每个层执行膨胀来生成细节，其中所述层对应于红绿蓝(rgb)编码的彩色图像中的颜色。膨胀是一种图像处理操作，其基于像素与其相邻像素之间的逻辑测试来执行非线性卷积以将像素值扩展为像素周围的相邻像素。例如，逻辑测试可以是：像素是“大于”、“小于”还是“等于”其相邻像素。在注意力编码器808和幻觉编码器810进行处理之后，通过组合编码器814来组合中间精细化结果图像812以形成包括重建部分604的重建图像206。将包括重建部分604的图像600将对应于未受损交通工具板件的图像。
图7是包括孤立的受损部分702的图像700的图，该图在实践中是彩色图像，但是这里以黑白色呈现以符合专利局规定。可以通过按逐像素减法从图像300(包括受损部分304)减去图像600(包括重建部分604)来形成700。由于包括重建部分604的图像600包括对应于主体板件302在没有损坏的情况下的外观的主体板件602，因此从图像600减去图像300仅留下了在大小、形状和位置上与图像300中的受损部分302类似的孤立的受损部分702。孤立的受损部分702被称为“孤立的”，因为它在没有任何周围交通工具主体板件数据的情况下出现在图像700中。孤立的受损部分702的程度可以基于孤立的受损部分702的大小和形状、基于关于修复成本的经验数据(对照孤立的受损部分702相对于主体板件302的大小、形状和位置)来确定。
基于孤立的受损部分702的大小、形状和位置来确定损坏的程度可以通过对图像700执行高通滤波以提升图像700而得以改善。图像700中的高空间频率数据往往是基于来自修补步骤的损坏和缺失特征。低空间频率数据往往是基于真实视频数据与修补的视频数据之间的纹理差异。高通滤波器是保留孤立的受损部分702中的高频差异同时拒绝低频差异的空间滤波器。高通滤波器的示例可以是边缘检测算法，例如canny边缘检测。高通滤波器保留图像700中像素值快速变化的滤波部分或使其通过。在用高通滤波器滤波之后，可以对图像700进行阈值处理以消除低频结构并保留高频结构。
高通滤波器的强度和阈值可以凭经验确定。例如，可以用高通滤波器对包括受损部分的样本图像进行滤波，同时调整高通滤波器以改变样本图像的内容被接纳的频率。可以检查结果，并且可以选择使图像的受损部分通过但将未受损部分滤除的频率作为分离高通滤波器的通过/不通过部分的频率。在选择频率之后，可以对样本图像进行阈值处理。在本上下文中，对图像进行“阈值处理”意味着图像保留像素值大于或等于阈值的所有像素，并且像素值小于阈值的所有像素的像素值被设置为零。阈值可以通过以下方式凭经验来选择：用多个阈值对样本图像进行阈值处理，并选择多个阈值中保留经滤波样本图像的大多数受损部分同时将对应于未受损或背景像素的大多数像素设置为零的一个阈值。
图8是生成网络204的图。如关于图1、图4和图5所讨论的，可以训练生成网络204以输入被掩蔽的输入图像202并输出对应于完整的未受损交通工具板件的图像的输出图像210。生成网络204包括包括卷积编码器804的第一流水线，接着是包括注意力编码器808和幻觉编码器810的第二和第三并行流水线，接着是包括组合编码器814的第四流水线。第一流水线包括卷积编码器804，所述卷积编码器生成粗糙修补部分504作为交通工具主体板件502的粗糙表示。生成粗糙修补部分504包括用一系列卷积层处理输入图像202，这复制了来自掩蔽部分404周围的像素的像素值并使其平滑化。卷积编码器804从掩蔽部分404的边缘到掩蔽部分404的中心地再现像素数据，以产生粗糙的中间结果806。卷积编码器804还可以在生成像素数据以填充掩蔽部分404时使像素数据平滑化。
粗糙的中间结果806被复制并输入到包括注意力编码器808和幻觉编码器810的第二和第三并行流水线。如上面关于上图6所讨论的，注意力编码器808在训练时被训练成将来自掩蔽部分404周围的区域的图像细节传播到掩蔽部分404中，以保持掩蔽部分404与掩蔽部分404周围的非掩蔽部分之间的图像细节连续性。幻觉编码器810在训练时被训练成生成图像细节，所述图像细节在掩蔽区域内开始和结束并且不从掩蔽部分404周围的区域传播。
将来自注意力编码器808和幻觉编码器810两者的中间精细化结果图像812输入到组合编码器814的第四流水线。组合编码器814包括将两个中间精细化结果图像812组合成单个重建图像206的组合卷积层。组合编码器814将来自注意力编码器808和幻觉编码器810两者的中间精细化结果图像812的每个像素进行比较，以确定输出图像210在该位置处的像素的值。如果来自每个中间精细化结果图像812的像素等于粗糙中间结果806的值，则将粗糙中间像素的值用作输出。如果中间精细化结果图像812中的任一者与粗糙中间结果不同，则使用来自中间精细化结果的像素值。如果两个中间精细化结果图像812都与粗糙中间像素不同，则可以使用来自中间精细化结果的像素值的平均数。
图9是对抗网络208的图。对抗网络208是鉴别器网络，所述鉴别器网络包括两个并行流水线，所述两个并行流水线包括全局wasserstein损失流水线和局部wasserstein损失流水线。wasserstein损失流水线是对图像的像素计算wasserstein损失函数的一系列计算节点。众所周知，wasserstein损失函数将输入图像中的像素值的概率分布与基于多个先前输入图像(即，多个真实训练图像212)的像素值的概率分布进行比较。在训练时，将重建图像206输入到对抗网络208，以确定从生成网络204输出的重建图像206与未受损交通工具主体板件的真实图像有多类似。在训练时间之前，通过将未受损交通工具主体板件的多个真实图像212输入到全局wasserstein损失层(gw)902和局部wasserstein损失层(lw)904两者来预训练对抗网络208。全局wasserstein损失层902和局部wasserstein损失层904两者都计算像素概率分布的散度。通过计算像素值的直方图、然后测量对应于直方图数据的分布的均值和标准偏差来确定像素概率分布。例如，可以通过测量必须改变以使第一概率分布具有与第二概率分布相同的均值和标准偏差的数据量来确定像素概率分布的散度。
全局wasserstein损失层902计算整个输入图像上的像素分布，并测量所计算的像素分布相对多个真实图像212的像素分布的散度。局部wasserstein损失层904计算多个相等大小的邻域上的像素分布，并且形成从对应多个相等大小的邻域的像素值分布相对多个真实图像212的平均散度。基于所述散度测量，在组合全局和局部wasserstein损失值之前将权重应用于全局和局部wasserstein损失值。对抗网络208将由全局wasserstein损失层902和局部wasserstein损失层904计算的加权全局和局部wasserstein损失值相加，以形成输出损失210，所述输出损失将被反向传播到生成网络204，以确定对应于在训练时重建图像206的像素统计数据与未受损主体板件的真实输入图像212的像素统计数据有多匹配的损失函数。
图10是关于图1-图9描述的过程1000的流程图，即用于基于重建交通工具主体板件的图像的缺失部分来确定估计修复成本的过程1000的流程图。例如，过程1000可由计算装置的处理器实现，其将来自传感器的信息作为输入、并且执行命令、并且输出对象信息。过程1000包括可以以所示顺序执行的多个框。过程1000可以可选地或另外地包括更少的框，或者可以包括以不同顺序执行的框。
过程1000开始于框1002，其中计算装置训练gan100以重建交通工具主体板件的图像的缺失部分。可以使用如上面关于图9所讨论的完整主体板件的真实视频图像来训练gan100。
在框1004处，计算装置将主体板件的包括掩模404的图像400输入到经训练的gan200，所述掩模通过将像素值设置为零来掩蔽图像的一部分。经训练的gan200基于上面关于图5、图6、图8和图9所讨论的修补技术来输出图像600，其中掩蔽部分被交通工具主体板件602的重建部分604替换。如上所述，修补是通过将周围图像像素数据引入图像的缺失部分中并生成图像细节来重建图像像素数据的缺失部分的技术。
在框1006处，计算装置将包括重建部分604的图像600与包括受损部分304的交通工具主体板件302的图像300进行比较。计算装置可以从图像300减去图像600，例如，以留下具有与受损部分702的大小、形状、颜色和位置相对应的非零像素的图像700，如上面关于图7所讨论的。
在框1008处，计算装置可以基于在框1006处确定的受损部分702、基于受损部分702与以经验确定的损坏估计的比较来确定估计损坏。可以使用受损部分702相对于交通工具主体板件302的大小、形状、颜色和位置基于从先前受损交通工具获取的以经验确定的损坏估计来估计对主体板件的损坏。例如，如果受损部分702的颜色与周围主体板件的颜色相同，并且受损部分702的形状不包括尖锐边缘或直线，则受损部分702可以对应于无需重漆主体板件便可修复的凹陷。如果受损部分702的颜色包括受损部分702颜色变化并且受损部分702的形状包括尖锐边缘和直线，则受损部分702可以对应于将需要修复和重漆主体板件的一个或多个划痕。可以将受损部分702的大小与主体板件的大小进行比较。可以通过对包括在受损部分702中的交通工具主体板件的面积的百分比设置上限来确定需要移除或更换整个主体板件的交通工具损坏。在受损部分702的大小是主体板件的大百分比(>50％)的示例中，更换主体板件可能比修复受损部分702更容易。受损部分702相对于交通工具主体板件的位置也可以用于确定受损部分702是否可修复。例如，交通工具主体板件的一些位置中的损坏可能是不可修复的，并且将需要更换整个交通工具主体板件。
基于交通工具的受损部分702的大小、形状、颜色和位置的关于损坏估计的经验数据以及关于受损部分702的图像数据可以被编译并存储在服务器计算机116上的数据库中。当通过上面关于图1-图9描述的技术确定交通工具的受损部分702时，可以将关于受损部分702的大小、形状、颜色和位置的数据与存储在服务器计算机116上的损坏估计数据库进行比较，以生成对受损部分702的估计损坏。损坏估计可以包括关于受损部分702的推荐的修复技术的数据，包括是否需要重漆。推荐的修复技术可以包括对更换主体板件而不是修复主体板件的推荐。损坏估计还可以包括对修复主体板件的成本的估计。在框908之后，过程900结束。
诸如本文讨论的那些计算装置的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些计算装置的一个或多个计算装置执行并用于执行上文所描述的过程的框或步骤。例如，上文所讨论的过程框可体现为计算机可执行命令。
计算机可执行命令可根据使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：javatm、c、c++、python、julia、scala、visualbasic、javascript、perl、html等。一般来说，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类命令和其他数据可存储在文件中并使用各种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(dram)。常见形式的计算机可读介质包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、ram、prom、eprom、flash-eeprom、任何其他存储器芯片或盒式磁带或计算机可从其中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何形状、距离、测量值、值、确定、计算等有偏差。
在附图中，相同的附图标记指示相同的要素。此外，可改变这些要素中的一些或全部。关于本文所描述的介质、过程、系统、方法等，应理解，虽然此类过程等的步骤或框已被描述为按照特定顺序的序列发生，但是此类过程可通过以本文所描述的顺序以外的顺序执行所描述步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文所描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。
根据本发明，提供了一种包括处理器的计算机，所述计算机具有：存储器，所述存储器包括可由处理器执行以进行以下操作的指令：训练生成对抗网络(gan)以通过基于来自图像的在缺失部分周围的部分的数据确定图像的重建部分来重建图像的缺失部分；将所获取图像与图像的重建部分进行比较以确定受损部分；以及基于受损部分来确定估计损坏。
根据实施例，本发明的特征还在于用于基于受损部分的大小、形状、颜色和位置来确定估计损坏的指令。
根据实施例，估计损坏包括推荐的修复技术。
根据实施例，gan包括生成网络，所述生成网络包括卷积层的第一流水线，接着是编码层的第二和第三并行流水线，接着是组合卷积层的第四流水线。
根据实施例，gan包括鉴别器网络，所述鉴别器网络包括两个并行流水线，所述两个并行流水线包括全局wasserstein损失流水线和局部wasserstein损失流水线。
根据实施例，本发明的特征还在于用于通过组合局部wasserstein损失与全局wasserstein损失以确定用于鉴别器网络的权重来训练gan的其他指令，其中通过计算像素概率分布的散度来确定wasserstein损失。
根据实施例，确定图像的重建部分包括首先生成图像的重建部分的粗糙表示。
根据实施例，确定图像的重建部分还包括通过组合应用于图像的重建部分的粗糙表示的注意力编码器和幻觉编码器的结果来精细化粗糙表示并将精细化结果图像输入到生成网络，其中所述注意力编码器是将周围数据的相对位置传播到图像的重建部分中的第一神经网络，并且所述幻觉编码器是将周围数据的细节传播到图像的重建部分中的第二神经网络。
根据实施例，本发明的特征还在于用于通过执行从图像逐像素地减去图像的重建部分来确定损坏的其他指令。
根据实施例，本发明的特征还在于用于将高通滤波器应用于从所获取图像逐像素地减去图像的重建部分得到的结果以保留高频差异的指令。
根据实施例，所述高通滤波器包括canny边缘检测。
根据实施例，基于图像的多个缺失部分来确定图像的要重建的缺失部分。
根据实施例，基于从先前受损交通工具获取的估计损坏数据来确定估计损坏。
根据本发明，一种方法包括：训练生成对抗网络(gan)以通过基于来自图像的在缺失部分周围的部分的数据确定图像的重建部分来重建图像的缺失部分；将所获取图像与图像的重建部分进行比较以确定受损部分；以及基于受损部分来确定估计损坏。
在本发明的一个方面，所述方法包括用于基于受损部分的大小、形状、颜色和位置来确定估计损坏的指令。
在本发明的一个方面，估计损坏包括推荐的修复技术。
在本发明的一个方面，gan包括生成网络，所述生成网络包括卷积层的第一流水线，接着是编码层的第二和第三并行流水线，接着是组合卷积层的第四流水线。
在本发明的一个方面，gan包括鉴别器网络，所述鉴别器网络包括两个并行流水线，所述两个并行流水线包括全局wasserstein损失流水线和局部wasserstein损失流水线。
在本发明的一个方面，所述方法包括：通过组合局部wasserstein损失与全局wasserstein损失以确定用于鉴别器网络的权重来训练gan，其中通过计算像素概率分布的散度来确定wasserstein损失。
在本发明的一个方面，确定图像的重建部分包括首先生成图像的重建部分的粗糙表示。
- 还没有人留言评论。精彩留言会获得点赞！