乐霏号,只要能达到目的地,请不要在乎你开的是奥迪还是奥拓。像迎春花一样等待春天。等待不是消极懈怠,而是积极积攒力量,不是徘徊犹豫,而是韬光养晦,一旦时机成熟就全部释放积聚的能量。

关键词不能为空

品牌资讯

导航

hku portal:mycuhk(HKUPortal)

来源:网络
编辑:佚名

首页 > 品牌资讯 > 正文

基于点云的场景理解是目前特别具有挑战性的任务。本文提出了一种从三维场景点云重建高精度物体网格的学习框架rfd-net,将重建问题转化为“先检测后重建”。

本篇文章给大家谈谈hku portal,以及hku portal、mycuhk(HKUPortal)、hku portal total grade等知识内容,希望对各位有所帮助,不要忘了收藏本站喔。

该论文已被纳入cvpr2021。

hku portal:mycuhk(HKUPortal)

纸质链接:

https://arxiv.org/abs/2011.14744

hku portal

代码链接:

https://github.com/yinyunie/rfdnet

项目主页:

https://yinyunie.github.io/rfdnet-page/

hku portal login in

hku portal login in

一、引言

基于点云的场景理解是目前特别具有挑战性的任务。之前的工作主要是把点云转换成规则的网格,比如体素,鸟瞰图,然后用基于网格的卷积来理解场景。然而,基于网格的三维卷积往往需要巨大的计算能力,因此以前的方法只能在低分辨率下进行。而且由于点云的稀疏性和不规则性,直接将其转化为网格卷积进行场景重建是不合适的。

二,文章思路

我们提出了一个“从检测重建”的点云语义实例重建框架,有以下贡献:

1.我们为语义实例重建提供了一种新的学习方法。先前的方法严重依赖于三维卷积来在体素化的场景中学习。据我们所知,这是第一个通过几何直接从点云预测实例语义的学习方法,并且取得了很好的效果,如图1所示。

hku portal好不好

图1图1

2.我们提出了一种新的端到端结构,即rfdnet,用于从稀疏点云中学习物体的语义和形状。它将语义实例重建分解为全局目标定位和局部形状预测,并通过跳转传播模块将其桥接起来,方便联合学习。这样,我们的形状生成器支持隐式学习,这直接克服了现有技术中的分辨率瓶颈..

3.联合学习对象的姿态和形状相互促进。这种方法在现有的侦破骨干上效果相当,达到了案件侦破和结案的最新水平,在目标重建上增加了11个以上的欠条。

三。网络框架

图2是网络的总体框架。主要思想是通过目标检测进行三维重建。该网络由三个模块组成:3d检测器模块、空空间转换器模块和形状生成器模块。

我们尽可能通用地设计这些模块,使其与现有的基于点云的3d网络主干兼容。具体来说,包围盒的参数由稀疏三维场景中的输入点云通过三维检测器模块生成。然后,我们在空之间设计了一个转换器模块,用于过滤冗余的包围盒(负样本)并聚合和对齐包围盒中的点。最后由形状生成模块将聚合的物体点云转换到标准坐标系,然后独立学习一个隐式空占用函数来重构形状。

图2图2

1.3d探测器模块

三维检测器模块可以从点云中学习物体提议。首先,对于输入的点云,我们以votenet[1]为框架生成候选包围盒,并以此为特征预测包围盒的参数,包括包围盒中心、比例、角度、语义标签和空之间的对象性评分。当候选包围盒的中心与真实值之差小于0.3m时,/[/k0当与真实值之差大于0.6m时,为负。最后,我们使用两层多层感知器来回归包围盒的参数。

2.空之间的转换器模块

hku portal密码

hku portal密码

该模块分为两个部分:对象删除和点云聚合与对齐。对象选择部分中的输入是3d检测部分中输出的所有候选边界框参数。为具有高百分比输出对象空的对象绑定框。点云group&align的目的是将原始点云聚类到对象包围盒中,并将其转换到局部标准坐标系中。首先,由于之前提取的物体包围盒太多,我们使用top-ndropout来保留得分较高的物体包围盒;在组对齐部分,我们对原始点云进行采样,以每个包围盒为中心将它们聚类成球体,并将这些点云从世界坐标系转换到它们的局部坐标系。最后,我们通过标准化系统消除平移和旋转误差,让这些点对准坐标系。

3.形状生成器模块

如图3所示,这个模块的具体细节分为三个部分:特征编码、形状解码和行进立方体[2]。

图3图3

在“特征编码”部分,我们使用pointnet[3]将每个框提议中的点划分为前景和背景。在提取出前景中的点后,我们将其与前面“三维物体检测”中提取的提议特征进行组合,然后使用带剩余连接的点网将组合后的特征编码成新的特征。这部分特征可以看作是局部信息和全局信息(如3d形状、语义标签等)的融合。).然后,在“形状解码”部分(如图4所示):

图4图4

我们使用条件批处理归一化层来回归占用值,并将它们与点和建议特征一起发送到隐式编码器,回归高斯分布的均值和标准差,然后从该分布中采样以获得隐式编码。最后,我们将隐式代码连同点一起发送到条件块中,并返回到最终的点占用值。在得到最终的占有率值后,我们使用marchingcubes算法生成最终的网格。

4.端到端学习

我们的端到端学习损失函数分为两部分,即包围盒损失和形状损失。

盒子丢失:3d检测器用于预测物体空之间的物体性评分,包围盒的中心、比例、角度和语义标签。对于客观分数,我们设置一个阈值来选择客观分数为正的点;对于包围盒的中心,我们选择平滑的l1损失函数;我们将尺度和角度的损失函数设置为分类损失函数(交叉熵)和回归损失函数(平滑l1损失函数)的混合。对于语义标签,我们使用交叉熵损失函数;最后,因为我们使用votenet作为主干,所以我们引入了一个投票损失函数。的整体边界框损失函数如下:

hku portal登陆

形状损失函数:对于建议中的每个点,我们使用交叉熵损失函数来监督前景分割。形状生成器从我们采样的潜在代码中学习均值和方差,以近似训练中的标准正态分布,因此形状损失函数可以写成如下:

最终损失函数是边界框损失和形状损失函数的线性组合:

第四,实验分析

本文与最新方法revealnet进行了详细的定性和定量比较。从定性结果(图5)可以看出,我们的方法可以更准确地预测物体的位置和几何形状。物体的几何分辨率也有了很大的提高。

图5图5

在定量分析中,本文主要在场景补全(表1)、物体检测(表2)和物体重建(表3)方面与现有方法进行比较。所有结果表明,该方法得分最高。有关详细的分析结果,请参见文章。

表1、2、3表1、2和3

此外,论文还对不同点云的数字输入进行了测试(图6)。结果表明,即使输入少量的点云,本文仍能重建出合理的实例网格。

图6图6

动词(verb的缩写)摘要

我们提出了一种新的学习模型rfdnet,用于直接从点云中重建语义实例。该方法将重建问题变为“先检测,后重建”。通过全局目标位置和局部形状来预测实例的形状,这将使三维检测器模块和形状生成模块相互促进。此外,实验还证明了我们的方法在场景重建中可以得到高质量的网格,并且在目标重建、三维检测和语义实例分割的对比中表现优于现有方法。

参考资料:

[1]齐,c.r.,利塔尼,o.,何,k.,&吉巴斯,l.j.(2019)。点云中三维物体检测的深度霍夫投票法。ieee/cvf国际计算机视觉会议论文集(第9277-9286页)。

[2]w.e.lorensen和h.e.cline(1987年)。行进立方体:一种高分辨率3d表面构造算法。计算机图形学,21(4),163-169。

[3]范,h,苏,h.,,吉巴斯,l.j.(2017).从单幅图像重建三维物体的点集生成网络。ieee计算机视觉和模式识别会议论文集(第605-613页)。

//

作者简介

该项目由香港中文大学(深圳)gap实验室韩博士领导。

这项工作的主要完成人聂,目前是慕尼黑工业大学视觉计算组的博士后。该团队还包括慕尼黑工业大学的侯吉博士和马蒂亚斯·尼斯纳教授。

gap实验室:

https://mypage.cuhk.edu.cn/academics/hanxiaoguang/index.html

tumvisual计算集团:

https://niessnerlab.org/

个人主页:

http://yinyunie.github.io/

奥列格·谢尔巴插图来自icons8

-结尾-

以上便是小编为大家介绍的关于hku portal、mycuhk(HKUPortal)、hku portal:mycuhk(HKUPortal)的一些内容,朋友们听完小编的介绍,对这方面有所了解了吗?最后由形状生成模块将聚合的物体点云转换到标准坐标系,然后独立学习一个隐式空占用函数来重构形状。

相关阅读