学习目标:

点云基础知识入门--持续更新

在这四种3D表示方式中(体素网格,点云,隐式表面和三角网格)为什么选择点云的方式呢?

个人理解中,原因有以下几点:

1、点云数据获取比较简单,而且点云最接近原始传感器的数据(激光雷达扫描得到的就是点云数据,深度传感器获得的是一个深度图像,可以理解为局部的点云)。

左图:深度传感器获得的图像,右图为激光雷达和深度传感器得到的点云(经过一定的处理)

2、点云的表示形式很简单。

3、不是所有的3维图形都能用隐式表面表示出来,而且隐式表面比较复杂。

4、由于点云中的点是不规则、无序的,所以有些研究是将点云转化为体素结构的形式,从而变成规则的表达。但是,在这个转化的过程中会丢失很多精准度。

5、三角网格的精度较高,但是也比较难以获得,常用于3维建模。

 


应用场景:

点云的应用场景比较广泛,如:自动驾驶、场景分割、AR等方面。

特别是自动驾驶,夜间行车时,摄像头的呈像效果并不是太好,但如果利用点云,则可以很好的把对象识别出来。未来可能是2D+3D结合的技术。

PointNet还可应用在3D场景的理解中:

如上图所示,输入的是RGB-D的图像,输出的是用3D框框住的物体,这一技术可应用在自动驾驶中。


学习内容(一些术语的理解--持续更新):

1、ground-truth:在三维领域中,ground-truth可以代表人工标注,即标签的意思。

2、Context:(即在点云中经常提到的上下文相关这里介绍下具体的含义)potential semantic dependencies between a target pattern and its surroundings.(如下图,可以理解为最小红框中的信息不是独立存在的,而是和周围信息有着上下文的关系)

3、在先前的工作中,不仅有把点云转化为规则的体素网格的形式,还有把3D点云映射到2D上,然后用2D CNN进行处理,但是效果也不是很好。

PointNet的提出,可以在点云上直接提取特征,使我们可以直接在点云上就行操作(下图展示了PointNet的应用)。

(在这里建议从PointNet这篇论文入手)

 

 


前景:

3D点云的表达形式在3D场景理解中具有很好的研究前景,而且目前为止有很大的研究空间(欢迎大家进入点云的研究领域)。但是,3D的表达形式也不一定限制在点云方面,对于建模、可视化和仿真等也可以用其他的形式。

(此篇文章是听完斯坦福的博士祁芮中台的汇报所写,其中有一部分是个人想法,欢迎指出错误)

 

 

更多推荐

点云入门知识