无人驾驶(5)动态环境感知与3D目标检测

[TOC]

5.1 基于激光雷达点云的检测算法 (3D检测)

  • 激光雷达点云简介
  • Pixel-Based
  • Voxel-Based
  • Tree-Based
  • Point-Based
  • 实战基于点云的目标检测

0、激光雷达点云简介

什么是激光雷电点云?

image-20220419022248517

常用数据集

image-20220419022639349

KITTI 实战kitti LIDAR点云生成鸟瞰图BEV

image-20220419022502344

点云基础 - 将点云投影到图片上

image-20220419023431055

传统VS深度学习

image-20220420010518793

1、基于像素的点云算法(Pixel-Based)

  • 基本思想:
    • 3D-2D, 三维点云在不同角度的相机投影(映射)
    • 再借助2D图像处理领域成熟的深度学习框架进行分析
  • 典型算法
    • MVCNN, MV3D, AVOD
    • Apollo2.0 SequeezeSeg

MVCNN (分类)

image-20220420011222644

MV3D

image-20220420011317865

AVOD

image-20220420011702183

Feature Extractor

image-20220420011900798

RPN

image-20220420012034009

image-20220420012239576

Apollo2.0

image-20220420012319233

SqueezeSeg

image-20220420012406257

image-20220420012705453

image-20220420012811805

代码实战:[tolearning]

无人驾驶汽车系统入门(二十六)——基于深度学习的实时激光雷达点云目标检测及ROS实现

Ubuntu16.04运行SqueezeSeg_Ros

2、基于体素的点云算法(Voxel-Based)

image-20220420014344009

VoxNet

VoxelNet

= Voxel-Based + Point-Based (局部+全局)

3、基于树的点云算法(Tree-Based)

image-20220420014527963

image-20220420014551923

OctNet

O-CNN

Escape from Cells

4、基于点的点云算法(Point-Based)

  • 对称函数、X变换

image-20220420014643233

PointNet (CVPR2017)

image-20220420015103222

1x3的卷积,实现全连接层

image-20220420015801982

transform_net

image-20220420015935771

PointNet++ (NIPS2017)

image-20220420020202704

image-20220420020408548

PointCNN

image-20220420020528296

核心:X卷积

image-20220420020609633

Frustum-Pointnet

image-20220420020656186

PointRCNN

image-20220420020742927

5.2 Voxelnet

image-20220420020929747

image-20220420021250554

image-20220420021404060

image-20220420021517598

image-20220420021532404

代码结构

image-20220420021615860

效果:

image-20220420021151045

相关资料

zhihu 3D目标检测方法总结

系列零:自动驾驶相关数据集调研总结【附下载地址】(2023更新)

# 系列一:3D目标检测框架综述(OpenPCDet|mmdetection3d|Det3D|Paddle3D)

# 系列二:3D Detection目标检测系列论文总结(2023年更)

# 系列三:3D Segmentation点云语义分割系列论文总结(2023年更)