从数据集到可视化：手把手带你用BEVFusion在NuScenes上完成自动驾驶感知全流程

从数据集到可视化：手把手带你用BEVFusion在NuScenes上完成自动驾驶感知全流程

自动驾驶技术的快速发展对感知算法提出了更高要求。BEVFusion作为多传感器融合的先进框架，通过统一的鸟瞰图表示实现了相机与激光雷达数据的高效融合。本文将带您从零开始，完成NuScenes数据集上的完整感知流程，涵盖数据准备、模型训练、测试评估到结果可视化的每个环节。

1. 环境准备与工具链搭建

构建BEVFusion开发环境需要精确匹配软件版本。以下是经过验证的配置方案：

conda create -n bevfusion python=3.8 -y conda activate bevfusion conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch

注意：CUDA 11.3与PyTorch 1.10.1的组合在NVIDIA 30系列显卡上表现最佳

关键依赖安装完成后，需要配置多进程训练支持：

wget https://download.open-mpi.org/release/open-mpi/v4.0/openmpi-4.0.4.tar.bz2 tar -xjf openmpi-4.0.4.tar.bz2 cd openmpi-4.0.4 ./configure --prefix=$HOME/openmpi-4.0.4 make -j8 && make install

将以下内容添加到~/.bashrc中实现环境变量自动加载：

export PATH=$HOME/openmpi-4.0.4/bin:$PATH export LD_LIBRARY_PATH=$HOME/openmpi-4.0.4/lib:$LD_LIBRARY_PATH

2. NuScenes数据集深度解析

NuScenes数据集包含1000个驾驶场景，每个场景约20秒时长，包含：

• 传感器数据：
  • 6个摄像头（前视/后视/侧视）
  • 1个32线激光雷达
  • 5个毫米波雷达
• 标注信息：
  • 23类物体3D边界框
  • 8类可行驶区域分割
  • 物体运动轨迹预测

数据集目录结构应组织为：

data/nuscenes ├── maps ├── samples ├── sweeps ├── v1.0-trainval ├── nuscenes_infos_train.pkl └── nuscenes_infos_val.pkl

数据预处理命令需要根据硬件配置调整：

python tools/create_data.py nuscenes \ --root-path ./data/nuscenes \ --out-dir ./data/nuscenes \ --extra-tag nuscenes \ --workers 16 # 根据CPU核心数调整

3. 多模态训练策略详解

BEVFusion支持三种训练模式，性能对比如下：

3.1 单卡训练配置

视觉分支训练示例：

CUDA_VISIBLE_DEVICES=0 python tools/train_single_gpu.py \ configs/nuscenes/det/centerhead/lssfpn/camera/256x704/swint/default.yaml \ --model.encoders.camera.backbone.init_cfg.checkpoint pretrained/swint-nuimages-pretrained.pth \ --run-dir output/camera

关键参数解析：

• --model.encoders.camera.backbone.init_cfg.checkpoint：指定预训练权重路径
• --run-dir：训练日志和模型保存目录
• --lr：学习率（默认2e-4）

3.2 多卡分布式训练

8卡训练配置：

torchpack dist-run -np 8 python tools/train.py \ configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml \ --model.encoders.camera.backbone.init_cfg.checkpoint pretrained/swint-nuimages-pretrained.pth \ --load_from pretrained/lidar-only-det.pth \ --run-dir output/bevfusion \ --batch_size_per_gpu 2 # 根据显存调整

提示：多卡训练时建议使用torchpack进行进程管理，比原生PyTorch分布式更稳定

4. 模型评估与可视化实战

4.1 定量评估

多模态模型测试命令：

python tools/test_single_gpu.py \ configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml \ output/bevfusion/latest.pth \ --eval bbox \ --show-dir output/visualization

评估指标说明：

• mAP：平均精度（0.5-1.0 IoU阈值）
• NDS：NuScenes检测分数（综合位置、尺寸、方向等）
• mATE：平均平移误差
• mASE：平均尺寸误差

4.2 预测结果可视化

生成鸟瞰图预测可视化：

python tools/visualize.py \ configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml \ --mode pred \ --checkpoint output/bevfusion/latest.pth \ --bbox-score 0.3 \ --out-dir output/bev_visual

可视化效果增强技巧：

1. 调整--bbox-score过滤低质量预测
2. 使用--show-range参数控制显示范围
3. 添加--save-video生成连续帧动画

5. 工程优化与性能调优

5.1 训练加速技巧

• 混合精度训练：

  # 在config文件中添加 fp16 = dict(loss_scale=512.)

• 数据加载优化：

  data = dict( workers_per_gpu=4, # 根据CPU核心数调整 samples_per_gpu=8, # 根据显存调整 )

5.2 模型轻量化方案

通过修改配置文件实现模型压缩：

model = dict( encoders=dict( camera=dict( backbone=dict( embed_dims=96, # 原为128 depths=[2, 2, 6, 2], # 原为[2,2,18,2] ) ) ) )

压缩后性能对比：

6. 实际部署注意事项

模型转换ONNX格式示例：

from mmdet3d.apis import init_model model = init_model('configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml', 'output/bevfusion/latest.pth') input_dict = {'img': torch.rand(1,6,3,256,704), 'points': [torch.rand(20000,5)]} torch.onnx.export(model, input_dict, 'bevfusion.onnx', input_names=['img', 'points'], output_names=['bboxes', 'scores'])

部署优化建议：

1. 使用TensorRT进行推理加速
2. 对相机图像进行离线预处理
3. 激光雷达点云使用体素化缓存