Scannet V2 三维数据集：从协议申请到脚本下载的避坑实践

1. Scannet V2数据集简介与下载背景

Scannet V2是目前三维视觉领域最具影响力的公开数据集之一，由德国慕尼黑工业大学团队于2017年发布。这个数据集包含了1500多个真实室内场景的完整三维扫描数据，每个场景都配有RGB-D视频序列、相机位姿、语义分割标注等丰富信息。对于从事三维重建、语义分割、目标检测等领域的研究者来说，这个数据集就像是一个宝藏库。

我第一次接触这个数据集是在复现一篇关于三维实例分割的论文时。按照官方流程，本需要先签署使用协议，然后等待邮件回复才能获取下载权限。但科研进度不等人，我找到了社区开发者分享的Python下载脚本。实测发现，这个脚本虽然能绕过官方申请流程直接下载数据，但在Python2.7环境下会遇到各种"坑"，特别是中文编码和网络交互问题。下面我就把这些实战经验分享给大家。

2. 环境准备与脚本获取

2.1 基础环境配置

推荐使用Ubuntu 20.04系统，虽然原始脚本支持Python2.7和Python3.x，但考虑到兼容性，我建议使用Python2.7环境。可以通过以下命令快速配置：

sudo apt-get update sudo apt-get install python2.7 python-pip pip install urllib3 requests

2.2 下载脚本获取

官方提供的下载脚本通常需要通过邮件获取，但我们可以从开源社区找到可用的版本。我使用的脚本来自CSDN技术博客，这个版本经过社区验证相对稳定。将脚本保存为download_scannetv2.py，记得给执行权限：

chmod +x download_scannetv2.py

3. Python2.7环境下的问题修复

3.1 中文编码问题处理

Python2.7默认使用ASCII编码，当脚本中包含中文注释或输出时，会报错SyntaxError: Non-ASCII character。解决方法是在脚本开头添加编码声明：

# -*- coding: utf-8 -*- from imp import reload import sys reload(sys) sys.setdefaultencoding('utf8')

注意编码声明必须放在文件第一行，且coding:后面不能有空格。这个细节坑了我半小时——在Windows上位置要求不严格，但在Ubuntu必须严格首位。

3.2 网络请求模块适配

原脚本使用了Python3的urllib.request，需要修改为Python2.7的urllib：

# 原代码 # import urllib.request (for python3) # 修改为 import urllib #(for python2.7) # 对应的urlopen调用也要修改 # scan_lines = urllib.request.urlopen(release_file) → scan_lines = urllib.urlopen(release_file)

3.3 交互式提示处理

脚本运行时会提示"Press any key to continue"，这里有个平台差异：

• Windows：无需操作会自动继续
• Ubuntu：必须输入数字+回车（直接回车会报错）

这个设计可能是为了防止无人值守下载，建议在服务器运行时添加-y参数跳过交互（如果有的话）。

4. 实战下载流程详解

4.1 单场景下载命令

下载单个场景的完整数据（约1.5GB）：

python download_scannetv2.py -o /data/scannet --id scene0568_00

如果想只下载特定类型文件（如仅需3D点云）：

python download_scannetv2.py -o /data/scannet --type _vh_clean_2.ply

4.2 批量下载技巧

虽然脚本支持全量下载，但不建议直接操作（数据总量约1.2TB）。更合理的做法是：

1. 先下载扫描ID列表文件
2. 根据需要筛选特定场景
3. 使用xargs并行下载：

curl http://kaldir.vc.in.tum.de/scannet/v2/scans.txt > scan_ids.txt cat scan_ids.txt | head -n 10 | xargs -I {} python download_scannetv2.py -o /data/scannet --id {}

4.3 断点续传方案

当网络不稳定出现Temporary failure in name resolution错误时：

1. 直接重新运行命令，脚本会自动跳过已下载文件
2. 如需强制重试，先删除对应的.tmp临时文件
3. 对大文件建议使用wget预先下载：

wget -c http://kaldir.vc.in.tum.de/scannet/v2/scans/scene0568_00/scene0568_00.sens

5. 数据验证与目录结构

5.1 标准目录结构

成功下载后的目录应如下组织：

scannet/ ├── scans/ │ ├── scene0000_00/ │ │ ├── scene0000_00.aggregation.json │ │ ├── scene0000_00.sens │ │ ├── scene0000_00.txt │ │ ├── scene0000_00_vh_clean.ply │ │ ├── scene0000_00_vh_clean_2.ply ├── scans_test/ │ ├── scene0707_00/ │ │ ├── scene0707_00_vh_clean_2.ply └── scannetv2-labels.combined.tsv

5.2 数据完整性检查

重点检查三类文件：

1. .sens：RGB-D传感器数据（约1GB/场景）
2. _vh_clean_2.ply：去噪后的三维网格
3. .aggregation.json：实例标注信息

可以使用CloudCompare查看.ply文件，确认点云质量：

sudo apt-get install cloudcompare cloudcompare scannet/scans/scene0568_00/scene0568_00_vh_clean_2.ply

6. 常见问题解决方案

6.1 网络连接超时

当出现socket.timeout错误时，可以：

1. 设置更长的超时时间（修改脚本中的urlopen参数）
2. 使用国内镜像源（如果有）
3. 分时段尝试下载（欧洲白天时段速度较快）

6.2 磁盘空间不足

建议下载前：

1. 使用df -h确认磁盘空间
2. 单个场景需要1.5-2GB空间
3. 可以使用--type参数选择性下载必要文件

6.3 文件校验失败

有时下载的文件可能损坏，建议：

1. 检查文件大小是否与官网标注一致
2. 使用md5校验（如果有提供校验码）
3. 重新下载问题文件

7. 进阶使用建议

7.1 数据预处理技巧

原始.sens文件可以使用官方提供的SensReader工具解析：

from sens_reader import SensReader reader = SensReader('scene0568_00.sens') reader.export_color_images('./output/color') reader.export_depth_images('./output/depth')

7.2 与其他工具集成

Scannet数据可以方便地转换为其他格式：

• 转COCO格式：使用scannet2coco.py脚本
• 转KITTI格式：使用scannet2kitti工具
• 导入Blender：通过PLY导入插件

7.3 性能优化

处理大规模数据时建议：

1. 使用多进程并行处理
2. 将数据加载到内存磁盘（tmpfs）
3. 使用numpy.memmap处理大文件

我在实际项目中发现，将PLY文件转换为HDF5格式后，加载速度可以提升3-5倍。具体实现可以参考：

import h5py import numpy as np from plyfile import PlyData plydata = PlyData.read('scene0568_00_vh_clean_2.ply') vertex = plydata['vertex'] with h5py.File('scene0568_00.h5', 'w') as f: f.create_dataset('points', data=np.vstack([vertex['x'], vertex['y'], vertex['z']]).T) f.create_dataset('colors', data=np.vstack([vertex['red'], vertex['green'], vertex['blue']]).T)