从零构建城市道路垃圾检测数据集：892张VOC格式数据实战指南

简介：目标检测是计算机视觉的核心任务之一，其原理是通过算法自动识别图像中特定物体的位置和类别。这项技术的价值在于能够将人力从重复性的视觉检查中解放出来，广泛应用于安防监控、自动驾驶、工业质检及智慧城市等场景。在智慧城市环卫领域，精准的道路垃圾检测是实现智能巡检的关键。本文聚焦于构建高质量、可直接用于YOLO模型训练的专用数据集，详细解析了从数据采集、清洗、标注规范制定，到VOC格式转换及YOLO适配的全流程。针对数据稀缺的细分场景，文章深入探讨了使用LabelImg工具进行高效标注、通过脚本实现VOC到YOLO格式的无损转换，以及利用数据增强和基线模型验证来提升数据集质量等工程实践，为构建垂直领域检测数据集提供了完整解决方案。

1. 项目概述：从零构建一个可用的城市道路垃圾检测数据集

做计算机视觉的朋友都知道，数据是模型的上限。最近在做一个关于城市环卫智能巡检的项目，核心需求就是让模型能自动识别出路面上的各类垃圾，比如塑料袋、饮料瓶、烟头、纸屑这些。市面上公开的通用目标检测数据集很多，但专门针对“城市道路垃圾”这个细分场景的，高质量、标注规范的还真不好找。要么类别不对，要么数据量太少，要么标注格式不统一。所以，自己动手，丰衣足食，就成了最靠谱的选择。

这个项目标题“数据集VOC格式城市道路垃圾检测数据集-892张可用yolo训练”，就精准地描述了我们最终要交付的成果：一个包含892张图像、采用PASCAL VOC格式进行标注、专门用于城市道路垃圾检测、并且可以直接用于YOLO系列模型训练的数据集。别看标题简单，里面蕴含了从数据采集、清洗、标注、格式转换到最终校验的一整套完整流程。今天，我就把这套流程的完整思路、实操细节以及踩过的坑，毫无保留地分享出来。无论你是刚入门的新手，还是想快速构建垂直领域数据集的老手，这篇内容都能给你提供一条清晰的路径和大量可复用的经验。

2. 核心需求解析与方案设计

2.1 为什么是“城市道路垃圾”和“892张”？

首先，明确场景边界至关重要。“城市道路”意味着我们的图像来源主要是城市街道、人行道、辅路等公共区域，不包括室内、工厂、乡村道路或高速公路。这决定了数据的采集环境（光照多变、背景复杂但相对规整）和目标尺度（中近距离，目标不会过小或过大）。“垃圾”则定义了我们的目标类别，需要进一步细分。我们初步定义了四类：plastic_bag（塑料袋）、bottle（瓶子）、cigarette_butt（烟头）、paper（纸屑）。类别不宜过多，在数据量有限的情况下，聚焦于最常见、最影响市容的几类，更容易让模型学得好。

至于“892张”这个数量，它不是一个随意数字，而是权衡了模型效果、标注成本和时间后的一个“起步甜点区”。对于YOLO这类现代检测模型，在单一场景下，每个类别有200-300个实例，模型就能学到不错的特征。892张图，平均每张图包含2-3个目标，总实例数大约在2000-2500个左右，分摊到4个类别，基本能满足初期训练和验证的需求。它保证了数据集不是“玩具级别”，同时又避免了初期投入过大。我们的目标是先做出一个“可用”的基线数据集，后续可以通过数据增强、主动学习或继续采集来扩充。

2.2 为什么选择PASCAL VOC格式？

数据标注格式有很多种，常见的有COCO JSON、PASCAL VOC XML、YOLO TXT等。选择VOC格式作为中间标注格式，是基于以下几个考量：

1. 工具兼容性极佳：市面上绝大多数标注工具，如LabelImg、CVAT、Roboflow等都原生支持导出VOC格式。这给了我们最大的工具选择灵活性。
2. 信息存储完整：VOC的XML文件结构清晰，包含了图像尺寸、通道数、每个目标的类别名和精确的边界框坐标（xmin, ymin, xmax, ymax）。这是一种“无损”的标注格式，便于后续任何形式的转换。
3. 作为转换枢纽：YOLO训练虽然需要特定的TXT格式，但从VOC格式转换到YOLO格式的脚本非常成熟且稳定。反之，从YOLO格式转回VOC或其他格式则可能丢失信息（如图像尺寸）。因此，将VOC作为源格式和归档格式是最稳妥的。

注意：千万不要直接用标注工具导出YOLO格式作为唯一存档。一旦需要调整图像尺寸或用于其他框架，没有XML源文件会非常麻烦。始终坚持“VOC XML为源，其他格式为衍生”的原则。

2.3 整体技术路线图

我们的目标是得到一组能直接用于yolov5、yolov8等框架训练的images（图像）和labels（TXT标注）文件夹。整体流程分为五个核心阶段：

1. 数据采集与初筛：获取原始图像，并进行初步的筛选和去重。
2. 数据标注与规范制定：使用标注工具进行精细标注，并统一标注标准。
3. 数据集划分与组织：按照机器学习标准，划分训练集、验证集和测试集。
4. 格式转换与配置文件生成：将VOC XML转换为YOLO TXT格式，并生成YOLO所需的data.yaml配置文件。
5. 数据增强与基线训练（可选但推荐）：应用增强策略，并使用YOLO进行一轮快速的基线训练，验证数据集质量。

下面，我们就深入每个阶段，看看具体怎么做，以及有哪些必须注意的细节。

3. 数据采集、清洗与标注规范实战

3.1 图像来源与采集技巧

我们的892张图像主要来自三个渠道，并各有优劣：

• 公开数据集爬取与筛选：从一些开源的数据集平台或论文附带数据中，寻找包含“street”、“trash”、“litter”等关键词的图像。例如，可以从TACO、Open Images等数据集中筛选出场景符合的图片。优点是速度快；缺点是场景可能不完全匹配，且需要仔细检查版权许可（必须选择允许商业和研究使用的，如CC BY 4.0）。
• 互联网合规爬取：使用搜索引擎的图片高级搜索功能，筛选“知识共享许可”或“允许商业使用”的图片，并搜索“street litter”、“garbage on sidewalk”等英文关键词，往往能获得质量较高的图像。务必严格遵守版权规定，这是红线。
• 自行拍摄：这是质量最高、最匹配的方式。使用手机或相机，在多个城市、不同时间段（早中晚、晴阴雨）、不同角度（俯拍、平拍）进行拍摄。关键技巧：拍摄时注意多样性，同一堆垃圾不要连续拍太多张；确保图像清晰、对焦准确；避免行人正面清晰人脸（涉及隐私，如无法避免需后期模糊处理）。

最终，我们混合使用了前两种方法，获得了约1200张原始图片，为后续清洗留出了余量。

3.2 数据清洗与去重

拿到原始图片后，不能直接标注，必须清洗：

1. 去除无效图片：删除完全模糊、过暗、过曝、严重失焦的图片。一个简单的自动化方法是使用OpenCV计算图像的拉普拉斯方差（图像模糊度），设定阈值进行初筛。

   import cv2 def is_blurry(image_path, threshold=100): image = cv2.imread(image_path) if image is None: return True gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) fm = cv2.Laplacian(gray, cv2.CV_64F).var() return fm < threshold

2. 近似去重：使用感知哈希（pHash）或结构相似性（SSIM）来识别和删除内容几乎相同的图片（比如连拍产生的系列图）。imagededup这个Python库非常好用。

   pip install imagededup

   from imagededup.methods import PHash hasher = PHash() encodings = hasher.encode_images(image_dir='raw_images') duplicates = hasher.find_duplicates(encoding_map=encodings) # 根据duplicates结果，手动或自动保留一份，删除其余

3. 统一预处理：将所有图像缩放到一个合理的尺寸范围内（如最长边不超过1333像素），以减轻标注和后续训练的压力。同时，统一转换为.jpg格式。

经过清洗，我们得到了约950张候选图像，从中最终精选出892张用于标注。

3.3 标注规范制定与工具使用

标注规范是数据集的灵魂，必须在开始前就达成一致：

• 边界框（Bounding Box）原则：
  • 紧密度：框体应紧紧包裹目标物体，边缘空隙尽量小。
  • 完整性：必须包含目标的全部可见部分。
  • 对于遮挡：只标注可见部分。如果遮挡超过50%，考虑舍弃该实例，或根据上下文谨慎标注。
  • 对于小目标：对于像烟头这类小目标，确保框体清晰。如果图像中像素小于10x10，可以考虑是否值得标注（取决于应用需求）。
• 类别定义：
  • plastic_bag: 各种颜色的塑料袋，包括半透明的。揉成一团的也算。
  • bottle: 塑料瓶、玻璃瓶、易拉罐。无论立着还是躺着。
  • cigarette_butt: 烟头。可能很小，需要仔细标注。
  • paper: 纸片、纸盒、纸箱碎片。湿的、脏的也算。
• 歧义处理：
  • 装有垃圾的塑料袋，按plastic_bag标注。
  • 压扁的易拉罐，按bottle标注（因为我们的“bottle”类别实际代表“瓶罐”类容器）。
  • 无法明确区分的垃圾团，如果不属于以上四类，则不标注。

我们选择LabelImg作为标注工具，因为它轻量、开源、支持VOC格式。操作流程是批量的：将892张图片放入一个文件夹，用LabelImg打开该文件夹，使用快捷键（W创建框，Ctrl+S保存）进行标注。每标注完一张，会自动生成同名的XML文件。

实操心得：标注过程中，建议2-3人轮换进行，并定期交叉检查（例如每人标注300张后，交换100张进行复核），能有效减少主观误差和疲劳导致的标注质量下降。标注进度管理可以用一个简单的表格来跟踪。

4. 数据集构建、格式转换与YOLO适配

4.1 数据集目录结构设计

一个清晰的结构是后续所有工作的基础。我们采用如下结构：

city_street_trash_892/ ├── annotations/ # 存放所有VOC格式的XML标注文件 │ ├── 000001.xml │ ├── 000002.xml │ └── ... ├── images/ # 存放所有图像文件 │ ├── 000001.jpg │ ├── 000002.jpg │ └── ... ├── ImageSets/ │ └── Main/ │ ├── train.txt # 记录训练集图片名（不含后缀） │ ├── val.txt # 记录验证集图片名 │ └── test.txt # 记录测试集图片名 └── labels/ # （后续生成）存放YOLO格式的TXT标注文件 ├── 000001.txt ├── 000002.txt └── ...

4.2 数据集划分策略

892张图片，我们按7:2:1的比例进行划分：

• 训练集（Train）: 约624张，用于模型参数学习。
• 验证集（Validation）: 约178张，用于训练过程中监控模型表现，调整超参数。
• 测试集（Test）: 约90张，用于最终评估模型的泛化能力，在整个训练过程中绝对不可见。

划分时务必使用随机分层抽样，确保每个类别在训练、验证、测试集中的分布比例大致相同。可以使用scikit-learn的train_test_split两次来实现。

import os import random from sklearn.model_selection import train_test_split # 获取所有图片文件名（不含后缀） all_images = [f.split('.')[0] for f in os.listdir('images') if f.endswith('.jpg')] # 假设我们有一个函数能根据图片名获取其包含的类别列表，这里简化处理 # 为了分层，我们需要知道每张图片的类别标签，这里用随机模拟一个多标签列表 # 实际应用中，你需要解析XML文件来获取每张图的真实类别 random.seed(42) # 固定随机种子，确保结果可复现 all_labels = [random.sample([0,1,2,3], k=random.randint(1,2)) for _ in all_images] # 模拟标签 # 第一次分割：分出训练+验证 和 测试集 train_val_names, test_names, train_val_labels, _ = train_test_split( all_images, all_labels, test_size=0.1, random_state=42, stratify=[str(l) for l in all_labels] ) # 第二次分割：从训练+验证集中分出验证集 train_names, val_names = train_test_split( train_val_names, test_size=0.2, random_state=42, stratify=[str(all_labels[all_images.index(name)]) for name in train_val_names] ) # 将划分结果写入到ImageSets/Main/下的txt文件中 def write_list_to_file(filepath, name_list): with open(filepath, 'w') as f: for name in name_list: f.write(name + '\n') write_list_to_file('ImageSets/Main/train.txt', train_names) write_list_to_file('ImageSets/Main/val.txt', val_names) write_list_to_file('ImageSets/Main/test.txt', test_names)

4.3 VOC转YOLO格式核心脚本

这是最关键的一步。YOLO需要的TXT文件格式为：<class_id> <x_center> <y_center> <width> <height>，其中坐标是相对于图像宽度和高度的归一化值（0到1之间）。

我们需要编写一个脚本，读取每个XML文件，进行转换。以下是核心转换函数：

import xml.etree.ElementTree as ET import os def convert_annotation(xml_file_path, output_txt_path, classes): """ 将单个VOC XML文件转换为YOLO格式的TXT文件。 """ tree = ET.parse(xml_file_path) root = tree.getroot() size = root.find('size') img_w = int(size.find('width').text) img_h = int(size.find('height').text) lines = [] for obj in root.iter('object'): cls_name = obj.find('name').text if cls_name not in classes: continue # 跳过不在我们类别列表中的目标 cls_id = classes.index(cls_name) xmlbox = obj.find('bndbox') xmin = float(xmlbox.find('xmin').text) ymin = float(xmlbox.find('ymin').text) xmax = float(xmlbox.find('xmax').text) ymax = float(xmlbox.find('ymax').text) # 检查边界框是否有效 if xmax <= xmin or ymax <= ymin: print(f"Warning: Invalid bbox in {xml_file_path}, skipped.") continue if xmin < 0 or ymin < 0 or xmax > img_w or ymax > img_h: print(f"Warning: Bbox out of image boundary in {xml_file_path}, clipped.") xmin = max(0, xmin) ymin = max(0, ymin) xmax = min(img_w, xmax) ymax = min(img_h, ymax) # 计算归一化中心坐标和宽高 x_center = (xmin + xmax) / 2.0 / img_w y_center = (ymin + ymax) / 2.0 / img_h width = (xmax - xmin) / img_w height = (ymax - ymin) / img_h # 确保坐标在0-1之间 x_center = max(0.0, min(1.0, x_center)) y_center = max(0.0, min(1.0, y_center)) width = max(0.0, min(1.0, width)) height = max(0.0, min(1.0, height)) lines.append(f"{cls_id} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}") # 写入TXT文件，如果该图片没有目标，则写入一个空文件 with open(output_txt_path, 'w') as f: f.write('\n'.join(lines)) # 定义类别列表，顺序非常重要！必须与后续data.yaml中的names顺序一致。 classes = ["plastic_bag", "bottle", "cigarette_butt", "paper"] # 遍历所有XML文件进行转换 annotations_dir = 'annotations' labels_dir = 'labels' os.makedirs(labels_dir, exist_ok=True) for xml_file in os.listdir(annotations_dir): if xml_file.endswith('.xml'): xml_path = os.path.join(annotations_dir, xml_file) txt_filename = os.path.splitext(xml_file)[0] + '.txt' txt_path = os.path.join(labels_dir, txt_filename) convert_annotation(xml_path, txt_path, classes)

4.4 生成YOLO配置文件data.yaml

YOLO（以YOLOv5/v8为例）需要一个data.yaml文件来指明数据路径和类别信息。这个文件通常放在项目根目录。

# data/city_street_trash.yaml path: /path/to/your/city_street_trash_892 # 数据集的根目录绝对路径 train: images/train # 训练集图像路径（相对于path） val: images/val # 验证集图像路径（相对于path） test: images/test # 测试集图像路径（相对于path） # 类别数量 nc: 4 # 类别名称列表，顺序必须与转换脚本中的classes列表完全一致！ names: ['plastic_bag', 'bottle', 'cigarette_butt', 'paper']

关键点：这里的train、val、test路径指向的是图像文件夹。YOLO会自动在对应的labels文件夹（与images同级）中寻找同名的TXT文件。因此，你需要根据之前的划分，将images/文件夹下的图片分别复制或移动到images/train/,images/val/,images/test/子文件夹中。labels/文件夹下的TXT文件结构也应与此保持一致。

5. 数据质量校验与基线模型验证

5.1 标注一致性检查

在转换完成后，必须进行可视化检查，确保转换无误。

1. 随机抽样检查：写一个简单的脚本，随机选择若干张图片，用OpenCV或matplotlib将YOLO格式的标注框画回原图上看。

   import cv2 import random import os def plot_yolo_bbox(img_path, label_path, classes): img = cv2.imread(img_path) h, w, _ = img.shape with open(label_path, 'r') as f: lines = f.readlines() for line in lines: cls_id, xc, yc, bw, bh = map(float, line.strip().split()) # 将归一化坐标转回像素坐标 x1 = int((xc - bw/2) * w) y1 = int((yc - bh/2) * h) x2 = int((xc + bw/2) * w) y2 = int((yc + bh/2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img, classes[int(cls_id)], (x1, y1-5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) cv2.imshow('Check', img) cv2.waitKey(0) cv2.destroyAllWindows() # 随机检查几张 image_dir = 'images/train' label_dir = 'labels/train' img_files = os.listdir(image_dir) for _ in range(5): img_name = random.choice(img_files) img_path = os.path.join(image_dir, img_name) label_path = os.path.join(label_dir, os.path.splitext(img_name)[0] + '.txt') if os.path.exists(label_path): plot_yolo_bbox(img_path, label_path, classes)

2. 统计信息检查：统计每个类别的实例数、每张图片的平均目标数、目标尺寸分布等。这能帮你发现数据集的潜在偏差。例如，如果cigarette_butt的实例数远少于其他类别，就需要考虑是否采集不足或标注困难。

5.2 运行YOLOv8基线训练验证

最直接的验证方式就是跑一个简单的训练，看模型能否正常收敛，并在验证集上获得合理的指标。

# 假设你已安装ultralytics库 pip install ultralytics # 使用YOLOv8n（最小的模型）进行快速训练，验证数据管道 yolo task=detect mode=train model=yolov8n.pt data=/path/to/city_street_trash.yaml epochs=50 imgsz=640 batch=16

关注以下几点：

• 训练日志：观察训练损失（train/box_loss,train/cls_loss）是否平稳下降。
• 验证指标：重点关注metrics/mAP50-95(B)，这是综合衡量检测精度的重要指标。对于892张图的小数据集，初始训练（50轮）的mAP50能达到0.4~0.6就是一个不错的起点，说明数据集基本可用。
• 可视化预测：训练结束后，用验证集图片进行预测，直观查看检测效果。如果发现某一类别完全检测不到，或者误检非常多，可能需要回溯检查该类别的标注质量或数据量。

# 使用训练好的最佳模型在验证集上预测并保存结果 yolo task=detect mode=predict model=runs/detect/train/weights/best.pt source=images/val save=True

6. 常见问题、避坑指南与优化建议

6.1 标注阶段常见问题

• 问题：边界框标注不精确，有空隙或超出物体。
  • 后果：模型学习到的物体特征包含过多背景噪声，或丢失部分物体特征，影响定位精度。
  • 解决：放大图像进行精细标注；制定明确的标注规范并加强审核；使用标注工具的“吸附到像素边缘”功能（如果有）。
• 问题：类别标注错误或混淆。
  • 后果：导致模型类别识别混乱，特别是对于相似类别（如“纸盒” vs “塑料盒”，但我们这里未定义塑料盒）。
  • 解决：制作清晰的类别示例图（正例和反例），供所有标注人员参考；定期进行一致性测试。
• 问题：小目标（如烟头）漏标。
  • 后果：模型对该类别的召回率（Recall）会非常低。
  • 解决：标注时滚动鼠标放大查看；可以设定一个最小像素面积（如20像素），低于此面积的酌情考虑是否标注（根据业务需求）。

6.2 格式转换与训练阶段问题

• 问题：YOLO训练时提示“Labels missing”或“No labels found”。
  • 排查：
    1. 检查data.yaml中的path是否为绝对路径？相对路径有时因工作目录问题出错。
    2. 检查images/train和labels/train文件夹下的文件是否一一对应？文件名（不含后缀）必须完全相同。
    3. 检查labels/train下的TXT文件是否可能为空？空文件是允许的（表示该图无目标），但需要确认是否预期内。
    4. 检查TXT文件内的类别ID是否从0开始连续，且小于nc（类别数）？例如4个类别，ID必须是0，1，2，3。
• 问题：训练损失震荡不降，或mAP极低。
  • 排查：
    1. 数据问题：首先怀疑数据集。用第5.1节的脚本大量可视化检查，看标注框是否离谱。
    2. 类别不平衡：查看数据集统计信息。如果某个类别实例数极少（比如少于30个），模型很难学习。可以考虑图像级或实例级的过采样（复制），或使用focal loss等损失函数。
    3. 超参数问题：对于小数据集，学习率lr0不宜过大，可以尝试从0.01降低到0.001。imgsz（图像尺寸）也可以尝试调小（如640->320），以减少计算量，让模型在小数据上更容易拟合。
    4. 模型问题：对于只有892张图的数据集，使用过大的模型（如yolov8x）极易过拟合。从yolov8n或yolov8s开始是最稳妥的。

6.3 数据集优化与后续迭代建议

1. 数据增强（Data Augmentation）：这是提升小数据集性能的利器。YOLO内置了强大的增强功能，如Mosaic、MixUp、随机旋转、裁剪、色彩抖动等。在data.yaml中或训练命令里可以调整相关参数。对于垃圾检测，可以考虑增加模拟遮挡、模糊、雨雪等天气效果的增强，提升模型鲁棒性。
2. 难例挖掘（Hard Example Mining）：在第一次基线训练后，用模型在训练集上跑一遍预测，找出那些模型预测错误（漏检、误检、分类错）的图片。重点分析这些“难例”，是标注有问题？还是场景太特殊？针对性地补充类似的数据或修正标注，能高效提升模型性能。
3. 主动学习（Active Learning）：如果还有未标注的数据，可以用当前训练好的模型去预测，筛选出模型最“不确定”的图片（例如预测概率处于中间阈值的）进行人工标注，然后加入训练集重新训练。这样可以用最少的标注成本获得最大的性能提升。
4. 类别粒度调整：根据基线模型的表现和实际业务反馈，可能需要对类别进行合并或拆分。例如，如果bottle（瓶罐）类中，模型总是分不清塑料瓶和易拉罐，而业务又需要区分，就可以考虑拆分成两个子类。反之，如果plastic_bag和paper经常混淆且业务不需要区分，可以考虑合并。

构建一个高质量的定制数据集是一项需要耐心和细致的工作，但它的回报是巨大的。一个干净、规范、匹配业务的数据集，是任何优秀AI模型的基石。通过这892张城市道路垃圾数据集的构建过程，我们不仅得到了一份可用的数据资产，更关键的是跑通了一套从需求定义到最终验证的标准化流程。下次当你面临新的检测任务时，这套方法论可以直接复用。记住，在数据上投入的时间，最终都会在模型性能上体现出来。

本文还有配套的精品资源，点击获取