Python 爬虫数据处理：parquet 列式存储优化爬虫大数据查询效率

前言

爬虫工程落地过程中，海量网页结构化数据存储选型直接决定后期数据分析、条件筛选、数据回溯的执行耗时，传统 CSV、JSON 行式文件在千万级爬虫数据体量下存在磁盘占用过高、字段筛选全量扫描、IO 读写低效等硬性缺陷，Parquet 作为开源列式存储规范，依托列存储架构、压缩编码、分区索引特性成为爬虫海量离线数据落地的主流方案。本文依托 Python 爬虫工程真实落地场景，从依赖环境部署、爬虫数据入库逻辑、压缩参数调优、分区存储落地、多引擎查询性能对照五个维度展开实操，整合 pandas、pyarrow、fastparquet 三类主流 Python 读写组件，完成从网页实时抓取到 Parquet 落地存储全链路代码落地。

项目依赖库官方下载超链接

pandas 官方文档及 pip 安装指引 pyarrow 官方开源仓库与安装说明 fastparquet 官方 PyPI 及源码地址 requests 爬虫请求库官方文档 beautifulsoup4 网页解析依赖官网

一、Parquet 列式存储与传统行式存储底层原理差异

1.1 行存储架构数据存储逻辑（CSV/JSON）

行式存储以单条完整数据行为最小存储单元，一条爬虫采集数据包含爬虫任务 ID、抓取时间、标题、详情正文、来源 URL、标签、发布时间、抓取状态等十余字段，存储时整行所有字段数据连续写入磁盘扇区。当业务需求仅需要筛选爬虫数据内「标题 + 来源 URL」两个字段做站点来源统计时，程序需要读取磁盘内全部行数据，逐行解析所有字段后剔除无用字段完成数据过滤，千万级数据集场景下磁盘随机 IO 次数随数据量线性增长，这也是爬虫存量数据做定向字段查询时 CSV 文件读取耗时居高不下的核心诱因。 以爬虫单条样本数据举例：

表格

行存储磁盘排布顺序：10001,2026-01-01, 产品资讯一，大段正文内容，xxx.com, 资讯，success，单条数据全部字段连续存储。

1.2 Parquet 列式存储架构数据存储逻辑

列式存储打破行数据连续存储规则，将数据表同一列全部数据聚合为独立存储块，上述爬虫数据表会拆分出任务 ID 列存储块、抓取时间列存储块、标题列存储块等独立文件区块。执行定向字段筛选时，程序仅读取目标字段对应的磁盘存储块，其余非需求字段数据完全跳过磁盘读取操作，从物理存储层面缩减 IO 读取量。 沿用上方数据表字段拆分规则，Parquet 磁盘存储划分如下： 任务 id 列区块：10001、10002、10003…… 全量 ID 数据 crawl_time 列区块：2026-01-01、2026-01-02…… 全量采集时间数据 content 正文列区块：所有正文文本聚合存储 该存储结构天然适配爬虫高频业务场景：站点来源统计、爬虫成功率统计、按日期筛选采集数据，此类场景均只用到数据表小部分字段。

1.3 压缩编码机制对比表格

Parquet 内置多套字段适配型压缩算法，不同于 CSV 全局单一压缩规则，不同数据类型字段可单独配置压缩编码，下表为爬虫常用字段适配压缩方案与压缩率实测数据，测试数据源为单批次 50 万条电商资讯爬虫原始数据：

表格

表格实测环境：CPU i5-12400、NVMe 固态硬盘、Python3.9 运行环境，查询操作为筛选 success 状态数据并提取 source_url、title 字段。 snappy 算法兼顾压缩速率与压缩比例，是爬虫实时落盘场景默认选型；gzip、brotli 压缩比更高但编码解码耗时增加，适合爬虫离线归档冷数据存储。

1.4 Parquet 核心附加优化特性详解

第一，Schema 固化机制：Parquet 文件头部固化数据表字段名称、字段数据类型，爬虫迭代过程中新增采集字段时可基于 Schema 兼容拓展，不会出现 CSV 无固定表头、字段错位导致的数据解析异常问题，规避爬虫迭代改版后历史存量数据读取错乱风险； 第二，行组与页分级索引：Parquet 文件内部划分为多个行组，单个行组存储数万至数十万条爬虫数据，行组内部再次拆分数据页并写入统计索引，筛选条件命中索引区间时直接跳过整行组数据，进一步压缩数据扫描范围； 第三，分区存储拓展：可依托爬虫采集日期、站点域名、爬虫任务编号作为分区字段，物理路径分层存储 Parquet 文件，按日期回溯某日爬虫数据时直接定位对应分区目录，无需扫描全量数据文件。

二、爬虫环境基础部署与依赖安装实操

2.1 全局依赖批量安装指令

Python 爬虫环境优先使用 pip 包管理器完成组件安装，区分 pyarrow 与 fastparquet 两套底层引擎，二者为 Python 读写 Parquet 两大技术路线，pyarrow 生态兼容性更强，适配大数据 Spark、Dask 联动；fastparquet 轻量化，单机小集群爬虫项目资源占用更低。

bash

运行

# 一次性安装爬虫+parquet全量依赖 pip install requests beautifulsoup4 pandas pyarrow fastparquet -i https://pypi.tuna.tsinghua.edu.cn/simple

代码原理：使用清华镜像源加速国内 pip 下载速率，requests 负责目标站点 http 请求抓取网页源码，bs4 实现网页 DOM 节点解析提取结构化爬虫字段，pandas 作为中间数据容器承接爬虫列表数据，pyarrow/fastparquet 分别提供两套 Parquet 文件 IO 底层实现，二者 API 接口高度统一，仅需修改引擎参数即可无缝切换。

2.2 环境可用性校验代码

部署完成后执行环境校验代码，确认各依赖库版本与 IO 读写可用性，规避后续爬虫落盘出现底层驱动异常：

python

运行

import pandas as pd import pyarrow as pa import fastparquet as fp import requests print("pandas版本:",pd.__version__) print("pyarrow版本:",pa.__version__) print("fastparquet版本:",fp.__version__) # 简易空df落地测试 test_df = pd.DataFrame({"id":[1,2,3],"name":["test1","test2","test3"]}) # pyarrow引擎写入 test_df.to_parquet("test_pyarrow.parquet",engine="pyarrow",compression="snappy") # fastparquet引擎写入 test_df.to_parquet("test_fast.parquet",engine="fastparquet",compression="snappy") # 读取校验 df1 = pd.read_parquet("test_pyarrow.parquet",engine="pyarrow") df2 = pd.read_parquet("test_fast.parquet",engine="fastparquet") print("pyarrow读取校验：",df1.equals(test_df)) print("fastparquet读取校验：",df2.equals(test_df))

代码原理：先打印各组件版本用于环境排查，构造小型测试 DataFrame 分别使用双引擎生成 Parquet 测试文件，再次读取后对比原始数据，返回布尔值 True 即代表环境读写链路正常；compression 参数指定列压缩算法，全局生效于所有字段列，是 Parquet 压缩配置入口。

三、单任务爬虫抓取 + 单文件 Parquet 落地实战代码

3.1 通用资讯站点爬虫采集逻辑实现

本章节模拟通用资讯列表页爬虫，抓取字段包含 crawl_id (自增任务编号)、crawl_datetime (采集时间)、article_title (资讯标题)、article_content (正文摘要)、source_domain (站点域名)、origin_url (详情源链接)、crawl_status (抓取状态)，抓取完成后使用 pandas 聚合数据，直接落地为单文件 Parquet，适配单日小体量爬虫任务落地场景。

python

运行

import requests from bs4 import BeautifulSoup import pandas as pd from datetime import datetime import random # 全局请求头配置，模拟浏览器UA规避基础反爬 HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36", "Referer": "https://www.example.com/" } def crawl_article_list(target_url:str)->list: """爬虫列表页数据抓取，返回结构化字典列表""" result_list = [] try: resp = requests.get(url=target_url,headers=HEADERS,timeout=10) resp.raise_for_status() # 捕获4xx/5xx异常状态码 resp.encoding = resp.apparent_encoding soup = BeautifulSoup(resp.text,"html.parser") # 模拟DOM解析规则，实际项目替换站点对应css选择器 article_items = soup.find_all("div",class_="article-item") crawl_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S") domain = target_url.split("/")[2] for idx,item in enumerate(article_items): temp_dict = {} temp_dict["crawl_id"] = int(f"{random.randint(10000,99999)}{idx}") temp_dict["crawl_datetime"] = crawl_time # 字段容错处理，节点不存在赋值空字符串 title_tag = item.find("h3",class_="title") temp_dict["article_title"] = title_tag.get_text(strip=True) if title_tag else "" content_tag = item.find("p",class_="desc") temp_dict["article_content"] = content_tag.get_text(strip=True) if content_tag else "" url_tag = item.find("a") temp_dict["origin_url"] = url_tag["href"] if url_tag and url_tag.get("href") else "" temp_dict["source_domain"] = domain temp_dict["crawl_status"] = "success" result_list.append(temp_dict) except Exception as e: print(f"抓取异常:{str(e)}") return result_list def save_to_single_parquet(data_list:list,save_path:str,compress:str="snappy",engine:str="pyarrow"): """爬虫列表数据落地单parquet文件""" if not data_list: print("无有效爬虫数据，跳过存储") return df = pd.DataFrame(data_list) df.to_parquet( path=save_path, engine=engine, compression=compress, index=False # 不写入pandas默认索引列，减少无效字段存储 ) print(f"数据已落地至:{save_path},共{len(df)}条采集数据") return df if __name__ == "__main__": # 模拟目标爬虫链接，实战替换真实业务URL crawl_url = "https://www.example.com/news/list" crawl_data = crawl_article_list(crawl_url) # 按日期命名存储文件 save_file = f"./crawl_data_{datetime.now().strftime('%Y%m%d')}.parquet" df_result = save_to_single_parquet(crawl_data,save_file,compress="snappy",engine="pyarrow") # 读取parquet校验数据 read_df = pd.read_parquet(save_file,engine="pyarrow") print("落地校验行数：",len(read_df))

代码原理分层解析：

1. 请求层：HEADERS 配置 UA 头绕过站点基础 UA 拦截，requests.get 设置超时时间避免爬虫长时间阻塞，raise_for_status 主动抛出 http 错误码，便于异常捕获统计爬虫失败数据；
2. 解析层：BeautifulSoup 使用 html.parser 内置解析器，对 DOM 节点做判空容错，规避页面节点改版缺失导致程序直接崩溃，所有缺失节点字段统一填充空字符串，保证 DataFrame 字段对齐；
3. 存储层：字典列表直接转为 pandas DataFrame，to_parquet 为 pandas 封装的统一写入接口，底层交由指定 pyarrow/fastparquet 引擎处理列式分块、字段压缩；index=False 剔除 pandas 自动生成的行索引，该索引无业务意义，写入磁盘会额外占用存储空间；
4. 文件命名规则依托采集日期，便于人工区分每日爬虫单批次落地文件。

3.2 落地 Parquet 后定向字段查询性能演示代码

该段代码对比同量数据下 CSV 与 Parquet 筛选指定字段的耗时差异，直观体现列式存储查询优化效果，基于上一步爬虫生成的文件拓展：

python

运行

import time # 1. parquet定向字段读取查询 start_pq = time.time() pq_df = pd.read_parquet("./crawl_data_20260605.parquet",columns=["article_title","source_domain","crawl_status"],engine="pyarrow") cost_pq = round(time.time()-start_pq,4) # 2. 导出同数据为csv做对照 pq_df.to_csv("./crawl_data_20260605.csv",index=False,encoding="utf-8-sig") start_csv = time.time() csv_df = pd.read_csv("./crawl_data_20260605.csv",usecols=["article_title","source_domain","crawl_status"]) cost_csv = round(time.time()-start_csv,4) print(f"Parquet定向字段读取耗时：{cost_pq}s") print(f"CSV定向字段读取耗时：{cost_csv}s") print(f"Parquet较CSV提速倍数：{round(cost_csv/cost_pq,2)}倍")

代码原理：columns 参数是 Parquet 性能优化核心入参，pandas 读取时仅加载列表内指定字段的磁盘存储块，剩余正文等大体积字段完全跳过 IO；CSV 的 usecols 虽可指定读取列，但底层仍需要全量读取磁盘文件后内存过滤无用字段，磁盘 IO 开销无法缩减，数据量级越大二者耗时差距越明显。

四、爬虫分区式 Parquet 分层存储落地（千万级爬虫核心优化方案）

4.1 分区存储业务适用场景说明

单日爬虫数据突破百万行、多站点分布式爬虫集群采集场景下，全部数据写入单个 Parquet 文件会出现单文件体积过大、单任务读写内存占用飙升问题，Parquet 依托目录分区实现物理分文件存储，爬虫工程最常用按采集日期 + 站点域名双维度分区，最终目录结构示例：

plaintext

crawl_partition_data/ crawl_datetime=2026-06-05/ source_domain=example.com/ part_01.parquet part_02.parquet source_domain=demo.news.com/ part_01.parquet crawl_datetime=2026-06-04/ source_domain=example.com/

分区字段不会写入 Parquet 文件内部，而是以目录名称作为元数据，筛选 2026-06-05 日example.com站点爬虫数据时，程序直接定位对应两级分区目录，跳过其余全量历史文件，从路径层级实现数据过滤。

4.2 多分区爬虫数据落地完整代码

采用 pandas+pyarrow 实现分区写入，借助 pyarrow 数据集 API 完成自动目录分层，适配批量多批次爬虫数据合并落地：

python

运行

import os import pandas as pd from datetime import datetime import requests from bs4 import BeautifulSoup HEADERS = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/118.0.0.0 Safari/537.36" } def batch_multi_site_crawl(url_list:list)->pd.DataFrame: """多站点批量爬虫，汇总全量数据返回df""" all_data = [] crawl_date = datetime.now().strftime("%Y-%m-%d") for url in url_list: try: resp = requests.get(url,headers=HEADERS,timeout=8) soup = BeautifulSoup(resp.text,"html.parser") domain = url.split("/")[2] items = soup.find_all("div",class_="article-item") for idx,item in enumerate(items): row = { "crawl_id":int(f"{datetime.now().timestamp():.0f}{idx}"), "article_title":item.find("h3").get_text(strip=True) if item.find("h3") else "", "article_content":item.find("p").get_text(strip=True) if item.find("p") else "", "origin_url":item.find("a")["href"] if item.find("a") else "", "crawl_datetime":crawl_date, # 分区字段1：采集日期 "source_domain":domain, # 分区字段2：站点域名 "crawl_status":"success" } all_data.append(row) except Exception as e: print(f"{url}抓取异常:{e}") return pd.DataFrame(all_data) def save_partition_parquet(df:pd.DataFrame,root_path:str="./crawl_partition_data",partition_cols:list=["crawl_datetime","source_domain"]): """基于指定字段自动分区落地parquet""" if df.empty: return df.to_parquet( path=root_path, engine="pyarrow", compression="snappy", partition_cols=partition_cols, index=False ) print(f"分区数据落地完成，分区根目录：{root_path}") if __name__ == "__main__": # 模拟多爬虫站点链接列表 target_urls = [ "https://www.example.com/news/list", "https://demo.news.com/info/page1", "https://test.tech.com/article" ] crawl_df = batch_multi_site_crawl(target_urls) save_partition_parquet(crawl_df)

代码原理：

1. partition_cols 为分区配置参数，pandas 内部依托 pyarrow Dataset 组件自动按照字段取值创建层级目录，同一日期、同一域名的数据会聚合至同一个子目录下拆分多个 parquet 分片文件；
2. crawl_datetime、source_domain 作为分区元数据存储在目录名，不再重复写入 parquet 内部字段，节省列式存储空间；
3. 多站点爬虫循环抓取，全量数据汇总为单 DataFrame 后一次性分区落盘，相比逐个站点生成独立文件，减少大量零散小文件产生，小文件过多会造成元数据检索开销上升。

4.3 分区数据条件筛选读取代码

分区存储的核心优势体现在条件查询，通过过滤分区实现大范围数据裁剪，代码演示按日期 + 域名筛选数据：

python

运行

import pandas as pd # 筛选指定日期+指定域名数据，pyarrow自动跳过不匹配分区目录 filter_df = pd.read_parquet( path="./crawl_partition_data", engine="pyarrow", filters=[ ("crawl_datetime","==","2026-06-05"), ("source_domain","==","www.example.com") ], columns=["article_title","origin_url","crawl_status"] ) print("筛选后数据条数：",len(filter_df)) # 全分区读取（不使用分区过滤，全量扫描） all_df = pd.read_parquet("./crawl_partition_data",engine="pyarrow") print("全分区总数据量：",len(all_df))

代码原理：filters 参数是分区过滤入口，pyarrow 读取前先遍历分区目录元数据，仅打开满足过滤条件的分区目录下的 parquet 文件，不匹配条件的目录整体跳过，千万级历史爬虫数据中筛选单日单站点数据时，磁盘扫描范围压缩至原数据体量的数百分之一；columns 配合 filters 实现双层优化：分区层筛目录、列式层筛字段，是爬虫大数据查询最优组合用法。

五、Parquet 字段级压缩精细化调优（爬虫大文本字段专项优化）

爬虫数据中 article_content 正文字段普遍为超长文本，标题、ID、状态字段为短字符串 / 数值类型，不同字段数据特征差异极大，全局统一 snappy 压缩无法最大化存储优化空间，pyarrow 支持自定义 Schema，对单列单独配置压缩编码，正文大文本使用 gzip 高压缩，短字段使用 snappy 兼顾速度，是爬虫冷数据归档关键调优手段。

5.1 自定义字段压缩落地代码

python

运行

import pandas as pd import pyarrow as pa from pyarrow.parquet import ParquetWriter from datetime import datetime # 1. 定义表结构，为不同字段单独指定压缩算法 def build_custom_parquet_schema()->pa.Schema: field_list = [ pa.field("crawl_id",pa.int64(),compression="snappy"), pa.field("crawl_datetime",pa.string(),compression="snappy"), pa.field("article_title",pa.string(),compression="snappy"), # 正文大文本单独启用gzip高压缩 pa.field("article_content",pa.string(),compression="gzip"), pa.field("origin_url",pa.string(),compression="snappy"), pa.field("source_domain",pa.string(),compression="snappy"), pa.field("crawl_status",pa.string(),compression="snappy") ] schema = pa.schema(field_list) return schema def save_custom_compress_pq(df:pd.DataFrame,save_path:str): custom_schema = build_custom_parquet_schema() table = pa.Table.from_pandas(df,schema=custom_schema) with ParquetWriter(save_path,custom_schema,use_dictionary=True) as writer: writer.write_table(table) print(f"字段差异化压缩文件落地：{save_path}") # 模拟构造爬虫测试数据 mock_data = [ { "crawl_id":10001, "crawl_datetime":"2026-06-05", "article_title":"2026行业资讯汇总", "article_content":"超长正文内容"*500, "origin_url":"https://www.example.com/detail/1", "source_domain":"www.example.com", "crawl_status":"success" } for _ in range(10000) ] df_mock = pd.DataFrame(mock_data) save_custom_compress_pq(df_mock,"./custom_compress_crawl.parquet") # 读取验证 read_df = pd.read_parquet("./custom_compress_crawl.parquet",engine="pyarrow") print("自定义压缩落地校验行数：",len(read_df))

代码原理：

1. pyarrow.field 的 compression 参数实现单字段压缩算法绑定，正文 content 字段启用 gzip，其余短字段 snappy，兼顾整体压缩率与读取速度；
2. use_dictionary=True 开启字典编码，爬虫标题、站点域名、抓取状态存在大量重复字符串，字典编码将重复文本映射为数字索引，从编码层面再次缩减存储体积，该特性对分类字段优化效果显著；
3. ParquetWriter 为底层原生写入对象，脱离 pandas 封装层，精细管控 Schema 与压缩规则，适合爬虫归档离线数据精细化存储场景。

六、Dask 分布式拓展 Parquet 超大爬虫数据集处理

单机内存无法承载亿级爬虫数据全量载入内存时，依托 Dask 框架结合 Parquet 实现分块懒加载查询，Dask 依托 Parquet 分区特性自动拆分任务，单任务仅加载对应分区小块数据，突破单机物理内存上限，是分布式爬虫集群海量数据分析标配方案。

6.1 Dask+Parquet 分区数据查询代码

python

运行

# 安装补充依赖指令：pip install dask[complete] import dask.dataframe as dd # 懒加载分区parquet，不会一次性载入内存 dask_df = dd.read_parquet("./crawl_partition_data",engine="pyarrow") # 筛选条件（懒计算，仅生成任务图，无实际IO） filter_dask = dask_df[(dask_df["crawl_datetime"]=="2026-06-05") & (dask_df["crawl_status"]=="success")] # compute触发真实磁盘读取与计算 result_df = filter_dask[["source_domain","article_title"]].compute() print("Dask筛选结果行数：",len(result_df)) # 按域名分组统计每日采集总量 group_df = dask_df.groupby(["crawl_datetime","source_domain"]).size().compute() print(group_df)

代码原理：Dask DataFrame 采用懒加载机制，read_parquet 仅解析 Parquet 分区元数据、拆分计算分片，compute () 执行时才分批次读取对应分区数据，单分片数据体积可控在内存阈值以内；配合 Parquet 分区过滤，分片直接裁剪不满足条件的目录，实现超大规模爬虫数据在低配单机环境下完成统计分析。

七、爬虫工程落地 Parquet 避坑要点总结

7.1 常见落地问题与优化方案对照表

表格

7.2 爬虫冷热数据分层存储规范

1. 热数据（近 30 天实时爬虫数据）：snappy 压缩 + 按日分区存储，保障日常业务快速查询、增量追加；
2. 温数据（30 天～1 年历史爬虫）：gzip 列压缩 + 按月合并分区分片，定期合并零散小 parquet 文件；
3. 冷归档数据（超 1 年爬虫备份数据）：brotli 高压缩 + 对象存储归档，极少访问的数据迁移至 OSS、COS 等云存储。