news 2026/5/1 11:20:11

全网最详尽的 DrissionPage 使用教程:用 Python 轻松玩转动态网页

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
全网最详尽的 DrissionPage 使用教程:用 Python 轻松玩转动态网页

DrissionPage 简介

DrissionPage 是一个基于 Python 的网页自动化工具,结合了浏览器自动化(如 Selenium)和直接 HTTP 请求(如 requests)的优势,适用于动态网页爬取、自动化测试等场景。其核心特点是无需依赖浏览器驱动,可直接与页面交互。


安装与初始化

通过 pip 安装最新版本:

pip install drissionpage

初始化一个页面对象:

from drissionpage import SessionPage page = SessionPage() # 创建会话页面

基础功能

访问网页

page.get('https://example.com') # 发送 GET 请求 page.post('https://example.com', data={'key': 'value'}) # 发送 POST 请求

获取页面元素
通过 CSS 选择器或 XPath 定位元素:

element = page.ele('#id') # 根据 ID 获取元素 elements = page.eles('tag:p') # 获取所有 <p> 标签

提取数据

text = element.text # 获取文本 html = element.html # 获取内部 HTML attr = element.attr('href') # 获取属性值

https://www.zhihu.com/zvideo/1994542664859804729/
https://www.zhihu.com/zvideo/1994542660803924130/
https://www.zhihu.com/zvideo/1994542659507881718/
https://www.zhihu.com/zvideo/1994542658564157496/
https://www.zhihu.com/zvideo/1994542658211824663/
https://www.zhihu.com/zvideo/1994542657029035173/
https://www.zhihu.com/zvideo/1994542656425055942/
https://www.zhihu.com/zvideo/1994542653740711955/
https://www.zhihu.com/zvideo/1994542652935398937/
https://www.zhihu.com/zvideo/1994542652838941229/
https://www.zhihu.com/zvideo/1994542651886835388/
https://www.zhihu.com/zvideo/1994542651177984743/
https://www.zhihu.com/zvideo/1994542648351031351/
https://www.zhihu.com/zvideo/1994542648384565863/
https://www.zhihu.com/zvideo/1994542646887220629/
https://www.zhihu.com/zvideo/1994542645742171537/
https://www.zhihu.com/zvideo/1994542646035767366/
https://www.zhihu.com/zvideo/1994542645658293656/
https://www.zhihu.com/zvideo/1994542645771539405/
https://www.zhihu.com/zvideo/1994542645477912692/
https://www.zhihu.com/zvideo/1994542644014118310/
https://www.zhihu.com/zvideo/1994542643422712473/
https://www.zhihu.com/zvideo/1994542641661108276/
https://www.zhihu.com/zvideo/1994542640717403039/
https://www.zhihu.com/zvideo/1994542641208116044/
https://www.zhihu.com/zvideo/1994542637768782141/
https://www.zhihu.com/zvideo/1994542636338545143/
https://www.zhihu.com/zvideo/1994542634425948071/
https://www.zhihu.com/zvideo/1994542634048435969/
https://www.zhihu.com/zvideo/1994542631477343938/
https://www.zhihu.com/zvideo/1994542629216597734/
https://www.zhihu.com/zvideo/1994542628797178334/
https://www.zhihu.com/zvideo/1994542624544142826/
https://www.zhihu.com/zvideo/1994542623277458022/
https://www.zhihu.com/zvideo/1994542625139758984/
https://www.zhihu.com/zvideo/1994542624070186865/
https://www.zhihu.com/zvideo/1994542625294918978/
https://www.zhihu.com/zvideo/1994542622581220059/
https://www.zhihu.com/zvideo/1994542621872383455/
https://www.zhihu.com/zvideo/1994542619661980427/
https://www.zhihu.com/zvideo/1994542619477423570/
https://www.zhihu.com/zvideo/1994542619372578110/
https://www.zhihu.com/zvideo/1994542618693112008/
https://www.zhihu.com/zvideo/1994542618433046193/
https://www.zhihu.com/zvideo/1994542617954911941/
https://www.zhihu.com/zvideo/1994542618042971582/
https://www.zhihu.com/zvideo/1994542618374342545/
https://www.zhihu.com/zvideo/1994542617610982697/
https://www.zhihu.com/zvideo/1994542617367705013/
https://www.zhihu.com/zvideo/1994542157382582343/


处理动态内容

等待元素加载
设置显式等待,直到元素出现:

page.wait_ele('#loading', timeout=10, state='disappear') # 等待加载动画消失

执行 JavaScript
直接运行 JS 脚本:

page.run_js('window.scrollTo(0, document.body.scrollHeight)') # 滚动到页面底部

表单交互

填写表单
模拟输入和提交:

page.ele('#username').input('admin') # 输入用户名 page.ele('#submit').click() # 点击提交按钮

文件上传

page.ele('input[type="file"]').set('path/to/file.jpg') # 上传文件

高级技巧

拦截请求
监听或修改网络请求:

page.listen.start('api/data') # 监听特定 API 请求 response = page.listen.wait() # 等待并获取响应数据

切换 User-Agent
模拟不同设备访问:

headers = {'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X)'} page.headers.update(headers)

实战示例:爬取动态渲染数据

以下代码模拟滚动页面并提取动态加载的内容:

from drissionpage import SessionPage page = SessionPage() page.get('https://dynamic-website.com') while True: page.run_js('window.scrollBy(0, 500)') # 每次滚动 500 像素 if not page.wait_ele('.load-more', timeout=2): # 检查“加载更多”按钮是否存在 break items = page.eles('.item') for item in items: print(item.text)

常见问题

元素定位失败

  • 检查选择器是否正确,使用开发者工具验证。
  • 增加等待时间或调整动态加载策略。

性能优化

  • 禁用图片加载:page.set.load_mode('none')
  • 使用缓存减少重复请求。

通过以上方法,DrissionPage 可以高效处理大多数动态网页场景,兼顾灵活性与易用性。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/1 10:24:44

基于python的电影推荐系统的设计与实现-附源码201341

基于Python的电影推荐系统设计与实现电影推荐系统通常采用协同过滤或内容过滤算法&#xff0c;结合Python的数据处理库和机器学习框架实现。以下为关键设计步骤和源码框架示例&#xff1a;数据准备与预处理使用pandas加载电影评分数据集&#xff08;如MovieLens&#xff09;&am…

作者头像 李华
网站建设 2026/5/1 6:11:09

2026年--Lc339-二叉树的最近公共祖先(树,递归)--java版

1.题目2.思路 如果当前节点是 null 或者是目标节点之一&#xff08;p 或 q&#xff09;&#xff0c;直接返回当前节点。 递归左右子树&#xff1a; 左子树返回值为 l&#xff0c;右子树返回值为 r。 根据左右子树的返回值判断&#xff1a; 如果左子树返回 null&#xff0c;说明…

作者头像 李华
网站建设 2026/5/1 8:06:50

C语言数据类型

1、数据类型 1.1字符型 字符英文单词是character&#xff0c;在C语言中 char 表示字符类型。 char字符型------1字节 [signed] char//有符号的 unsigned char//无符号的 1.2整型 整数英文单词integer&#xff0c;在C语言中 int 表示整型。 //短整型------2字节 short [int] …

作者头像 李华
网站建设 2026/5/1 8:37:50

拼多多春节加班费热议背后,近屿智能给出了另一份高薪答案

春节临近&#xff0c;你是否也正陷入“年后再说”的循环&#xff1f;当大多数人在为年终琐事分心时&#xff0c;有一群人&#xff0c;却在默默积累着“节后爆发”的资本——他们关注的不是加班补贴&#xff0c;而是如何让自己的技能&#xff0c;配得上更高的估值。一、高薪加班…

作者头像 李华