解决Python使用Selenium 时遇到网页 <body> 划不动的问题

news2024/10/5 10:14:56

        如果在使用 Selenium 时遇到网页的 <body> 划不动的问题,这通常是因为页面的滚动机制(例如,可能使用了一个具有固定高度的容器或自定义的滚动条)导致无法通过简单的 JavaScript 实现滚动。可以通过以下方法来解决该问题。

1. 查找可滚动的元素

        查看页面上是否有特定的可滚动元素,而不是直接滚动整个 <body>。例如,有些网页会使用 <div> 或其他容器来显示内容,这种元素可能有 overflow: auto 或 overflow: scroll 属性。可以尝试定位那个容器并对其进行滚动。

例如:

scrollable_div = driver.find_element(By.CSS_SELECTOR, 'div.scrollable-container')  # 替换为实际的选择器
driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scrollable_div)

     driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scrollable_div) 是 Selenium 中使用 JavaScript 来执行页面滚动操作的一种方式。具体来说,这行代码的作用是将指定的元素(在代码中名为 scrollable_div)滚动到底部。 

  • arguments[0]:这是 JavaScript 中的参数传递方式。当您调用 driver.execute_script 时,传递的第二个参数(即 scrollable_div)会作为 arguments[0] 传递到 JavaScript 代码中。
  • scrollTop:这是 DOM 元素的一个属性,表示元素当前垂直滚动的像素数。通过设置这个值,可以控制元素的滚动位置。
  • scrollHeight:这是 DOM 元素的一个属性,表示元素内容的总高度(包括因溢出而不可见的内容)。

        要解决的问题是滚动到某个容器元素的底部,而不是整个页面。假设页面中有一个 div 包含大量内容,并且这个 div 有自己的滚动条。通过将这个 div 的 scrollTop 设置为其 scrollHeight,可以实现将该 div 的内容滚动到底部。 

2. 使用 JavaScript 滚动

        如果是 <body> 无法滚动,可以使用 JavaScript 来尝试不同的滚动方法,例如直接调整 scrollTop 值。比如,向下移动一定的像素:

driver.execute_script("window.scrollBy(0, 500);")  # 向下滚动 500 像素

3. 检查 page-load 状态

        确保在进行滚动之前,页面已完全加载。使用显式等待确认页面的状态。例如,使用 WebDriverWait 来等待某个元素的加载:

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, 'your-element-class')))  # 替换为实际的类名

4. 循环滚动

        如果需要滚动整个页面,可以使用一个循环,不断检查滚动高度的变化,直到到达页面底部。这是一个常见的处理无限滚动列表的方法:

last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)  # 等待加载新内容

    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break  # 到达底部,停止滚动
    last_height = new_height

5. 使用 Actions 类进行滚动

        使用 Selenium 的 ActionChains 可以模拟按键或鼠标事件,进行更复杂的用户交互,例如按“向下箭头”键:

from selenium.webdriver.common.action_chains import ActionChains

actions = ActionChains(driver)
for _ in range(10):  # 示例:按下10次向下箭头
    actions.send_keys(Keys.ARROW_DOWN).perform()
    time.sleep(0.5)  # 等待一会儿,以便内容加载

        当然也可以在控制台中直接模拟下拉(即向下滚动)操作,使用 JavaScript 来实现。以下是如何在控制台中执行 JavaScript 代码来实现下拉操作的步骤。

1. 打开浏览器控制台

        首先,打开你想要操作的网页,然后按下 F12 键或者右键点击页面并选择“检查”来打开开发者工具。然后在开发者工具中切换到“控制台”标签。

2. 找到可滚动的元素

        假设你要滚动的元素是一个 div,并且它的类名是 __vuescroll。你需要先找到这个元素。

3. 编写 JavaScript 代码来下拉

        在控制台中输入以下 JavaScript 代码,这将使指定的 div 向下滚动:

// 找到你要操作的 div 元素
var scrollableDiv = document.querySelector('div.__vuescroll.hasVBar');

// 如果找到了这个 div
if (scrollableDiv) {
    // 将 div 滚动到最底部
    scrollableDiv.scrollTop = scrollableDiv.scrollHeight;
} else {
    console.error('没有找到可滚动的 div 元素');
}

代码解释

  • document.querySelector('div.__vuescroll.hasVBar'):通过 CSS 选择器找到类名为 __vuescroll 并且有 hasVBar 类的 div 元素。
  • scrollTop = scrollableDiv.scrollHeight:将元素的 scrollTop 属性设置为元素的 scrollHeight(元素内容的总高度),这将使元素滚动到最底部。

4. 执行代码

        在控制台中输入或粘贴上述代码,然后按下 Enter 键。这将使指定的 div 元素滚动到最底部。

逐步滚动

        如果你想要逐步滚动而不是一次性滚动到底部,可以使用以下代码:

// 找到你要操作的 div 元素
var scrollableDiv = document.querySelector('div.__vuescroll.hasVBar');

// 如果找到了这个 div
if (scrollableDiv) {
    // 当前的 scrollTop 值
    var currentScrollTop = scrollableDiv.scrollTop;
    
    // 每次增加 100 像素,逐步滚动到底部
    var scrollInterval = setInterval(function() {
        // 每次增加 100 像素
        currentScrollTop += 100;
        
        // 设置新的 scrollTop 值
        scrollableDiv.scrollTop = currentScrollTop;
        
        // 如果已经滚动到底部,停止定时器
        if (currentScrollTop >= scrollableDiv.scrollHeight) {
            clearInterval(scrollInterval);
        }
    }, 100); // 每 100 毫秒执行一次
} else {
    console.error('没有找到可滚动的 div 元素');
}

代码解释

  • setInterval:每 100 毫秒执行一次滚动操作。
  • currentScrollTop += 100:每次增加 100 像素。
  • clearInterval(scrollInterval):当滚动到底部时,清除定时器,停止滚动。

        通过在浏览器的控制台中输入 JavaScript 代码,你可以直接模拟向下滚动操作。根据需要,你可以一次性滚动到底部,或者逐步增加 scrollTop 的值来实现平滑的滚动效果。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2189707.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

HTTP【网络】

文章目录 HTTPURL(Uniform Resource Lacator) HTTP协议格式HTTP的方法HTTP的状态码HTTP常见的Header HTTP 超文本传输协议&#xff0c;是一个简单的请求-响应协议&#xff0c;HTTP通常运行在TCP之上 URL(Uniform Resource Lacator) 一资源定位符&#xff0c;也就是通常所说的…

NIM简单实践-图像分割

项目背景 我正在学习一个图像分割的 Demo&#xff0c;使用 NVIDIA 提供的预训练大模型进行光学字符检测 (OCDNet) 和光学字符识别 (OCRNet)。这些模型专门为光学字符检测和识别设计&#xff0c;能够自动将图像中的字符进行分割和识别。 预训练模型介绍 OCDNet (Optical Char…

Windows NTLM中继攻击(PortBender二进制可执行文件)

Windows NTLM中继攻击&#xff08;PortBender二进制可执行文件) 前言 最近在完善自己的一套TTPs&#xff08;战术、技术和程序&#xff09;以应对未来的网络作战、项目和攻防演练需求&#xff0c;翻到了PortBender&#xff0c;我觉得不依赖C2和影响主机本身实现这一切非常有趣…

如何使用ssm实现民族大学创新学分管理系统分析与设计+vue

TOC ssm763民族大学创新学分管理系统分析与设计vue 第1章 绪论 1.1 课题背景 二十一世纪互联网的出现&#xff0c;改变了几千年以来人们的生活&#xff0c;不仅仅是生活物资的丰富&#xff0c;还有精神层次的丰富。在互联网诞生之前&#xff0c;地域位置往往是人们思想上不…

Linux 生产者消费者模型

前言 生产者消费者模型&#xff08;CP模型&#xff09;是一种十分经典的设计&#xff0c;常常用于多执行流的并发问题中&#xff01;很多书上都说他很高效&#xff0c;但高效体现在哪里并没有说明&#xff01;本博客将详解&#xff01; 目录 前言 一、生产者消费者模型 1.…

绝美的登录界面!滑动切换效果

绝美登录界面&#xff01;添加了管理员账号和测试账号 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><scri…

RC正弦波振荡电路

0、判断电路能否产生正弦波震荡的条件 如上图所示&#xff0c; Xo:输出量&#xff1b; A:放大器的增益&#xff1b; F:反馈系数。 上式分别为RC正弦波震荡器的幅值条件和相位条件&#xff0c;为了使输出量在合闸后能够有一个从小到大直至平衡在一定幅值的过程&#xff0c;电…

《Linux服务与安全管理》| 配置YUM源并验证

《Linux服务与安全管理》配置YUM源并验证 目录 《Linux服务与安全管理》配置YUM源并验证 任务一&#xff1a;配置本地YUM源 任务二&#xff1a;配置网络YUM源 学生姓名 **** 学号 **** 专业 **** 任务名称 配置YUM源并验证 完成日期 **** 任务目标 知识 了解配…

docker安装kafka-manager

kafkamanager docker安装_mob64ca12d80f3a的技术博客_51CTO博客 # 1、拉取镜像及创建容器 docker pull hlebalbau/kafka-manager docker run -d --name kafka-manager -p 9000:9000 --networkhost hlebalbau/kafka-manager# 2、增设端口 腾讯云# 3、修改防火墙 sudo firewall-…

Salesforce AI 推全新大语言模型评估家族SFR-Judge 基于Llama3构建

在自然语言处理领域&#xff0c;大型语言模型&#xff08;LLMs&#xff09;的发展迅速&#xff0c;已经在多个领域取得了显著的进展。不过&#xff0c;随着模型的复杂性增加&#xff0c;如何准确评估它们的输出就变得至关重要。传统上&#xff0c;我们依赖人类来进行评估&#…

【目标检测】yolo的三种数据集格式

目标检测中数据集格式之间的相互转换--coco、voc、yolohttps://zhuanlan.zhihu.com/p/461488682?utm_mediumsocial&utm_psn1825483604463071232&utm_sourcewechat_session【目标检测】yolo的三种数据集格式https://zhuanlan.zhihu.com/p/525950939?utm_mediumsocial&…

Python小示例——质地不均匀的硬币概率统计

在概率论和统计学中&#xff0c;随机事件的行为可以通过大量实验来研究。在日常生活中&#xff0c;我们经常用硬币进行抽样&#xff0c;比如抛硬币来决定某个结果。然而&#xff0c;当我们处理的是“质地不均匀”的硬币时&#xff0c;事情就变得复杂了。质地不均匀的硬币意味着…

【宽搜】4. leetcode 103 二叉树的锯齿形层序遍历

1 题目描述 题目链接&#xff1a;二叉树的锯齿形层序遍历 2 题目解析 根据题目描述&#xff0c;第一行是从左往右遍历&#xff0c;第二行是从右往左遍历。和层序遍历的区别就是&#xff1a; 在偶数行需要从右往左遍历。 因此&#xff0c;只需要在层序遍历的基础上增加一个变…

网络基础:TCP/IP五层模型、数据在局域网传输和跨网络传输的基本流程、IP地址与MAC地址的简单解析

目录 背景介绍 网络协议 OSI七层模型 TCP/IP五层模型 TCP/IP协议与OS的关系 网络协议的本质 数据在局域网传输的基本流程 MAC地址 报文的封装和解包 补充内容 数据的跨网络传输基本流程 IP地址 IP地址和MAC地址的区别 ​​​ 背景介绍 网络的发展经理了四个阶段…

dijstra算法——单元最短路径算法

Dijkstra算法 用来计算从一个点到其他所有点的最短路径的算法&#xff0c;是一种单源最短路径算法。也就是说&#xff0c;只能计算起点只有一个的情况。Dijkstra的时间复杂度是O(n^2)&#xff0c;它不能处理存在负边权的情况。 算法描述&#xff1a; 设起点为s&#xff0c;d…

云原生(四十六) | MySQL软件安装部署

文章目录 MySQL软件安装部署 一、MySQL软件部署步骤 二、安装MySQL MySQL软件安装部署 一、MySQL软件部署步骤 第一步&#xff1a;删除系统自带的mariadb 第二步&#xff1a;下载MySQL源&#xff0c;安装MySQL软件 第三步&#xff1a;启动MySQL&#xff0c;获取默认密码…

【无标题】提升快递管理效率的必备技能:教你批量查询与导出物流信息

在当今快节奏的商业环境中&#xff0c;快递与物流行业的效率直接关系到企业的运营成本和客户满意度。随着订单量的不断增加&#xff0c;如何高效地管理和追踪大量的物流信息成为了企业面临的一大挑战。批量查询与导出物流信息作为一种高效的数据处理手段&#xff0c;正逐渐成为…

信息安全工程师(33)访问控制概述

前言 访问控制是信息安全领域中至关重要的一个环节&#xff0c;它提供了一套方法&#xff0c;旨在限制用户对某些信息项或资源的访问权限&#xff0c;从而保护系统和数据的安全。 一、定义与目的 定义&#xff1a;访问控制是给出一套方法&#xff0c;将系统中的所有功能和数据…

ElliQ 老年身边的陪伴

前记 国庆回家发现爸爸之前干活脚崴了&#xff0c;找个临时拐杖撑住&#xff0c;我心里很不是滋味。虽然总和爸妈说&#xff0c;不要干重活&#xff0c;但老人总是担心成为儿女的负担&#xff0c;所以只要能动&#xff0c;就找活干。 给爸妈一点零花钱&#xff0c;老妈只收了…

多系统萎缩患者的运动指南【健康守护,动出希望】

亲爱的朋友们&#xff0c;今天我们来聊聊一个特别而重要的话题——多系统萎缩患者的运动指南。面对这一挑战&#xff0c;适量的运动不仅能缓解病情&#xff0c;还能提升生活质量。让我们一起&#xff0c;用爱与坚持&#xff0c;为生命加油&#xff01; &#x1f308; ‌为什么…