正文
Selenium是一个用于自动化Web浏览器的工具，它可以模拟用户的操作，如点击、输入、滚动等。Selenium也可以用于爬取网页中的数据，特别是对于那些动态生成的内容，如表格、图表、下拉菜单等。本文将介绍如何使用Selenium Python爬取一个动态表格中的多语言和编码格式的数据，并将其保存为CSV文件。
特点
·Selenium可以处理JavaScript渲染的网页，而不需要额外的库或工具。
· Selenium可以支持多种浏览器，如Chrome、Firefox、Edge等，只需要安装相应的驱动程序。
· Selenium可以模拟用户的交互行为，如点击、滑动、拖拽等，以获取更多的数据或触发事件。
· Selenium可以使用XPath、CSS选择器等定位元素，以提取所需的数据。
· Selenium可以处理多语言和编码格式的数据，如中文、日文、UTF-8等，只需要设置相应的参数。
案例
假设我们要爬取一个网站上的一个动态表格，该表格显示了不同国家和地区的人口数据
· 表格是动态生成的，每隔一段时间就会更新数据。
· 表格有分页功能，每页显示10行数据，共有5页。
· 表格有多语言选项，可以切换显示英文或中文。
· 表格有编码格式选项，可以切换显示UTF-8或GBK。
我们的目标是爬取该表格中所有的数据，并将其保存为CSV文件，同时保留多语言和编码格式的信息。
为了实现这个目标，我们需要以下步骤：
· 导入所需的库和模块，如selenium、csv、time等。
· 创建一个webdriver对象，指定使用firefox浏览器，并设置代理服务器和验证信息。
· 打开目标网址，并等待页面加载完成。
· 定位表格元素，并获取表头和表体的数据。
· 循环点击分页按钮，并获取每一页的数据。
· 切换语言选项，并重复步骤4和5。
· 切换编码格式选项，并重复步骤4和5。
· 将所有数据保存为CSV文件，并关闭浏览器。
代码
下面是根据上述步骤实现的代码：
# 导入所需的库和模块
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import csv
import time
# 创建一个webdriver对象，指定使用firefox浏览器，并设置代理服务器和验证信息
# 亿牛云 爬虫代理加强版
proxyHost = "www.16yun.cn"
proxyPort = "3111"
proxyUser = "16YUN"
proxyPass = "16IP"
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", proxyHost)
profile.set_preference("network.proxy.http_port", int(proxyPort))
profile.set_preference("network.proxy.ssl", proxyHost)
profile.set_preference("network.proxy.ssl_port", int(proxyPort))
profile.set_preference("network.proxy.no_proxies_on", "localhost, 127.0.0.1")
profile.update_preferences()
driver = webdriver.Firefox(firefox_profile=profile)
# 打开目标网址，并等待页面加载完成
url = "https://example.com/population-table"
driver.get(url)
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, "table")))
# 定义一个函数，用于获取表格中的数据
def get_table_data():
# 定位表格元素，并获取表头和表体的数据
table = driver.find_element_by_id("table")
header = table.find_element_by_tag_name("thead")
header_data = [item.text for item in header.find_elements_by_tag_name("th")]
body = table.find_element_by_tag_name("tbody")
body_data = []
rows = body.find_elements_by_tag_name("tr")
for row in rows:
cols = row.find_elements_by_tag_name("td")
cols_data = [item.text for item in cols]
body_data.append(cols_data)
# 返回表头和表体的数据
return header_data, body_data
# 定义一个列表，用于存储所有的数据
all_data = []
# 循环点击分页按钮，并获取每一页的数据
pages = driver.find_elements_by_class_name("page-item")
for page in pages:
page.click()
time.sleep(1)
header_data, body_data = get_table_data()
all_data.extend(body_data)
# 切换语言选项，并重复步骤4和5
language = driver.find_element_by_id("language")
language.click()
time.sleep(1)
pages = driver.find_elements_by_class_name("page-item")
for page in pages:
page.click()
time.sleep(1)
header_data, body_data = get_table_data()
all_data.extend(body_data)
# 切换编码格式选项，并重复步骤4和5
encoding = driver.find_element_by_id("encoding")
encoding.click()
time.sleep(1)
pages = driver.find_elements_by_class_name("page-item")
for page in pages:
page.click()
time.sleep(1)
header_data, body_data = get_table_data()
all_data.extend(body_data)
# 将所有数据保存为CSV文件，并关闭浏览器
with open("population.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(header_data)
writer.writerows(all_data)
driver.quit()代码说明
第1行到第8行，导入所需的库和模块，如selenium、csv、time等。
第10行到第24行，创建一个webdriver对象，指定使用firefox浏览器，并设置代理服务器和验证信息，这是为了防止被目标网站屏蔽或限制访问。
第26行到第29行，打开目标网址，并等待页面加载完成，这是为了确保表格元素已经出现在页面上。
第31行到第44行，定义一个函数，用于获取表格中的数据，该函数接受无参数，返回两个列表，分别是表头和表体的数据。函数内部使用XPath定位表格元素，并使用列表推导式提取每个单元格的文本内容。
第46行，定义一个列表，用于存储所有的数据，该列表将包含多语言和编码格式的数据。
第48行到第53行，循环点击分页按钮，并获取每一页的数据，这是为了爬取表格中所有的数据。使用find_elements_by_class_name方法定位分页按钮，并使用click方法模拟点击。每次点击后，使用time.sleep方法等待1秒，以确保页面更新完成。然后调用get_table_data函数获取当前页面的数据，并使用extend方法将其添加到all_data列表中。
第55行到第61行，切换语言选项，并重复步骤4和5，这是为了爬取表格中不同语言的数据。使用find_element_by_id方法定位语言选项，并使用click方法模拟点击。每次点击后，使用time.sleep方法等待1秒，以确保页面更新完成。然后重复步骤4和5的操作。
第63行到第69行，切换编码格式选项，并重复步骤4和5，这是为了爬取表格中不同编码格式的数据。使用find_element_by_id方法定位编码格式选项，并使用click方法模拟点击。
结语
本文介绍了如何使用Selenium Python爬取一个动态表格中的多语言和编码格式的数据，并将其保存为CSV文件。通过使用Selenium，我们可以处理JavaScript渲染的网页，支持多种浏览器，模拟用户的交互行为，定位元素，提取数据，处理多语言和编码格式等。Selenium是一个强大而灵活的工具，可以用于各种Web爬虫的场景。希望本文对你有所帮助和启发。
最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：
这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取
