1.需求背景
爬取松产品中心网站下的家电说明书。这里以冰箱为例：松下电器-冰箱网址
网站分析：
第一步：
点击一个具体的冰箱型号，点击了解更多，会打开此型号电器的详情页面。
第二步：在新打开的详情页面中说明书下载标识
第三步：点击说明书下载，将下载此说明书
2.实现思路与核心步骤
由以上操作，我们知道了模拟用户点击的具体步骤，大致得到了一个整体思路。
主要难点：
- 如何在整个页面中定位到某一个具体的电器型号，如何遍历依次得到此页面所有型号
- 打开新页面，如何切换到新打开的窗口
- 如何定位到新打开窗口的说明书下载按钮
- 下载完成后如何切换回到原始的页面，进行下一个电器的点击
- 多个页面，如何进行翻页
2.1 得到新页面的链接
依次解决：
1.按F12，打开开发者模式，点击如图所示的1，检查，点击了解详情2，会自动定位显示如图3所示。
发现3标识的href就是此型号的详情页面。所以可以编写函数得到此链接。
这里也有两种方式：
方式一：使用Selenium模拟用户点击，使用xpath定位得到此href
方式二：使用requests直接得到此页面中的所有href链接，发现具体型号的链接时带有product，依据此进行筛选。
本文使用方式二：
def get_allurl(url):
'''
得到url下，所有以.html结尾的href标签下的链接
:param url:
:return:
'''
result_link = []
html_content = requests.get(url).text
soup = BeautifulSoup(html_content, "html.parser")
# 由开发者模式下可以看出，我们需要的href标签时a，且时以.html为结尾
link_nodes = soup.find_all('a', href=lambda href: href and href.endswith('.html'))
for node in link_nodes:
tem_url=node.get("href")
result_link.append(tem_url)
return result_link
2.2 模拟用户进行点击下载
进入此页面，发现此网站下的链接并不是直接以.pdf为结尾的链接，而是有封装了一层，所以只能通过模拟用户点击的方式。
同时需要点击两次，首先第一次时说明书下载，出来具体型号，我们这里只选第一个NR-ZE391LG-W这个位置。
点击这些位置，得到其对应的XPATH
代码实现如下：
def clik_url(url):
# 初始化WebDriver
driver = webdriver.Chrome()
# 导航到包含链接的网页
driver.get(url)
# 为了防止有的型号不包含说明书，不存在对应的xpath路径，出现错误，终止程序
# 这里使用了try except
try:
# 找到说明书下载按钮的Xpath ='/html/body/div[5]/div/div[2]/div[1]/div/div[1]'
click_element = WebDriverWait(driver, 5).until(
EC.element_to_be_clickable((By.XPATH, '/html/body/div[5]/div/div[2]/div[1]/div/div[1]'))
)
# 点击说明书下载
click_element.click()
# 页面加载完成后会出现具体型号，比如图中的NR-ZE391LG-W，找到此位置
res=WebDriverWait(driver, 5).until(
EC.visibility_of_element_located((By.XPATH, '/html/body/div[5]/div/div[2]/div[1]/div/div[2]/ul/li/a'))
)
# 此位置包含了一个以.pdf为结尾的href链接，是我们需要找的。
if res:
new_url=res.get_attribute('href')
# get_pdf(new_url)
print(new_url)
time.sleep(2)
driver.quit()
return new_url
else:
print("none")
time.sleep(2)
driver.quit()
return None
except:
time.sleep(2)
driver.quit()
pass
此函数返回了pdf的具体链接，由此链接就可以直接获取到pdf文件
2.3 获取pdf文件
由以上得到的pdf链接，获取保存为pdf文件。例如：
https://home.panasonic.cn/support/attachments/auld/manual/NR-ZE391LG-W.pdf
def get_pdf(url,output_dir):
'''
url是一个后缀为.pdf的链接，点击就可以下载pdf文件，此函数保存pdf到output_dir路径
:param url:
:param output_dir:
:return:
'''
if not os.path.exists(output_dir):
os.makedirs(output_dir)
# 下载文件
try:
response = requests.get(url, stream=True)
response.raise_for_status()
except:
return
# 提取文件名（这里需要根据你的URL结构或链接的href属性来提取）
# 假设文件名是URL的最后一部分（不包括查询参数）
filename = os.path.basename(urlparse(url).path)
# 将文件保存到本地
with open(os.path.join(output_dir, filename), 'wb') as f:
for chunk in response.iter_content(1024):
f.write(chunk)
print(f'Downloaded: {filename}')
3. 整体流程和代码实现
def get_allurl(url):
······如上所示······
return result_link
def get_pdf(url,output_dir):
······如上所示······
def clik_url(url):
······如上所示······
return new_url
# 函数开始入口
def page_res(page_url,output_dir):
# 1.点击到电饭煲的主页面，返回这个页面下所有的以.html结尾的网址
prod_urls = get_allurl(page_url)
# 2.遍历网址，进行pdf下载
for i in range(len(prod_urls)):
print(prod_urls[i])
# 有一些.html的网页也不含pdf，发现含的都带有product字样，所以进行过滤
if 'product' in str(prod_urls[i]):
# 3.点击得到新出现的pdf链接
pdf_url = clik_url(prod_urls[i])
if pdf_url:
# 4.进行pdf文件下载
get_pdf(pdf_url, output_dir)
print("本页下载已完成")
如果想要获取更多页面的冰箱型号，可以观察到不同页面的url是由规律的，直接for循环遍历页面就行了。
4.总结
1.使用获取所有链接再进行筛选的方式，代替了模拟用户点击以此定位具体位置，进行点击
2.在新打开的页面中没有直接暴露pdf链接，需要点击说明书下载按钮才能得到pdf链接，点击一次，显示pdf链接之后，并没有继续采用用户点击的方式，而是直接获取（这与网站有关，有点还是不会显示出来，只有点击才会出现）
因为没用采用点击，也不存在页面切换的问题。相比于全部Selenium模拟用户点击，少了许多步骤。
