前言
嗨喽，大家好呀~这里是爱看美女的茜茜呐
环境使用:
-
Python 3.8
-
Pycharm
-
wkhtmltopdf 软件 文末名片获取
模块使用:
-
requests >>> pip install requests 数据请求
-
parsel >>> pip install parsel 数据解析
-
re >>> 内置模块 不需要安装 正则表达式
-
pdfkit >>> pip install pdfkit
win + R 输入cmd 输入安装命令 pip install 模块名
(如果你觉得安装速度比较慢, 你可以切换国内镜像源)
1. 明确需求:
分析数据来源 --> 对于想要数据内容, 确定是请求那个链接地址可以获得
-
保存html文件
-
把html文件转成PDF文件
代码实现步骤:
-
发送请求, 模拟浏览器对于url地址发送请求
- 文章链接:
-
获取数据, 获取网页源代码
-
解析数据, 提取文章内容
<html> -
保存数据, 保存成html文件, 然后再转成PDF文件
代码展示
导入模块
import requests
import parsel
import re
import pdfkit
1. 发送请求, 模拟浏览器对于url地址发送请求
多页获取
for page in range(10 ,51, 10):
link = f'******/api/v4/columns/c_1090924073042837504/items?limit=10&offset={page}'
模拟浏览器 --> headers 请求头 <可以直接复制>
headers = {
# User-Agent 用户代理, 表示浏览器基本身份信息
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36'
}
json_data = requests.get(url=link, headers=headers).json()
for index in json_data['data']:
content_id = index['id']
print(content_id)
请求链接
url = f'******/p/{content_id}'
发送请求
调用requests模块里面get请求方法, 对于url地址发送请求, 并且携带上headers请求头伪装, 最后用自定义变量名response接收数据
response = requests.get(url=url, headers=headers)
<Response [200]> 响应对象 200状态码表示请求成功
2. 获取数据, 获取网页源代码
response.text 获取响应文本数据 <html字符串数据>
3. 解析数据, 提取文章内容 <html>
把获取到html字符串数据, 转成可解析对象
selector = parsel.Selector(response.text)
提取标题
title = selector.css('.Post-Title::text').get()
new_title = re.sub(r'[\\/\:*?"<>|]', '', title)
print(new_title)
提取内容 <html格式>
content = selector.css('div.css-1g0fqss').get()
字符串格式化方法
html = html_str.format(article=content)
使用正则提取链接地址
img_url_list = re.findall('<noscript><img src="(.*?)" data-caption=""', content) # 链接
img_list = re.findall('</noscript><img src="(.*?)" data-caption=""', content) # 需要被替换的内容
for img_url, img in zip(img_url_list, img_list):
html = html.replace(img, img_url)
4. 保存数据, 保存成html文件, 然后再转成PDF文件
设置文件路径以及文件名和格式
html_path = 'html\\' + new_title + '.html'
with open(html_path, mode='w', encoding='utf-8') as f:
f.write(html)
把html文件, 转成PDF
config = pdfkit.configuration(wkhtmltopdf=r'D:\demo\wkhtmltopdf\bin\wkhtmltopdf.exe')
pdf_path = 'pdf\\' + new_title + '.pdf'
把那个html文件内容, 转成pdf文件
pdfkit.from_file(html_path, pdf_path, configuration=config)
print(title)
尾语
感谢你观看我的文章呐~本次航班到这里就结束啦 🛬
希望本篇文章有对你带来帮助 🎉，有学习到一点知识~
躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。
