【零基础一看就会】Python爬虫从入门到应用（下）

news2024/11/25 13:22:04

目录

一、urllib的学习

1.1 urllib介绍

1.2 urllib的基本方法介绍

urllib.Request

（1）构造简单请求

（2）传入headers参数

（3）传入data参数 实现发送post请求（示例）

response.read()

1.3 urllib请求百度首页的完整例子

二、requests模块的入门使用

2.1 为什么要重点学习requests模块，而不是urllib

2.2 requests的作用与安装

2.3 requests模块发送简单的get请求、获取响应

response.text 和response.content的区别

练习：把网络上的图片保存到本地

2.4 发送带header的请求

思考

为什么请求需要带上header？

header的形式：字典

用法

完整的代码

2.5 发送带参数的请求

什么叫做请求参数

请求参数的形式：字典

请求参数的用法

关于参数的注意点

两种方式：发送带参数的请求

三、requests模块的深入使用

3.1 使用requests发送POST请求

requests发送post请求语法

POST请求练习

思路分析

（1）抓包确定请求的url地址

​编辑

（2）确定请求的参数

（3）确定返回数据的位置

（4）模拟浏览器获取数据

一、urllib的学习

1.1 urllib介绍

除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同!

urllib在python中分为urllib和urllib2，在python3中为urllib

下面以python3的urllib为例进行讲解

1.2 urllib的基本方法介绍

urllib.Request

（1）构造简单请求
import urllib
#构造请求
request = urllib.request.Request("http://www.baidu.com")
#发送请求获取响应
response = urllib.request.urlopen(request)
（2）传入headers参数
import urllib
#构造headers
headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
#构造请求
request = urllib.request.Request(url, headers = headers)
#发送请求
response = urllib.request.urlopen(request)
（3）传入data参数 实现发送post请求（示例）
import urllib.request
import urllib.parse
import json

url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Safari/605.1.15',

}
data = {
    'cname': '',
    'pid': '',
    'keyword': '北京',
    'pageIndex': 1,
    'pageSize': 10,
}
# 使用post方式
# 需要
data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url, data=data, headers=headers)
res = urllib.request.urlopen(req)
print(res.getcode())
print(res.geturl())
data = json.loads(res.read().decode('utf-8'))
# print(data)
for i in data['Table1']:
	print(i)

response.read()

获取响应的html字符串，bytes类型

#发送请求
response = urllib.request.urlopen("http://www.baidu.com")
#获取响应
response.read()

1.3 urllib请求百度首页的完整例子

import urllib
import json

url = 'http://www.baidu.com'
#构造headers
headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
#构造请求
request = urllib.request.Request(url, headers = headers)
#发送请求
response = urllib.request.urlopen(request)
#获取html字符串
html_str = response.read().decode('utf-8')
print(html_str)

二、requests模块的入门使用

2.1 为什么要重点学习requests模块，而不是urllib

  • 企业中用的最多的就是requests

  • requests的底层实现就是urllib

  • requests在python2 和python3中通用，方法完全一样

  • requests简单易用

2.2 requests的作用与安装

作用：发送网络请求，返回响应数据

安装：pip install requests

2.3 requests模块发送简单的get请求、获取响应

需求：通过requests向百度首页发送请求，获取百度首页的数据

import requests

# 目标url
url = 'https://www.baidu.com'

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
print(response.text)

response的常用属性：

  • response.text 响应体 str类型

  • response.encoding 从HTTP　header中猜测的响应内容的编码方式

  • respones.content 响应体 bytes类型

  • response.status_code 响应状态码

  • response.request.headers 响应对应的请求头

  • response.headers 响应头

  • response.request.cookies 响应对应请求的cookie

  • response.cookies 响应的cookie（经过了set-cookie动作）

  • response.url 获取访问的url

  • response.json() 获取json数据 得到内容为字典 (如果接口响应体的格式是json格式时)

  • response.ok

    如果status_code小于200，response.ok返回True。

    如果status_code大于200，response.ok返回False。

思考：text是response的属性还是方法呢？

  • 一般来说名词，往往都是对象的属性，对应的动词是对象的方法

response.text 和response.content的区别

  • response.text

    • 类型：str

    • 解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码

    • 如何修改编码方式：response.encoding="gbk/UTF-8"

  • response.content

    • 类型：bytes

    • 解码类型： 没有指定

    • 如何修改编码方式：response.content.deocde("utf8")

获取网页源码的通用方式：

  1. response.content.decode()

  2. response.content.decode("UTF-8")

  3. response.text

以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题

所以：更推荐使用response.content.deocde()的方式获取响应的html页面

练习：把网络上的图片保存到本地

我们来把www.baidu.com的图片保存到本地

思考：

  • 以什么方式打开文件

  • 保存什么格式的内容

分析：

  • 图片的url：https://www.baidu.com/img/bd_logo1.png

  • 利用requests模块发送请求获取响应

  • 以二进制写入的方式打开文件，并将response响应的二进制内容写入

import requests

# 图片的url
url = 'https://www.baidu.com/img/bd_logo1.png'

# 响应本身就是一个图片,并且是二进制类型
response = requests.get(url)

# print(response.content)

# 以二进制+写入的方式打开文件
with open('baidu.png', 'wb') as f:
    # 写入response.content bytes二进制类型
    f.write(response.content)

2.4 发送带header的请求

我们先写一个获取百度首页的代码

import requests

url = 'https://www.baidu.com'

response = requests.get(url)

print(response.content)

# 打印响应对应请求的请求头信息
print(response.request.headers)

思考

对比浏览器上百度首页的网页源码和代码中的百度首页的源码，有什么不同？

代码中的百度首页的源码非常少，为什么？

为什么请求需要带上header？

模拟浏览器，欺骗服务器，获取和浏览器一致的内容

header的形式：字典

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

用法

requests.get(url, headers=headers)

完整的代码

import requests

url = 'https://www.baidu.com'

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 在请求头中带上User-Agent，模拟浏览器发送请求
response = requests.get(url, headers=headers)

# print(response.content)

# 打印请求头信息
print(response.request.headers)

2.5 发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ?，那么该问号后边的就是请求参数，又叫做查询字符串

什么叫做请求参数

例1： gzip和deflate的几点区别 - 服务器技术_卡卡网

例2：百度安全验证

例1中没有请求参数！例2中?后边的就是请求参数

请求参数的形式：字典

kw = {'wd':'长城'}

请求参数的用法

requests.get(url,params=kw)

关于参数的注意点

在url地址中， 很多参数是没有用的，比如百度搜索的url地址，其中参数只有一个字段有用，其他的都可以删除 如何确定那些请求参数有用或者没用：挨个尝试！ 对应的,在后续的爬虫中，越到很多参数的url地址，都可以尝试删除参数

两种方式：发送带参数的请求

对https://www.baidu.com/s?wd=python发起请求可以使用requests.get(url, params=kw)的方式

# 方式一：利用params参数发送带参数的请求
import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'

# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'

# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}

# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)

# 当有多个请求参数时，requests接收的params参数为多个键值对的字典，比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}

print(response.content)

也可以直接对https://www.baidu.com/s?wd=python完整的url直接发送请求，不使用params参数

# 方式二：直接发送带参数的url的请求
import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://www.baidu.com/s?wd=python'

# kw = {'wd': 'python'}

# url中包含了请求参数，所以此时无需params
response = requests.get(url, headers=headers)

三、requests模块的深入使用

3.1 使用requests发送POST请求

思考：哪些地方我们会用到POST请求？

  1. 登录注册（ POST 比 GET 更安全）

  2. 需要传输大文本内容的时候（ POST 请求对数据长度没有要求）

所以同样的，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求。

requests发送post请求语法

  • 用法
response = requests.post("http://www.baidu.com/", data = data, headers=headers)

  • data 的形式：字典

POST请求练习

下面面我们通过金山翻译的例子看看post请求如何使用：

地址：在线翻译_翻译在线__英语翻译_英文翻译_日语翻译__fanyi_爱词霸

思路分析

（1）抓包确定请求的url地址

（2）确定请求的参数

（3）确定返回数据的位置

（4）模拟浏览器获取数据
import requests
import json

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://ifanyi.iciba.com/index.php?c=trans&m=fy&client=6&auth_user=key_ciba&sign=99730f3bf66b2582'

data = {
    'from': 'zh',
    'to': 'en',
    'q': 'lucky 是一个帅气的老师'
}

res = requests.post(url, headers=headers, data=data)
# print(res.status_code)

# 返回的是json字符串 需要在进行转换为字典
data = json.loads(res.content.decode('UTF-8'))
# print(type(data))
print(data)
print(data['content']['out'])

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1805978.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

dnf手游版游玩感悟

dnf手游版游玩感悟

dnf手游于5月21号正式上线，作为一个dnf端游老玩家，并且偶尔上线ppk，自然下载了手游版，且玩了几天。 不得不说dnf手游的优化做到了极好的程度。 就玩法系统这块，因为dnf属于城镇地下城模式，相比…
阅读更多...
C\C++内存管理（未完结）

C\C++内存管理（未完结）

文章目录 一.C\C内存分布二.C语言中动态内存管理方式：malloc/calloc/realloc/free三.C内存管理方式3.1.new/delete操作内置类型3.2.new和delete操作自定义类型 四.operator new与operator delete函数（重要点进行讲解）4.1. operator new与oper…
阅读更多...
Spring Security 应用详解

Spring Security 应用详解

一、 集成SpringBoot 1.1 Spring Boot 介绍 Spring Boot 是一套 Spring 的快速开发框架，基于 Spring 4.0 设计，使用 Spring Boot 开发可以避免一些繁琐的工程 搭建和配置，同时它集成了大量的常用框架，快速导入依赖包&#xff0…
阅读更多...
【SpringCloud学习笔记】Docker（中篇）

【SpringCloud学习笔记】Docker（中篇）

Docker 1. 自定义镜像 前面我们都是使用docker pull拉取仓库中现成的镜像，但是如果我们想要将一个Java应用程序构建成镜像然后部署应该怎么做呢？这个时候我们就需要自定义镜像了 **镜像：**本质上就是一堆文件的集合，包含了应用程…
阅读更多...
Nettyの前置理论篇

Nettyの前置理论篇

本篇主要介绍NIO中的三大组件：Channel、Buffer、Selector的理论知识 1、NIO基本概念 NIO（non-blocking io 或 new io）区别于传统IO，是一种面向缓冲区的非阻塞IO操作，在传统IO中，数据是以字节或字符为单位从…
阅读更多...
DevExpress Installed

DevExpress Installed

一、What’s Installed 统一安装程序将DevExpress控件和库注册到Visual Studio中，并安装DevExpress实用工具、演示应用程序和IDE插件。 Visual Studio工具箱中的DevExpress控件 Visual Studio中的DevExpress菜单 Demo Applications 演示应用程序 Launch the Demo…
阅读更多...
【栈】895. 最大频率栈

【栈】895. 最大频率栈

本文涉及知识点 栈 LeetCode895. 最大频率栈 设计一个类似堆栈的数据结构，将元素推入堆栈，并从堆栈中弹出出现频率最高的元素。 实现 FreqStack 类: FreqStack() 构造一个空的堆栈。 void push(int val) 将一个整数 val 压入栈顶。 int pop() 删除并返…
阅读更多...
每天壁纸不重样~下载必应每日图片

每天壁纸不重样~下载必应每日图片

下载必应每日图片 必应不知道你用过没有你下载过必应的图片没有你又没搜索过桌面图片你是不是安装过桌面图片软件你是不是为找一个好看的图片下载过很多桌面软件 必应每日图片 必应每天都会有一张不同的风景图片，画质清晰，而且不收费可以下载使用 但…
阅读更多...
解决Win10系统ping不通、无法远程的问题

解决Win10系统ping不通、无法远程的问题

1、概述 某天要使用微软的远程桌面程序mstsc.exe远程到旁边的一台测试电脑上，结果远程不了，ping都ping不通，于是详细研究了这个问题。在此大概地记录一下该问题排查的过程，以供参考。 2、ping不通 使用mstsc.exe远程到测试电脑，远程不了，没有反应。于是手动ping一…
阅读更多...
IDEA创建Mybatis项目

IDEA创建Mybatis项目

IDEA创建Mybatis项目 第一步：创建库表 -- 创建数据库 create database mybatis_db;-- 使用数据库 use mybatis_db;-- 创建user表 CREATE TABLE user (id INT AUTO_INCREMENT PRIMARY KEY,username VARCHAR(50) NOT NULL,password VARCHAR(50) NOT NULL,email VARC…
阅读更多...
【WP|9】深入解析WordPress [add_shortcode]函数

【WP|9】深入解析WordPress [add_shortcode]函数

add_shortcode 是 WordPress 中一个非常强大的函数，用于创建自定义的短代码（shortcodes）。短代码是一种简洁的方式，允许用户在内容中插入动态的、可重用的功能。通过 add_shortcode，开发者可以定义自己的短代码&#x…
阅读更多...
里卡提方程（Riccati Equation）例子

里卡提方程（Riccati Equation）例子

里卡提方程（Riccati Equation） 里卡提方程（Riccati Equation）在人形机器人控制中有重要的应用，特别是在最优控制和估计问题中。里卡提方程主要用于求解线性二次型调节器（LQR, Linear Quadratic Regulator）和卡尔曼滤波器（Kalman Filter）。这些方法有助于提高机器人控…
阅读更多...
物联网开发tcp协议之——netty拆包问题

物联网开发tcp协议之——netty拆包问题

1.前言 tcp协议是物联网开发中比较常见的一种通信协议，而netty则是一tcp通信协议中一个比较优秀的框架。tcp协议是一种长连接的协议，是流式传输的，开发过程中最长遇见的问题就是拆包粘包问题。我目前对接过的物联网系列有智能家居设备&#…
阅读更多...
8.2 Go 导入与导出

8.2 Go 导入与导出

💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…
阅读更多...
【清华大学】《自然语言处理》（刘知远）课程笔记 ——NLP Basics

【清华大学】《自然语言处理》（刘知远）课程笔记 ——NLP Basics

自然语言处理基础（Natural Language Processing Basics, NLP Basics） 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言…
阅读更多...
雷电模拟器中控实现，直通源码

雷电模拟器中控实现，直通源码

目录 前言 开发 需求 初始环境 UI搭建 功能实现 前言 本篇为易语言雷电模拟器中控项目实现操作，一般用于：脚本开发多线程模拟操作等起始模板框架，使用易语言原因为其前后端一体化，对于脚本开发而言更为方便。 开发 需求 以…
阅读更多...
Python爬虫入门与登录验证自动化思路

Python爬虫入门与登录验证自动化思路

1、pytyon爬虫 1.1、爬虫简介 Python爬虫是使用Python编写的程序，可以自动访问网页并提取其中的信息。爬虫可以模拟浏览器的行为，自动点击链接、填写表单、进行登录等操作，从而获取网页中的数据。 使用Python编写爬虫的好处是，…
阅读更多...
[数据集][目标检测]足球场足球运动员身份识别足球裁判员数据集VOC+YOLO格式312张4类别

[数据集][目标检测]足球场足球运动员身份识别足球裁判员数据集VOC+YOLO格式312张4类别

数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：312 标注数量(xml文件个数)：312 标注数量(txt文件个数)：312 标注类别…
阅读更多...
LeetCode | 1624.两个相同字符之间的最长子字符串

LeetCode | 1624.两个相同字符之间的最长子字符串

这道题拿到手想法就是去双重遍历暴力解，对于每个字符，从后往前遍历字符串，找到从后往前一直到本次遍历的这个字符串这段子串中和这个字符串相同的字符位置，然后得到子字符串的长度，和ans存储的值做一个比较&#xff0c…
阅读更多...
umap降维，c++用法纪实

umap降维，c++用法纪实

全是血泪&#xff0c;可惜对于大量数据&#xff0c;速度还是太慢。 一、代码 // ConsoleApplication2.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。 //#include <iostream>#include "knncolle/knncolle.hpp" #include "Umap.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023