python爬虫1：基础知识

news2024/11/5 17:34:41

前言

python实现网络爬虫非常简单，只需要掌握一定的基础知识和一定的库使用技巧即可。本系列目标旨在梳理相关知识点，方便以后复习。

目录结构

这里的爬虫，一般指的是网络爬虫，即可以自动去网络上爬取我们所需的内容的脚本程序，当然这里的自动其实是说你已经写好了程序。

爬虫有一句很关键的话：所见即所得。意思是你自己能在网上看见的，就是可以爬取的内容。这里需要说明一下：一个网站，你是普通用户，那么你写的爬虫也是用你自己普通用户的身份，那么只能爬取普通用户可以看见的内容，那些vip用户的内容你无法爬取（如果想要爬取，要么换一个用户账号，要么嘿嘿嘿）。

在这里插入图片描述

主要流程如下：

1. 确定目标：确定要爬取的网页/网站
2. 请求网页以获取网页源码
3. 解析网页源码以获取所需的内容
4. 将获取的内容保存到我们的本地

如果你只是学来玩（我也是菜鸡），那么可以学习的内容其实不是很多，主要为：

嗯，学的东西不多，只有亿点点。

在这里插入图片描述

这里简单说明一下html的基础知识，主要是方便看后面教程时大家都懂。

首先，随便打开一个网页，鼠标右键，选择”查看源码“，你就可以html代码了：

在这里插入图片描述

可以发现一个最简单的事实：html代码都是类似于<xxx>xxxx</xxxx>这样的形式，我们将它称之为标签，其可以分为两类：双标签或者单标签。双标签就是上图中那种，同一个名字会出现两次形成闭合，单标签自然只出现一次。

标签里面的字母自然具有其特殊意义。这里我肯定不会列完，只列几个最为重要的标签，也是爬虫时用到最多的标签：

在这里插入图片描述

在这里插入图片描述

**其实，我们爬虫，爬取的就是网页中这些具有关键信息的代码内容，然后再去利用这些去获取所需。**比如我们获取图片，其实不是真的直接就把图片下载下来，而是先获取网页源码，接着获取图片链接，最后再去下载图片。

现在网页常见的有两类：

静态网页
- 即我们打开网页，它直接就加载完了的，不会说你滚轮往下滚，会不停加载内容
- 这类网页爬取较为简单，只要你能绕过反爬虫机制就可以了
动态网页
- 即我们打开网页，内容只加载了部分，你往下滑动，内容会不停更新，常见的网站比如百度图片之类的
- 这类网页爬取比较困难，绕过反爬虫机制只是必须的一步，还需要进行动态处理

最常见的两种请求方式：

GET请求
- 比如你搜索某个东西都是GET请求
- 其一般带有参数，比如百度搜索，你随便搜索一个，看看上面的网页链接，你会发现：
- 这时候，你就意识到：GET请求的参数都是透明的（这也是为什么不用于登录这样的表单页面的），并且参数前面一般带有一个标记字段，比如这里wd=xxxx。
POST请求
- 一般涉及到填写表单（登录之类的表单）都涉及到POST请求
- POST请求肯定是隐藏看不见的，但是你想找到你提交的登录表单还是可以的，只是比较麻烦
- 这里我举个例子，豆瓣登录，选择密码登录，随便输入一串，然后点击登录，不过在此时需要打开浏览器的”检查“功能（任何浏览器都有，但是可能名字不同，这里是Google），然后细心去找：