3.每天进步一点点-Python爬虫需要了解HTTP 请求报文

news2024/11/28 18:00:33

14天学习训练营导师课程:
杨鑫《Python 自学编程基础》
杨鑫《 Python 网络爬虫基础》
杨鑫《 Scrapy 爬虫框架实战和项目管理》

文章目录

  • 1.HTTP 请求报文
    • 1.1 请求行
    • 1.2 请求头
    • 1.3 空行
    • 1.4 请求正文

1.HTTP 请求报文

​ HTTP(Hyper Text Transfer Protocol,超文本传输协议)是万维网服务器将超文本传输 到本地浏览器的传送协议,基于 TCP/IP 通信协议来传递数据。HTTP 是无状态的,以此限 制每次连接只处理一个请求。服务器在处理完客户端请求,并接收到客户端的应答后,即断开连接,这种方式的好处是节省传输时间。

​ 当然,如果想保持连接,可以在请求首部字段中添加请求头 Connection: keep-alive,表 明使用持久连接,或者通过 Cookie 这类方式间接地保存用户之前的 HTTP 通信状态。

​ HTTP 请求报文由四部分组成,依次是请求行请求头空行请求正文。下面依次 对这四部分进行介绍。

1.1 请求行

请求行它由请求方法、URL 和 HTTP 版本三个字段组成,使用空格进行分隔。

比如访问百度, 请求行的内容为 如下。 HTTP/1.1 定义了八种请求方法,具体描述如表 1.1 所示

在这里插入图片描述

八种请求方法

方法描述
GET请求指定页面,并返回页面内容
POST一般用于提交表单或上传数据,数据被包含在请求体中
PUT客户端向服务器发送数据,以取代指定文档内容
DELETE请求服务器删除指定页面
CONNECTHTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器
HEAD类似于 GET 请求,只是返回的响应无具体内容,一般用于获取报头
OPTIONS允许客户端查看服务器的性能
TRACE回显服务器收到的请求,一般用于测试或诊断

1.2 请求头

1.3 空行

1.4 请求正文

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/49430.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于51单片机锂电池电压电量检测(原理图+PCB+程序)

资料编号:198 下面是该资料仿真演示视频: 198-基于51单片机锂电池电压电量检测(原理图PCB程序全套资料)功能介绍: 采用51系列自带AD的单片机stc12c5a60s2型号单片机(也是51单片机,外观引脚大小…

20uec++多人游戏【小球与玩家互动】

为小球添加生命值组件和伤害处理函数 //生命值组件UPROPERTY(VisibleAnywhere, BlueprintReadOnly, Category "Components")class USHealthComponent * HealthComp;//伤害处理函数UFUNCTION()void HandleTakeAnyDamage(USHealthComponent * OwnerHealthComp, float…

【蓝桥杯十四届第二期模拟赛】第四题——递归求解(python)(耗时仅不到1s出答案)(lru_cache)

前言 这次的第二期蓝桥杯模拟赛为登录官网考试,并没有使用我们那个机房的破电脑,你都让我使用我自己的电脑了,那我不得皮一下【doge】 第四题是填空题,虽然我报名的是c语言赛道,但是还是默默打开了我的pycharm&#…

Bandizip去除广告,注册图标,状态栏文本

Bandizip7.0版本之后,免费版就加入了广告。 安装完成后,Bandizip界面如下,很遗憾,我的没有出现广告,没法展示。 目标:去除界面左上角的注册图标,以及下方底部的状态栏“固实压缩”字样那里&am…

安全多方学习开源框架调研

原创 复旦DSG研究组 开放隐私计算 开放隐私计算 开放隐私计算OpenMPC是国内第一个且影响力最大的隐私计算开放社区。社区秉承开放共享的精神,专注于隐私计算行业的研究与布道。社区致力于隐私计算技术的传播,愿成为中国 “隐私计算最后一公里的服务区”…

ROS + vscode环境搭建

问题描述 使用ROS vscode进行开发. 解决方案 1. 安装ROS和vscode. 2. 打开vscode, 安装ROS插件. 3. 创建工作空间, 并进行一次catkin_make. mkdir -p catkin_ws/src cd catkin_ws/ catkin_make 4. 用vscode打开工作空间. cd catkin_ws/ code . vscode的ROS插件会自动配…

计算机网络笔记4 网络层

文章目录笔记前言一、网络层概述二、网络层数据交换方式2.1 电路交换2.2 报文交换2.3 分组交换三、网络层协议及报文格式3.10 IP数据报格式3.1 IPv4协议分类编址划分子网无分类编址CIDR3.20 IPv6数据报格式3.2 IPv6协议IPv6地址类型IPv4和IPv6之间的过渡3.3 ARP协议(地址解析协…

Go-Excelize API源码阅读(三十八)——SetCellValue

Go-Excelize API源码阅读(三十八)——SetCellValue 开源摘星计划(WeOpen Star) 是由腾源会 2022 年推出的全新项目,旨在为开源人提供成长激励,为开源项目提供成长支持,助力开发者更好地了解开源…

Java基础:方法

1. 回顾方法的定义和调用 前面的课程中,使用过嵌套循环输出矩形,控制台打印出矩形就可以了,因此将方法定义为 void ,没有返回值。 在主方法 main 中直接被调用。 public class Method { public static void main(String[] args…

Lambda 表达式

1. Lambda 表达式 1.1 通过接口传递代码 针对接口而非具体类型进行编程,可以降低程序的耦合性,提高灵活性,提高复用性。接口常被用于传递代码,比如,我们知道 File 有如下方法: public File[] listFiles(F…

Unity3D中实现Player的第一人称视角

效果,上面为Scene场景,下面为Game场景 0创建地形,当然可以先简单的创建一个空白的Terrain。这里我已经对地形进行了初步的编辑和渲染。 1.在Hierarchy视图中右键创建一个胶囊体(Capsule)作为Player,添加好后重置胶囊体…

039-java集合框架的作用及使用(Collection,Set,Map,SimpleDateFormat)

上一讲:038-JTable控件应用案例讲解_CSDN专家-赖老师(软件之家)的博客-CSDN博客 Java集合体系框架 ava集合类主要由两个根接口Collection和Map派生出来的。 Collection派生出了三个子接口: 集合框架中所有的接口,类都在java.util包中 集合就是动态数组,与数组…

Ubuntu18 vscode配置Ceres的调试

Ceres只支持CMake编译,不支持外部链接方式。因此vscode无法配置Ceres调试! 具体过程如下: 首先写了个CMakeLists.txt,(官方demo),测试编译: project(ceres_test) cmake_minimum_required(VERSION 3.0) f…

uni-app进阶使用(vuex、组件、api)

在上一篇文章介绍了uni-app的基本用法,本章介绍在uni-app中vuex、组件、api的用法。 一、如何使用vuex 1.1 初始化 在项目根目录下创建store文件夹,在其内新建一个文件index.js,在index.js对vuex进行初始化。 import Vuex from vuex impor…

TML+CSS+JS大作业:腾讯课堂首页 1页 侧拉菜单

⛵ 源码获取 文末联系 ✈ Web前端开发技术 描述 网页设计题材,DIVCSS 布局制作,HTMLCSS网页设计期末课程大作业 | 家公司官网网站 | 企业官网 | 酒店官网 | 等网站的设计与制 | HTML期末大学生网页设计作业,Web大学生网页 HTML:结构 CSS&…

算法竞赛入门【码蹄集进阶塔335题】(MT2281-2285)

算法竞赛入门【码蹄集进阶塔335题】(MT2281-2285) 文章目录算法竞赛入门【码蹄集进阶塔335题】(MT2281-2285)前言为什么突然想学算法了?为什么选择码蹄集作为刷题软件?目录1. MT2281 另一种模2. MT2282 小码哥的认可3. MT2283 整数…

安卓版微信8.0.31内测版出炉:安装包变小,功能变多!

人是社会性生物,建立依恋、经营亲密关系是人的本能,只不过到了网络时代之后,用户进行交流的方式几乎都变成了微信等社交软件。 不仅可以让用户很便捷的和朋友进行沟通,并且在上班办公的时候,也是可以轻松传输文件等&a…

C++ · 手把手教你写一个扫雷小游戏

Hello,大家好,我是余同学。这两个月真是太忙了,无暇给大家更新文章… 暑假不是写了个扫雷小游戏吗(Link)?考虑到很多同学对代码没有透彻的理解,那么,这篇文章,我们来详细分析一下代码. 我们分…

【图像处理OpenCV(C++版)】——初学OpenCV

前言: 😊😊😊欢迎来到本博客😊😊😊 🌟🌟🌟 本专栏主要结合OpenCV和C来实现一些基本的图像处理算法并详细解释各参数含义,适用于平时学习、工作快…

百数低代码开发平台助力生产管理:制造管理系统

随着全球经济化与信息化,制造企业的生产管理系统的建立对于制造业企业的信息化以及生产的智能化具有重要的意义,同时也是促进现代工业进步和发展的基础条件之一。我国制造业属于传统行业,凭借生产规模大且劳动力资源丰富在全世界拥有着一定地…