002.Python爬虫系列_初识协议

news2024/11/23 13:02:08

无奋斗不青春

我 的 个 人 主 页:👉👉 失心疯的个人主页 👈👈
入 门 教 程 推 荐 :👉👉 Python零基础入门教程合集 👈👈
虚 拟 环 境 搭 建 :👉👉 Python项目虚拟环境(超详细讲解) 👈👈
PyQt5 系 列 教 程:👉👉 Python GUI(PyQt5)文章合集 👈👈
Oracle数据库教程:👉👉 Oracle数据库文章合集 👈👈
优 质 资 源 下 载 :👉👉 资源下载合集 👈👈
优 质 教 程 推 荐:👉👉 Python爬虫从入门到入狱系列 合集👈👈
分隔线
在这里插入图片描述

初识协议

    • 初识协议
      • 协议概念
      • 通讯规范
        • 背景

初识协议

协议概念

  • 网络协议指的是计算机网络中互相通信的对等实体之间交换信息时所必须遵守的规则、标准和规范的集合
  • 用于确保网络中的设备能够相互理解和通信,实现数据的传输和共享
  • 那些由不同厂商的设备、不同的CPU以及不同的操作系统组成的计算机之间,只要遵循相同的"协议"就能够实现通信
  • 大多数网络都是采用分层的体系结构,每一层都建立在它的下层之上,向它的上一层提供一定的服务,而把如何实现这一服务的细节对上一层加以屏蔽
  • 客户端通过URL访问服务器,这个仅仅是一个表象,底层原理并不是这么简单
  • 比如
    • 客户端可能有谷歌浏览器、火狐浏览器、360浏览器等,那么服务器怎么获取到这些信息呢?
    • 客户端访问时候的host信息,服务器又如何获取?
    • 客服端数据请求方式get还是post,服务器又如何获取?
  • 这些信息,我们不可能全部通过URL来传递,那么就需要通过一个附加数据的形式进行传递
  • 此时,数据传递就涉及到传递的具体格式,服务器才能把接收到的数据根据具体的格式进行解析
  • 所以,我们就对客户端和服务器之间的通讯进行规范
  • 例如:
    • 假如我们规定数据传递的具体格式为字典
    • 那么,我们就要确定每个信息对应的key,客户端根据固定的key进行传值
    method: get             # 请求方式
    host: www.baidu.com     # host信息
    user-agent: Chrome      # 浏览器信息
    .
    .
    .
    
  • 网络协议的作用
    • 确保数据传输和共享的稳定性和可靠性,它规定了数据的格式、传输方式和通信规则,使得设备之间能够正确的接收和发送数据。
    • 同时,网络协议还有错误检测和纠正功能,能够确保数据的完整性和准确性
  • 网络协议分类
    • TCP/IP协议,是一种传输层协议。用于实现互联网中数据的传输和路由
    • HTTP协议,是一种应用层协议。用于web浏览器和web服务器之间的通信
    • FTP协议,是一种文件传输协议。用于在网络中传输文件
    • SMTP协议,是一种电子邮件传输协议。用于在网络中传输电子邮件

通讯规范

背景
  • 从一台计算机传递数据到另一台计算机,需要很多步骤

    • 1、准备好需要传输的数据
    • 2、如果数据包比较大,对数据包进行拆分和编号
    • 3、对每个数据包,包装IP地址
    • 4、将数据转换成电子信号进行传递
  • 每个步骤的数据都是有固定的格式规范,这些约定俗成的规范统称为"协议";

  • 而在所有步骤中的协议集合称为"TCP/IP协议栈"(是一个协议栈,由很多相关协议组成,并非是某一个单独协议)

  • 将这些步骤按照层次划分, TCP/IP协议模型可以分为四层

    • 应用层:规定应用程序之间数据交互的规范(常见协议:HTTP、TFTP、FTP、NFS、WAIS、SMTP等)
    • 传输层:将大数据进行分解编号,保证数据传输到达<超时重传,丢包重传>(常见协议:TCP、UDP)
    • 网络层:地址管理和路由选择(常见协议:IPv4、IPv6)
    • 网络接口层:数据帧和比特流进行转换,比特流和电子信号进行转换
    • TCP/IP四层模型是参照原本的OSI七层模型实施的。如图
    • 在这里插入图片描述
  • 数据经过这四层会进行层层包装和解包

    • 在这里插入图片描述
  • 我们的关注点应该是:应用层(掌握)+传输层(了解)

  • 应用层(HTTP)

    • 开发应用程序,大部分只需要关注这一层
    • 应用层协议着重学习HTTP协议,绝大多数的web开发,都是构建在HTTP协议之上的web应用
  • 传输层(TCP和UDP)

    • TCP与UDP对比

      • 在这里插入图片描述
    • 关于面相连接

      • 在这里插入图片描述

      • 传输层,主要是在发送方和接收方直接建立一条通道,保证后续的数据包传递

      • TCP协议是面相连接,在一开始就会确定一条通道(1——2——3——5——8),后续所有的数据包全部都按这一条通道线路传输

      • UDP协议是无连接,每一次的数据包传输的通道都不固定,每一次的传输通道都可能不同,是不确定的。

    • 数据传输可靠性

      • 在这里插入图片描述

      • TCP协议,客户端每次传输数据包给服务器之后,服务器都要回传信息给客户端,告诉客户端有没有接收成功,成功之后再继续传下一个数据包

      • UDP协议,客户端每次传输数据包给服务器,服务器不会回传信息给客户端,传了一个数据包之后继续传下一个数据包

      • 所以UDP传输效率更高,但是TCP传输更可靠(会确保服务器收到)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2091663.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

论文学习哇

2024.7.18 1.A gated cross-domain collaborative network for underwater object detection 对图像进行增强 摘要&#xff1a;水下存在低对比度和低光的问题&#xff0c;有的学者通过水下图像增强来提高图片质量&#xff0c;但会移除或者改变水下物体的细节。所以作者探索两…

【Android】使用 ADB 查看 Android 设备的 CPU 使用率

目录 一 查看整体CPU使用率 1 top 二 查看特定应用的CPU使用率 1 获取特定应用的进程 ID (PID) 2 使用 top 命令并过滤该 PID 三 常见的CPU相关命令参数 1 adb shell top 参数 一 查看整体CPU使用率 1 top top命令将显示当前所有进程的 CPU 使用情况&#xff0c;包括每…

Codeforces Round 969 (Div. 2) 题ABC详细题解,包含(C++,Python语言描述)

前言&#xff1a; 首先让我们恭喜tourist创造历史 他是第一&#xff0c;他又是第一&#xff0c;他总是第一&#xff0c;第一个codefores上4000分的&#xff0c;创造一个新的段位:Tourist&#xff0c;他的名字就是一个新的段位&#xff0c;他就是最高的山&#xff0c;最长的河 本…

shell脚本--正则表达式

一、正则表达式的类型 在Linux中,有两种流行的正则表达式引擎: POSIX基础正则表达式(basic regular expression,BRE)引擎 POSIX扩展正则表达式(extended regular expression,ERE)引擎 POSIX BRE引擎通常出现在依赖正则表达式进行文本过滤的编程语言中。它为常见模式提供…

蓝牙对象交换协议(OBEX) - 常见的opcode介绍

零.声明 本专栏文章我们会以连载的方式持续更新&#xff0c;本专栏计划更新内容如下&#xff1a; 第一篇:蓝牙综合介绍 &#xff0c;主要介绍蓝牙的一些概念&#xff0c;产生背景&#xff0c;发展轨迹&#xff0c;市面蓝牙介绍&#xff0c;以及蓝牙开发板介绍。 第二篇:Trans…

六、vue进阶知识点

一、scoped解决样式冲突 默认情况:写在组件中的样式会 全局生效→ 因此很容易造成多个组件之间的样式冲突问题。 1.全局样式:默认组件中的样式会作用到全局 2.局部样式:可以给组件加上 scoped 属性,可以让样式只作用于当前组件scoped原理? 1.当前组件内标签都被添加 data-v-…

【C++从练气到飞升】17---set和map

&#x1f388;个人主页&#xff1a;库库的里昂 ✨收录专栏&#xff1a;C从练气到飞升 &#x1f389;鸟欲高飞先振翅&#xff0c;人求上进先读书&#x1f389; 目录 ⛳️推荐 一、前言 1.1 关联式容器 1.2 键值对 1.3 树型结构的关联式容器 二、set 2.1 set的介绍 2.2 s…

百元蓝牙耳机品牌哪个牌子好?入围四大排名蓝牙耳机推荐

蓝牙耳机有两个极端&#xff0c;好用的蓝牙耳机音质效果堪比专业音响&#xff0c;而不好用的则不仅佩戴不舒服还容易伤耳&#xff0c;但是想要找到一款性价比高的百元蓝牙耳机不是一件容易的事。百元蓝牙耳机品牌哪个牌子好&#xff1f;身为一名蓝牙耳机发烧友&#xff0c;就给…

红石电路(我的世界)

红石电路&#xff08;Redstone circuits&#xff09;为玩家建造的&#xff0c;可以用于控制或激活其他机械的结构。 电路本身既可以被设计为用于响应玩家的手动激活&#xff0c;也可以让其自动工作——或是反复输出信号&#xff0c;或是响应非玩家引发的变化&#xff0c;例如生…

基于机器学习的商品评论情感分析

从淘宝爬取评论 使用Selenium模拟真实登录行为&#xff0c;并爬取数据。 数据清理 如果文本中有“666“&#xff0c;”好好好“等无用词语&#xff0c;去掉评论中的标点符号。 分词 使用jieba精确模式进行分词&#xff0c;构造词典 将词汇向量化 创建词语字典&#xff0c;并…

视频:Python深度学习量化交易策略、股价预测:LSTM、GRU深度门控循环神经网络|附代码数据...

全文链接&#xff1a;https://tecdat.cn/?p37539 分析师&#xff1a;Shuo Zhang 本文以上证综指近 22 年的日交易数据为样本&#xff0c;构建深度门控循环神经网络模型&#xff0c;从股价预测和制定交易策略两方面入手&#xff0c;量化循环神经网络在股票预测以及交易策略中的…

又一个免费代码生成工具

很多开发者对代码生成的印象可能只是单表 CURD&#xff0c;然而橙单却选择运营免费的代码生成工具&#xff0c;一定是有干货的。 功能 赠人玫瑰&#xff0c;手有余香。做良心开源&#xff0c;让更多开发者受益&#xff0c;这是我们的选择。 支持工作流、在线表单、用户和数据权…

用Python实现时间序列模型实战——Day 6: ARIMA 模型的理论基础

一、学习内容 1. ARIMA 模型的定义与公式推导 ARIMA 模型&#xff1a; ARIMA 模型全称为自回归积分滑动平均模型 (AutoRegressive Integrated Moving Average)&#xff0c;用于分析和预测单变量时间序列数据。ARIMA 模型结合了自回归 (AR) 模型、差分 (I) 和移动平均 (MA) 模…

黑神话悟空带火了哪些三维建模技术

自《黑神话&#xff1a;悟空》面世以来&#xff0c;不少小伙伴们被其中的3D场景所惊艳&#xff01; 在人工智能时代&#xff0c;NeRF&#xff08;Neural Radiance Fields&#xff0c;神经辐射场&#xff09;与3DGS&#xff08;3D Gaussian Splatting&#xff0c;3D高斯溅射&am…

Elastic Stack--ELFK架构

前言&#xff1a;本博客仅作记录学习使用&#xff0c;部分图片出自网络&#xff0c;如有侵犯您的权益&#xff0c;请联系删除 学习B站博主教程笔记&#xff1a; 最新版适合自学的ElasticStack全套视频&#xff08;Elk零基础入门到精通教程&#xff09;Linux运维必备—Elastic…

肿瘤免疫新视野:揭秘CXCL13+ T细胞对免疫检查点阻断的响应

肿瘤免疫新视野&#xff1a;揭秘CXCL13 T细胞对免疫检查点阻断的响应 在免疫治疗领域&#xff0c;探索肿瘤反应性T细胞对免疫检查点阻断&#xff08;ICB&#xff09;的响应机制一直是研究热点。一篇2022年发表在《Nature Cancer》上的研究——“Single-cell meta-analyses rev…

C++set与map容器

目录 一、关联式容器和序列式容器 二、树形结构的关联式容器 三、set容器 1.set容器的定义 2.set的构造 3.set的迭代器 4.set的容量 5.set的修改操作&#xff08;set容器不支持修改数据&#xff09; 6.set的一些其他常用接口 &#xff08;1&#xff09;find函数 &…

Google Earth Engine:对NDVI进行惠特克平滑算法进行长时序分析

目录 简介 函数 ee.Array.identity(size) Arguments: Returns: Array transpose(axis1, axis2) Arguments: Returns: Array matrixMultiply(image2) Arguments: Returns: Image matrixSolve(image2) Arguments: Returns: Image arrayFlatten(coordinateLabels, …

Ajax day-01

目录 一. Ajax 1.1 创建XMLHttpRequest对象 1.2 Ajax向服务器发送请求 1.3 设置http请求头 1.4 发送请求 1.5 获得响应 1.6 监听请求状态的改变 1.7 获取响应头 1.8 获得响应主体 1.9 处理服务器返回的数据 1.10 怎样向服务器传递数据&#xff1f; 二. 接口文档 三…

线性表之数组

数组&#xff08;Array&#xff09;是 C/C 中最基础和重要的数据结构之一&#xff0c;它提供了一种有效存储和访问固定大小元素集合的方式。关于数组的定义和使用相信大家都已经熟练掌握&#xff0c;本文将着重为大家剖析数组的物理结构和逻辑结构。 1. 数组的物理结构 数组的…