python3 爬虫相关学习3:requests.get(url)的各种属性

news2024/11/25 23:46:07

目录

1  requests.get(url) 的各种属性

1.1 response.text


1  requests.get(url) 的各种属性,也就是response的各种属性

  • 接触的requests模块的常用功能:
  • 一般把 response = requests.get(url)

requests.get(url)的各种属性

  • print(response.text)
  • print(response.content.decode())          # 注意这里!
  • print(response.url)                         # 打印响应的url
  • print(response.status_code)                 # 打印响应的状态码
  • print(response.request.headers)             # 打印响应对象的请求头
  • print(response.headers)                     # 打印响应头
  • print(response.request._cookies)            # 打印请求携带的cookies
  • print(response.cookies)                     # 打印响应中携带的cookies
     

2 下面进行测试


#E:\work\FangCloudV2\personal_space\2学习\python3\py3_test1.txt

import requests

url='https://baidu.com'
response=requests.get(url)
#print(response.text)
print(" ")
print(response.content.decode())
print(" ")
print(response.url)
print(" ")
print(response.status_code)
print(" ")
print(response.request.headers)
print(" ")
print(response.headers)
print(" ")
print(response.request._cookies)
print(" ")
print(response.cookies)

2.1 response.text

  • response.text 是 requests模块自动根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码
  • 返回的类型是,str 类型

  • print(response.text) 的结果
  • 请求baidu.com 可以看到返回的是乱码

 

1.2  response.content.decode()

  • response.content 返回的内容,没有指定解码类型,需要解码
  • 缺省默认的是 "utf-8"
  • 返回的类型是,byte

1.2.1 response.content.decode() 或者  response.content.decode("utf-8")

print(response.content.decode())          # 注意这里!

#E:\work\FangCloudV2\personal_space\2学习\python3\py3_test1.txt

import requests

url='https://baidu.com'
response=requests.get(url)
#print(response.text)
print(" ")
print(response.content.decode())

 

1.2.2   response.content.decode("GBK") 报错

 

1.2.3 关于编码知识

  • 如下,还没有整理完
编码方式 编码字符集    
   不同的子集   
ANSI编码系统默认的编码方式中文GBK,英文ASCII ,繁体中文big5   
       
GBXXX编码GBXXX字符集GB2312-80 
  GBK655362^16双字节编码,
(1个字节是8位2进制)
(2个字节是16位)
编码范围是0x8140~0xFEFE
共收录了21003个汉字,883个字符
  GB18030 
   
ascii 编码 ascii 字符集标准ascii 字符集7位2^7128个字符
   扩展ascii 字符集8位2^8256个字符
unicode编码utf-8编码,utf-16编码,utf-32编码Unicode字符集utf-8 兼容 ascii
 utf-8编码带BOM 和 无BOM的  
   
   
UCS-2, UCS-4 UCS-通用字符集ISO  双字节编码
       
       
BIG5编码BIG5字符集 
   
   
源字符集编码      
       
可执行字符集编码  
       

 

1.3 print(response.url)

print(response.url)

 

 1.4 print(response.status_code)

 1.5 print(response.request.headers)

 

1.6 print(response.headers)

 


1.7 print(response.request._cookies)

 

 1.8 print(response.cookies)

 

2 继续

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/529652.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Flink Watermark 源码分析

随着 flink 的快速发展与 API 的迭代导致新老版本差别巨大遂重拾 flink,在回顾到时间语义时对 watermark 有了不一样的理解。 一、如何生成 在 flink 1.12(第一次学习的版本)时 watermark 生成策略还有两种: punctuated 和 periodic,在 1.17 中 punctua…

基于自建靶场三层网络的内网渗透

注意:一切内容仅用于安全技术的分享,切勿用于其他用途,产生严重的后果与作者无关 前言介绍: 网络拓扑图: 为了方便起见,我在每个服务器放有webshell,这里主要是让我们熟悉sock代理的使用。 这…

修剪二叉搜索树

1题目 给你二叉搜索树的根节点 root ,同时给定最小边界low 和最大边界 high。通过修剪二叉搜索树,使得所有节点的值在[low, high]中。修剪树 不应该 改变保留在树中的元素的相对结构 (即,如果没有被移除,原有的父代子代关系都应当…

10 常见网站安全攻击手段及防御方法

在某种程度上,互联网上的每个网站都容易遭受安全攻击。从人为失误到网络罪犯团伙发起的复杂攻击均在威胁范围之内。 网络攻击者最主要的动机是求财。无论你运营的是电子商务项目还是简单的小型商业网站,潜在攻击的风险就在那里。 知己知彼百战不殆&…

【一起撸个深度学习框架】6 折与曲的相会——激活函数

CSDN个人主页:清风莫追欢迎关注本专栏:《一起撸个DL框架》GitHub获取源码:https://github.com/flying-forever/OurDLblibli视频合集:https://space.bilibili.com/3493285974772098/channel/series 文章目录 6 折与曲的相会——激活…

史蒂夫·青木主题的 Game Jam

准备好潜入史蒂夫青木的脑海中,创造一个探索他内心思想的游戏吧!史蒂夫青木主题 Game Jam 正式推出,这是一场为期两周的游戏制作比赛,鼓励参赛者创造和史蒂夫青木内心世界有关的游戏。 探索这位传奇艺术家和 DJ 潜意识&#xff0c…

nginx压测记录

nginx压测记录 1 概述2 原理3 环境3.1 设备与部署3.2 nginx配置/服务器配置 4 netty服务5 步骤6 结果7 写在最后 1 概述 都说nginx的负载均衡能力很强,最近出于好奇对nginx的实际并发能力进行了简单的测试,主要测试了TCP/IP层的长链接负载均衡 2 原理 …

Python 与数据科学实验(Exp9)

实验9 多分类手写数字识别实验 1.实验数据 (1)训练集 所给数据一共有42000张灰度图像(分辨率为28*28),目前以train_data.csv文件给出. 图像内容涵盖了10个手写数字0-9。 图像示例如图所示: train_data.…

算法(一)—— 回溯(4)困难题

文章目录 1 37 解数独2 51 N 皇后 1 37 解数独 首先明确需要两个for循环,这样才可以遍历整个9*9的表。 此题数字的选取逻辑再次展现了回溯的暴力性。 此题需要拥有返回值,与数据结构(六)—— 二叉树(5)中…

物联网和云计算:如何将设备数据和云端服务相结合

第一章:引言 物联网和云计算是当今IT领域中的两个重要概念,它们的结合为企业和个人带来了巨大的机遇和挑战。物联网通过连接各种设备和传感器,实现了设备之间的互联互通,而云计算则提供了强大的计算和存储能力。本文将深入探讨如何…

MySQL学习(基础篇1.0)

MySQL概述(基础) SQL 全称Structured Query Language,结构化察浑语言。操作关系型数据库的编程语言,定义了一套操作关系型数据库的统一标准。 SQL通用语法 SQL语言的统统用语法: SQL语句可以单行或多行书写,以分号…

论文阅读|基于图神经网络的配电网故障定位方法

来源:北京交通大学硕士学位论文,2022 摘要 电网拓扑形态多样,重构场景频繁,,传统故障定位方法的单一阈值设定无法满足要求,基于人工智能的配电网故障定位技术具有很大的应用潜力,但仍存在着拓…

HTML概述及常用语法

什么是 HTML HTML 用来描述网页的一种语言 HTML -- hyper text markup language 超文本标记语言 超文本包括&#xff1a;文字、图片、音频、视频、动画等等 标记语言&#xff1a;是一套标记标签&#xff0c; HTML 使用标记标签来 描述 网页 <> HTML 发展史 HTML5 …

Web基础 ( 二 ) CSS

2.CSS 2.1.概念与基础 2.1.1.什么是CSS Cascading Style Sheets 全称层叠样式单 简称样式表。 是告诉浏览器如何来显示HTML的元素的特殊标记 2.1.2.编写方式 2.1.2.1.外部文件 在html文件的<head>中加入<link>结点来引入外部的文件 <link rel"stylesh…

Go Wails Docker图形界面管理工具 (5)

文章目录 1. 前言2. 效果图3. 代码 1. 前言 接上篇&#xff0c;本次添加Docker存储卷功能 待优化: 优化分页效果添加存储卷大小查看功能 2. 效果图 3. 代码 直接调用官方库 app.go func (a *App) VolumeList() ([]*volume.Volume, error) {resp, err : Cli.VolumeList(context…

Linux中关于时间修改的命令

目录 Linux中关于时间修改的命令 data命令 语法格式 示例 date命令中的参数以及作用 常用格式示例 timedatectl命令 语法格式 timedatectl 命令中的参数以及作用 常用格式 Linux中关于时间修改的命令 data命令 data --- 用于显示或设置系统的时间与日期 用户只需在强…

干货丨警惕!14个容易导致拒稿的常见错误

Hello,大家好&#xff01; 这里是壹脑云科研圈&#xff0c;我是喵君姐姐~ 从做研究、到写论文、再到投稿&#xff0c;每一步都是巨大的挑战。以下列举了一些在这些过程中可能导致拒稿的常见错误&#xff0c;希望能帮助大家避开。 01 格式问题 1.没有遵守投稿须知 期刊提供了…

oracle基于时间点恢复遇到ORA-10877错误

一次给客户进行基于时间点恢复的时候,出现报错ORA-10877,如下: 这里很奇怪,这个归档日志有的,当前全库的备份是05-14 23点的,所以应该是可以恢复的,检查一下alter日志: 这里报错,指定的时间scn不属于当前的incarnation,那么检查一下当前的incarnation: 这里当前的incarnation是…

Linux实操篇---常用的基本命令3(用户(组)管理命令、文件权限类、搜索查找类、压缩解压类)

一、用户管理命令 Linux是一个多用户&#xff0c;多任务的分时操作系统。甚至有可能同时登录&#xff0c;同时操作。所以给用户不同的账号。 useradd添加新用户 基本语法&#xff1a; 只能用root进行操作。 useradd 用户名 添加新用户 useradd -g 组名 用户名 添加新用…

MyBatis Plus 代码生成器

一、引入POM依赖 <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.3.1</version></dependency><dependency><groupId>com.baomidou</groupId&g…