Python爬虫技术 第10节 requests库

news2024/9/20 10:47:26

requests 是 Python 中非常流行的 HTTP 库,它使得发送 HTTP/1.1 请求变得简单直观。下面我会通过几个实际案例来详细介绍如何使用 requests 库。

1. 发送 GET 请求

最简单的请求类型就是 GET 请求,通常用于获取网页或其他资源。

import requests

# 发送 GET 请求
response = requests.get('https://www.example.com')

# 打印响应的文本内容
print(response.text)

# 打印响应的状态码
print(response.status_code)

2. 添加请求头

许多网站会根据请求头中的 User-Agent 字段来判断请求来源,因此有时我们需要自定义请求头。

headers = {
    'User-Agent': 'My App/0.0.1',
}

response = requests.get('https://www.example.com', headers=headers)

3. 发送 POST 请求

POST 请求通常用于向服务器发送数据,例如登录或提交表单。

data = {
    'username': 'example_user',
    'password': 'example_password',
}

response = requests.post('https://www.example.com/login', data=data)

if response.status_code == 200:
    print("Login successful.")
else:
    print("Login failed.")

4. 上传文件

使用 requests 可以轻松地上传文件。

files = {'file': open('path/to/file.jpg', 'rb')}

response = requests.post('https://www.example.com/upload', files=files)

# 记得关闭文件
files['file'].close()

5. 处理 JSON 数据

requests 自动解析 JSON 响应,使你无需手动解析 JSON 字符串。

response = requests.get('https://api.example.com/data')
json_data = response.json()

# 访问 JSON 数据
print(json_data['key'])

6. 超时设置

可以为请求设置超时时间,防止请求长时间无响应。

try:
    response = requests.get('https://www.example.com', timeout=5)
except requests.Timeout:
    print("The request timed out")
else:
    print("The request did not time out")

7. 处理重定向

requests 默认会自动处理重定向,但也可以选择禁用它。

response = requests.get('https://www.example.com', allow_redirects=False)

if response.is_redirect:
    print("Redirect detected.")
    new_url = response.headers['Location']
    print("New URL:", new_url)

8. 流式下载

对于大文件,可以使用流式下载来避免一次性加载整个文件到内存中。

response = requests.get('https://www.example.com/largefile.zip', stream=True)

with open('localfile.zip', 'wb') as f:
    for chunk in response.iter_content(chunk_size=8192):
        if chunk:  # filter out keep-alive new chunks
            f.write(chunk)

9. 使用会话

requests.Session 对象可以保持某些参数,如 cookies 或 headers,在多个请求之间共享。

session = requests.Session()
session.headers.update({'User-Agent': 'My App/0.0.1'})

# 发送请求
response = session.get('https://www.example.com')

这些只是使用 requests 库的基本示例,实际上它支持更高级的功能,如 SSL/TLS 验证、代理支持、认证等。在编写网络爬虫或 API 客户端时,掌握这些功能将大大提高你的工作效率。

我们可以使用Python来设计一个系统,该系统可以存储、检索和管理大量单词,甚至包括它们的定义、例句和翻译。下面是一个基于Python的单词管理系统的设计和实现的概述。

1. 设计数据库模型

首先,我们需要一个数据库来存储单词信息。这里我们使用SQLite数据库,因为它不需要额外的服务器安装,并且易于集成到Python应用程序中。

import sqlite3

# 创建数据库连接
conn = sqlite3.connect('word_database.db')
c = conn.cursor()

# 创建单词表
c.execute('''CREATE TABLE IF NOT EXISTS words
             (id INTEGER PRIMARY KEY AUTOINCREMENT,
              word TEXT NOT NULL UNIQUE,
              definition TEXT,
              example TEXT,
              translation TEXT)''')

# 提交更改并关闭连接
conn.commit()
conn.close()

2. 实现基本的CRUD操作

接下来,我们需要实现基本的CRUD(创建、读取、更新、删除)操作。

def add_word(word, definition=None, example=None, translation=None):
    conn = sqlite3.connect('word_database.db')
    c = conn.cursor()
    try:
        c.execute("INSERT INTO words (word, definition, example, translation) VALUES (?, ?, ?, ?)",
                  (word, definition, example, translation))
        conn.commit()
    except sqlite3.IntegrityError:
        print("Word already exists.")
    finally:
        conn.close()

def get_word(word):
    conn = sqlite3.connect('word_database.db')
    c = conn.cursor()
    c.execute("SELECT * FROM words WHERE word=?", (word,))
    result = c.fetchone()
    conn.close()
    return result

def update_word(word, definition=None, example=None, translation=None):
    conn = sqlite3.connect('word_database.db')
    c = conn.cursor()
    c.execute("UPDATE words SET definition=?, example=?, translation=? WHERE word=?",
              (definition, example, translation, word))
    conn.commit()
    conn.close()

def delete_word(word):
    conn = sqlite3.connect('word_database.db')
    c = conn.cursor()
    c.execute("DELETE FROM words WHERE word=?", (word,))
    conn.commit()
    conn.close()

3. 用户界面

为了让用户能够与系统交互,我们可以创建一个简单的命令行界面。

def main_menu():
    while True:
        print("\nWord Management System")
        print("1. Add a word")
        print("2. Look up a word")
        print("3. Update a word")
        print("4. Delete a word")
        print("5. Exit")
        
        choice = input("Enter your choice: ")
        
        if choice == '1':
            word = input("Enter the word: ")
            definition = input("Enter the definition: ")
            example = input("Enter an example sentence: ")
            translation = input("Enter the translation: ")
            add_word(word, definition, example, translation)
        elif choice == '2':
            word = input("Enter the word to look up: ")
            print(get_word(word))
        elif choice == '3':
            word = input("Enter the word to update: ")
            definition = input("Enter the new definition: ")
            example = input("Enter a new example sentence: ")
            translation = input("Enter the new translation: ")
            update_word(word, definition, example, translation)
        elif choice == '4':
            word = input("Enter the word to delete: ")
            delete_word(word)
        elif choice == '5':
            break
        else:
            print("Invalid choice. Please try again.")

if __name__ == "__main__":
    main_menu()

4. 扩展功能

除了基本的CRUD操作,你还可以扩展系统以包括更多功能,如单词搜索、随机单词生成、统计信息显示等。

5. 安全性和性能

在生产环境中,你可能需要考虑数据的安全性,例如加密敏感信息,以及优化查询性能,如使用索引。

这个单词管理系统是一个基础的框架,可以根据具体需求进行扩展和定制。例如,可以加入图形用户界面(GUI),或者将其部署到Web上,使其成为一个在线服务。

在这里插入图片描述

如果你想让你的单词管理系统不仅仅局限于本地数据库,而是能够从网络上的资源获取单词定义、例句或翻译,你可以使用requests库来向外部API发送HTTP请求。requests是一个非常流行的Python库,用于发送各种类型的HTTP请求,如GET和POST。

假设你的系统想要从一个在线词典API获取单词的定义,下面是如何使用requests库来实现这一功能的示例:

首先,你需要安装requests库,如果你还没有安装的话,可以通过pip来安装:

pip install requests

然后,在你的代码中,你可以像下面这样使用requests.get()方法来发起GET请求:

import requests

def fetch_definition(word):
    # 假设我们有一个API,它的URL结构如下:
    url = f"https://api.example.com/define?word={word}"
    
    # 发送GET请求
    response = requests.get(url)
    
    # 检查响应状态码是否为200(成功)
    if response.status_code == 200:
        data = response.json()  # 解析JSON响应
        definition = data['definition']  # 假设数据中的定义字段名为'definition'
        return definition
    else:
        return None  # 或者抛出异常,取决于你的错误处理策略

在上述代码中,requests.get(url)会发送一个GET请求到指定的URL。response对象包含了服务器的响应,包括状态码、头信息和响应体。如果响应状态码为200(OK),则表示请求成功,你可以进一步解析响应体,通常是JSON格式的数据,从中提取所需的单词定义。

注意,这只是一个示例,实际的API URL和响应格式可能会有所不同。你需要查阅特定API的文档,了解正确的URL结构和响应数据格式。

现在,你可以将fetch_definition函数整合到你的单词管理系统中,当用户添加或查找单词时,自动从远程API获取定义。例如,修改add_word函数以自动填充定义:

def add_word(word, definition=None, example=None, translation=None):
    if definition is None:
        definition = fetch_definition(word)
    # 其余代码保持不变...

这样,当add_word被调用时,如果没有提供定义,它将尝试从远程API获取定义。

请注意,使用外部API可能会有速率限制、成本问题或其他限制,因此在实际应用中要确保遵循API的使用条款。同时,你还需要处理网络请求可能失败的情况,例如通过捕获requests.exceptions.RequestException异常来增强代码的健壮性。

让我们继续通过代码来具体化上述概念。假设我们使用的是一个虚构的在线词典API,该API返回一个JSON格式的响应,其中包含单词的定义、同义词和反义词。我们将整合requests库来从该API获取数据,并将其存储在我们的本地数据库中。

首先,确保你已经安装了requests库。接下来,我们将修改之前创建的单词管理系统,以实现从API获取单词信息的功能。

import requests
import sqlite3

def fetch_word_info(word):
    url = f"https://api.example.com/words/{word}"
    try:
        response = requests.get(url)
        response.raise_for_status()  # Raises an HTTPError if the HTTP request returned an unsuccessful status code
        data = response.json()
        return data
    except requests.RequestException as e:
        print(f"Error fetching word info: {e}")
        return None

def add_word_from_api(word):
    conn = sqlite3.connect('word_database.db')
    c = conn.cursor()
    
    word_info = fetch_word_info(word)
    if word_info:
        definition = word_info.get('definition')
        synonyms = ', '.join(word_info.get('synonyms', []))
        antonyms = ', '.join(word_info.get('antonyms', []))
        
        # Insert into database
        c.execute("INSERT INTO words (word, definition, synonyms, antonyms) VALUES (?, ?, ?, ?)",
                  (word, definition, synonyms, antonyms))
        conn.commit()
    
    conn.close()

def main_menu():
    # ... previous menu logic ...
    if choice == '1':
        word = input("Enter the word to add: ")
        add_word_from_api(word)
    # ... rest of the menu logic ...

if __name__ == "__main__":
    main_menu()

在这个例子中,我们定义了一个fetch_word_info函数,它负责从API获取单词信息。如果请求成功,它将返回一个字典,其中包含从API接收到的数据;如果请求失败,它将捕获requests.RequestException异常并返回None

add_word_from_api函数使用fetch_word_info来获取单词信息,并将这些信息插入到本地数据库中。我们假设API返回的JSON数据结构如下:

{
    "definition": "A concise statement of the meaning of a word.",
    "synonyms": ["meaning", "interpretation", "explanation"],
    "antonyms": ["misinterpretation"]
}

请注意,为了将多个同义词或反义词存储到数据库中,我们使用逗号分隔的形式将它们合并成一个字符串。在实际应用中,你可能需要根据数据库的设计和API返回的数据格式进行相应的调整。

最后,我们修改了main_menu函数,使得当用户选择“添加单词”选项时,将调用add_word_from_api函数,从而从API获取单词信息并将其保存到数据库中。

这种设计允许你的单词管理系统从网络上动态获取信息,增强了系统的功能和实用性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1944050.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

大语言模型-RetroMAE-检索预训练模型

一、背景信息: RetroMAE是2022年10月由北邮和华为提出的一种密集检索预训练策略。 RetroMAE主要应用于检索模型的预训练,模型架构为非对称的Encoder-Decode结构。 二、整体结构: RetroMAE的模型架构为非对称的Encoder-Decode结构。 Encod…

ArcGIS Desktop使用入门(四)——ArcMap软件彻底卸载删除干净

系列文章目录 ArcGIS Desktop使用入门(一)软件初认识 ArcGIS Desktop使用入门(二)常用工具条——标准工具 ArcGIS Desktop使用入门(二)常用工具条——编辑器 ArcGIS Desktop使用入门(二&#x…

【逆向工程】十六进制编辑器与反编译的手写PE文件格式(详细教程)

原理 (1)程序如何在本地生成注册码 1.打开文件并写入MZ头部:打开一个二进制文件以进行写入操作。写入MZ头部,即前64字节,通常以字节序列 4D 5A 开始。 2.写入PE头部:PE头部紧随在MZ头部之后,其位置由MZ头部中的偏移…

构建稳固与安全的网络环境:从微软蓝屏事件看软件更新流程与应急响应

“微软蓝屏”事件暴露了网络安全哪些问题? 近日,由微软视窗系统软件更新引发的全球性“微软蓝屏”事件,不仅让科技领域为之震动,更是一次对全球IT基础设施韧性与安全性的深刻检验。这次事件源于美国电脑安全技术公司“众击”的一…

GIT新手提交操作

1、创建一个本地分支 进入Xshell已经拉取的该项目的项目代码路径下执行git checkout -b 姓名全拼音,例如:git checkout -b xiewei,当前显示已创建。 cuihengyidell-PowerEdge-T550:~/SVN/Git_R11/R11_V4.02.0_Source$ git checkout -b cuih…

数据库之PHP联动

目录 一、软件安装 二、软件讲解 三、搭配环境 四、编辑软件配置 五、成果展示 如果有人问:为什么非要用xampp、VS code编辑软件?不用phpstudy等其他工具。 那么我只想说:因为xampp、VS code编辑软件免费(ಡωಡ)hiahiahia 一、软件安装 下载连…

S-HTTP协议:确保网络通信安全的重要基石

随着互联网技术的飞速发展,网络通信安全已成为一个不可忽视的重要议题。在众多保障网络通信安全的协议中,S-HTTP(Secure Hypertext Transfer Protocol)以其独特的加密和认证机制,成为保护数据传输安全的重要工具。本文…

SpringBoot 数据访问操作

目录 一.SpringBoot整合Mybatis与Mybatis-Plus 二.SpringBoot切换druid数据源 3.1DRUID配置参数 3.2Druid监控平台 一.SpringBoot整合Mybatis与Mybatis-Plus 步骤&#xff1a; 1.坐标 <dependency><groupId>com.baomidou</groupId><artifactId>myb…

实现自动化采购:食堂采购系统源码开发详解

本篇文章&#xff0c;笔者将详细介绍食堂采购系统的开发过程&#xff0c;从需求分析、系统设计到实现和测试&#xff0c;为您全面解析如何构建一个高效的自动化采购系统。 一、需求分析 1.采购计划管理 2.供应商管理 3.订单管理 4.库存管理 5.财务管理 6.数据分析与报告 …

Power App学习笔记以及基础项目管理demo

Power App学习笔记以及基础项目管理demo 最近学习了一点Power App&#xff0c;感觉挺有意思。配置式组件开发。浅浅记录一下自己实现的项目管理系统&#xff08;即Excel数据的增删改查&#xff09;关于函数的一点皮毛认识。 效果图 筛选数据 编辑 详情 数据源 PowerApp 网…

杰发科技Bootloader(2)—— 基于7840的Keil配置地址

序 在7840的sample代码里面有一个简单的Boot跳转APP的示例 PFlash地址从0开始 DFlash的地址从1000000开始 Boot解析 他的boot地址配置为0 Boot的代码主要是这几行&#xff0c;主要作用就是Flash的跳转 int main(void) {SystemClock_Config();InitDebug();printf("demo…

分布式搜索引擎ES-DSL搜索详解

1.DSL搜索-入门语法 建立索引&#xff1a; xxx(自定义名称) 自定义mapping: POST /shop/_mapping {"properties": {"id": {"type": "long"},"age": {"type": "integer"},"username": {&quo…

数据结构之判断完全二叉树详解与示例(C,C++)

文章目录 一、判断完全二叉树的思路二、C语言实现三、C语言实现四、总结 完全二叉树是一种特殊的二叉树&#xff0c;它满足以下两个条件&#xff1a; 每一层&#xff08;除了最后一层&#xff09;都被严格地填充了节点。 最后一层的节点都尽可能地靠左对齐。 本文将详细介绍如…

数据结构 —— B+树和B*树及MySQL底层引擎

数据结构 —— B树和B*树及MySQL底层引擎 B树B*树B树的应用B树在MySQL中的应用MyISAMInnoDB 我们之前学习了B树的基本原理&#xff0c;今天我们来看看B树的一些改良版本——B树和B*树。如果还没有了解过的小伙伴可以点击这里&#xff1a; https://blog.csdn.net/qq_67693066/ar…

【启明智显分享】基于国产Model3芯片的7寸触摸屏助力智慧医疗,电子床头屏提升护理交互

未来医院必然是以信息化为基础&#xff0c;以物联网为特征&#xff0c;以医疗为核心的服务型医院。病房作为医院的重要服务场所&#xff0c;成为智慧医院建设的重要一环。 为提高医护人员与患者的互动交流&#xff0c;给医疗注入智慧元素&#xff0c;让患者享受智能服务&#…

Ins云手机在运营Instagram账号的优势

在数字时代&#xff0c;Instagram成为全球数亿用户的重要社交平台&#xff0c;其超过10亿的用户数量&#xff0c;为企业提供了广阔的营销空间。对于希望拓展海外市场的企业来说&#xff0c;使用Instagram进行引流和推广是一个高效且安全的选择。为了更高效地管理和运营多个Inst…

C#知识|账号管理系统:修改登录密码界面的UI设计

哈喽,你好啊!我是雷工! 本节记录添加修改登录密码界面的过程,以下为练习笔记。 01 效果演示 演示跳转打开修改登录密码子窗体效果: 02 添加窗体 在UI层添加一个Windows窗体,命名为:FrmModifyPwd.cs; 03 设置窗体属性 按照下表的内容设置窗体的相关属性: 设置属性 …

HCIP之PPP协议(PAP认证,CHAP认证)、GRE、MGRE综合实验

实验过程 一、IP配置 [r1]interface Serial 4/0/0 [r1-Serial4/0/0]ip ad 15.1.1.1 24 [r1]interface GigabitEthernet 0/0/0 [r1-GigabitEthernet0/0/0]ip ad 192.168.1.1 24 r2]interface Serial 4/0/0 [r2-Serial4/0/0]ip ad 25.1.1.2 24 [r2]interface GigabitEthernet 0/…

Web漏洞扫描工具(AWVS、Goby)

一、背景 想针对自己项目或者小公司的Web安全做相关扫描&#xff0c;自己做漏洞进行自查工作&#xff0c;能够减少自身系统的安全风险&#xff0c;提高系统的安全性。但是没有找到一些开源性质的、扫描质量比较高的相关工具&#xff0c;使用安全公司的专业产品价格又承受不起。…

生成式人工智能之路,从马尔可夫链到生成对抗网络

人工智能&#xff08;Artificial intelligence&#xff0c;AI&#xff09;技术在过去几年中取得了显著进展&#xff0c;其中生成式AI&#xff08;Generative AI&#xff09;因其强大的内容生成能力而备受关注。生成式AI可以创建新的文本、图像、音频、视频、代码以及其他形式的…