python中数据处理库，机器学习库以及自动化与爬虫

news2024/9/21 13:45:03

Python 在数据处理、机器学习和自动化任务方面非常强大，它的库生态系统几乎涵盖了所有相关领域。我们将从以下几个部分来介绍 Python 中最常用的库：

  1. 数据处理库：Pandas、NumPy 等
  2. 机器学习库：Scikit-learn、TensorFlow、Keras 等
  3. 自动化与爬虫：Selenium、Requests、BeautifulSoup、Scrapy 等

一、Python 中的数据处理库

1.1 Pandas

Pandas 是 Python 最流行的数据处理库之一，专门用于处理结构化数据（如表格、CSV 文件等）。它引入了两种主要的数据结构：Series 和 DataFrame，可以高效地进行数据操作。

Pandas 基本用法

  • 安装 Pandas：

    pip install pandas

  • 创建 DataFrame：

    import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'Salary': [50000, 60000, 70000]}

df = pd.DataFrame(data)
print(df)

  • 读取和写入 CSV 文件：

    # 读取 CSV 文件
df = pd.read_csv('data.csv')

# 写入 CSV 文件
df.to_csv('output.csv', index=False)

  • 常见数据操作：

    # 查看前几行数据
print(df.head())

# 过滤数据
df_filtered = df[df['Age'] > 30]

# 添加新列
df['Bonus'] = df['Salary'] * 0.1

# 分组并聚合
grouped = df.groupby('Age').mean()

# 缺失值处理
df.fillna(0, inplace=True)  # 用 0 填充缺失值

1.2 NumPy

NumPy 是 Python 的数值计算库，专门用于处理大规模的数组和矩阵运算。Pandas 底层数据结构基于 NumPy。

NumPy 基本用法

  • 安装 NumPy：

    pip install numpy

  • 创建数组：

    import numpy as np

# 创建一维数组
arr = np.array([1, 2, 3])

# 创建二维数组
matrix = np.array([[1, 2], [3, 4]])

  • 数组运算：

    # 数组元素相加
arr_sum = arr + 2

# 矩阵乘法
mat_mul = np.dot(matrix, matrix)

  • 数组统计：

    # 求和
total = np.sum(arr)

# 均值
mean = np.mean(arr)

# 标准差
std_dev = np.std(arr)

1.3 数据可视化库：Matplotlib 与 Seaborn

Matplotlib 是一个基础的数据可视化库，Seaborn 则是在 Matplotlib 之上构建的更高级别的库，提供了更简洁美观的绘图接口。

  • 安装 Matplotlib 和 Seaborn：
    pip install matplotlib seaborn
Matplotlib 示例
import matplotlib.pyplot as plt

# 生成简单的折线图
x = [1, 2, 3, 4]
y = [10, 20, 25, 30]

plt.plot(x, y)
plt.xlabel('X axis')
plt.ylabel('Y axis')
plt.title('Simple Line Plot')
plt.show()
Seaborn 示例
import seaborn as sns

# 加载示例数据集
tips = sns.load_dataset("tips")

# 生成一个散点图
sns.scatterplot(x="total_bill", y="tip", data=tips)
plt.show()

二、Python 中的机器学习库

2.1 Scikit-learn

Scikit-learn 是一个功能强大的机器学习库，包含了经典的机器学习算法、数据预处理工具和模型评估功能。它特别适合用来构建和训练传统机器学习模型，如回归、分类、聚类等。

  • 安装 Scikit-learn：
    pip install scikit-learn
Scikit-learn 基本用法

  • 加载数据集：

    from sklearn.datasets import load_iris

iris = load_iris()
X = iris.data
y = iris.target

  • 训练模型：

    from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 创建模型并训练
clf = RandomForestClassifier()
clf.fit(X_train, y_train)

# 预测
y_pred = clf.predict(X_test)

  • 评估模型：

    from sklearn.metrics import accuracy_score

accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")

2.2 TensorFlow 和 Keras

TensorFlow 是一个流行的开源深度学习框架，Keras 是一个基于 TensorFlow 的高级神经网络库，提供了更加简洁的 API。它们被广泛用于构建和训练深度神经网络模型。

  • 安装 TensorFlow 和 Keras：
    pip install tensorflow
TensorFlow/Keras 基本用法
  • 构建简单的神经网络模型：
    import tensorflow as tf
from tensorflow.keras import layers

# 构建模型
model = tf.keras.Sequential([
    layers.Dense(64, activation='relu', input_shape=(4,)),
    layers.Dense(64, activation='relu'),
    layers.Dense(3, activation='softmax')
])

# 编译模型
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 训练模型
model.fit(X_train, y_train, epochs=10)

# 评估模型
loss, accuracy = model.evaluate(X_test, y_test)
print(f"Test accuracy: {accuracy}")

2.3 PyTorch

PyTorch 是另一个流行的深度学习框架，因其动态计算图和灵活性而受到研究人员的青睐。

  • 安装 PyTorch：
    pip install torch
PyTorch 示例
import torch
import torch.nn as nn
import torch.optim as optim

# 构建一个简单的线性模型
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        return self.linear(x)

# 初始化模型、损失函数和优化器
model = SimpleModel()
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 训练模型（假设你有数据 X 和 y）
for epoch in range(100):
    optimizer.zero_grad()
    outputs = model(torch.tensor([[1.0]]))  # 输入为 1
    loss = criterion(outputs, torch.tensor([[2.0]]))  # 期望输出为 2
    loss.backward()
    optimizer.step()

print("模型训练完成")

三、自动化与爬虫

3.1 自动化工具

Selenium

Selenium 是一个自动化 Web 浏览器的工具，广泛用于自动化测试和 Web 爬虫。

  • 安装 Selenium：

    pip install selenium

  • 使用 Selenium 自动化浏览器操作：

    from selenium import webdriver

# 启动浏览器
driver = webdriver.Chrome()

# 打开网页
driver.get("https://www.example.com")

# 查找元素并进行操作
element = driver.find_element_by_name("q")
element.send_keys("Selenium")
element.submit()

# 关闭浏览器
driver.quit()

3.2 网络请求库：Requests

Requests 是一个简单且功能强大的 HTTP 请求库，适合进行 API 请求和基本的 Web 爬取任务。

  • 安装 Requests：

    pip install requests

  • 发送 HTTP 请求：

    import requests

# 发送 GET 请求
response = requests.get('https://api.example.com/data')

# 解析 JSON 数据
data = response.json()
print(data)

3.3 BeautifulSoup

**Beautiful

Soup** 是一个用于解析 HTML 和 XML 的库，通常与 Requests 搭配使用，适合抓取网页数据。

  • 安装 BeautifulSoup：

    pip install beautifulsoup4

  • 解析网页并提取数据：

    from bs4 import BeautifulSoup
import requests

# 发送请求
response = requests.get('https://example.com')

# 解析 HTML
soup = BeautifulSoup(response.content, 'html.parser')

# 提取标题
title = soup.title.string
print(f"页面标题: {title}")

3.4 Scrapy

Scrapy 是一个用于构建强大 Web 爬虫的框架，适合大规模数据抓取任务。

  • 安装 Scrapy：

    pip install scrapy

  • Scrapy 基本示例：

    scrapy startproject myspider

    进入项目目录后，编辑 spiders 目录中的爬虫脚本。

    import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('small.author::text').get(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)
    • 运行爬虫：
      scrapy crawl quotes

总结

Python 拥有强大的库生态，涵盖了数据处理、机器学习、自动化以及 Web 爬虫等多个领域。你可以通过 Pandas 和 NumPy 高效处理数据，用 Scikit-learn 和 TensorFlow 构建机器学习模型，并通过 Selenium 和 Requests 等库实现 Web 自动化和爬虫任务。结合这些工具，可以轻松完成从数据采集到分析、建模和自动化的全流程。

如果你想进一步探索这些库，可以尝试更多实战项目，并结合具体的需求来选择合适的工具。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2152471.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【python设计模式6】行为型模式1

【python设计模式6】行为型模式1

目录 责任链模式 观察者模式 责任链模式 责任链模式的内容：使多个对象都有机会处理请求，从而避免请求的发送者和接收者之间的耦合关系。将这些对象连成一条链并沿着这条链传递该请求，直到有一个对象处理它为止。责任链的角色有抽象处理者、…
阅读更多...
b2b2c商城系统好用么 多用户商城系统四大盈利模式

b2b2c商城系统好用么 多用户商城系统四大盈利模式

商淘云B2B2C商城系统能帮助企业快速搭建企业自己的多用户商城系统，它提供了多种功能，如多商家管理、订单处理、支付模块集成等，适合各种规模的企业。用户界面友好，且支持定制化，能满足不同业务需求。 多用户商城有四大…
阅读更多...
【ARM】A64指令介绍及内存屏障和寄存器

【ARM】A64指令介绍及内存屏障和寄存器

A64指令集介绍 ISA : Instruction System Architecture 指令集总结 跳转指令 使用跳转指令直接跳转，跳转指令有跳转指令B，带链接的跳转指令BL ，带状态切换的跳转指令BX。 B 跳转指令，跳转到指定的地址执行程序。 BL 带链接的跳…
阅读更多...
.NET周刊【9月第3期 2024-09-15】

.NET周刊【9月第3期 2024-09-15】

国内文章 关于.NET在中国为什么工资低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中国开发者的薪资偏低，主要因市场需求、技术栈选择和企业文化等因素所致。历史上，.NET曾因微软的闭源策略发展受限，尽管后来推出了跨平…
阅读更多...
传输层协议 —— TCP协议（下篇）

传输层协议 —— TCP协议（下篇）

目录 0.前言 1.流量控制 什么是流量控制？ 如何做到流量控制？ 窗口探测 PSH标志位与流量控制 一个问题 2.滑动窗口 为什么要有滑动窗口？ 滑动窗口在哪？ 滑动窗口到底是什么？ 滑动窗口的工作原理 滑动窗口中…
阅读更多...
Java——认识String类

Java——认识String类

在 C 语言中已经涉及到字符串了，但是在 C 语言中要表示字符串只能使用字符数组或者字符指针，可以使用标准库提供的字符串系列函数完成大部分操作，但是这种将数据和操作数据方法分离开的方式不符合面相对象的思想，而字 符串应用又非…
阅读更多...
【射频通信电子线路基础第五讲】噪声、噪声系数和灵敏度

【射频通信电子线路基础第五讲】噪声、噪声系数和灵敏度

一、噪声 确定信号对应的是干扰，而随机信号对应的是噪声，噪声又分为系统内部的噪声和外部对系统的噪声。 1、电阻热噪声 （1）无源有耗网络的热噪声 （2）热噪声通过线性网络 （3）等效噪…
阅读更多...
酷炫航模飞手飞行技术详解

酷炫航模飞手飞行技术详解

在无人机与航模的广阔世界里，成为一名技艺高超的飞手，不仅需要对飞行器有深入的理解，还需掌握一系列精湛的飞行技巧。本文将从基础飞行技巧、特技飞行动作、FPV第一人称视角、安全飞行要点、设备调试与维护，以及实战应用与拓展六个…
阅读更多...
2024 “华为杯” 中国研究生数学建模竞赛（E题）深度剖析|高速公路应急车道启用建模|数学建模完整代码+建模过程全解全析

2024 “华为杯” 中国研究生数学建模竞赛（E题）深度剖析|高速公路应急车道启用建模|数学建模完整代码+建模过程全解全析

当大家面临着复杂的数学建模问题时，你是否曾经感到茫然无措？作为2022年美国大学生数学建模比赛的O奖得主，我为大家提供了一套优秀的解题思路，让你轻松应对各种难题！ CS团队倾注了大量时间和心血，深入挖掘解…
阅读更多...
深度学习--从零实现线性回归【数据流水线+模型+损失函数+小批量梯度下降】

深度学习--从零实现线性回归【数据流水线+模型+损失函数+小批量梯度下降】

代码来源于动手学深度学习pytorch版，感兴趣的同学可以自行购买观看。本节内容带着大家了解深度学习框架底层实现逻辑，如何自定义模型，自定义层或自定义损失函数，方便大家后续使用深度学习框架时候能够明白一些基本函数的实现过程&…
阅读更多...
C语言——————结构体

C语言——————结构体

前言： 我们都已经学了很多int char …等类型还学到了同类型元素构成的数组，以及取上述类型的指针，在一些小应用可以灵活使用，然而，在实际问题中有时候我们需要几种数据类型一起来修饰某个变量。 例如一个学生的信息就…
阅读更多...
2024 “华为杯” 中国研究生数学建模竞赛（F题）深度剖析|X射线脉冲星光子到达时间建模|数学建模完整代码+建模过程全解全析

2024 “华为杯” 中国研究生数学建模竞赛（F题）深度剖析|X射线脉冲星光子到达时间建模|数学建模完整代码+建模过程全解全析

当大家面临着复杂的数学建模问题时，你是否曾经感到茫然无措？作为2022年美国大学生数学建模比赛的O奖得主，我为大家提供了一套优秀的解题思路，让你轻松应对各种难题！ CS团队倾注了大量时间和心血，深入挖掘解…
阅读更多...
如何成为信息安全等级测评师？具体有哪些要求？

如何成为信息安全等级测评师？具体有哪些要求？

给大家的福利，点击下方蓝色字 即可免费领取↓↓↓ 🤟 基于入门网络安全/黑客打造的：👉黑客&网络安全入门&进阶学习资源包 文章目录 前言 信息安全等级测评师 定义与作用：证书颁发：能力要求&#x…
阅读更多...
2024 “华为杯” 中国研究生数学建模竞赛（C题）深度剖析|数据驱动下磁性元件的磁芯损耗建模|数学建模完整代码+建模过程全解全析

2024 “华为杯” 中国研究生数学建模竞赛（C题）深度剖析|数据驱动下磁性元件的磁芯损耗建模|数学建模完整代码+建模过程全解全析

当大家面临着复杂的数学建模问题时，你是否曾经感到茫然无措？作为2022年美国大学生数学建模比赛的O奖得主，我为大家提供了一套优秀的解题思路，让你轻松应对各种难题！ CS团队倾注了大量时间和心血，深入挖掘解…
阅读更多...
植保无人机是朝阳产业还是夕阳产业？

植保无人机是朝阳产业还是夕阳产业？

植保无人机产业是朝阳产业还是夕阳产业，可以从多个维度进行分析： 一、市场需求与增长趋势 市场需求：随着农业现代化的推进和劳动力成本的上升，植保无人机因其高效、安全、节省农药等优势，在农业生产中的应用越来越广…
阅读更多...
Spring Boot赋能高校心理健康教育

Spring Boot赋能高校心理健康教育

1绪 论 1.1研究背景 随着计算机和网络技术的不断发展，计算机网络已经逐渐深入人们的生活，网络已经能够覆盖我们生活的每一个角落，给用户的网上交流和学习提供了巨大的方便。 当今社会处在一个高速发展的信息时代，计算机网络的发展…
阅读更多...
【Python】探索 Errbot：多功能聊天机器人框架

【Python】探索 Errbot：多功能聊天机器人框架

不是旅行治愈了你，是你在路上放过了自己。 在当今的数字化时代，聊天机器人已成为企业与客户互动、提升工作效率和增加乐趣的重要工具。Errbot是一个高度可扩展的聊天机器人框架，它允许开发者使用Python轻松创建和定制机器人。本文将介绍Errb…
阅读更多...
【linux008】目录操作命令篇 - rmdir 命令

【linux008】目录操作命令篇 - rmdir 命令

文章目录 1、基本用法2、常见选项3、举例4、注意事项 rmdir 是 Linux 系统中的一个命令，用于删除空目录。它只能删除 空目录，如果目录中存在文件或子目录，则无法删除。 1、基本用法 rmdir [选项] 目录名...2、常见选项 -p, --parents&…
阅读更多...
1.4 MySql配置文件

1.4 MySql配置文件

既然我们开始学习数据库，就不能像大学里边讲数据库课程那样简单讲一下，增删改查，然后介绍一下怎么去创建索引，怎么提交和回滚事务。我们学习数据库要明白怎么用，怎么配置，学懂学透彻了。当然MySql的配置参数…
阅读更多...
关于群里脱敏系统的讨论2024-09-20

关于群里脱敏系统的讨论2024-09-20

群里大家讨论脱敏系统，傅同学：秦老师，银行数据脱敏怎么做的，怎么存储的？ 采购了脱敏系统，一般是硬件（厂商直接卖的一体机）。这个系统很复杂，大概卖50-100万一台。 最核…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023