Python实战实例代码-网络爬虫-数据分析-机器学习-图像处理

news2024/11/23 15:33:00

Python实战实例代码-网络爬虫-数据分析-机器学习-图像处理

Python实战实例代码
- 1. 网络爬虫
- - 1.1 爬取网页数据
  - 1.2 爬取图片
  - 1.3 爬取动态数据（使用Selenium）
- 2. 数据分析
- - 2.1 数据清洗
  - 2.2 数据变换
  - 2.3 数据聚合
- 3. 机器学习
- - 3.1 线性回归
  - 3.2 随机森林
  - 3.3 K-Means聚类
- 4. 图像处理
- - 4.1 图像读取和显示
  - 4.2 图像缩放
  - 4.3 图像边缘检测
- 总结
Python学习的相关博文及链接

Python实战实例代码

本篇文章将为您提供Python实战实例代码，包括网络爬虫、数据分析、机器学习、图像处理等多个领域。代码实例详附注释和解释，希望对您的学习和应用有所帮助。

1. 网络爬虫

在这里插入图片描述

1.1 爬取网页数据

import requests

url = "https://www.baidu.com"
response = requests.get(url)

if response.status_code == 200:
    print(response.content.decode('utf-8'))

1.2 爬取图片

import requests

url = "http://www.example.com/image.jpg"
response = requests.get(url)

if response.status_code == 200:
    with open("image.jpg", "wb") as f:
        f.write(response.content)

1.3 爬取动态数据（使用Selenium）

from selenium import webdriver

browser = webdriver.Chrome()
browser.get("https://www.baidu.com")

input = browser.find_element_by_id("kw")
input.send_keys("Python")
input.submit()

data = browser.find_element_by_id("content_left")
print(data.text)

2. 数据分析

在这里插入图片描述

2.1 数据清洗

import pandas as pd

data = pd.read_csv('data.csv')
data = data.dropna() # 删除缺失值
data = data.drop_duplicates() # 删除重复值
data.to_csv('clean_data.csv', index=False)

2.2 数据变换

import pandas as pd

data = pd.read_csv('data.csv')
data['date'] = pd.to_datetime(data['date']) # 将日期转成datetime对象
data['month'] = data['date'].dt.month # 新增月份列
data = data.drop(['date'], axis=1) # 删除原始日期列
data.to_csv('transformed_data.csv', index=False)

2.3 数据聚合

import pandas as pd

data = pd.read_csv('data.csv')
grouped_data = data.groupby(['category', 'year']).sum() # 按品类、年份进行聚合

grouped_data.to_csv('aggregated_data.csv')

3. 机器学习

在这里插入图片描述

3.1 线性回归

import numpy as np
from sklearn.linear_model import LinearRegression

X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
y = np.dot(X, np.array([1, 2])) + 3
reg = LinearRegression().fit(X, y)
print(reg.coef_)
print(reg.intercept_)

3.2 随机森林

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

data = pd.read_csv('data.csv')
X = data.drop(['label'], axis=1)
y = data['label']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

clf = RandomForestClassifier(n_estimators=100)
clf.fit(X_train, y_train)

accuracy = clf.score(X_test, y_test)
print(accuracy)

3.3 K-Means聚类

import numpy as np
from sklearn.cluster import KMeans

X = np.array([[1, 2], [1, 4], [1, 0],
              [4, 2], [4, 4], [4, 0]])
kmeans = KMeans(n_clusters=2, random_state=0).fit(X)

print(kmeans.labels_)
print(kmeans.predict([[0, 0], [4, 4]]))

4. 图像处理

在这里插入图片描述

4.1 图像读取和显示

import cv2

img = cv2.imread('image.jpg', cv2.IMREAD_COLOR)
cv2.imshow('image', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

4.2 图像缩放

import cv2

img = cv2.imread('image.jpg', cv2.IMREAD_COLOR)

scale_percent = 50 # 缩放比例
width = int(img.shape[1] * scale_percent / 100)
height = int(img.shape[0] * scale_percent / 100)
dim = (width, height)

resized_img = cv2.resize(img, dim, interpolation=cv2.INTER_AREA)
cv2.imshow('image', resized_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

4.3 图像边缘检测

import cv2

img = cv2.imread('image.jpg', cv2.IMREAD_GRAYSCALE)

edges = cv2.Canny(img, 100, 200)

cv2.imshow('image', edges)
cv2.waitKey(0)
cv2.destroyAllWindows()

总结

这篇Python实战实例代码的部分内容，涵盖了网络爬虫、数据分析、机器学习、图像处理等多个领域。这些实例代码展示了Python在实际应用中的灵活性和强大的功能。

网络爬虫部分展示了Python如何利用requests和beautifulsoup库来获取互联网上的数据，并将其存储到本地磁盘上。数据分析部分则展示了Python如何利用pandas、numpy和matplotlib等库来对数据进行分析和可视化。

机器学习部分展示了Python如何利用scikit-learn和tensorflow等库来进行数据挖掘和机器学习任务。图像处理部分展示了Python如何利用opencv等库来对图像进行处理和识别。这些实例代码不仅展示了Python在不同领域的应用，也让读者更好地理解Python代码的实现过程和技术细节。

总之，Python作为一种功能强大、易用性高、学习成本低的编程语言，无论在科学计算、数据挖掘、机器学习、web开发等领域都有广泛应用，希望更多的人能够通过学习Python来掌握这个优秀的工具，为更好地解决实际问题做出贡献。Python作为一种简洁、易学、高效的编程语言，被广泛应用于各个领域。