Python实战之数据挖掘详解

news2024/11/24 19:42:43

一、Python数据挖掘

1.1 数据挖掘是什么？

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，通过算法，找出其中的规律、知识、信息的过程。Python作为一门广泛应用的编程语言，拥有丰富的数据挖掘库，使得数据挖掘变得更加容易。

1.2 Python的优势

为什么我们要选择Python来进行数据挖掘呢？以下几点原因可能解答你的疑惑：

语法简洁，易学易用
丰富的数据挖掘库和工具
跨平台性，可在多种操作系统中运行
社区活跃，庞大的用户基础

二、Python数据挖掘的基本流程

接下来，我们将通过一个实际案例来揭示Python数据挖掘的基本流程。假设我们手头有一份销售数据，需要分析哪些产品最受欢迎，以便调整经营策略。

2.1 数据收集

首先，我们需要从各个渠道收集销售数据。在这个案例中，我们可以从数据库、API接口、Web爬虫等途径获取数据。这里我们使用pandas库来读取一个CSV文件中的数据。

import pandas as pd

# 读取CSV文件
data = pd.read_csv("sales_data.csv")

文件内容形如：

日期,产品,销售额,销售量
2022-01-01,产品A,1000,10
2022-01-02,产品B,2000,20
2022-01-03,产品C,3000,30
2022-01-04,产品A,4000,40
2022-01-05,产品B,5000,50
2022-01-06,产品D,6000,60
2022-01-07,产品A,7000,70
2022-01-08,产品C,8000,80
2022-01-09,产品B,9000,90
2022-01-10,产品A,10000,100

2.2 数据预处理

收集到的数据很可能存在缺失值、重复值、异常值等问题，需要进行预处理。这里我们用pandas进行数据清洗。

# 去除重复值
data = data.drop_duplicates()

# 填补缺失值
data = data.fillna(method="ffill")

# 查找异常值并处理
data = data[data["销售额"] > 0]

2.3 数据分析

我们要根据业务需求进行数据分析。例如，我们可以分析不同产品的销售额、销售量等。这里我们使用pandas和matplotlib库进行数据分析和可视化。

import matplotlib.pyplot as plt

# 按产品统计销售额
product_sales = data.groupby("产品")["销售额"].sum()

# 绘制柱状图
plt.bar(product_sales.index, product_sales.values)
plt.xlabel("产品")
plt.ylabel("销售额")
plt.title("各产品销售额统计")
plt.show()

2.4 结果呈现

最后，我们将分析结果以表格、图表等形式呈现给决策者。这里我们使用pandas和matplotlib生成一个销售额排名的表格和柱状图。

# 排序
product_sales = product_sales.sort_values(ascending=False)

# 输出销售额排名
print(product_sales)

# 绘制柱状图
plt.bar(product_sales.index, product_sales.values)
plt.xlabel("产品")
plt.ylabel("销售额")
plt.title("各产品销售额排名")
plt.show()

三、Python数据挖掘实战：豆瓣电影评分分析

3.1 项目背景

假如我们是一家电影制作公司，想要了解近年来观众喜欢的电影类型和特点，以便制定新电影的发展策略。我们将通过分析豆瓣电影评分数据，提取有价值的信息。

3.2 数据获取

我们使用Python的requests库和BeautifulSoup库爬取豆瓣电影榜单页面，抓取电影名称、类型、评分等信息。

import requests
from bs4 import BeautifulSoup

url = "https://movie.douban.com/top250"
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

movie_list = []
for item in soup.find_all('div', class_='item'):
    title = item.find('span', class_='title').text
    genres = item.find('span', class_='genre').text.strip()
    rating = float(item.find('span', class_='rating_num').text)
    movie_list.append({'title': title, 'genres': genres, 'rating': rating})

movies_df = pd.DataFrame(movie_list)

3.3 数据预处理

这里我们需要对数据进行简单的预处理，例如拆分电影类型字段，使得每个类型单独成列。

# 拆分电影类型字段
genres_df = movies_df['genres'].str.get_dummies(sep='/').add_prefix('genre_')
movies_df = pd.concat([movies_df, genres_df], axis=1)

3.4 数据分析

我们可以分析不同类型电影的平均评分、数量等，找出观众喜欢的电影类型。这里我们使用pandas和matplotlib库进行数据分析和可视化。

# 计算各类型电影的数量
genre_counts = genres_df.sum().sort_values(ascending=False)

# 绘制饼图
plt.pie(genre_counts, labels=genre_counts.index, autopct='%1.1f%%')
plt.title("电影类型比例")
plt.show()

# 计算各类型电影的平均评分
genre_ratings = movies_df.groupby('genres')['rating'].mean().sort_values(ascending=False)

# 绘制柱状图
plt.bar(genre_ratings.index, genre_ratings.values)
plt.xlabel("类型")
plt.ylabel("平均评分")
plt.title("各类型电影平均评分")
plt.xticks(rotation=90)
plt.show()