精彩专栏推荐订阅：在下方主页👇🏻👇🏻👇🏻👇🏻

💖🔥作者主页：计算机毕设木哥🔥 💖

一、电影数据可视化分析-项目介绍

随着互联网的快速发展，影视行业的数据规模逐渐增大，电影的相关数据呈现出海量、多样化的特点。传统的数据分析方式难以有效处理和分析这些庞杂的电影数据，无法为用户提供准确、全面的电影推荐及消费指导。此外，电影行业的用户行为分析和市场趋势预测也面临数据处理性能和可视化展示的挑战。因此，开发一个基于大数据技术的电影数据可视化分析系统显得尤为重要，旨在解决现有系统中数据处理效率低、用户体验不佳等问题。

本课题拟通过Scrapy爬虫技术获取大规模的电影数据，利用Hadoop生态系统中的Spark、Hive等大数据处理框架进行数据的清洗和分析。通过这些工具，对爬取到的数据进行高效处理和存储。在功能实现上，管理员可进行用户、电影类型、电影信息及付费订单等方面的管理；用户则可以通过Web网站查看免费或付费电影，进行电影付费订单支付，并能查询自身的观看记录。最终，系统使用Django框架开发Web端，并通过大屏可视化分析展示电影数据，为管理者和用户提供直观的电影市场和用户行为分析结果。

该系统的开发不仅提升了电影数据的处理能力，还通过可视化手段增强了数据展示效果，帮助用户更便捷地获取电影相关信息，管理员则能够高效管理电影资源和用户数据。通过大数据技术的应用，系统能够在电影市场趋势分析、用户偏好预测等方面提供有力的支持，对推动电影产业的数字化转型具有重要的实践意义。

二、电影数据可视化分析-视频展示

三、电影数据可视化分析-开发环境

• 开发语言：Python
• 数据库：MySQL
• 系统架构：B/S
• 后端：Django
• 前端：Vue
• 工具：PyCharm

四、电影数据可视化分析-系统展示

页面展示：

五、电影数据可视化分析-代码展示

from pymysql import *
from enum import Enum
from contextlib import closing

from units import DbConfig
import pandas as pd
from sqlalchemy import create_engine




class QueryType(Enum):
    NO_SELECT = 1
    SELECT = 2


# 数据库配置
db_config = DbConfig.DatabaseConfig(
    "localhost", 3306, "root", "123456", "db_douban", "utf8"
)


def query(sql, params, query_type=QueryType.SELECT):
    try:
        conn = db_config.get_connection()
        cursor = conn.cursor()
        params = tuple(params)
        cursor.execute(sql, params)

        if query_type != QueryType.NO_SELECT:
            row_list = cursor.fetchall()
            conn.commit()
            return row_list
        else:
            conn.commit()
            return cursor.rowcount
    except Exception as e:
        # 根据实际情况，你可能需要将异常记录到日志或进行其他处理
        print(f"数据库操作异常：{e}")
        # 根据函数的需求，决定是否需要在异常情况下返回特定值或重新抛出异常
        return None
    finally:
        # 确保在函数结束时关闭数据库连接和游标
        cursor.close()
        conn.close()


def fetch_movie_statistics():
    # 获取数据库连接
    engine = create_engine(
        f"mysql+pymysql://{db_config.user}:{db_config.password}@{db_config.host}:{db_config.port}/{db_config.db}"
    )

    # 使用pandas从数据库加载数据
    df = pd.read_sql_query("SELECT * FROM tb_movie", engine)

    # 处理多值字段，将其拆分为列表
    df["directors"] = df["directors"].str.split(",")
    df["casts"] = df["casts"].str.split(",")
    df["country"] = df["country"].str.split(",")

    # 统计数据
    total_movies = df.shape[0]
    most_common_director = df["directors"].explode().value_counts().idxmax()
    director_count = df["directors"].explode().value_counts().max()
    most_popular_cast = df["casts"].explode().value_counts().idxmax()
    cast_count = df["casts"].explode().value_counts().max()
    highest_rating = df["rating"].max()
    most_common_country = df["country"].explode().value_counts().idxmax()
    country_count = df["country"].explode().value_counts().max()

    # 返回统计结果
    return {
        "total_movies": total_movies,
        "director_count": director_count,
        "most_popular_cast": most_popular_cast,
        "highest_rating": highest_rating,
        "most_common_country": most_common_country,
    }


# 电影分类统计
def fetch_movie_type_distribution():

    # 使用pandas从数据库加载数据
    df = pd.read_sql_query("SELECT * FROM tb_movie", db_config.get_connection())

    # 处理多值字段，将其拆分为列表
    df["types"] = df["types"].str.split(",")

    # 统计电影类型分布
    type_distribution = df["types"].explode().value_counts()

    # 转换为ECharts所需格式：['类型', 数量]
    echarts_data = [
        {"name": label, "value": value} for label, value in type_distribution.items()
    ]

    return echarts_data


# 电影评分统计
def fetch_movie_rating_distribution():
    # 使用pandas从数据库加载数据
    df = pd.read_sql_query("SELECT * FROM tb_movie", db_config.get_connection())
    # 检查评分是否为整数，如果是浮点数，可以四舍五入
    # if df['rating'].dtype == 'float':
    #     df['rating'] = df['rating'].astype(int)

    # 统计每个评分的电影数量
    rating_distribution = df["rating"].value_counts()

    # 按评分升序排序
    sorted_ratings = rating_distribution.sort_index()

    # 转换为ECharts所需格式：[评分, 数量]
    echarts_data = list(sorted_ratings.items())

    return echarts_data


# 获取电影列表
def fetch_movie_list():
    # 使用pandas从数据库加载数据
    df = pd.read_sql_query("SELECT * FROM tb_movie", db_config.get_connection())

    # 转换为字典列表，方便在模板中使用
    movie_list = df.to_dict(orient="records")

    return movie_list

六、电影数据可视化分析-项目文档展示

七、电影数据可视化分析-项目总结

本研究基于Hadoop的电影数据可视化分析系统，通过对大规模电影数据的抓取、处理与可视化展示，解决了传统系统在面对海量数据时处理效率低、分析能力不足的实际问题。研究结果表明，利用大数据技术能够显著提升电影数据的处理性能，特别是在数据清洗和分析方面，Hadoop生态系统中的Spark和Hive等工具具有较强的扩展性和高效性，能够处理复杂的电影数据结构。同时，通过Django框架实现的Web端可视化系统，优化了用户与管理员的交互体验，管理者能够高效管理电影类型、付费订单和用户信息，用户则能轻松浏览和筛选电影资源，这在一定程度上提高了电影行业的信息化水平。

在开发过程中，本课题的核心思想是通过技术手段解决大数据环境下电影数据处理和展示的效率问题，利用分布式计算框架提升系统性能，进一步满足管理需求和用户使用需求。系统通过Scrapy爬虫自动化获取数据源，并利用算法进行数据清洗，为后续的分析提供了高质量的数据基础。在功能设计上，注重用户的使用体验以及管理员的便捷操作，使得系统不仅具备较强的技术性能，还具备实用性和易操作性。

大家可以帮忙点赞、收藏、关注、评论啦 👇🏻