【python】python天气气候数据抓取分析可视化(源码+数据+可视化+报告)【独一无二】

news2024/12/24 8:04:14

请添加图片描述


👉博__主👈:米码收割机
👉技__能👈:C++/Python语言
👉公众号👈:测试开发自动化【获取源码+商业合作】
👉荣__誉👈:阿里云博客专家博主、51CTO技术博主
👉专__注👈:专注主流机器人、人工智能等相关领域的开发、测试技术。


系列文章目录


目录

  • 系列文章目录
  • 一、网页分析
      • 导入模块
      • 初始化CSV文件
      • 爬取数据
      • 设置请求头
      • 发送请求并解析数据
      • 正则表达式解析
      • 写入excel文件
  • 二、数据分析可视化


一、网页分析

爬取2345天气王网页的数据,进行数据分析可视化:
在这里插入图片描述

主要爬取了,主要包含日期、最高气温、最低气温、天气、风力风向等数据信息。

在这里插入图片描述

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈

这段Python代码主要用于从网站上抓取历史天气数据并保存到本地的CSV文件中。下面逐块解释每部分代码的功能:

导入模块

import re
import csv
import requests
  • re: 用于处理正则表达式,这在解析网页内容时非常有用。
  • csv: 用于读写CSV文件,这里主要用于保存抓取的数据。
  • requests: 用于发起网络请求,获取网页数据。

初始化CSV文件

with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['日期', '最高温', '最低温', '天气', '风力风向'])
    file.close()
  • 这部分代码打开(或创建)一个名为weather_data.csv的文件,并设置为追加模式('a')。
  • csv.writer创建一个CSV写入器,然后写入表头,包括日期、最高温、最低温、天气和风力风向。
  • 文件使用UTF-8编码,以支持中文字符。
  • newline=''用于防止在写入行之间产生额外的空行。

爬取数据

for i in range(2011, 2025):
    for j in range(1, 13):
        url = f"https://tiaxxxx.com"
  • 使用双层循环遍历从2011年到2023年的每个月。
  • 构造URL以根据年份和月份请求对应的历史天气数据。

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈

设置请求头

headers = { ... }
  • headers字典包含了众多HTTP头部信息,这些信息用于模拟浏览器请求,避免被服务器识别为爬虫。

发送请求并解析数据

res = requests.get(url=url, headers=headers)
text = res.json()['data'].replace('\n', '').replace(' ', '')
  • 使用requests.get向构造的URL发送请求,传入之前设置的headers。
  • 从响应中提取JSON格式的数据,并进一步获取其中的data字段。然后移除响应中的换行符和空格,方便后续的数据处理。

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈

正则表达式解析

if i <= 2015:
    pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'
else:
    pattern = r'<tr><td>(.*?)</td><tdstyle="[^>]*">(.*?)</td><tdstyle="[^>]*">(.*?)</td><td>(.*?)</td><td>(.*?)</td>'
  • 根据不同的年份选择不同的正则表达式模式。尽管这里两个模式看起来一样,实际使用中可能有微小的差别。
  • 正则表达式用于解析HTML中的表格数据。

写入excel文件

matches = re.findall(pattern, text, re.S)
with open('weather_data.csv', 'a', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    for match in matches:
        writer.writerow(match)
  • re.findall使用先前定义的正则表达式模式从网页内容中提取数据。
  • 提取的每条数据作为一个元组存储在matches中。
  • 遍历matches,将每个匹配项写入CSV文件中。

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈


二、数据分析可视化

  1. 饼状图(温度区间分布)
    • 这张饼状图展示了数据集中的最高温度分布在三个不同的温度区间(低温、中温、高温)中的比例。
    • 通过这张图,我们可以快速了解大部分时间内最高温度主要集中在哪个区间。例如,如果大部分温度都在中温区间,这可能意味着该地区的气候较为温和。
    • 饼图还可以帮助识别极端天气条件的频率,例如低温或高温天气的出现比例。

在这里插入图片描述

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈

  1. 柱状图(最高气温前10名)
    • 该柱状图显示了从15年间记录的最高温度的前10个最高值及其对应的日期。
    • 这可以帮助我们识别特定年份中出现极端高温的具体日期,有助于分析可能的季节性高温模式或异常气候事件。
    • 柱状图还可以用来评估最高温度的变化范围,了解这些极端高温事件之间的温度差异。
      在这里插入图片描述

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈

  1. 散点图(所有温度散点图)
    • 散点图展示了整个时间段内所有记录的最高温和最低温数据点。
    • 通过这种图表,我们可以观察到温度随时间的变化趋势,包括季节性变化和年度变化。
    • 这张图还可以揭示温度波动的模式,比如某些特定月份或年份是否存在温度异常。
    • 分析最高温和最低温之间的关系,可以帮助我们了解夜间和白天的温差,这对于评估日温差和潜在的农业或健康影响尤为重要。
      在这里插入图片描述

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈

  1. 年度平均最高温和最低温变化
    • 该图展示了每年的平均最高温度和平均最低温度。
    • 通过这张图,我们可以观察到每年的温度波动趋势,分析温度随时间的长期变化情况。
    • 折线图可以揭示出温度随季节或年份变化的趋势,比如是否有逐年上升或下降的模式。
    • 同时,图中也可能显示出特定年份的异常温度变化,这可能与特定的气候事件或环境因素有关。
    • 通过同时展示每年的平均最高温和平均最低温,可以对比分析在同一年内温差的变化。
    • 这种对比有助于了解不同季节之间的温差变化,特别是在考虑到气候变暖或冷却趋势的情况下。
      在这里插入图片描述

👉👉👉 源码获取 关注【测试开发自动化】公众号,回复 “ 气候版本二 ” 获取。👈👈👈

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1597596.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

记录flume运行时报NullPointerException异常

【背景说明】 我要起一个将kafka上的topic_log主题中的数据上传到hdfs上的flume进程。 这是我的flume配置文件脚本&#xff1a; #定义组件 a1.sourcesr1 a1.channelsc1 a1.sinksk1#配置source1 a1.sources.r1.type org.apache.flume.source.kafka.KafkaSource a1.sources.r…

频率域滤波基础(离散傅里叶变换使用填充的缺陷)

本来是个很简单的问题&#xff0c;作者硬是写的这么复杂&#xff0c;翻译还搞错了。重点是我发现作者真正有用的东西没讲到&#xff0c;比如相位和谱如何影响图像。连个转换公式都没有&#xff0c;我只能说作者是在混字数。 首先看关于中心对称是什么意思&#xff1f;我木太明白…

从51到ARM裸机开发实验(009)LPC2138 中断实验

一、场景设计 中断的概念在《从51到ARM裸机开发实验(007) AT89C51 中断实验》中已经介绍过&#xff0c;LPC2138的Keil工程创建在《从51到ARM裸机开发实验(005)LPC2138 GPIO实验》中已经介绍过。本次使用LPC2138来实现一个这样的场景&#xff1a;四个LED依次亮灭&#xff0c;时间…

c++总结笔记(一)

计算机可以将程序转化为二进制指令&#xff08;即机器码&#xff09;&#xff0c;并由CPU执行&#xff0c;CPU会按照指令的顺序依次执行每个指令。 C语言特点&#xff1a; 简洁高效可移植模块化标准化 C语言的标准 C89(C90)标准C99标准C11标准 导入 使用include导入包含…

postgresql 备份恢复相关知识点整理归纳 —— 筑梦之路

概述 PG一般有两种备份方式&#xff1a;逻辑备份和物理备份 逻辑备份对于数据量大的场景下耗时较长&#xff0c;恢复也会耗时较长 物理备份拷贝文件的方式相对来说耗时较短&#xff0c;跟磁盘读写性能和网络传输性能有关 逻辑备份 pg_dump pg_dump 将表结构及数据以SQL语句…

Angular学习第四天--问题记录及父子组件问题

问题一、 拉取完项目&#xff0c;使用npm install命令的时候遇到的。 解决办法&#xff1a; 在查找网上五花八门的解决方案之后&#xff0c;发现都不能解决。 我的解决办法是&#xff1a; 1. 把package-lock.json给删掉&#xff1b; 2. 把package.json中公司自己库的包给删除掉…

【论文阅读】TransGNN

一、摘要 本文主要是在推荐系统中对GNN的改进。在协同过滤中&#xff0c;主要是对用户-项目交互图进行建模。但是基于GNN的方法遇到了有限的接受域和嘈杂的“兴趣无关”连接的挑战。相比之下&#xff0c;基于Transformer的方法擅长于自适应地和全局地聚合信息但是在大规模交互…

网站如果在日益变化的网络攻击中寻到一线生机

一、引言 在数字化浪潮席卷全球的今天&#xff0c;网络空间早已成为国家安全、经济发展和社会稳定的战略高地。然而&#xff0c;这片看似平静的虚拟世界&#xff0c;实则暗流涌动&#xff0c;网络攻击层出不穷&#xff0c;手段日益翻新&#xff0c;给网站的安全运营带来了前所…

Linux UDP通信系统

目录 一、socket编程接口 1、socket 常见API socket()&#xff1a;创建套接字 bind()&#xff1a;将用户设置的ip和port在内核中和我们的当前进程关联 listen() accept() 2、sockaddr结构 3、inet系列函数 二、UDP网络程序—发送消息 1、服务器udp_server.hpp initS…

物联网的核心价值是什么?——青创智通

工业物联网解决方案-工业IOT-青创智通 物联网&#xff0c;这个词汇在当今的科技领域已经变得耳熟能详。但当我们深入探索物联网的核心价值时&#xff0c;我们会发现它远不止是一个简单的技术概念&#xff0c;而是一种能够彻底改变我们生活方式和工作方式的革命性力量。 物联网…

OpenCV基本图像处理操作(五)——图像数据操作

数据读取 cv2.IMREAD_COLOR&#xff1a;彩色图像cv2.IMREAD_GRAYSCALE&#xff1a;灰度图像 import cv2 #opencv读取的格式是BGR import matplotlib.pyplot as plt import numpy as np %matplotlib inline imgcv2.imread(cat.jpg)数据显示 #图像的显示,也可以创建多个窗口 c…

P2P通信基本原理

在数字世界的脉络中&#xff0c;点对点&#xff08;P2P&#xff09;技术如同一条悄无声息的河流&#xff0c;流经信息的每个角落&#xff0c;连接着世界各地的计算机和设备。这种去中心化的网络模型&#xff0c;不仅打破了传统的客户端-服务器架构的界限&#xff0c;还赋予了数…

✌粤嵌—2024/3/11—跳跃游戏

代码实现&#xff1a; 方法一&#xff1a;递归记忆化 int path; int used[10000];bool dfs(int *nums, int numsSize) {if (path numsSize - 1) {return true;}for (int i 1; i < nums[path]; i) {if (used[path i]) {continue;}path i;used[path] 1;if (dfs(nums, num…

C++|运算符重载(1)|为什么要进行运算符重载

写在前面 本篇里面的日期类型加法&#xff0c;先不考虑闰年&#xff0c;平年的天数&#xff0c;每月的天数统一按30天算&#xff0c;那么每一年也就是360天 目录 写在前面 定义 基本数据类型 自定义数据类型 成员函数解决相加问题 Date类&#xff0b;整形 下一篇----运…

6、JVM-JVM调优工具与实战

前置启动程序 事先启动一个web应用程序&#xff0c;用jps查看其进程id&#xff0c;接着用各种jdk自带命令优化应用 Jmap 此命令可以用来查看内存信息&#xff0c;实例个数以及占用内存大小 jmap -histo 14660 #查看历史生成的实例 jmap -histo:live 14660 #查看当前存活的实…

康耐视visionpro-CogDistancePointLineTool操作工具详细说明

◆CogDistancePointLineTool:功能说明&#xff1a; 测量点到线的距离 备注&#xff1a;在“Geometry-Measurement”选项中的所有工具都是测量尺寸或角度工具&#xff0c;包括测量线与线的角度、点与线的距离、圆与圆的距离等测量工具&#xff0c;工具使用的方法相似。 ①.打开…

EasyRecovery2024专业免费的电脑数据恢复软件

EasyRecovery数据恢复软件是一款功能强大的数据恢复工具&#xff0c;广泛应用于各种数据丢失场景&#xff0c;帮助用户从不同类型的存储介质中恢复丢失或删除的文件。 该软件支持恢复的数据类型非常广泛&#xff0c;包括但不限于办公文档、图片、音频、视频、电子邮件以及各种…

ArcGIS Server 10.8.1安装

目录 单机部署 ArcGIS Web Adaptor 优点 缺点 ArcGIS Server 使用的端口 ArcGIS GeoAnalytics Server 使用的端口 官方安装文档&#xff1a; ArcGIS Server 系统要求—ArcGIS Enterprise | ArcGIS Enterprise 文档 单机部署 ArcGIS Web Adaptor 在此示例中&#xff0c…

【神经网络与深度学习】Long short-term memory网络(LSTM)

简单介绍 API介绍&#xff1a; nn.LSTM(input_size100, hidden_size10, num_layers1,batch_firstTrue, bidirectionalTrue)inuput_size: embedding_dim hidden_size: 每一层LSTM单元的数量 num_layers: RNN中LSTM的层数 batch_first: True对应[batch_size, seq_len, embedding…

nginx-ingress详解

一、ingress概述 1、概述 Kubernetes是一个拥有强大故障恢复功能的集群&#xff0c;当pod挂掉时&#xff0c;集群会重新创建一个pod出来&#xff0c;但是pod的IP也会随之发生变化&#xff0c;为了应对这种情况&#xff0c;引入了service&#xff0c;通过service的标签匹配&am…