爬虫基础之爬取某基金网站+数据分析

news2025/1/29 7:22:10

声明: 本案例仅供学习参考使用，任何不法的活动均与本作者无关

网站:天天基金网(1234567.com.cn) --首批独立基金销售机构-- 东方财富网旗下基金平台!

本案例所需要的模块:

1.requests 2.re(内置) 3.pandas 4.pyecharts

其他均需要 pip install 模块名

爬取步骤:

一.请求数据模拟浏览器向服务器发送请求

F12 打开开发者模式点击网络搜索我们需要的数据找到正确的接口

老样子使用工具能够使我们节约时间方便快捷但前提能够自己写就没问题

新建本地py文件复制过去运行之后就可以看到与浏览器预览中一样的数据

接着我们需要对请求到的数据进行处理
这里我们使用正则是最好的
匹配所需的内容即()里的

text = re.findall(r'datas:[(.*?)]',response.text)

二.提取数据提取所需要的内容

然后我们观察放回的数据把每条数据都提取出来

此时我们想该使用什么去提取我们的数据呢 split字符串分割 or 正则
都不使用此时选择eval函数去除引号是最佳的选择

处理完之后就是一个个的元组之后我们可以遍历元组保存数据

接着就是多页数据的采集通过观察每一页的URL可知 pi参数控制着我们的页码
嵌套个for循坏实现翻页的操作

三.保存数据保存数据到本地

_**因为这样保存的数据连个标头都没有因此我们对照网站将表头写入

根据我们所拿取的数据对照麻烦的话直接复制我的代码**_

# 保存的格式为utf-8-sig  单是utf-8的话会有乱码 看不懂 思密达

with open('基金.csv', 'a', encoding='utf-8-sig', newline='
') as f:
    f.write(
        '基金代码,基金简称,English,日期,基金净值,基金累计净值,日增长率,基金近1周,基金近1月,基金近3月,基金近6月,基金近1年,基金近2年,基金近3年,今年来,成立来,False,False,False,False,手续费,False,False,False,False,False')

后面发现需要进一步的处理csv文件里的数据我就随便给个表头写入后续通过pandas 提取所需要的列形成新的表格

以下是本案例的源代码供大家交流使用

import requests
import re
import csv

with open('基金.csv', 'a', encoding='utf-8-sig', newline='
') as f:
    f.write(
        '基金代码,基金简称,English,日期,基金净值,基金累计净值,日增长率,基金近1周,基金近1月,基金近3月,基金近6月,基金近1年,基金近2年,基金近3年,今年来,成立来,False,False,False,False,手续费,False,False,False,False,False')
headers = {
    "Accept": "*/*",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
    "Cache-Control": "no-cache",
    "Connection": "keep-alive",
    "Pragma": "no-cache",
    "Referer": "https://fund.eastmoney.com/data/fundranking.html",
    "Sec-Fetch-Dest": "script",
    "Sec-Fetch-Mode": "no-cors",
    "Sec-Fetch-Site": "same-origin",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0",
    "sec-ch-ua": ""Microsoft Edge";v="131", "Chromium";v="131", "Not_A Brand";v="24"",
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": ""Windows""
}
cookies = {
    "ASP.NET_SessionId": "2n3frbs0qlvk51gumxde43jz",
    "st_si": "03571815072389",
    "st_pvi": "42679690302429",
    "st_sp": "2025-01-05%2020%3A21%3A57",
    "st_inirUrl": "https%3A%2F%2Ffund.eastmoney.com%2Fdata%2F",
    "st_sn": "1",
    "st_psi": "20250105202156911-112200312936-7115758265",
    "st_asi": "delete"
}
url = "https://fund.eastmoney.com/data/rankhandler.aspx"
for page in range(1,20):
    params = {
        "op": "ph",
        "dt": "kf",
        "ft": "all",
        "rs": "",
        "gs": "0",
        "sc": "1nzf",
        "st": "desc",
        "sd": "2024-01-05",
        "ed": "2025-01-05",
        "qdii": "",
        "tabSubtype": ",,,,,",
        "pi": page,
        "pn": "50",
        "dx": "1",
        "v": "0.7427594655500473"
    }
    response = requests.get(url, headers=headers, cookies=cookies, params=params)
    text = re.findall(r'datas:[(.*?)]', response.text)[0]
    tuple_data = eval(text)
    for tup in tuple_data:
        with open('基金.csv', 'a', encoding='utf-8-sig', newline='
') as f:
            f.write(tup)
            f.write('
')

数据清洗模块

准备步骤:
下载pandas模块 pip install pandas

此时可以新建一个py文件方便我们清洗数据

# 第一步导包
import pandas as pd

# 读取文件
df = pd.read_csv('基金.csv')
# 获取该文件中所有的列名

print(df.columns)

将我们所需要的复制下来形成一个新的文件

import pandas as pd

df = pd.read_csv('基金.csv')
# 语法

df[['基金代码', '基金简称', 'English', '日期', '基金净值', '基金累计净值', '日增长率', '基金近1周',
'基金近1月', '基金近3月', '基金近6月', '基金近1年', '基金近2年', '基金近3年', '今年来', '成立来','手续费']].to_csv('基金_New.csv', index=False,encoding='utf-8-sig')

print(df.columns)

现在就看着舒服多了

Explain:
如下图所示的列名中的数字0保存到csv文件中会消失但在pycharm中可以正常显示

数据可视化模块

# 导包
# 需要下载pyecharts
import pandas as pd
from pyecharts.charts import Line
from pyecharts.options import LabelOpts
from pyecharts import options as opts

df = pd.read_csv('基金_New.csv')
# 将每一列的数据转换成列表 因为下面的表格数据需要list类型的
name = df['基金简称'].tolist()
value = df['基金净值'].tolist()
value_2 = df['基金累计净值'].tolist()
value_3 = df['基金近1周'].tolist()
# 折线图的生成
line = (
    Line(
    )
    # 生成x y轴的值
    .add_xaxis(name)
    .add_yaxis('基金净值', value, markpoint_opts=opts.MarkPointOpts(
        # 只显示数据中的最小值和最大值
        data=[opts.MarkPointItem(type_="max", name="最大值"),
              opts.MarkPointItem(type_="min", name="最小值")
              ]
    ))
    .add_yaxis('基金累计净值',value_2,markpoint_opts=opts.MarkPointOpts(

        data=[opts.MarkPointItem(type_="max", name="最大值"),
              opts.MarkPointItem(type_="min", name="最小值")
              ]
    ))
    .add_yaxis('基金近1周',value_3,markpoint_opts=opts.MarkPointOpts(

        data=[opts.MarkPointItem(type_="max", name="最大值"),
              opts.MarkPointItem(type_="min", name="最小值")
              ]
    ))
    # 将数值不显示出来 这样美观些
    .set_series_opts(label_opts=opts.LabelOpts(is_show=False))

).render('found.html')
# 最后生成html文件