一、问题引入
黄金价格网址:https://china.gold.org/goldhub/data/gold-prices
问题引入:现有历年的黄金价格信息(如图所示),但呈现的方式是趋势图,并没有直接以表格的形式罗列出来,只有当鼠标悬停在趋势图上方才显示所指日期的黄金价格信息,本次python程序的目标是将历年的黄金价格信息爬取下来并绘图展示。
二、基本思路
右键点击“检查”,在Network菜单栏中找到Search搜索框,输入某天的黄金价格(这里以1981年1月2日的黄金价格为例,数据显示为29.09),当输入29.09却无法搜索到任何信息时,可能是数据精度的问题(趋势图显示的黄金价格已经是经过四舍五入处理后的了),这里改成搜索29.08即可找到趋势图的底层数据来源。
检索到数据后,再从Response跳转到Headers,找到趋势图底层数据的请求网址(Request URL),打开该网址后,显示结果如下图所示。
可以发现,“chartData”就是底层数据存储的地方,“USD”是按美元结算的黄金价格信息,“CNY”是按人民币结算的黄金价格信息,第一列是数字时间戳信息,第二列是黄金价格信息,值得注意的是:第一列数字时间戳信息需要转换为我们常见的日期格式,即“某年某月某日”。
三、python程序
import time
import requests
import pandas as pd
import matplotlib.pylab as plt
plt.rcParams['font.sans-serif'] = ['SimSun']
plt.rcParams['axes.unicode_minus'] = False
url = 'https://fsapi-china.gold.org/api/goldprice/v11/chart/price/usd,cny/grams'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'}
response = requests.get(url, headers=headers)
html = response.json()['chartData']['CNY'] # 提取按人民币结算的历年黄金价格信息
for sublist in html:
sublist[0] = time.strftime('%Y-%m-%d', time.localtime(sublist[0] / 1000)) # 数字时间戳转换为日期格式
data = pd.DataFrame(html, columns=['Date', 'CNY']).dropna() # 删除空值
data.reset_index(drop=True, inplace=True) # 更新索引index
print(data)
fig, ax = plt.subplots(1, 1)
ax.plot(data['Date'], data['CNY'])
fig.autofmt_xdate(rotation=45) # 对x轴日期进行45度旋转
plt.gca().xaxis.set_major_locator(plt.MultipleLocator(20)) # 调整x轴日期显示间距,每隔20条数据显示一次日期
plt.show()
输出结果如下:
如果打算将x轴的日期显示格式从“某年某月某日”改成“某年某月”,只需要将下面代码进行更改即可。
修改前:
ax.plot(data['Date'], data['CNY'])
修改后:
ax.plot(pd.to_datetime(data['Date']).dt.to_period('M').astype(str),data['CNY'])
输出结果如下:
如果打算将x轴的日期显示间距调大,只需要将下面代码进行更改即可。
修改前:
plt.gca().xaxis.set_major_locator(plt.MultipleLocator(20))
修改后:
plt.gca().xaxis.set_major_locator(plt.MultipleLocator(30))
输出结果如下:
如果需要不同核算单位的历年黄金价格信息,可以将url换成以下这些网址。
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/oz' # 盎司
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/grams' # 克
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/kg' # 千克
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/tonnes' # 吨
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/tael' # 两
# url='https://fsapi-china.gold.org/api/goldprice/v11/chart/price/cny/tola' # 拖拉