Code处理结果:DataFrame 及 流程
方式①:每个页面的数据处理成df, 然后再合并df , pd.concat()/ df.append() 循环合并
方式②:原始数据中,每个页面的数据存储在一个列表中,然后页面中的每条数据以字典单元形式盛放在列表中,因此,策略是可以先通过aList.extend(bList)方法,把所有的需要的n个页面中的列表中的字典(每条记录)总体组装在一个总列表中 --》 然后再转成一个总的df
个人感觉方式②的效果会更高效一些 !!!
import requests
import datetime
import time
import re
import json
import pandas as pd
url = f'http://model.super202.cn/getJixingData.html?page=1&limit=100&sousuo='
requ = requests.get(url)
requ.headers
{'Server': 'nginx', 'Date': 'Mon, 30 Oct 2023 10:47:54 GMT', 'Content-Type': 'text/html; charset=UTF-8', 'Transfer-Encoding': 'chunked', 'Connection': 'keep-alive', 'Vary': 'Accept-Encoding', 'Strict-Transport-Security': 'max-age=31536000', 'Content-Encoding': 'gzip'}
# 每一个页面请求出来的结果
requ.json()['data']
json.loads(requ.text)
# 方式1:
# 初始化
start_num = 1
data = pd.DataFrame()
while 1:
try:
page_num = start_num
print(f'正在获取{page_num}页……')
url = f'http://model.super202.cn/getJixingData.html?page={page_num}&limit=100&sousuo='
requ = requests.get(url)
df = pd.DataFrame(requ.json()['data'])
if df.shape[0] == 0:
print(f'{page_num}-数据获取完毕')
break
else:
# data = data.append(df,ignore_index=True) # FutureWarning
data = data = pd.concat([data,df],ignore_index=True)
start_num = start_num + 1
except Exception as e:
print(str(e))
break
正在获取1页……
正在获取2页……
正在获取3页……
正在获取4页……
正在获取5页……
正在获取6页……
6-数据获取完毕
# 查看前5行
data[:5]
# 方式2:
# 初始化
start_num = 1
aList =[]
while 1:
try:
page_num = start_num
print(f'正在获取{page_num}页……')
url = f'http://model.super202.cn/getJixingData.html?page={page_num}&limit=100&sousuo='
requ = requests.get(url)
bList = json.loads(requ.text)["data"]
if len(bList) == 0:
print(f'{page_num}-数据获取完毕')
break
else:
aList.extend(bList)
start_num = start_num + 1
except Exception as e:
print(str(e))
break
res=pd.DataFrame(aList)
# print(res)
正在获取1页……
正在获取2页……
正在获取3页……
正在获取4页……
正在获取5页……
正在获取6页……
6-数据获取完毕
# 导出结果:
result.to_csv(r'D:\JixingData.csv',encoding='utf_8_sig')
# 单个查询
result.query('jixing=="V2068A"')