前言
今天打算来整整股票,简简单单的采集一些股票数据
对这个有兴趣的就一起来瞧瞧吧
准备
开发环境 & 第三方模块
- 解释器版本: python 3.8
- 代码编辑器: pycharm 2021.2
- requests: pip install requests 爬虫
- pyecharts: pip install pyecharts 数据分析
- pandas: pip install pandas 数据分析
爬虫的基本流程
一. 思路分析
采集什么数据 怎么采集
找到数据来源: 从network当中去找到数据所在的位置
https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page=1&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz
二. 代码实现(实现一个爬虫代码 正常情况下有几个步骤 )
- 发送请求
- 获取数据
- 解析数据
- 保存数据
实现代码
import requests # 第三方模块
import csv
1. 发送请求
源码点击此处领取即可
response = requests.get(url=url, headers=headers)
2. 获取数据
json_data = response.json()
3. 解析数据
提取数据 把想要的内容取出来
'''
学习中遇到问题没人解答?小编创建了一个Python学习交流QQ群:770699889
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
data_list = json_data['data']['list']
# data_list[0]
# data_list[1]
for i in range(0, len(data_list)):
symbol = data_list[i]['symbol']
name = data_list[i]['name']
current = data_list[i]['current']
chg = data_list[i]['chg']
percent = data_list[i]['percent']
current_year_percent = data_list[i]['current_year_percent']
volume = data_list[i]['volume']
amount = data_list[i]['amount']
turnover_rate = data_list[i]['turnover_rate']
pe_ttm = data_list[i]['pe_ttm']
dividend_yield = data_list[i]['dividend_yield']
market_capital = data_list[i]['market_capital']
print(symbol, name, current, chg, percent, current_year_percent, volume, amount, turnover_rate, pe_ttm, dividend_yield, market_capital)
4. 保存数据
csv_writer.writerow([symbol, name, current, chg, percent, current_year_percent, volume, amount, turnover_rate, pe_ttm, dividend_yield, market_capital])
最后
朋友们学习python,有时候不知道怎么学,从哪里开始学。掌握了基本的一些语法或者做了两个案例后,不知道下一步怎么走,不知道如何去学习更加高深的知识。
那么对于这些朋友们,我准备了大量的免费视频教程,PDF电子书籍,以及源代码!直接在文末名片自取即可哦!
今天的分享到这里就结束了
顺便给大家推荐一些Python视频教程,希望对大家有所帮助:
Python零基础教学合集
对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦
觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/