盘点一个Python网络爬虫抓取股票代码问题(上篇)

news2024/11/13 9:39:44

点击上方“Python爬虫与数据挖掘”,进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

去来江口守空船,绕船月明江水寒。

大家好,我是皮皮。

一、前言

前几天在Python白银群【厚德载物】问了一个Python网络爬虫的问题,这里拿出来给大家分享下。

4395985c101462383b128e1acc65ec84.png

二、实现过程

这个问题其实for循环就可以搞定了,看上去粉丝的代码没有带请求头那些,导致获取不到数据。后来【瑜亮老师】、【小王子】给了具体思路,代码如下图所示:

63b2bdb2bdd95d63c3dd6b63eb3de924.png

后来【小王子】也给了一个具体代码,如下:

import requests
import time

headers = {
    "authority": "stock.xueqiu.com",
    "accept": "*/*",
    "accept-language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
    "origin": "https://xueqiu.com",
    "referer": "https://xueqiu.com/S/SH600600",
    "sec-ch-ua": "\"Not.A/Brand\";v=\"8\", \"Chromium\";v=\"114\", \"Microsoft Edge\";v=\"114\"",
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": "\"Windows\"",
    "sec-fetch-dest": "empty",
    "sec-fetch-mode": "cors",
    "sec-fetch-site": "same-site",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.51"
}
cookies = {
    "xq_a_token": "57b2a0b86ca3e943ee1ffc69509952639be342b9",
    "xqat": "57b2a0b86ca3e943ee1ffc69509952639be342b9",
    "xq_r_token": "59c1392434fb1959820e4323bb26fa31dd012ea4",
    "xq_id_token": "eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTY5MDMzMTY5OCwiY3RtIjoxNjg3ODcxOTQxNTM1LCJjaWQiOiJkOWQwbjRBWnVwIn0.KI3paq6_r2IZuM5AemhFqy5l1vVFsxf7ICELsem_rwAd0yYo_8bfOs1aP_5BBO3_rJuP9r6CJslCg1S_icefsPgqgtWZwVzfcIwvoLlZaag4a9IjqBxc2G6Ug50F9_UMLifzbNDrN4u8kwjm0sXHFUYnT_I89pwr0CeEgC4-jo9ExazlXJFZk_tA40C6L3npCVkKk8cOfl5JnvVUADXdef8G54jAsL_N5Sjx30YKxU1_2aUKRJZhRlN6bXqcXIP466odbBSBrMp52FFdB1knI2IN4dQJ5Hg4PRQyCsyFtgp-h_s_Rru4nwFqN6aiXPgLue1pGFGg25qBvTVr2m_9cQ",
    "u": "561687871945884",
    "device_id": "27b6ec56b772ea40c8582168f00a7604",
    "Hm_lvt_1db88642e346389874251b5a1eded6e3": "1687871949",
    "s": "ci1eygzbit",
    "is_overseas": "0",
    "Hm_lpvt_1db88642e346389874251b5a1eded6e3": "1687872001"
}
url = "https://stock.xueqiu.com/v5/stock/quote.json"
symbols = ['SH600600', 'SH600519', 'SH301183']
for symbol in symbols:
    params = {
        "symbol": f"{symbol}",
        "extend": "detail"
    }
    response = requests.get(url, headers=headers, cookies=cookies, params=params)
    time.sleep(3)

    print(response.text)
    print(response)

代码运行之后,可以得到具体的结果,如下图所示:

a530fcc83bedeefb79cd081e4b7d1529.png

【瑜亮老师】后面还补充了一个代码,如下所示:

for i in ['SH600519','SZ300600','SZ301183']:
    url = f"https://stock.xueqiu.com/v5/stock/quote.json?symbol={i}&extend=detail"
    response = requests.get(url=url, headers=headers,cookies=cookies)
    json_data = response.json()
    print(json_data)

顺利地解决了粉丝的问题。方法很多,条条大路通罗马,能解决问题就好。

b2dbf5561a3fe51665dac0b16739fb5c.png

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python网络爬虫的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【厚德载物】提问,感谢【瑜亮老师】、【魏哥】、【kim】、【巭孬嫑勥烎】给出的思路和代码解析,感谢【冫马讠成】、【Ineverleft】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

46c6291770ba2f5dc3d114da158d0adf.png

大家在学习过程中如果有遇到问题,欢迎随时联系我解决(我的微信:pdcfighting1),应粉丝要求,我创建了一些高质量的Python付费学习交流群和付费接单群,欢迎大家加入我的Python学习交流群和接单群!

5c65c2fdb71f186b00077b90e2aafc1a.png

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

2fc2481c01dae2f21c2fbb407edd5d2d.jpeg

------------------- End -------------------

往期精彩文章推荐:

  • 盘点一个Python网络爬虫过验证码的问题(方法三)

  • 盘点一个Python网络爬虫过验证码的问题(方法二)

  • 盘点一个Python网络爬虫过验证码的问题(方法一)

  • 盘点一个Python自动化办公案例分享

28b926c197fa9e01d9fd02d98ca71c66.png

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群

万水千山总是情,点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/715274.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

新手入门深度学习 | 3-2:激活函数activation

一、什么是激活函数 生物神经网络启发了人工神经网络(ANN)的发展。但是,人工神经网络并非大脑运作的近似表示。不过在我们了解为什么在人工神经网络中使用激活函数之前,先了解生物神经网络与激活函数的相关性是很有用处的。 典型神经元的物理结构包括细胞体(cell body)、…

软件的兼容性测试确保良好稳定运行的用户体验

在数字化时代,各种软件应用的开发和推广越来越普遍。然而,由于不同的操作系统、不同的设备配置和不同的软件版本,软件的兼容性成为了一个重要的问题,可以说软件的兼容性测试确保良好稳定运行的用户体验。 首先,软件的兼…

MySQL Optimization Learning(三)

一、通过索引进行优化 数据结构 Data Structure Visualizations 数据可视化效果展示 Binary Search Tree 插入数据可视化效果展示 AVL Tree Red/Black Tree --MYISAM存储引擎数据和引用分开存储 DROP TABLE IF EXISTS t_test; CREATE TABLE t_test (id int(11) NOT NULL,…

websocket 发送的消息超过默认限制就会自动断开连接

springboot集成websocket需要三步&#xff1a; 添加依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId><version>2.1.6.RELEASE</version></dependency>…

【GIT】Git常用命令学习

Git常用命令学习 说明&#xff1a;<>表示占位符的说明&#xff0c;[]表示可选&#xff0c;/表示“或” 仓库操作 初始化创建一个本地仓库 git init克隆远程仓库至本地 git clone <远程仓库地址> [仓库名称] #可以加上自定义仓库名称配置仓库 git config user.name…

Linux的动静态库

动静态库 1. 见一见动静态库2. 动静态库概念2.1 为什么要有动静态库2.2 定义 3. 写一写——库的设计角度打包成静态库打包成动态库 4. 用一用——使用者角度4.1 直接使用头文件和源文件&#xff08;直接给源代码&#xff09;4.2 得到头文件和源文件进过处理后形成的二进制文件.…

C++ - 20230703

一. 思维导图 二.练习 全局变量&#xff0c;int monster 10000;定义英雄类hero&#xff0c;受保护的属性string name&#xff0c;int hp,int attck&#xff1b;公有的无参构造&#xff0c;有参构造&#xff0c;虚成员函数 void Atk(){blood-0;}&#xff0c;法师类继承自英雄类…

SpringCloud:微服务技术

一、认识微服务&#xff1a; 首先&#xff0c;微服务架构不等于SpringCloud&#xff0c;微服务架构是一种经过良好架构设计的分布式架构方案&#xff0c; &#xff0c;它将应用构建成一系列按业务领域划分模块的&#xff0c;小的自治服务&#xff0c;并解决服务拆分所产生的各种…

css基础知识十五:如果要做优化,CSS提高性能的方法有哪些?

一、前言 每一个网页都离不开css&#xff0c;但是很多人又认为&#xff0c;css主要是用来完成页面布局的&#xff0c;像一些细节或者优化&#xff0c;就不需要怎么考虑&#xff0c;实际上这种想法是不正确的 作为页面渲染和内容展现的重要环节&#xff0c;css影响着用户对整个…

DL环境安装之GCC9,Python9与IDE连接远程环境:python notebook,解释器,C toolchain

文章目录 一.安装gcc91. 设置x86 centos7 yum源2. 编译安装 二、安装python3.91.前置依赖2. 编译安装3.建立软连接或环境变量 三、IDE连接远程环境1.IDE 远程notebook2.IDE 远程Python解释器3.远程toolchain &#xff08;后续可能有用&#xff09; 一.安装gcc9 系统自带的cc可…

2023亚马逊云科技中国峰会——Amazon DeepRacer

1.DeepRacer技术背景 早在20世纪初汽车问世之时&#xff0c;发明家们便已提出无人驾驶的设想。但即便是实现无人驾驶的初级阶段&#xff0c;也经历了足足百年时间。毕竟在复杂的城市路况下&#xff0c;机器若想像人一样实现感知、决策、控制等功能&#xff0c;必定面临各种复杂…

Simulink仿真模块 - Product

Product:标量和非标量的乘除运算或者矩阵的乘法和逆运算 库:Simulink / Commonly Used Blocks Simulink / Math Operations HDL Coder / Commonly Used Blocks HDL Coder / HDL Floating Point Operations HDL Coder / Math Operations 模型为: 双击模型打开参数设置界面为…

静电测试仪如何在生产中帮助我们

静电测试仪在生产中可以帮助我们进行静电防护和质量控制。以下是它在生产中的具体帮助&#xff1a; 1. 静电防护&#xff1a;静电测试仪可以用来测量物体表面的静电电荷&#xff0c;通过监测静电电荷的大小和分布情况&#xff0c;预防静电产生和积累&#xff0c;降低产品受到静…

如何快速构建一个交互式的JavaScript UI仪表板?用DHTMLX很简单!

DHTMLX Suite包含了超过20个UI小部件&#xff0c;可以帮助开发功能齐全的Web应用程序。例如&#xff0c;开发者可以创建一个全面的仪表板来可视化和监控票务系统的性能。 在本文这个JavaScript仪表板教程中&#xff0c;我们将介绍如何在DHTMLX Suite UI小部件和Optimus微框架的…

Android性能优化-数据结构

本文链接&#xff1a;Android性能优化-数据结构_猎羽的博客-CSDN博客 云笔记链接&#xff1a;https://note.youdao.com/s/84OhDByE

SysML建模示例水蒸馏器图形大全(从图16.1到图16.30)EA从零开始复刻

DDD领域驱动设计批评文集 欢迎加入“软件方法建模师”群 《软件方法》各章合集

图像聚类算法

什么是分类 分类 分类其实是从特定的数据中挖掘模式&#xff0c;作出判断的过程。 分类学习主要过程&#xff1a; &#xff08;1&#xff09;训练数据集存在一个类标记号&#xff0c;判断它是正向数据集&#xff08;起积极作用&#xff0c;不是垃圾短信&#xff09;&#xf…

C++与JAVA中迭代器的不同

1.C迭代器 #include <iostream> #include <vector> using namespace std;int main() {vector<int> vec;for(int i 0; i < 10; i) vec.push_back(i);for(std::vector<int>::iterator it vec.begin(); it ! vec.end(); it) {cout << "…

以太网常见设备(五)

目录 一、网卡 二、中继器 三、集线器 四、网桥 五、2层交换机 六、路由器 七、网关 一、网卡 网卡&#xff0c;全称网络接口卡&#xff0c;有时也叫做网络适配器、网卡、LAN卡。是计算机连接网络的接口。 二、中继器 中继器是OSI模型第1层物理层面上延长网络的设备。其…