爬虫获取接口数据

news2024/10/7 8:23:13

上一讲讲的是获取静态网页数据的教程，适用于我们要爬取的数据在网页源代码中出现，但是还是有很多的数据是源代码中没有的，需要通过接口访问服务器来获得，下面我就来讲讲如何爬取这类数据。

以巨潮资讯网爬取比亚迪企业年报为例。

正常人的操作

  1. 打开巨潮资讯网官网

  2. 找到比亚迪的公告

  3. 在分类里面选择筛选信息，找到自己想要的信息

爬虫的思路

获取请求信息

在正常人的操作第三步，当我们选择一个类别时，毫无疑问浏览器肯定会对服务器发送请求信息，服务器返回信息后我们才能看到想要的信息，看一下怎么获取这个请求：

  1. 按下F12或者是右键检查，进入网络，先清空乱七八糟的网络信息

  2. 当我们选择一个类别时会看到右边多出一个query请求，这个就是我们向服务器发出的请求

  3. 我们可以查看query这条请求的信息

请求转换为代码

上一步我们获取到了请求信息，我们就可以使用python造一个请求头，主要包含请求头和请求负载，我们荡当然可以使用比较奔的方法一个一个的复制粘贴，把东西搬到代码上，这里推荐一个工具能自动帮我们把请求格式化我们想要的

  1. 把请求复制下来

  2. 在Curl命令转代码工具 (sbox.cn)这个在线网站可以直接转换为python代码

请求返回信息

请求信息在调试窗口响应上查看，当然也可以通过上一步通过代码获取的返回打印出来查看。

可以看到，一个个报告主要是在"announcements"数组里，通过直觉"adjunctUrl"可能是报告的存放地址，来验证一下，随便打开一个报告，还是按照老方法查看网络请求，可以看到pdf的请求，是不是就是"adjunctUrl"加上前缀，通过查看多个报告，发现都是这个情况，就可以大胆地去操作了。

请求url为：‘http://static.cninfo.com.cn/’ + “adjunctUrl”

保存的文件名称：‘tileSecName’+‘-’+‘announcementTitle’

完整代码

import requests
from urllib import request
cookies = {
    'JSESSIONID': 'F5C5C5CD40FE076E6139580808BEC6E3',
    'cninfo_user_browse': '002594,gshk0001211,%E6%AF%94%E4%BA%9A%E8%BF%AA',
    '_sp_ses.2141': '*',
    'routeId': '.uc2',
    'insert_cookie': '45380249',
    'SID': 'add3de6c-70ed-4c9b-a201-723fbc753673',
    '_sp_id.2141': 'f35a90ce-a735-4c68-a000-1eb385b581af.1694435068.2.1694520662.1694435105.3aee65c9-094e-48f8-af1d-67b97c9655a9',
}

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Connection': 'keep-alive',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    # 'Cookie': 'JSESSIONID=F5C5C5CD40FE076E6139580808BEC6E3; cninfo_user_browse=002594,gshk0001211,%E6%AF%94%E4%BA%9A%E8%BF%AA; _sp_ses.2141=*; routeId=.uc2; insert_cookie=45380249; SID=add3de6c-70ed-4c9b-a201-723fbc753673; _sp_id.2141=f35a90ce-a735-4c68-a000-1eb385b581af.1694435068.2.1694520662.1694435105.3aee65c9-094e-48f8-af1d-67b97c9655a9',
    'Origin': 'http://www.cninfo.com.cn',
    'Referer': 'http://www.cninfo.com.cn/new/disclosure/stock?plate=&stockCode=002594&orgId=gshk0001211',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76',
    'X-Requested-With': 'XMLHttpRequest',
}

data = {
    'stock': '002594,gshk0001211',
    'tabName': 'fulltext',
    'pageSize': '30',
    'pageNum': '1',
    'column': 'szse',
    'category': 'category_ndbg_szsh;',
    'plate': 'sz',
    'seDate': '',
    'searchkey': '',
    'secid': '',
    'sortName': '',
    'sortType': '',
    'isHLtitle': 'true',
}

response = requests.post(
    'http://www.cninfo.com.cn/new/hisAnnouncement/query',
    cookies=cookies,
    headers=headers,
    data=data,
    verify=False,
).json()
#print(response.find("totalRecordNum"))
for i in response['announcements']:
    reportName=i['tileSecName']+'-'+i['announcementTitle']
    print(reportName)
    reportUrl = 'http://static.cninfo.com.cn/' + i['adjunctUrl']
    print(reportUrl)
    request.urlretrieve(reportUrl, r'./AnnualReport/'+reportName+'.pdf')

有的分类不只有一页数据

可以看到"totalpages"这个字段跟页数有关，当只有一页的时候为0，两页的时候为1，请求头只有’pageNum’不一样，请求头’pageNum’与响应‘totalpages’是对应的，我们就可以这样写程序：

import requests
from urllib import request
cookies = {
    'JSESSIONID': '5606FC5CD576740918585289AE035EF6',
    'cninfo_user_browse': '002594,gshk0001211,%E6%AF%94%E4%BA%9A%E8%BF%AA',
    'routeId': '.uc1',
    'SID': 'ebbaf14c-1c51-48b5-8a56-e67112c85c8e',
    '_sp_ses.2141': '*',
    '_sp_id.2141': 'f35a90ce-a735-4c68-a000-1eb385b581af.1694435068.5.1694942471.1694940568.9c03aa1e-99d7-4c7b-95a5-0475f67ce2dc',
}

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Connection': 'keep-alive',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    # 'Cookie': 'JSESSIONID=5606FC5CD576740918585289AE035EF6; cninfo_user_browse=002594,gshk0001211,%E6%AF%94%E4%BA%9A%E8%BF%AA; routeId=.uc1; SID=ebbaf14c-1c51-48b5-8a56-e67112c85c8e; _sp_ses.2141=*; _sp_id.2141=f35a90ce-a735-4c68-a000-1eb385b581af.1694435068.5.1694942471.1694940568.9c03aa1e-99d7-4c7b-95a5-0475f67ce2dc',
    'Origin': 'http://www.cninfo.com.cn',
    'Referer': 'http://www.cninfo.com.cn/new/disclosure/stock?tabName=data&orgId=gshk0001211&stockCode=002594',
    #'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.81',
    'X-Requested-With': 'XMLHttpRequest',
}

data = {
    'stock': '002594,gshk0001211',
    'tabName': 'fulltext',
    'pageSize': '30',
    'pageNum': '1',
    'column': 'szse',
    'category': 'category_sf_szsh;',
    'plate': 'sz',
    'seDate': '',
    'searchkey': '',
    'secid': '',
    'sortName': '',
    'sortType': '',
    'isHLtitle': 'true',
}

proxies = {
    'http': 'http://60.182.197.86:8888',
    'https': 'https://60.182.197.86:8888'
}

response = requests.post(
    'http://www.cninfo.com.cn/new/hisAnnouncement/query',
    cookies=cookies,
    headers=headers,
    data=data,
    #proxies=proxies,    #使用代理ip，防止反爬
    verify=False,
).json()

print('总的页数：'+str(response['totalpages']))
print('总的数目：'+str(response['totalRecordNum']))
num=0
for i in range(1,2+response['totalpages']):
    #print(i)
    data['pageNum']=i
    response = requests.post(
        'http://www.cninfo.com.cn/new/hisAnnouncement/query',
        cookies=cookies,
        headers=headers,
        data=data,
        #proxies=proxies,  # 使用代理ip，防止反爬
        verify=False,
    )
    if response.status_code==200:
        print(response.text)
        response=response.json()
        for j in response['announcements']:
            reportName=j['tileSecName']+'-'+j['shortTitle']
            #print(reportName)
            reportUrl = 'http://static.cninfo.com.cn/' + j['adjunctUrl']
            #print(reportUrl)
            request.urlretrieve(reportUrl, r'./AnnualReport/'+reportName.replace("/","-")+'.pdf')
            print(num)
            num=num+1
            print(r'./AnnualReport/'+reportName+'.pdf'+'下载完成')

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1033759.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

解决windows端口占用

解决windows端口占用

WINR打开cmd窗口；输入命令查看哪个进程占用，8848为要查询占用的端口号：netstat -ano | findstr 8848； 3.杀死进程，输入taskkill /f /t /im 10672 其中10672为上面命令查出来的进程号。
阅读更多...
24. 图论 - 图的表示种类

24. 图论 - 图的表示种类

Hi，你好。我是茶桁。 之前的一节课中，我们了解了图的来由和构成，简单的理解了一下图的一些相关概念。那么这节课，我们要了解一下图的表示，种类。相应的，我们中间需要穿插一些新的知识点用于更好的去理解图…
阅读更多...
Python异步编程并发执行爬虫任务，用回调函数解析响应

Python异步编程并发执行爬虫任务，用回调函数解析响应

一、问题：当发送API请求，读写数据库任务较重时，程序运行效率急剧下降。 异步技术是Python编程中对提升性能非常重要的一项技术。在实际应用，经常面临对外发送网络请求，调用外部接口，或者不断更新数据库或文…
阅读更多...
漏刻有时数据可视化Echarts组件开发(31)：geomap伪3D配置示例

漏刻有时数据可视化Echarts组件开发(31)：geomap伪3D配置示例

echarts.registerMap("丹东", getData());let data = getData().features.map((item) => {return {name: item.properties.name,};});const points = [[116.289929,40.265374],[116.754101,40.063877],[116.229504,39.764735],[115.883434,39.899721]]let option …
阅读更多...
Unity的AB包相关

Unity的AB包相关

1、打包 在这个界面左边右键，CreateNewBundle 将要打包的模型制作成预设体 在下面勾选 选好平台路径，点击Build 2、加载AB包 public class ABTest : MonoBehaviour {// Start is called before the first frame updatevoid Start(){//加载AB包AssetB…
阅读更多...
pymysql调用存储过程

pymysql调用存储过程

视频版教程 Python操作Mysql数据库之pymysql模块技术 我们首先创建一个简单的存储过程 DELIMITER //CREATE PROCEDURE test_add(m INT,n INT, OUT result INT) BEGIN SET resultmn;END; //测试： SET s0; CALL test_add(1,2,s); SELECT sPymysql调用存储过程实现&…
阅读更多...
从植隆业务中台到金蝶云星空通过接口配置打通数据

从植隆业务中台到金蝶云星空通过接口配置打通数据

从植隆业务中台到金蝶云星空通过接口配置打通数据 数据源系统:植隆业务中台 核心能力以数字化形式沉淀为各种服务中心，其目的是“提供企业能够快速，低成本创新的能力”。业务中台的核心是“构建企业共享服务中心”，其过程是通过业务板块之间的…
阅读更多...
代码随想录算法训练营第57天| 647. 回文子串，516.最长回文子序列，动态规划总结

代码随想录算法训练营第57天| 647. 回文子串，516.最长回文子序列，动态规划总结

链接: 647. 回文子串 链接: 516.最长回文子序列 链接: 动态规划总结 647. 回文子串 理解dp数组的含义很重 class Solution {public int countSubstrings(String s) {char[] chars s.toCharArray();boolean[][] dp new boolean[s.length()][s.length()];int res 0;// 遍…
阅读更多...
FL Studio21水果编曲软件怎么下载中文版？

FL Studio21水果编曲软件怎么下载中文版？

FL Studio21这款软件在国内被广泛使用，因此又被称为"水果"。它提供音符编辑器，可以针对作曲者的要求编辑出不同音律的节奏，例如鼓、镲、锣、钢琴、笛、大提琴、筝、扬琴等等任何乐器的节奏律动。此外，它还提供了方便快捷…
阅读更多...
以小见大，彻底理解 cookie，session，token 之间的关系，通俗易懂

以小见大，彻底理解 cookie，session，token 之间的关系，通俗易懂

发展史 1、很久很久以前，Web 基本上就是文档的浏览而已，既然是浏览，作为服务器， 不需要记录谁在某一段时间里都浏览了什么文档，每次请求都是一个新的 HTTP 协议，就是请求加响应，尤其是我不用记…
阅读更多...
菜单栏图标管理软件Bartender mac 5.0.10中文版介绍

菜单栏图标管理软件Bartender mac 5.0.10中文版介绍

Bartender mac是一款菜单栏图标管理软件，功能强大，可以快速管理菜单栏的图标、显示内容和时间，只需在菜单栏中滑动或滚动、单击菜单栏，或者如果您愿意，只需将鼠标悬停即可立即访问隐藏的菜单栏项目。 Bartender软件介绍…
阅读更多...
识别准确率达 95%，华能东方电厂财务机器人实践探索

识别准确率达 95%，华能东方电厂财务机器人实践探索

摘 要：基于华能集团公司大数据与人工智能构想理念，结合东方电厂实际工作需要，财务工作要向数字化、智能化纵深推进，随着财务数字化转型和升级加速，信息化水平不断提升，以及内部信息互联互通不断加深&#x…
阅读更多...
AI机器人写作-AI机器人写作技术和工具

AI机器人写作-AI机器人写作技术和工具

在这个数字化时代，文本创作是信息传播的主要方式之一。然而，对于许多人来说，写作可能是一项具有挑战性和耗时的任务。文本创作是广告、文章、社交媒体、小说等领域的核心，但却常常需要大量时间和精力来思考、编写和编辑。许多人可…
阅读更多...
Leetcode 剑指 Offer II 045. 找树左下角的值

Leetcode 剑指 Offer II 045. 找树左下角的值

题目难度: 中等 原题链接 今天继续更新 Leetcode 的剑指 Offer（专项突击版）系列, 大家在公众号 算法精选 里回复 剑指offer2 就能看到该系列当前连载的所有文章了, 记得关注哦~ 题目描述 给定一个二叉树的 根节点 root，请找出该二叉树的 最底…
阅读更多...
C语言指针变量的引用距离

C语言指针变量的引用距离

本段代码&#xff0c;测试&#xff0c;C的函数传参中&#xff0c;形参是基础类型参数和地址参数&#xff0c;对于实参的值影响。 #include <stdio.h> add(int a,int b){a;b;printf("add副本a%d\n",a);printf("add副本b%d\n",b);printf("副本ca…
阅读更多...
ubuntu右上角的网络连接图标消失解决办法

ubuntu右上角的网络连接图标消失解决办法

ubuntu更新了几个文件后&#xff0c;我的ubuntu系统右上角的网络连接图标就消失了&#xff0c;然后怎么也找不到了&#xff0c;怎么办呢&#xff1f; 1、按快捷键ctrlaltt打开终端 2、按以下顺序输入如下的命令行 sudo service network-manager stop sudo rm /var/lib/Netw…
阅读更多...
http和https包解析

http和https包解析

简介 1.使用工具 bp 2.http和https的resquest和response的包头解析 请求报文 request 请求头 请求行 请求正文和其他的 response 响应包
阅读更多...
CRC校验原理与FPGA实现（含推导过程）

CRC校验原理与FPGA实现（含推导过程）

CRC校验原理与FPGA实现&#xff08;含推导过程&#xff09; 写在前面一、CRC校验原理1.1 CRC校验基本概念1.2 CRC校验计算1.2.1 发送端CRC校验码计算1.2.1.1 CRC校验码计算方法1.2.1.2 CRC校验码计算例子 1.2.2 接收端CRC校验1.2.2.1 校验通过1.2.2.2 数据段出错1.2.2.3 CRC校验…
阅读更多...
Excel 语法

Excel 语法

目录 语法 逐步创建公式 对单元格使用公式 另一个例子 语法 Excel中的一个公式用于进行数学计算。公式总是以单元格中键入的等号开头&#xff0c;然后是您的计算。 注意&#xff1a;您可以通过选择单元格并键入等号&#xff08;&#xff09;来声明该单元格 逐步创建公式…
阅读更多...
探讨大型公共建筑能耗监测与信息管理系统研究及应用

探讨大型公共建筑能耗监测与信息管理系统研究及应用

安科瑞 华楠 摘要&#xff1a;文章通过阐述大型公共建筑能耗现状&#xff0c;突出大型公共建筑实施节能监管的必要性&#xff0c;并在系统总结运用技术手段实施建筑能耗监测的基础上&#xff0c;介绍了江苏省建筑能耗监测系统研究过程中的技术创新和应用情况。 关键词&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023