【python】爬取知乎热榜Top50保存到Excel文件中【附源码】

news2024/11/24 22:56:29

欢迎来到英杰社区icon-default.png?t=N7T8https://bbs.csdn.net/topics/617804998

   一、导入必要的模块：

    这篇博客将介绍如何使用Python编写一个爬虫程序，从斗鱼直播网站上获取图片信息并保存到本地。我们将使用requests模块发送HTTP请求和接收响应，以及os模块处理文件和目录操作。

        如果出现模块报错

        进入控制台输入：建议使用国内镜像源

pip install requests -i https://mirrors.aliyun.com/pypi/simple

         我大致罗列了以下几种国内镜像源：

        

清华大学
https://pypi.tuna.tsinghua.edu.cn/simple

阿里云
https://mirrors.aliyun.com/pypi/simple/

豆瓣
https://pypi.douban.com/simple/ 

百度云
https://mirror.baidu.com/pypi/simple/

中科大
https://pypi.mirrors.ustc.edu.cn/simple/

华为云
https://mirrors.huaweicloud.com/repository/pypi/simple/

腾讯云
https://mirrors.cloud.tencent.com/pypi/simple/

    

二、发送GET请求获取响应数据：

        设置了请求头部信息，以模拟浏览器的请求，函数返回响应数据的JSON格式内容。

def get_html(url):
    header = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
    }
    response = requests.get(url=url, headers=header)
    # print(response.json())
    html = response.json()
    return html

        如何获取请求头：

        火狐浏览器：

  1. 打开目标网页并右键点击页面空白处。
  2. 选择“检查元素”选项，或按下快捷键Ctrl + Shift + C（Windows）
  3. 在开发者工具窗口中，切换到“网络”选项卡。
  4. 刷新页面以捕获所有的网络请求。
  5. 在请求列表中选择您感兴趣的请求。
  6. 在右侧的“请求标头”或“Request Headers”部分，即可找到请求头信息。

     将以下请求头信息复制出来即可

三、代码实现

这段代码是用来爬取知乎热榜数据并保存到 Excel 文件中的。具体实现方法如下：

  1. 定义了一个函数 get_time，用于获取当前时间，并可以按照指定的格式进行输出。

def get_time(fmt:str='%Y-%m-%d %H-%M-%S') -> str:
    '''
    获取当前时间
    '''
    ts = time.time()
    ta = time.localtime(ts)
    t = time.strftime(fmt, ta)
    return t

  1. 定义了一个函数 save_hot_list，用于保存热榜数据到 Excel 文件中。

def save_hot_list() -> None:
    # 请求头
    headers = {
​
        'User-Agent': 'osee2unifiedRelease/4318 osee2unifiedReleaseVersion/7.7.0 Mozilla/5.0 (iPhone; CPU iPhone OS 14_4_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148',
        'Host': 'api.zhihu.com',
​
​
    }
    # 请求参数
    params = (
        ('limit', '50'),
        ('reverse_order', '0'),
    )
    # 发送请求
    response = requests.get(
        'https://zhihu.com/topstory/hot-list', headers=headers, params=params)
​
    items = response.json()['data']

首先定义请求头和请求参数，然后发送 GET 请求获取知乎热榜数据。其中 response.json()['data'] 取出了返回结果中的 data 字段，即热榜列表数据。

    rows = []
    now = get_time()
    # 取日期为文件夹名称
    dir_path = now.split(' ')[0]
    # 文件夹不存在则创建
    if not os.path.exists(dir_path):
        os.makedirs(dir_path)

定义一个空列表 rows 来存储热榜数据，然后获取当前时间并将其拆分为日期和时间两个部分。这里我们只需要日期部分作为保存数据的文件夹名称，如果这个文件夹不存在，则创建它。

  
  for rank, item in enumerate(items, start=1):
        target = item.get('target')
        title = target.get('title')
        answer_count = target.get('answer_count')
        hot = int(item.get('detail_text').split(' ')[0])
        follower_count = target.get('follower_count')
        question_url = target.get('url').replace(
            'api', 'www').replace('questions', 'question')
        rows.append({
            '排名': rank,
            '标题': title,
            '回答数': answer_count,
            '关注数': follower_count,
            '热度(万)': hot,
            '问题链接': question_url
        })

遍历全部热榜数据，并从中取出我们需要的属性，包括：标题、回答数、关注数、热度和问题链接。将这些属性添加到 rows 列表中。

    df = pd.DataFrame(rows)
    now = get_time()
    excel_path = dir_path+'/Yan-英杰.xlsx'
    df.to_excel(excel_path, index=None)
    print(now, '的热榜数据数据已保存到文件', excel_path)

将 rows 列表转化为 Pandas 的 DataFrame，并将其保存到 Excel 文件中。Excel 文件的名称以当前日期作为文件夹名称，以 "Yan-英杰.xlsx" 作为文件名。最后输出保存完成的信息。

# 保存热榜数据
save_hot_list()

调用 save_hot_list 函数来执行保存操作。

四、效果图：

五、完整代码

import requests
import pandas as pd
import time
import os


def get_time(fmt:str='%Y-%m-%d %H-%M-%S') -> str:
    '''
    获取当前时间
    '''
    ts = time.time()
    ta = time.localtime(ts)
    t = time.strftime(fmt, ta)
    return t


def save_hot_list() -> None:
    # 请求头
    headers = {

        'User-Agent': 'osee2unifiedRelease/4318 osee2unifiedReleaseVersion/7.7.0 Mozilla/5.0 (iPhone; CPU iPhone OS 14_4_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148',
        'Host': 'api.zhihu.com',


    }
    # 请求参数
    params = (
        ('limit', '50'),
        ('reverse_order', '0'),
    )
    # 发送请求
    response = requests.get(
        'https://zhihu.com/topstory/hot-list', headers=headers, params=params)

    items = response.json()['data']
    rows = []
    now = get_time()
    # 取日期为文件夹名称
    dir_path = now.split(' ')[0]
    # 文件夹不存在则创建
    if not os.path.exists(dir_path):
        os.makedirs(dir_path)
    # 遍历全部热榜，取出几个属性
    for rank, item in enumerate(items, start=1):
        target = item.get('target')
        title = target.get('title')
        answer_count = target.get('answer_count')
        hot = int(item.get('detail_text').split(' ')[0])
        follower_count = target.get('follower_count')
        question_url = target.get('url').replace(
            'api', 'www').replace('questions', 'question')
        rows.append({
            '排名': rank,
            '标题': title,
            '回答数': answer_count,
            '关注数': follower_count,
            '热度(万)': hot,
            '问题链接': question_url
        })
    df = pd.DataFrame(rows)
    now = get_time()
    excel_path = dir_path+'/Yan-英杰.xlsx'
    df.to_excel(excel_path, index=None)
    print(now, '的热榜数据数据已保存到文件', excel_path)

# 保存热榜数据
save_hot_list()

   给大家推荐一个网站

    IT今日热榜 一站式资讯平台


        里面包含了上百个IT网站，欢迎大家访问：IT今日热榜 一站式资讯平台

   iToday，打开信息的新时代。作为一家创新的IT数字媒体平台，iToday致力于为用户提供最新、最全面的IT资讯和内容。里面包含了技术资讯、IT社区、面试求职、前沿科技等诸多内容。我们的团队由一群热爱创作的开发者和分享的专业编程知识爱好者组成，他们精选并整理出真实可信的信息，确保您获得独特、有价值的阅读体验。随时随地，尽在iToday，与世界保持连接，开启您的信息新旅程！

IT今日热榜 一站式资讯平台IT今日热榜汇聚各类IT热榜：虎嗅、知乎、36氪、京东图书销售、晚点、全天候科技、极客公园、GitHub、掘金、CSDN、哔哩哔哩、51CTO、博客园、GitChat、开发者头条、思否、LeetCode、人人都是产品经理、牛客网、看准、拉勾、Boss直聘http://itoday.top/#/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1366664.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

MySQL 8.0 InnoDB Tablespaces之Temporary Tablespaces（临时表空间）

MySQL 8.0 InnoDB Tablespaces之Temporary Tablespaces（临时表空间）

文章目录 MySQL 8.0 InnoDB Tablespaces之Temporary Tablespaces（临时表空间）会话临时表空间会话临时表空间的磁盘分配和回收会话临时表空间的创建创建临时表和查看临时表信息会话临时表空间相关的设置参数innodb_temp_tablespaces_dir 全局临时表空间查…
阅读更多...
「MCU」SD NAND芯片之国产新选择优秀

「MCU」SD NAND芯片之国产新选择优秀

文章目录 前言 传统SD卡和可贴片SD卡 传统SD卡 可贴片SD卡 实际使用 总结 前言 随着目前时代的快速发展，即使是使用MCU的项目上也经常有大数据存储的需求。可以看到经常有小伙伴这样提问： 大家好，请问有没有SD卡芯片，可以…
阅读更多...
RT-Thread 线程管理

RT-Thread 线程管理

线程管理 在日常生活中，我们要完成一个大任务，一般会将它分解成多个简单、容易解决的小问题，小问题逐个被解决，大问题也就随之解决了。 在多线程操作系统中，也同样需要开发人员把一个复杂的应用分解成多个小的、可调…
阅读更多...
C#上位机与三菱PLC的通信01--搭建仿真环境

C#上位机与三菱PLC的通信01--搭建仿真环境

1、三菱PLC介绍 三菱PLC是三菱电机生产的主力产品。 它采用一类可编程的存储器，用于其内部存储程序，执行逻辑运算、顺序控制、定时、计数与算术操作等面向用户的指令，并通过数字或模拟式输入/输出控制各种类型的机械或生产过程。三菱PLC在中国…
阅读更多...
软件测试|深入理解Python的encode()和decode()方法

软件测试|深入理解Python的encode()和decode()方法

简介 在Python中，字符串是不可变的序列对象，它由Unicode字符组成。当我们需要在字符串和字节之间进行转换时，Python提供了两个非常重要的方法：encode()和decode()。这两个方法允许我们在Unicode字符和字节之间进行相互转换&#…
阅读更多...
网络报文分析程序的设计与实现（2024）

网络报文分析程序的设计与实现（2024）

1.题目描述 在上一题的基础上，参照教材中各层报文的头部结构，结合使用 wireshark 软件（下载地址 https://www.wireshark.org/download.html#releases）观察网络各层报文捕获，解析和分析的过程（如下 图所示&a…
阅读更多...
计算机毕业设计——SpringBoot 个人博客管理系统(附源码)

计算机毕业设计——SpringBoot 个人博客管理系统(附源码)

1，绪论 1.1 背景调研 在互联网飞速发展的今天，互联网已经成为人们快速获取、发布和传递信息的重要渠道，它在人们政治、经济、生活等各个方面发挥着重要的作用。互联网上发布信息主要是通过网站来实现的，获取信息也是要在互联网中…
阅读更多...
智能网联汽车安全相关标准汇总

智能网联汽车安全相关标准汇总

目录 1.标准方向分析 2.智能驾驶域相关标准 3.智能座舱域相关标准 3.汽车通用规范 1.标准方向分析 当前汽车行业的内卷态势已经蔓延至项目立项，导致如今开发模式都尽可能地左移，例如瑞萨提出的虚拟ECU开发模式可以极大节省ECU的实车验证资源&#xf…
阅读更多...
Open3D 基于统计滤波去除噪点（5）

Open3D 基于统计滤波去除噪点（5）

Open3D 基于统计滤波去除噪点（5） 一、什么是统计滤波二、具体实现1.代码 一、什么是统计滤波 统计滤波是一种常用的点云滤波方法，用于去除噪声和异常点。在统计滤波中，通过计算每个点邻域内的统计特征（如平均值和标准…
阅读更多...
院士专家齐聚 京彩未来联合重点研究院创建数字空间联合实验室

院士专家齐聚 京彩未来联合重点研究院创建数字空间联合实验室

1月6日，京彩未来与北京大学数字中国研究院华南分院暨广东省数字广东研究院共同创建的“数字空间共同体联合室验室”正式挂牌运营。 著名经济学家管清友博士、北京大学数字中国研究院华南分院暨广东省数字广东研究院常务副院长李鹰教授，广东省数字广东研…
阅读更多...
MFC Socket和合信CTMC M266ES 运动控制型PLC通信进行数据交换

MFC Socket和合信CTMC M266ES 运动控制型PLC通信进行数据交换

前言 1、前两篇文章通过对Snap7和S7-1200/S7-1500PLC的通信进行了详细的介绍。Snap7的优点开源性强、使用方便易于上手，跨平台和可移植性性强。但是Snap7也有个缺点就是只能访问PLC的DB、MB、I、Q区进行数据读写，不能对V区进行读写,有人说可以读写V区&am…
阅读更多...
Spring AOP（详解）

Spring AOP（详解）

目录 1.AOP概述 2.AOP相关术语 3.Spring AOP的原理机制 3.1JDK动态代理 3.2 CGLIB动态代理 3.3简单代码展示 3.3.1JDK动态代理 3.3.2CGLIB动态代理 4.Spring的AOP配置 4.1pom.xml 4.2增强方法 4.3切点 4.4切面 5.基于注解的AOP配置 5.1.创建工程 5.2.增强 5.3AOP…
阅读更多...
抖去推账号矩阵+无人直播+文案引流系统开发搭建--开源

抖去推账号矩阵+无人直播+文案引流系统开发搭建--开源

核心技术 1. AI自动直播： 智能系统通过丰富可定制的文案库， 拥有有料有趣的灵魂。不仅能自动语音讲解内容，还可以在直播中和用户灵活互动。直播中可将团购商品同话术自动上下架。 2. AI剪辑 可一键智能批量成片，也可跟着模板剪…
阅读更多...
苹果IOS如何支持微信小程序分享

苹果IOS如何支持微信小程序分享

各位同学们好！我是咕噜铁蛋！，我们经常需要与读者分享有关移动应用的使用方法和技巧。微信小程序是一种便捷的应用形式，可以在微信内部直接使用，而无需下载和安装。本文铁蛋讲详细介绍iOS苹果支持微信小程序类型分享的使…
阅读更多...
简单几步，实现餐厅扫码点餐

简单几步，实现餐厅扫码点餐

越来越多的人选择外出就餐，而餐厅的点餐方式也随着科技的发展而不断进步。其中，扫码点餐是最为常见的一种方式，它不仅方便快捷，还能节省人力成本。本文将介绍一种简单易行的餐厅扫码点餐解决方案。 打开乔拓云平台，登录…
阅读更多...
【React】02-如何理解React通过对DOM的模拟，最大限度地减少与DOM的交互

【React】02-如何理解React通过对DOM的模拟，最大限度地减少与DOM的交互

如何理解React通过对DOM的模拟，最大限度地减少与DOM的交互 背景分析关于虚拟DOM 背景 在学习React的过程中，发现很多文档上关于React的高效都有这么一句话的描述——React通过对DOM的模拟，最大限度地减少与DOM的交互，对于我这种前…
阅读更多...
Spark---RDD算子(单值类型转换算子)

Spark---RDD算子(单值类型转换算子)

文章目录 1.RDD算子介绍2.转换算子2.1 Value类型2.1.1 map2.1.2 mapPartitions2.1.3 mapPartitionsWithIndex2.1.4 flatMap2.1.5 glom2.1.6 groupBy2.1.7 filter2.1.8 sample2.1.9 distinct2.1.10 coalesce2.1.11 repartition2.1.12 sortBy 1.RDD算子介绍 RDD算子是用于对RDD进…
阅读更多...
Redis（三）持久化

Redis（三）持久化

文章目录 RDB（Redis Database）自动触发保存频率修改dump文件保存路径修改文件保存名称dump恢复 手动触发save![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a56fdff44aee4efa96c2ce3615b69dc1.png)bgsave 优劣优点缺点 检查修复dump文件会触…
阅读更多...
算法基础之耍杂技的牛

算法基础之耍杂技的牛

耍杂技的牛 核心思想&#xff1a; 贪心 推公式&#xff1a; 将 i 和 i1 个奶牛交换位置 比较交换位置后的危险系数最大值若Wi Si > Wi1 Si1 则交换前大 交换后更优 需要交换因此 按照WS从小到大排序 就是最优解 再计算危险系数 #include<iostream>#include<…
阅读更多...
Spring学习之——事务控制

Spring学习之——事务控制

Spring中的事务控制 说明&#xff1a; JavaEE体系进行分层开发&#xff0c;事务处理位于业务层&#xff0c;Spring提供了分层设计业务层的事务处理解决方案。 Spring框架为我们提供了一组事务控制的接口。具体在后面的小节介绍。这组接口是在spring-tx.RELEASE.jar中。 spri…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023