简易版python爬虫--通过关键字爬取网页

news2024/11/26 21:34:53

背景：
帮同学写了个爬虫程序，特此记录，怕以后忘了
这里是爬取百度https://www.baidu.com
不为什么，主要就是百度老实，能爬，爬着简单，爬着不犯法。。。

关键字爬取基本模板：

import requests
from bs4 import BeautifulSoup
import random
import time

def searchbaidu(keyword):
		url = f"https://www.baidu.com/s?wd={keyword}"
        user_agents = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/20.10240.16384 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/85.0.564.44 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.109 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.57 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/79.0.309.68 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/78.0.276.19 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/77.0.235.9 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/75.0.139.8 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/74.1.96.24 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/73.0.3683.75 Safari/537.36'
        ]
        headers = {
            'User-Agent': random.choice(user_agents)
        }

        response = requests.get(url, headers=headers)
        time.sleep(random.uniform(0.5, 3))  # 设置访问频率限制
        soup = BeautifulSoup(response.content, "html.parser")
        results = soup.find_all("div", class_="result")
        for result in results:
            try:
                title = result.find("h3").text
                link = result.find("a")["href"]
                print(title)
                print(link)
            except:
                continue

说明：

随机用户，反反爬虫

这个程序是有一点小优化的，主要就是进行了一点点小小的反反爬虫措施
如：

		user_agents = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/20.10240.16384 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/85.0.564.44 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.109 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.57 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/79.0.309.68 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/78.0.276.19 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/77.0.235.9 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/75.0.139.8 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/74.1.96.24 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/73.0.3683.75 Safari/537.36'
        ]
        headers = {
            'User-Agent': random.choice(user_agents)
        }
        time.sleep(random.uniform(0.5, 3))  # 设置访问频率限制

这一步是为了获取一个请求对象，说白了就是模拟一个用户来访问，由此避开百度的反爬机制捏。不过百度这样好爬，也方便了咱们这些初学者学习嘛~
综上，通过随机获取列表里的数值来模拟出随机的访客

获取数据

		response = requests.get(url, headers=headers)
        soup = BeautifulSoup(response.content, "html.parser")
        results = soup.find_all("div", class_="result")

requests.get(url, headers=headers)就是以headers的身份获取链接里面的内容

BeautifulSoup(response.content, “html.parser”)就是提取出内容里面的html部分

soup.find_all(“div”, class_=“result”)就是寻找html里所有class为result的div。

展示数据：

        for result in results:
            try:
                title = result.find("h3").text
                link = result.find("a")["href"]
                print(title)
                print(link)
            except:
                continue

title = result.find(“h3”).text
link = result.find(“a”)[“href”]
result.find()也就是寻找标签为（）里面内容的东西，这里也就不意义赘述了

总代码：

import requests
from bs4 import BeautifulSoup
import random
import time

def searchbaidu(keyword):
		url = f"https://www.baidu.com/s?wd={keyword}"
        user_agents = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/20.10240.16384 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/85.0.564.44 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.109 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/80.0.361.57 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/79.0.309.68 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/78.0.276.19 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/77.0.235.9 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/75.0.139.8 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/74.1.96.24 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edg/73.0.3683.75 Safari/537.36'
        ]
        headers = {
            'User-Agent': random.choice(user_agents)
        }

        response = requests.get(url, headers=headers)
        time.sleep(random.uniform(0.5, 3))  # 设置访问频率限制
        soup = BeautifulSoup(response.content, "html.parser")
        results = soup.find_all("div", class_="result")
        for result in results:
            try:
                title = result.find("h3").text
                link = result.find("a")["href"]
                print(title)
                print(link)
            except:
                continue
 searchbaidu("python")

调用函数寻找关键字为"python"的内容
结果：
在这里插入图片描述

大概就这样了~~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/662511.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Git第一章、Git的原理与使用

Git第一章、Git的原理与使用

背景知识： 我们在编写各种文档时，为了防止文档丢失，更改失误，失误后能恢复到原来的版本，不得不复制出一个副本。每个版本有各自的内容，但最终会只有一份报告需要被我们使用 。但在此之前的工作都需要这些不…
阅读更多...
[Flutter]理解Widget-Key的作用

[Flutter]理解Widget-Key的作用

这里主要是理解在Widget中key的作用/用途。 import dart:math;import package:flutter/material.dart;/// 这里主要是理解在Widget中key的作用/用途。 void main() {runApp(const MyApp()); }class MyApp extends StatelessWidget {const MyApp({super.key});overrideWidget b…
阅读更多...
Vault从入门到精通系列之二：启动Vault服务器

Vault从入门到精通系列之二：启动Vault服务器

Vault从入门到精通系列之二：启动Vault服务器 一、启动开发服务器二、设置环境变量三、验证服务器正在运行四、vault命令汇总 Vault 作为客户端-服务器应用程序运行。Vault 服务器是唯一与数据存储和后端交互的 Vault 架构。通过 Vault CLI 完成的所有操作都通过 TLS…
阅读更多...
【Leetcode60天带刷】day09字符串—— 459.重复的子字符串，28. 实现 strStr()，剑指Offer 05.替换空格

【Leetcode60天带刷】day09字符串—— 459.重复的子字符串，28. 实现 strStr()，剑指Offer 05.替换空格

题目： 459. 重复的子字符串 给定一个非空的字符串 s ，检查是否可以通过由它的一个子串重复多次构成。 示例 1: 输入: s "abab" 输出: true 解释: 可由子串 "ab" 重复两次构成。示例 2: 输入: s "aba" 输出: false示例…
阅读更多...
Grammarly：AI语法检测写作助手工具

Grammarly：AI语法检测写作助手工具

【产品介绍】 Grammarly是于2009年发布，当前使用最普遍和准确的英语语法检查（grammar checker）、拼写、校对（proofreading）检查和抄袭（plagiarism）检测软件工具，其中Grammarly校对检…
阅读更多...
pytorch笔记：transformer 和 vision transformer

pytorch笔记：transformer 和 vision transformer

来自B站视频，API查阅，TORCH.NN seq2seq 可以是 CNN，RNN，transformer nn.Transformer 关键源码： encoder_layer TransformerEncoderLayer(d_model, nhead, dim_feedforward, dropout,activation, layer_norm_eps, ba…
阅读更多...
杂谈 | 人类微生物组研究：解析挑战与前景

杂谈 | 人类微生物组研究：解析挑战与前景

谷禾健康 人类微生物组研究正在从描述关联发展到了解整个微生态对人类的影响。虽然存在挑战，但在应用数据驱动的微生物组诊断和干预方面正在取得进展，这可能会在未来十年内带来精准医学的突破。 本文我们来探讨关于微生物组的研究进展及其对人类健康的影…
阅读更多...
Windows10配置Kiosk（展台）模式

Windows10配置Kiosk（展台）模式

Windows10配置Kiosk（展台）模式 新建Kiosk专用用户 进入windows设置->账户->家庭与其他用户，点击’将其他人添加到这台电脑’ 在弹出的对话框里，点击我没有这个人的登录信息，然后添加一个没有Microsoft账户的用…
阅读更多...
什么是眼图

什么是眼图

眼图是指示波器用余辉方式将捕获的波形按每3bit的形式累积叠加显示采集到的串行信号的比特位的结果，叠加后的图形形状看起来和眼睛很像 眼图有很多参数，可以用来量化信号的质量，例如： 眼高：指眼图中最大和最小电压之差…
阅读更多...
WOT全球技术创新大会2023在京召开：创新不止，实战为王

WOT全球技术创新大会2023在京召开：创新不止，实战为王

AIGC、大模型、大算力异常火爆的背后，其应用场景是什么、商业实践有何规律可循？多云实践、业务架构演进、研发效能等看似“老生常谈”的技术热点，在崇尚业务创新的当前时代有何新的发展趋势？ 6月16-17日，51CTO集结50来…
阅读更多...
android存储2--初始化.存储service的启动

android存储2--初始化.存储service的启动

android版本：android-11.0.0_r21 http://aospxref.com/android-11.0.0_r21/ android存储初始化分3个阶段： 1）清理环境。因android支持多用户，解锁后登录的可能是另一个用户，需把之前用户执行的一些信息清理干净。《an…
阅读更多...
Net6.0项目升级到Net7.0

Net6.0项目升级到Net7.0

NetCore3.1升级到Net6.0，可参考此文章：NetCore3.1项目升级到Net6.0_vs2022 没有startup_csdn_aspnet的博客-CSDN博客 其实与我之前发布的步骤基本一致，升级到net6.0之后，在升级net7.0基本没有可修改的代码，只是升级一…
阅读更多...
NOTA双功能螯合剂：NOTA PEG11 MeTz，NOTA PEG11 Azide，两者试剂信息知识总结说明

NOTA双功能螯合剂：NOTA PEG11 MeTz，NOTA PEG11 Azide，两者试剂信息知识总结说明

NOTA及其衍生物是新型双功能整合剂之一。NOTA及其衍生物具有良好的配位和鳌合能力，可作为过渡金属离子的配体。 本文主要就NOTA PEG11 MeTz，NOTA PEG11 Azide两者进行说明，以下内容希望可以帮助到大家。 一、MeTz-PEG11-NOTA 理论分析&#…
阅读更多...
【spring源码系列-06】refresh中obtainFreshBeanFactory方法的执行流程

【spring源码系列-06】refresh中obtainFreshBeanFactory方法的执行流程

Spring源码系列整体栏目 内容链接地址【一】spring源码整体概述https://blog.csdn.net/zhenghuishengq/article/details/130940885【二】通过refresh方法剖析IOC的整体流程https://blog.csdn.net/zhenghuishengq/article/details/131003428【三】xml配置文件启动spring时refres…
阅读更多...
汽车云端主题的实现与应用

汽车云端主题的实现与应用

主题指的是车载电子中，如仪表，IVI等跟视觉相关的显示设备、包括车身，在不同的自定义模式下的不同显示表现。我们也可以把它理解成为皮肤。 传统的车身皮肤（别克ELECTRA E5） 传统主题的特点 固定，单一&…
阅读更多...
使用Flow发送企业应用的通知到微信里

使用Flow发送企业应用的通知到微信里

今天我们以kintone作为企业应用管理平台来解释，怎么使用flow发送企业的通知到微信上。 完成后的样子 １．Microsoft Flow响应kintone添加记录的Webhook。 ２．Microsoft Flow向微信发送消息。 微信是什么？ …
阅读更多...
【Leetcode60天带刷】day13栈与队列—— 239. 滑动窗口最大值，347.前 K 个高频元素

【Leetcode60天带刷】day13栈与队列—— 239. 滑动窗口最大值，347.前 K 个高频元素

题目： 239. 滑动窗口最大值 给你一个整数数组 nums，有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。 返回 滑动窗口中的最大值 。 示例 1： 输入&#xf…
阅读更多...
Git进阶系列 | 1. 创建完美的提交

Git进阶系列 | 1. 创建完美的提交

Git是最流行的代码版本控制系统，这一系列文章介绍了一些Git的高阶使用方式，从而帮助我们可以更好的利用Git的能力。本系列一共8篇文章，这是第一篇。原文：Creating the Perfect Commit in Git[1] Git中的提交可以是以下两种情况之一…
阅读更多...
jenkins下载gitlab自动化用例并每日批跑

jenkins下载gitlab自动化用例并每日批跑

1.安装Jenkins ---待补充 2.安装用例执行节点（虚拟机） 用例执行的虚拟机，需要安装python环境与依赖包（自动化脚本依赖包），需要申请外网权限（安装python依赖需要外网）。执行机需要挂…
阅读更多...
四大技巧，教你如何加速手动UI测试

四大技巧，教你如何加速手动UI测试

用户界面测试（UI测试）是软件开发过程中的一个重要组成部分。单元测试和集成测试可以确保代码正常运行，UI测试则帮助您确保用户在使用过程中获得最佳体验。这些测试有一个共同的挑战——创建和维护可能非常耗时，尤其是手动测试。 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023