网络安全带你练爬虫----添加异常处理代码

news2024/11/17 21:39:00

(当代码越来越长的时候,异常处理代码有时候能起到很好的作用)

(注:其中的cookie需要填自己的)

一、异常处理代码:

(1)try-except搭配:try关键字后面的代码是要监视异常的代码块,except关键字后面的代码是用于处理异常的代码块。

try:
    # 可能引发异常的代码块
except ExceptionType:
    # 处理特定类型的异常的代码块

(2)异常类型:在except语句中,可以指定要处理的特定异常类型 

try:
    # 可能引发异常的代码块
except ZeroDivisionError:
    # 处理 ZeroDivisionError 异常的代码块

(3)多个except块:可以使用多个except块来处理不同类型的异常。按照从上到下的顺序,第一个匹配的except块将处理异常,而剩余的except块将被忽略 

try:
    # 可能引发异常的代码块
except ExceptionType1:
    # 处理 ExceptionType1 异常的代码块
except ExceptionType2:
    # 处理 ExceptionType2 异常的代码块

(4)else子句:可以在try-except块中添加一个可选的else子句。else子句中的代码将在try块中没有发生任何异常时执行。

try:
    # 可能引发异常的代码块
except ExceptionType:
    # 处理异常的代码块
else:
    # 如果没有发生异常,则执行的代码块

(5)finally子句:可以在try-except块中添加一个可选的finally子句。无论是否发生异常,finally子句中的代码都将执行。通常在finally块中放置清理代码,例如关闭打开的文件或释放资源。 

try:
    # 可能引发异常的代码块
except ExceptionType:
    # 处理异常的代码块
finally:
    # 无论是否发生异常,都会执行的代码块

 二、执行结果:

三、完整代码:

(注:其中的cookie需要填自己的)

import requests
from bs4 import BeautifulSoup
 
def get_TYC_info():
    try:
        html = get_page(TYC_url)
        soup = BeautifulSoup(html, 'lxml')
        GS_list = soup.find('div', attrs={'class': 'index_list-wrap___axcs'})
        GS_items = GS_list.find_all('div', attrs={'class': 'index_search-box__7YVh6'})
        for item in GS_items:
            title = item.find('div', attrs={'class': 'index_name__qEdWi'}).a.span.text
            link = item.a['href']
            company_type = item.find('div', attrs={'class': 'index_tag-list__wePh_'}).find_all('div', attrs={'class': 'index_tag-common__edIee'})
            tpye_texts = [element.text for element in company_type]
            money = item.find('div', attrs={'class': 'index_info-col__UVcZb index_narrow__QeZfV'}).span.text
 
 
            print(title.strip(),link,tpye_texts,money)
    except Exception as e:
        print("An error occurred:", str(e))
 
def get_page(url):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36',
            'Cookie':'!!!!!!!!!!'
}
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
        return response.text
    except requests.exceptions.RequestException as e:
        print("An error occurred while making the request:", str(e))
    except Exception as e:
        print("An error occurred:", str(e))
    return ""
 
 
if __name__ == '__main__':
        TYC_url = "https://www.tianyancha.com/search?key=&base=hub&city=wuhan&cacheCode=00420100V2020&sessionNo=1688108233.45545222"
        get_TYC_info()
 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2175661.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

DarkLabel 2.4 目标追标注工具介绍

DarkLabel介绍 https://github.com/darkpgmr/DarkLabel 官方地址 视频/图像标注工具,很适合用于目标追踪任务 DarkLabel可以在视频和图像中标注物体的边界框,并附上 ID 和name。还可以用于裁剪视频、从视频中采样训练图像以及对图像区域进行马赛克处理…

第十三周:机器学习

目录 摘要 Abstract 一、生成式对抗网络(上) 1、引入——generator 2、discriminator 3、GAN算法 4、GAN的理论 5、GAN的训练技巧 二、word2vec——gensim实践 1、引入 2、 word2vec模型 3、fasttext模型 总结 摘要 本周学习了对GAN进行了…

二叉树的前序遍历,中序遍历,后序遍历(非递归方法+C语言代码)

#include<stdlib.h> #include<stdio.h> #include<assert.h> #include<stdbool.h> //定义一个二叉树结点结构体 typedef int ElemTpye; typedef struct TreeNode {ElemTpye data;struct TreeNode* left;struct TreeNode* right; }TreeNode; //创建结点 …

Autosar EcuM学习笔记-上电初始化执行函数及下电前执行函数

文章目录 前言Autosar标准EcuM启动时的初始化EcuM下电执行过程 总结 前言 Autosar启动和下电过程由EcuM控制&#xff0c;本文介绍EcuM中的初始化和下电前的执行函数 Autosar标准 EcuM启动时的初始化 在标准中&#xff0c;主核启动流程如下&#xff1a; 从核启动流程如下&a…

98问答网是一个怎样的平台?它主要提供哪些服务?

98问答网是一个集知识分享、问题解答与社区交流为一体的综合性在线问答平台。该平台旨在通过汇聚来自各行各业的专家、学者以及广大网友的智慧&#xff0c;为用户提供一个快速获取准确信息、解决生活工作中遇到的各种问题的渠道。 主要服务包括&#xff1a; 问题提问与解答&am…

Mybatis中字段返回值映射问题

需求说明&#xff1a; 返回值列表扩展字段值&#xff0c;不改变原有代码的基础上&#xff0c;增加返回值 编写类VO: public class RegionVO extends Region {//点位数量private Integer nodeCount;public Integer getNodeCount() {return nodeCount;}public void setNodeCou…

scrapy快速上手

安装 除了scrapy本身还要安装两个库 pip install scrapy pip install pywin32 pip install wheel 创建项目 在要创建项目的地方打开powershell scrapy startproject 项目名 我们得到这样的项目结构&#xff0c;功能如下 scrapy.cfg 项目的主配置信息 …

基于STM32的智能人脸识别门锁系统

目录 引言项目背景环境准备 硬件准备软件安装与配置系统设计 系统架构关键技术代码示例 摄像头模块数据采集人脸识别与门锁控制OLED显示与报警功能应用场景结论 1. 引言 随着物联网&#xff08;IoT&#xff09;和人工智能&#xff08;AI&#xff09;技术的发展&#xff0c;智…

ERROR [internal] load metadata for docker.io/library/openjdk:8

ERROR: failed to solve: DeadlineExceeded: DeadlineExceeded: DeadlineExceeded: openjdk:8: failed to do request: Head “https://registry-1.docker.io/v2/library/openjdk/manifests/8”: dial tcp 202.160.129.6:443: i/o timeout 在构建docker镜像时从docker.io/libr…

Unity中的功能解释(数学位置相关和事件)

向量计算 Vector3.Slerp&#xff08;起点坐标&#xff0c;终点坐标&#xff0c;t&#xff09;&#xff0c;可是从起点坐标以一个圆形轨迹到终点坐标&#xff0c;有那么多条轨迹&#xff0c;那怎么办 Vector3.Slerp 进行的是沿球面插值&#xff0c;因此并不是沿着严格的“圆形…

Ubuntu 离线安装 docker

1、下载离线包&#xff0c;网址&#xff1a;https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/ 离线安装docker需要下载3个包&#xff0c;containerd.io &#xff0c;docker-ce-cli&#xff0c;docker-ce 2、下载完毕后拷贝到ubuntu上用 dpkg 命令安装&am…

【d53】【Java】【力扣】24.两两交换链表中的节点

思路 定义一个指针cur, 先指向头节点&#xff0c; 1.判断后一个节点是否为空&#xff0c;不为空则交换值&#xff0c; 2.指针向后走两次 代码 /*** Definition for singly-linked list.* public class ListNode {* int val;* ListNode next;* ListNode() {}*…

浅谈java异常[Exception]

一&#xff0e; 异常的定义 在《java编程思想》中这样定义 异常&#xff1a;阻止当前方法或作用域继续执行的问题。虽然java中有异常处理机制&#xff0c;但是要明确一点&#xff0c;决不应该用"正常"的态度来看待异常。绝对一点说异常就是某种意义上的错误&#xf…

制造业智能化建设的指标详解

制造业智能化建设的关键监测指标文章浏览阅读284次。10. |绿色化、安全及可靠性|8. |产品全生命周期管理|2. |生产数据自动采集率|4. |数据存储与分析能力|2. |生产数据自动采集率|4. |数据存储与分析能力|5. |企业数字化转型成效|2. |数据中心服务能力|1. |自动化设备应用|2. …

2024年9月25日,Intel发布至强6900P系列:128核心504MB缓存,终于追上AMD!

各位高性能计算领域的朋友们&#xff0c;你们期待已久的消息来了&#xff01; 添加图片注释&#xff0c;不超过 140 字&#xff08;可选&#xff09; Intel终于发布了至强6900P系列&#xff0c;这款全新的高性能计算&#xff08;HPC&#xff09;服务器处理器&#xff0c;不仅在…

怎样将多个视频合并成一个?7种无损视频合并技巧,1分钟剪辑出大片!

随着社交媒体和视频平台的兴起&#xff0c;身边很多人都开始拍摄vlog来记录自己的生活。剪辑视频最常见的需求就是视频合并&#xff0c;将多个视频合并成一个。视频合并算是比较简单的视频剪辑操作&#xff0c;现在有很多软件支持视频合并功能&#xff0c;本文整理了几个比较简…

windows下载安装pycharm社区版

文章目录 &#x1f315;下载pycharm社区版&#x1f315;安装&#x1f315;配置 如下内容的系统和pycharm版本&#xff1a; windows10系统 PyCharm Community Edition 2024.2.3&#x1f315;下载pycharm社区版 https://www.jetbrains.com.cn/en-us/pycharm/download/? sectio…

蓝桥杯—STM32G431RBT6(TIM定时器输入捕获频率和占空比)

一、什么是输入捕获&#xff1f;对比输出捕获区别&#xff1f; 输入捕获是指对输入信号的特定事件进行检测和记录它主要用于测量输入信号的时间间隔、频率等参数。而输出捕获则是对输出信号的特定事件进行控制和监测。两者的主要区别在于作用对象不同&#xff0c;输入捕获关注的…

JavaWeb图书借阅系统

目录 1 项目介绍2 项目截图3 核心代码3.1 Controller3.2 Service3.3 Dao3.4 spring-mybatis.xml3.5 spring-mvc.xml3.5 login.jsp 4 数据库表设计5 文档参考6 计算机毕设选题推荐7 源码获取 1 项目介绍 博主个人介绍&#xff1a;CSDN认证博客专家&#xff0c;CSDN平台Java领域优…

2022浙江省赛G I M

G - Easy Glide 题意 思路 由于数据范围比较小&#xff08;1e3&#xff09;,把所有的移动的时间转化为图论上的边权就可以了,再用dijkstra解决,注意如果用的是邻接表存的话要建双向边 代码 #include <map> #include <set> #include <queue> #include <…