用Scrapy编写第一个入门项目（基础四件套：spider,pipeline,setting,items）

news2024/11/25 20:38:39

简介：scrapy是一个用于爬取网页并提取数据的应用框架，也可用于提取API数据

写在前面：只想看scrapy的童鞋子请跳过5-7直接step8）

step5，6是xpath和css入门，用于提取数据；

step7是文件储存方式，用于后续pinpeline配置；

step1:创建虚拟环境

打开终端：

win+r>>cmd>>pip install virtualenv(安装虚拟环境创造工具）

  1. virtualenv ENV #创建第一个虚拟环境

  2. cd ENV#在当前目录下创建一个ENV文件夹并进入

  3. activate #激活,然后在终端的盘符前（ENV）则代表进入虚拟环境状态

  4. deactivate#退出

step2：安装依赖包

创建一个.自命名txt文件，#后面不用录入，这里仅为解释

lxml#解析xml和HTML 的工具
parsel#HTML/XML数据提取
w3lib#网页解码
twisted异步网络编程框架
cryptography#用于加密
pyOpenSSL#进行加密解密操作

然后终端cmd

pip install -r 自命名.txt

step3:安装scrapy

win+r>>cmd>>pip install Scrapy

step4:scrapy shell(调试代码）

定义： scrapy终端，是一个交互终端，该终端是用来测试Xpath或css表达式，查看他们的工作方式及从爬取的网页中提取的数据。

4.1、安装ipython（有高亮和补全功能）

        pip install ipython

4.2、简单测试下scrapy shell

1)调试http://www.baidu.com

scrapy shell www.baidu.com

2) 测试获取标题的选择器是否正确

 response.css("title").extract_first()

 step5:xpath运用(xhelper用来测试xpath语句）

5.1、安装chrome插件：xhelper

官方下载：右上角三点>>扩展程序>>chrome商店>>xhelper

便捷通道：

wc:Ama爬虫

input:chrome插件：xhelper

 5.2、xhelper运用：

A、解压压缩包，并加载（所以要记住下载路径鸭）

B、调用ctrl+shift+x（快捷键）或者钉一下扩展程序，这样点击就可以使用啦

在上方出现黑色框即成功调用

5.3:Xpath解析文件

5.3.1解析本地文件

# Xpath解析有两种解析文件
# 1.本地文件    etree.parse( 'xx.html')
# 2.服务器相应数据  response.read().decode('utf-8')    

A:代码应用（解析本地文件localtesing.html）： 
from lxml import etree
tree = etree.parse('localtesting.html')#解析本地文件
print(tree)

运行结果： 

B:附-localtesting代码

#localtesting.text→localtesing.html

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8"/>#meta元信息不显示在页面，是定义用途
  <title>Title</title>#页面标题
</head>
<body>#正文
  <ul>#无序列表
    <li id='l1' class="c1">beijing</li>#无序列表项
    <li id='l2' class="c2">shanghai</li>
    <li id='s1'>guangzhou</li>
    <li id='s2'>shenzhen</li>
  </ul>
</body>
</html> 

C:本地文件基于xpath的相关查询应用

xpath元素定位用法：//*[@id="kw"] #基于id来查找元素

//input[@name="wd"]#基于name来查找元素

//*[@class="" and @href="http://.com/"]
#查找所有class=''和href=''的元素

//*[text()="按图片搜索"]#查找文本内容为‘按图片搜索’的元素

//*[contains(@name,'r')]#查找元素中name属性值包含‘r’的元素

//*[contains(text(),'搜索')]#查询任意元素中文本内容包含‘搜索’的元素

/表示子级元素
/…表示父级元素

若要定位多个元素也可用[*]

//*[@id="kw"]/..#查找任意元素中id为’kw’元素的父级元素

//*[@http-equiv]#查找任意有http-equiv属性的元素

from lxml import etree
tree = etree.parse('localtesting.html')#解析本地文件
print(tree)
r1= tree.xpath('//body/ul/li/text()')#路径查找body下ul下li
r2= tree.xpath('//ul/li[@id]/text()')#查找所有含id属性li的标签
r3= tree.xpath('//ul/li[@id="l1"]/text()')#查找所有含id为l1的li的标签
r4 = tree.xpath('//ul/li/@class')# 查<li>标签的class属性的属性值
r5= tree.xpath('//ul/li[@id="l1"]/@class')# 查找id为l1的<li>标签的class属性的属性值
r6= tree.xpath('//ul/li[contains(@id,"l")]/text()')#查找 <li> 标签的id中包含 ‘l’ 的标签
print('\n',r1,'\n',r2,'\n',r3,'\n',r4,'\n',r5,'\n',r6)

 运行结果如下：

 5.3.2服务器文件解析（含XPATH插件调试）

from lxml import etree
import urllib.request
# 2.服务器相应数据  response.read().decode('utf-8') 【主要用这个】    etree.HTML(response.read( ).decode("utf-8")

# 1.获取网页的源码
url = 'https://www.baidu.com/'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"}
# 请求对象定制
request = urllib.request.Request(url, headers=headers)
# 模拟客户端向服务器发送请求
response = urllib.request.urlopen(request)
# 获取网页源码
content = response.read().decode('utf-8')

# 解析服务器响应的文件
tree = etree.HTML(content)

result = tree.xpath('//*[@id="su"]/@value')
print(result)

 (在运行代码前对xpath的调试可以用下载拓展插件，如果很熟的同学可以忽略）

运行结果如下：

step6:CSS选择器的基本语法 

import parsel#内部集成xpath，css和re语法
import requests

url = 'http://www.baidu.com'
response = requests.get(url)
selector = parsel.Selector(response.text)


selector.css('*')#选择所有元素

html = selector.css('article')#1、选择article元素,get(), getall() , extract_first(), extract() 都可以

selector.css('#container')#2、选择id为container的元素

selector.css('.container')#3、选择所有class包含container的元素

selector.css('div a')#4、选取所有div下所有a元素

title1 = selector.css('title').extract()
title2 = selector.css('title').extract_first()#5、提取标签title列表

text = selector.css('p::text').extract()#6、提取标签p里的文本内容

data = selector.css('div.post-content *::text').extract()#7、提取标签div里的所有文本内容

url = selector.css('div.post-content img::attr(src)').extract()8、提取标签里的URL：标签名::attr(属性名)

a = selector.css('a[title]').getall()#9、选取所有拥有title属性的a元素

step7:文件储存（file VS urlretrieve）【后续与pipeline有关】

7.1file储存

写在前面：这里我们回顾一下基础python时下载图片文件用的方法：

语法总结： 

file=open('自命名.文件类型','w',encoding='utf-8'）#‘w’为覆盖，‘a’为追加

file.write()#将数据写入文件
file.close()

7.2urlretrieve储存

A:正则清洗→存储

import re#载入re库，正则应用
import urllib.request#载入urllib.request库

def getHtml(url):#定义网页请求
    page=urllib.request.urlopen(url)#打开网址，赋值给page
    html=page.read().decode('utf-8')#读取网站源码，定义编码形式，并赋值给html
    return html#返回html参数

def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'#定义正则表达式规则
    imgre = re.compile(reg)#re.compile() 可以把正则表达式编译成一个正则表达式对象
    imglist = re.findall(imgre, html)#re.findall() 方法读取html 中包含 imgre（正则表达式）的数据
    x = 0#给x赋值0
    for imgurl in imglist:
        urllib.request.urlretrieve(imgurl,'A%s.jpg' % x)#urlretrieve下载imgurl(遍历imglist),并储存在相对路径下
        x += 1 #每次循环x+1

html = getHtml("http://tieba.baidu.com/p/2460150866")调用gethtml函数，请求该网站，赋值给html

getImg(html)#调用getImg()函数，并写入html参数

 运行结果：

B:xpath提取→存储 

把方法A的def getImg(html)改成xpath方式即可
import re
import urllib.request
from lxml import etree

def getHtml(url):
    page=urllib.request.urlopen(url)#打开URL并发出request请求
    html=page.read().decode('utf-8')#读取网址页面
    return html#返回网络源码

def download(html):
    tree = etree.HTML(html)#解析网络源码
    src_list = tree.xpath('//div/img[@class="BDE_Image"]/@src')#获取所有图片地址
    x = 0
    for imgurl in src_list:
        urllib.request.urlretrieve(imgurl, 'xpath%s.jpg' % x)  # urlretrieve下载imgurl(遍历imglist),并储存在相对路径下，
        x += 1

html = getHtml("http://tieba.baidu.com/p/2460150866")

download(html)

运行结果：

 step8:scrapy全局命令（终端进行）

1）建项目（startproject）

打开终端：

scrapy startproject Ama_torproject

运行结果： 

2）创建文件(genspider)

scrapy genspider amaspider taobao.com

genspider为蜘蛛模板 

3）genspider -h查看帮助

scrapy genspider -h

4）可用模板genspider -l，查看

scrapy genspider -l

5)创建crawl型蜘蛛模板(genspider -t crawl)

scrapy genspider -t crawl amaspider2 taoobao.com

运行结果： 

6）setting 查看参数

scrapy settings --get DOWNLOAD_DELAY 

 scrapy settings --get BOT_NAME

7）runspider基于文件运行

（scrapy crawl XX：基于项目运行）

 scrapy runspider ama_texting.py

8) fetch调试：模拟蜘蛛下载页面

scrapy fetch http://www.scrapyd.cn

#>指向想要下载的地址并命名 

 scrapy fetch http://www.scrapyd.cn >f:/amaspider_fetch.html

 

9）view功能（与fetch一样）

scrapy view http://www.scrapyd.cn

step9： scrapy项目命令(指向项目文件进行）

crawl：运行name=ama的蜘蛛

scrapy crawl ama

list:得到蜘蛛名字

scrapy list

check、edit、parse、bench

step10：示例应用（摘录quotes网站的名人名言）

终端操作$：

$Scrapy startproject Ama_spiderman

$cd Ama_spiderman

$scrapy genspider famousquotes quotes.toscrape.com

 四大基础步骤：代码编写与配置

1、famousquotes.py2、pipelines.py
3、settings.py4、items.py
5、最终的运行结果为：fomousqutes.json文件

 源代码展示：

1、直接在scrapy生成的famousquotes.py里面改def的内容

import scrapy
from ..items import AmaSpidermanItem

class FamousquotesSpider(scrapy.Spider):
    name = "famousquotes"
    allowed_domains = ["quotes.toscrape.com"]
    start_urls = ["https://quotes.toscrape.com"]

    def parse(self, response):
        item=AmaSpidermanItem()
        for quote in response.css('div.quote'):#查找所有class为quote的div标签

            item['text']=quote.css('span.text::text').extract_first(),
            item['author']=quote.xpath('span/small/text()').extract_first()
            yield item#通过生成器yield将字典内容传给pipeline中进行下一步处理

        next_page=response.css('li.next a::attr("href")').extract_first()
        if next_page is not None:
            yield response.follow(next_page,self.parse)

2、这里用到前面step7大类讲到的file储存语句，也是直接到生成的文件里改内容。

import json

class AmaSpidermanPipeline:
    def __init__(self):
        self.file=open('fomousqutes.json','w',encoding='utf-8')

    def process_item(self, item, spider):
        item=dict(item)#将item对象转为字典，仅在scrapy中使用
        json_data=json.dumps(item,ensure_ascii=False,indent=2)+',\n'#将字典数据序列化
        self.file.write(json_data)#将数据写入文件
        return item

    def __del__(self):
        self.file.close()

3、pipelines解锁两part:

DEFAULT_REQUEST_HEADERS,去掉#解锁后加上自己的header-UA即可；
ITEM_PIPELINES,直接解锁（自动生成）

4、items.py

import scrapy

class AmaSpidermanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    text=scrapy.Field()
    author=scrapy.Field()

项目操作$：

$scrapy crawl famousquotes 

运行结果： 

 

参考来源如下：

  1. 《python3爬虫实战》-作者：姚良-出版社:<中国铁道出版社有限公司>
  2. 《爬虫解析——Xpath的安装及使用（五）》作者：Billie使劲学http://t.csdnimg.cn/5EeX8）
  3. 《python实现简单爬虫功能》-作者：虫师，https://www.cnblogs.com/fnng/p/3576154.html
  4. 《scrapy爬虫Spiders的用法》水墨黑https://www.cnblogs.com/shuimohei/p/13340258.html
  5. 《Scrapy 爬虫框架[通俗易懂]》全栈君Scrapy 爬虫框架[通俗易懂]-腾讯云开发者社区-腾讯云
  6. 《python爬虫parsel-css选择器的具体用法》-作者：程序员王炸-http://t.csdnimg.cn/I0NgF 
  7. 《Python爬虫必备—＞Scrapy框架快速入门篇——上》作者:孤寒者http://t.csdnimg.cn/UecLt

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1626140.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

软件设计师-重点的创建型设计模式

软件设计师-重点的创建型设计模式

一、简单工厂&#xff1a; 简单工厂模式属于创建型模式&#xff0c;但不属于23种设计模式之一。 软考中图 二、工厂方法&#xff1a; 意图&#xff1a; 定义一个用于创建对象的接口&#xff0c;让子类决定实例化哪一个类。Factory Method 使一个类的实例化延迟到其子类。 结…
阅读更多...
c++在visual studio上的默认配置

c++在visual studio上的默认配置

右键 新建项 右键源文件 属性
阅读更多...
解决-Oracle 19c RAC 安装时节点连接性问题

解决-Oracle 19c RAC 安装时节点连接性问题

第二天&#xff0c;联系了服务器管理员在下午得到了修复&#xff0c;虚拟网段的IP失效了&#xff0c;需要重新分配&#xff0c;并且虚拟IP没有网关&#xff0c;所以ping 网关ping 不通。 因为在一节点装了集群软件&#xff0c;所以需要继续清理环境。 准备完成&#xff0c;经过…
阅读更多...
【开源项目】经典数字孪生案例分享~数字孪生看守所管理平台

【开源项目】经典数字孪生案例分享~数字孪生看守所管理平台

数字孪生看守所管理平台&#xff0c;基于数字孪生、物联网IOT、云计算等技术&#xff0c;对监狱道路以及各区域进行网格化管理&#xff0c;实现对网格内“人、地、事、物、情”等要素的全方位动态管控。 将视频监控和应急预警系统相结合&#xff0c;遇到重大突发事件时&#xf…
阅读更多...
【C++】哈希思想

【C++】哈希思想

目录 哈希介绍&#xff1a; 一&#xff0c;位图 1-1&#xff0c;位图的认识 1-2&#xff0c;位图的简单实现 1-3&#xff0c;位图的应用 二&#xff0c;布隆过滤器 2-1&#xff0c;布隆过滤器的认识 2-2&#xff0c;布隆过滤器的简单实现 2-3&#xff0c;布隆过滤器的…
阅读更多...
【产品经理修炼之道】- 需求挖掘之手机话费充值

【产品经理修炼之道】- 需求挖掘之手机话费充值

画原型图从来就不是面试考察的重点&#xff0c;分析、解决问题才是产品经理的核心能力。那么该如何积累产品经验呢&#xff1f;本文以以「手机话费充值」为案例&#xff0c;分享整个设计流程和思路&#xff0c;希望对你有所启发。 不少产品新人有个误区&#xff1a;产品经理的日…
阅读更多...
ThingsBoard处理设备上报的属性并转换为可读属性

ThingsBoard处理设备上报的属性并转换为可读属性

一、前言 二、案例 1、AI生成JSON数据体 2、将json数据体直接通过遥测topic发送查看效果 3、可查看目前整个数据都在一起 ​编辑 4、配置附规则链路 5、对msg的消息值&#xff0c;进行数据的转换&#xff0c;并从新进行赋值。 6、规则链路关联关系 7、再次通过MQTT发送遥…
阅读更多...
顺通鞋厂在线订单系统：优化订单流程，降低运营成本

顺通鞋厂在线订单系统：优化订单流程，降低运营成本

引入在线订单系统成为企业优化订单流程、降低运营成本的有效途径。在线订单系统能够将订单信息实时共享给企业内部的各个部门以及外部供应商和客户。在线订单系统能够通过自动化处理订单流程&#xff0c;减少人工干预和重复劳动。在线订单系统通过优化订单流程&#xff0c;实现…
阅读更多...
1.C++入门（上）

1.C++入门（上）

目录 1.C关键字 2.命名空间 作用域方面的优化 a.命名空间定义 b.命名空间使用 3.C 输入&输出 1.C关键字 C有63个关键字&#xff0c;C语言有32个关键字&#xff0c;存在重叠如荧光笔标出 2.命名空间 作用域方面的优化 如果变量&#xff0c;函数和类的名称都存在于全…
阅读更多...
【C++】C++中的构造函数和析构函数详解

【C++】C++中的构造函数和析构函数详解

欢迎来到CILMY23的博客 本篇主题为&#xff1a;C中的构造函数和析构函数详解 个人主页&#xff1a;CILMY23-CSDN博客 系列专栏&#xff1a;Python | C | C语言 | 数据结构与算法 感谢观看&#xff0c;支持的可以给个一键三连&#xff0c;点赞关注收藏。 写在前头&#xff1…
阅读更多...
【算法一则】【动态规划】求二维数组可组成的最大正方形

【算法一则】【动态规划】求二维数组可组成的最大正方形

题目 在一个由 ‘0’ 和 ‘1’ 组成的二维矩阵内&#xff0c;找到只包含 ‘1’ 的最大正方形&#xff0c;并返回其面积。 示例 1&#xff1a; 输入&#xff1a;matrix [["1","0","1","0","0"],["1","0&…
阅读更多...
为何鸿蒙开发成为求职市场的香饽饽 ？

为何鸿蒙开发成为求职市场的香饽饽 ？

在当今社会&#xff0c;技术的快速发展与更新迭代使得职场竞争愈发激烈。对于求职者来说&#xff0c;掌握一门热门且前景广阔的技术&#xff0c;无疑是获得理想工作的关键。鸿蒙开发&#xff0c;作为华为自主研发的操作系统开发技术&#xff0c;正逐渐成为求职市场的热门选择。…
阅读更多...
手搓单链表（无哨兵位）（C语言）

手搓单链表（无哨兵位）（C语言）

目录 SLT.h SLT.c SLTtest.c 测试示例 单链表优劣分析 SLT.h #pragma once#include <stdio.h> #include <assert.h> #include <stdlib.h>typedef int SLTDataType;typedef struct SListNode {SLTDataType data;struct SListNode* next; }SLTNode;//打印…
阅读更多...
触发器的基本概念及分类

触发器的基本概念及分类

目录 触发器的基本概念 作用对象 触发事件 触发条件 触发时间 触发级别或者触发频率 触发器的分类 DML 触发器 INSTEAD OF 触发器 系统触发器 Oracle从入门到总裁:​​​​​​https://blog.csdn.net/weixin_67859959/article/details/135209645 触发器的基本概念 …
阅读更多...
表格的单元格合并和表头的合并——vxe-table

表格的单元格合并和表头的合并——vxe-table

vxe-table的官网&#xff1a;https://vxetable.cn/#/table/advanced/mergeCell在你的项目中下载安装完成后&#xff0c;先在main.js文件中引入&#xff1a; import VXETable from vxe-table import vxe-table/lib/style.css Vue.use(VXETable)一、单元格合并 效果图&#xff…
阅读更多...
2024年【安全生产监管人员】考试技巧及安全生产监管人员模拟考试

2024年【安全生产监管人员】考试技巧及安全生产监管人员模拟考试

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 2024年【安全生产监管人员】考试技巧及安全生产监管人员模拟考试&#xff0c;包含安全生产监管人员考试技巧答案和解析及安全生产监管人员模拟考试练习。安全生产模拟考试一点通结合国家安全生产监管人员考试最新大纲…
阅读更多...
Java | Leetcode Java题解之第50题Pow(x,n)

Java | Leetcode Java题解之第50题Pow(x,n)

题目&#xff1a; 题解&#xff1a; class Solution {public double myPow(double x, int n) {long N n;return N > 0 ? quickMul(x, N) : 1.0 / quickMul(x, -N);}public double quickMul(double x, long N) {if (N 0) {return 1.0;}double y quickMul(x, N / 2);retu…
阅读更多...
大数据开发详解

大数据开发详解

点击下载《大数据开发详解》 1. 前言 随着信息化时代的快速发展&#xff0c;大数据已经成为了企业和组织不可或缺的重要资源。大数据开发则是指通过一系列技术手段&#xff0c;对海量数据进行收集、存储、处理、分析和挖掘&#xff0c;以实现数据的价值化利用。大数据开发涉及…
阅读更多...
进口透明可视耐腐蚀PFA进样管特氟龙圆底试管适配MC-ICP-MS

进口透明可视耐腐蚀PFA进样管特氟龙圆底试管适配MC-ICP-MS

PFA进样管可适配Neptune plus多接收器等离子质谱仪&#xff08;MC-ICP-MS&#xff09;&#xff0c;广泛应用于地球化学、核保障、环境科学、金属组学领域&#xff0c;在生物、物理、化学、材料等多个学科的交叉方向也有良好的应用前景。 外观半透明&#xff0c;便于观察管内情…
阅读更多...
YOLOV5 TensorRT部署 BatchedNMS(engine模型推理)(下)

YOLOV5 TensorRT部署 BatchedNMS(engine模型推理)(下)

主要是在王新宇代码的基础上改进，引入对BatchedNMS的解码 文章目录 1. 修改yolov5.cpp2.修改yololayer.h1. 修改yolov5.cpp 首先增加全局变量，名字根据转onnx时修改的节点名字来，查看onnx文件可以看到，顺序不要弄错。 const char *INPUT_NAME = “images”; const char …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023