5-爬虫-打码平台、打码平台自动登录打码平台、selenium爬取京东商品信息、scrapy介绍安装、scrapy目录结构

news2024/11/24 20:54:30

1 打码平台
1.1 案例
2 打码平台自动登录打码平台
3 selenium爬取京东商品信息
4 scrapy介绍安装
5 scrapy目录结构

1 打码平台

# 1 登录某些网站，会有验证码---》想自动破解
	-数字字母：python模块：ddddocr
    -计算题，成语题，滑块...：第三方打码平台，人工操作
    
    
# 2 打码平台
	-云打码，超级鹰
    
    
    
# 3 咱们破解网站登录的思路
	-使用selenium----》打开网站----》（不能解析出验证码地址）---》使用截图

1.1 超级鹰案例

import requests
from hashlib import md5


class ChaojiyingClient(object):
    def __init__(self, username, password, soft_id):
        self.username = username
        password = password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files,
                          headers=self.headers)
        return r.json()

    def PostPic_base64(self, base64_str, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
            'file_base64': base64_str
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()


if __name__ == '__main__':
    chaojiying = ChaojiyingClient('超级鹰账号', '超级鹰账号的密码', '903641')  # 用户中心>>软件ID 生成一个替换 96001
    im = open('a.jpg', 'rb').read()  # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1004))  # 1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
    # print chaojiying.PostPic(base64_str, 1902)  #此处为传入 base64代码

2 打码平台自动登录打码平台

import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from PIL import Image
from chaojiying import ChaojiyingClient

bro = webdriver.Chrome()
bro.maximize_window()

try:
    # 1 打开页面
    bro.get('https://www.chaojiying.com/user/login/')

    # 2 找到用户名，密码，验证码的输入框
    username = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[1]/input')
    password = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[2]/input')
    code = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[3]/input')
    time.sleep(2)
    username.send_keys('账号')
    time.sleep(2)
    password.send_keys('密码')

    # 3 验证码破解---》网页屏幕截图---》根据验证码图片的位置和大小，从网页截图中扣出验证码图片---》调用超级鹰--》完成破解---》填入
    # 网页截图
    bro.save_screenshot('main.png')
    # 找到img的大小和位置
    img = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/div/img')
    location = img.location
    size = img.size
    print('大小是：', img.size)
    print('位置是：', img.location)
    # 获取图的 起始位置坐标  结束位置坐标
    img_tu = (
        int(location['x']), int(location['y']), int(location['x'] + size['width']), int(location['y'] + size['height']))
    # 使用pillow截图
    # #打开
    img = Image.open('./main.png')
    # 抠图
    fram = img.crop(img_tu)
    # 截出来的小图
    fram.save('code.png')

    # 调用超级鹰--》完成破解
    chaojiying = ChaojiyingClient('超级鹰账号', '密码', '903641')
    im = open('code.png', 'rb').read()
    res = chaojiying.PostPic(im, 1902)
    if res.get('err_no') == 0:
        code_img_text = res.get('pic_str')
        # 写入到验证码中
        code.send_keys(code_img_text)
        time.sleep(3)
        submit = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[4]/input')
        submit.click()

    time.sleep(5)

except Exception as e:
    print(e)
finally:
    bro.close()

3 selenium爬取京东商品信息

import time
import json
from selenium import webdriver

bro = webdriver.Chrome()
bro.get('https://passport.jd.com/new/login.aspx?ReturnUrl=https%3A%2F%2Fwww.jd.com%2F')
bro.implicitly_wait(10)
bro.maximize_window()
input('需要手动扫码登录，登录成功后敲回车')

cookies = bro.get_cookies()
with open('jd.json', 'w', encoding='utf-8') as f:
    json.dump(cookies, f)

time.sleep(2)
bro.close()


import time
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
from selenium.webdriver.chrome.options import Options

def get_goods(bro):
    # 往下滑动屏幕
    bro.execute_script('scrollTo(0,document.documentElement.scrollHeight-600)')
    # 来到了商品结果页面，找到页面中所有类名叫 gl-item  的li
    li_list = bro.find_elements(By.CLASS_NAME, 'gl-item')
    for li in li_list:
        try:
            name = li.find_element(By.CSS_SELECTOR, 'div.p-name em').text
            price = li.find_element(By.CSS_SELECTOR, 'div.p-price i').text
            url = li.find_element(By.CSS_SELECTOR, 'div.p-img>a').get_attribute('href')
            # 如果不滑动屏幕---》图片先放在 data-lazy-img属性中，只有滑动到底部，图片加载完，src才有值
            img = li.find_element(By.CSS_SELECTOR, 'div.p-img>a>img').get_attribute('src')
            shop_name = li.find_element(By.CSS_SELECTOR, 'div.p-shop a').text
            print('''
            商品名字：%s
            商品价格：%s
            商品地址：%s
            图片：%s
            店铺名：%s

            ''' % (name, price, url, img, shop_name))
        except Exception as e:
            print(e)
            continue
    # 当前页爬取完成，点击下一页
    next = bro.find_element(By.PARTIAL_LINK_TEXT, '下一页')
    next.click()
    time.sleep(30)
    get_goods(bro)  # 递归调用自己---》 下一页会出现加载失败请情况----》一直在爬第一页

options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")  # 去掉自动化控制
bro = webdriver.Chrome(options=options)
# bro = webdriver.Chrome()
bro.get('https://www.jd.com')
bro.implicitly_wait(10)
bro.maximize_window()
print('写入cookie')
with open('jd.json', 'r') as f:
    cookies = json.load(f)
# 写到浏览器中
for item in cookies:
    bro.add_cookie(item)  # 如果是没登录的cookie，往里写会报错

# 刷新浏览器

bro.refresh()
time.sleep(1)
# 来到首页，找到搜索框
try:
    search = bro.find_element(By.ID, 'key')
    search.send_keys('卫生纸')
    time.sleep(2)

    # 敲回车
    search.send_keys(Keys.ENTER)
    # 获取商品信息
    get_goods(bro)

except Exception as e:
    print(e)
finally:
    bro.close()

4 scrapy介绍安装

# 爬虫模块：requests   bs4  selenium 

# 爬虫框架---》不是模块---》类似于django---》爬虫界的django（跟djagno非常像）

# 安装：pip3 install scrapy
	-mac，linux 非常好装
    -win:看人品：因为twisted装不上
        1、pip3 install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs
        3、pip3 install lxml
        4、pip3 install pyopenssl
        5、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/
        6、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
        7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
        8、pip3 install scrapy
        
# 装完后----》scripts文件夹下就会有scrapy可执行文件---》类似于(django-admin.exe)
	-创建项目，创建爬虫都用它
    
# 介绍
Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据或者通用的网络爬虫。

Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下


## 架构

# 1 爬虫(SPIDERS)
SPIDERS是开发人员自定义的类，用来解析responses，并且提取items，或者发送新的请求
开发人员，主要在这写代码：设置爬取的地址，解析爬取完成的数据，继续爬取或者存储数据


#2  引擎(EGINE)
引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件

# 3 调度器(SCHEDULER)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

# 4 下载器(DOWLOADER)
用于下载网页内容, 并将网页内容返回给EGINE，下载器是建立在twisted这个高效的异步模型上的


# 5 项目管道(ITEM PIPLINES)
在items被提取后负责处理它们，主要包括清理、验证、持久化（比如存到数据库）等操作

# 6 下载器中间件(Downloader Middlewares)

位于Scrapy引擎和下载器之间，主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response，你可用该中间件做以下几件事

# 7 爬虫中间件(Spider Middlewares)
位于EGINE和SPIDERS之间，主要工作是处理SPIDERS的输入（即responses）和输出（即requests）

在这里插入图片描述

在这里插入图片描述

5 scrapy目录结构

# https://www.cnblogs.com/robots.txt 爬虫协议


# 创建scrapy项目
	scrapy startproject scrapy_demo
# 使用pycharm打开
	
# 创建爬虫---》可以创建多个爬虫
	scrapy genspider 爬虫名 爬虫地址  # django创建app
    scrapy genspider cnblogs www.cnblogs.com  # 创建了爬取cnblogs的爬虫
    
    
# 运行爬虫：默认直接爬取www.cnblogs.com---》后续需要写代码实现
	scrapy crawl 爬虫名字
    scrapy crawl cnblogs 
    
    
    
    
# 目录结构
	scrapy_demo  #项目名
        scrapy_demo #包
            __init__.py
            spiders #包 ，所有爬虫文件，放在这里
                __init__.py
                cnblogs.py
            items.py # 一个个类，等同于djagno的models
            pipelines.py # 写如何存储，存到拿
            settings.py# 配置文件
            middlewares.py # 中间件：两种
        
     	scrapy.cfg	 # 上线用的

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1186949.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

物联网AI MicroPython学习之语法 ucollections集合和容器类型

物联网AI MicroPython学习之语法 ucollections集合和容器类型

学物联网，来万物简单IoT物联网！！ ucollections 介绍 ucollections 模块用于创建一个新的容器类型，用于保存各种对象。 接口说明 namedtuple - 创建一个新namedtuple容器类型 函数原型： 创建一个具有特定名称和一组…
阅读更多...
rviz添加qt插件

rviz添加qt插件

一、增加rviz plugin插件 资料：http://admin.guyuehome.com/42336 https://blog.51cto.com/u_13625033/6126970 这部分代码只是将上面两个链接中的代码整合在了一起，整合在一起后可以更好的理解其中的关系 1、创建软件包 catkin_create_pkg rviz_tel…
阅读更多...
MySQL数据库的各种锁介绍以及它们之间的关系

MySQL数据库的各种锁介绍以及它们之间的关系

MySQL数据库的各种锁 表级锁、行级锁、间隙锁、意向锁、记录锁，悲观锁和乐观锁 表级锁包含表级共享锁和表级排他锁行级锁包含行级共享锁和行级排他锁间隙锁是行级锁的一种特殊锁，锁定既定列的范围值意向锁是事务对表中某些行或者范围发起的一项操作&am…
阅读更多...
Hbuiderx链接到夜神模拟器(DCloud数字天堂)

Hbuiderx链接到夜神模拟器(DCloud数字天堂)

赞助 DCloud 即数字天堂（北京）网络技术有限公司是 W3C成员及 HTML5中国产业联盟 发起单位 Hbuiderx切换使用夜神模拟器自带的ADB.exe链接到夜神模拟器 同步资源失败，未得到同步资源的授权，请停止运行后重新运行，并注意…
阅读更多...
数据的读取和保存-MATLAB

数据的读取和保存-MATLAB

1 序言 在进行数据处理时，经常需要写代码对保存在文件中的数据进行读取→处理→保存的操作，流程图如下： 笔者每次在进行上述操作时，都需要百度如何“选中目标文件”以及如何“将处理好的数据保存到目标文件中”，对这一…
阅读更多...
本地域名 127.0.0.1 / localhost

本地域名 127.0.0.1 / localhost

所谓本地域名就是 只能在本机使用的域名 ，一般在开发阶段使用。 编辑文件 C:\Windows\System32\drivers\etc\hosts。 127.0.0.1 www.baidu.com如果修改失败,可以修改该文件的权限。 原理： 在地址栏输入 域名 之后，浏览器会先进行 DNS…
阅读更多...
SpringBoot定时任务打成jar 引入到新的项目中后并自动执行

SpringBoot定时任务打成jar 引入到新的项目中后并自动执行

一、springBoot开发定时任务 ①&#xff1a;连接数据库实现新增功能 1. 引入依赖 <dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional> </dependency> <dependen…
阅读更多...
Python高级语法----深入理解Python协程

Python高级语法----深入理解Python协程

文章目录 什么是协程？Python中的协程基本示例协程和事件循环总结Python协程是一种非常强大的并发编程概念，让你能够高效地处理多任务。协程在Python中的使用已经变得越来越流行，特别是在异步编程中。本文将用通俗易懂的语言来介绍协程的概念，并提供实际的代码示例和执行结果…
阅读更多...
软件测试怎么测别的类的main方法

软件测试怎么测别的类的main方法

软件测试怎么测别的类的main方法 🍎如果软测开发者题目待测类里有main方法，我们如何测？ 可以采取以下步骤： 了解main函数的功能：首先，你需要了解这个main函数的功能和预期的输出。这样你才能设计出合适的测试用例。设计测试用例：设计测试用例时，需要考虑各种可能的输…
阅读更多...
【Linux】了解文件的inode元信息，以及日志分析

【Linux】了解文件的inode元信息，以及日志分析

目录 一、inode表结构&#xff0c;以及元信息 1、了解inode信息有哪些 2、关于inode表的说明 Linux中访问文件的过程&#xff1a; 3、硬连接与软连接的区别&#xff0c;&#xff08;请看前面&#xff0c;写过的&#xff09; 二、文件系统的备份与恢复 三、几种常见的日志…
阅读更多...
【uniapp】签名组件，兼容vue2vue3

【uniapp】签名组件，兼容vue2vue3

网上找了个源码改吧改吧&#xff0c;清除了没用的功能和兼容性&#xff0c;基于uniapp开发的 样子 vue2 使用方法&#xff0c;具体的可以根据业务自行修改 <signature ref"signature" width"100%" height"410rpx"></signature>confi…
阅读更多...
C函数的反汇编

C函数的反汇编

fromelf --bin --outputxxx.bin xxx.axf fromelf --text -a -c --outputxxx.dis xxx.axf去Linker下面复制该目录下的xxx.axf xxx.dis名字随便改&#xff0c;保证后缀是dis就行 然后确认&#xff0c;进行编译 就生成了task.dis文件
阅读更多...
【MySQL】库操作和表操作

【MySQL】库操作和表操作

文章目录 一、库操作1. 创建数据库2. 数据库的编码问题查看系统默认支持的字符集查看数据库支持的字符集查看数据库支持的字符集校验规则校验规则对数据库的影响 3. 操纵数据库查看数据库显示创建语句修改数据库删除数据库 4. 数据库的备份和恢复数据库的备份数据库的恢复表的删…
阅读更多...
从业务到软件架构——软件建模

从业务到软件架构——软件建模

一、问题 1.架构到底是什么&#xff1f;架构和业务之间到底什么关系&#xff1f; 2.好的架构的设计出发点是什么&#xff1f;好的架构应该是什么样的&#xff1f; 作为一个计算机领域的词汇&#xff0c;架构的定义是&#xff1a;有关软件整体结构与组件的抽象描述&#xff0c…
阅读更多...
ubuntu22.04使用VNC链接服务器远程桌面

ubuntu22.04使用VNC链接服务器远程桌面

一、本地VNC客户端 本地主要需要一个VNC客户端&#xff0c;用来远程连接服务器端的VNC&#xff08;在不安装Web版本VNC情况下&#xff09;。VNC客户端下载地址&#xff1a; VNC客户端下载 二、安装Xfce桌面环境 在远程服务器控制台中安装Xfce桌面&#xff08;这个桌面环境比…
阅读更多...
redis持久化和Redis事务

redis持久化和Redis事务

一)Redis持久化之RDBredisDataBase: 什么是持久化: 1)持久性:和持久化说的是同一回事&#xff0c;衡量持久性的前提是重启进程或者是重启主机以后数据是否还存在 持久:把数据存储在硬盘上&#xff0c;那么就是持久性 不持久:把数据存储在内存中 2)redis是一个内存级别的数据库&…
阅读更多...
关于electron中使用ffi-napi窗口遍历的过程及问题

关于electron中使用ffi-napi窗口遍历的过程及问题

使用环境&#xff1a;electorn19 、node16、ffi-napi、user32 前言&#xff1a;这里先提一嘴&#xff0c;windows api也是有32位和64位的区别的&#xff0c;因为我是要快速完成项目&#xff0c;就没用C写&#xff08;不熟练&#xff09;&#xff0c;我想着直接用易语言写DLL&am…
阅读更多...
注册商标-保护企业利益

注册商标-保护企业利益

注册商标-保护企业利益&#xff01; 在当今竞争激烈的商业环境中&#xff0c;商标对于企业的成功至关重要。商标不仅是企业形象的代表&#xff0c;也是企业产品和服务的标识。通过注册商标&#xff0c;企业可以获得法律保护&#xff0c;确保其商标的独特性和安全性。本文将探讨…
阅读更多...
1212. 地宫取宝

1212. 地宫取宝

题目&#xff1a; 1212. 地宫取宝 - AcWing题库 思路&#xff1a;dp&#xff08;最长上升子序列和摘花生的结合&#xff09; 代码&#xff1a; #include<iostream> using namespace std; const int N 55; const int MOD 1000000007;int n, m, k; int w[N][N];//每个坐…
阅读更多...
【Leetcode】【数据结构】【C语言】判断两个链表是否相交并返回交点地址

【Leetcode】【数据结构】【C语言】判断两个链表是否相交并返回交点地址

struct ListNode *getIntersectionNode(struct ListNode *headA, struct ListNode *headB) {struct ListNode *tailAheadA;struct ListNode *tailBheadB;int count10;int count20;//分别找尾节点&#xff0c;并顺便统计节点数量&#xff1a;while(tailA){tailAtailA->next;c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023