万物皆可爬——亮数据代理IP+Python爬虫批量下载百度图片助力AI训练

news2024/7/2 21:32:03
  • 💂 个人网站:【 摸鱼游戏】【神级代码资源网站】【导航大全】
  • 🤟 一站式轻松构建小程序、Web网站、移动应用：👉注册地址
  • 🤟 基于Web端打造的：👉轻量化工具创作平台
  • 💅 想寻找共同学习交流，摸鱼划水的小伙伴，请点击【全栈技术交流群】

项目背景

本文档详细介绍了一个网络爬虫项目的准备和实现过程。该项目的目标是从百度图片搜索中获取图片链接并下载图片。此类爬虫项目通常用于收集大量的图片数据，以便用于训练各种人工智能模型，特别是计算机视觉模型。计算机视觉领域的研究需要大量的图像数据来训练和测试模型，以便实现图像分类、对象检测、图像生成等功能。

一、项目准备

环境配置

在开始编写爬虫之前，确保已经完成以下环境配置：

Python安装: 确保已安装Python 3.x版本。Python是一种功能强大且易于学习的编程语言，适合于各种编程任务，包括网络爬虫开发。

需要的库: Python有一个庞大的第三方库生态系统，我们将使用几个核心库来开发我们的爬虫：

  • requests: 用于发送HTTP请求和处理响应。
  • json: 用于处理JSON格式的数据。
  • urllib: 提供了在网络上获取数据的一些功能，我们主要用来进行URL编码。
  • os: 提供了与操作系统交互的功能，用于创建文件夹等文件操作。
  • time: 提供了时间相关的功能，例如休眠程序以及计时等。

可以使用以下命令通过pip安装这些库：

pip install requests

如果你使用的是Anaconda等集成环境，可以使用conda命令：

conda install requests

这些库将帮助我们处理HTTP请求、解析和存储数据，以及进行一些基本的系统操作。

二、爬虫设计与实现

爬虫设计思路

目标网站分析

本爬虫目标是从百度图片搜索获取图片链接并下载。百度图片搜索返回的结果是JSON格式的数据，其中包含了图片的缩略图链接。

数据获取流程
  1. 构建百度图片搜索的URL，通过GET请求获取JSON数据。
  2. 解析JSON数据，提取缩略图链接。
  3. 下载图片到本地存储。

代码实现

初始化爬虫类（BaiduImageSpider）
import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0  # 请求到的json文件数量（一个json文件包含30个图像文件）
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory = r"C:\价值一个亿\python-mini-projects\projects\baidutupian\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
                          'Accept-Language': 'en-US,en;q=0.9',
                          'Referer': 'https://image.baidu.com'
        }
创建存储文件夹
# 创建存储文件夹
 def create_directory(self, name):
     self.directory = self.directory.format(name)
     # 如果目录不存在则创建
     if not os.path.exists(self.directory):
         os.makedirs(self.directory)
     self.directory += r'\{}'
获取图像链接
# 获取图像链接
def get_image_link(self, url):
    list_image_link = []
    strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据
    print(f"Response content for URL {url}:\n{strhtml.text}\n")
    
    try:
        jsonInfo = json.loads(strhtml.text)
    except json.JSONDecodeError:
        print("Error decoding JSON")
        return list_image_link

    if 'data' in jsonInfo:
        for index in range(len(jsonInfo['data'])):
            if 'thumbURL' in jsonInfo['data'][index]:
                list_image_link.append(jsonInfo['data'][index]['thumbURL'])
    else:
        print("No 'data' key in the response JSON")

    return list_image_link
下载图片
# 下载图片
def save_image(self, img_link, filename):
    try:
        res = requests.get(img_link, headers=self.header)
        if res.status_code == 404:
            print(f"图片 {img_link} 下载出错")
        else:
            with open(filename, "wb") as f:
                f.write(res.content)
                print("存储路径：" + filename)
    except requests.RequestException as e:
        print(f"Error downloading image: {e}")
主运行函数
# 入口函数
def run(self):
    searchName = input("查询内容：")
    searchName_parse = parse.quote(searchName)  # 编码

    self.create_directory(searchName)

    pic_number = 0  # 图像数量
    for index in range(self.json_count):
        pn = index * 30
        request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
        list_image_link = self.get_image_link(request_url)
        for link in list_image_link:
            pic_number += 1
            self.save_image(link, self.directory.format(str(pic_number) + '.jpg'))
            time.sleep(1)  # 休眠1秒，防止封ip
    print(searchName + "----图像下载完成--------->")

三、代码详解

__init__ 方法

init 方法用于初始化爬虫类的属性。在这个方法中，我们定义了以下几个重要的属性：

  • json_count: 用于指定要请求的JSON文件数量，每个JSON文件包含多个图像条目。
  • url: 百度图片搜索的API URL，包含了多个参数用于构造请求。
  • directory: 存储下载图片的目录路径。这个路径在 create_directory 方法中被初始化和修改。
  • header: 请求头信息，包括用户代理、接受语言和引用页，用于模拟浏览器发送请求。

create_directory 方法

create_directory 方法根据提供的名称创建存储图片的文件夹。具体步骤如下：

  1. 将 directory 属性格式化为指定的存储目录路径。
  2. 使用 os.makedirs() 方法创建多层目录，如果目录不存在的话。
  3. 将 directory 属性更新为包含图片文件名格式的路径，以便后续保存图片时直接在该路径下生成文件。

get_image_link 方法

get_image_link 方法负责发送GET请求获取百度图片搜索返回的JSON数据，并解析数据提取图片的缩略图链接。具体步骤如下：

  1. 使用 requests.get() 方法发送GET请求，获取包含图片信息的JSON数据。
  2. 尝试解析返回的JSON数据，如果解析失败则捕获 json.JSONDecodeError 异常并打印错误信息。
  3. 如果JSON数据中包含 data 键，遍历数据条目并提取每个条目中的 thumbURL（缩略图链接），将其添加到 list_image_link 列表中。
  4. 如果JSON数据中不存在 data 键，则打印相应的错误信息并返回空列表。

save_image 方法

save_image 方法用于下载图片到本地存储。具体步骤如下：

  1. 使用 requests.get() 方法发送GET请求，获取包含图片数据的响应。
  2. 检查响应状态码，如果返回的状态码是404，则打印错误信息表示图片下载失败。
  3. 如果响应正常，将图片数据写入以指定文件名 filename 打开的二进制文件中（使用 “wb” 模式）。
  4. 打印存储图片的路径信息，表示图片已成功保存到本地。

run 方法

run 方法是爬虫的主运行函数，负责处理用户输入的查询内容，循环获取图片链接并下载到本地存储。具体步骤如下：

  1. 提示用户输入要查询的内容，并对用户输入的内容进行URL编码，以便构造百度图片搜索的查询URL。
  2. 调用 create_directory 方法创建存储图片的目录，目录名与用户输入的查询内容相关联。
  3. 初始化 pic_number 变量，用于记录已下载的图片数量。
  4. 使用循环从0到 json_count （设定的请求的JSON文件数量）遍历，构造不同页数的百度图片搜索URL，发送请求并获取图片链接。
  5. 遍历获取的图片链接列表，逐个下载图片到本地存储，并在每次下载后休眠1秒以防止IP被封禁。
  6. 下载完成后打印提示信息，指示所有图片已成功下载并存储到指定目录中。

以上详细解释了每个方法在爬虫实现中的作用和具体实现步骤，确保了爬虫能够有效地从百度图片搜索中获取指定数量的图片并保存到本地。

四、亮数据代理IP的使用

为什么需要代理IP

在爬取网站数据时，频繁的请求会被网站识别为异常流量，可能导致IP被封禁。使用代理IP可以隐藏真实IP，降低被封禁的风险。

如何在爬虫中配置代理IP

可以使用第三方代理IP服务商提供的代理IP池，例如requests库中的proxies参数。这里我采用的是亮数据IP代理服务。
在这里插入图片描述

修改代码以支持代理IP

在请求中添加代理IP，例如：

proxies = {
  'http': 'http://user:password@proxy_ip:port',
  'https': 'https://user:password@proxy_ip:port',
}
requests.get(url, headers=self.header, proxies=proxies)

五、完整代码及运行结果

以下是完整的Python代码实现：

# -*- coding:utf8 -*-
import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0  # 请求到的json文件数量（一个json文件包含30个图像文件）
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory = r"C:\价值一个亿\python-mini-projects\projects\baidutupian\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
                          'Accept-Language': 'en-US,en;q=0.9',
                          'Referer': 'https://image.baidu.com'
        }

    # 创建存储文件夹
    def create_directory(self, name):
        self.directory = self.directory.format(name)
        # 如果目录不存在则创建
        if not os.path.exists(self.directory):
            os.makedirs(self.directory)
        self.directory += r'\{}'

    # 获取图像链接
    def get_image_link(self, url):
        list_image_link =

 []
        strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据
        print(f"Response content for URL {url}:\n{strhtml.text}\n")
        
        try:
            jsonInfo = json.loads(strhtml.text)
        except json.JSONDecodeError:
            print("Error decoding JSON")
            return list_image_link

        if 'data' in jsonInfo:
            for index in range(len(jsonInfo['data'])):
                if 'thumbURL' in jsonInfo['data'][index]:
                    list_image_link.append(jsonInfo['data'][index]['thumbURL'])
        else:
            print("No 'data' key in the response JSON")

        return list_image_link

    # 下载图片
    def save_image(self, img_link, filename):
        try:
            res = requests.get(img_link, headers=self.header)
            if res.status_code == 404:
                print(f"图片 {img_link} 下载出错")
            else:
                with open(filename, "wb") as f:
                    f.write(res.content)
                    print("存储路径：" + filename)
        except requests.RequestException as e:
            print(f"Error downloading image: {e}")

    # 入口函数
    def run(self):
        searchName = input("查询内容：")
        searchName_parse = parse.quote(searchName)  # 编码

        self.create_directory(searchName)

        pic_number = 0  # 图像数量
        for index in range(self.json_count):
            pn = index * 30
            request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
            list_image_link = self.get_image_link(request_url)
            for link in list_image_link:
                pic_number += 1
                self.save_image(link, self.directory.format(str(pic_number) + '.jpg'))
                time.sleep(1)  # 休眠1秒，防止封ip
        print(searchName + "----图像下载完成--------->")

if __name__ == '__main__':
    spider = BaiduImageSpider()
    spider.json_count = 10  # 定义下载10组图像，也就是三百张
    spider.run()

演示爬虫的运行

运行以上代码，按照提示输入查询内容，爬虫将开始从百度图片搜索下载相关图片。

在这里插入图片描述

下载的图片展示

在这里插入图片描述

六、总结

本文详细介绍了如何使用Python编写一个简单的爬虫，用于从百度图片搜索下载图片。通过分析目标网站、设计爬虫流程、实现代码以及配置代理IP，使得爬虫能够有效地获取图片数据。通过本项目，读者可以学习到基本的爬虫原理和实现方法，同时也了解到了如何处理异常情况和优化爬虫效率的方法。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1872391.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

我用低代码平台自己搭建了一套MES应用系统，1天搞定！

我用低代码平台自己搭建了一套MES应用系统，1天搞定！

MES系统是什么 MES系统是一套面向制造企业车间执行层的生产信息化管理系统。它能够为操作人员和管理人员提供计划的执行、跟踪以及所有资源（包括人、设备、物料、客户需求等）的当前状态。通过MES系统可以对从订单下达到产品完成的整个生产过程进行优化管…
阅读更多...
2024年6月大众点评深圳餐饮店铺POI分析18万家

2024年6月大众点评深圳餐饮店铺POI分析18万家

2024年6月大众点评深圳餐饮店铺POI共有178720家 店铺POI点位示例： 店铺id G9TSD2JvdLtA7fdm 店铺名称 江味龙虾馆(南山店) 十分制服务评分 8.8 十分制环境评分 8.8 十分制划算评分 8.6 人均价格 128 评价数量 12840 店铺地址 南山大道与桂庙路交叉口西北角…
阅读更多...
vue3 【提效】使用 CSS 框架 UnoCSS 实用教程

vue3 【提效】使用 CSS 框架 UnoCSS 实用教程

该换种更高效的方式写 CSS 啦&#xff0c;举个例&#xff1a; <div class"flex"> </div>相当于 <div class"flex"> </div> <style> .flex {display: flex; } </style>当然&#xff0c;还有超多强大的功能帮我们提升…
阅读更多...
MySQL事务：ACID特性的实现原理

MySQL事务：ACID特性的实现原理

事务是MySQL等关系型数据库区别于NoSQL的重要方面&#xff0c;是保证数据一致性的重要手段。本文将首先介绍MySQL事务相关的基础概念&#xff0c;然后介绍事务的ACID特性&#xff0c;并分析其实现原理。 一、基础概念 事务&#xff08;Transaction&#xff09;是访问和更新数…
阅读更多...
大数据之FlinkCDC

大数据之FlinkCDC

最近在做FLinkCDC数据实时同步的数据抽取处理 目标: 将源端系统Oracle数据库的实时数据通过FLINKCDC的形式抽取到Doris中 问题: 在抽取的过程中,如果表的数据量太大,抽取超过30张表以后,所有的任务大概运行25~30分钟以后,所有的任务的状态会从running 变为 Failed. 解决方案…
阅读更多...
RAG开发中常见的12个痛点及解决方案

RAG开发中常见的12个痛点及解决方案

受到 Barnett 等人论文《构建检索增强生成系统的七大挑战》启发&#xff0c;本文将探讨论文中提及的七大挑战及在开发 RAG&#xff08;检索增强生成&#xff09;流程中常遇到的五个额外难题。更为重要的是&#xff0c;我们将深入讨论解决这些 RAG 难题的策略&#xff0c;以便我…
阅读更多...
综合IT运维管理解决方案

综合IT运维管理解决方案

综合IT运维管理解决方案 在信息化和数字化高速发展的时代&#xff0c;企业的IT运维管理已经成为保障业务连续性和提升运营效率的关键环节。高效的IT运维管理不仅能够降低运维成本&#xff0c;还能提升服务质量和用户满意度。本文将详细介绍综合IT运维管理解决方案&#xff0c;…
阅读更多...
照明物联网：基于网关的智能照明云监控系统解决方案

照明物联网：基于网关的智能照明云监控系统解决方案

智能照明系统就是利用物联网技术&#xff0c;将同一空间的照明、空调、新风、排风等系统共同接入物联网平台&#xff0c;实现了“设备互联、数据互通”的智慧物联能力。照明数据、环境监测数据通过网关上传云端&#xff0c;在云端进行统计分析并将结果通过各种终端共享&#xf…
阅读更多...
【资源】太绝了！整整16本Python必看书籍详细讲解，适合零基础小白，高清电子版PDF开放下载，带你从入门到入土~

【资源】太绝了！整整16本Python必看书籍详细讲解，适合零基础小白，高清电子版PDF开放下载，带你从入门到入土~

小编为初学Python的朋友们汇总了16本零基础入门书籍&#xff0c;包括Python三剑客等&#xff0c;都是在编程届多年畅销的书籍&#xff0c;也是众多从业者的选择&#xff0c;全文详细介绍了书籍主要内容&#xff0c;有需要的宝子根据自身情况自取 【教程领取方式在文末&#xff…
阅读更多...
江科大笔记—FLASH闪存

江科大笔记—FLASH闪存

FLASH闪存 程序现象&#xff1a; 1、读写内部FLASH 这个代码的目的&#xff0c;就是利用内部flash程序存储器的剩余空间&#xff0c;来存储一些掉电不丢失的参数。所以这里的程序是按下K1变换一下测试数据&#xff0c;然后存储到内部FLASH&#xff0c;按下K2把所有参数清0&…
阅读更多...
理解MySQL核心技术：外键的概念作用和应用实例

理解MySQL核心技术：外键的概念作用和应用实例

引言 在数据库管理系统&#xff08;DBMS&#xff09;中&#xff0c;外键&#xff08;Foreign Key&#xff09;是维持数据一致性和实现数据完整性的重要工具。本文将详细介绍MySQL外键的基本概念、作用&#xff0c;以及相关的操作指南和应用实例&#xff0c;帮助读者掌握并灵活…
阅读更多...
module java.base does not “opens java.lang“ to unnamed module

module java.base does not “opens java.lang“ to unnamed module

目录 原因&#xff1a;解决方法&#xff1a;方法一&#xff1a;方法二&#xff1a;方法三&#xff1a; SpringBoot项目运行报如下错误 Caused by: java.lang.reflect.InaccessibleObjectException: Unable to make protected final java.lang.Class java.lang.ClassLoader.def…
阅读更多...
兴趣爱好广泛的人，如何填报高考志愿选专业？

兴趣爱好广泛的人，如何填报高考志愿选专业？

一般来说&#xff0c;高考填报志愿都要以自己的兴趣为基础。但是对于有一些比较优秀的同学来说&#xff0c;自己的兴趣可能是非常广&#xff0c;涉及到各个专业方方面面。有些同学琴棋书画样样精通&#xff0c;对于很多的专业&#xff0c;他们都充满了兴趣&#xff0c;而且兴趣…
阅读更多...
【机器学习】高斯混合模型（Gaussian Mixture Models, GMM）深度解析

【机器学习】高斯混合模型（Gaussian Mixture Models, GMM）深度解析

&#x1f308;个人主页: 鑫宝Code &#x1f525;热门专栏: 闲话杂谈&#xff5c; 炫酷HTML | JavaScript基础 ​&#x1f4ab;个人格言: "如无必要&#xff0c;勿增实体" 文章目录 高斯混合模型&#xff08;Gaussian Mixture Models, GMM&#xff09;深度解析引…
阅读更多...
模拟实现string【C++】

模拟实现string【C++】

文章目录 全部的实现代码放在了文章末尾准备工作包含头文件定义命名空间和类类的成员变量 构造函数默认构造拷贝构造 重载赋值拷贝函数析构函数迭代器和获取迭代器迭代器获取迭代器 resize【调整size】图解 reserve【调整capacity】empty【判断串是否为空】operator[]appendpus…
阅读更多...
Stablediffusion SD最好用的图片放大方法 无损4K，8K放大 TILED

Stablediffusion SD最好用的图片放大方法 无损4K，8K放大 TILED

Tiled Diffusion Tiled VAE ControlNet Tile模型 只有图生图才能使用Tiled放大倍数。文生图没有放大倍数选项但是可以使用覆盖图像尺寸直接更改尺寸。&#xff08;文生图不容易控制&#xff0c;不如图生图&#xff09; 【采用接力的方法进行放大&#xff1a;先文生图高清修复…
阅读更多...
ONLYOFFICE 8.1版本桌面编辑器测评：重塑办公效率的巅峰之作

ONLYOFFICE 8.1版本桌面编辑器测评：重塑办公效率的巅峰之作

在数字化办公日益普及的今天&#xff0c;一款高效、便捷且功能强大的桌面编辑器成为了职场人士不可或缺的工具。ONLYOFFICE 8.1版本桌面编辑器凭借其卓越的性能和丰富的功能&#xff0c;成功吸引了众多用户的目光。今天&#xff0c;我们将对ONLYOFFICE 8.1版本桌面编辑器进行全…
阅读更多...
Ansys Zemax｜在设计抬头显示器(HUD)时需要使用哪些工具？

Ansys Zemax｜在设计抬头显示器(HUD)时需要使用哪些工具？

附件下载 联系工作人员获取附件 汽车抬头显示器或汽车平视显示器&#xff0c;也被称为HUD&#xff0c;是在汽车中显示数据的透明显示器&#xff0c;不需要用户低头就能看到他们需要的重要资讯。这个名字的由来是由于该技术能够让飞行员在头部“向上”并向前看的情况下查看信息…
阅读更多...
现如今软考通过率真的很低吗？

现如今软考通过率真的很低吗？

刚开始机考&#xff0c;10个人中有3个人表示想要尝试考试&#xff0c;这样通过率能高吗&#xff1f;就拿PMP证书来说吧&#xff0c;一下子就得花费三千多块&#xff0c;有几个人会轻易去尝试呢&#xff1f; 说到底&#xff0c;考试的难度是一个方面&#xff0c;考试的成本低是…
阅读更多...
基于边缘智能的沉浸式元宇宙关键技术与展望

基于边缘智能的沉浸式元宇宙关键技术与展望

源自&#xff1a;大数据 作者&#xff1a;王智 夏树涛 毛睿 注&#xff1a;若出现无法显示完全的情况&#xff0c;可 V 搜索“人工智能技术与咨询”查看完整文章 摘 要 近年来&#xff0c;360度视频、增强现实、虚拟现实等应用蓬勃发展&#xff0c;并逐渐形成元宇宙沉浸…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023