前言

王者新赛季马上就要开始了，大家都开始冲榜了，准备拿一个小省标，那么，本文，就来练习获取各地最低战力的爬虫采集实战。

环境使用

python 3.9
pycharm

模块使用

requests

模块介绍

requests

        requests是一个很实用的Python HTTP客户端库，爬虫和测试服务器响应数据时经常会用到，requests是Python语言的第三方的库，专门用于发送HTTP请求，使用起来比urllib简洁很多。

parsel

        parsel是一个python的第三方库，相当于css选择器+xpath+re。

parsel由scrapy团队开发，是将scrapy中的parsel独立抽取出来的，可以轻松解析html，xml内容，获取需要的数据。

相比于BeautifulSoup，xpath，parsel效率更高，使用更简单。

re

        re模块是python独有的匹配字符串的模块，该模块中提供的很多功能是基于正则表达式实现的，而正则表达式是对字符串进行模糊匹配，提取自己需要的字符串部分，他对所有的语言都通用。

os

        os 就是 “operating system” 的缩写，顾名思义，os模块提供的就是各种 Python 程序与操作系统进行交互的接口。通过使用 os 模块，一方面可以方便地与操作系统进行交互，另一方面也可以极大增强代码的可移植性。

csv

        它是一种文件格式，一般也被叫做逗号分隔值文件，可以使用 Excel 软件或者文本文档打开。其中数据字段用半角逗号间隔（也可以使用其它字符），使用 Excel 打开时，逗号会被转换为分隔符。csv 文件是以纯文本形式存储了表格数据，并且在兼容各个操作系统。

模块安装问题:

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

在pycharm中点击Terminal(终端) 输入安装命令

安装失败原因:

失败一: pip 不是内部命令

解决方法: 设置环境变量

失败二: 出现大量报红 (read time out)

解决方法: 因为是网络链接超时, 需要切换镜像源
    清华：https://pypi.tuna.tsinghua.edu.cn/simple
    阿里云：https://mirrors.aliyun.com/pypi/simple/
    中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
    华中理工大学：https://pypi.hustunique.com/
    山东理工大学：https://pypi.sdutlinux.org/
    豆瓣：https://pypi.douban.com/simple/
    例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名
失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入

解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好，或者你pycharm里面python解释器没有设置好。

代码实现

王者新赛季马上就要开始了，大家都开始冲榜了，准备拿一个小省标，那么，本文，就来练习获取各地最低战力的爬虫采集实战。

确定网址

确定好我们的目标网址之后，我们要找到我们需要的数据源，通过开发者工具分析，我们不难发现其数据地址。

请求URL：

https://www.sapi.run/hero/select.php

请求方式：

GET
参数：

参数名	必选	类型	说明
hero	是	string	英雄名
type	是	string	选aqq、awx、iqq、iwx

请求示例

https://www.sapi.run/hero/select.php?hero=孙悟空&type=aqq

返回示例

{
  "code": 200,
  "data": {
    "uid": "167",
    "name": "孙悟空",
    "alias": "齐天大圣-孙悟空",
    "platform": "安卓-扣扣区",
    "photo": "https://game.gtimg.cn/images/yxzj/img201606/heroimg/167/167.jpg",
    "area": "武强县",
    "areaPower": "3693",
    "city": "潮州市",
    "cityPower": "5501",
    "province": "天津市",
    "provincePower": "7274",
    "guobiao": "11404",
    "stamp": "1654640093",
    "updatetime": "2022/06/08 06:14:53",
    "clientIP": "119.0.0.126"
  },
  "msg": " "
}

下面，我们开始写代码。

获取数据

第一步，发送请求，获得数据。

import requests
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}

hero_url = 'https://pvp.qq.com/web201605/herolist.shtml'
response = requests.get(url=hero_url, headers=headers)

这段代码中，我们使用 Python 的 requests 模块发送了一个 GET 请求，请求的 URL 为 https://pvp.qq.com/web201605/herolist.shtml，并且使用了 headers 参数来设置请求头信息。请求头信息包括了 user-agent 字段，用于指定浏览器的 User-Agent 信息。

请求返回的结果是一个 Response 对象，我们可以使用 response.text 属性来获取请求的响应内容。在这个例子中，我们使用了 response.json() 方法来将响应内容转换为 JSON 格式，并将其存储在 response.text 属性中。

response.encoding='gbk'
heros = re.findall('alt=".*?">(.*?)</a>',response.text)[0:93]

在这个例子中，我们使用 findall() 函数来查找 JSONP 回调函数的参数，并将其存储在 response.text 变量中。然后，我们使用 [0:93] 来获取第一个匹配的子字符串，并将其存储在 heros 变量中。

解析数据

我们发现，我们得到了这样英雄名字的数据，下面，我们就可以构建url，获取战力信息。

for hero in heros:
    print(hero)
    url = f'https://www.sapi.run/hero/select.php?hero={hero}&type=qq'
    res = requests.get(url)
    data = res.json()['data']
    name = data['name']
    area = data['area']
    areaPower= data['areaPower']
    city = data['city']
    cityPower = data['cityPower']
    province= data['province']
    provincePower = data['provincePower']
    platform= data['platform']
    updatetime = data['updatetime']

这段代码中，我们使用 Python 的 requests 模块发送了一个 GET 请求，请求的 URL 为 https://www.sapi.run/hero/select.php?hero={hero}&type=qq，并且使用了 json() 方法将响应内容转换为 JSON 格式，并将其存储在 res.json() 变量中。

请求返回的结果是一个 Response 对象，我们可以使用 response.json() 方法将响应内容转换为 JSON 格式，并将其存储在 res.json() 变量中。

在这个例子中，我们使用了 res.json() 变量来获取响应内容，并将其存储在 data 变量中。然后，我们使用 name 变量获取了英雄名称，使用 area 变量获取了区域名字，使用 areaPower 变量获取了区域战力，使用 city 变量获取了市，使用 cityPower 变量获取了市战力，使用 province 变量获取了省份，使用 provincePower 变量获取了省份战力，使用 platform 变量获取了平台，使用 updatetime 变量获取了更新时间。

保存数据

dit = {
    '英雄名称':name,
    '服务区':platform,
    '更新时间': updatetime,
    '铜牌区域':area,
    '铜牌分数': areaPower,
    '银牌区域':city,
    '银牌分数': cityPower,
    '金牌区域':province,
    '金牌分数':provincePower ,
}

这段代码是一个 Python 代码片段，它定义了一个字典，其中包含了一些英雄的信息，包括英雄名称、服务区、更新时间、铜牌区域、铜牌分数、银牌区域、银牌分数、金牌区域、金牌分数等。

下面就是数据的写入了。其实，把字典数值写入到csv文件里面，特别简单，只需呀四行代码就可以实现。

f = open('最低战力.csv', mode='W', encoding='utf-8_sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['英雄名称', '服务区', '更新时间', '铜牌区域', '铜牌分数',
                                           '银牌区域', '银牌分数', '金牌区域','金牌分数'])
csv_writer.writeheader()

写入字典数值。

csv_writer.writerow(dit)

这时候，我们就会在文件夹里面找到最低战力的csv文件，我们打开看看效果。

附全部源码

import requests
import re
import csv
f = open('最低战力.csv', mode='w', encoding='utf-8_sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['英雄名称', '服务区', '更新时间', '铜牌区域', '铜牌分数',
                                           '银牌区域', '银牌分数', '金牌区域','金牌分数'])
csv_writer.writeheader()
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}

hero_url = 'https://pvp.qq.com/web201605/herolist.shtml'
response = requests.get(url=hero_url, headers=headers)

response.encoding='gbk'
heros = re.findall('alt=".*?">(.*?)</a>',response.text)[0:93]
print(heros)
# aqq、awx、iqq、iwx
for hero in heros:
    print(hero)
    url = f'https://www.sapi.run/hero/select.php?hero={hero}&type=qq'
    res = requests.get(url)
    data = res.json()['data']
    name = data['name']
    area = data['area']
    areaPower= data['areaPower']
    city = data['city']
    cityPower = data['cityPower']
    province= data['province']
    provincePower = data['provincePower']
    platform= data['platform']
    updatetime = data['updatetime']
    dit = {
        '英雄名称':name,
        '服务区':platform,
        '更新时间': updatetime,
        '铜牌区域':area,
        '铜牌分数': areaPower,
        '银牌区域':city,
        '银牌分数': cityPower,
        '金牌区域':province,
        '金牌分数':provincePower ,
    }
    print(dit)
    csv_writer.writerow(dit)