全国地铁站数据实时更新：Python + 高德地图实战

news2024/11/12 20:30:24

数据抓取呢，非常注重时效性。本篇文章记录于2024年8月，介绍如何使用Python和高德地图来获取中国各大城市的最新地铁站数据。通过python脚本，可以直接获取最新的地铁站信息，确保数据与高德地图的数据源同步更新，数据来源：高德地图 | 地铁图 (amap.com)；

另外本专栏主打的就是直接copy直接运行即可，动一下脑子，都是对代码的不尊重，对了下面的库包如果没装的话还是要装一下的，关键的也就一个BeautifulSoup包了；

完整代码#运行环境Python 3.11

import json
import requests
from bs4 import BeautifulSoup

# 设置请求头，模拟浏览器行为
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

# 初始化已获取的地铁站ID集合
got_sid = set()
# 初始化线路字典
lines = {}

def output_lines():
    # 输出线路信息到CSV文件
    with open('lines.csv', 'a+') as f:
        # 写入CSV文件的表头
        print('城市行政区划代码', '城市名', '线路id', '线路名', sep=',', file=f)
        # 遍历所有线路信息
        for line_id, line in lines.items():
            # 写入具体线路信息
            print(line['cityCode'], line['cityName'], line_id, line['lineName'], sep=',', file=f)

def get_message(ID, cityname, name):
    """
    获取指定城市的地铁线路信息
    """
    # 构造地铁线路数据的URL
    url = f'http://map.amap.com/service/subway?_1555502190153&srhdata={ID}_drw_{cityname}.json'
    # 发送HTTP GET请求
    response = requests.get(url=url, headers=headers)
    # 解析响应内容为文本
    html = response.text
    # 将文本解析为JSON对象
    result = json.loads(html)

    # 打开或创建用于存储地铁站数据的CSV文件
    with open('stations.csv', 'a+') as f:
        # 遍历每一条地铁线路
        for i in result['l']:
            # 遍历该线路下的每个地铁站
            for j in i['st']:
                # 获取线路名称
                line_name = i['ln']
                # 如果线路有分线，则添加分线标识
                if i['la']:
                    line_name += f"({i['la']})"
                
                # 记录线路信息
                city_code = ID
                city_name = name
                line_id = i['ls']
                lines[line_id] = {
                    'lineId': line_id,
                    'lineName': line_name,
                    'cityCode': city_code,
                    'cityName': city_name,
                }

                # 记录地铁站信息
                station = {
                    'cityCode': city_code,
                    'cityName': city_name,
                    'stationId': j['sid'],
                    'stationName': j['n'],
                    'stationPosition': j['sl'],
                    'stationLines': j['r'],
                }
                # 如果该地铁站ID已存在于已获取的集合中，则跳过
                if station['stationId'] in got_sid:
                    continue
                # 将地铁站ID添加到已获取的集合中
                got_sid.add(station['stationId'])
                # 打印地铁站信息
                print(*station.values())
                # 将地铁站信息写入CSV文件
                print(*station.values(), file=f, sep=',')

def get_city():
    """
    获取城市列表，并对每个城市调用get_message函数获取其地铁站信息
    """
    # 构造获取城市列表的URL
    url = 'http://map.amap.com/subway/index.html?&1100'
    # 发送HTTP GET请求
    response = requests.get(url=url, headers=headers)
    # 解析响应内容为HTML文本
    html = response.text
    # 处理编码问题
    html = html.encode('ISO-8859-1').decode('utf-8')
    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(html, 'lxml')
    
    # 获取城市列表
    res1 = soup.find_all(class_="city-list fl")[0]
    res2 = soup.find_all(class_="more-city-list")[0]

    # 打开或创建用于存储地铁站数据的CSV文件
    with open('stations.csv', 'a+') as f:
        # 写入CSV文件的表头
        print('城市行政区划代码', '城市名', '地铁站ID', '地铁站名', '经度', '纬度', '所属线路',
              sep=',', file=f)

    # 遍历第一个城市列表中的城市链接
    for i in res1.find_all('a'):
        # 获取城市ID值
        ID = i['id']
        # 获取城市拼音名
        cityname = i['cityname']
        # 获取城市名
        name = i.get_text()
        # 调用get_message函数获取该城市的地铁站信息
        get_message(ID, cityname, name)
    
    # 遍历第二个城市列表中的城市链接
    for i in res2.find_all('a'):
        # 获取城市ID值
        ID = i['id']
        # 获取城市拼音名
        cityname = i['cityname']
        # 获取城市名
        name = i.get_text()
        # 调用get_message函数获取该城市的地铁站信息
        get_message(ID, cityname, name)

# 主程序入口
if __name__ == '__main__':
    # 获取城市列表，并对每个城市调用get_message函数
    get_city()
    # 输出所有线路信息
    output_lines()

运行结束会保存二个文件夹一个line.csv，一个station.csv；