全国地铁站数据实时更新:Python + 高德地图实战

news2024/11/24 22:55:57

数据抓取呢,非常注重时效性。本篇文章记录于2024年8月,介绍如何使用Python和高德地图来获取中国各大城市的最新地铁站数据。通过python脚本,可以直接获取最新的地铁站信息,确保数据与高德地图的数据源同步更新,数据来源:高德地图 | 地铁图 (amap.com);

另外本专栏主打的就是直接copy直接运行即可,动一下脑子,都是对代码的不尊重,对了下面的库包如果没装的话还是要装一下的,关键的也就一个BeautifulSoup包了;

完整代码#运行环境Python 3.11

import json
import requests
from bs4 import BeautifulSoup

# 设置请求头,模拟浏览器行为
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

# 初始化已获取的地铁站ID集合
got_sid = set()
# 初始化线路字典
lines = {}

def output_lines():
    # 输出线路信息到CSV文件
    with open('lines.csv', 'a+') as f:
        # 写入CSV文件的表头
        print('城市行政区划代码', '城市名', '线路id', '线路名', sep=',', file=f)
        # 遍历所有线路信息
        for line_id, line in lines.items():
            # 写入具体线路信息
            print(line['cityCode'], line['cityName'], line_id, line['lineName'], sep=',', file=f)

def get_message(ID, cityname, name):
    """
    获取指定城市的地铁线路信息
    """
    # 构造地铁线路数据的URL
    url = f'http://map.amap.com/service/subway?_1555502190153&srhdata={ID}_drw_{cityname}.json'
    # 发送HTTP GET请求
    response = requests.get(url=url, headers=headers)
    # 解析响应内容为文本
    html = response.text
    # 将文本解析为JSON对象
    result = json.loads(html)

    # 打开或创建用于存储地铁站数据的CSV文件
    with open('stations.csv', 'a+') as f:
        # 遍历每一条地铁线路
        for i in result['l']:
            # 遍历该线路下的每个地铁站
            for j in i['st']:
                # 获取线路名称
                line_name = i['ln']
                # 如果线路有分线,则添加分线标识
                if i['la']:
                    line_name += f"({i['la']})"
                
                # 记录线路信息
                city_code = ID
                city_name = name
                line_id = i['ls']
                lines[line_id] = {
                    'lineId': line_id,
                    'lineName': line_name,
                    'cityCode': city_code,
                    'cityName': city_name,
                }

                # 记录地铁站信息
                station = {
                    'cityCode': city_code,
                    'cityName': city_name,
                    'stationId': j['sid'],
                    'stationName': j['n'],
                    'stationPosition': j['sl'],
                    'stationLines': j['r'],
                }
                # 如果该地铁站ID已存在于已获取的集合中,则跳过
                if station['stationId'] in got_sid:
                    continue
                # 将地铁站ID添加到已获取的集合中
                got_sid.add(station['stationId'])
                # 打印地铁站信息
                print(*station.values())
                # 将地铁站信息写入CSV文件
                print(*station.values(), file=f, sep=',')

def get_city():
    """
    获取城市列表,并对每个城市调用get_message函数获取其地铁站信息
    """
    # 构造获取城市列表的URL
    url = 'http://map.amap.com/subway/index.html?&1100'
    # 发送HTTP GET请求
    response = requests.get(url=url, headers=headers)
    # 解析响应内容为HTML文本
    html = response.text
    # 处理编码问题
    html = html.encode('ISO-8859-1').decode('utf-8')
    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(html, 'lxml')
    
    # 获取城市列表
    res1 = soup.find_all(class_="city-list fl")[0]
    res2 = soup.find_all(class_="more-city-list")[0]

    # 打开或创建用于存储地铁站数据的CSV文件
    with open('stations.csv', 'a+') as f:
        # 写入CSV文件的表头
        print('城市行政区划代码', '城市名', '地铁站ID', '地铁站名', '经度', '纬度', '所属线路',
              sep=',', file=f)

    # 遍历第一个城市列表中的城市链接
    for i in res1.find_all('a'):
        # 获取城市ID值
        ID = i['id']
        # 获取城市拼音名
        cityname = i['cityname']
        # 获取城市名
        name = i.get_text()
        # 调用get_message函数获取该城市的地铁站信息
        get_message(ID, cityname, name)
    
    # 遍历第二个城市列表中的城市链接
    for i in res2.find_all('a'):
        # 获取城市ID值
        ID = i['id']
        # 获取城市拼音名
        cityname = i['cityname']
        # 获取城市名
        name = i.get_text()
        # 调用get_message函数获取该城市的地铁站信息
        get_message(ID, cityname, name)

# 主程序入口
if __name__ == '__main__':
    # 获取城市列表,并对每个城市调用get_message函数
    get_city()
    # 输出所有线路信息
    output_lines()

运行结束会保存二个文件夹一个line.csv,一个station.csv;

station.csv保存的是地铁站点数据,标签包括城市行政区划代码、城市名、地铁站ID、地铁站名、经度、纬度、所属线路,截止到2024年8月开通并且在运营的站点全国有5695座地铁站;

line.csv保存的是线路数据,标签包括城市行政区划代码、城市名、线路id、线路名,截止到2024年8月开通并且在运营的线路全国有311条地铁线;

获取数据之后就是对数据的可视化,由于我们拿到的数据是高德坐标系GCJ02,但我们通常的数据源可能是WGS84,所以我们需要转一下地理坐标系,这里放一个免费的地图经纬度坐标系批量转换工具:地图坐标系批量转换 - 免费在线工具 (latlongconverter.online);

将csv批量转为WGS84坐标后,导入arcgis,【显示xy数据】,坐标选择地理坐标WGS84,arcgispro也同理;

这里不一样的是arcgis需要把点事件导出为新的点图层,而arcgispro可以直接用当前图层,下一步检索【点集转线】;

这里有一个tips:制作基础数据的时候一个站点被多条线路经过的时候,需要每条线都要有一个该站点数据,且站点顺序一定不能错,不然按线路连接的时候会根据当前站点顺序进行连接。

这里以厦门地铁这个湖滨东路为例,需要在制作基础数据的时候单独做二条数据,一条属于尾号907的线路,一条属于914的线路,并且以镇海路所在的一号线为例,数据顺序一定为镇海路、将军祠、中山公园、文灶......,或者倒序,不然原始数据连接顺序会不按实际运行线路方式连接;

点集转线的结果如下,如果需要最新的地铁数据直接重新运行一下脚本即可;

高德地图的线路如下,当然高德的展示数据为了美观会与实际路线存在差异;

这里也直接放一下原始数据:全国地铁站数据(wgs84)_全国地铁资源-CSDN文库

文章仅用于分享个人学习成果与个人存档之用,分享知识,如有侵权,请联系作者进行删除。所有信息均基于作者的个人理解和经验,不代表任何官方立场或权威解读。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2086924.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

软件测学习笔记丨Linux的进程与线程

本文转自测试人社区,原文链接:https://ceshiren.com/t/topic/32047 一、简介 进程:在Linux中,进程指正在运行的程序的示例。每个进程都有一个唯一的标识符(PID),并且可以包含代码、数据和文件描…

主控

3. 修改 etcd 数据库配置 [rootnode1 ~] # vim /etc/etcd/etcd.conf [rootnode1 ~] # cat /etc/etcd/etcd.conf #[Member] #ETCD_CORS"" ETCD_DATA_DIR "/var/lib/etcd/default.etcd" #ETCD_WAL_DIR"" #ETCD_LISTEN_PEER_URLS"http…

如何在你vs code和ide编译器使用AI

vs code举例。先看效果图 2个步骤轻松拥有 1、注册豆包AI账号:点击注册 2、在vs code中安装: 第一种方法:快速安装 第二种方法:手动安装, 第1步:安装 Visual Studio Code 后,左侧导航栏上点击扩展。 第2步…

Avalonia 播放 VLC 视频(Windows / Linux)

【演示效果】 一、开发步骤 1. 版本与引用类库 Avalonia 版本:11.0.11 Windows上只需要安装以下类库: LibVLCSharp 3.8.5 LibVLCSharp.Avalonia 3.8.5 VideoLAN.LibVLC.Windows 3.0.20 引用截图: 2. 前端代码 <UserControl xmlns="https://github.com/avaloni…

代码随想录 刷题记录-20 动态规划(4)多重背包理论、背包问题总结

一、多重背包基本理论 有N种物品和一个容量为V 的背包。第i种物品最多有Mi件可用&#xff0c;每件耗费的空间是Ci &#xff0c;价值是Wi.求解将哪些物品装入背包可使这些物品的耗费的空间 总和不超过背包容量&#xff0c;且价值总和最大。 多重背包和01背包是非常像的&#x…

Vue项目“npm run serve”总卡住的问题 已解决

Vue项目“npm run serve”总卡住的问题 已解决 概述 如果卡住进度在51% 直接看这篇 https://blog.csdn.net/qq_34419312/article/details/141681307?spm1001.2014.3001.5501 在使用Vue.js进行项目开发时&#xff0c;npm run serve命令是我们常用的启动本地开发服务器的方式…

SpringBoot依赖之Spring Boot DevTools热部署开发增效工具

摘要&#xff1a;Spring项目又大又重&#xff0c;依赖多&#xff0c;编译启动慢&#xff0c;怎么提高研发效率呢&#xff1f;方法之一热部署&#xff01; 概念 Spring Boot DevTools 依赖名称: Spring Boot DevTools功能描述: Provides fast application restarts, LiveRelo…

提高 Web 应用程序安全性的标准

开放式 Web 应用程序安全项目 (OWASP) 是一个国际非营利组织&#xff0c;致力于为任何有兴趣提高 Web 应用程序安全性的人提供免费文档、工具、视频和论坛。 OWASP 最初成立为开放式 Web 应用程序安全项目&#xff0c;并于 2004 年注册为非营利性慈善机构&#xff0c;提供有关…

杰发科技AC7840——EEP的EEP_HAL_OTHER_ERROR错误

0. 初始化EEP时候发现返回5 在EEP使用手册里面有写答案 2. 根据文档看看EEP初始化的参数 2. 从代码看看EEP初始化流程 对EepSize进行校验&#xff0c;有异常直接退出 最小编程字节数&#xff0c;用的挺多的 重复次数赋值&#xff0c;看起来每个都要尝试3次 EEP的地址赋值 解锁…

嵌入式Linux应用程序开发-2 Linux基础命令

Linux常用命令 Shell是一种Linux中的命令行解释程序&#xff0c;就如同Command.com是DOS下的命令解释程序一样&#xff0c;为用户提供使用操作系统的接口。用户在提示符下输入的命令都由Shell先解释然后传给Linux内核。 Shell是命令语言、命令解释程序集程序设计语言的统称。…

macos USB外接键盘ctrl键绑定方法 解决外接USB键盘与mac键盘不一致问题

mac电脑外接USB键盘后我们需要修改一下 ctrl键的绑定后才符合我们的使用习惯,因为标准USB键盘和mac键盘上面的ctrl键是不一样的, mac上面的 command 键 对应我们USB键盘上面的 ctrl 键. 修改方法: 偏好设置 --> 键盘 点击修饰键 后 选择键盘里面选择 USB键盘 ,然后调换…

C++领进门(第三讲)

目录 7.内联函数 7.1 概念 7.2 特征 8. auto关键字(C11) 8.1 auto简介 8.2 auto的使用细则 8.3 auto不能推导的场景 9. 基于范围的for循环(语法糖)(C11) 9.1 范围for的语法 9.2 范围for的使用条件 10. 指针空值nullptr(C11) 7.内联函数 7.1 概念 以inline修饰的函数…

折腾 Quickwit,Rust 编写的分布式搜索引擎 - 从不同的来源摄取数据

摄取 API 在这节教程中&#xff0c;我们将介绍如何使用 Ingest API 向 Quickwit 发送数据。 要跟随这节教程&#xff0c;您需要有一个本地的 Quickwit 实例正在运行。 https://quickwit.io/docs/get-started/installation 要启动它&#xff0c;请在终端中运行 ./quickwit run。…

Python | Leetcode Python题解之第382题链表随机节点

题目&#xff1a; 题解&#xff1a; class Solution:def __init__(self, head: Optional[ListNode]):self.head headdef getRandom(self) -> int:node, i, ans self.head, 1, 0while node:if randrange(i) 0: # 1/i 的概率选中&#xff08;替换为答案&#xff09;ans …

Git分支原理、操作及实际开发中如何规范使用分支

&#x1f600;前言 在这篇博文中&#xff0c;我将与大家分享关于Git分支管理的内容。Git作为一个分布式版本控制系统&#xff0c;在协同开发和版本控制中扮演着至关重要的角色。通过这篇文章&#xff0c;您将深入了解Git分支的原理、操作以及在实际开发中如何规范使用分支。希望…

【数据结构】-----哈希

目录 一、哈希表概念 二、哈希函数 三、哈希冲突 Ⅰ、定义 Ⅱ、解决 ①闭散列--开放定址法 线性探测 二次线性探测 ②开散列--链地址法&#xff08;哈希桶&#xff09; 问题&#xff1a;哈希表何时扩容&#xff1f; 一、哈希表概念 哈希表又称散列表&#xff0c;它是一…

【河北航空-注册安全分析报告-无验证方式导致安全隐患】

前言 由于网站注册入口容易被黑客攻击&#xff0c;存在如下安全问题&#xff1a; 1. 暴力破解密码&#xff0c;造成用户信息泄露 2. 短信盗刷的安全问题&#xff0c;影响业务及导致用户投诉 3. 带来经济损失&#xff0c;尤其是后付费客户&#xff0c;风险巨大&#xff0c;造…

css的“id选择器“命名问题

项目场景&#xff1a; 工程里面&#xff0c;使用到了CSS的”id选择器"&#xff0c;想让某个p标签的元素发生改变 问题描述 为什么每个p标签的元素&#xff0c;都发生了改变 <!DOCTYPE html> <html lang"en"><head><meta charset"U…

mqtt的理解

1、emqx各个端口 1883是emqx服务端的监听端口&#xff0c;通俗的讲就是emqx服务端会一直监听有哪个客户端想要连接我&#xff0c;比如springboot的MqttClient类中设置了host "tcp://192.168.1.1:1883"&#xff0c;该springboot程序作为客户端要连接到emqx服务端&am…

20.神经网络 - 搭建小实战和 Sequential 的使用

神经网络 - 搭建小实战和 Sequential 的使用 在 PyTorch 中&#xff0c;Sequential 是一个容器&#xff08;container&#xff09;类&#xff0c;用于构建神经网络模型。它允许你按顺序&#xff08;sequential&#xff09;添加不同的网络层&#xff0c;并将它们串联在一起&…