【Python爬虫】爬取公共交通路网数据

程序来自于Github，以下这篇博客作为完整的学习记录，也callback上一篇爬取公共交通站点的博文。

Bardbo/get_bus_lines_and_stations_data_from_gaode: 这个项目是基于高德开放平台和公交网获取公交线路及站点数据，并生成shp文件，代码相对粗糙，但简单可用https://github.com/Bardbo/get_bus_lines_and_stations_data_from_gaode

1. 导入库

首先是程序需要的python库。

import requests
import json
import pandas as pd
from lxml import etree
import time
from tqdm import tqdm

  • requests：用于发送HTTP请求，获取网页内容或API数据。

  • json：用于处理JSON格式的数据。

  • pandas：用于数据处理和保存为CSV文件。

  • lxml：用于解析HTML内容。

  • time：用于控制爬取速度，避免过快请求导致被封禁。

  • tqdm：用于显示进度条，方便查看爬取进度。

2. 获取城市公交线路名称（get_bus_line_name 函数）

def get_bus_line_name(city_phonetic):url = 'http://{}.gongjiao.com/lines_all.html'.format(city_phonetic)r = requests.get(url).textet = etree.HTML(r)line_name = et.xpath('//div[@class="list"]//a/text()')return line_name

这里同样也需要先爬取公交线路的名称，函数需要传入city_phonetic也就是城市的拼音（如 changsha、wuhan），函数会返回该城市所有公交线路的名称列表（line_name）。

3. 爬取公交路线（get_line_station_data 函数）

获取公交线路的url是高德的https://restapi.amap.com/v3/bus/linename?extensions=all&key={ak}&output=json&city={city}&offset=1&keywords={line_name}

那么先来看一下官方的介绍，这里使用的是公交路线关键字查询，也就是说我们要输入公交路线的关键字，例如15路等等。

返回的内容如下，status记录了查询成功与否，buslines中记录了查询成功的公交路线。

接下来来看代码：

def get_line_station_data(city, line_name, ak, city_phonetic):print(f'正在获取-->{line_name}')time.sleep(1)url = f'https://restapi.amap.com/v3/bus/linename?extensions=all&key={ak}&output=json&city={city}&offset=1&keywords={line_name}'r = requests.get(url).textrt = json.loads(r)try:if rt['buslines']:if len(rt['buslines']) == 0:print('no data in list..')else:dt = {}dt['line_name'] = rt['buslines'][0]['name']dt['polyline'] = rt['buslines'][0]['polyline']dt['total_price'] = rt['buslines'][0]['total_price']station_name = []station_coords = []for st in rt['buslines'][0]['busstops']:station_name.append(st['name'])station_coords.append(st['location'])dt['station_name'] = station_namedt['station_corrds'] = station_coordsdm = pd.DataFrame([dt])dm.to_csv(f'{city_phonetic}_lines.csv',mode='a',header=False,index=False,encoding='utf_8_sig')else:print('data not avaliable..')with open('data not avaliable.log', 'a') as f:f.write(line_name + '\n')except:print('error.. try it again..')time.sleep(2)get_line_station_data(city, line_name, ak, city_phonetic)

函数通过高德地图API获取某条公交线路的详细信息，并保存到CSV文件中。通过构造API请求URL获取公交线路数据，解析响应并提取线路名称、路径、票价、站点名称和坐标，将数据保存到CSV文件，若数据不可用则记录日志，失败时等待2秒后重试。

如果爬取失败的话，检查一下key是否达到了限额，一天只能爬取5000次，爬取公交线路比较耗费次数。

爬取完成后来看一下保存的csv，总共5列。

  • A列：公交线路关键字（名称）
  • B列：公交线路polyline，也就是线路途径的每个点（注意不是站点，公交线路的每个拐点都会被记录）
  • C列：总价
  • D列：途径站点关键字（名称）
  • E列：途径站点经纬度坐标

4. 主程序调用

if __name__ == '__main__':city = '益阳'city_phonetic = 'yiyang'ak = '###'  # 这里建议更改为自己的keystart_time = time.time()print(f'==========正在获取 {city} 线路名称==========')line_names = get_bus_line_name(city_phonetic)print(f'{city}在公交网上显示共有{len(line_names)}条线路')for line_name in tqdm(line_names):get_line_station_data(city, line_name, ak, city_phonetic)end_time = time.time()print(f'我爬完啦, 耗时{end_time - start_time}秒')

自己需要设置的是最开始的city、city_phonetic、ak.

程序调用了上面的函数并记录了爬取的时间。

5. 线路、站点转成shp

那么有了这个csv怎么可视化呢？

那么作者就写了DataToShp这个 类用于将公交线路和站点数据从CSV文件转换为Shapefile格式，主要功能包括：

get_station_data：将站点坐标和名称从字符串格式转换为列表格式，将数据从横向展开为纵向，并去除重复项；

get_line_data：将线路的折线数据从字符串格式转换为列表格式;

create_station_shp：创建站点Shapefile，包含站点名称和坐标；

create_lines_shp：创建线路Shapefile，包含线路名称和折线坐标；

其实作者其实在这里还引入了从高德的火星坐标系转换为WGS_84的函数，但是大部分时候这种转换并不可靠，所以建议高德爬取的数据就搭配高德地图进行可视化使用。

# -*- coding: utf-8 -*-
# @Author: Bardbo
# @Date:   2020-11-09 21:09:12
# @Last Modified by:   Bardbo
# @Last Modified time: 2020-11-09 21:59:35
import pandas as pd
import numpy as np
import shapefile
# import converterclass DataToShp:def __init__(self, filename):self.data = pd.read_csv(filename,names=['line_name', 'polyline', 'price','station_names', 'station_coords'])def get_station_data(self):df_stations = self.data[['station_coords', 'station_names']]# 将原本的一行字符串变为列表df_stations['station_coords'] = df_stations['station_coords'].apply(lambda x: x.replace('[', '').replace(']', '').replace('\'', '').split(', '))df_stations['station_names'] = df_stations['station_names'].apply(lambda x: x.replace('[', '').replace(']', '').replace('\'', '').split(', '))# 横置的数据变为纵向的数据station_all = pd.DataFrame(\np.column_stack((\np.hstack(df_stations['station_coords'].repeat(list(map(len, df_stations['station_coords'])))),np.hstack(df_stations['station_names'].repeat(list(map(len, df_stations['station_names'])))))),columns=['station_coords','station_names'])# 去除重复station_all = station_all.drop_duplicates()# # 坐标转换# station_all['st_coords_wgs84'] = station_all['station_coords'].apply(#     self.stations_to_wgs84)station_all.reset_index(inplace=True)self.stations = station_alldef get_line_data(self):df_lines = self.data[['line_name', 'polyline']]df_lines['polyline'] = df_lines['polyline'].apply(lambda x: x.split(';'))# # 坐标转换# df_lines['lines_wgs84'] = df_lines['polyline'].apply(#     self.lines_to_wgs84)df_lines.reset_index(inplace=True)self.lines = df_lines# def stations_to_wgs84(self, coor):#     xy = coor.split(',')#     lng, lat = float(xy[0]), float(xy[1])#     return converter.gcj02_to_wgs84(lng, lat)## def lines_to_wgs84(self, coor):#     ls = []#     for c in coor:#         xy = c.split(',')#         lng, lat = float(xy[0]), float(xy[1])#         ls.append(converter.gcj02_to_wgs84(lng, lat))#     return lsdef create_station_shp(self, city_phonetic):w = shapefile.Writer(f'./data/{city_phonetic}_stations.shp')w.field('name', 'C')# 确保所有坐标都是浮动类型for i in range(len(self.stations)):coords = self.stations.loc[i, 'station_coords'].split(',')  # 获取坐标lat = float(coords[0])  # 强制转换为浮动类型lon = float(coords[1])  # 强制转换为浮动类型# 确保坐标是浮动类型w.point(lat, lon)  # 写入点w.record(self.stations.loc[i, 'station_names'])  # 写入记录w.close()def create_lines_shp(self, city_phonetic):w = shapefile.Writer(f'./data/{city_phonetic}_lines.shp')w.field('name', 'C')for i in range(len(self.lines)):polyline = self.lines['polyline'][i]# 如果 polyline 是字符串，则使用 split()；如果是列表，则直接使用if isinstance(polyline, list):polyline = [list(map(float, point.split(','))) for point in polyline]# 确保 polyline 是列表类型，进行写入w.line([polyline])w.record(self.lines['line_name'][i])w.close()if __name__ == '__main__':dts = DataToShp('yiyang_lines.csv')dts.get_station_data()dts.get_line_data()dts.create_station_shp()dts.create_lines_shp()print('shp文件创建完成')

如下就是可视化后的效果【爬的时候无意中发现学校这多了两条公交，深入鄂州，win！】

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/71354.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Stable Diffusion模型高清算法模型类详解

Stable Diffusion模型高清算法模型类详解

Stable Diffusion模型高清算法模型类详细对比表 模型名称核心原理适用场景参数建议显存消耗细节增强度优缺点4x-UltraSharp残差密集块(RDB)结构优化纹理生成真实人像/建筑摄影重绘幅度0.3-0.4，分块尺寸768px★★★★★☆皮肤纹理细腻，但高对比场景易出现…
阅读更多...
VUE_使用Vite构建vue项目

VUE_使用Vite构建vue项目

创建项目 // 安装vite npm install vite// 创建名为vite-app的项目 npm create vite vite-app --template vue// 到项目目录 cd vite-app// 安装依赖 npm install// 运行项目 npm run dev// 打包 npm run build// 打包预览 npm run serve 增加路由 // 安装路由 npm add vue-r…
阅读更多...
ctf网络安全赛题

ctf网络安全赛题

CTF简介 CTF（Capture The Flag）中文一般译作夺旗赛，在网络安全领域中指的是网络安全技术人员之间进行技术竞技的一种比赛形式。CTF起源于1996年DEFCON全球黑客大会，以代替之前黑客们通过互相发起真实攻击进行技术比拼的方式。发展…
阅读更多...
【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》004-TypeScript 中的泛型

【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》004-TypeScript 中的泛型

标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主&…
阅读更多...
性能测试监控工具jmeter+grafana

性能测试监控工具jmeter+grafana

1、什么是性能测试监控体系？ 为什么要有监控体系？ 原因： 1、项目-日益复杂（内部除了代码外，还有中间件，数据库） 2、一个系统，背后可能有多个软/硬件组合支撑，影响性能的因…
阅读更多...
互联网时代如何保证数字足迹的安全，以防个人信息泄露？

互联网时代如何保证数字足迹的安全，以防个人信息泄露？

用户在网络上所做的几乎所有事情，包括浏览、社交媒体活动、搜索查询、在线订阅，甚至购物，都会留下一条数据线索，这些数据可用于创建用户在线身份的详细档案。如果这些信息暴露，恶意行为者可能会利用它们将用户置于各种…
阅读更多...
C# IEquatable＜T＞ 使用详解

C# IEquatable＜T＞ 使用详解

总目录 前言 在 C# 开发中&#xff0c;IEquatable<T> 是一个泛型接口&#xff0c;用于定义类型的相等性比较逻辑。通过实现 IEquatable<T>&#xff0c;可以为自定义类型提供高效的、类型安全的相等性比较方法。本文将详细介绍 IEquatable<T> 的使用方法、应…
阅读更多...
web第四天

web第四天

Dom操作元素 innerText、innerHTML、value(input and textarea用到) 更改属性&#xff0c;样式 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-wid…
阅读更多...
LabVIEW基于IMAQ实现直线边缘检测

LabVIEW基于IMAQ实现直线边缘检测

本程序基于 NI Vision Development 模块&#xff0c;通过 IMAQ Find Straight Edges 函数&#xff0c;在指定 ROI&#xff08;感兴趣区域&#xff09; 内检测多条直线边缘。用户可 动态调整检测参数 或 自定义ROI&#xff0c;实时观察识别效果&#xff0c;适用于 高精度视觉检测…
阅读更多...
费曼学习法13 - 数据表格的魔法：Python Pandas DataFrame 详解 (Pandas 基础篇)

费曼学习法13 - 数据表格的魔法：Python Pandas DataFrame 详解 (Pandas 基础篇)

第二篇&#xff1a;数据表格的魔法&#xff1a;Python Pandas DataFrame 详解 (Pandas 基础篇) 开篇提问&#xff1a; 回忆一下&#xff0c;我们上一篇文章学习了 Pandas 的一维数据结构 Series&#xff0c;它可以看作是带 “标签” 的列表。 但现实世界中的数据&#xff0c;…
阅读更多...
一周学会Flask3 Python Web开发-在模板中渲染WTForms表单视图函数里获取表单数据

一周学会Flask3 Python Web开发-在模板中渲染WTForms表单视图函数里获取表单数据

锋哥原创的Flask3 Python Web开发 Flask3视频教程&#xff1a; 2025版 Flask3 Python web开发 视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili 为了能够在模板中渲染表单&#xff0c;我们需要把表单类实例传入模板。首先在视图函数里实例化表单类LoginForm&#xff0c;然…
阅读更多...
小红书湖仓架构的跃迁之路

小红书湖仓架构的跃迁之路

作者&#xff1a;李鹏霖(丁典)&#xff0c;小红书-研发工程师&#xff0c;StarRocks Contributor & Apache Impala Committer 本文整理自小红书工程师在 StarRocks 年度峰会上的分享&#xff0c;介绍了小红书自助分析平台中&#xff0c;StarRocks 与 Iceberg 结合后&#x…
阅读更多...
数据结构第五节：排序

数据结构第五节：排序

1.常见的排序算法 插入排序&#xff1a;直接插入排序、希尔排序 选择排序&#xff1a;直接选择排序、堆排序 交换排序&#xff1a;冒泡排序、快速排序 归并排序&#xff1a;归并排序 排序的接口实现&#xff1a; // 1. 直接插入排序 void InsertSort(int* a, int n); // 2. 希…
阅读更多...
BambuStudio学习笔记：FaceDetector类

BambuStudio学习笔记：FaceDetector类

面检测器类解析 这段代码定义了一个名为 FaceDetector 的 C 类&#xff0c;用于处理三维模型中的面检测。以下是该类的具体说明&#xff1a; 头文件保护 #ifndef slic3r_FaceDetector_hpp_ #define slic3r_FaceDetector_hpp_这部分代码防止头文件被多次包含。 命名空间声明…
阅读更多...
C++发展

C++发展

目录 ​编辑C 的发展总结&#xff1a;​编辑 1. C 的早期发展&#xff08;1979-1985&#xff09; 2. C 标准化过程&#xff08;1985-1998&#xff09; 3. C 标准演化&#xff08;2003-2011&#xff09; 4. C11&#xff08;2011年&#xff09; 5. C14&#xff08;2014年&a…
阅读更多...
LeetCode 21. 合并两个有序链表(Python)

LeetCode 21. 合并两个有序链表(Python)

将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 输入&#xff1a;l1 [1,2,4], l2 [1,3,4] 输出&#xff1a;[1,1,2,3,4,4] 示例 2&#xff1a; 输入&#xff1a;l1 [], l2 [] 输出&#xff1a;[] 示例 3&#xff1a; 输…
阅读更多...
FPGA 配置原理

FPGA 配置原理

用户编程控制的FPGA 是通过加载比特位流配置内部的存储单元实现的。该存储单元就是所谓的配置单元&#xff0c;它必须在器件上电后进行配置&#xff0c;从而设置查找表&#xff08;LUT&#xff09;的属性、连线方式、IOB 电压标准和其它的用户设计。 1.配置帧 以Xilinx 公司的…
阅读更多...
测试人员如何更好的跟踪BUG

测试人员如何更好的跟踪BUG

软件测试中BUG跟踪是确保软件质量的关键环节。测试人员不仅需要发现BUG&#xff0c;还需有效管理其状态&#xff0c;从报告到修复验证的全过程。如何更好地跟踪BUG&#xff0c;成为测试人员提升效率的重要课题。本文将详细探讨测试人员可以采用的策略&#xff0c;包括使用工具、…
阅读更多...
lamp平台介绍

lamp平台介绍

一、lamp介绍 网站&#xff1a; 静态 动态 php语言 .php 作用&#xff1a;运行php语言编写动态网站应用 lamp Linux Apache MySQL PHP PHP是作为httpd的一个功能模块存在的 二、部署lamp平台 1、测试httpd是否可正常返回PHP的响应 2、测试PHP代码是否可正常连接数据…
阅读更多...
2025年渗透测试面试题总结-字某跳动-渗透测试实习生（题目+回答）

2025年渗透测试面试题总结-字某跳动-渗透测试实习生（题目+回答）

网络安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 字某跳动-渗透测试实习生 渗透流程信息收集如何处理子域名爆破中的泛解析问题绕过CDN寻找真实IPPHPINFO页面关注…
阅读更多...
最新文章

Copyright @ 2022~2023