Python 爬虫实战案例 - 获取拉勾网招聘职位信息

引言

拉勾网，作为互联网招聘领域的佼佼者，汇聚了海量且多样的职位招聘信息。这些信息涵盖了从新兴科技领域到传统行业转型所需的各类岗位，无论是初出茅庐的应届生，还是经验丰富的职场老手，都能在其中探寻到机遇。

对于求职者而言，能够快速、全面地掌握招聘职位的详细情况，如薪资待遇的高低、工作地点的便利性、职位描述所要求的技能与职责等，无疑能在求职路上抢占先机。而企业方，通过分析同行业职位信息的发布趋势、薪资水平的波动，也可为制定更具吸引力的招聘策略提供有力依据。

接下来，就让我们看看如何运用 Python 爬虫从拉勾网获取关键的招聘信息。

目录

一、实战目标

二、技术路线

三、数据爬取

3.1 网页分析

3.2 网页请求

3.3 网页解析

3.4 保存数据

总结

一、实战目标

本次实战的核心目标是精准抓取拉勾网特定职位的关键招聘信息。具体而言，要获取的信息涵盖：职位名称，它如同求职路上的指南针，能让求职者迅速定位职业方向；薪资范围，这是求职者关注的重点，也是衡量自身价值与市场行情的关键标尺；公司名称，背后关联着企业的规模、文化与发展前景；

二、技术路线

requests：用于发送HTTP请求，获取网页内容。

BeautifulSoup：用于解析HTML页面，提取所需的信息。

csv：用于将爬取的数据存储为CSV文件，便于后续分析。

三、数据爬取

3.1 网页分析

拉勾网的职位列表页，清晰明了的卡片式设计呈现了众多招聘信息，关键数据一目了然。仔细观察其 URL，不难发现其中蕴含的规律，如职位关键词、城市代码、页码等参数巧妙嵌入，以 “https://www.lagou.com/wn/jobsfromSearch=true&kd=python&pn=1&city=%E8%A5%BF%E5%AE%89” 职位关键词 /city = 城市代码、kd = 关键职位、pn = 页码” 为例，这种结构为精准定位不同职位、不同地区的招聘页面提供了线索，pn 参数可以协助我们获取多分页的信息。

分析后我们可以知道，职位信息都在class_=‘item__10RTO’ 的div元素下，可以通过id=‘openWinPostion’、class_=‘money__3Lkgq’、class_=‘company-name__2-SjF’ 来分别获取职位名称、薪资范围和公司名称。

3.2 网页请求

在 Python 的工具库中，requests 库能高效地向目标网站发送 HTTP 请求，帮我们牵线搭桥获取网页内容。不过，拉勾网为了维护自身数据的有序访问，设置了一些防护机制，我们得像智慧的访客一样巧妙应对。

首先，合理设置请求头（headers）至关重要，它就像是我们拜访网站时递出的名片，告知对方我们是友好且正常的浏览器访问。模拟常见浏览器的 User-Agent 字段，如 “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36”，让服务器误以为我们是普通用户操作。同时，Referer 字段也不可忽视，它记录着请求的来源页面，保持其合理性，能避免一些不必要的拦截。最后，如果网站有动态验证的话我们需要设置 Cookie ，可以从自己浏览器访问记录中找到Cookie参数。

# 拉勾网职位招聘信息爬取与数据分析
import requests# 模拟浏览器头部信息
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36","Referer": "https://www.lagou.com/jobs/list_python?px=default","Cookie": "index_location_city=%E5%85%A8%E5%9B%BD; user_trace_token=20250104093938-902c4ff5-f24c-45e5-aec2-3d1473035947; __lg_stoken__=a8290517006006e881e7779a471d837c8e507eea47d1d1fa6cc1ad03ccb44cefb814362b5ac691966eb8697d786c6e53e4f6c233c3d4eaa9ba7c50ac63afc8f768fef09ed4ae; JSESSIONID=ABAACCCABBFAAGBFE0BC31D870268EB481847F272508F4B; WEBTJ-ID=20250104094035-1942ef8a924bd-0dd7463ae6d789-26001851-1049088-1942ef8a9253d2; LGUID=20250104093941-930407fa-f7e8-4c42-81fc-756f97aefcb1; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1735954836; HMACCOUNT=D7BB61FCD5F74C1A; sajssdk_2015_cross_new_user=1; _ga=GA1.2.694435554.1735954836; _gid=GA1.2.74502511.1735954836; X_MIDDLE_TOKEN=bd70439f6dca25617ea4b718273bbf6d; SEARCH_ID=6e9a4c0e27e34ae3929ec6c60a10d1f7; X_HTTP_TOKEN=1226f88b1a607ea4951559537134b7e1ae0350e7f1; sensorsdata2015session=%7B%7D; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1735955277; LGRID=20250104094702-51a5d712-8f33-46b0-a616-3b54c420e4a4; _ga_DDLTLJDLHH=GS1.2.1735954837.1.1.1735955277.60.0.0; gate_login_token=v1####df3b53f43f17d1db42f281952270b469e8255336da4736f3; LG_LOGIN_USER_ID=v1####5496aa08cbf5a8587c4797982411a6af15950cd637352b0a; LG_HAS_LOGIN=1; _putrc=B6E2CB0ECCED9CDE; login=true; unick=%E7%94%B3%E7%99%BB%E5%B3%B0; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=0; privacyPolicyPopup=true; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%221942ef8ab81cd-06cd07b2b912ae-26001851-1049088-1942ef8ab822d7%22%2C%22%24device_id%22%3A%221942ef8ab81cd-06cd07b2b912ae-26001851-1049088-1942ef8ab822d7%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Chrome%22%2C%22%24browser_version%22%3A%22121.0.0.0%22%7D%7D"
}# 目标URL，以Python职位为例，搜索西安地区，第一页数据,pn为页码，kd为职位关键词
url = "https://www.lagou.com/wn/jobs?fromSearch=true&kd=python&pn=1&city=%E8%A5%BF%E5%AE%89"# 发送get请求，获取响应
res = requests.get(url, headers=headers)
html = res.text
print(html)

在这段代码中，我们精心构建了请求头和请求参数，并发起 GET请求，若请求顺利，便能获得网页数据，为后续的数据解析铺就道路。

3.3 网页解析

当我们成功取回网页的 HTML 内容，需要合适的工具来解读其中的奥秘。在这里，我们使用BeautifulSoup来获取想要的信息。我们已获取到拉勾网职位列表页的 HTML 内容，存储在变量 html 中，提取职位名称、薪资、公司名称等信息的代码如下：

from bs4 import BeautifulSoupjob_list = []
# 创建BeautifulSoup对象，选用html.parser解析器
soup = BeautifulSoup(html, 'html.parser')# 查找所有职位列表项
job_list_items = soup.find_all('div', class_='item__10RTO')for item in job_list_items:# 提取职位名称job_title = item.find(id='openWinPostion').text.strip()# 提取薪资范围salary = item.find('span', class_='money__3Lkgq').text.strip()# 提取公司名称company_name = item.find('div', class_='company-name__2-SjF').text.strip()# 将职位信息写入列表job_list.append({"job_title": job_title, "salary": salary, "company_name": company_name})print(job_list)

在这段代码里，我们先创建了 BeautifulSoup 对象，然后定义了列表用于临时存储职位信息，接着利用 find_all 方法依据类名找出所有职位列表项，再深入每个列表项，通过标签与属性的组合，精准抓取职位名称、薪资、公司名称等关键信息，将其清晰呈现。

3.4 保存数据

辛苦抓取并解析得到的数据，需要妥善保存才能让其价值延续。常见的 CSV、JSON 等格式，各有千秋。

CSV 格式，以其简洁的表格形式，通用性强，能被 Excel 等众多软件直接打开编辑，方便数据的初步查看与简单分析。Python 内置的 csv 模块便能担此大任。以下是将获取到的拉勾网职位数据保存为 CSV 文件的示例：

import csv# CSV文件路径
csv_file_path = "lagou_jobs.csv"# 写入CSV文件
with open(csv_file_path, 'w', newline='', encoding='utf-8') as csvfile:fieldnames = ['job_title', 'salary', 'company_name']  # 定义列名writer = csv.DictWriter(csvfile, fieldnames=fieldnames)writer.writeheader()  # 写入表头writer.writerows(job_list)  # 写入数据行print(f"数据已成功保存至 {csv_file_path}")

在这段示例中，我们首先定义了 CSV 文件路径，运用 csv.DictWriter 以字典形式将数据逐行写入 CSV 文件，同时写入表头，确保数据存储的规范性与完整性，方便后续随时调取分析。

最后对代码进行整理优化，并增加多页面处理。

# 爬取拉勾网职位招聘信息
import requests
from bs4 import BeautifulSoup
import csvdef get_html(url):# 模拟浏览器头部信息headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36","Referer": "https://www.lagou.com/jobs/list_python?px=default","Cookie": "index_location_city=%E5%85%A8%E5%9B%BD; user_trace_token=20250104093938-902c4ff5-f24c-45e5-aec2-3d1473035947; __lg_stoken__=a8290517006006e881e7779a471d837c8e507eea47d1d1fa6cc1ad03ccb44cefb814362b5ac691966eb8697d786c6e53e4f6c233c3d4eaa9ba7c50ac63afc8f768fef09ed4ae; JSESSIONID=ABAACCCABBFAAGBFE0BC31D870268EB481847F272508F4B; WEBTJ-ID=20250104094035-1942ef8a924bd-0dd7463ae6d789-26001851-1049088-1942ef8a9253d2; LGUID=20250104093941-930407fa-f7e8-4c42-81fc-756f97aefcb1; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1735954836; HMACCOUNT=D7BB61FCD5F74C1A; sajssdk_2015_cross_new_user=1; _ga=GA1.2.694435554.1735954836; _gid=GA1.2.74502511.1735954836; X_MIDDLE_TOKEN=bd70439f6dca25617ea4b718273bbf6d; SEARCH_ID=6e9a4c0e27e34ae3929ec6c60a10d1f7; X_HTTP_TOKEN=1226f88b1a607ea4951559537134b7e1ae0350e7f1; sensorsdata2015session=%7B%7D; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1735955277; LGRID=20250104094702-51a5d712-8f33-46b0-a616-3b54c420e4a4; _ga_DDLTLJDLHH=GS1.2.1735954837.1.1.1735955277.60.0.0; gate_login_token=v1####df3b53f43f17d1db42f281952270b469e8255336da4736f3; LG_LOGIN_USER_ID=v1####5496aa08cbf5a8587c4797982411a6af15950cd637352b0a; LG_HAS_LOGIN=1; _putrc=B6E2CB0ECCED9CDE; login=true; unick=%E7%94%B3%E7%99%BB%E5%B3%B0; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=0; privacyPolicyPopup=true; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%221942ef8ab81cd-06cd07b2b912ae-26001851-1049088-1942ef8ab822d7%22%2C%22%24device_id%22%3A%221942ef8ab81cd-06cd07b2b912ae-26001851-1049088-1942ef8ab822d7%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Chrome%22%2C%22%24browser_version%22%3A%22121.0.0.0%22%7D%7D"}# 发送get请求，获取响应res = requests.get(url, headers=headers)html = res.textif res.status_code == 200:print(f"请求成功，状态码：{res.status_code}")else:print(f"请求失败，状态码：{res.status_code}")return htmldef get_alljobs(html):job_list = []# 创建BeautifulSoup对象，选用html.parser解析器soup = BeautifulSoup(html, 'html.parser')# 查找所有职位列表项job_list_items = soup.find_all('div', class_='item__10RTO')for item in job_list_items:# 提取职位名称job_title = item.find(id='openWinPostion').text.strip()# 提取薪资范围salary = item.find('span', class_='money__3Lkgq').text.strip()# 提取公司名称company_name = item.find('div', class_='company-name__2-SjF').text.strip()# 将职位信息写入列表job_list.append({"job_title": job_title, "salary": salary, "company_name": company_name})return job_listdef save_to_csv(job_list):# CSV文件路径csv_file_path = "lagou_jobs.csv"# 写入CSV文件with open(csv_file_path, 'w', newline='', encoding='utf-8') as csvfile:fieldnames = ['job_title', 'salary', 'company_name']  # 定义列名writer = csv.DictWriter(csvfile, fieldnames=fieldnames)writer.writeheader()  # 写入表头writer.writerows(job_list)  # 写入数据行return f"数据已成功保存至 {csv_file_path}"if __name__ == "__main__":# 目标URL，以Python职位为例，搜索西安地区，第一页数据,pn为页码，kd为职位关键词base_url = "https://www.lagou.com/wn/jobs?fromSearch=true&kd=python&city=%E8%A5%BF%E5%AE%89"# 配置页码数量num_pages = 3# 定义一个空列表，存储所有的职位jobs = []for i in range(1, num_pages+1):url = f"{base_url}&pn={i}"html = get_html(url)job_list = get_alljobs(html)jobs.extend(job_list)save_to_csv(jobs)print("爬取完成，数据已保存至 lagou_jobs.csv")

总结

本文通过详细步骤展示了如何使用Python爬取拉勾网的职位招聘信息。我们使用了requests、BeautifulSoup、csv等常见库完成拉勾网数据的抓取、解析与存储，并且介绍了如何处理反爬虫机制、分页问题以及数据存储。

在享受爬虫技术带来便利的同时，务必铭记要遵循网站规则。合理设置爬取频率，模拟真实用户行为，不恶意冲击服务器；尊重网站的 robots.txt 协议，不越界访问禁止区域。只有如此，才能确保爬虫技术在合法合规的轨道上稳健前行，实现数据获取与网站运营的和谐共生。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/72984.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LM Studio 替换源的方式解决huggingface.co无法访问的问题

LM Studio 替换源的方式解决huggingface.co无法访问的问题

安装软件完成之后，不要打开，打开了就直接关闭 在安装目录下，比如我安装在E:\Program Files\LM Studio 下面三个文件中的huggingface.co全部替换为hf-mirror.com然后再打开即可。 E:\Program Files\LM Studio\resources\app\.webpack\rende…
阅读更多...
【模拟CMOS集成电路设计】带隙基准（Bandgap）设计与仿真（基于运放的电流模BGR）

【模拟CMOS集成电路设计】带隙基准（Bandgap）设计与仿真（基于运放的电流模BGR）

【模拟CMOS集成电路设计】带隙基准（Bandgap）设计与仿真 前言工程文件&部分参数计算过程，私聊~ 一、 设计指标指标分析： 二、 电路分析三、 仿真3.1仿真电路图3.2仿真结果(1)运放增益(2)基准温度系数仿真(3)瞬态启动仿真(4)静态…
阅读更多...
微服务拆分-远程调用

微服务拆分-远程调用

我们在查询购物车列表的时候，它有一个需求，就是不仅仅要查出购物车当中的这些商品信息，同时还要去查到购物车当中这些商品的最新的价格和状态信息，跟购物车当中的快照进行一个对比，从而去提醒用户。 现在我们已经做了服…
阅读更多...
机动车授权签字人考试的报名条件是什么?

机动车授权签字人考试的报名条件是什么?

机动车授权签字人考试的报名条件通常如下： 学历职称与工作经验要求 中级职称及以上：应具备中级及以上专业技术职称，且从事相关检验检测工作三年及以上。如果承检车型有专项作业车、大型客车、校车和危险货物运输车等，若不是相关专…
阅读更多...
智慧工厂监测信息系统：构筑安全的数字化未来

智慧工厂监测信息系统：构筑安全的数字化未来

在现代工业的浪潮中，智慧工厂已成为推动生产效率和产品质量提升的关键力量。为了确保这一先进生产模式的稳健运行，智慧工厂监测信息系统应运而生，并通过一系列安全措施，为企业的数字化转型保驾护航。 安全注册，筑牢第…
阅读更多...
P2P中NAT穿越方案（UDP/TCP）（转）

P2P中NAT穿越方案（UDP/TCP）（转）

转自：P2P中NAT穿越方案（UDP/TCP）_udp反向链接-CSDN博客 同：P2P中NAT穿越方案（UDP/TCP） - 知乎 (zhihu.com) 本文介绍了传统基于udp的打洞方式，更进一步阐述了tcp打洞的原理，是对于…
阅读更多...
算法 之 树形dp 树的中心、重心

算法 之 树形dp 树的中心、重心

文章目录 重心实践题目小红的陡峭值 在树的算法中，求解树的中心和重心是一类十分重要的算法 求解树的重心 树的重心的定义：重心是树中的一个节点，如果将这个点删除后，剩余各个连通块中点数的最大值最小，那么这个节点…
阅读更多...
游戏引擎学习第146天

游戏引擎学习第146天

音高变化使得对齐读取变得不可能，我们可以支持循环声音了。 我们今天的目标是完成之前一段时间所做的音频代码。这个项目并不依赖任何引擎或库，而是一个教育项目，目的是展示从头到尾运行一个游戏所需要的全部代码。无论你对什么方面感兴趣&a…
阅读更多...
深入理解MySQL主从原理

深入理解MySQL主从原理

导读 高鹏（网名八怪），《深入理解MySQL主从原理》系列文的作者。 本系列通过GTID、Event、主库、从库、案例分析，五大块来详细讲解主从原理。 这篇文章重在学习笔记整理！ 在学习《深入理解MySQL主从原理》一书时&…
阅读更多...
前端数据模拟利器 Mock.js 深度解析

前端数据模拟利器 Mock.js 深度解析

前端数据模拟利器 Mock.js 深度解析 一、Mock.js 核心价值 1.1 为何需要数据模拟 前后端并行开发加速接口文档驱动开发异常场景模拟测试演示环境数据构造 1.2 Mock.js 核心能力 // 典型数据生成示例 Mock.mock(/api/user, {"users|5-10": [{"id|1": 1…
阅读更多...
Phi-4-multimodal：图、文、音频统一的多模态大模型架构、训练方法、数据细节

Phi-4-multimodal：图、文、音频统一的多模态大模型架构、训练方法、数据细节

Phi-4-Multimodal 是一种参数高效的多模态模型，通过 LoRA 适配器和模式特定路由器实现文本、视觉和语音/音频的无缝集成。训练过程包括多阶段优化，确保在不同模式和任务上的性能，数据来源多样，覆盖高质量网络和合成数据。它的设计…
阅读更多...
前后端数据加密传输【最佳方案】

前后端数据加密传输【最佳方案】

AES和RSA区别 算法类型安全性密钥长度/输出长度速度应用场景AES对称加密高128位、192位、256位快适用于大规模数据加密，入HTTPS协议的数据传输RSA非对称加密高1024位、2048位、4096位较慢适用于数据安全传输、数字签名和身份验证 综上：兼顾安全性和性能…
阅读更多...
Unity--Cubism Live2D模型使用

Unity--Cubism Live2D模型使用

了解LIVE2D在unity的使用--前提记录 了解各个组件的作用 Live2D Manuals & Tutorials 这些文件都是重要的控制动画参数的 Cubism Editor是编辑Live2D的工具，而导出的数据的类型，需要满足以上的条件 SDK中包含的Cubism的Importer会自动生成一个Pref…
阅读更多...
Linux | Vim 鼠标不能右键粘贴、跨系统复制粘贴

Linux | Vim 鼠标不能右键粘贴、跨系统复制粘贴

注：本文为 “ Vim 中鼠标右键粘贴、跨系统复制粘贴问题解决方案” 相关文章合辑。 未整理去重。 Linux 入门：vim 鼠标不能右键粘贴、跨系统复制粘贴 foryouslgme 发布时间 2016 - 09 - 28 10:24:16 Vim基础 命令模式(command-mode)插入模式(insert-m…
阅读更多...
Flink-DataStreamAPI-执行模式

Flink-DataStreamAPI-执行模式

一、概览 DataStream API支持不同的运行时执行模式，我们可以根据用例的要求和作业的特征进行选择。 STREAMING执行模式：被称为“经典”执行模式为，主要用于需要持续增量处理并且预计无限期保持在线的无界作业BATCH执行模式：类似…
阅读更多...
解决VScode 连接不上问题

解决VScode 连接不上问题

问题 ：VScode 连接不上 解决方案： 1、手动杀死VS Code服务器进程，然后重新尝试登录 打开xshell ，远程连接服务器 ，查看vscode的进程 ，然后全部杀掉 [cxqiZwz9fjj2ssnshikw14avaZ ~]$ ps ajx | grep vsc…
阅读更多...
C#类型转换基本概念

C#类型转换基本概念

一、基本定义‌ C# 类型转换是将数据从一种类型转换为另一种类型的过程，分为 ‌隐式转换‌ 和 ‌显式转换‌ 两类‌。 强类型语言特性‌：C# 要求变量类型在编译时确定，类型转换需满足兼容性或显式规则‌。目的‌：处理不同数据类…
阅读更多...
使用阿里云操作系统控制台排查内存溢出

使用阿里云操作系统控制台排查内存溢出

引言 操作系统控制台是阿里云最新推出的一款智能运维工具，专为提升运维效率、优化服务器管理而设计。它集成了多种运维管理功能，包括操作系统助手、插件管理器以及其他实用工具，为用户提供一站式的运维解决方案。无论是个人开发者还是企业运…
阅读更多...
（C/S）架构、（B/S）架构

（C/S）架构、（B/S）架构

客户机/服务器（C/S）架构 理论描述： 客户机/服务器架构是一种网络架构风格，其中任务被分配给网络中的不同计算机，以提高效率和灵活性。这种架构由两部分组成：客户端（Client）和服务器&…
阅读更多...
混合存储HDD+SSD机型磁盘阵列，配上SSD缓存功能，性能提升300%

混合存储HDD+SSD机型磁盘阵列，配上SSD缓存功能，性能提升300%

企业日常运行各种文件无处不在，文档、报告、视频、应用数据......面对成千上万的文件，团队之间需要做到无障碍协作，员工能够即时快速访问、共享处理文件。随着业务增长，数字化办公不仅需要大容量，快速高效的文件访问越…
阅读更多...
最新文章

Copyright @ 2022~2023