Selenium实战案例1：论文pdf自动下载

        在上一篇文章中，我们介绍了Selenium的基础用法和一些常见技巧。今天，我们将通过中国科学：信息科学网站内当前目录论文下载这一实战案例来进一步展示Selenium的web自动化流程。

目录

中国科学：信息科学当期目录论文下载

1.网页内容分析

2.下载流程

检测浏览器内文件下载完毕后退出webdriver        

解压下载的zip文件

完整代码

中国科学：信息科学当期目录论文下载

https://www.sciengine.com/SSI/issuehttps://www.sciengine.com/SSI/issue中国科学：信息科学官网。

1.网页内容分析

        网页内容的分析是web自动化中的关键一步。通过分析网页结构，我们可以确定需要抓取的数据位置以及操作元素的方式。

        与爬虫不同的是,web自动化通常是对浏览器渲染后的html网页直接进行操作，因此，我们不需要像爬虫那样进行抓包分析,只需要在原网页中定位元素并进行相应的操作即可。

 中国科学信息科学网页源代码

      

         观察网页源代码，可以发现，下载时我们主要用到的两个组件是全选与下载pdf，且这两个组件均为div元素，具有class_name属性,那么在代码中，我们便可以先定位到全选与下载pdf 这两个div，接着按照顺序点击即可。

2.下载流程

        先不着急写代码,我们先手动操作一番,看一下整个流程是什么样子。

        

        按下全选后,所有文章被选中,且会在下方出现已选中13结果的字样,表示待下载的文件数量。

        每个文章的标题都在classname为title的div内的span标签下，我们分别复制第一个文章与最后一个文章的标题的XPATH：

'//*[@id="journal-list"]/div[1]/div[1]/div[4]/div/div[1]/div/div[2]/div[2]/a/span'
'//*[@id="journal-list"]/div[1]/div[1]/div[4]/div/div[13]/div/div[2]/div[2]/a/span'

      不难发现,对于第i个文章的标题，其XPATH应该为：

'//*[@id="journal-list"]/div[1]/div[1]/div[4]/div/div[{i}]/div/div[2]/div[2]/a/span'

     

  那么,为了功能更完善一些,我们还可以在点击全选之后按照出现的数量，遍历查找上述的XPATH下的内容的text属性，这些text便是所有的论文标题,我们还可以将其写入到txt中，与下载的论文一起保存到本地。

essay_titles=[]
total_number=browser.find_element(By.XPATH,'//*[@id="selectedArticleNum"]/strong')#定位全选之后弹出的已选中之后的数字total_number=int(total_number.text)#################################查找文章标题for i in range(1,total_number+1):essay_title=browser.find_element(By.XPATH,f'//*[@id="journal-list"]/div[1]/div[1]/div[4]/div/div[{i}]/div/div[2]/div[2]/a/span')essay_titles.append(essay_title.text)#################################将查找到的文章标题写入到与下载文件同路径的位置的txt内full_path=os.path.join(self.download_path,'下载论文列表.txt')with open(full_path,'w',encoding='utf-8') as file:for essay_title in self.essay_titles: file.write(essay_title+'\n')

  在按下下载PDF按钮后，页面会暂时的跳转到一个其他url下的空白页面，过一会儿后，文件开始下载,且下载到本地的格式为zip。

      

  按下下载pdf按钮后页面变化

检测浏览器内文件下载完毕后退出webdriver        

对于上述两个流程,倘若我们在代码中不加任何等待机制:即等待页面跳转完毕,文件开始下载至文件下载完毕的等待机制。

即使我们在代码中没有写browser.quit()这样的命令，webdriver也会自动关闭的。

        这是因为我们的代码中涉及到自动化流程的只有点击全选与下载pdf这两个按钮以及查找文章标题,一旦这三个任务完成后，webdriver是会自动关闭的。

        对于上述问题,最简单的思路是使用time.sleep()函数，设置足够多的秒数，保证点击下载pdf按钮后，从文件开始下载至文件下载完毕webdriver不会关闭,这里我已经测试过,使用time.sleep(30)足矣。

但是，这样有点太过于勉强,且不够优雅,有没有更好的解决方案呢?

答案是：有的。       

         大家在使用谷歌或者Edge浏览器下载文件时,如果在文件下载过程中，中途退出会发现源文件下载取消且中断,并且在下载文件的位置有一个 文件名.crdownload的文件，这是一个临时文件,表示文件在浏览器下载过程中未完全下载完毕,在下载完毕后文件名后缀中的.crdownload会消失。

        那么，我们便可以按照下边的方式来进行等待，这样等待的好处是只要文件下载完毕，webdriver立即关闭，不会等待多余时长。

import os
import time
def is_download_finished(download_path):files=os.listdir(download_path)for file in files:if file.endswith('crdownload'):#判断文件夹内是否存在crdownload结尾文件,如果有说明还webdriver内还有文件在下载中return Falsereturn True
while not is_download_finished(download_path):#while循环轮询time.sleep(1)#这里以1s为单位,若对等待时间要求较高,可以更换为0.1-0.5的小数
webdriver.quit()#关闭先前打开的webdriver

 等待文件下载完毕代码

        到这里就万事大吉了吗?No,No,No。还记得我们前边我们说到的,我们在点击下载pdf后，会有大概5s左右的空闲时间，在这5s内我们会临时跳转到一个新的网页,然后又跳转回到原来的网页,文件开始下载吗?

点击下载pdf后,跳转到空白网页 

大概5s后，返回原网页,文件开始下载

        对于上述现象,倘若我们在点击下载pdf后,直接使用上边的等待文件下载完毕的代码的话,由于文件还没开始下载，文件夹内也根本没有crdownload结尾的文件,此时代码中is_download_finishe函数会直接返回True,while循环一次也不执行,webdriver直接就退出了。

        所以,我们应该等待文件正式下载后再调用上边的代码，这里可以使用time.sleep函数，等待几秒钟页面跳转完毕,当然也可以使用webdriver的current_url属性,先临时保存原先网页url,然后一个while循环判断webdriver.current_url是否等于原来的网页的url来进行判断。为了省事，我们这里就直接使用time.sleep函数进行等待了。

解压下载的zip文件

解压已经下载好的zip文件,我们只需要使用python标准库内置的zipfile模块即可

import os
import zipfile
def extract_zip_file(download_path):#解压zip文件filelist=os.listdir(download_path)for file in filelist:if file.endswith('.zip'):zip_file_path=os.path.join(download_path,file)with zipfile.ZipFile(zip_file_path,'r') as zip:zip.extractall(download_path)

运行上述代码后,给定文件夹下的后缀为zip的文件夹内的内容将被解压到原路径下,注意:若你需要解压指定的zip文件夹，只需要将  if file.endswith('.zip')：更换为if file=='指定的zip文件名'：即可。

完整代码

import os
import time
import zipfile
from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.by import By
class 中国科学():def __init__(self,download_path:str,headless:bool=False):'''Args:download_path:下载文件保存路径headless:是否开启无头模式'''self.download_path=download_pathself.headless=headlessself.essay_titles=[]def extract_zip_file(self):#解压zip文件filelist=os.listdir(self.download_path)for file in filelist:if file.endswith('.zip'):zip_file_path=os.path.join(self.download_path,file)with zipfile.ZipFile(zip_file_path,'r') as zip:zip.extractall(self.download_path)def is_download_finished(self):#判断是否下载完毕files=os.listdir(self.download_path)for file in files:if file.endswith('crdownload'):return Falsereturn Truedef download(self):#下载文件prefs = {'download.default_directory': self.download_path,  # 设置默认下载路径"profile.default_content_setting_values.automatic_downloads": True  # 允许多文件下载} self.Options=Options()self.Options.add_argument('--disable-blink-features=AutomationControlled')#隐藏自动化控制self.Options.add_argument('--ignore-ssl-errosr')#忽略ssl错误self.Options.add_argument('--ignore-certificate-errors')#忽略证书错误self.Options.add_experimental_option("prefs", prefs)self.Options.add_experimental_option('excludeSwitches', ['enable-logging'])self.Options.add_experimental_option('excludeSwitches',['enable-automation'])#隐藏自动化控制if self.headless:#无头模式运行自动化代码self.Options.add_argument('--headless')self.Options.add_argument('--disable-gpu')else:passself.browser=webdriver.ChromiumEdge(self.Options)self.browser.maximize_window()#webdriver全屏self.browser.get('https://www.sciengine.com/SSI/issue')self.browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {#执行一段js代码，隐藏自动化控制"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})select_all=self.browser.find_element(By.CLASS_NAME,'select.borderC2')download_pdf=self.browser.find_element(By.CLASS_NAME,'download.borderC2')self.browser.execute_script('arguments[0].click()',select_all)total_number=self.browser.find_element(By.XPATH,'//*[@id="selectedArticleNum"]/strong')#定位全选之后弹出的已选中之后的数字total_number=int(total_number.text)#################################查找文章标题for i in range(1,total_number+1):essay_title=self.browser.find_element(By.XPATH,f'//*[@id="journal-list"]/div[1]/div[1]/div[4]/div/div[{i}]/div/div[2]/div[2]/a/span')self.essay_titles.append(essay_title.text)#################################将查找到的文章标题写入到与下载文件同路径的位置的txt内full_path=os.path.join(self.download_path,'下载论文列表.txt')with open(full_path,'w',encoding='utf-8') as file:for essay_title in self.essay_titles: file.write(essay_title+'\n')##################################点击下载按钮,等待下载完毕后退出webdriverself.browser.execute_script('arguments[0].click()',download_pdf)time.sleep(7)#等待7s页面跳转完毕while not self.is_download_finished():time.sleep(1)self.browser.quit()self.extract_zip_file()
中国科学(r"E:\OneDrive\Desktop\中国科学信息科学",headless=False).download()

 运行结果

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/70576.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

《炒股养家心法.pdf》 kimi总结

《炒股养家心法.pdf》 kimi总结

《炒股养家心法.pdf》这篇文章详细阐述了一位超级游资炒股养家的心得与技巧，展示了其从40万到10亿的股市传奇。以下是文章中炒股技巧和心得的详细总结： 1.核心理念 市场情绪的理解：炒股养家强调，股市的本质是群体博弈&#xff0c…
阅读更多...
2025年华为手机解锁BL的方法

2025年华为手机解锁BL的方法

注：本文是我用老机型测试的，新机型可能不适用 背景 华为官方已经在2018年关闭了申请BL解锁码的通道，所以华为手机已经无法通过官方获取解锁码。最近翻出了一部家里的老手机华为畅玩5X，想着能不能刷个系统玩玩，但是卡…
阅读更多...
Perfectly Clear WorkBench深度解析：专业图像处理软件的高效应用

Perfectly Clear WorkBench深度解析：专业图像处理软件的高效应用

在图像处理领域，面对照片曝光不足、色彩失真、细节模糊等常见问题，一款专业且高效的图像处理软件显得尤为重要。今天，本文将为大家详细介绍Perfectly Clear WorkBench这款图像处理软件，帮助大家更好地了解并应用其功能，提升照片质量。 一、智能图像校正，解决常见问题 Pe…
阅读更多...
使用 DistilBERT 进行资源高效的自然语言处理

使用 DistilBERT 进行资源高效的自然语言处理

DistilBERT 是 BERT 的一个更小、更快的版本，在减少资源消耗的同时仍能保持良好性能。对于计算能力和内存受限的环境来说，它是一个理想的选择。 在自然语言处理（NLP）中，像 BERT 这样的模型提供了高精度和出色的性能。然…
阅读更多...
【后端基础】布隆过滤器原理

【后端基础】布隆过滤器原理

文章目录 一、Bloom Filter（布隆过滤器）概述1. Bloom Filter 的特点2. Bloom Filter 的工作原理 二、示例1. 添加与查询2. 假阳性 三、Bloom Filter 的操作1、假阳性概率2、空间效率3、哈希函数的选择 四、应用 Bloom Filter 是一种非常高效的概率型数据…
阅读更多...
Pytorch实现论文之三元DCGAN生成RGB图像用于红外图像着色生成

Pytorch实现论文之三元DCGAN生成RGB图像用于红外图像着色生成

简介 简介：采用了三次DCGAN单独生成单通道图像之后进行组成RGB图像放入鉴别器中检测，并在鉴别器和生成器的损失训练中采用梯度方法来提升或者降低权重。该方法将用于获得红外图像着色的生成。 论文题目：Infrared Image Colorization based on a Triplet DCGAN Architectur…
阅读更多...
Qt中QDockWidget的使用方式

Qt中QDockWidget的使用方式

在PyQt5中使用QDockWidget可以创建灵活的停靠窗口，增强应用程序的多功能性。以下是详细的步骤和示例代码： 基本步骤 导入模块：确保导入必要的PyQt5模块。创建主窗口：继承QMainWindow并初始化界面。设置中心部件：例如…
阅读更多...
docker独立部署milvus向量数据库

docker独立部署milvus向量数据库

milvus镜像：国外封锁，国内源也不好用。基本上所有源都不能用 首先想到阿里云服务，但是阿里云国外服务器便宜的300~400呢。 基于成本考虑终于装上心心念念的milvus(*^▽^*) 安装 Milvus 安装 Milvus 独立版 wget https://raw.githubuserco…
阅读更多...
【SpringBoot整合系列】HttpClient远程访问的示例

【SpringBoot整合系列】HttpClient远程访问的示例

前言 使用Apache的HttpClient库，添加Apache HttpClient的依赖。工具类的封装。通常，工具类需要处理GET、POST请求，可能还有其他方法如PUT、DELETE。需要设计一个工具类，提供静态方法，可以发送请求，并处理响…
阅读更多...
Git操作整体流程

Git操作整体流程

文章目录 1.Git创建个人仓库2、Git全局配置3、Git本地管理4. Git本地管理常用命令汇总5、使用Git命令将项目提交到远程码云管理6.使用IDEA进行管理7、Idea里面的终端8、关于提交总结 1.Git创建个人仓库 打开https://gitee.com/，登录个人账号，右上角加号…
阅读更多...
MySQL MHA 部署全攻略：从零搭建高可用数据库架构

MySQL MHA 部署全攻略：从零搭建高可用数据库架构

文章目录 1.MHA介绍2.MHA组件介绍3.集群规划4.服务器初始化5.MySQL集群部署5.1 安装MySQL集群5.2 配置一主两从5.3 测试MySQL主从5.4 赋予MHA用户连接权限 6.安装MHA环境6.1 安装MHA Node6.2 安装MHA Manager 7.配置MHA环境8.MySQL MHA高可用集群测试8.1 通过VIP连接MySQL8.2模…
阅读更多...
如何查看java的字节码文件？javap？能用IDEA吗？

如何查看java的字节码文件？javap？能用IDEA吗？

编译指令： javac YourProject.java 查看字节码文件的指令： javap -c -l YourProject.class 不添加-c指令就不会显示字节码文件： 不添加 -l 就不会显示源代码和字节码文件的对应关系： 添加-l之后多出来这些： IDEA不太…
阅读更多...
1、Window Android 13模拟器 将编译的映像文件导入Android Studio

1、Window Android 13模拟器 将编译的映像文件导入Android Studio

1、环境准备 编译环境：Ubuntu-18.04.5编译版本：android13-release下载地址：清华大学开源软件镜像站AOSP # 下载repo # 同步代码：repo init -u https://mirrors.tuna.tsinghua.edu.cn/git/AOSP/platform/manifest -b android13-r…
阅读更多...
JUC并发—9.并发安全集合三

JUC并发—9.并发安全集合三

大纲 1.并发安全的数组列表CopyOnWriteArrayList 2.并发安全的链表队列ConcurrentLinkedQueue 3.并发编程中的阻塞队列概述 4.JUC的各种阻塞队列介绍 5.LinkedBlockingQueue的具体实现原理 6.基于两个队列实现的集群同步机制 1.并发安全的数组列表CopyOnWriteArrayList …
阅读更多...
报错：Cannot read properties of null (reading ‘ce‘)解决方法

报错：Cannot read properties of null (reading ‘ce‘)解决方法

背景 工作项目中要做右键菜单打开趋势图弹窗的需求，这个弹窗使用了vue-resizable的第三方插件，这个插件的主要作用是把弹窗设置为可拖拽的效果。这个用vue-resizable做的弹窗已经做好了，在别的项目中能够正常的运行。但是我把它拿过来放在新…
阅读更多...
Ubuntu 下 nginx-1.24.0 源码分析 - ngx_process_options

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_process_options

ngx_process_options 声明在 src\core\nginx.c static ngx_int_t ngx_process_options(ngx_cycle_t *cycle); 定义在 src\core\nginx.c static ngx_int_t ngx_process_options(ngx_cycle_t *cycle) {u_char *p;size_t len;if (ngx_prefix) {len ngx_strlen(ngx_prefix);p …
阅读更多...
数据结构系列二：包装类+泛型

数据结构系列二：包装类+泛型

包装类泛型 一、包装类（1）基本数据类型和对应的包装类（2）装箱和拆箱 二、泛型（1）什么是泛型（2）引出泛型（3）语法（4）泛型类的使用1.语法…
阅读更多...
量子计算驱动的金融衍生品定价革命：突破传统蒙特卡洛模拟的性能边界

量子计算驱动的金融衍生品定价革命：突破传统蒙特卡洛模拟的性能边界

引言：金融计算的算力困局 某国际投行采用128量子位处理器对亚洲期权组合定价时，其量子振幅估计算法在2.7秒内完成传统GPU集群需要68小时的计算任务。在蒙特卡洛路径模拟实验中，量子随机游走算法将10,000维衍生品的价格收敛速度提升4个数量级…
阅读更多...
Spring容器初始化扩展点：ApplicationContextInitializer

Spring容器初始化扩展点：ApplicationContextInitializer

目录 一、什么是ApplicationContextInitializer？ 1、核心作用2、适用场景 二、ApplicationContextInitializer的使用方式 1、实现ApplicationContextInitializer接口2、注册初始化器 三、ApplicationContextInitializer的执行时机四、实际应用案例 1、动态设置环境…
阅读更多...
hive—常用的函数整理

hive—常用的函数整理

1、size(split(...))函数用于计算分割后字符串数组的长度 实例1）：由客户编号列表计算客户编号个数 --数据准备 with tmp_test01 as ( select tag074445270 tag_id,202501busi_mon , 012399931003,012399931000 index_val union all select tag07444527…
阅读更多...
最新文章

Copyright @ 2022~2023