curl和wget的使用介绍

一、curl 和 wget 区别

二、wget的使用

2.1 参数说明

2.2 wget 使用示例

三、curl的使用

3.1 参数说明

3.2 curl使用示例

一、curl 和 wget 区别

wget 和 curl 都可以下载内容。它们都可以向互联网发送请求并返回请求项，可以是文件、图片或者是其他诸如网站的原始 HTML 之类。

这两个程序都可以进行 HTTP POST 请求。这意味着它们都可以向网站发送数据，比如说填充表单。

两者都是命令行工具，它们都被设计成可脚本化。wget 和 curl都可以写进Bash 脚本，自动与新内容交互，下载所需内容。

1. curl 是 libcurl 库支持的，wget 是一个纯粹的命令行命令。
2. curl 在指定要下载的链接时能够支持 URL 的序列或集合，而 wget 则不能这样;
3. wget 支持递归下载，而 curl 则没有这个功能。
4. curl 由于可自定义各种请求参数，所以在模拟 web 请求方面更擅长；curl 是一个多功能工具。

curl 是一个多功能工具。当然，它可以下载网络内容，但同时它也能做更多别的事情。curl 技术支持库是：libcurl。这就意味着你可以基于 curl 编写整个程序，允许你基于 libcurl 库中编写图形环境的下载程序，访问它所有的功能。curl 宽泛的网络协议支持可能是其最大的卖点。curl 支持访问 HTTP 和 HTTPS 协议，能够处理 FTP 传输。它支持 LDAP 协议，甚至支持 Samba 分享。实际上，你还可以用 curl 收发邮件。curl 也有一些简洁的安全特性。cURL 支持安装许多 SSL/TLS 库，也支持通过网络代理访问，包括 SOCKS。这意味着，你可以越过 Tor 来使用cURL。curl 同样支持让数据发送变得更容易的 gzip 压缩技术。

5. wget 由于支持 ftp 和 Recursive(递归)下载，所以在下载文件方面更擅长。

wget 简单直接。这意味着你能享受它超凡的下载速度。

wget 是一个独立的程序，无需额外的资源库，更不会做其范畴之外的事情。

wget 是专业的直接下载程序，支持递归下载。同时，它也允许你下载网页中或是 FTP 目录中的任何内容。

wget 拥有智能的默认设置。它规定了很多在常规浏览器里的事物处理方式，比如 cookies 和重定向，这都不需要额外的配置。

应该使用 curl还是使用 wget？这个比较得看实际用途。如果你想快速下载并且没有担心参数标识的需求，那你应该使用轻便有效的 wget。如果你想做一些更复杂的使用，你应该选择 curl 。

二、wget的使用

2.1 参数说明

man wget

也可以使用wget -h 或者 wget --help 查看

命令格式：
wget [参数列表] [目标软件、网页的网址] // 用法： wget [选项]... [URL]...

长选项所必须的参数在使用短选项时也是必须的。

启动：
-V, --version 显示 Wget 的版本信息并退出
-h, --help 打印此帮助
-b, --background 启动后转入后台
-e, --execute=命令运行一个“.wgetrc”风格的命令

日志和输入文件：
-o, --output-file=文件将日志信息写入 FILE
-a, --append-output=文件将信息添加至 FILE
-d, --debug 打印大量调试信息
-q, --quiet 安静模式 (无信息输出)
-v, --verbose 详尽的输出 (此为默认值)
-nv, --no-verbose 关闭详尽输出，但不进入安静模式
--report-speed=类型以 <类型> 报告带宽。类型可以是 bits
-i, --input-file=文件下载本地或外部 <文件> 中的 URL
-F, --force-html 把输入文件当成 HTML 文件
-B, --base=URL 解析相对于 URL 的 HTML 输入文件链接 (-i -F)
--config=文件指定要使用的配置文件
--no-cookies 不读取任何配置文件
--rejected-log=文件将拒绝 URL 的原因写入 <文件>。

下载：
-t, --tries=数字设置重试次数为 <数字> (0 代表无限制)
--retry-connrefused 即使拒绝连接也是重试
-O, --output-document=文件将文档写入 FILE
-nc, --no-clobber 不要下载已存在将被覆盖的文件
-c, --continue 断点续传下载文件
--start-pos=偏移量从由零计数的 <偏移量> 开始下载
--progress=类型选择进度条类型
--show-progress 在任意啰嗦状态下都显示进度条
-N, --timestamping 只获取比本地文件新的文件
--no-if-modified-since 不要在时间戳 (timestamping) 模式下使用
if-modified-since get 条件请求
--no-use-server-timestamps don't set the local file's timestamp by
the one on the server
-S, --server-response 打印服务器响应
--spider 不下载任何文件
-T, --timeout=SECONDS 将所有超时设为 SECONDS 秒
--dns-timeout=SECS 设置 DNS 查寻超时为 SECS 秒
--connect-timeout=SECS 设置连接超时为 SECS 秒
--read-timeout=SECS 设置读取超时为 SECS 秒
-w, --wait=SECONDS 等待间隔为 SECONDS 秒
--waitretry=SECONDS 在获取文件的重试期间等待 1..SECONDS 秒
--random-wait 获取多个文件时，每次随机等待间隔 (0.5~1.5)*WAIT 秒
--no-proxy 禁止使用代理
-Q, --quota=数字设置获取配额为 <数字> 字节
--bind-address=ADDRESS 绑定至本地主机上的 ADDRESS (主机名或是 IP)
--limit-rate=RATE 限制下载速率为 RATE
--no-dns-cache 关闭 DNS 查询缓存
--restrict-file-names=系统限定文件名中的字符为 <系统> 允许的字符
--ignore-case 匹配文件/目录时忽略大小写
-4, --inet4-only 仅连接至 IPv4 地址
-6, --inet6-only 仅连接至 IPv6 地址
--prefer-family=地址族首先连接至指定家族（IPv6，IPv4 或 none）的地址
--user=用户将 ftp 和 http 的用户名均设置为 <用户>
--password=密码将 ftp 和 http 的密码均设置为 <密码>
--ask-password 提示输入密码
--no-iri 关闭 IRI 支持
--local-encoding=ENC 使用 ENC 作为 IRI (国际化资源标识符) 的本地编码
--remote-encoding=ENC 使用 ENC 作为默认远程编码
--unlink 覆盖前移除文件

目录：
-nd, --no-directories 不创建目录
-x, --force-directories 强制创建目录
-nH, --no-host-directories 不要创建主 (host) 目录
--protocol-directories 在目录中使用协议名称
-P, --directory-prefix=前缀保存文件到 <前缀>/..
--cut-dirs=数字忽略远程目录中 <数字> 个目录层。

HTTP 选项：
--http-user=用户设置 http 用户名为 <用户>
--http-password=密码设置 http 密码为 <密码>
--no-cache 不使用服务器缓存的数据。
--default-page=NAME 改变默认页 (通常是“index.html”)。
-E, --adjust-extension 以合适的扩展名保存 HTML/CSS 文档
--ignore-length 忽略头部的‘Content-Length’区域
--header=字符串在头部插入 <字符串>
--max-redirect 每页所允许的最大重定向
--proxy-user=用户使用 <用户> 作为代理用户名
--proxy-password=密码使用 <密码> 作为代理密码
--referer=URL 在 HTTP 请求头包含‘Referer: URL’
--save-headers 将 HTTP 头保存至文件。
-U, --user-agent=代理标识自己为 <代理> 而不是 Wget/VERSION。
--no-http-keep-alive 禁用 HTTP keep-alive (持久连接)。
--no-cookies 不使用 cookies。
--load-cookies=文件会话开始前从 <文件> 中载入 cookies。
--save-cookies=文件会话结束后保存 cookies 至 FILE。
--keep-session-cookies 载入并保存会话 (非永久) cookies。
--post-data=字符串使用 POST 方式；把 <字串>作为数据发送。
--post-file=文件使用 POST 方式；发送 <文件> 内容。
--method=HTTP方法在请求中使用指定的 <HTTP 方法>。
--post-data=字符串把 <字串> 作为数据发送，必须设置 --method
--post-file=文件发送 <文件> 内容，必须设置 --method
--content-disposition 当选择本地文件名时允许 Content-Disposition
头部 (实验中)。
--content-on-error 在服务器错误时输出接收到的内容
--auth-no-challenge 不先等待服务器询问就发送基本 HTTP 验证信息。

HTTPS (SSL/TLS) 选项：
--secure-protocol=PR 选择安全协议，可以是 auto、SSLv2、
SSLv3、TLSv1、PFS 中的一个。
--https-only 只跟随安全的 HTTPS 链接
--no-check-certificate 不要验证服务器的证书。
--certificate=文件客户端证书文件。
--certificate-type=类型客户端证书类型，PEM 或 DER。
--private-key=文件私钥文件。
--private-key-type=类型私钥文件类型，PEM 或 DER。
--ca-certificate=文件带有一组 CA 证书的文件。
--ca-directory=DIR 保存 CA 证书的哈希列表的目录。
--ca-certificate=文件带有一组 CA 证书的文件。
--pinnedpubkey=FILE/HASHES Public key (PEM/DER) file, or any number
of base64 encoded sha256 hashes preceded by
'sha256//' and seperated by ';', to verify
peer against

HSTS 选项：
--no-hsts 禁用 HSTS
--hsts-file HSTS 数据库路径（将覆盖默认值）

FTP 选项：
--ftp-user=用户设置 ftp 用户名为 <用户>。
--ftp-password=密码设置 ftp 密码为 <密码>
--no-remove-listing 不要删除‘.listing’文件
--no-glob 不在 FTP 文件名中使用通配符展开
--no-passive-ftp 禁用“passive”传输模式
--preserve-permissions 保留远程文件的权限
--retr-symlinks 递归目录时，获取链接的文件 (而非目录)

FTPS 选项：
--ftps-implicit 使用隐式 FTPS（默认端口 990）
--ftps-resume-ssl 打开数据连接时继续控制连接中的 SSL/TLS 会话
--ftps-clear-data-connection 只加密控制信道；数据传输使用明文
--ftps-fallback-to-ftp 回落到 FTP，如果目标服务器不支持 FTPS
WARC 选项：
--warc-file=文件名在一个 .warc.gz 文件里保持请求/响应数据
--warc-header=字符串在头部插入 <字符串>
--warc-max-size=数字将 WARC 的最大尺寸设置为 <数字>
--warc-cdx 写入 CDX 索引文件
--warc-dedup=文件名不要记录列在此 CDX 文件内的记录
--no-warc-compression 不要 GZIP 压缩 WARC 文件
--no-warc-digests 不要计算 SHA1 摘要
--no-warc-keep-log 不要在 WARC 记录中存储日志文件
--warc-tempdir=目录 WARC 写入器的临时文件目录

递归下载：
-r, --recursive 指定递归下载
-l, --level=数字最大递归深度 (inf 或 0 代表无限制，即全部下载)。
--delete-after 下载完成后删除本地文件
-k, --convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件
--convert-file-only convert the file part of the URLs only (usually known as the basename)
--backups=N 写入文件 X 前，轮换移动最多 N 个备份文件
-K, --backup-converted 在转换文件 X 前先将它备份为 X.orig。
-m, --mirror -N -r -l inf --no-remove-listing 的缩写形式。
-p, --page-requisites 下载所有用于显示 HTML 页面的图片之类的元素。
--strict-comments 用严格方式 (SGML) 处理 HTML 注释。

递归接受/拒绝：
-A, --accept=列表逗号分隔的可接受的扩展名列表
-R, --reject=列表逗号分隔的要拒绝的扩展名列表
--accept-regex=REGEX 匹配接受的 URL 的正则表达式
--reject-regex=REGEX 匹配拒绝的 URL 的正则表达式
--regex-type=类型正则类型 (posix|pcre)
-D, --domains=列表逗号分隔的可接受的域名列表
--exclude-domains=列表逗号分隔的要拒绝的域名列表
--follow-ftp 跟踪 HTML 文档中的 FTP 链接
--follow-tags=列表逗号分隔的跟踪的 HTML 标识列表
--ignore-tags=列表逗号分隔的忽略的 HTML 标识列表
-H, --span-hosts 递归时转向外部主机
-L, --relative 仅跟踪相对链接
-I, --include-directories=列表允许目录的列表
--trust-server-names 使用重定向 URL 的最后一段作为本地文件名
-X, --exclude-directories=列表排除目录的列表
-np, --no-parent 不追溯至父目录

2.2 wget 使用示例

# 下载文件
wget http://xxx/test.txt# 下载文件并重命名
wget -O newtest.txt http://xxx/test.txt  # O大写# 断点续传
# -t  表示重试次数，例如：-t 100 重试100次，如果设成 -t 0 表示无穷次重试。
# -T 参数表示超时等待时间，例如：-T 120，表示等待120秒连接不上就算超时。
wget -c http://xxx/test.txt# 限速下载
wget --limit-rate=50k http://xxx/test.txt# 后台下载
# 对于下载非常大的文件的时候，我们可以使用参数-b进行后台下载。 
wget -b http://xxx/test.txt 
Continuing in background, pid 1840. 
Output will be written to `wget-log’. # 可以使用以下命令来察看下载进度 
tail -f wget-log # 下载多个文件 （批量下载）
# 如果有多个文件需要下载，那么可以生成一个文件，把每个文件的 URL 写一行。
# 例如，生成文件 download.txt，然后用命令：wget -i download.txt
# 这样就会把download.txt里面列出的每个URL都下载下来。（如果列的是文件就下载文件，如果列的是网站，那么下载首页）
wget -i download.txt# 显示响应头部信息
wget --server-response  http://xxx/test.txt# wget打包下载网站
wget --mirror p --convert-links -P ./ http://xxx#  过滤指定格式下载
# 可以指定让 wget 只下载一类文件，或者不下载什么文件。
# 例如： wget -m –reject=gif http://xxx 
#       表示下载 http://xxx，但是忽略gif文件。
#    –accept=LIST    可以接受的文件类型，
#    –reject=LIST    拒绝接受的文件类型。
# 如果你想下载一个网站，但你不希望下载图片，你可以使用以下命令。 
wget –reject=gif url # 下载指定格式文件
# 可以在以下情况使用该功能 
# 下载一个网站的所有图片 
# 下载一个网站的所有视频 
# 下载一个网站的所有PDF文件 
wget -r -A.pdf url # 把下载信息存入日志文件
# 如果不希望下载信息直接显示在终端而是在一个日志文件，可以使用以下命令： 
wget -o download.log URL # 密码和认证
# wget 可以处理利用 用户名/密码 方式限制访问的网站，可以利用两个参数：
#       --http-user=用户                设置 http 用户名为 <用户>
#       --http-password=密码        设置 http 密码为 <密码>
# 对于需要证书做认证的网站，就只能利用其他下载工具了，例如 curl

三、curl的使用

3.1 参数说明

man curl

也可以使用curl -h 或者 curl --help 查看

3.2 curl使用示例

# 基本用法
curl http://www.baidu.com
# 执行后，www.baidu.com 的html 就会显示在屏幕上了
# Ps：由于安装 linux 的时候很多时候是没有安装桌面的，也意味着没有浏览器，因此这个方法也经常用于测试一台服务器是否可以到达一个网站# 保存访问的网页
# 使用 linux 的重定向功能保存：
curl http://www.baidu.com >> baidu.html
# 可以使用curl的内置option:-o(小写)保存网页：curl -o linux.html http://www.baidu.com
# 可以使用curl的内置option:-O(大写)保存网页中的文件：curl -O http://www.baidu.com/hello.sh# 测试网页返回值
curl -o /dev/null -s -w %{http_code} www.baidu.com# 下载文件
curl -o dodo1.jpg http://www.baidu.com/dodo1.JPG  # 使用内置option：-o(小写)
curl -O http://www.baidu.com/dodo1.JPG  #使用内置option：-O（大写)#循环下载。有时候下载图片可以能是前面的部分名称是一样的，就最后的名字不一样
curl -O http://www.baidu.com/dodo[1-5].JPG
#这样就会把dodo1，dodo2，dodo3，dodo4，dodo5全部保存下来# 下载重命名
curl -O http://www.baidu.com/{hello,bb}/dodo[1-5].JP# 由于下载的hello与bb中的文件名都是dodo1，dodo2，dodo3，dodo4，dodo5。因此第二次下载的会把第一次下载的覆盖，这样就需要对文件进行重命名。
curl -o #1_#2.JPG http://www.baidu.com/{hello,bb}/dodo[1-5].JPG
# 这样在hello/dodo1.JPG的文件下载下来就会变成hello_dodo1.JPG,其他文件依此类推，从而有效的避免了文件被覆盖# 通过ftp下载文件
# curl 可以通过 ftp下载文件，curl 提供两种从 ftp 中下载的语法
curl -O -u 用户名:密码 ftp://www.baidu.com/dodo1.JPG
curl -O ftp://用户名:密码@www.baidu.com/dodo1.JPG# 显示进度条，示例：
curl -# -O http://www.baidu.com/dodo1.JPG
# 不显示进度条 示例：
curl -s -O http://www.baidu.com/dodo1.JPG# 上传文件
# curl 不仅仅可以下载文件，还可以上传文件。通过内置 option:-T 来实现
curl -T dodo1.JPG -u 用户名:密码 ftp://www.baidu.com/img/