网络——获取Web数

【0】README

0.1） 本文描述转自 core java volume 2，旨在理解 “网络——获取Web数” 的基础知识；
0.2） for source code , please visit https://github.com/pacosonTang/core-java-volume/blob/master/coreJavaAdvanced/chapter3/URL/URLConnectionTest.java
0.3）应用背景： 为了在 java 程序中访问web server，你可能希望在更高级别上进行，而不只是创建套接字连接和发送 HTTP 请求；
0.4） 本文源代码用到了 Base64Encode 编码器，参见： http://blog.csdn.net/pacosonswjtu/article/details/50614466

【1】URL 和 URI（统一资源定位符（Uniform Resource Locator， URL）和统一资源标识符（Uniform Resource Identifier， URI））

1）URL和 URLConnection类：封装了大量复杂的实现细节，这些细节涉及如何从远程站点获取信息；

1.1）如可以用一个 string 创建一个 URL 对象：

URL url = new URL(urlString);
1.2）如果只是想获得该资源的内容，可以使用 URL 类中的openStream 方法：

URL url = new URL(urlName);
InputStream stream = url.openStream();
Scanner in = new Scanner(stream);

2）java.net 包对统一资源定位符（Uniform Resource Locator， URL）和统一资源标识符（Uniform Resource Identifier， URI）做了非常有用的区分；

2.1）URI和URL的区别： （干货——URI和URL的区别）
- 2.1.1）URI： URI 是一个纯粹的语法结构，包含用来指定web 资源的字符串的各种组成部分； （干货——URI定义）
- 2.1.2）URL： URL 是URI的一个特例，它包含了用于定位Web 资源的足够信息，其他URI，比如 mailto:tang@gmail.com 就不属于定位符，因为根据该标识符我们无法定位任何数据。像这样的URI 我们称之为 URN（Uniform Resource name，统一资源名称）；（干货——URL定义）（干货——URN-统一资源名称）
2.2）在java 类库中， URI 类不包含任何用于访问资源的方法，它唯一作用就是解析；相反， URL类可以打开一个到达资源的流： 所以 URL类只能作用于那些 java 类库知道该如何如理的模式，如 http: , https, ftp:, 本地文件系统（file:）， jar 文件（jar:）；

3）URI详解：

3.1）URI 规范给出了标记这些标识符的规则，一个 URI 具有以下句法：

[scheme:]schemeSpecificPart【#fragment】
3.2）上式中， […]表示可选部分，且：和 # 可以被包含在标识符内；
3.3）绝对URI 和相对 URI： 包含scheme：部分的 URI 称为绝对URI ，否则是相对URI； （干货——绝对和相对URI）
3.4）不透明URI： 如果绝对URI 的 schemeSpecificPart 不是以 / 开头的，称为不透明的；如， mailto：tang@gmail.com （干货——不透明URI）
3.5）分层URI： 所有绝对的透明URI 和所有相对的URI 都是分层的，如： http://www.baidu.com/index.html （干货——分层URI）
3.6）一个分层URI 的schemeSpecificPart 具有以下结构：

[//authority][path][?query]
- 3.6.1）对于那些基于服务器的URI， authority 部分具有以下形式：
  
  [user-info@]host[:port] ，而port必须是整数；

4）URI的作用： （干货——URI的作用）

4.1）URI 类的作用之一： 解析标识符并将它分解成各种不同的组成部分，你可以用如下方法读取他们：

getScheme
getSchemeSpecificPart
getAuthority
getUserInfo
getHost
getPort
getPath
getQuery
getFrament
4.1）URI的另一个作用： （干货——URI 的绝对化和相对化）
- 4.1.1）组成绝对URI：处理绝对标识符和相对标识符。如果存在一个绝对URI： http://www.baidu.com/java/net/index.html；和一个相对URI： ../../java/net/index.html#socket(); 那么用它们组合成一个绝对URI： http://www.baidu.com/java/net/index.html#socket()
4.2）与以上过程相反的是相对化URI： 假设一个URI： http://docs.mycompany.com/api 和另一个URI：http://docs.mycompany.com/api/java/lang/String.html；那么相对化之后的URI 就是： java/lang/String.html；
4.3） URI 类同时支持以上两个操作： （干货——URI的绝对化和相对化）

relative = base.relativize(combined);
combined = base.resolve(relative);

【2】使用URLConnection获取信息

1）引入 URLConnection的目的： 如果想从某个web 资源获取更多信息，应该使用 URLConnection 类，通过它能够得到比 URL类更多的控制功能； （干货——推荐使用URLConnection ，它能够得到比 URL类更多的控制功能）
2）如何操作一个 URLConnection对象：

step1）调用 URL 类中的openConnection方法：

URLConnection connection = url.openConnection();
step2）使用以下方法来设置任意的请求属性：

setDoInput
setDoOutput
setIfModifiedSince
setUseCaches
setAllowUserInteration
setRequestProperty
setConnectTimeout
setReadTimeout
step3）调用 connect方法连接远程资源：

connection.connect();
step4）与服务器建立连接后，可以查询头信息。
- step4.1） getHeaderFieldKey 和 getHeaderField 两个方法枚举消息头的所有字段；
- step4.2） getHeaderFields 方法返回一个包含了消息头中所有字段的标准Map对象；
- step4.3）为了方便起见，以下方法可以查询各个标准字段：
  
  getContentType
  getContentLength
  getContentEncoding
  getDate
  getExpiration
  getLastModified
step5）最后，访问资源数据。
- step5.1）使用 getInputStream 方法获取一个输入流用以读取信息；

Attention）一些coders 在使用 URLConnection 类的过程中形成了错误的观念，它们认为 URLConnection 类中的 getInputStream 和 getOutputStream 方法与 Socket 类中的这些方法相似，这是错误的想法； （干货——一些coders 在使用 URLConnection 类的过程中形成了错误的观念）
3）URLConnection类中的一些方法：有几个方法可以在与server 建立连接之前设置连接属性，最重要的方法是 setDoInput 和 setDoOutput方法；

3.1）如果想要获得输出流：则　connection.setDoOutput(true);
3.2）setIfModifiedSince 方法： 用于高速连接你只对自某个特定日期以来被修改过的数据感兴趣；
3.3）setUseCaches 和 setAllowUserInteraction 方法：这两种方法只作用于Applet；
3.4） setUseCaches 方法： 用于命令浏览器首先检查它的缓存；
3.5）setAllowUserInteraction方法： 用于在访问有密码保护的资源时弹出对话框；
3.6）总览全局的方法 setRequestProperty方法： 它可以用来设置对特定协议起作用的任何 “键值对”；

4）看个荔枝：如果你想访问一个由密码保护的web 页面，按如下步骤操作：

step1） 将用户名，，冒号，密码连接在一起：

String input = username + “:” + password;
step2） 计算上一步骤得到的 Base64 编码；Base64 编码用于将字节序列编码成可打印的ASCII字节序列； （干货——Base64编码）

String encoding = base64Encode(input);
step3）调用 setRequestProperty 方法，设置name参数的值为 Authorization ， value设置为 Basic + encoding;

connection.setRequestProperty(“Authorization”, “Basic” + encoding);

5）一旦调用了 connect方法，就可以查询响应头信息；

step1）枚举所有相应头的字段：

String key = connnection.getHeaderFieldKey(n); // 可以获得第n个键，n从 1开始；
step2）得到第n个值；

String key = connnection.getHeaderField(n); // 可以获得第n个键，n从 1开始；
step3） getHeaderFields 方法： 返回一个封装类响应头字段的Map 对象；
```
Map<String, List< String>> headers = connection.getHeaderFields();
```