Windows下安装Nutch

Nutch安装
一、需求部份
a) Nutch是Java开发的所以需要下载Java JDK
下载地址http://java.sun.com/javase/downloads/index.jsp
b) Nutch的演示搜索页面是Jsp的需要Tomcat做服务器
下载地址：http://jakarta.apache.org/tomcat/
c) Nutch的脚本都是用Linux的Shell写的，所以在Windows平台需要一个Shell解释程序。Cygwin是一个在Windows下的模拟Linux系统程序。(注Linux下不需要下载此程序)
下载地址：http://www.cygwin.com/
d) Nutch下载地址：http://lucene.apache.org/nutch/
e）建议安装UltraEdit文字编辑器。

二、安装步骤
a)Java JDK安装
安装目录不要出现中文，安装完成后设置环境变量，win7下设置环境变量和XP不同，在系统变量或者用户变量都行。
变量名JAVA_HOME
变量值 D:\Java\jdk(此处根据安装目录决定)
变量名 PATH
变量值 %JAVA_HOME%\bin；%Path%（“%变量名%”表示前面已有的变量）
变量名 CLASSPATH
变量值 .;%JAVA_HOME%\lib;%CATALINA_HOME%\lib（前面的“.”不能省，后面这是tomcat的需要）
变量安装完成后，在运行里输入“cmd”打开命令行，分别输入“java”,”javac”,”java –version”若显示具体信息而没有报错，则安装成功，如下图

b)tomcat安装
Tomcat解压缩在没有中文的目录下，设置环境变量
变量名 CATALINA_HOME
变量值 D:\bishe\apache-tomcat-7.0.6(具体的安装路径)
变量CLASSPATH的编辑前面已经完成，就不再需要。
运行CMD 进入此目录下运行catalina.bat run
Tomcat的运行和停止的文件分别是startup.bat和shutdown.bat。

c）Cygwin安装
运行安装程序后出现如下图：
之后一直选择下一步就好了，root directory为安装路径，local package directory为安装文件所在路径(也是setup.exe所在路径)。完成后在桌面会出现，此为cygwin目录下的cygwin.bat的快捷方式。

d）natch安装
下载完成后解压在没有中文的路径下。设置环境变量
变量名 NUTCH_JAVA_HOME
变量值 %JAVA_HOME%
运行cygwin，输入命令cd /cygdrive/d/bishe/nutch-1.2，再输入bin/nutch如图则nutch安装成功。

三、配置步骤
a)在nutch目录下建立urls目录，在目录中建立txt文件，文件名任意，用来设置搜索站点的起始位置，如：http://www.ustc.edu.cn/。
b)修改网址过滤规则conf/crawl-urlfilter.txt文件，把里面的MY.DOMAIN.NAME修改为你的抓取的URL。eg：
+^http://([a-z0-9]*.)*ustc.edu.cn/这里设置为只抓取以edu.cn结尾的URL。

c) 修改conf/nutch-site.xml代理信息，在和之间添加如下文件：

http.agent.name
ubuntuer（此处ubuntu是一个自定义的值，有说是可以为空，
有说是要设置一个单词，我是设置了一个词）

http.agent.description
ubuntuer

http.agent.url

http.agent.email
iptabler@gmail.com

d)执行nutch抓取url数据
在Cygwin命令行窗口中输入：cd /cygdrive/d/nutch-1.2
再输入bin/nutch crawl urls –dir crawl –depth 3 –threads 4 –topN 30 >& crawl.log
注意在，命令行窗口中输入命令的空格！！命令说明：
crawl 是nutch检索数据命令，后面跟上要检索的URL文件。urls就是a)部份创建的文件
-dir是检索后的结果存放目录参数，后面跟上结果存放地址。如果我们存放到nutch目录下的crawl目录，注意此目录当前是不存在的。检索完后nutch会创建出来。-threads 抓取时的线程数参数
-depth 抓取时的深度参数
-topN 抓取时每页的最大抓取链接
最后把执行信息写入crawl.log日志文件中，方便查找错误。
e)配置tomcat
把nutch-1.2.war复制到Tomcat下的webapps里，启动Tomcat，会自动deploy。再关闭Tomcat，到webapps\nutch-1.2目录下的WEB-INF\classes里的nutch-site.xml里，增加搜索的目录：

searcher.dir
D:\bishe\nutch-1.2\crawl(此处为检索存放的地址）

为了支持中文，在tomcat\conf的server.xml里的里面，增加URIEncoding=“UTF-8” useBodyEncodingForURI="true"配置，最后如：
，每一项都用空格隔开。重启Tomcat，可以通过http://localhost:8080/nutch-1.2访问到Nutch了。
四、搜索结果