最近练习nginx+tomcat负载均衡。根据一些资料整理了大体思路,最终实现了1个nginx+2个tomcat负载均衡。
安装JDK
1》进入安装目录,给所有用户添加可执行的权限
#chmod +x jdk-7u67-linux-i586.rpm //不知这步有没有必要
2》安装JDK
输入命令#rpm –ivh jdk-7u67-linux-i586.rpm
安装完成后在/usr/目录下生成java目录,就是JDK的安装目录。# cd /usr/java
3》配置环境变量
#vi /etc/profile
这里要注意linux系统中的分隔符为冒号,而不时Windows中的分号
#set java environment
JAVA_HOME=/usr/java/jdk1.7.0_67
JAVA_BIN=/usr/java/jdk1.7.0_67/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
保存退出。 
4》要使JDK在所有的用户中使用,可以这样: 
 vi /etc/profile.d/java.sh 
 在新的java.sh中输入以下内容: 
 #set java environment
JAVA_HOME=/usr/java/jdk1.7.0_67
JAVA_BIN=/usr/java/jdk1.7.0_67/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
保存退出,然后给java.sh分配权限:chmod 755 /etc/profile.d/java.sh
32位JDK记得要给 JAVA_HOME/bin 下的所有.sh 脚本赋予执行权限 chmod 777 * ,今天就是没有赋予x权限,一直找不到which java。
64位 JAVA_HOME/bin 下的所有文件赋予执行权限 chmod 777 * 。
5》刷新环境变量
source /etc/profile,如果没有提示错误,证明配置ok
可以通过echo $CLASSPATH来查看环境配置
$echo $JAVA_HOME 应出现/usr/jdk1.8.0_60 查看JAVA_HOME是否配置成功
6》检查环境变量
7》检查JDK是否安装成功。
执行java,javac,java –version,如果可以打印出相应的信息,则说明jdk安装成功
安装TOMCAT
安装TOMCAT只需要将TOMCAT解压缩即可(一般情况下,Linux自带有解压缩.gz,.tar格式文件的工具,双击即可),存放在自定义目录中,笔者自定义目录为: /usr/tomcat
然后可以设置TOMCAT_HOME环境变量(上文中已经设置)。进入$OMCAT/bin目录,执行./startup.sh命令,即可启动TOMCAT,执行命令后可以看到一些TOMCAT的环境变量:
1》在/opt目录下,然后在终端执行命令:
 # tar –zxv -f apache-tomcat-8.0.24.tar.gz
2》改文件名:
# mv apache-tomcat-8.0.24 tomcat8
3》设置环境变量(略过仍可安装成功)
在/usr/local/tomcat1/bin/catalina.sh中添加JAVA_HOME=/usr/java/jdk1.7.0_67
# vi /etc/profile 用vi编辑器打开该文件进行编辑(添加环境变量)
 然后在文件的最尾部加入以下代码:
 CATALINA_HOME=/opt/tomcat8
export CATALINA_HOME 
 保存退出.
 4》到这里TOMCAT的安装已经完成,现在我们来测试下是否安装成功. 现在在终端运行命令:
 # /opt/tomcat/bin/startup.sh 开启TOMCAT服务器 
启动tomcat #   ./startup.sh
 关闭tomcat #   ./shutdown.sh
 查看是否启动成功可以输入ps axuwf | grep java,如果出现一大堆结果,就是启动成功了
$cat /usr/tomcat/logs/catalina.out查看日志得知Tomcat是否正常启动
$links -dump http://localhost:8080/ 发送HTTP请求看Tomcat是否正常启动
 然后打开浏览器,输入 http://localhost:8080 如果你看到那只可爱的小猫了,就证明安装成功了!
5》复制一个tomcat2
#分别修改tomcat1和tomcat2 端口,这里有三个端口需要修改,分别如下:
shutdown 端口:8005 主要负责启动关闭.
ajp端口:8009 主要负责通过ajp均衡(常用于apache和tomcat整合)
http端口:8080 可以通过web页面直接访问(nginx+tomcata整合)
#注* 如果tomcat1三个端口分别为:8005 8009 8080 ,那么tomcat2端口在此基础上都+1,即为:8006 9009 8081
#一台服务器上,端口不能重复,否则会报错。
#修改完端口后,然后启动两个tomcat,启动命令为:
/usr/local/tomcat1/bin/startup.sh
/usr/local/tomcat2/bin/startup.sh
#如何提示没有这个文件或者权限不足,需要tomcat 的bin目录对sh文件赋予执行权限:chmod o+x *.sh
#启动后,使用netstat -tnl 可以看到6个端口,即代表tomcat1 tomcat2成功启动。你可以使用http://ip:8080 http://ip:8081访问tomcat默认页面。
3.安装Nginx
 Nginx官网:http://nginx.org/
 下载最新稳定版本。在安装Nginx之前,需要先安装gcc、 openssl、 pcre和zlib软件库。 Nginx依赖一些其他PCRE、openssl(依赖libssl-dev)
1.1安装gcc、gcc-c++
 安装命令:
 #yum install gcc
 #yum install gcc-c++
1.2安装openssl
 openssl官网:http://www.openssl.org/
 安装版本:openssl-1.0.1i.tar.gz
 安装命令:
 #tar -zxvf openssl-1.0.1i.tar.gz
 #cd openssl-1.0.1i
 #./config --prefix=/usr/local/openssl-1.0.1i    #prefix指定安装目录
 #make
 #make install
 【注意】:此处使用的是config命令,而不是平常的configure命令
 安装完成后,到/usr/local/下查看是否安装成功。如果安装出错,需要重新加压缩,重新安装。
1.3安装pcre
Pcre的作用主要是使nginx支持HTTP rewrite模块。
pcre官网:http://www.pcre.org/
 安装版本:pcre-8.35.tar.gz
 安装命令:
 #tar -zxvf pcre-8.35.tar.gz
 #cd pcre-8.35
 #./configure --prefix=/usr/local/pcre-8.35    #prefix指定安装目录
 #make
 #make install
 安装完成后,到/usr/local/下查看是否安装成功。如果安装出错,需要重新加压缩,重新安装。
【注意】:如果没有安装c++编译器,这个软件的安装会报错!
1.4安装zlib
 zlib官网:http://www.zlib.net/
 安装版本:zlib-1.2.8.tar.gz
 安装命令:
 #tar -zxvf zlib-1.2.8.tar.gz
 #cd zlib-1.2.8
 #./configure --prefix=/usr/local/zlib-1.2.8    #prefix指定安装目录
 #make
 #make install
 安装完成后,到/usr/local/下查看是否安装成功。如果安装出错,需要重新加压缩,重新安装
1.5安装Nginx
 安装版本:nginx-1.6.1.tar.gz
 安装命令:
 #tar -zxvf nginx-1.6.1.tar.gz
 #cd nginx-1.6.1
 #./configure 
--prefix=/usr/local/nginx #prefix指定安装目录
--with-openssl=/usr/local/src/openssl-1.0.0s #指的是openssl源码路径
--with-pcre=/usr/local/src/pcre-8.36 #指的是pcre的源码路径
--with-zlib=/usr/local/src/zlib-1.2.8 #指的是zlib 的源码路径
--with-http_ssl_module
./configure --prefix=/usr/local/nginx --with-openssl=/usr/local/src/openssl-1.0.0s --with-pcre=/usr/local/src/pcre-8.36 --with-zlib=/usr/local/src/zlib-1.2.8 --with-http_ssl_module
#make
 #make install
 安装完成后,到/usr/local/下查看是否安装成功。如果安装出错,需要重新加压缩,重新安装。
注意:安装成功启动nginx,有可能会遇到下面错误,
 [root@node1 nginx-1.5.8]# /data/nginx/sbin/nginx -t 
 /data/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directory
解决办法:
 [root@node1 ~]# cd /lib64/ 
 [root@node1 lib64]# ln -s libpcre.so.0.0.1 libpcre.so.1
#Nginx安装完毕,然后使用命令:/usr/local/nginx/sbin/nginx -t 测试OK,代表nginx安装成功。
/usr/local/nginx/sbin/nginx 回车启动nginx,可以通过访问http://ip/看到nginx默认页面。
1.6编写启动脚本
Vi nginx.sh
#!/bin/sh
CWD=`pwd`
 case $1 in
         start)
                 /nginx/sbin/nginx;
                         ;;
         stop)
                 kill -2 `ps -ef|grep "/nginx/sbin/nginx"|grep -v "grep"|awk '{print $2}' `
                         ;;
         restart)
                 cd "$CMD"
                 $0 stop
                 $0 start
         ;;
         *)
         echo $"Usage: $0 {start|stop|restart}"
         exit 1
 esac
 exit 0
1.7关闭防火墙
(1) 重启后永久性生效:
开启:chkconfig iptables on
关闭:chkconfig iptables off
(2) 即时生效,重启后失效:
开启:service iptables start
关闭:service iptables stop
需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。
1.7配置Nginx
配置文件目录:/usr/local/nginx-1.6.1/conf/nginx.conf
 #cd /usr/local/nginx-1.6.1/conf
 #vi nginx.conf
【修改后的配置文件如下】:
 #创建进程的用户和用户组
 user llj llj;
#服务进程数量(通常等于CPU数量或者2倍于CPU)
worker_processes 1;
#定义错误日志存放路径,全局错误日志。建议开启error级别日志.[ debug | info | notice | warn | error | crit ]
 error_log logs/error.log error;
 #error_log logs/error.log  notice;
 #error_log logs/error.log  info;
#记录进程ID的文件
 pid      logs/nginx.pid;
 events {
     #使用网络IO模型。epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能.Linux建议使用epoll,FreeBSD建议使用kqueue.
     use epoll;
     #一个worker_processe允许的最大连接数
     worker_connections  1024;
 }
http {
     include      mime.types;
   default_type application/octet-stream;
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
#定义日志格式
    #log_format  main  '$remote_addr - $remote_user [$time_local]"$request" '
     #                     '$status $body_bytes_sent"$http_referer" '
     #                     '"$http_user_agent""$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile         on;
     tcp_nopush    on;
    #http连接的持续时间
     keepalive_timeout  65;
client_max_body_size 10m;
client_body_buffer_size 128k;
#跟代理服务器连接的超时时间,必须留意这个time out时间不能超过75秒,当一台服务器当掉时,过10秒转发到另外一台服务器。
proxy_connect_timeout 10;
proxy_read_timeout 60;
proxy_send_timeout 10;
proxy_buffer_size 8k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
# "proxy_busy_buffers_size" must be less than the size of all "proxy_buffers" minus one buffer
#gzip压缩设置
     #gzip  on;          #开启gzip
     gzip_min_length 1k;  #最小压缩文件大小
     gzip_buffers 4 16k;  #压缩缓冲区
     #http的协议版本(1.0/1.1),默认1.1,前端如果是squid2.5请使用1.0
     gzip_http_version 1.1;
     #gzip压缩比,1压缩比最小处理速度最快,9压缩比最大但处理速度最慢(传输快但比较消耗cpu)
     gzip_comp_level 2;    
     #和http头有关系,加个vary头,给代理服务器用的,有的浏览器支持压缩,有的不支持,所以避免浪费不支持的也压缩,所以根据客户端的HTTP头来判断,是否需要压缩
     gzip_varyon;
     #gzip压缩类型,不用添加text/html,否则会有警告信息
     gzip_types text/plain text/javascript text/css application/xmlapplication/x-javascript application/json;
#设定负载均衡的服务器列表,可以设置多个upstream,但mysvr名字要区分
     upstream ClusterServer1 {
     #weight参数表示权值,权值越高被分配到的几率越大
       server localhost:8080  weight=5;
       server localhost:8081  weight=5;    
}
    server {
       #nginx监听的端口号
       listen      80;
       #域名可以有多个,用空格隔开
       server_name  localhost;
      #字符编码方式
       charset utf-8;
      #设定本虚拟主机的访问日志。关闭日志可以减少IO,提高性能。
       #access_log logs/host.access.log  main;
      #默认请求  此处也可对网站进行动静分离的配置
       location / {
           #定义服务器的默认网站根目录位置
           root  html;
           #定义首页索引文件的名称
           index  index.html index.htmindex.jsp;
           #请求转向mysvr 定义的服务器列表
           proxy_pass    http://localhost;
           proxy_redirect off;
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_set_header Host $host; #这一句至关重要
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http:// ClusterServer1;
proxy_redirect off;
expires 3d;
}
#error_page 404 /404.html;
      #redirect server error pages to the static page /50x.html
       #
       error_page  500 502 503 504  /50x.html;
       location = /50x.html {
           root  html;
         }
      #proxy the PHP scripts to Apache listening on 127.0.0.1:80
       #
       #location ~ \.php$ {
       #    proxy_pass  http://127.0.0.1;
       #}
      #pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
       #
       #location ~ \.php$ {
       #    root          html;
       #    fastcgi_pass  127.0.0.1:9000;
       #    fastcgi_index  index.php;
       #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
       #    include        fastcgi_params;
       #}
      #deny access to .htaccess files, if Apache's document root
       #concurs with nginx's one
       #
       #location ~ /\.ht {
       #    deny  all;
       #}
     }
     # anothervirtual host using mix of IP-, name-, and port-based configuration
     #
     #server {
     #    listen      8000;
     #    listen      somename:8080;
     #    server_name somename  alias  another.alias;
    #    location / {
     #        root  html;
     #        index index.html index.htm;
     #    }
     #}
     # HTTPSserver
     #
     #server {
     #    listen      443 ssl;
     #    server_name localhost;
    #    ssl_certificate      cert.pem;
     #    ssl_certificate_key  cert.key;
    #    ssl_session_cache    shared:SSL:1m;
     #    ssl_session_timeout  5m;
    #    ssl_ciphers  HIGH:!aNULL:!MD5;
     #    ssl_prefer_server_ciphers  on;
    #    location / {
     #        root  html;
     #        index index.html index.htm;
     #    }
     #}
}
NOTE: proxy_set_header是nginx的http代理模块中的一个指令。
 在nginx中的默认proxy是只能对后面real server做端口转发的,而不能做域名转发,即默认的是:
 proxy_set_header Host $proxy_host;
 我们要通过域名转发就必须改为:
 proxy_set_header Host $host;
1.8启动与关闭Nginx
(1)启动
 #/usr/local/nginx-1.6.1/sbin/nginx
 确保系统的 80 端口没被其他程序占用
 重新加载配置文件:
 #/usr/local/nginx-1.6.1/sbin/nginx  -s  reload
(2)关闭:
 #pkill nginx
(3)检查是否启动成功:
 #netstat -ano | grep80 有结果输入说明启动成功
打开浏览器访问此机器的 IP,如果浏览器出现Welcome to nginx! 则表示 Nginx 已经安装并运行成功。如果已经配置了负载均衡服务器,则会看Tomcat中的网站页面。
1.9进行测试
在2个tomcat的webapps目录下建立balance文件夹(不要直接放在webapps下),在该文件夹下创建
 test1.jsp,内容如下:
<%
out.println("hello world!_bytomcat1/tomcat2");
%>
<%
System.out.println("======!!=====");
%>
启动nginx,然后启动2个tomcat,在浏览器中输入http://localhost/balance/test1.jsp,回车后,界面回显hello world,测试成功。
连续快速刷新该页面,会发现在2个tomcat的控制台上都会输出“==========”,此处表明服务器已经实现了负载均衡。
报错Too many open files
http://www.jb51.net/article/35675.htm
104: Connection reset by peer
(111: Connection refused) while connecting to upstream
用户在连接成功后读取数据时,若遇到后端upstream挂掉或者不通,会收到该错误
nginx常见内部参数,错误总结
http://www.360doc.com/content/12/1024/11/1073512_243439687.shtml
linux下 nginx 负载均衡 单独访问服务器没问题,通过负载均衡页面加载不了,什么原因?
如果你的代理服务器能与负载服务器ping同的话 并且单独访问负载服务器能成功 就看看 upstream中的访问地址与单独访问的地址是否相同。这个很关键 负载服务器上的war包最好是ROOT形式的。
nginx负载均衡器处理session共享的几种方法
http://www.oschina.net/question/12_621
Nginx+tomcat负载均衡session问题解决
http://www.oschina.net/question/5189_4182/